DE10333670A1

DE10333670A1 - Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten

Info

Publication number: DE10333670A1
Application number: DE10333670A
Authority: DE
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2005-02-17
Anticipated expiration: 2023-07-19
Also published as: DE10333670B4

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten, die mittels mindestens einer Kamera aufgenommen werden. Der Fahrspurverlauf wird funktional mit einem Parametersatz beschrieben, wobei diese Parameter aus den Bilddaten ermittelt werden. Die Fahrbahn wird dabei als mehrspuriges 2- oder 3 dimensionales Modell mit den Parametern c¶0¶ horizontaler Anstieg, c¶1¶ horizontale Krümmung, b Spurbreite, o Offset und i Laufvariable der Spuren gebildet. Die Ermittlung der Fahrspurparameter erfolgt dabei mittels eines Schätzverfahrens, vorzugsweise eines Kalman-Filters, im Fahrzeugkoordinatensystem.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten, die mittels mindestens einer Kamera aufgenommenen wurden, wobei der Fahrspurverlauf funktional mit einem Parametersatz beschrieben wird und diese Parameter aus den Bilddaten ermittelt werden.

Die Ermittlung des Verlaufes der vor einem Fahrzeug befindlichen Fahrspur ist für den Einsatz heutiger Fahrerassistenzsysteme von großer Bedeutung. Die Fahrspurerkennung wird beispielsweise bei bereits serieneingesetzten Abstandsregelsystemen, welche die Geschwindigkeit entsprechend der Verkehrslage vor dem Fahrzeug anpassen und bei selbstlenkenden Systemen zum Halten der gewählten Fahrspur genutzt. Es wird für die jeweilige Anwendung eine Information benötigen, in welcher Spur sich das jeweilige Fahrzeug bewegt bzw. in welcher Relation zu dieser Spur und zu weiteren bewegten sowie unbewegten Objekten sich das Fahrzeug befindet.

Allgemein bekannt sind dabei Verfahren zum Vorausberechnen der Spur des Fahrzeuges aus den Bewegungsinformationen, welche z.B. mittels eines Gierratensensors, eines Lenkwinkelsensors oder der Radschlupfdaten des Fahrzeug ermittelt werden. Anhand dieser Informationen lässt sich die momentan vom Fahrzeug beschriebene Bewegungsbahn vorausberechnen (dieser Satz wiederholt die Aussage des vorigen). Weiterhin ist es bekannt auf Basis der von einer Kamera aufgenommenen Bilder den Verlauf der Fahrspur anhand der Fahrspurmarkierungen auf der Fahrbahn zu erkennen.

Vorbekannt ist aus der DE 41 24 654 A1 ein Verfahren zur automatischen Fahrzeugorientierung auf einer Fahrbahn. Die Fahrbahn wird dabei als 3-dimensionale Raumkurve mit vertikalem und horizontalem Krümmungsverlauf beschrieben. Die Raumkurve wird in einem mit dem Fahrzeug mitbewegten Koordinatensystem beschrieben, welches den Vorausbereich des Fahrzeugs enthält. Es wird ein 3-dimensionales Fahrspurmodell gebildet (Wiederholung). Zur Berechnung von dessen Parametern wird das 3D-Fahrspurmodell in einen 2D-Bildbereich transformiert, der dem Sichtwinkel einer Kamera und deren 2-dimensionaler Abbildung der vor dem Fahrzeug befindlichen Umwelt entspricht. Dies ist notwendig, um die 3-dimensionale Abbildung dem von der Kamera aufgenommenen Bild zuzuordnen. Es wird ausgehend von dem 3D-Fahrzeugmodell ein erwarteter Fahrbahnverlauf im 2D-Bildbereich der Kamera abgebildet. Auf Basis der Auswertung der von der Kamera aufgenommenen Bilder erfolgt eine Ermittelung des Fahrspurverlaufes anhand der erkannten Fahrbahnmarkierungen, wobei die Modelldaten genutzt werden um die Bereiche zu ermitteln in denen die Fahrspurmarkierungen zu erwarten sind. Der nachfolgend ermittelte Fahrbahnverlauf wird mit dem aus dem Modell ermittelten, erwarteten Fahrbahnverlauf verglichen und es erfolgt die Anpassung der Fahrspurparameter. Eine explizite Rücktransformation der Bilddaten aus der 2D-Bildebene in das Fahrzeugkoordinatensystem erfolgt dafür nicht. Die Fahrspurerkennung erfolgt auf Basis einer angenommenen rechten und linken Fahrbahnmarkierung. Die Information von mehreren nebeneinender liegenden Spuren werden nicht ausgewertet.

Vorbekannt ist aus der DE 101 27 034 A1 mittels eines modellgestützten und eines merkmalsbasierten Verfahrens auf Basis der Informationen einer Kamera und weiterer Sensorik, welche die Eigenbewegung des Fahrzeuges ermitteln, einen Fahrspurverlauf voraus zu berechnen. Hierbei wird das Kamerabild zeilenweise in bestimmten vorhergesagten Bereichen ausgewertet.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Ermitteln eines Fahrspurverlaufs aus Bilddaten zu schaffen, dass eine robuste Parameterschätzung des Fahrspurverlaufes vor einem Fahrzeug ermöglicht.

Diese Aufgabe wird bei gattungsgemäßen Verfahren erfindungsgemäß durch die kennzeichnenden Merkmale der unabhängigen Patentansprüche 1 und 17 sowie der vorteilhaften Ausgestaltungen gemäß der Unteransprüche gelöst.

Erfindungsgemäß wird der Fahrspurverlauf als mehrspuriges 2D- oder 3D-Modell beschrieben, wobei mit einem Zustandschätzverfahren, vorzugsweise einem Kalman-Filter, a priori Wissen in die Berechnung des Fahrspurverlaufes mit eingeht und der Fahrspurverlauf vorausgeschätzt wird. Innerhalb des vorausberechneten Fahrspurverlaufes werden in definierten Bereichen, in denen Fahrspurmarkierungen erwartet werden (Gates), Messlinien definiert. Die Koordinaten der Messlinien werden nachfolgend in die 2D-Bildebene des von der Kamera aufgenommenen Bildes transformiert. Auf Basis des vorausberechneten Fahrspurverlaufes bzw. der in das Bild transformierten Messlinien werden aufgrund signifikanter Hell-Dunkel-Verteilungen des Bildes Fahrspurmarkierungen erkannt. Die so gefundenen Messpunkte werden in das Koordinatensystem vor dem Fahrzeug rücktransformiert und auf Basis dieser Messpunkte erfolgt die Aktualisierung der Parameter des Fahrspurmodells.

Für die Schätzung der Parameter des 3D-Strassenmodells im Fahrzeugkoordinatensystem wird ein Extended Kalman-Filter mit nichtlinearem Sensormodell verwendet, welcher die Abbildung der 3D-Koordinaten ins Bild beschreibt. Eine direkte Rücktransformation aus der 2D-Bildebene kann dabei nicht erfolgen, da die Abbildung nicht eindeutig ist.

Erfindungsgemäß vorteilhaft werden für die Analyse des Spurverlaufes eine Vielzahl von Fahrspurmarkierungen ausgewertet. Die Fahrspurmarkierungen begrenzen nicht nur die eigene Fahrspur, sondern können gleichfalls den Spurverlauf nebeneinander liegender Fahrspuren begrenzen. Im erfindungsgemäßen Verfahren werden im Bildbereich Fahrspurmarkierungen mehrerer nebeneinander liegender Fahrbahnen gleichzeitig ermittelt. Im Fahrzeugkoordinatensystem wird der Fahrbahnverlauf aus den Messpunkten mehrerer Fahrspuren angesetzt, wobei davon ausgegangen wird, dass die Bahnparameter der Spuren gleich sind. Dieser mehrspurige Ansatz ist vorteilhaft, da die Berechnung des Fahrspurverlaufes durch die Hinzunahme der Information der Nebenspuren sicherer und genauer wird. Das größte Einsatzgebiet der Fahrerassistenzsysteme mit Spurerkennung stellen Autobahnen oder Autobahn-ähnliche Fahrstrassen dar, die zum überwiegenden Teil mehrere Fahrspuren enthalten. Für diese kann eine besonders robuste Schätzung des Fahrbahnverlaufes erfolgen.

Erfindungsgemäß vorteilhaft erfolgt die Ermittelung der für die Fahrspurmarkierungen relevanten Bilddaten nur in ausgewählten Bereichen des Kamerabildes, wobei jeweils bestimmte Messlinien innerhalb des Bildbereiches betrachtet werden und die Verteilung der Messlinien in verschiedenen Bereichen unterschiedlich ist. Es wird dabei mindestens in zwei Bereiche unterteilt, einen Nahereich und einen Fernbereich. Zusätzlich werden besondere Bereiche für die Nebenspuren vorgesehen und ein Fernstgate eingeführt. Es kann in diesen Bereichen sowohl die Häufigkeit der Verteilung als auch die Länge der Messlinien variieren.

Erfindungsgemäß vorteilhaft ist im Kamerabild die Verteilung der Messlinien im Nahbereich dichter als im Fernbereich. Das heißt es werden im Nahbereich mehr Messlinien pro Fahrbahnteilstück betrachtet. Dies ist für eine genaue Vorausberechnung des Straßenverlaufes vorteilhaft, da die Bilddaten des auszuwertenden Bildes vor dem Fahrzeug am sichersten sind. Im Nahbereich kann eine Verwendung kurzer Messlinien erfolgen, d. h. der horizontale Suchbereich (die Breite der Gates) kann im Nahbereich schmaler als im Fernbereich angesetzt werden, da der Fahrspurverlauf sicherer ist. Die Verteilung der Messlinien im Fernbereich erfolgt mit geringerer Dichte wobei die Gates in Vorausrichtung, respektive die Platzierung von Meßlinien, durch eine maximale ermittelte Sichtweite der Kamera, die aus dem beobachtbaren Spurverlauf resultiert, begrenzt wird. Die Breite des Gates, welche die Länge der Messlinien bestimmt, ist im Fernbereich größer, da der Fahrspurverlauf in der Entfernung wechselnder Krümmung unterworfen sein kann und damit unsicherer ist. Um sicher Fahrspurmarkierungen detektieren zu können, wird die Breite des Gates im Fernbereich erweitert.

Die Häufigkeit der Messlinien in den Nebenspuren ist ebenfalls geringer als im Nahbereich. Es wird damit in vorteilhafter Weise die Dominanz der Messungen der eigenen Fahrspur gesichert.

Erfindungsgemäß vorteilhaft erfolgt die Analyse von Fahrspurmarkierungen dahingehend, ob es sich um durchgängige oder unterbrochenen Fahrspuren handelt. Diese Erkennung erlaubt es Informationen von Nebenspuren bzw. Randbebauung gezielt auszuwerten und Nebenspuren in sinnvollen Bereichen des Fahrbahnabbildes zu erkennen.

Es erfolgt weiterhin eine laufende Aktualisierung der Spuranzahl und ein damit verbundenes Hinzufügen bzw. Löschen der betrachteten Nebenspuren sowie eine Adaption der Sichtweite und der Fahrspurbreite auf Basis der ermittelten Messdaten der Kamera.

In vorteilhafter Weise wird die Sichtweite der Kamera, d.h. die Entfernung in der die Detektion von Fahrspurmarkierungen möglich ist, fortschreitend aus den Bilddaten ermittelt. Es kann damit eine sinnvolle Begrenzung der Länge der Gates erfolgen. Eventuell Erwähnung des Fernstgates.

Weitere Einzelheiten der Erfindung werden nachfolgend anhand von schematisch dargestellten Ausführungsbeispielen beschrieben.
Hierbei zeigen:
1 eine Darstellung des mehrspurigen Fahrbahnmodells,
2 den Einfluss der Parameter auf den berechneten Straßenverlauf,
3 die Zuordnung der Messpunkte zum Fahrspurmodell im Fahrzeugkoordinatensystem,
4 die Generierung der Gates und Messlinien im Fahrzeugkoordinatensystem,
5 die Erweiterung des Fahrspurmodells in die Dritte Dimension,
6 in einem Ablaufplan die Erkennung der Fahrbahnmarkierungen durch Betrachtung der Hintergrundinformation.
Für die Fahrspurerkennung wird ein modellbasierter Ansatz mit Methoden der Schätztheorie verknüpft. Die dazu verwendete Kalman-Filter-Struktur (Vorhersage-Fusions-Schema) erlaubt es, Vorwissen über die Schätzparameter bei der Initialisierung und permanent durch die Vorhersage des vorherigen Schätzergebnisses für den aktuellen Zeitpunkt in die aktuelle Schätzung einzubeziehen.
Der Straßenverlauf wird mittels eines allgemeinen parametrischen Polynomansatzes beschrieben x(y)= a0 + a1y + a2y2 + a3y3 + ... (1)
Der Verlauf der Straße, respektive der Straßenberandungen, wird im hier gewählten Beispiel mit einem Modell beschrieben dessen Ordnung auf 2 beschränkt ist. Daraus ergibt sich Gl. 2 x(y) = a0 + a1y + a2y2. (2)
Weiterhin wurde auf eine solche Formulierung dieser Parabel zurückgegriffen, die für die Verwaltung mehrerer Fahrspuren gleichzeitig geeignet ist. Dafür wird Funktion bezüglich der x-Achse in der Weise verschoben, als sei sie durch das Mehrfache einer Spurbreite b und eine zusätzliche Verschiebung o vom rechten Straßenrand zustande gekommen. Für die i-te Linie im Fahrbahnmodell ergibt sich somit Gl. 3 νxi(νy) = c0 νy + c1 νy2 – b·i + o. (3)
Die 2 zeigt für die Parameter c₀ (Anstieg) – und c₁ (Krümmung) den Einfluss der Parameter am Beispiel einer dreispurigen Fahrbahn mit 4 Begrenzungslinien. Für die Bezeichnungen des mehrspurigen Fahrbahnmodells im Fahrzeugkoordinatensystem (siehe 1) wird der Index ^ν (Index links oben ν = vehicle: ^ν) mit den Koordinatenachsen ^νx und ^νy definiert. Die Zählung der Fahrspuren (lane) beginnt von rechts mit der Zahl 1. Die Zählung der Linien (line) beginnt ebenfalls von rechts mit der Zahl 0. Eine gebräuchliche Größe für die Spurbreite b ist b = 3.5m, wie beispielhaft in 1 dargestellt.
Die auf der Kalman-Filterung beruhende permanente Schätzung der Parameter des gewählten parametrischen Funktionsansatzes νxi(νy) = c0 νy + c1 νy2 – b·i + o (3)mit den vier Parametern
basiert auf einem dynamischen Modell für die zeitliche Entwicklung der Funktionsparameter, die als Zustandsgrößen eines dynamischen Systems gedeutet werden, einem Modell für die Abbildung der Zustandsgrößen in den Messraum und der Anwendung der vorbekannten Formeln des Kalman-Filters.
Das diskrete dynamische Modell wird aus der Annahme abgeleitet, dass sich das Sensorfahrzeug in der Zeit dt bei einer Bahngeschwindigkeit ν_B und unter Annahme eines vernachlässigbaren Lenkeinschlages der Räder um das gerade Wegstück dy(k – 1) = dy(dt(k – 1)) = νB(k – 1)·dt(k – 1) (5)entlang der y-Achse bewegt.
Vernachlässigt man die Auswirkungen der Krümmung auf die Änderung der Zustandsgrößen erweist sich das folgende vereinfachte dynamische Modell als zweckmäßig.
Man schreibt auch s(k) = A(k – 1)·s(k – 1) + ν(k – 1), (7)wobei man sich Änderungen, die nicht im Entwicklungsmodell enthalten sind, durch eine zusätzliche Eingangsstörung ν(k – 1) verursacht vorstellt.
Die Messgleichung folgt unmittelbar aus der Modellgleichung, denn offensichtlich transformiert sie die Zustandsgrößen in den Messraum, der in unserem Falle das Fahrzeugkoordinatensystem mit den Koordinatenachsen ^νx und ^νy ist. Gemäß der Modellgleichung fließen die Messwerte (Punkte des Fahrbahnrandes im Fahrzeugkoordinatensystem) sowohl in den Aufbau des Messvektors als auch in den Aufbau der Messmatrix ein. Für N gemessene Punkte (^νx_k, ^νy_k) einer Linie l erhält man
Dementsprechend setzt sich die Messgleichung für mehrere Fahrspuren bzw. deren Begrenzungslinien (0 ... L) in folgender Form zusammen
Man schreibt auch y(k) = C(k)·s(k) + w(k), (10)wobei man sich auch hier zusätzliche nicht modellierte Fehler als durch eine Messstörung w(k) verursacht vorstellt.
In Gleichung 9 ist der erfindungsgemäße Vorteil, der Verwendung der Informationen aus mehreren Spuren durch den Ansatz eines mehrspurigen Fahrbahnmodells, gut zu erkennen. Es werden die Fahrspurparameter in Form des Parametervektors s(k) (Gl. 9 und 10) aus den Messpunkten mehrere Spuren gebildet. Unter der Annahme, dass die Parameter nebeneinanderliegender Spuren gleich sind, ergibt sich daher ein besonders robustes Schätzergebnis.
3 zeigt die erhobenen Messwerte und deren Zuordnung zu den Linien des Modells im Fahrzeugkoordinatensystem. Die Kreuze entsprechen den ins Fahrzeugkoordinatensystem transformierten Messpunkten aus dem Kamerabild.
Die oben gewonnenen Systemgleichungen fließen nachfolgend in die bekannte Kalman-Gleichungen ein:
Prädiktion s*(k) = A(k – 1)ŝ(k – 1) (11) P*(k) = A(k – 1)P ^(k – 1)AT(k – 1) + Q(k – 1) (12)Fusion K(k) = P*(k)C(k)T[C(k)P*(k)CT(k) + R(k)]–1 (13) ŝ(k) = s*(k) + K(k)[y(k) – C(k)s*(k)] (14) P ^(k) = P*(k) – K(k)C(k)P*(k) (15)
Dabei beschreibt Q(k) die Kovarianzmatrix des Eingangsrauschens, R(k) die Kovarianzmatrix des Messrauschens und P ^(k) die permanent mit geschätzte Messfehlerkovarianz, die die Unsicherheit des Schätzergebnisses repräsentiert.
Der Vektor ŝ(k) bezeichnet dabei den gesuchten Schätzvektor der Funktionsparameter.
Das Vorhersage-Fusions-Schema des Kalman-Filters bietet die Möglichkeit, Vorwissen bei der Initialisierung sowie den prädizierten Zustand des Systems gezielt für die Vermessung der Fahrzeugumgebung zu verwenden. Für die Initialisierungsphase wird eine besondere Erzeugung des Gates vorgesehen, wie später zur Initialisierung beschrieben.
4 veranschaulicht die Generierung der Gates und Messlinien im Fahrzeugkoordinatensystem.
Der nahe liegende Bereich der vom Fahrzeug befahrenen Spur ist in den häufigsten beobachteten Situationen für die Lage der Fahrspuren am gesichertsten. Es wird daher mindestens zwischen zwei Gate-Bereichen unterschieden. Es werden Nahgate, dass vorzugsweise nur in der eigenen Spur gebildet wird und einem Ferngate unterschieden. Zwischen diesen Bereichen unterscheiden sich entweder die Breiten der Gates oder die Abstände der vorgesehenen Messlinien oder beide Parameter werden variiert. Vorliegend ist die Breite der Gates im Nahbereich schmaler als im Fernbereich und die Dichte der Messlinien ist im Nahbereich größer. Der Nah- und Fernbereich wird auch als Nah- bzw. Ferngate bezeichnet.
In den seitlichen Gates der Nebenspuren kann ebenfalls zwischen Fern- und Nahgate unterschieden werden. Im hier dargestellten Beispiel erfolgt jedoch keine Unterscheidung. Die Breite der Gates entspricht üblicherweise der des Ferngates, kann jedoch ebenfalls von dieser abweichen. Die Abstände der vorgesehenen Messlinien werden in den seitlichen Gates um einen Faktor (z. B. 1,5) vergrößert, um den Umfang der Messwerte möglichst klein zu halten und die Dominanz der Messwerte der eigenen Fahrspur in der Schätzung zu wahren.
Bei einem Spurwechsel wird das Nahgate über ein gewisses Zeitintervall hinweg verbreitert, um beim schrägen Überqueren der Fahrbahnbegrenzungslinien ein Heraustreten der Linien aus dem Gate zu verhindern.
Die Tatsache, dass die Erhebung der Messwerte im hier betrachteten System im Videobild der Fahrzeugumgebung und nicht unmittelbar im Fahrzeugkoordinatensystem erfolgt, macht einen zwischenzeitlichen Übergang in das Bild und die Betrachtung in Bildkoordinaten erforderlich. Dazu wird das in Fahrzeugkoordinaten generierte Gate zunächst in das Bild transformiert, woraus sich die tatsächlich für die Bildverarbeitung relevanten Regionen ergeben. Dann erfolgt im Bild der eigentliche Detektionsschritt – die Messung. Die gemessenen Punkte der Fahrspurbegrenzungen werden für ein 2D-Fahrspurmodell anschließend zurück in das Fahrzeugkoordinatensystem transformiert um dort dem oben beschriebenen Aufbau von Messvektor und Messmatrix zu dienen und den Fusionsschritt zu ermöglichen. Die Transformation von Fahrzeugkoordinaten in Bildkoordinaten erfolgt mit den Elementen der im vorhinein bestimmten Transformationsmatrix
Damit berechnet man die Bildkoordinaten aus den Fahrzeugkoordinaten durch
In umgekehrter Richtung verwendet man die inverse Matrix
um aus den Bildkoordinaten die Fahrzeugkoordinaten zu bestimmen
Diese sind Eingangsgrößen der Messgleichung 9 und treiben den Kalman-Filter.
5 zeigt den Übergang des 2D-Fahrspurmodells in die Dritte Dimension. Für eine genaue Fahrspurerkennung in realen Umweltbedingungen ist neben der Modellierung der Kurvigkeit der Fahrbahn auch die Berücksichtigung von Hügeln und Tälern im Fahrbahnmodell notwendig. Dafür wird das oben zunächst nur in der ^νx, ^νy)-Ebene des Fahrzeugkoordinatensystems eingeführte Modell in die dritte Dimension erweitert, indem ein Polynomansatz nach Gleichung 22 νz(νy) = h1 νy + h2 νy2 + h3 νy3 (22)für Krümmungen der Fahrbahn in der (^νy, ^νz)-Ebene des Fahrzeugkoordinatensystems verwendet wird. Zur Verdeutlichung des Ansatzes ist die Auswirkung der vertikalen Krümmung in 5 dargestellt.
Der Zustandsvektor s der zu schätzenden Parameter wird demzufolge erweitert um die Parameter des Polynomansatzes für ^νz
Die Transformation der Messlinien aus dem 3-dimensionalen Fahrzeugkoordinatensystem in den 2D-Bildbereich der Kamera erfolgt dann nach Gl. 23 und 24.
wobei die Elemente t_kl von t₁₁ bis t₃₄ hier die Elemente der ebenfalls vorbestimmten Tranformationsmatrix
für die Abbildung der dreidimensionalen Punkte des Straßenmodells in die Bildebene sind, entsprechend der Transformation aus dem 2D-Modell (siehe Gl. 16 ) angepasst auf die 3D Abbildung. Die Modellierung der Fahrspuren in einem dreidimensionalen Modell macht die direkte Rücktransformation von Bildpunkten in die Fahrzeugkoordinaten unmöglich und erfordert für die Schätzung der Modellparameter, abweichend von der zum 2D-Fahrzeugmodell beschriebenen Lösung, den Übergang vom oben beschriebenen linearen Kalman-Filter zum Extended Kalman-Filter mit nichtlinearem Sensormodell.
Die oben angegebenen Abbildungsgleichungen (23) und (24) werden komplettiert durch die funktionalen Ansätze für ^νx und ^νz aus (3) und (22)
Für N gemessene Punkte (^νx_k, ^νy_k) einer Linie l erhält man dann gemäß der oben angegebenen linearen Meßgleichung (8) hier den nichtlinearen Meßvektor
Anschließend setzt sich auch hier die komplette Messgleichung für mehrere Fahrspuren bzw. deren Begrenzungslinien (0 ... L ) in folgender Form zusammen
Man schreibt auch y(k) = gC(k,s(k)) + w(k), (30)wobei man sich auch hier zusätzliche nicht modellierte Fehler als durch eine Messstörung w(k) verursacht vorstellt.
Die oben angegebenen Kalman-Gleichungen (11) bis (15) werden durch die entsprechenden Gleichungen des Extended Kalman-Filters ersetzt. Es wird das nichtlineare Sensormodell eingesetzt und die Matrix C für den Kovarianz-Update wird durch die Jacobimatrix des Sensormodells ersetzt
Man verwendet dann
Prädiktion s*(k) = A(k – 1)ŝ(k – 1) (32) P*(k) = A(k – 1)P ^(k –1)AT(k – 1) + Q(k – 1) (33)Fusion K(k) = P*(k)C(k)T[C(k)P*(k)CT(k) + R(k)]–1 (34) ŝ(k) = s*(k) + K(k)[y(k) – gC(k,s*(k)) (35) P ^(k) = P*(k) – K(k)C(k)P*(k) (36)
6 zeigt in einem Ablaufplan eine bevorzugte Variante der Auswertung der Bilddaten zur Erkennung der Fahrbahnmarkierungen.
Innerhalb der durch das Gate vorgegebenen Erwartungsbereiche werden einzelne horizontale Linien für die Detektion der Fahrbahnmarkierungen verwendet. Diese entsprechen den bei der vorstehenden Beschreibung der Gates genannten Messlinien. Auf der Fahrbahnoberfläche sollen helle Streifen als Zeichen für Fahrbahnmarkierungen erkannt werden. Dazu wird innerhalb der Messlinien untersucht, ob und an welcher Stelle sich ein signifikanter heller Bereich abbildet.
Entlang der Messlinie wird ein Detektionsfenster kontinuierlich, pixelweise verschoben. Das Detektionsfenster enthält drei Bereiche: Pixel unter Test (Testfenster) und zwei Umgebungsbereiche (Umgebungsfenster). In allen drei Bereichen wird der Mittelwert der Grauwerte berechnet. Die Mittelwerte der Umgebungsfenster werden zusätzlich durch Mittelwertbildung miteinander verknüpft. Zwischen dem so gebildeten Mittelwert der Umgebungsfenster und dem Mittelwert des Testfensters wird als Detektionskriterium der Quotient bestimmt.
Zusätzlich werden die Mittelwerte der Umgebungsbereiche miteinander verglichen. Sind diese Mittelwerte unterschiedlich, d.h., überschreitet der Betrag ihrer Differenz eine vorgegeben Schwelle, so wird auf das Vorhandensein einer Grauwertstufe geschlossen und die Detektion der weißen Linie an dieser Stelle als zu unzuverlässig abgewiesen. Treten mehrere Detektionen innerhalb einer Messlinie auf, so wird diejenige mit dem größten Quotienten selektiert. Die Anzahl der Pixel unter Test (also die Breite des weißen Streifens an einer bestimmten Bildposition) sowie die Anzahl der Umgebungspixel wird durch die bekannte ungefähre Breite der weißen Streifen in der Welt modellbasiert vorgegeben, indem für jeden Messstreifen im Bild mit Hilfe der Kalibrierungsparameter der Kamera die dort benötigte Breite des Streifens im Bild berechnet wird.
Die Initialisierung erfolgt prinzipiell mit 5 Spuren – also 6 Linien – und der eigenen Position in der Mitte der dritten Spur. Die initialisierten Linien sind nicht geneigt (Anstieg gleich Null) und ungekrümmt (Krümmung gleich Null) und reichen bis zum Ende des Nahbereiches.
Diese 6 Linien lassen für den erwarteten Fall einer dreispurigen Fahrbahn nach beiden Seiten genügend Spielraum für einen Test auf das Vorhandensein von Fahrspurbegrenzungen. Für die Entscheidung über das Beibehalten oder Löschen von Linien, wird über einen kurzen Initialisierungszeitraum das Auftreten von Messwerten im Nahbereich (eigene Spur) und im gesamten Fernbereich (über alle Spuren) herangezogen.
Aus der durchschnittlichen Anzahl vorhandener Messungen im Nahbereich wird zunächst auf das Vorhandensein einer durchgezogenen oder nicht durchgezogenen Linie in der eigenen Spur links und rechts geschlossen. Beispielhaft wird nachfolgend eine Vorzugsvariante für eine Initialisierungsroutine beschrieben, die auf der Erkennung der Art der Fahrbahnmarkierung basiert. Ist die linke oder rechte Linie der eigenen Spur eine durchgezogene Linie, so werden alle Linien links bzw. rechts dieser Linie gelöscht. Ist die linke oder rechte Linie der eigenen Spur eine Strichlinie, so werden von links bzw. rechts beginnend bis zur vorletzten seitlichen Linie alle Linien gelöscht, wenn ihre Messwerteanzahl im Fernbereich unter der über alle Spuren ermittelten mittleren Messwerteanzahl liegt. Das Löschen wird bei der vorletzten Linie gestoppt, da die Strichlinie als Begrenzungslinie auf das Vorhandensein einer weiteren seitlichen Linie schließen lässt.
Um fehlerhafte Schätzergebnisse zu erkennen, wird eine Selbstüberwachung der Ergebnisse durchgeführt, die für das vorgeschriebene Szenarium nicht zu erwartende Werte als Abbruchbedingungen verwendet. Bei unplausiblen Ergebnissen der Messungen wird eine erneute Initialisierung ausgeführt.
Für das Auslösen einer erneuten Initialisierung können folgende Bedingungen verwendet werden. Das sind:

a) zu wenige Messungen im Nahbereich der eigenen Spur
b) zu starke Krümmung der ermittelten Fahrspur
c) zu großer Anstieg (Neigung) der ermittelten Fahrspur
d) zu große Spurbreite der ermittelten Fahrspur
e) zu kleine Spurbreite der ermittelten Fahrspur

In einer weiteren vorteilhaften Ausgestaltung verfügt das System über eine permanente automatische Spuradaption und eine permanente Sichtweitenbestimmung.
Die Spuradaption bewirkt unter gewissen Bedingungen den Aufbau und Abbau von Spuren bzw. Begrenzungslinien. Dazu wird erneut auf die Klassifikation der eigenen Spurbegrenzungslinien zurückgegriffen (wie bei der Initialisierung beschrieben). Wird also auch während der normalen Arbeitsphase des Systems die linke oder rechte Fahrspurmarkierung als eine durchgezogene Linie erkannt, so werden alle weiteren äußeren Linien der jeweiligen Seite gelöscht. Zugleich bewirkt das Vorhandensein einer linken oder rechten Strichlinie, dass – falls diese Linie bisher keine weitere seitlich außen besitzt – an der jeweiligen Seite eine weitere Linie hinzugefügt wird.
Die Sichtweitenbestimmung nutzt den vordersten weitesten Bereich des Gates aus, um zu ermitteln, ob dort Messwerte vorhanden sind. Überschreitet die Anzahl der Messwerte dort eine gewisse Schwelle, so wird dies als Grund angesehen, das Gate nach vorn zu verlängern (bis zu einer maximalen Sichtweite). Unterschreitet dahingegen die Anzahl der Messwerte in diesem weitesten Bereich des Gates eine andere Schwelle, dann wird die aktuelle Sichtweite als zu lang angesehen und folglich gekürzt. Somit wird bei schlechten Sichtverhältnissen die Sichtweite gegebenenfalls bis auf die Weite das Nahgates zurückgefahren und bei guten Sichtverhältnissen bis auf eine maximale Sichtweite (z.B. 150 m) verlängert.

Claims

Verfahren zum Ermitteln der Parameter einer Fahrspur aus Bilddaten, bei dem aus mindestens einem Bild, das mittels mindestens einer Kamera aufgenommenen wurde, der Fahrspurverlauf ermittelt wird, indem mittels eines Parameterschätzverfahrens eine Fahrspur im Koordinatensystem des Fahrzeuges geschätzt wird und Bereiche vorhergesagt werden, für welche Fahrspurmarkierungen erwartet werden, und in diesen Erwartungsbereichen Messlinien ausgewertet werden, wobei eine Transformation der Messlinien aus dem Fahrzeugkoordinatensystem in die 2-dimensionale Bildebene der Kamera erfolgt und anhand der Verteilung von hellen und dunklen Regionen auf der Messlinie Fahrspurmarkierungen erkannt werden, dadurch gekennzeichnet, dass ausgehend von einem mehrspurigen Fahrspurmodell im Fahrzeugkoordinatensystem die Erwartungsbereiche (Gates) für die Fahrspurmarkierungen mehrerer Fahrspuren in der Bildebene gebildet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Bildung der Erwartungsbereiche (Gates) mehrere, mindestens 2, vorzugsweise 3 nebeneinanderliegende Fahrspuren betrachtet werden.
Verfahren nach Anspruch 1 o. 2, dadurch gekennzeichnet, dass innerhalb der Erwartungsbereiche (Gates) Messlinien ausgewertet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erwartungsbereiche (Gates) in verschiedene Bereiche unterteilt werden in denen die Dichte und oder Länge der Messlinien variiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens zwei Erwartungsbereiche, ein Nahbereich und ein Fernbereich unterschieden werden, wobei im Nahbereich pro Fahrbahnteilstück mehr Messlinien verteilt sind als im Fernbereich.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Erwartungsbereiche auch für die Fahrspurmarkierungen der Nebenspuren (Neben-Gate) gebildet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Breite der Erwartungsbereiche im Fernbereich größer ist, als im Nahbereich und damit im Nahbereich kürzere Messlinien ausgewertet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in den Erwartungsbereiche für die Fahrbahnmarkierungen der Nebenspuren (Neben-Gate) die Messlinien mit geringerer Dichte als im Nahbereich verteilt sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Breite der Neben-Gates größer oder gleich der Breite der Gates im Fernbereich gewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der auszuwertenden Spuren ständig entsprechend der Auswertung der Messungen aktualisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Erkennung erfolgt, ob es sich um eine durchgezogene oder unterbrochene Fahrbahnmarkierungslinie handelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass entsprechend der Erkennung einer durchgezogenen oder unterbrochenen Fahrbahnmarkierungslinie Fahrspuren jenseits von durchgezogenen Linien gelöscht und Fahrspuren jenseits von unterbrochenen Fahrbahnmarkierungslinien für die Auswertung des Fahrspurverlaufes hinzugenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens zum Start des Verfahrens eine Initialisierungsroutine ausgeführt wird, bei der eine Spuranzahl größer gleich 2 und der Fahrbahnverlauf als ungekrümmt angenommen wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass für die Initialisierung ein Fahrbahnverlauf mit 5 Spuren (6 Fahrbahnmarkierungslinien) und einer Fahrzeugposition in der Mitte der dritten Spur angenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach definierten Abbruchkriterien die Initialisierungsroutine erneut aufgerufen wird.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Abbruchkriterien a) Krümmung über einem zulässigen Schwellwert und/oder b) zu großer Anstieg (Neigung der Fahrspur) und/oder c) zu große Spurbreite über einem zulässigen Schwellwert und/oder d) zu kleine Spurbreite unter einem zulässigen Schwellwert und/oder e) zu wenig Messungen im Nahbereich der Fahrspur sind.
Verfahren zum Ermitteln der Parameter einer Fahrspur aus Bilddaten, bei dem aus mindestens einem Bild, das mittels mindestens einer Kamera aufgenommenen wurde, der Fahrspurverlauf ermittelt wird, indem mittels eines Parameterschätzverfahrens eine Fahrspur im Koordinatensystem des Fahrzeuges geschätzt wird und Bereiche vorhergesagt werden, für welche Fahrspurmarkierungen erwartet werden, und in diesen Erwartungsbereichen Messlinien ausgewertet werden, wobei eine Transformation der Messlinien aus dem Fahrzeugkoordinatensystem in die 2-dimensionale Bildebene der Kamera erfolgt und anhand der Verteilung von hellen und dunklen Regionen auf der Messlinie Fahrspurmarkierungen erkannt werden, dadurch gekennzeichnet, dass zur Auswertung der Helligkeitsverteilung auf den Messlinien ein Detektionsfenster mit mindestens 3 Bereichen entlang der Messlinie ausgewertet wird, wobei ein Testfenster zwischen zwei Umgebungsfenstern liegt und jeweils der Mittelwert der Helligkeit innerhalb der Messfenster gebildet wird und entsprechend dem Mittelwert der Umgebungsfenster und dem Mittelwert des Testfensters eine Erkennung einer signifikanten Helligkeitsverteilung für eine Fahrspurmarkierung erfolgt.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass das Detektionsfenster entlang der Messlinie verschoben wird.
Verfahren nach einem der Ansprüche 17–18, dadurch gekennzeichnet, dass zur Erkennung einer signifikanten Helligkeitsverteilung für eine Fahrspurmarkierung die Unterschiede der Grauwerte zwischen dem Test- und den Umgebungsfenstern bewertet werden, wobei vorzugsweise der Quotient aus dem gemittelten Grauwert des Testfensters und dem Mittelwert zwischen den Grauwerten der Umgebungsfenster gebildet wird und eine Fahrspurmarkierung erkannt wird, wenn dieser Quotient einen festgelegten Schwellwert überschreitet.
Verfahren nach einem der Ansprüche 17–19, dadurch gekennzeichnet, dass die Differenz der Mittelwerte der Umgebungsfenster ausgewertet wird und beim Überschreiten eines festgelegten Schwellwertes keine Erkennung einer Fahrspurmarkierung erfolgt.
Verfahren nach einem der Ansprüche 17–20, dadurch gekennzeichnet, dass bei Erkennung von mehreren signifikanten Helligkeitsverteilungen auf einer Messlinie der Messwert als Fahrbahnmarkierung betrachtet wird, der den größten Unterschied zwischen dem Mittelwert der Grauwerte des Testfensters und dem Mittelwert der Grauwerte der Umgebungsfenster aufweist.
Verfahren nach einem der Ansprüche 17–21, dadurch gekennzeichnet, dass bei Erkennung von mehreren signifikanten Helligkeitsverteilungen auf einer Messlinie der Messwert als Fahrbahnmarkierung betrachtet wird, der am nächsten am vorhergesagten Meßwert liegt.
Verfahren nach einem der Ansprüche 17–22, dadurch gekennzeichnet, dass bei Erkennung von mehreren signifikanten Helligkeitsverteilungen auf einer Messlinie der Messwert als Fahrbahnmarkierung betrachtet wird, der aus einer gewichteten Kombination des Wertes nach Anspruch 21 und Anspruch 22 gebildet wird.
Verfahren nach einem der Ansprüche 17–21, dadurch gekennzeichnet, dass die Breite des Testfensters der Breite einer entsprechend an die Bildposition der Messlinie transformierten Fahrbahnmarkierung entspricht.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein mehrspuriges 2-dimensionales Fahrbahnmodell angesetzt wird, wobei die Fahrbahn mittels der Parameter Krümmung, Anstieg, Spurbreite, Spurzahl und Offset nach Gleichung 3 beschrieben wird.
Verfahren nach einem der Ansprüche 1–24, dadurch gekennzeichnet, dass ein 3-dimensionales Fahrbahnmodell angesetzt wird, wobei der Spurverlauf gemäß Gl. 4 horizontal und nach Gleichung 22 vertikal beschrieben wird und die Abbildung der Erwartungsbereiche in die 2-dimensionale Bildebene unter Berücksichtigung des vertikalen und horizontalen Krümmungsverlaufes erfolgt, wobei im Fahrzeugkoordinatensystem ein extendet Kalman-Filter verwendet wird.
Verfahren nach einem der Ansprüche 1–24 und 26, dadurch gekennzeichnet, dass der extendet Kalman-Filter mit nichtlinearem Sensormodell verwendet wird und die Matrix C für den Kovarianz-Update durch die Jacobimatrix des Sensormodells ersetzt wird.
Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass die Sichtweite der Kamera ständig aus den Bilddaten anhand der Häufigkeit der ermittelten Messpunkte gebildet wird.
Verfahren nach Anspruch 27 dadurch gekennzeichnet, dass die Sichtweite der Kamera die Erwartungsbereiche in denen nach Fahrbahnmarkierungen gesucht (Gates) begrenzt.