DE10333670A1

DE10333670A1 - Lane parameter determination method for determination of parameters of lane in which vehicle is driving for driver assistance system, wherein expectation gates for lane markings are defined in image plane

Info

Publication number: DE10333670A1
Application number: DE10333670A
Authority: DE
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2005-02-17
Anticipated expiration: 2023-07-19
Also published as: DE10333670B4

Abstract

Method for determining the parameters of the lane in which a vehicle is driving for use with a driver assistance system, whereby a multi-lane model in the vehicle coordinate system has expectation areas or gates for the lane markings of a number of lanes within the image plane. An independent claim is made for determining the parameters of the lane in which a vehicle is driving, whereby a camera imaging system is used and road markings determined based on evaluation of a brightness distribution.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten, die mittels mindestens einer Kamera aufgenommenen wurden, wobei der Fahrspurverlauf funktional mit einem Parametersatz beschrieben wird und diese Parameter aus den Bilddaten ermittelt werden.The The invention relates to a method for determining the road course from image data captured by at least one camera were, the lane course functional with a parameter set is described and determines these parameters from the image data become.

Die Ermittlung des Verlaufes der vor einem Fahrzeug befindlichen Fahrspur ist für den Einsatz heutiger Fahrerassistenzsysteme von großer Bedeutung. Die Fahrspurerkennung wird beispielsweise bei bereits serieneingesetzten Abstandsregelsystemen, welche die Geschwindigkeit entsprechend der Verkehrslage vor dem Fahrzeug anpassen und bei selbstlenkenden Systemen zum Halten der gewählten Fahrspur genutzt. Es wird für die jeweilige Anwendung eine Information benötigen, in welcher Spur sich das jeweilige Fahrzeug bewegt bzw. in welcher Relation zu dieser Spur und zu weiteren bewegten sowie unbewegten Objekten sich das Fahrzeug befindet.The Determination of the course of the lane in front of a vehicle is for the use of today's driver assistance systems of great importance. The lane detection is used, for example, already in series Distance control systems, the speed corresponding to the Adjust the traffic situation in front of the vehicle and in self-steering systems to hold the chosen one Lane used. It will be for the respective application need information in which lane itself the respective vehicle moves or in which relation to this Track and to other moving and stationary objects, the vehicle located.

Allgemein bekannt sind dabei Verfahren zum Vorausberechnen der Spur des Fahrzeuges aus den Bewegungsinformationen, welche z.B. mittels eines Gierratensensors, eines Lenkwinkelsensors oder der Radschlupfdaten des Fahrzeug ermittelt werden. Anhand dieser Informationen lässt sich die momentan vom Fahrzeug beschriebene Bewegungsbahn vorausberechnen (dieser Satz wiederholt die Aussage des vorigen). Weiterhin ist es bekannt auf Basis der von einer Kamera aufgenommenen Bilder den Verlauf der Fahrspur anhand der Fahrspurmarkierungen auf der Fahrbahn zu erkennen.Generally In this case, methods are known for prediction of the track of the vehicle from the motion information, which is e.g. by means of a yaw rate sensor, a steering angle sensor or the wheel slip data of the vehicle determined become. Based on this information can be currently from the vehicle Predict motion path described (this sentence repeats the statement of the previous one). Furthermore, it is known on the basis of images taken by a camera the course of the lane on the basis of To recognize lane markings on the roadway.

Vorbekannt ist aus der DE 41 24 654 A1 ein Verfahren zur automatischen Fahrzeugorientierung auf einer Fahrbahn. Die Fahrbahn wird dabei als 3-dimensionale Raumkurve mit vertikalem und horizontalem Krümmungsverlauf beschrieben. Die Raumkurve wird in einem mit dem Fahrzeug mitbewegten Koordinatensystem beschrieben, welches den Vorausbereich des Fahrzeugs enthält. Es wird ein 3-dimensionales Fahrspurmodell gebildet (Wiederholung). Zur Berechnung von dessen Parametern wird das 3D-Fahrspurmodell in einen 2D-Bildbereich transformiert, der dem Sichtwinkel einer Kamera und deren 2-dimensionaler Abbildung der vor dem Fahrzeug befindlichen Umwelt entspricht. Dies ist notwendig, um die 3-dimensionale Abbildung dem von der Kamera aufgenommenen Bild zuzuordnen. Es wird ausgehend von dem 3D-Fahrzeugmodell ein erwarteter Fahrbahnverlauf im 2D-Bildbereich der Kamera abgebildet. Auf Basis der Auswertung der von der Kamera aufgenommenen Bilder erfolgt eine Ermittelung des Fahrspurverlaufes anhand der erkannten Fahrbahnmarkierungen, wobei die Modelldaten genutzt werden um die Bereiche zu ermitteln in denen die Fahrspurmarkierungen zu erwarten sind. Der nachfolgend ermittelte Fahrbahnverlauf wird mit dem aus dem Modell ermittelten, erwarteten Fahrbahnverlauf verglichen und es erfolgt die Anpassung der Fahrspurparameter. Eine explizite Rücktransformation der Bilddaten aus der 2D-Bildebene in das Fahrzeugkoordinatensystem erfolgt dafür nicht. Die Fahrspurerkennung erfolgt auf Basis einer angenommenen rechten und linken Fahrbahnmarkierung. Die Information von mehreren nebeneinender liegenden Spuren werden nicht ausgewertet.Previously known from the DE 41 24 654 A1 a method for automatic vehicle orientation on a roadway. The roadway is described as a 3-dimensional space curve with vertical and horizontal curvature. The space curve is described in a co-ordinated with the vehicle coordinate system, which contains the advance range of the vehicle. A 3-dimensional lane model is formed (repetition). To calculate its parameters, the 3D lane model is transformed into a 2D image area that corresponds to the viewing angle of a camera and its 2-dimensional image of the environment ahead of the vehicle. This is necessary to map the 3-dimensional image to the image taken by the camera. Based on the 3D vehicle model, an expected road course is imaged in the 2D image area of the camera. On the basis of the evaluation of the images taken by the camera, the lane course is determined on the basis of the recognized lane markings, the model data being used to determine the areas in which the lane markings are to be expected. The subsequently determined road course is compared with the expected road course determined from the model, and the lane parameters are adapted. An explicit back transformation of the image data from the 2D image plane into the vehicle coordinate system does not take place for this purpose. The lane recognition is based on an assumed right and left lane marking. The information of several adjacent tracks are not evaluated.

Vorbekannt ist aus der DE 101 27 034 A1 mittels eines modellgestützten und eines merkmalsbasierten Verfahrens auf Basis der Informationen einer Kamera und weiterer Sensorik, welche die Eigenbewegung des Fahrzeuges ermitteln, einen Fahrspurverlauf voraus zu berechnen. Hierbei wird das Kamerabild zeilenweise in bestimmten vorhergesagten Bereichen ausgewertet.Previously known from the DE 101 27 034 A1 by means of a model-based and a feature-based method based on the information of a camera and other sensors, which determine the proper motion of the vehicle to calculate a lane course ahead. Here, the camera image is evaluated line by line in certain predicted areas.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Ermitteln eines Fahrspurverlaufs aus Bilddaten zu schaffen, dass eine robuste Parameterschätzung des Fahrspurverlaufes vor einem Fahrzeug ermöglicht.task The present invention is a method for determining a Lane progression from image data to create a robust parameter estimate of the Lane course before a vehicle allows.

Diese Aufgabe wird bei gattungsgemäßen Verfahren erfindungsgemäß durch die kennzeichnenden Merkmale der unabhängigen Patentansprüche 1 und 17 sowie der vorteilhaften Ausgestaltungen gemäß der Unteransprüche gelöst.These Task is in generic method according to the invention the characterizing features of the independent claims 1 and 17 and the advantageous embodiments according to the dependent claims.

Erfindungsgemäß wird der Fahrspurverlauf als mehrspuriges 2D- oder 3D-Modell beschrieben, wobei mit einem Zustandschätzverfahren, vorzugsweise einem Kalman-Filter, a priori Wissen in die Berechnung des Fahrspurverlaufes mit eingeht und der Fahrspurverlauf vorausgeschätzt wird. Innerhalb des vorausberechneten Fahrspurverlaufes werden in definierten Bereichen, in denen Fahrspurmarkierungen erwartet werden (Gates), Messlinien definiert. Die Koordinaten der Messlinien werden nachfolgend in die 2D-Bildebene des von der Kamera aufgenommenen Bildes transformiert. Auf Basis des vorausberechneten Fahrspurverlaufes bzw. der in das Bild transformierten Messlinien werden aufgrund signifikanter Hell-Dunkel-Verteilungen des Bildes Fahrspurmarkierungen erkannt. Die so gefundenen Messpunkte werden in das Koordinatensystem vor dem Fahrzeug rücktransformiert und auf Basis dieser Messpunkte erfolgt die Aktualisierung der Parameter des Fahrspurmodells.According to the lane course is described as a multi-lane 2D or 3D model, with a state estimation method, preferably a Kalman filter, a priori knowledge enters into the calculation of the lane course and the lane course is estimated. Within the predicted lane course, measurement lines are defined in defined areas in which lane markings are expected (gates). The coordinates of the measurement lines are subsequently transferred to the 2D image plane of transformed from the camera. On the basis of the predicted lane course or of the measurement lines transformed into the image, lane markings are detected due to significant light-dark distributions of the image. The measuring points found in this way are transformed back into the coordinate system in front of the vehicle, and the parameters of the lane model are updated on the basis of these measuring points.

Für die Schätzung der Parameter des 3D-Strassenmodells im Fahrzeugkoordinatensystem wird ein Extended Kalman-Filter mit nichtlinearem Sensormodell verwendet, welcher die Abbildung der 3D-Koordinaten ins Bild beschreibt. Eine direkte Rücktransformation aus der 2D-Bildebene kann dabei nicht erfolgen, da die Abbildung nicht eindeutig ist.For the estimate of Parameter of the 3D road model in the vehicle coordinate system used an extended Kalman filter with nonlinear sensor model, which describes the mapping of the 3D coordinates into the image. A direct inverse transformation from the 2D image plane can not be done because the figure is not unique.

Erfindungsgemäß vorteilhaft werden für die Analyse des Spurverlaufes eine Vielzahl von Fahrspurmarkierungen ausgewertet. Die Fahrspurmarkierungen begrenzen nicht nur die eigene Fahrspur, sondern können gleichfalls den Spurverlauf nebeneinander liegender Fahrspuren begrenzen. Im erfindungsgemäßen Verfahren werden im Bildbereich Fahrspurmarkierungen mehrerer nebeneinander liegender Fahrbahnen gleichzeitig ermittelt. Im Fahrzeugkoordinatensystem wird der Fahrbahnverlauf aus den Messpunkten mehrerer Fahrspuren angesetzt, wobei davon ausgegangen wird, dass die Bahnparameter der Spuren gleich sind. Dieser mehrspurige Ansatz ist vorteilhaft, da die Berechnung des Fahrspurverlaufes durch die Hinzunahme der Information der Nebenspuren sicherer und genauer wird. Das größte Einsatzgebiet der Fahrerassistenzsysteme mit Spurerkennung stellen Autobahnen oder Autobahn-ähnliche Fahrstrassen dar, die zum überwiegenden Teil mehrere Fahrspuren enthalten. Für diese kann eine besonders robuste Schätzung des Fahrbahnverlaufes erfolgen.According to the invention advantageous be for the analysis of the lane course a variety of lane markings evaluated. The lane markings not only limit your own Lane but can also limit the lane course of adjacent lanes. In the method according to the invention are in the image area lane markings of several side by side lying lanes determined simultaneously. In the vehicle coordinate system the road course becomes the measuring points of several lanes Assuming that the orbital parameters the tracks are the same. This multi-lane approach is advantageous since the calculation of the lane course by the addition of information the secondary tracks becomes safer and more accurate. The largest application driver assistance systems with lane detection provide highways or highway-like Roads are, for the most part contain several lanes. For This can be a particularly robust estimate of the roadway course.

Erfindungsgemäß vorteilhaft erfolgt die Ermittelung der für die Fahrspurmarkierungen relevanten Bilddaten nur in ausgewählten Bereichen des Kamerabildes, wobei jeweils bestimmte Messlinien innerhalb des Bildbereiches betrachtet werden und die Verteilung der Messlinien in verschiedenen Bereichen unterschiedlich ist. Es wird dabei mindestens in zwei Bereiche unterteilt, einen Nahereich und einen Fernbereich. Zusätzlich werden besondere Bereiche für die Nebenspuren vorgesehen und ein Fernstgate eingeführt. Es kann in diesen Bereichen sowohl die Häufigkeit der Verteilung als auch die Länge der Messlinien variieren.According to the invention advantageous the determination of the for the lane markings relevant image data only in selected areas of the camera image, whereby in each case certain measurement lines within the image area be considered and the distribution of the measurement lines in different Areas is different. It will be at least in two Divided areas, a Nahereich and a Fernbereich. In addition will be special areas for provided the secondary lanes and introduced a remote gate. It In these areas, both the frequency of distribution can be also the length the measuring lines vary.

Erfindungsgemäß vorteilhaft ist im Kamerabild die Verteilung der Messlinien im Nahbereich dichter als im Fernbereich. Das heißt es werden im Nahbereich mehr Messlinien pro Fahrbahnteilstück betrachtet. Dies ist für eine genaue Vorausberechnung des Straßenverlaufes vorteilhaft, da die Bilddaten des auszuwertenden Bildes vor dem Fahrzeug am sichersten sind. Im Nahbereich kann eine Verwendung kurzer Messlinien erfolgen, d. h. der horizontale Suchbereich (die Breite der Gates) kann im Nahbereich schmaler als im Fernbereich angesetzt werden, da der Fahrspurverlauf sicherer ist. Die Verteilung der Messlinien im Fernbereich erfolgt mit geringerer Dichte wobei die Gates in Vorausrichtung, respektive die Platzierung von Meßlinien, durch eine maximale ermittelte Sichtweite der Kamera, die aus dem beobachtbaren Spurverlauf resultiert, begrenzt wird. Die Breite des Gates, welche die Länge der Messlinien bestimmt, ist im Fernbereich größer, da der Fahrspurverlauf in der Entfernung wechselnder Krümmung unterworfen sein kann und damit unsicherer ist. Um sicher Fahrspurmarkierungen detektieren zu können, wird die Breite des Gates im Fernbereich erweitert.According to the invention advantageous In the camera image, the distribution of the measuring lines in the near range is denser as in the far field. This means At close range, more measuring lines per lane section are considered. This is for an accurate prediction of the course of the road advantageous because the image data of the image to be evaluated in front of the vehicle safest are. At short range, short measurement lines can be used d. H. the horizontal search area (the width of the gates) can be in Narrow range narrower than in the far range to be set, since the Lane course is safer. The distribution of the measuring lines in the far range occurs at a lower density with the gates in pre-alignment, respectively the placement of measuring lines, by a maximum determined visibility of the camera, from the observable track course results, is limited. The width of the gate, which is the length of the Measuring lines is greater in the far range, since the lane course in the distance of alternating curvature can be subject and thus unsafe. To safely lane markings to be able to detect The width of the gate is extended in the far range.

Die Häufigkeit der Messlinien in den Nebenspuren ist ebenfalls geringer als im Nahbereich. Es wird damit in vorteilhafter Weise die Dominanz der Messungen der eigenen Fahrspur gesichert.The frequency The measurement lines in the secondary tracks is also lower than in Close range. It is thus advantageously the dominance of Secured measurements of own lane.

Erfindungsgemäß vorteilhaft erfolgt die Analyse von Fahrspurmarkierungen dahingehend, ob es sich um durchgängige oder unterbrochenen Fahrspuren handelt. Diese Erkennung erlaubt es Informationen von Nebenspuren bzw. Randbebauung gezielt auszuwerten und Nebenspuren in sinnvollen Bereichen des Fahrbahnabbildes zu erkennen.According to the invention advantageous the analysis of lane markings is made as to whether it is to be consistent or broken lanes. This recognition allows to evaluate information from secondary lanes or edge development and side lanes in meaningful areas of the lane map too detect.

Es erfolgt weiterhin eine laufende Aktualisierung der Spuranzahl und ein damit verbundenes Hinzufügen bzw. Löschen der betrachteten Nebenspuren sowie eine Adaption der Sichtweite und der Fahrspurbreite auf Basis der ermittelten Messdaten der Kamera.It continues to be an ongoing update of the number of lanes and an associated addition or delete the considered secondary tracks as well as an adaptation of the visibility and the lane width based on the measured data of the camera.

In vorteilhafter Weise wird die Sichtweite der Kamera, d.h. die Entfernung in der die Detektion von Fahrspurmarkierungen möglich ist, fortschreitend aus den Bilddaten ermittelt. Es kann damit eine sinnvolle Begrenzung der Länge der Gates erfolgen. Eventuell Erwähnung des Fernstgates.In Advantageously, the field of view of the camera, i. the distance in which the detection of lane markings is possible progressively out determined the image data. It can therefore be a sensible limitation the length the gates are done. Maybe mention of Fernstgates.

Weitere Einzelheiten der Erfindung werden nachfolgend anhand von schematisch dargestellten Ausführungsbeispielen beschrieben.Further Details of the invention are described below with reference to FIG illustrated embodiments described.

Hierbei zeigen:in this connection demonstrate:

1 eine Darstellung des mehrspurigen Fahrbahnmodells, 1 a representation of the multi-lane roadway model,

2 den Einfluss der Parameter auf den berechneten Straßenverlauf, 2 the influence of the parameters on the calculated road course,

3 die Zuordnung der Messpunkte zum Fahrspurmodell im Fahrzeugkoordinatensystem, 3 the assignment of the measuring points to the lane model in the vehicle coordinate system,

4 die Generierung der Gates und Messlinien im Fahrzeugkoordinatensystem, 4 the generation of the gates and measuring lines in the vehicle coordinate system,

5 die Erweiterung des Fahrspurmodells in die Dritte Dimension, 5 the extension of the lane model to the third dimension,

6 in einem Ablaufplan die Erkennung der Fahrbahnmarkierungen durch Betrachtung der Hintergrundinformation. 6 in a flowchart the recognition of the lane markings by consideration of the background information.

Für die Fahrspurerkennung wird ein modellbasierter Ansatz mit Methoden der Schätztheorie verknüpft. Die dazu verwendete Kalman-Filter-Struktur (Vorhersage-Fusions-Schema) erlaubt es, Vorwissen über die Schätzparameter bei der Initialisierung und permanent durch die Vorhersage des vorherigen Schätzergebnisses für den aktuellen Zeitpunkt in die aktuelle Schätzung einzubeziehen.For lane detection becomes a model-based approach with methods of estimation theory connected. The Kalman filter structure used for this (prediction-fusion scheme) allows you to have prior knowledge of the estimation parameters at initialization and permanent by the prediction of the previous one estimation result for the include current time in the current estimate.

Der Straßenverlauf wird mittels eines allgemeinen parametrischen Polynomansatzes beschrieben x(y)= a0 + a1y + a2y2 + a3y3 + ... (1) The course of the road is described by means of a general parametric polynomial sentence x (y) = a 0 + a 1 y + a 2 y 2 + a 3 y 3 + ... (1)

Der Verlauf der Straße, respektive der Straßenberandungen, wird im hier gewählten Beispiel mit einem Modell beschrieben dessen Ordnung auf 2 beschränkt ist. Daraus ergibt sich Gl. 2 x(y) = a0 + a1y + a2y2. (2) The course of the road, or the road boundary, is described in the example chosen here with a model whose order is limited to 2. This results in Eq. 2 x (y) = a 0 + a 1 y + a 2 y 2 , (2)

Weiterhin wurde auf eine solche Formulierung dieser Parabel zurückgegriffen, die für die Verwaltung mehrerer Fahrspuren gleichzeitig geeignet ist. Dafür wird Funktion bezüglich der x-Achse in der Weise verschoben, als sei sie durch das Mehrfache einer Spurbreite b und eine zusätzliche Verschiebung o vom rechten Straßenrand zustande gekommen. Für die i-te Linie im Fahrbahnmodell ergibt sich somit Gl. 3 νxi(νy) = c0 νy + c1 νy2 – b·i + o. (3) Furthermore, such a formulation of this parabola was used, which is suitable for the management of multiple lanes at the same time. For this function with respect to the x-axis is shifted in such a way as if it had come about by the multiple of a track width b and an additional shift o from the right roadside. For the ith line in the roadway model, Eq. 3 ν x i ( ν y) = c 0 ν y + c 1 ν y 2 - b * i + o. (3)

Die 2 zeigt für die Parameter c₀ (Anstieg) – und c₁ (Krümmung) den Einfluss der Parameter am Beispiel einer dreispurigen Fahrbahn mit 4 Begrenzungslinien. Für die Bezeichnungen des mehrspurigen Fahrbahnmodells im Fahrzeugkoordinatensystem (siehe 1) wird der Index ^ν (Index links oben ν = vehicle: ^ν) mit den Koordinatenachsen ^νx und ^νy definiert. Die Zählung der Fahrspuren (lane) beginnt von rechts mit der Zahl 1. Die Zählung der Linien (line) beginnt ebenfalls von rechts mit der Zahl 0. Eine gebräuchliche Größe für die Spurbreite b ist b = 3.5m, wie beispielhaft in 1 dargestellt.The 2 shows for the parameters c ₀ (increase) - and c ₁ (curvature) the influence of the parameters on the example of a three-lane road with 4 boundary lines. For the designations of the multi-lane roadway model in the vehicle coordinate system (see 1 ), the index ^ν (index top left ν = vehicle: ^ν ) is defined with the coordinate axes ^ν x and ^ν y. The counting of the lanes starts from the right with the number 1. The counting of the lines (line) also starts from the right with the number 0. A common size for the track width b is b = 3.5m, as exemplified in 1 shown.

Die auf der Kalman-Filterung beruhende permanente Schätzung der Parameter des gewählten parametrischen Funktionsansatzes νxi(νy) = c0 νy + c1 νy2 – b·i + o (3)mit den vier Parametern

basiert auf einem dynamischen Modell für die zeitliche Entwicklung der Funktionsparameter, die als Zustandsgrößen eines dynamischen Systems gedeutet werden, einem Modell für die Abbildung der Zustandsgrößen in den Messraum und der Anwendung der vorbekannten Formeln des Kalman-Filters.The Kalman filtering-based permanent estimation of the parameters of the selected parametric function approach ν x i ( ν y) = c 0 ν y + c 1 ν y 2 - b * i + o (3) with the four parameters

is based on a dynamic model for the temporal evolution of the function parameters, which are interpreted as state variables of a dynamic system, a model for the mapping of the state variables into the measurement space and the application of the previously known formulas of the Kalman filter.

Das diskrete dynamische Modell wird aus der Annahme abgeleitet, dass sich das Sensorfahrzeug in der Zeit dt bei einer Bahngeschwindigkeit ν_B und unter Annahme eines vernachlässigbaren Lenkeinschlages der Räder um das gerade Wegstück dy(k – 1) = dy(dt(k – 1)) = νB(k – 1)·dt(k – 1) (5)entlang der y-Achse bewegt.The discrete dynamic model is derived from the assumption that the sensor vehicle is traveling around the straight span at time dt at orbit velocity ν _B and assuming a negligible steering angle of the wheels dy (k - 1) = dy (dt (k - 1)) = ν B (k - 1) · dt (k - 1) (5) moved along the y-axis.

Vernachlässigt man die Auswirkungen der Krümmung auf die Änderung der Zustandsgrößen erweist sich das folgende vereinfachte dynamische Modell als zweckmäßig.Neglected the effects of the curvature on the change the state variables turn out to be the following simplified dynamic model as appropriate.

Man schreibt auch s(k) = A(k – 1)·s(k – 1) + ν(k – 1), (7)wobei man sich Änderungen, die nicht im Entwicklungsmodell enthalten sind, durch eine zusätzliche Eingangsstörung ν(k – 1) verursacht vorstellt.One also writes s (k) = A (k - 1) · s (k - 1) + ν (k - 1), (7) whereby one imagines changes, which are not contained in the development model, caused by an additional input disturbance ν (k-1).

Die Messgleichung folgt unmittelbar aus der Modellgleichung, denn offensichtlich transformiert sie die Zustandsgrößen in den Messraum, der in unserem Falle das Fahrzeugkoordinatensystem mit den Koordinatenachsen ^νx und ^νy ist. Gemäß der Modellgleichung fließen die Messwerte (Punkte des Fahrbahnrandes im Fahrzeugkoordinatensystem) sowohl in den Aufbau des Messvektors als auch in den Aufbau der Messmatrix ein. Für N gemessene Punkte (^νx_k, ^νy_k) einer Linie l erhält man

The measurement equation follows directly from the model equation, because it obviously transforms the state variables into the measurement space, which in our case is the vehicle coordinate system with the coordinate axes ^ν x and ^ν y. According to the model equation, the measured values (points of the edge of the road in the vehicle coordinate system) flow into both the structure of the measurement vector and the structure of the measurement matrix. For N measured points ( ^ν x _k , ^ν y _k ) of a line l one obtains

Dementsprechend setzt sich die Messgleichung für mehrere Fahrspuren bzw. deren Begrenzungslinien (0 ... L) in folgender Form zusammen

Accordingly, the measurement equation for several lanes or their boundary lines (0 ... L) is composed in the following form

Man schreibt auch y(k) = C(k)·s(k) + w(k), (10)wobei man sich auch hier zusätzliche nicht modellierte Fehler als durch eine Messstörung w(k) verursacht vorstellt.One also writes y (k) = C (k) s (k) + w (k), (10) again imagining additional non-modeled errors as caused by a measurement disturbance w (k).

In Gleichung 9 ist der erfindungsgemäße Vorteil, der Verwendung der Informationen aus mehreren Spuren durch den Ansatz eines mehrspurigen Fahrbahnmodells, gut zu erkennen. Es werden die Fahrspurparameter in Form des Parametervektors s(k) (Gl. 9 und 10) aus den Messpunkten mehrere Spuren gebildet. Unter der Annahme, dass die Parameter nebeneinanderliegender Spuren gleich sind, ergibt sich daher ein besonders robustes Schätzergebnis.In Equation 9 is the advantage of the invention, the use the information from multiple tracks through the approach of a multi-lane Road model, easy to recognize. It will be the lane parameters in the form of the parameter vector s (k) (equations 9 and 10) from the measuring points several tracks formed. Assuming that the parameters are adjacent Tracks are the same, therefore, results in a particularly robust estimation result.

3 zeigt die erhobenen Messwerte und deren Zuordnung zu den Linien des Modells im Fahrzeugkoordinatensystem. Die Kreuze entsprechen den ins Fahrzeugkoordinatensystem transformierten Messpunkten aus dem Kamerabild. 3 shows the collected measurements and their assignment to the lines of the model in the vehicle coordinate system. The crosses correspond to the measuring points transformed into the vehicle coordinate system from the camera image.

Die oben gewonnenen Systemgleichungen fließen nachfolgend in die bekannte Kalman-Gleichungen ein:
Prädiktion s*(k) = A(k – 1)ŝ(k – 1) (11) P*(k) = A(k – 1)P ^(k – 1)AT(k – 1) + Q(k – 1) (12)Fusion K(k) = P*(k)C(k)T[C(k)P*(k)CT(k) + R(k)]–1 (13) ŝ(k) = s*(k) + K(k)[y(k) – C(k)s*(k)] (14) P ^(k) = P*(k) – K(k)C(k)P*(k) (15) The system equations obtained above are incorporated into the well-known Kalman equations below:
prediction s * (k) = A (k - 1) ŝ (k - 1) (11) P * (k) = A (k-1) P ^ (k-1) A T (k-1) + Q (k-1) (12) fusion K (k) = P * (k) C (k) T [C (k) P * (k) C T (k) + R (k)] -1 (13) ŝ (k) = s * (k) + K (k) [ y (k) - C (k) s * (k)] (14) P ^ (k) = P * (k) -K (k) C (k) P * (k) (15)

Dabei beschreibt Q(k) die Kovarianzmatrix des Eingangsrauschens, R(k) die Kovarianzmatrix des Messrauschens und P ^(k) die permanent mit geschätzte Messfehlerkovarianz, die die Unsicherheit des Schätzergebnisses repräsentiert.there Q (k) describes the covariance matrix of the input noise, R (k) the covariance matrix of the measurement noise and P ^ (k) the permanently with estimated Measurement error covariance, which is the uncertainty of the estimation result represents.

Der Vektor ŝ(k) bezeichnet dabei den gesuchten Schätzvektor der Funktionsparameter.The vector ŝ (k) denotes the searched estimation vector of the function parameters.

Das Vorhersage-Fusions-Schema des Kalman-Filters bietet die Möglichkeit, Vorwissen bei der Initialisierung sowie den prädizierten Zustand des Systems gezielt für die Vermessung der Fahrzeugumgebung zu verwenden. Für die Initialisierungsphase wird eine besondere Erzeugung des Gates vorgesehen, wie später zur Initialisierung beschrieben.The Prediction-fusion scheme of the Kalman filter offers the possibility Previous knowledge of the initialization as well as the predicted state of the system targeted for to use the survey of the vehicle environment. For the initialization phase a special generation of the gate is provided, as later to Initialization described.

4 veranschaulicht die Generierung der Gates und Messlinien im Fahrzeugkoordinatensystem. 4 illustrates the generation of the gates and measurement lines in the vehicle coordinate system.

Der nahe liegende Bereich der vom Fahrzeug befahrenen Spur ist in den häufigsten beobachteten Situationen für die Lage der Fahrspuren am gesichertsten. Es wird daher mindestens zwischen zwei Gate-Bereichen unterschieden. Es werden Nahgate, dass vorzugsweise nur in der eigenen Spur gebildet wird und einem Ferngate unterschieden. Zwischen diesen Bereichen unterscheiden sich entweder die Breiten der Gates oder die Abstände der vorgesehenen Messlinien oder beide Parameter werden variiert. Vorliegend ist die Breite der Gates im Nahbereich schmaler als im Fernbereich und die Dichte der Messlinien ist im Nahbereich größer. Der Nah- und Fernbereich wird auch als Nah- bzw. Ferngate bezeichnet.Of the nearby area of the track used by the vehicle is in the common observed situations for the location of the lanes most secure. It will therefore at least distinguished between two gate areas. It will be neargate, that preferably only in the own lane is formed and a remote gate distinguished. Between these ranges differ either the widths of the gates or the distances of the intended measuring lines or both parameters are varied. The present is the width the gates narrower in the near range than in the far field and the density The measuring lines are larger at close range. The near and far range is also called a local or remote gate.

In den seitlichen Gates der Nebenspuren kann ebenfalls zwischen Fern- und Nahgate unterschieden werden. Im hier dargestellten Beispiel erfolgt jedoch keine Unterscheidung. Die Breite der Gates entspricht üblicherweise der des Ferngates, kann jedoch ebenfalls von dieser abweichen. Die Abstände der vorgesehenen Messlinien werden in den seitlichen Gates um einen Faktor (z. B. 1,5) vergrößert, um den Umfang der Messwerte möglichst klein zu halten und die Dominanz der Messwerte der eigenen Fahrspur in der Schätzung zu wahren.In the lateral gates of the secondary lanes can also be and Nahgate be distinguished. In the example shown here however, no distinction is made. The width of the gates usually corresponds that of the remote gate, but can also deviate from this. The distances the intended measuring lines are in the lateral gates by one Factor (eg 1.5) increased to the extent of the measured values as far as possible to keep small and the dominance of the measured values of one's own lane in the estimate to protect.

Bei einem Spurwechsel wird das Nahgate über ein gewisses Zeitintervall hinweg verbreitert, um beim schrägen Überqueren der Fahrbahnbegrenzungslinien ein Heraustreten der Linien aus dem Gate zu verhindern.at a lane change, the Nahgate over a certain time interval widened away to oblique crossing the lane boundary lines emerge from the lines of the Prevent gate.

Die Tatsache, dass die Erhebung der Messwerte im hier betrachteten System im Videobild der Fahrzeugumgebung und nicht unmittelbar im Fahrzeugkoordinatensystem erfolgt, macht einen zwischenzeitlichen Übergang in das Bild und die Betrachtung in Bildkoordinaten erforderlich. Dazu wird das in Fahrzeugkoordinaten generierte Gate zunächst in das Bild transformiert, woraus sich die tatsächlich für die Bildverarbeitung relevanten Regionen ergeben. Dann erfolgt im Bild der eigentliche Detektionsschritt – die Messung. Die gemessenen Punkte der Fahrspurbegrenzungen werden für ein 2D-Fahrspurmodell anschließend zurück in das Fahrzeugkoordinatensystem transformiert um dort dem oben beschriebenen Aufbau von Messvektor und Messmatrix zu dienen und den Fusionsschritt zu ermöglichen. Die Transformation von Fahrzeugkoordinaten in Bildkoordinaten erfolgt mit den Elementen der im vorhinein bestimmten Transformationsmatrix

The fact that the survey of the measured values in the system considered here takes place in the video image of the vehicle environment and not directly in the vehicle coordinate system necessitates an intermediate transition into the image and the consideration in image coordinates. For this purpose, the gate generated in vehicle coordinates is first transformed into the image, resulting in the regions actually relevant for image processing. Then the actual detection step takes place - the measurement. The measured points of the lane boundaries are then transformed back into the vehicle coordinate system for a 2D lane model to serve the above-described construction of measurement vector and measurement matrix and to enable the fusion step. The transformation of vehicle coordinates into image coordinates takes place with the elements of the previously determined transformation matrix

Damit berechnet man die Bildkoordinaten aus den Fahrzeugkoordinaten durch

This is used to calculate the image coordinates from the vehicle coordinates

In umgekehrter Richtung verwendet man die inverse Matrix

um aus den Bildkoordinaten die Fahrzeugkoordinaten zu bestimmenIn the opposite direction one uses the inverse matrix

to determine the vehicle coordinates from the image coordinates

Diese sind Eingangsgrößen der Messgleichung 9 und treiben den Kalman-Filter.These are input variables of the Measurement equation 9 and drive the Kalman filter.

5 zeigt den Übergang des 2D-Fahrspurmodells in die Dritte Dimension. Für eine genaue Fahrspurerkennung in realen Umweltbedingungen ist neben der Modellierung der Kurvigkeit der Fahrbahn auch die Berücksichtigung von Hügeln und Tälern im Fahrbahnmodell notwendig. Dafür wird das oben zunächst nur in der ^νx, ^νy)-Ebene des Fahrzeugkoordinatensystems eingeführte Modell in die dritte Dimension erweitert, indem ein Polynomansatz nach Gleichung 22 νz(νy) = h1 νy + h2 νy2 + h3 νy3 (22)für Krümmungen der Fahrbahn in der (^νy, ^νz)-Ebene des Fahrzeugkoordinatensystems verwendet wird. Zur Verdeutlichung des Ansatzes ist die Auswirkung der vertikalen Krümmung in 5 dargestellt. 5 shows the transition of the 2D lane model to the third dimension. For accurate lane detection in real environmental conditions, in addition to the modeling of the curvature of the roadway, the consideration of hills and valleys in the roadway model is necessary. For this, the model introduced above only in the ^ν x, ^ν y) plane of the vehicle coordinate system is extended into the third dimension by a polynomial theorem according to Equation 22 ν z ( ν y) = h 1 ν y + h 2 ν y 2 + h 3 ν y 3 (22) is used for curvatures of the road in the ( ^ν y, ^ν z) plane of the vehicle coordinate system. To clarify the approach, the effect of the vertical curvature in 5 shown.

Der Zustandsvektor s der zu schätzenden Parameter wird demzufolge erweitert um die Parameter des Polynomansatzes für ^νz

The state vector s of the parameters to be estimated is therefore extended by the parameters of the polynomial theorem for ^ν z

Die Transformation der Messlinien aus dem 3-dimensionalen Fahrzeugkoordinatensystem in den 2D-Bildbereich der Kamera erfolgt dann nach Gl. 23 und 24.

wobei die Elemente t_kl von t₁₁ bis t₃₄ hier die Elemente der ebenfalls vorbestimmten Tranformationsmatrix

für die Abbildung der dreidimensionalen Punkte des Straßenmodells in die Bildebene sind, entsprechend der Transformation aus dem 2D-Modell (siehe Gl. 16 ) angepasst auf die 3D Abbildung. Die Modellierung der Fahrspuren in einem dreidimensionalen Modell macht die direkte Rücktransformation von Bildpunkten in die Fahrzeugkoordinaten unmöglich und erfordert für die Schätzung der Modellparameter, abweichend von der zum 2D-Fahrzeugmodell beschriebenen Lösung, den Übergang vom oben beschriebenen linearen Kalman-Filter zum Extended Kalman-Filter mit nichtlinearem Sensormodell.The transformation of the measurement lines from the 3-dimensional vehicle coordinate system into the 2D image area of the camera then takes place according to Eq. 23 and 24.

where the elements t _kl of t ₁₁ to t ₃₄ here the elements of the likewise predetermined transformation matrix

for mapping the three-dimensional points of the road model into the image plane, corresponding to the transformation from the 2D model (see Eq. The modeling of the lanes in a three-dimensional model makes the direct inverse transformation of pixels into the vehicle coordinates impossible and requires for the estimation of the model parameters, deviating from the solution described for the 2D vehicle model, the transition from the above-described linear Kalman filter to the Extended Kalman filter with nonlinear sensor model.

Die oben angegebenen Abbildungsgleichungen (23) und (24) werden komplettiert durch die funktionalen Ansätze für ^νx und ^νz aus (3) und (22)

The mapping equations (23) and (24) given above are completed by the functional approaches for ^ν x and ^ν z from (3) and (22)

Für N gemessene Punkte (^νx_k, ^νy_k) einer Linie l erhält man dann gemäß der oben angegebenen linearen Meßgleichung (8) hier den nichtlinearen Meßvektor

For N measured points ( ^ν x _k , ^ν y _k ) of a line l, one then obtains the nonlinear measurement vector according to the linear measurement equation (8) given above

Anschließend setzt sich auch hier die komplette Messgleichung für mehrere Fahrspuren bzw. deren Begrenzungslinien (0 ... L ) in folgender Form zusammen

Subsequently, the complete measurement equation for several lanes or their boundary lines (0... L) is also composed in the following form

Man schreibt auch y(k) = gC(k,s(k)) + w(k), (30)wobei man sich auch hier zusätzliche nicht modellierte Fehler als durch eine Messstörung w(k) verursacht vorstellt.One also writes y (k) = g C (K, s (k)) + w (k), (30) again imagining additional non-modeled errors as caused by a measurement disturbance w (k).

Die oben angegebenen Kalman-Gleichungen (11) bis (15) werden durch die entsprechenden Gleichungen des Extended Kalman-Filters ersetzt. Es wird das nichtlineare Sensormodell eingesetzt und die Matrix C für den Kovarianz-Update wird durch die Jacobimatrix des Sensormodells ersetzt

The above Kalman equations (11) to (15) are given by the corresponding equation replaced with the Extended Kalman filter. The nonlinear sensor model is used and the matrix C for the covariance update is replaced by the Jacobian matrix of the sensor model

Man verwendet dann
Prädiktion s*(k) = A(k – 1)ŝ(k – 1) (32) P*(k) = A(k – 1)P ^(k –1)AT(k – 1) + Q(k – 1) (33)Fusion K(k) = P*(k)C(k)T[C(k)P*(k)CT(k) + R(k)]–1 (34) ŝ(k) = s*(k) + K(k)[y(k) – gC(k,s*(k)) (35) P ^(k) = P*(k) – K(k)C(k)P*(k) (36) You then use
prediction s * (k) = A (k - 1) ŝ (k - 1) (32) P * (k) = A (k-1) P ^ (k-1) A T (k-1) + Q (k-1) (33) fusion K (k) = P * (k) C (k) T [C (k) P * (k) C T (k) + R (k)] -1 (34) ŝ (k) = s * (k) + K (k) [ y (k) - g C (K, s * (k)) (35) P ^ (k) = P * (k) -K (k) C (k) P * (k) (36)

6 zeigt in einem Ablaufplan eine bevorzugte Variante der Auswertung der Bilddaten zur Erkennung der Fahrbahnmarkierungen. 6 shows in a flowchart a preferred variant of the evaluation of the image data for detecting the lane markings.

Innerhalb der durch das Gate vorgegebenen Erwartungsbereiche werden einzelne horizontale Linien für die Detektion der Fahrbahnmarkierungen verwendet. Diese entsprechen den bei der vorstehenden Beschreibung der Gates genannten Messlinien. Auf der Fahrbahnoberfläche sollen helle Streifen als Zeichen für Fahrbahnmarkierungen erkannt werden. Dazu wird innerhalb der Messlinien untersucht, ob und an welcher Stelle sich ein signifikanter heller Bereich abbildet.Within the expectation ranges given by the gate become individual horizontal lines for used the detection of the lane markings. These correspond the measuring lines mentioned in the previous description of the gates. On the road surface bright stripes are to be recognized as signs for lane markings become. For this purpose, it is examined within the measuring lines whether and which place a significant bright area is pictured.

Entlang der Messlinie wird ein Detektionsfenster kontinuierlich, pixelweise verschoben. Das Detektionsfenster enthält drei Bereiche: Pixel unter Test (Testfenster) und zwei Umgebungsbereiche (Umgebungsfenster). In allen drei Bereichen wird der Mittelwert der Grauwerte berechnet. Die Mittelwerte der Umgebungsfenster werden zusätzlich durch Mittelwertbildung miteinander verknüpft. Zwischen dem so gebildeten Mittelwert der Umgebungsfenster und dem Mittelwert des Testfensters wird als Detektionskriterium der Quotient bestimmt.Along the measurement line becomes a detection window continuously, pixel by pixel postponed. The detection window contains three areas: pixels below Test (test window) and two surrounding areas (ambient window). In all three ranges, the average of the gray values is calculated. The mean values of the surrounding windows are additionally averaged linked together. Between the thus formed average of the surrounding windows and the Average value of the test window becomes the detection criterion of the quotient certainly.

Zusätzlich werden die Mittelwerte der Umgebungsbereiche miteinander verglichen. Sind diese Mittelwerte unterschiedlich, d.h., überschreitet der Betrag ihrer Differenz eine vorgegeben Schwelle, so wird auf das Vorhandensein einer Grauwertstufe geschlossen und die Detektion der weißen Linie an dieser Stelle als zu unzuverlässig abgewiesen. Treten mehrere Detektionen innerhalb einer Messlinie auf, so wird diejenige mit dem größten Quotienten selektiert. Die Anzahl der Pixel unter Test (also die Breite des weißen Streifens an einer bestimmten Bildposition) sowie die Anzahl der Umgebungspixel wird durch die bekannte ungefähre Breite der weißen Streifen in der Welt modellbasiert vorgegeben, indem für jeden Messstreifen im Bild mit Hilfe der Kalibrierungsparameter der Kamera die dort benötigte Breite des Streifens im Bild berechnet wird.In addition will be the mean values of the surrounding areas compared with each other. are these means differ, that is, the amount of their Difference a given threshold, so will the presence a gray value level closed and the detection of the white line at this point as too unreliable rejected. If several detections occur within a measuring line on, the one with the largest quotient is selected. The number of pixels under test (ie the width of the white stripe at a certain image position) as well as the number of surrounding pixels is known by the approximate Width of white Streaks in the world model based predefined by each Measurement strip in the image using the calibration parameters of the camera the needed there Width of the strip in the image is calculated.

Die Initialisierung erfolgt prinzipiell mit 5 Spuren – also 6 Linien – und der eigenen Position in der Mitte der dritten Spur. Die initialisierten Linien sind nicht geneigt (Anstieg gleich Null) und ungekrümmt (Krümmung gleich Null) und reichen bis zum Ende des Nahbereiches.The Initialization takes place in principle with 5 tracks - ie 6 Lines - and the own position in the middle of the third track. The initialized Lines are not inclined (rise equal to zero) and uncurved (curvature equal Zero) and extend to the end of the near range.

Diese 6 Linien lassen für den erwarteten Fall einer dreispurigen Fahrbahn nach beiden Seiten genügend Spielraum für einen Test auf das Vorhandensein von Fahrspurbegrenzungen. Für die Entscheidung über das Beibehalten oder Löschen von Linien, wird über einen kurzen Initialisierungszeitraum das Auftreten von Messwerten im Nahbereich (eigene Spur) und im gesamten Fernbereich (über alle Spuren) herangezogen.These 6 lines leave for the expected case of a three-lane carriageway to both sides enough Travel for a test for the presence of lane boundaries. For the decision on the Maintain or delete of lines, is over a short initialization period the occurrence of measured values in the close range (own track) and in the whole distance range (over all Traces) used.

Aus der durchschnittlichen Anzahl vorhandener Messungen im Nahbereich wird zunächst auf das Vorhandensein einer durchgezogenen oder nicht durchgezogenen Linie in der eigenen Spur links und rechts geschlossen. Beispielhaft wird nachfolgend eine Vorzugsvariante für eine Initialisierungsroutine beschrieben, die auf der Erkennung der Art der Fahrbahnmarkierung basiert. Ist die linke oder rechte Linie der eigenen Spur eine durchgezogene Linie, so werden alle Linien links bzw. rechts dieser Linie gelöscht. Ist die linke oder rechte Linie der eigenen Spur eine Strichlinie, so werden von links bzw. rechts beginnend bis zur vorletzten seitlichen Linie alle Linien gelöscht, wenn ihre Messwerteanzahl im Fernbereich unter der über alle Spuren ermittelten mittleren Messwerteanzahl liegt. Das Löschen wird bei der vorletzten Linie gestoppt, da die Strichlinie als Begrenzungslinie auf das Vorhandensein einer weiteren seitlichen Linie schließen lässt.Out the average number of available measurements in the near range will be first to the presence of a solid or non-solid Line closed in own lane left and right. exemplary is subsequently a preferred variant for an initialization routine described on the detection of the type of road marking based. Is the left or right line of your own track a solid Line, all lines to the left or right of this line are deleted. is the left or right line of the own track is a dashed line, so are from left or right beginning to the penultimate lateral line all lines deleted, if their measured value in the far range under the over all Tracks determined average measured value number is. The deletion will stopped at the penultimate line, as the dashed line is a boundary line indicates the presence of another lateral line.

Um fehlerhafte Schätzergebnisse zu erkennen, wird eine Selbstüberwachung der Ergebnisse durchgeführt, die für das vorgeschriebene Szenarium nicht zu erwartende Werte als Abbruchbedingungen verwendet. Bei unplausiblen Ergebnissen der Messungen wird eine erneute Initialisierung ausgeführt.Around erroneous estimation results to recognize, is a self-monitoring the results are done, the for the prescribed scenario unexpected values as demolition conditions uses. In the case of implausible results of the measurements, a re-initialization performed.

Für das Auslösen einer erneuten Initialisierung können folgende Bedingungen verwendet werden. Das sind:

a) zu wenige Messungen im Nahbereich der eigenen Spur
b) zu starke Krümmung der ermittelten Fahrspur
c) zu großer Anstieg (Neigung) der ermittelten Fahrspur
d) zu große Spurbreite der ermittelten Fahrspur
e) zu kleine Spurbreite der ermittelten Fahrspur

The following conditions can be used to trigger a reinitialization. These are:

a) too few measurements close to the own track
b) excessive curvature of the determined lane
c) excessive increase (inclination) of the determined lane
d) too large track width of the determined lane
e) too small track width of the determined lane

In einer weiteren vorteilhaften Ausgestaltung verfügt das System über eine permanente automatische Spuradaption und eine permanente Sichtweitenbestimmung.In In a further advantageous embodiment, the system has a permanent automatic track adaptation and permanent visibility.

Die Spuradaption bewirkt unter gewissen Bedingungen den Aufbau und Abbau von Spuren bzw. Begrenzungslinien. Dazu wird erneut auf die Klassifikation der eigenen Spurbegrenzungslinien zurückgegriffen (wie bei der Initialisierung beschrieben). Wird also auch während der normalen Arbeitsphase des Systems die linke oder rechte Fahrspurmarkierung als eine durchgezogene Linie erkannt, so werden alle weiteren äußeren Linien der jeweiligen Seite gelöscht. Zugleich bewirkt das Vorhandensein einer linken oder rechten Strichlinie, dass – falls diese Linie bisher keine weitere seitlich außen besitzt – an der jeweiligen Seite eine weitere Linie hinzugefügt wird.The Spuradaption causes under certain conditions, the construction and degradation of tracks or boundary lines. This is again on the classification the own lane boundary lines are used (as with the initialization ) Described. Will be so during the normal working phase of the system the left or right lane marking recognized as a solid line, so all other outer lines the respective page deleted. At the same time, the presence of a left or right dotted line causes that - if This line has no other side outside - at the each page is added another line.

Die Sichtweitenbestimmung nutzt den vordersten weitesten Bereich des Gates aus, um zu ermitteln, ob dort Messwerte vorhanden sind. Überschreitet die Anzahl der Messwerte dort eine gewisse Schwelle, so wird dies als Grund angesehen, das Gate nach vorn zu verlängern (bis zu einer maximalen Sichtweite). Unterschreitet dahingegen die Anzahl der Messwerte in diesem weitesten Bereich des Gates eine andere Schwelle, dann wird die aktuelle Sichtweite als zu lang angesehen und folglich gekürzt. Somit wird bei schlechten Sichtverhältnissen die Sichtweite gegebenenfalls bis auf die Weite das Nahgates zurückgefahren und bei guten Sichtverhältnissen bis auf eine maximale Sichtweite (z.B. 150 m) verlängert.The Visibility uses the foremost widest area of the Gates to determine if there are readings. exceeds the number of readings there is a certain threshold, so will this considered as a reason to extend the gate forward (up to a maximum Sight). On the other hand, falls below the number of measured values in this furthest area of the gate another threshold, then the current visibility is considered too long and consequently shortened. Thus, in poor visibility, the visibility may be down to the distance the Nahgates driven back and in good visibility extended to a maximum visibility (e.g., 150 m).

Claims

Method for determining the parameters of a traffic lane from image data, wherein from at least one image recorded by at least one camera, the lane course is determined by estimating a lane in the coordinate system of the vehicle and prediction of areas for which lane markings by a parameter estimation method are expected, and evaluated in these expectation ranges measurement lines, wherein a transformation of the measurement lines from the vehicle coordinate system in the 2-dimensional image plane of the camera takes place and recognized by the distribution of light and dark regions on the measurement line lane markings, characterized in that starting from a multi-lane lane model in the vehicle coordinate system, the expected ranges (gates) are formed for the lane markings of several lanes in the image plane.

Method according to claim 1, characterized in that that for the formation of expectation areas (gates) several, at least 2, preferably 3 adjacent lanes are considered.

Method according to claim 1 or 2, characterized that evaluated within the expected ranges (gates) measurement lines become.

Method according to one of the preceding claims, characterized characterized in that the expected ranges (gates) in different Areas are divided in which the density and or length of the Measuring lines varies.

Method according to one of the preceding claims, characterized characterized in that at least two expectation ranges, a close range and a long range, with more at close range per lane section Measuring lines are distributed as far away.

Method according to one of the preceding claims, characterized characterized in that expectation ranges also for the lane markings the secondary tracks (secondary gate) be formed.

Method according to one of the preceding claims, characterized characterized in that the width of the expectation ranges in the far range is bigger, evaluated as short range and thus in the vicinity of shorter measurement lines become.

Method according to one of the preceding claims, characterized characterized in that in the expected areas for the lane markings the secondary tracks (secondary gate) the measurement lines with lower density than in the near range distributed are.

Method according to one of the preceding claims, characterized in that the width of the secondary gates is greater than or equal to equal to the width of the gates in the far range is selected.

Method according to one of the preceding claims, characterized characterized in that the number of tracks to be evaluated constantly corresponding the evaluation of the measurements is updated.

Method according to one of the preceding claims, characterized characterized in that a detection takes place, whether it is a solid or broken lane marking line.

Method according to one of the preceding claims, characterized characterized in that according to the detection of a solid or broken lane marking line lanes beyond deleted solid lines and lanes beyond interrupted lane marking lines for the Evaluation of the lane course are added.

Method according to one of the preceding claims, characterized characterized in that at least to start the process, an initialization routine accomplished becomes, in which a number of tracks greater than or equal 2 and the road course is assumed to be unrestricted.

Method according to claim 13, characterized in that that for the initialization of a lane layout with 5 lanes (6 lane marking lines) and a vehicle position in the middle of the third lane becomes.

Method according to one of the preceding claims, characterized characterized in that after defined termination criteria, the initialization routine is called again.

Method according to claim 15, characterized in that that the termination criteria a) Curvature above a permissible threshold and or b) too big Rise (inclination of the lane) and / or c) track width too large over one permissible Threshold and / or d) too small track width below a permissible threshold value and or e) are too few measurements in the vicinity of the lane.

Method for determining the parameters of a lane from image data, wherein at least one image obtained by means of at least a camera was recorded, the lane course determined is determined by using a parameter estimation method a lane is estimated in the vehicle's coordinate system and ranges predicted be, for which lane markings are expected and in these expectation ranges be evaluated, with a transformation of the measurement lines the vehicle coordinate system in the 2-dimensional image plane of the Camera takes place and based on the distribution of light and dark Regions on the gauge lane markings are detected, characterized in that for the evaluation of the brightness distribution on the measuring lines a detection window with at least 3 areas is evaluated along the measurement line, with a test window between two surrounding windows and each the mean of the brightness is formed within the measurement window and according to the mean value the environment window and the average of the test window a recognition a significant brightness distribution for a lane marking takes place.

Method according to claim 17, characterized in that that the detection window is moved along the measurement line.

Method according to one of claims 17-18, characterized that for detecting a significant brightness distribution for a lane marking the differences in the gray values between the test and surrounding windows are evaluated, wherein preferably the quotient of the averaged gray value of the test window and the average between the gray values of the Surrounding window is formed and recognized a lane marker if this quotient exceeds a specified threshold.

Method according to one of Claims 17-19, characterized that evaluated the difference of the mean values of the surrounding windows will and when passing a defined threshold, no recognition of a lane marking he follows.

Method according to one of claims 17-20, characterized that upon detection of several significant brightness distributions on a measuring line the measured value is considered as a lane marking that will be the biggest difference between the mean of the gray values of the test window and the mean has the gray values of the surrounding windows.

Method according to one of Claims 17-21, characterized that upon detection of several significant brightness distributions on a measuring line the measured value is considered as a lane marking becomes the closest at the predicted measured value lies.

Method according to one of Claims 17 to 22, characterized that upon detection of several significant brightness distributions on a measuring line the measured value is considered as a lane marking which is the result of a weighted combination of the value 21 and claim 22 is formed.

Method according to one of Claims 17-21, characterized that the width of the test window the width of a corresponding to the image position of the measuring line transformed lane marking equivalent.

Method according to one of the preceding claims, characterized characterized in that a multi-lane 2-dimensional roadway model is set, the roadway by means of the parameters curvature, increase, Track width, track number and offset according to Equation 3 will be described.

Method according to one of claims 1-24, characterized in that a 3-dimensional roadway model is applied, the track course according to Eq. 4 horizontally and according to equation 22 vertically be is written and the mapping of the expectation ranges in the 2-dimensional image plane takes into account the vertical and horizontal curvature course, wherein in the vehicle coordinate system, an extendet Kalman filter is used.

Method according to one of claims 1-24 and 26, characterized in that the extendet Kalman filter with nonlinear sensor model used and the matrix C for replaced the covariance update by the Jacobian of the sensor model becomes.

Method according to one of the preceding claims characterized in that the visibility of the camera is constantly off the image data by frequency the determined measuring points is formed.

Method according to claim 27, characterized that the field of vision of the camera is the expected areas in which Road markings searched (gates) limited.