DE102011107190B4

DE102011107190B4 - Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur

Info

Publication number: DE102011107190B4
Application number: DE102011107190.7A
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2010-07-20
Filing date: 2011-07-13
Publication date: 2022-03-17
Anticipated expiration: 2031-07-14
Also published as: CN102398598B; CN102398598A; DE102011107190A1; US9090263B2; US20120062747A1

Abstract

Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur, wobei das Verfahren umfasst:Liefern von Daten von einem nach vorn gerichteten Kameramodul an Bord des Fahrzeugs;Liefern von Daten von einem nach hinten gerichteten Kameramodul an Bord des Fahrzeugs;Liefern von Daten von Fahrzeugdynamiksensoren an Bord des Fahrzeugs; undZusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren zu einem kombinierten Satz von Fahrspurgeometrieinformationen, um die Position des Fahrzeugs in der Fahrspur zu bestimmen,wobei das Liefern von Daten von einem nach vorn gerichteten Kameramodul das Liefern von Informationen über die Geometrie der vorderen Fahrspur von einem vollwertigen Erfassungssystem der vorderen Fahrspur enthält und das Liefern von Daten von einem nach hinten gerichteten Kameramodul das Liefern von Informationen über die Geometrie der hinteren Fahrspur von einem vollwertigen Erfassungssystem der hinteren Fahrspur enthält,wobei das Zusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren das Verwenden einer Kalman-Filterroutine zum gemeinsamen Schätzen der Fahrspurgeometrieinformationen und der Fehlausrichtungswinkel des nach vorn gerichteten Kameramoduls und des nach hinten gerichteten Kameramoduls enthält, undwobei die Kalman-Filterroutine die Fahrspurkrümmung, die Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur, eine Verlagerung der Mitte eines vorderen Stoßfängers gegenüber einer Fahrspurbegrenzung, die Azimutfehlausrichtung des nach vorn gerichteten Kameramoduls und die Azimutfehlausrichtung des nach hinten gerichteten Kameramoduls als Zustandsvariablen verwendet und die Zustandsvariablen gleichzeitig bestimmt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Diese Erfindung bezieht sich allgemein auf ein Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur und insbesondere auf ein Fahrspurpositionsverfahren für ein Trägerfahrzeug, das eine Zusammenführung von Bilddaten von einer nach vorn gerichteten und von einer nach hinten gerichteten Kamera und von Daten von Fahrzeugdynamiksensoren verwendet, um Fahrspurparameter einschließlich der Fahrspurkrümmung und der Position und der Orientierung des Trägerfahrzeugs relativ zu einem Fahrspurreferenzweg zu berechnen.
2. Erläuterung des verwandten Gebiets
Viele moderne Fahrzeuge enthalten Bordkameras, die für eine Vielzahl von Zwecken verwendet werden. Eine übliche Anwendung ist eine nach vorn gerichtete Kamera, die Bilder zur Verwendung in einem Kollisionsverhütungssystem, in einem Spurverlassenswarnsystem, in einem Quersteuersystem oder in einer Kombination dieser oder anderer Systeme liefern kann. Allerdings können Bedingungen entstehen, die verhindern, dass von der nach vorn gerichteten Kamera ein gutes Bild erhalten wird. Solche Bedingungen enthalten ein vorausfahrendes Fahrzeug in engem Abstand, das viel vom Blickfeld der Kamera versperrt, und Witterungsbedingungen mit schlechter Sichtbarkeit wie etwa Regen und Nebel, die das Bild der Kamera undeutlich machen. Wenn unter diesen Bedingungen kein verwendbares Bild von der nach vorn gerichteten Kamera verfügbar ist, können Systeme, die sich für die Eingabe auf das Bild der Kamera stützen, nicht betrieben werden.
Währenddessen sind viele neuere Fahrzeuge außerdem mit einer nach hinten gerichteten Kamera ausgestattet, die normalerweise nur zur Sicherungsunterstützung verwendet wird wie etwa, um ein Videobild für den Fahrer zu liefern, um zu sehen, was sich hinter dem Fahrzeug befindet. Obgleich diese nach hinten gerichteten Kameras üblicherweise eine Auflösung und ein Gesichtsfeld aufweisen, die für andere Bilddaten-Sammelzwecke mehr als ausreichend sind, werden sie bisher nicht verwendet, um die Bilder von nach vorn gerichteten Kameras für Fahrspurpositions- und Seitensteueranwendungen zu ergänzen.
Es besteht eine Möglichkeit, die von einer nach hinten gerichteten Kamera verfügbaren Bilddaten zu verwenden und sie mit Bilddaten von einer nach vorn gerichteten Kamera und mit anderen Sensoren zu kombinieren, um ein robusteres Fahrspurerfassungssystem zu schaffen. Das resultierende Zweikamerasystem nutzt nicht nur unter normalen Bedingungen mehr Eingangsdaten, sondern liefert auch eine verwendbare Quelle für Bilddaten, um den Betrieb des Systems zu ermöglichen, wenn die Bedingungen für die nach vorn gerichtete Abbildung unvorteilhaft sind.
Herkömmliche Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur sind aus den Druckschriften DE 10 2007 017 293 A1 , US 2004 / 0 164 851 A1 , DE 10 2004 024 692 A1 , WO 2007 / 002 964 A2 und US 6 718 259 B1 bekannt. Die Druckschrift DE 11 2007 000 371 T5 beschreibt ein herkömmliches Objekterkennungsverfahren.
ZUSAMMENFASSUNG DER ERFINDUNG
In Übereinstimmung mit den Lehren der vorliegenden Erfindung werden ein Verfahren und ein System zum Berechnen der Fahrspurkrümmung und der Position und der Orientierung eines Trägerfahrzeugs relativ zu Fahrspurbegrenzungen unter Verwendung von Bilddaten einer nach vorn gerichteten und einer nach hinten gerichteten Kamera und von Fahrzeugdynamiksensoren als Eingabe offenbart. Ein Trägerfahrzeug enthält vorn und hinten eine Kamera, die zum Detektieren von Fahrbahnbegrenzungen wie etwa u. a. Bordsteinkanten und Fahrspurstreifen verwendet werden können. Außerdem enthält das Trägerfahrzeug Fahrzeugdynamiksensoren einschließlich für die Fahrzeuggeschwindigkeit und für die Gierrate. Es wird ein Verfahren entwickelt, das die Fahrspurkrümmung und die Position des Trägerfahrzeugs relativ zu einem Fahrspurreferenzweg berechnet, wobei der Fahrspurreferenzweg aus den Fahrspurbegrenzungen abgeleitet wird, die aus einer Zusammenführung der Bilder der Front- und der Heckkamera entnommen werden. Die in der Offenbarung geschaffenen mathematischen Modelle enthalten eine Kalman-Filter-Nachführungsroutine und eine Teilchenfilter-Nachführungsroutine.
Ein erfindungsgemäßes Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur umfasst das Liefern von Daten von einem nach vorn gerichteten Kameramodul an Bord des Fahrzeugs, das Liefern von Daten von einem nach hinten gerichteten Kameramodul an Bord des Fahrzeugs, das Liefern von Daten von Fahrzeugdynamiksensoren an Bord des Fahrzeugs und das Zusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren zu einem kombinierten Satz von Fahrspurgeometrieinformationen, um die Position des Fahrzeugs in der Fahrspur zu bestimmen. Das Liefern von Daten von einem nach vorn gerichteten Kameramodul enthält das Liefern von Informationen über die Geometrie der vorderen Fahrspur von einem vollwertigen Erfassungssystem der vorderen Fahrspur und das Liefern von Daten von einem nach hinten gerichteten Kameramodul enthält das Liefern von Informationen über die Geometrie der hinteren Fahrspur von einem vollwertigen Erfassungssystem der hinteren Fahrspur. Das Zusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren enthält das Verwenden einer Kalman-Filterroutine zum gemeinsamen Schätzen der Fahrspurgeometrieinformationen und der Fehlausrichtungswinkel des nach vorn gerichteten Kameramoduls und des nach hinten gerichteten Kameramoduls. Die Kalman-Filterroutine verwendet die Fahrspurkrümmung, die Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur, eine Verlagerung der Mitte eines vorderen Stoßfängers gegenüber einer Fahrspurbegrenzung, die Azimutfehlausrichtung des nach vorn gerichteten Kameramoduls und die Azimutfehlausrichtung des nach hinten gerichteten Kameramoduls als Zustandsvariablen und bestimmt die Zustandsvariablen gleichzeitig.
Zusätzliche Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung und aus den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen hervor.
Figurenliste

1 ist ein Blockschaltplan eines Fahrzeugquersteuersystems, das eine Front- und eine Heckkamera und andere Eingabequellen verwendet;
2 ist ein Diagramm eines Fahrradmodells für die Quersteuerung eines Trägerfahrzeugs;
3 ist ein Diagramm des Trägerfahrzeugs, das viele der Hauptparameter des Quersteuermodells zeigt;
4 ist ein Steuerblockdiagramm, das zeigt, wie das Fahrzeugquersteuermodell implementiert wird;
5 ist ein Blockschaltplan eines Systems für die Fahrzeugquersteuerung unter Verwendung einer 2-Kamera-Fahrspurzusammenführungs-Herangehensweise;
6 ist ein Blockschaltplan einer ersten Ausführungsform eines Fahrspurzusammenführungssystems unter Verwendung der Eingabe von zwei Kameras;
7 ist ein Blockschaltplan einer zweiten Ausführungsform eines Fahrspurzusammenführungssystems unter Verwendung der Eingabe von zwei Kameras;
8 ist ein Diagramm, das ein Beispiel einer Fahrspurstreifendarstellung für ein Szenarium zeigt, bei dem mehrere kurze Streifen und ein langer Bogen detektiert worden sind;
9 ist ein Histogramm, das zeigt, wie die Verlagerung des Trägerfahrzeugs gegenüber den Fahrspurbegrenzungen berechnet werden kann;
10 ist ein Ablaufplan des Kalman-Filter-Nachführungsverfahrens, das in dem Fahrspurnachführungsmodul aus 7 verwendet wird; und
11 ist ein Ablaufplan des Teilchenfilter-Nachführungsverfahrens, das in dem Fahrspurnachführungsmodul aus 7 verwendet wird.

AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Diskussion der Ausführungsformen der Erfindung, die auf ein Fahrspurzusammenführungssystem unter Verwendung einer nach vorn gerichteten und einer nach hinten gerichteten Kamera gerichtet ist, ist dem Wesen nach lediglich beispielhaft.
Viele moderne Fahrzeuge enthalten nach vorn gerichtete Kameras und Systeme, die die Bilddaten von den nach vorn gerichteten Kameras in Anwendungen wie etwa Spurwechselwarnung und Quersteuerungsunterstützung verwenden. Allerdings können Bilder von nach vorn gerichteten Kameras durch ein vorausfahrendes Fahrzeug verdeckt werden oder durch Sonnenblendung, Nebel, Regen oder Schnee undeutlich gemacht werden, was die Zuverlässigkeit von Anwendungen, die sich auf die Bilder stützen würden, verringert. Angesichts der zunehmenden Verfügbarkeit von nach hinten gerichteten Kameras, die häufig hauptsächlich für die Sicherungsunterstützung verwendet werden, ist es sinnvoll, die Bilddaten der nach hinten gerichteten Kamera als eine Ergänzung für die Bilddaten der nach vorn gerichteten Kameras zu verwenden. Die Bilddaten der nach vorn gerichteten und der nach hinten gerichteten Kamera können zusammen mit GPS- und digitalen Kartendaten, Fahrzeugdynamiksensoren und radargestützten oder anderen Systemen, die ein Fahrzeug auf der Straße vor dem Trägerfahrzeug detektieren können, in fortgeschrittenen Anwendungen für verbesserte Sicherheit und Fahrzeugsteuerung verwendet werden.
In einer Herangehensweise werden die Datenquellen direkt in einer Fahrzeugquersteueranwendung verwendet. 1 ist ein Blockschaltplan eines Systems 10 für die Quersteuerung eines Fahrzeugs unter Verwendung einer nach vorn gerichteten und einer nach hinten gerichteten Kamera und anderer Datenquellen. Wie im Folgenden diskutiert wird, verwendet das System 10 Bilddaten von einer nach vorn gerichteten Kamera 12 und von einer nach hinten gerichteten Kamera 14. Ein System 16 für die Position des vorausfahrenden Fahrzeugs, das ein Weitbereichsradar (LRR) oder ein System eines anderen Typs sein kann, führt die Position eines vorausfahrenden Fahrzeugs nach, um den Weg der Fahrbahn zu schätzen. Straßenkrümmungsinformationen von einem GPS-gestützten Navigationssystem oder von einer digitalen Karte 18 liefern eine andere Quelle von Daten für das System 10. Die Eingaben von der nach vorn gerichteten Kamera 12, von der nach hinten gerichteten Kamera 14, von dem System 16 für die Position des vorausfahrenden Fahrzeugs und von der digitalen Karte 18 werden alle von einem Fahrzeugquersteuermodul 20 verwendet, dessen Betrieb im Folgenden diskutiert wird.

2 ist ein Diagramm eines Fahrradmodells 30 für die Fahrzeugquersteuerung, das durch Kombinieren der zwei Räder jeder Achse zu einem Rad bei der Mittellinie des Fahrzeugs erhalten wird. 3 ist ein Diagramm eines Steuermodells 40, das eine weitere Einzelheit zu dem Fahrzeugmodell 30 hinzufügt. Gleiche Elemente und Dimensionen nutzen in 2 und 3, die zusammen diskutiert werden, dieselben Bezugszeichen. Die folgende Tabelle wird als ein Index der in 2 und 3 gezeigten Gegenstände und Dimensionen einschließlich ihrer Bezugszeichen und Beschreibungen gegeben.

Bezugszeichen	Symbol	Beschreibung
30	n. v.	Fahrradmodell
40	n. v.	Steuermodell
50	n. v.	Trägerfahrzeug
52	n. v.	Vorderreifen
54	n. v.	Hinterreifen
56	n. v.	Schwerpunkt
60	n. v.	Fahrspurreferenzweg
62	κ	Fahrspurkrümmung
64	Δ _yF	vordere seitliche Verlagerung
66	Δ _yT	hintere seitliche Verlagerung
68	d _F	Längsabstand vor dem Schwerpunkt
70	d _T	Längsabstand hinter dem Schwerpunkt
72	I _F	Abstand der Vorderachse vom Schwerpunkt
74	I _T	Abstand der Hinterachse vom Schwerpunkt
80	n. v.	vorausfahrendes Zielfahrzeug
82	X ₀	Vorwärtsabstand des vorausfahrenden Zielfahrzeugs vom Schwerpunkt des Trägerfahrzeugs
84	Y ₀	Querabstand des vorausfahrenden Zielfahrzeugs vom Schwerpunkt des Trägerfahrzeugs
86	θ ₀	Richtungswinkel des vorausfahrenden Zielfahrzeugs in Bezug auf das Trägerfahrzeug
92	υyH	Quergeschwindigkeit des Trägerfahrzeugs
94	υxH	Längsgeschwindigkeit des Trägerfahrzeugs
96	ωH	Gierrate des Trägerfahrzeugs
98	δ _F	Vorderrad-Lenkwinkel
100	n. v.	Fahrzeugweg
102	n. v.	Richtungslinie
104	α ₀	seitlicher Versatz zwischen der Richtungslinie und dem Fahrzeugweg beim Vorwärtsabstand 82
106	ε ₀	seitlicher Versatz zwischen dem Fahrzeugweg und dem Fahrspurreferenzweg beim Vorwärtsabstand 82
108	α _F	seitlicher Versatz zwischen der Richtungslinie und dem Fahrzeugweg beim Vorwärtsabstand 68
110	ε _F	seitlicher Versatz zwischen dem Fahrzeugweg und dem Fahrspurreferenzweg beim Vorwärtsabstand 68
112	α _T	seitlicher Versatz zwischen der Richtungslinie und dem Fahrzeugweg beim Rückwärtsabstand 70
114	ε _T	seitlicher Versatz zwischen dem Fahrzeugweg und dem Fahrspurreferenzweg beim Rückwärtsabstand 70
120	θ _F	Fahrzeugorientierungswinkel in Bezug auf die Tangente an den Fahrspurreferenzweg beim Vorwärtsabstand 68
122	θ _T	Fahrzeugorientierungswinkel in Bezug auf die Tangente an den Fahrspurreferenzweg beim Rückwärtsabstand 70

Ein Trägerfahrzeug 50 ist der Gegenstand des Fahrradmodells 30 und des Steuermodells 40, die in dem Fahrzeugquersteuermodul 20 verwendet werden. Das Trägerfahrzeug 50 ist in dem Fahrradmodell 30 durch einen Vorderreifen 52, durch einen Hinterreifen 54 und durch einen Schwerpunkt 56 dargestellt. Es wird angenommen, dass das Trägerfahrzeug 50 nach Bedarf mit einem Gierratensensor (nicht gezeigt) und mit anderen Sensoren ausgestattet ist, um seine Längs- und Quergeschwindigkeit zu kennen.
Es wird angenommen, dass ein Fahrspurreferenzweg 60 die Mittellinie eines kreisförmigen Fahrspurwegs mit der Krümmung κ ist, für die ein Schätzwert von der digitalen Karte 18 kommt. Für das erweiterte Quersteuersystem, wie es in dem Fahrradmodell 30 betrachtet wird, wird die seitliche Verlagerung des Trägerfahrzeugs 50 von dem Fahrspurreferenzweg 60 durch die nach vorn gerichtete Kamera 12 bzw. durch die nach hinten gerichtete Kamera 14 sowohl als eine vordere seitliche Verlagerung Δ_yF als auch als eine hintere seitliche Verlagerung ΔyT gemessen. Die Verlagerungsmesswerte werden durch die Kameras bei einem Längsabstand d_F vor dem Schwerpunkt 56 und bei einem Abstand d_T hinter dem Schwerpunkt 56 erfasst. Die Abstände d_F und d_T sind zeitabhängig und hängen von der Qualität der durch die Kameras 12 und 14 detektierten Fahrspurmarkierungen, von der Verdeckung durch ein vorausfahrendes oder ein folgendes Fahrzeug und von den Beleuchtungsbedingungen ab.
Das System 16 für die Position des vorausfahrenden Fahrzeugs an Bord des Trägerfahrzeugs 50 kann ein vorausfahrendes Zielfahrzeug 80 detektieren und seinen Längsabstand X₀, seinen Querabstand Yo und seinen Richtungswinkel θ₀ liefern. Als das vorausfahrende Zielfahrzeug 80 wird nur ein Fahrzeug unmittelbar vor dem Trägerfahrzeug 50 und innerhalb eines Abstandsschwellenwerts (z. B. 50 m) betrachtet. Andere Fahrzeugparameter in dem Fahrradmodell 30 sind die Abstände l_F und l_T der Vorder- bzw. der Hinterachse von dem Schwerpunkt 56. Drei Trägerfahrzeug-Zustandsvariable sind ebenfalls gezeigt: die Fahrzeugquergeschwindigkeit υ_yH, die Fahrzeuglängsgeschwindigkeit υ_xH und die Fahrzeuggierrate ω_H. Ein Vorderradlenkwinkel δ_F ist die Eingabe des Lenkautomatiksystems, wie sie durch das Quersteuersystem 20 angewiesen wird.
Ein Fahrzeugweg 100 beschreibt den Weg, dem das Trägerfahrzeug 50 gegenwärtig folgt, und eine Richtungslinie 102 stellt eine Gerade durch die Mittellinie des Trägerfahrzeugs 50 dar. Der Abstand α₀ ist der seitliche Versatz zwischen der Richtungslinie 102 und dem Fahrzeugweg 100 bei dem Vorwärtsabstand Xo. Der Abstand ε₀ ist der seitliche Versatz zwischen dem Fahrzeugweg 100 und dem Fahrspurreferenzweg 60 bei dem Vorwärtsabstand Xo. Der Abstand α_F ist der seitliche Versatz zwischen der Richtungslinie 102 und dem Fahrzeugweg 100 bei dem Vorwärtsabstand d_F. Der Abstand ε_F ist der seitliche Versatz zwischen dem Fahrzeugweg 100 und dem Fahrspurreferenzweg 60 bei dem Rückwärtsabstand d_F. Der Abstand α_T ist der seitliche Versatz zwischen der Richtungslinie 102 und dem Fahrzeugweg 100 bei dem Rückwärtsabstand dr. Der Abstand ε_T ist der seitliche Versatz zwischen dem Fahrzeugweg 100 und dem Fahrspurreferenzweg 60 bei dem Rückwärtsabstand d_T.
Die Fahrzeugorientierung in Bezug auf die Tangente an den Fahrspurreferenzweg bei dem Vorwärtsabstand d_F ist durch den Winkel θ_F dargestellt, und die Fahrzeugorientierung in Bezug auf die Tangente an den Fahrspurreferenzweg bei dem Rückwärtsabstand d_T ist durch den Winkel θ_T dargestellt.
Außer den Elementen und Dimensionen, die in dem Fahrradmodell 30 und in dem Steuermodell 40 gezeigt sind, müssen auch die folgenden Symbole definiert werden: m = Gesamtmasse des Trägerfahrzeugs 50; I_ω = Gesamtträgheit des Trägerfahrzeugs 50 um den Schwerpunkt 56; l = Abstand zwischen der Vorder- und der Hinterachse, (l = l_F + l_T); und C_F, c_T = Schräglaufsteifigkeit der Vorder- und der Hinterreifen 52 bzw. 54.
Ein linearisiertes Fahrradzustandsraummodell der Querfahrzeugdynamik kann geschrieben werden als: $[\begin{matrix} {\dot{v}}_{y H} \\ {\dot{ω}}_{H} \end{matrix}] = [\begin{matrix} - \frac{C_{F} + c_{T}}{m v_{x H}} & \frac{c_{T} l_{T} - c_{F} l_{F}}{m v_{x H}} - v_{x H} \\ \frac{- l_{F} c_{F} + l_{T} c_{T}}{l_{ω} v_{x H}} & - \frac{l_{F}^{2} c_{F} + l_{T}^{2} c_{T}}{I_{ω} v_{x H}} \end{matrix}] [\begin{matrix} v_{y H} \\ ω_{H} \end{matrix}] + [\begin{matrix} \frac{c_{F}}{m} \\ \frac{l_{F} c_{F}}{I_{ω}} \end{matrix}] δ_{F} .$
Die Zustandsraumgleichungen, die die Entwicklung der Messwerte der nach vorn gerichteten Kamera wegen der Bewegung des Trägerfahrzeugs 50 und Änderungen der Straßengeometrie erfassen, sind: $Δ {\dot{y}}_{F} = v_{x H} θ_{F} - v_{y H} - ω_{H} d_{F},$
${\dot{θ}}_{F} = v_{x H} κ - ω_{H} .$
Ähnlich sind die Zustandsraumgleichungen, die die Entwicklung der Messwerte der nach hinten gerichteten Kamera wegen der Bewegung des Trägerfahrzeugs 50 und Änderungen der Straßengeometrie erfassen: $Δ {\dot{y}}_{T} = v_{x H} θ_{T} - v_{y H} - ω_{H} d_{T},$
${\dot{θ}}_{T} = v_{x H} κ - ω_{H} .$
Es wird angenommen, dass das vorausfahrende Zielfahrzeug 80 der Mittellinie des Fahrspurreferenzwerts 60 folgt, daher sind die Zustandsraumgleichungen, die die Entwicklung der Radarmesswerte wegen der Bewegung des Trägerfahrzeugs 50 und Änderungen der Straßengeometrie erfassen: ${\dot{Y}}_{O} = v_{x H} θ_{O} - v_{y H} - ω_{H} X_{O},$
${\dot{θ}}_{O} = v_{x H} κ - ω_{H} .$
Die Fahrzeugquerdynamik, die Frontkameradynamik, die Heckkameradynamik und die Dynamik des vorausfahrenden Zielfahrzeugs, die in den Gleichungen (1) - (7) beschrieben sind, können dann zu einem einzelnen dynamischen System der folgenden Form kombiniert werden: $\begin{array}{l} [\begin{array}{l} {\dot{v}}_{y H} \\ {\dot{ω}}_{H} \\ Δ {\dot{y}}_{F} \\ {\dot{θ}}_{F} \\ Δ {\dot{y}}_{T} \\ {\dot{θ}}_{T} \\ {\dot{Y}}_{O} \\ {\dot{θ}}_{O} \end{array}] = [\begin{array}{l} - \frac{c_{F} + c_{T}}{m v_{x H}} & \frac{c_{T} l_{T} - c_{F} l_{F}}{m v_{x H}} - v_{x H} & 0 & 0 & 0 & 0 & 0 & 0 \\ - \frac{l_{F} c_{F} + l_{T} c_{T}}{I_{ω} v_{x H}} & - \frac{l_{F}^{2} c_{F} + l_{T}^{2} c_{T}}{I_{ω} v_{x H}} & 0 & 0 & 0 & 0 & 0 & 0 \\ - 1 & - d_{F} & 0 & v_{x H} & 0 & 0 & 0 & 0 \\ 0 & - 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ - 1 & d_{T} & 0 & 0 & 0 & v_{x H} & 0 & 0 \\ 0 & - 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ - 1 & - X_{O} & 0 & 0 & 0 & 0 & 0 & v_{x H} \\ 0 & - 1 & 0 & 0 & 0 & 0 & 0 & 0 \end{array}] [\begin{array}{l} v_{y H} \\ ω_{H} \\ Δ y_{F} \\ θ_{F} \\ Δ y_{T} \\ θ_{T} \\ Y_{O} \\ θ_{O} \end{array}] \\ + [\begin{array}{l} \frac{c_{F}}{m} \\ \frac{l_{F} c_{F}}{I_{ω}} \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array}] δ_{F} + [\begin{array}{l} 0 \\ 0 \\ 0 \\ v_{x H} κ \\ 0 \\ v_{x H} κ \\ 0 \\ v_{x H} κ \end{array}] \end{array}$
oder kurz als: $\dot{x} = ƒ (x) + g (δ_{F}) .$
Es bezeichne y = [ω̇_H Δẏ_F θ̇_F Δẏ_T θ̇_T Ẏ₀ θ̇̇₀]^T die Ausgabe des dynamischen Systems, beobachtet durch den Gierratensensor, durch die nach vorn gerichtete Kamera 12, durch die nach hinten gerichteten Kamera 14 und durch das System 16 für die Position des vorausfahrenden Fahrzeugs. Die Beobachtungsgleichung kann geschrieben werden als $y = o (x) .$
Mit Bezug auf den Fahrspurreferenzweg 60 und den Fahrzeugweg 100 aus 3 ist das Ziel des Seitensteuermoduls 20 das Nachführen der Fahrbahn durch Regulieren der seitlichen Differenzen zwischen dem Fahrspurreferenzwert 60 (d. h. Δy_F, Δy_T und Y₀) und dem Fahrzeugweg 100 (d. h. α_F, α_T und α₀) bei den durch die nach vorn gerichtete Kamera 12, durch die nach hinten gerichtete Kamera 14 und durch das System 16 für die Position des vorausfahrenden Fahrzeugs in dieser Reihenfolge gemessenen Abständen d_F, d_T und Xo. Das heißt, das Steuerziel ist das Minimieren von: $J = w_{F} ε_{F} - w_{T} ε_{T} + w_{O} ε_{O},$
wobei ε_F = Δy_F - α_F, ε_T = Δy_T - α_T und ε₀ = Y₀ - α₀ sind; und wobei ω_F, ω_T und ω₀ normierte positive Gewichte derart sind, dass ω_F + ω_T + ω₀ = 1 ist.
Gleichung (9) kann dann geschrieben werden als: $J = h (x) .$
Die Rückkopplungslinearisierung ist eine übliche Herangehensweise, die beim Regeln eines nichtlinearen Systems verwendet wird. Diese Herangehensweise umfasst, dass eine Transformation eines nichtlinearen Systems in ein äquivalentes lineares System durch eine Änderung der Variablen und durch eine geeignete Regeleingabe erreicht wird. Die Anwendung dieser Technik auf das Fahrradmodell 30 ist nicht die Linearisierung, da das Fahrradmodell 30 bereits linear ist. Allerdings kann diese Technik angewendet werden, um das Fahrradmodell 30 unabhängig von der Trägerfahrzeug-Längsgeschwindigkeit υ_xH zu machen.
Das Steuergesetz, das erforderlich ist, um das in den Gleichungen (8) und (10) ausgedrückte System durch zweimaliges Differenzieren von Gleichung (10) nach der Zeit zu linearisieren, ist wie folgt: $δ_{F} = \frac{1}{L_{g} L_{ƒ}^{2} h (x)} (- L_{ƒ}^{2} h (x) + u),$
wobei $L_{ƒ}^{i}$
die i-te Lie-Ableitung längs der Funktion ƒ bezeichnet. Wie der Fachmann auf dem Gebiet der Mathematik weiß, berechnet eine Lie-Ableitung die Änderung eines Vektorfelds entlang des Flusses eines anderen Vektorfelds.
Die Nutzung dieses Steuergesetzes liefert eine Gleichung zweiter Ordnung der Form J̈ = u. Es sei z₁ = J. Das resultierende vereinfachte dynamische System kann ausgedrückt werden als: $\begin{array}{l} {\dot{z}}_{1} = z_{2}, \\ {\dot{z}}_{2} = u . \end{array}$
Unter Nutzung des folgenden Zustands-Rückkopplungsregelungsgesetzes: $u = - k_{1} z_{1} - k_{2} z_{2}$
kann das System zweiter Ordnung aus Gleichung (12) geschrieben werden als $\dot{z} = A z mit A = [\begin{matrix} 0 & 1 \\ k_{1} & k_{2} \end{matrix}] .$
Somit kann bei geeigneter Wahl von k₁ und k₂ ein stabiles Fahrspurnachführungssystem mit dem Eigenvektor von A in der offenen linken Hälfte der komplexen Ebene konstruiert werden.
Wie in 1 gezeigt ist, liefert die digitale Karte 18 eine Eingabe in das Quersteuermodul 20, einschließlich eines Schätzwerts der Fahrspurkrümmung κ, die als Teil einer Vorwärtsregelungsstrategie verwendet werden kann. Durch Setzen von [υ̇_yH ω̇_H Δẏ_F θ̇_F]^T = 0 kann die Lenkungseingabe δ_fwd, die eine Fahrspurkrümmung κ nachführt, aus den Gleichungen (1) - (3) berechnet werden als: $δ_{ƒ w d} = κ (l - \frac{(l_{F} c_{F} - l_{T} c_{T}) v_{x H}^{2} m}{c_{T} c_{F} l}) .$
Diese Vorwärtskopplungskomponente aus Gleichung (14) kann zu dem oben abgeleiteten Steuergesetz in Gleichung (11) und (13) hinzugefügt werden, um das Übergangsverhalten des Trägerfahrzeugs 50 bei der Einfahrt in und bei der Ausfahrt aus Kurven zu verbessern.
4 ist ein Steuerblockdiagramm 140, das zeigt, wie die oben beschriebene Fahrzeugquersteuerstrategie implementiert wird. Die Schritte in dem Steuerverfahren werden wie folgt dargestellt:

1) Im Kasten 142 liefert die digitale Karte 18 auf der Leitung 152 einen Schätzwert der Fahrspurkrümmung κ.
2) Im Kasten 144 liefern die Fahrzeugdynamiksensoren auf der Leitung 154 die Messwerte der Fahrzeugvorwärtsgeschwindigkeit υ_xH und der Gierrate ω_H.
3) Im Kasten 146 liefert die nach vorn gerichtete Kamera 12 auf der Leitung 156 Messwerte der Fahrspurorientierung θ_F, der seitlichen Verlagerung Δy_F und des Längsabstands d_F, bei denen der Messwert genommen wird.
4) Im Kasten 148 liefert die nach hinten gerichtete Kamera 14 auf der Leitung 158 Messwerte der Fahrspurorientierung θ_T, der seitlichen Verlagerung Δy_T und des Längsabstands d_T, bei denen der Messwert genommen wird.
5) Im Kasten 150 liefert das System 16 für die Position des vorausfahrenden Fahrzeugs auf der Leitung 160 die Position des vorausfahrenden Zielfahrzeugs, d. h. den Längsversatz X₀, den Querversatz Yo und die Richtung θ₀.
6) Die Eingaben auf den Leitungen 152-160 werden an den Kasten 170 geliefert, wo wie in Gleichung (14) der Vorwärtskopplungsterm δ_fwd berechnet wird.
7) Im Kasten 172 wird wie in Gleichung (11) der Rückkopplungslinearisierungsterm δ_F berechnet.
8) Beim Summenpunkt 174 werden der Vorwärtskopplungsterm δ_ƒwd und der Rückkopplungslinearisierungsterm δ_F miteinander addiert und an einen Lenkaktuator (elektrische Servolenkung oder ein System eines anderen Typs) in dem Trägerfahrzeug 50 im Kasten 176 gesendet.
9) Im Kasten 178 schätzt ein Beobachtermodul unter Verwendung von Gleichung (8) und y = o(x) unter Verwendung eines Kalman-Filters mit den Daten auf den Leitungen 152-160 und dem Ansprechen des Fahrzeugs als Eingaben die Zustandsvariablen des Fahrzeugs.
10) Im Kasten 180 berechnet ein Variablenänderungsmodul unter Verwendung der Gleichungen (10) und (12) z₁ und z₂.
11) Im Kasten 182 wird unter Verwendung von Gleichung (12) der Rückkopplungsterm u für das linearisierte dynamische System berechnet.

Um den Betrieb des oben beschriebenen Steuerverfahrens weiter zu erläutern, werden einige Beispiele gegeben. Im Szenarium des besten Falls sind Messwerte von allen drei Außensensoren verfügbar; d. h., Rückwärts-Fahrspurbegrenzungsinformationen von der nach hinten gerichteten Kamera 14, Vorwärts-Fahrspurbegrenzungsinformationen von der nach vorn gerichteten Kamera 12 und Informationen über das vorausfahrende Fahrzeug von dem System 16 für die Position des vorausfahrenden Fahrzeugs. In diesem Fall sind die Gewichtsparameter in Gleichung (9) als proportional zur Qualität des Messwerts (d. h. Signal/Rausch-Verhältnis oder Varianz der Schätzwerte), der von den entsprechenden Sensoren zurückgegeben wird, definiert. Zum Beispiel seien die Messwertvarianzen der nach vorn gerichteten Kamera 12, der nach hinten gerichteten Kamera 14 und des Systems 16 für die Position des vorausfahrenden Fahrzeugs in dieser Reihenfolge σ_F, σ_T und σ₀. Daraufhin werden die entsprechenden Gewichte berechnet als: $w_{F} = C e^{- \frac{σ_{F}^{2}}{W}}, w_{T} = C e^{- \frac{σ_{T}^{2}}{W}}, w_{O} = C e^{-, \frac{σ_{O}^{2}}{W}},$
wobei C der Normierungsparameter derart ist, dass ω_F + ω_T + ω₀ = 1 ist, und W ein durch den Konstrukteur gewählter Bandbreitenparameter ist.
In einer Situation, in der das vorausfahrende Zielfahrzeug 80 die Sicht der nach vorn gerichteten Kamera 12 versperrt, sodass wenig oder keine Vorwärts-Fahrspurbegrenzungsinformationen verfügbar sind, würden die Gewichtsparameter aus Gleichung (9) durch Verringern des Werts von ω_F (möglicherweise auf null) und durch Erhöhen der Werte von ω_T und ω₀ abgestimmt. Ähnlich würde in einer Situation, in der es kein geeignetes führendes Zielfahrzeug 80 gibt, der Wert von wo null gesetzt und würden die Werte von w_F und ω_T erhöht. Schließlich würden in einer Situation, in der eine unter niedrigem Winkel stehende Sonne oder raues Wetter das Bild von der Vorwärtskamera 12 undeutlich machen, sodass keine Vorwärts-Fahrspurbegrenzungsinformationen verfügbar sind, die Gewichtsparameter aus Gleichung (9) durch Einstellen des Werts von w_F auf null und Erhöhen der Werte von ω_T und ω₀ abgestimmt.
Unter Verwendung des oben beschriebenen Steuerverfahrens kann ein robustes Fahrzeugquersteuersystem implementiert werden. Durch direkte Verwendung von Front- und Heckkamerabildern als Eingabe zusammen mit anderen Indikatoren der Straßenkrümmung kann das Quersteuersystem eine zuverlässigere und stabilere Leistung als Seitensteuersysteme, die nicht so viele Eingabequellen verwenden, liefern.
Eine weitere Herangehensweise an die Fahrzeugquersteuerung kann dadurch erzielt werden, dass zunächst die Daten von der nach vorn gerichteten Kamera 12 und von der nach hinten gerichteten Kamera 14 in einem Datenzusammenführungsmodul kombiniert werden und daraufhin die resultierenden Fahrspurkrümmungs- und Verlagerungsinformationen von dem Zusammenführungsmodul in einem Quersteuermodul verwendet werden.
5 ist ein Blockschaltplan eines Systems 200 für die Fahrzeugquersteuerung unter Verwendung einer 2-Kamera-Fahrspurzusammenführungs-Herangehensweise. Wie das in 1 gezeigte System 10 verwendet das System 200 Daten von der nach vorn gerichteten Kamera 12, von der nach hinten gerichteten Kamera 14, von dem System 16 für die Position des vorausfahrenden Fahrzeugs und von der digitalen Karte 18. Anders als das System 10, das die Eingaben direkt in dem Quersteuermodul 20 verwendet, kombiniert dagegen das System 200 zunächst die Eingaben in einem Datenzusammenführungsmodul 210. Die Ausgaben des Datenzusammenführungsmoduls 210 einschließlich der Fahrbahnkrümmung und der Verlagerung und Orientierung des Fahrzeugs relativ zu den Fahrspurbegrenzungen werden daraufhin an ein Fahrzeugquersteuermodul 220 geliefert. Die Ausgaben des Datenverschmelzungsmoduls 210 können ebenfalls in anderen Anwendungen als einem Quersteuersystem wie etwa in einem Spurwechselwarnsystem verwendet werden.
Im Folgenden werden zwei Verfahren zum Ausführen der Fahrspurdatenzusammenführung diskutiert. In dieser Diskussion wird auf viele der Variablen und Dimensionen aus 2 und 3 Bezug genommen.
Ein herkömmliches Fahrspurinformationssystem mit Spurwechselwarnung enthält üblicherweise die nach vorn gerichtete Kamera 12, die die Fahrzeugorientierung in Bezug auf die vordere Tangente der Fahrspur θ_F, die vordere seitliche Verlagerung Δy_F beim vorderen Stoßfänger und die Fahrspurkrümmung κ messen kann, wobei der Abstand d_F als der Abstand vom Schwerpunkt 56 zum vorderen Stoßfänger des Trägerfahrzeugs 50 definiert ist. Neben der Funktionalität, die eine Sicherungsunterstützung bereitstellt, kann die nach hinten gerichtete Kamera 14 zusätzliche Fahrspurerfassungsmesswerte, die Fahrzeugorientierung in Bezug auf die hintere Tangente der Fahrspur θ_T und die hintere seitliche Verlagerung Δy_T bei dem hinteren Stoßfänger bieten, wobei der Abstand d_T als der Abstand von dem Schwerpunkt 56 zu dem Stoßfänger des Trägerfahrzeugs 50 definiert ist. Die zwei zusätzlichen Kameramesswerte θ_T und Δy_T sind wertvoll bei der Konstruktion eines robusten Zusammenführungssystems für die Fahrspurerfassung. Sie sind besonders nützlich in rauen Witterungs- und ungünstigen Beleuchtungsbedingungen wie etwa vorn unter einem niedrigen Winkel stehende Sonne, teilweise schneebedeckte Fahrspurmarkierungen, verringerte Sichtbarkeit wegen Nebel und dergleichen, wo die Qualität der Bilder von der nach vorn gerichteten Kamera 12 verringert wäre.
6 ist ein Blockschaltplan einer ersten Ausführungsform eines Fahrspurzusammenführungssystems 240 unter Verwendung der Eingabe von zwei Kameras. In dem System 240 enthalten ein vollwertiges Sensorsystem 242 der vorderen Fahrspur und ein vollwertiges Sensorsystem 244 der hinteren Fahrspur jeweils eine Kamera und einen Prozessor und können Fahrspurbegrenzungen bei ihren jeweiligen Enden des Trägerfahrzeugs 50 detektieren und nachführen. Das Sensorsystem 242 für die vordere Fahrspur und das Sensorsystem 244 für die hintere Fahrspur liefern ihre Messwerte an ein Fahrspurverschmelzungsmodul 246, das verbesserte Fahrspurbegrenzungs- und Orientierungsinformationen berechnet. Das Sensorsystem 242 für die vordere Fahrspur sendet mit einer festen Abtastrate (z. B. 10 Hz) Messwerte θ_F, Δy_F und κ an das Zusammenführungsmodul 246. Das Sensorsystem 244 für die hintere Fahrspur sendet mit derselben festen Abtastrate Messwerte θ_T und Δy_T. Das Sensorsystem 242 für die vordere Fahrspur, das Sensorsystem 244 für die hintere Fahrspur und das Zusammenführungsmodul 246 sind durch ein serielles Netz 248, das das Control Area Network (CAN) oder ein anderes Protokoll verwenden kann, miteinander verbunden.
Das Zusammenführungsmodul 246 nimmt Eingaben von den beiden Sensorsystemen 242 und 244 für die vordere und für die hintere Fahrspur und von den Fahrzeugdynamiksensoren 250 und gibt die verbesserten Fahrspurinformationen aus: Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur (θ), Verlagerung der Mitte des vorderen Stoßfängers gegenüber den Fahrspurbegrenzungen (Δy) und die Fahrspurkrümmung (κ). Wie zuvor erwähnt wurde, könnten die Fahrspurinformationen von verschiedenen unterstromigen Anwendungen verwendet werden.
Es wird angenommen, dass die Messwerte von den Fahrzeugdynamiksensoren 250 die Fahrzeuggeschwindigkeit (v_H) und die Gierrate (ω_H) enthalten. Daraufhin wird das folgende Kalman-Filter für die Zusammenführung der Information von den beiden Sensorsystemen 242 und 244 für die vordere und für die hintere Fahrspur konstruiert.
Die Zustandsvariablen seien s = (κ, θ, Δy, φ_F, φ_T), wobei κ, θ und Δ_y wie oben definiert sind und φ_F und φ_T die Azimutfehlausrichtung der Sensorsysteme 242 und 244 für die vordere bzw. für die hintere Fahrspur sind.
Die Zustandsdynamikgleichung wird geschrieben als: $\begin{array}{l} κ' = κ + v_{k} \\ θ' = θ - ω_{H} Δ T + κ v_{H} Δ T + v_{θ} \\ Δ y' = Δ y + v_{H} Δ T θ + v_{Δ y} \\ φ'_{F} = φ_{F} \\ φ'_{R} = φ_{R} \end{array}$
oder kurz als: $s' = F s + u + G v,$
wobei υ = (υ_κ, υ_θ, υ_Δy)^T einen Vektor für Gauß‘sches weißes Rauschen mit dem Mittelwert null bezeichnet, das die Unbestimmtheit des Zustandsdynamikmodells modelliert; $F = [\begin{array}{l} 1 & 0 & 0 & 0 & 0 \\ v_{H} Δ T & 1 & 0 & 0 & 0 \\ 0 & v_{H} Δ T & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{array}], u = {[\begin{array}{l} 0 & - ω_{H} Δ T & 0 & 0 & 0 \end{array}]}^{T}$
und $G = [\begin{array}{l} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 \end{array}] .$
Das Messwertmodell kann geschrieben werden als: $\begin{array}{l} θ_{F} = θ + φ_{F} + w_{θ_{_{F}}} \\ Δ y_{F} = Δ y + w_{Δ y_{F}} \\ κ_{F} = κ + w_{κ} \\ θ_{T} = θ + φ_{T} + w_{θ_{T}} \\ Δ y_{T} = Δ y + w_{Δ y_{T}} \end{array}$
oder kurz als: $o = H s + w,$
wobei $H = [\begin{array}{l} 0 & 1 & 0 & 1 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 1 \\ 0 & 0 & 1 & 0 & 0 \end{array}], o = {[\begin{array}{l} θ_{F} & Δ y_{F} & κ_{F} & θ_{T} & Δ y_{T} \end{array}]}^{T}$
und w = [W_θF W_ΔyF W_κ W_θT W_ΔyT]^T ein Vektor für Gauß‘sches weißes Rauschen mit dem Mittelwert null ist, der die Qualität der Messwerte von den Sensorsystemen 242 und 244 für die vordere und für die hintere Fahrspur modelliert.
Zusammengefasst schätzt die folgende Kalman-Filterprozedur gemeinsam die Fehlausrichtungswinkel und die Fahrspurparameter:

1) Wähle zufällig kleine Zahlen zum Initialisieren der Fehlausrichtungsparameter _φF(0) und _φT(0); Kombinieren der Fehlausrichtungsparameter mit dem ersten Messwert von dem Sensor 242 für die vordere Fahrspur liefert s(0) = (κ_F (0), θ_F (0), Δy_F (0), φ_F, φ_T(0))^T, wobei für s(0) eine Kovarianzmatrix P(0) gewählt wird.
2) Wenn der neue Messwert zum Zeitpunkt t ankommt, wird der vorherige Zustandsvektor als s(t-1) geschrieben; der vorhergesagte Zustand zum Zeitpunkt t kann als s̃(t) = Fs(t - 1) + u(t) geschrieben werden und die Kovarianzmatrix als P̈̈̃(t) = P(t - 1) + GQG^T, wobei Q die Kovarianzmatrix des Rauschvektors v ist.
3) Der Messwert zum Zeitpunkt t sei o; somit ist der aktualisierte Zustandsvektor zum Zeitpunkt t: $\begin{array}{l} \begin{array}{l} e = o - h (\tilde{s} (t)) \\ S = H \tilde{P} (t) H^{T} + R \\ K = \tilde{P} (t) H^{T} S^{- 1} \\ \hat{s} (t) = \tilde{s} (t) + K e \end{array} \\ P (t) = (I - K H_{t}) \tilde{P} (t), \end{array}$
wobei R die Kovarianzmatrix ist.
4) Gib ŝ(t) als die Zusammenführungsausgabe aus.
5) Gehe zu Schritt 2.

Unter Verwendung der obigen Prozedur berechnet das Zusammenführungsmodul 246 des Systems 240 einen kombinierten Satz von Fahrspurparametern für das Trägerfahrzeug 50, während es gleichzeitig die Fehlausrichtungsparameter für die Sensorsysteme 242 und 244 für die vordere und für die hintere Fahrspur bestimmt.
7 ist ein Blockschaltplan einer zweiten Ausführungsform eines Fahrspurzusammenführungssystems 300 unter Verwendung der Eingabe von zwei Kameras. Das System 300 enthält keine vollwertigen Fahrspursensorsysteme vorn und hinten. Stattdessen enthält das System 300 eine nach vorn gerichtete Kamera 302 und eine nach hinten gerichtete Kamera 304. Die Kameras 302 und 304 nehmen nur Bilder auf und senden sie an ein Zusammenführungsmodul 320, das beide Bilder miteinander kombiniert, die Fahrspurmarkierungen detektiert und nachführt.
Bilder von der nach vorn gerichteten Kamera und von der nach hinten gerichteten Kamera 302 bzw. 304 werden an den Kasten 306 geliefert, um lokale Gebiete hoher Intensität zu ermitteln. Die Grundidee des Kastens 306 ist es, auf verschiedenen räumlichen Skalen stabile Gebiete lokaler hoher Intensität zu ermitteln. Der Algorithmus beginnt mit dem Aufbau einer Gauß‘schen Pyramide. Auf jeder Pyramidenskale wird das Bild von dem vergrößerten Bild auf einer groben Ebene, das weiter verwischt ist, subtrahiert. Daraufhin wird auf die Differenzbilder bei verschiedenen Skalen eine Operation des Ermittelns eines lokalen Maximums angewendet und werden alle Maxima, deren Höhe kleiner als ein Schwellenwert h ist, unterdrückt. Somit werden im Kasten 306 die Binärbilder möglicher Fahrbahnmarkierungen abgeleitet.
Im Kasten 308 werden die erfassten Pixel von Bordsteinkanten und Streifen in dem Fahrzeugkoordinatensystem auf der Grundlage der Kamerakalibrierungsparameter auf die Bodenebene projiziert. Im Kasten 310 werden Punktwolken der projizierten Pixel vom Kasten 308 zuerst auf der Grundlage des Ähnlichkeitsmaßes (Abstands) gruppiert. Nahe Pixel werden zu einer einzigen Komponente gruppiert. Daraufhin werden die Komponenten auf der Grundlage ihrer Geometrieform klassifiziert. Komponenten, deren Form an Bordsteinkanten und Fahrspurstreifen angepasst ist, werden ausgewählt, und daraufhin werden Geradenanpassungs- und Bogenanpassungsprozeduren angewendet, um die Streifenkandidaten anzupassen. Diejenigen Komponenten, deren Form nicht an eine Gerade oder an einen Bogen angepasst ist, werden verworfen.
Im Kasten 312 werden die angepassten Streifen im Fahrzeugkoordinatensystem daraufhin zu einer Fahrspurbegrenzung verknüpft. Im Kasten 314 werden die Fahrspurinformationen nachgeführt und ausgegeben. Dies enthält: Überwachen der angepassten Streifen und Daten von den Fahrzeugdynamiksensoren; Nachführen der Fahrspurbegrenzung; und Schätzen von Fahrspurinformationen einschließlich der Fahrspurkrümmung (κ), der Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur (θ) und der Verlagerung der Mitte des vorderen Stoßfängers gegenüber den Fahrspurbegrenzungen (Δy). Im Folgenden sind Einzelheiten der in den Kästen 308-314 verwendeten Algorithmen gegeben.
Der Projektionsalgorithmus des Kastens 308 erfordert die folgenden intrinsischen Kameraparameter:

• Brennweite: die Brennweite in Pixeln [ƒ_u, ƒ_v];
• optischer Mittelpunkt [c_u, c_v];
• Schrägversatzkoeffizient: Der Schrägversatzkoeffizient, der den Winkel zwischen der x- und der y-Pixelachse definiert, ist in dem Skalar α_c gespeichert;
• Verzerrungen: Die Bildverzerrungskoeffizienten (radiale und tangentiale Verzerrungen) sind in dem Vektor k_c = (k₁, k₂, k₃, k₄, p₁, p₂) gespeichert, wobei (k₁, k₂, k₃, k₄) radiale Verzerrungskoeffizienten sind und (p₁, p₂) tangentiale Koeffizienten sind [engl.: „is“];

• Translationsvektor T;
• Rotationsmatrix R;

Im Folgenden ist eine iterative Prozedur dargestellt, die zum Entfernen der Verzerrung verwendet wird. Die Eingabe enthält einen Satz von Pixeln S = {(u_i, v_i)|i = 1, . . . , N} und die oben definierten intrinsischen Kameraparameter. Die Ausgabe ist der berichtigte Satz von Pixeln S' = {(u'_i, v'_i) | i = 1, ..., N}. Die Prozedur ist wie folgt:

1) Für jedes Pixel s_i = (u_i, v_i),i = 1, ... ,N:
2) Führe iterativ 20-mal die folgenden Schritte aus:
1. a. Es sei $u = [\begin{matrix} u_{i} \\ v_{i} \end{matrix}]$
  und r = ||x||.
2. b. Berechne die radiale Korrektur: $k_{r a d} = 1 + k_{1} r + k_{2} r^{2} + k_{3} r^{3} + k_{4} r^{4} .$
3. c. Berechne die tangentiale Korrektur $Δ u = [\begin{array}{l} 2 p_{1} u_{i} v_{i} + p_{2} (r^{2} + 2 u_{i}^{2}) \\ p_{1} (r^{2} + 2 v_{i}^{2}) + 2 p_{2} u_{i} v_{i} \end{array}] .$
4. d. Korrigiere das Pixel $u = \frac{(u + Δ u)}{k_{r a d}} .$
3) Gib u als das korrigierte Endpixel (u'_i, v'_i) aus.

Nach dem obigen Berichtigungs- oder Verzerrungsentfernungsprozess kann die folgende Transformation angewendet werden. Die Eingabe enthält einen Satz berichtigter Pixel S' = {(u'_i, v'_i) |i = 1,..., N} und die oben beschriebenen extrinsischen Kameraparameter. Die Ausgabe sind die detektierten Fahrspurmarkierungspunkte, die auf das Fahrzeugsystem projiziert werden: X = {(x_i, y_i) |i = 1, ... N}. Der Transformationsprozess ist wie folgt:

1) Für jedes Pixel s_i = (u_i, v_i), i = 1, ..., N:
1. a. Sei $u = [\begin{matrix} u'_{i} \\ v'_{i} \end{matrix}]$
  und $K_{K} = [\begin{matrix} ƒ_{u} & a_{c} ƒ_{u} & c_{u} \\ 0 & ƒ_{v} & c_{v} \\ 0 & 0 & 1 \end{matrix}] .$
2. b. Berechne P = K_k [R T].
3. c. Sei H = [p₁ p₂ p₄], wobei p_j,j = 1,... ,4, der Spaltenvektor ist.
4. d. Berechne z = H^-1 _u.
2) Gib z als das projizierte Pixel (x_i, y_i) in der Bodenebene im Fahrzeugsystem aus.

Die obigen Berichtigungs- und Transformationsprozeduren werden im Kasten 308 angewendet, um in dem Fahrzeugkoordinatensystem einen Satz hervorgehobener Pixel, d. h. Punkte, die Anwärter für Bordsteinkanten- oder Fahrspurstreifenpunkte sind, zu liefern. Daraufhin werden die Pixel oder Punkte im Kasten 310 miteinander zu Bordsteinkanten und Fahrspurstreifen gruppiert. Bei dem gegebenen Fahrspurmarkierungspixelsatz $X = {z_{i} | z_{i} = [\begin{matrix} x_{i} \\ y_{i} \end{matrix}], i = 1, \dots N}$
werden die Pixel zunächst zu Streifen gruppiert und daraufhin die Streifen zu Geraden- oder Bogensegmenten angepasst.
Um benachbarte Pixel zu einem Streifen zu gruppieren, wird zunächst ein Ähnlichkeitsgraph G = (V, E) konstruiert, wobei der Satz von Eckpunkten als die Pixel auf dem Boden definiert wird, d. h. V = (z_i|i = 1,... N}, und der Satz E von Kanten als ein Satz von Pixelpaaren definiert wird, falls der Abstand jedes Pixelpaars auf der Bodenebene kleiner als ein Schwellenwert (T_sep) ist oder jedes Pixelpaar in 8-Nachbar-Nähe jedes Anderen in der Bildebene liegt, d. h. E = {(z_i, z_j)|∥z_i - z_j∥ < T_sep V Nachbar(s_i, s_j)}, wobei s_i und s_j die entsprechenden Orte in der Bildebene sind; und Nachbar{s_i, s_j) wahr ist, falls s_i und s_j in 8-Nachbar-Nähe zueinander sind. 8-Nachbar-Nähe bedeutet in dieser Gruppierungsmethodik, dass ein zweites Pixel in einem näherungsweise rechteckigen Gitter von Pixeln einer der 8 nächsten Nachbarn (direkt links, rechts, darüber, darunter, links oben, rechts oben, links unten oder rechts unten) von einem ersten Pixel ist.
Nachfolgend wird eine Tiefensuchestrategie (DFS-Strategie) angewendet, um den Graphen in miteinander verbundene Komponenten aufzuteilen: {X₁, ... , X_c}. Daraufhin wird jeder der gruppierten Streifen mit einer Gerade oder mit einem Bogen angepasst.
Es sei z₁ = (x_i, y_i), i = 1,..., N_c, ein Pixel in einem detektierten Streifen. Der Streifen kann durch eine Geradenparametergleichung (Ax + By = d, sodass A² + B² = 1 ist) angepasst werden. Die Parameter A, B und d können über kleinste Quadrate in der Weise geschätzt werden, dass etwa Folgendes minimiert wird: ${‖ D β ‖}^{2}, D = (\begin{array}{l} x_{1} & y_{1} & 1 \\ x_{2} & y_{2} & 1 \\ ⋮ & ⋮ & ⋮ \\ x_{N_{c}} & y_{N_{c}} & 1 \end{array}), β = (\begin{matrix} A \\ B \\ d \end{matrix}),$
was durch Ermitteln des Eigenvektors von X mit dem kleinsten Eigenwert λ_m gelöst werden kann: $D β = λ_{m} β .$
Der passende Rest ist als e = λ_m definiert.
Die Breite W und die Länge L des Streifens werden berechnet als: $W = \underset{i}{m a x} (z_{i}^{T} n) - \underset{i}{m i n} (z_{i}^{T} n), L = \underset{i}{m a x} (z_{i}^{T} t) - \underset{i}{m i n} (z_{i}^{T} t),$
wobei n und t der Normalen- bzw. der Tangentenvektor (Einheitslänge) der Strecke sind, d. h. $n = [\frac{A}{r} \frac{B}{r}]$
und $d' = \frac{d}{r}$
mit $r = \sqrt{A^{2} + B^{2}} .$
Daraufhin wird t durch Drehen von n um 90 Grad abgeleitet.
Die zwei Endpunkte des Streifens sind: $\begin{array}{l} e_{s} = z_{m} - (n^{T} z_{m} - d') n, \\ e_{e} = z_{M} - (n^{T} z_{M} - d') n, \end{array}$
mit den Indizes $m = \underset{i = 1, \dots, N_{c}}{a r g m i n} (z_{i}^{T} t)$
und $M = \underset{i = 1, \dots, N_{c}}{a r g m a x} (z_{i}^{T} t) .$
Die Orientierung (der Winkel) des Streifens ist Φ = atan2(A, B).
Falls der Rest der Geradenanpassung größer als ein Schwellenwert ist, wird der Streifen unter Verwendung einer Kreisparametergleichung (x² + y² + a₁x + a₂y + a₃ = 0) erneut angepasst. Die Parameter a₁, a₂ und a₃ können über kleinste Quadrate so geschätzt werden, dass Folgendes minimiert wird: ${‖ C a - b ‖}^{2}, C = (\begin{array}{l} x_{1} & y_{1} & 1 \\ x_{2} & y_{2} & 1 \\ ⋮ & ⋮ & ⋮ \\ x_{N_{c}} & y_{N_{c}} & 1 \end{array}), b = [\begin{array}{l} - (x_{1}^{2} + y_{1}^{2}) \\ - (x_{2}^{2} + y_{2}^{2}) \\ ⋮ \\ - (x_{N_{c}}^{2} + y_{N_{c}}^{2}) \end{array}], α = [\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \end{matrix}]$
in Bezug auf α.
Die Lösung der obigen kleinsten Quadrate ist α = (C^TC)^-1C^Tb. Der Radius und die Mitte des angepassten Kreises können geschrieben werden als: $\begin{array}{l} R = (a_{1}^{2} + a_{2}^{2}) / 4 - a_{3}, \\ x_{c} = - \frac{a_{1}}{2}, \\ y_{c} = - \frac{a_{2}}{2}, \end{array}$
Die zwei Endpunkte des angepassten Bogens können berechnet werden als: $\begin{array}{l} e_{s} = {[x_{c} + R c o s ϕ_{m} y_{c} + R s i n ϕ_{m}]}^{T}, \\ e_{s} = {[x_{c} + R c o s ϕ_{M} y_{c} + R s i n ϕ_{M}]}^{T}, \end{array}$
und die Orientierungen (die Winkel) des Streifens bei den Endpunkten sind ϕ_s = ϕ_m, und ϕ_e = ϕ_M, wobei die Indizes $m = \underset{i = 1, \dots, N_{c}}{a r g m i n} (a t a n (y_{i} - y_{c}, x_{i} - x_{c}))$
und $M = \underset{i = 1, \dots, N_{c}}{a r g m a x} (a t a n (y_{i} - y_{c}, x_{i} - x_{c}))$
sind.
Die Breite W und die Länge L des Streifens werden wie folgt berechnet: $W = m a x (‖ z_{i} - c ‖) - m i n (‖ z_{i} - c ‖)$
und $L = ‖ e_{s} - e_{e} ‖,$
wobei c = [x_c y_c]^T den Mittelpunkt des Kreises bezeichnet.
Zusammengefasst ist die Ausgabe des Kastens 310 eine Liste von Streifen, die mit Strecken mit den folgenden Parametern angepasst sind: Normalenvektor (n), Abstand vom Ursprung (d), Breite (W), Länge (L), Orientierung (ϕ) und Anfangspunkte (es); oder mit Bogensegmenten mit den folgenden Parametern angepasst sind: dem Mittelpunkt des Kreises (c), dem Radius (R), der Breite (W), der Länge (L) und den Positionen (e_s und e_e) der zwei Endpunkte.
8 ist ein Diagramm 400, das ein Beispiel einer Fahrspurstreifendarstellung für ein Szenarium zeigt, bei dem die Folgenden detektiert worden sind: eine Strecke Nr. 1, dargestellt durch den Endpunkt 402 und durch den Normalenvektor 502, eine Strecke Nr. 2 (404, 504), eine Strecke Nr. 3 (414, 514) und ein Bogensegment mit dem Radius 420, mit einem Mittelpunkt (c) 422, mit einem ersten Endpunkt 406 und mit einem zweiten Endpunkt 412. Im Kasten 312 werden die folgenden Schritte verwendet, um die Streifen zu linken und rechten Fahrspurbegrenzungen zu verknüpfen.
Zunächst werden irgendwelche Streifen entfernt, deren Seitenverhältnis (L/ W) kleiner als ein Schwellenwert ist. Für die Weiterverarbeitung werden nur schmale Streifen behalten. Daraufhin werden lange Bogensegmente oder Strecken in kurze Segmente zerlegt und wird jedes Segment durch einen Anfangs-End-Punkt (e) und durch einen Tangentialvektor (t) dargestellt. Zum Beispiel sind in dem Diagramm 400 der Anfangs-End-Punkt und der Tangentialvektor für die Strecke Nr. 1 als (402, 602) dargestellt und ist der lange Bogen in vier Endpunkte zerlegt: (406, 606), (408, 608), (410, 610) und (412, 612).
Um im Kasten 314 die Gesamt-Fahrspurgeometrieinformationen zu schätzen (d. h. die Fahrspurkrümmung κ, die Orientierung des Fahrzeugs in Bezug auf die Fahrspurtangente θ und die Verlagerung gegenüber den Fahrspurbegrenzungen Δy), ist ein Schätzwert für die Position des Mittelpunkts c notwendig.
Gegeben sei ein Satz von Streifensegmenten {(e_k, t_k)| k = 1, ... , K}. Für jedes Segment (e_k, t_k) gibt es eine Normale (Strichlinien in dem Diagramm 400), die durch c geht, d. h. $t_{k}^{T} (c - e_{k}) = 0.$
Es sei t_k = (t_xk, t_yk). Somit ist das Ermitteln von c äquivalent dem Minimieren der folgenden kleinsten Quadrate: $‖ E c - γ ‖, E = [\begin{array}{l} t_{x 1} & t_{y 1} \\ t_{x 2} & t_{y 2} \\ ⋮ & ⋮ \\ t_{x K} & t_{y K} \end{array}], γ = [\begin{array}{l} t_{1}^{T} e_{1} \\ t_{2}^{T} e_{2} \\ ⋮ \\ t_{K}^{T} e_{K} \end{array}] .$
Die Lösung der obigen kleinsten Quadrate ist c = (E^TE) ^-1E^Tγ. Die Krümmung der Fahrspur kann geschrieben werden als: $κ = {\begin{array}{l} \frac{1}{‖ c ‖} f a l l s c a u f d e r l i n k e n S e i t e l i e g t, \\ - \frac{1}{‖ c ‖} s o n s t . \end{array}$
Die Orientierung des Fahrzeugs in Bezug auf die Fahrspurtangente kann berechnet werden als: $θ = a t a n 2 (c_{x}, c_{y}),$
wobei in dem Diagramm 400 c_x als Dimension 426 gezeigt ist und c_y als Dimension 428 gezeigt ist.
9 ist ein Histogramm 700, das ein Beispiel dafür zeigt, wie die Verlagerung gegenüber den Fahrspurbegrenzungen berechnet werden kann. Es bezeichne {z_j|j = 1, ... , M} die Pixel der detektierten Fahrspurstreifen. Es wird das Histogramm 700 konstruiert, das für alle diese Pixel (d. h. d_j = ||z_j — c||, j = 1, ... , M) den Abstand von dem Mittelpunkt c graphisch darstellt. Das Histogramm 700 weist einen Ursprungspunkt 702 auf.
Die Verlagerung gegenüber der linken Fahrspurbegrenzung y_L ist der Abstand 704 von dem Ursprungspunkt 702 zu der linken lokalen Spitze in dem Histogramm 700, während die Verlagerung gegenüber der rechten Fahrspurbegrenzung y_R der Abstand 706 von dem Ursprungspunkt 702 zu der rechten lokalen Spitze ist.
Die Gleichungen (29) - (31) schätzen die Fahrspur unter Verwendung von Daten von einem einzelnen System von den Kameras 302 und 304. Das Verfahren kann erweitert werden, um Nachführung und Daten von Fahrzeugdynamiksensoren zu enthalten. Es werden zwei solcher Verfahren vorgeschlagen. Für beide Verfahren sind die Zustandsvariablen als s = (κ, θ, Δy) definiert, wobei die Variablen als die Fahrspurkrümmung (κ), als die Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur (θ) und als Verlagerungen gegenüber den Fahrspurbegrenzungen (Δy) definiert sind. Die Fahrzeuggeschwindigkeit sei (v_H) und die Gierrate (ω_H) bezeichne Messwerte von den Fahrzeugdynamiksensoren.
Für das erste Verfahren wird eine Kalman-Nachführungsprozedur zum Schätzen der Fahrspurparameter verwendet. 10 ist ein Ablaufplan 800 des Kalman-Nachführungsverfahrens. Die Schritte sind wie folgt:

1) Initialisiere im Kasten 802 den Zustandsvektor s(0) mit dem ersten Messwert von dem System 300 (Gleichungen (29) - (31)) und wähle für s(0) eine Kovarianzmatrix P(O).
2) Warte bei der Entscheidungsraute 804 darauf, dass neue Daten ankommen; wenn zum Zeitpunkt t der neue Messwert ankommt, schreibe im Kasten 806 den vorherigen Zustandsvektor als s(t - 1); daraufhin kann im Kasten 808 der vorhergesagte Zustand s(t) zum Zeitpunkt t geschrieben werden als: $\begin{array}{l} κ' = κ, \\ θ' = θ - ω_{H} Δ T + κ v_{H} Δ T, \\ Δ y' = Δ y + v_{H} Δ T θ, \end{array}$
wobei ΔT das Zeitinkrement ist und der projizierte Zustandsvektor s'(t) = [κ' θ' Δy'] ist.
3) Außerdem wird im Kasten 808 der Kreismittelpunkt berechnet als: $c' = [\frac{1}{κ'} s i n θ' \frac{1}{κ'} c o s θ'] .$
4) Im Kasten 810 werden die detektierten Streifen (e_k, t_k) von den Kameras 302 und 304 geliefert; daraufhin wird im Kasten 812 eine Ausblendoperation ausgeführt, um unter Verwendung der folgenden Kriterien Ausreißer der detektierten Streifen zu identifizieren: $\frac{{| e_{k} - c' |}^{T} t_{k}}{‖ e_{k} - c' ‖} < T,$
wobei T ein Schwellenwert ist; falls das Obige nicht wahr ist, wird ein Streifen als ein Ausreißer behandelt.
5) Berechne im Kasten 814 die gegenwärtigen Fahrspurgeometrieinformationen; für alle nach dem Ausblenden des Kastens 812 verbleibenden Streifen werden unter Verwendung von Gleichung (29) die kleinsten Quadrate minimiert, um die Lösung für den aktualisierten Mittelpunkt ĉ zu ermitteln; daraufhin werden über die Gleichungen (30) - (31) durch Aufbau des Histogramms κ_m bzw. θ_m und die Verlagerungen Δy_m berechnet.
6) Führe im Kasten 816 eine Messwertkorrektur aus; behandle κ_m, θ_m und Δy_m als den direkten Messwert der Zustandsvariablen; es können die folgenden Messwertgleichungen aufgeschrieben werden: $\begin{array}{l} θ_{m} = θ + w_{θ_{m}}, \\ Δ y_{m} = Δ y + w_{Δ y_{m}}, \\ κ_{m} = κ + w_{κ_{m}}, \end{array}$
wobei (^We_m ^WΔy_m ^Wκ_m)^T ein Vektor des Gauß‘schen Rauschens mit dem Mittelwert null ist, dessen Kovarianzmatrix eine Funktion des Rests bei der Minimierung der kleinsten Quadrate aus Gleichung (29) ist; daraufhin wird ein Kalman-Filter angewendet, um die abschließende Ausgabe s(t) und die entsprechende Kovarianzmatrix P(t) zu erhalten.
7) Gib im Kasten 818 die aktualisierten Fahrspurgeometrieinformationen aus und gehe zur Entscheidungsraute 804 zurück.

Die oben und in dem Ablaufplan 800 beschriebene Kalman-Nachführungsprozedur stellt das erste Verfahren zum Berechnen der Fahrspurkrümmungs- und Fahrzeugorientierungsinformationen unter Verwendung von Bildern von der nach vorn gerichteten und von der nach hinten gerichteten Kamera 302 und 304 und von Daten von Fahrzeugdynamiksensoren dar. Das zweite Verfahren verwendet ein Teilchenfilter. 11 ist ein Ablaufplan 900, der das Teilchenfilterverfahren zeigt, das die folgenden Schritte zum Berechnen der Fahrspurparameter verwendet:

1) Initialisiere im Kasten 902 den Zustandsvektor s(0) mit einem Satz von Teilchen (einem Zufallsabtastwert der Geometrieinformationen): {(s_i (0), w_i)|i = 1, ... , M} und mit dem Gewicht $w_{i} = \frac{1}{M}$
für i = 1, ... , M.
2) Warte bei der Entscheidungsraute 904 darauf, dass neue Daten ankommen; wenn die neuen Messdaten zum Zeitpunkt t ankommen, werden für jedes der Teilchen unter Verwendung der Schritte 2) und 5) der Kalman-Nachführeinrichtung κ_m, θ_m und Δy_m berechnet; d. h.
1. a. Schreibe im Kasten 906 den vorigen Zustandsvektor als s(t - 1).
2. b. Berechne im Kasten 908 den vorhergesagten Zustand s(t); berechne außerdem den Kreismittelpunkt c'.
3. c. Liefere im Kasten 910 die erfassten Streifen von beiden Kameras; führe im Kasten 912 eine Ausblendoperation zum Identifizieren von Ausreißerstreifen aus.
4. d. Berechne im Kasten 914 unter Verwendung der Gleichungen (29) - (31) und des Histogramms die Informationen über die Geometrie der gegenwärtigen Fahrspur.
3) Daraufhin wird der Wert des i-ten Teilchens zu s'_i(t) = (κ_m, θ_m, Δy_m); es bezeichne Δ_i den Rest des Schätzwerts für das i-te Teilchen; berechne im Kasten 916 das neue Gewicht des Teil- chens als $w'_{i} = e x p (- \frac{Δ_{i}^{2}}{2 σ}),$
wobei σ eine vordefinierte Konstante ist.
4) Berechne im Kasten 918 den gewichteten Durchschnitt des Teilchensatzes s̃(t) als: $\hat{s} (t) = \frac{\sum_{i = 1}^{M} s_{i} (t) w_{i}}{\sum_{i = 1}^{M} w_{i}}$
und gib s̃(t) aus.
5) Wende im Kasten 920 auf den aktualisierten Teilchensatz {(s'_i (t), w'_i) | i = 1, ... , M} eine Wichtigkeitsneuabtastung, eine statistische Standardprozedur, an; dies liefert im Kasten 922 einen Satz zufälliger Abfahrtswerte der aktualisierten Fahrspurgeometrieinformationen.
6) Gehe zu Schritt 2, zur Entscheidungsraute 904.

Wie oben beschrieben und in den Ablaufplänen 800 und 900 gezeigt ist, kann entweder das Kalman-Filterverfahren oder das Teilchenfilterverfahren verwendet werden, um unter Verwendung von Bildern von der nach vorn gerichteten und von der nach hinten gerichteten Kamera 302 und 304 und der Fahrzeugdynamiksensoren als Eingabe die Fahrspurgeometrieinformationen - die Fahrspurkrümmung κ, die Orientierung des Fahrzeugs in Bezug auf die Fahrspurtangente θ und die Verlagerung gegenüber den Fahrspurbegrenzungen Δ_y - zu berechnen. Die resultierenden Fahrspurgeometrieinformationen können von unterstromigen Anwendungen wie etwa einem Spurwechselwarnsystem verwendet werden.
Die hier offenbarten Verfahren und Systeme liefern unter Verwendung der von einer nach hinten gerichteten Kamera verfügbaren Bilddaten und ihr Kombinieren mit Bilddaten von einer nach vorn gerichteten Kamera und anderer Sensoren eine robustere Fähigkeit für die Fahrspurerfassung oder für die Quersteuerung. Das Zweikamerasystem verwendet nicht nur mehr Eingangsdaten unter normalen Bedingungen, sondern liefert auch eine verwendbare Quelle von Bilddaten, um den Betrieb des Systems zu ermöglichen, wenn die Bedingungen für die Vorwärtsabbildung ungünstig sind. Aus diesen Systemen, die die vorhandene Abbildungsfähigkeit nach hinten in vielen Fahrzeugen nutzen, um eine verbesserte Systemleistung und -zuverlässigkeit zu bieten, während keine neuen hardwarebezogenen Kosten entstehen, können Fahrzeughersteller und -verbraucher Nutzen ziehen.

Claims

Verfahren zum Bestimmen der Position eines Fahrzeugs in einer Fahrspur, wobei das Verfahren umfasst: Liefern von Daten von einem nach vorn gerichteten Kameramodul an Bord des Fahrzeugs; Liefern von Daten von einem nach hinten gerichteten Kameramodul an Bord des Fahrzeugs; Liefern von Daten von Fahrzeugdynamiksensoren an Bord des Fahrzeugs; und Zusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren zu einem kombinierten Satz von Fahrspurgeometrieinformationen, um die Position des Fahrzeugs in der Fahrspur zu bestimmen, wobei das Liefern von Daten von einem nach vorn gerichteten Kameramodul das Liefern von Informationen über die Geometrie der vorderen Fahrspur von einem vollwertigen Erfassungssystem der vorderen Fahrspur enthält und das Liefern von Daten von einem nach hinten gerichteten Kameramodul das Liefern von Informationen über die Geometrie der hinteren Fahrspur von einem vollwertigen Erfassungssystem der hinteren Fahrspur enthält, wobei das Zusammenführen der Daten von dem nach vorn gerichteten Kameramodul, von dem nach hinten gerichteten Kameramodul und von den Fahrzeugdynamiksensoren das Verwenden einer Kalman-Filterroutine zum gemeinsamen Schätzen der Fahrspurgeometrieinformationen und der Fehlausrichtungswinkel des nach vorn gerichteten Kameramoduls und des nach hinten gerichteten Kameramoduls enthält, und wobei die Kalman-Filterroutine die Fahrspurkrümmung, die Fahrzeugorientierung in Bezug auf die Tangente der Fahrspur, eine Verlagerung der Mitte eines vorderen Stoßfängers gegenüber einer Fahrspurbegrenzung, die Azimutfehlausrichtung des nach vorn gerichteten Kameramoduls und die Azimutfehlausrichtung des nach hinten gerichteten Kameramoduls als Zustandsvariablen verwendet und die Zustandsvariablen gleichzeitig bestimmt.