-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung bezieht sich allgemein auf Systeme zum Verbessern der Spurverfolgungsfähigkeit eines Kraftfahrzeugs.
-
HINTERGRUND
-
Fahrzeugspurverfolgungssysteme können eine visuelle Objekterkennung einsetzen, um begrenzende Fahrspurlinien zu identifizieren, die auf einer Straße als Markierung angebracht sind. Durch diese Systeme können visuelle Verarbeitungstechniken eine Position zwischen dem Fahrzeug und den jeweiligen Fahrspurlinien sowie eine Fahrtrichtung des Fahrzeugs relativ zur Spur schätzen. Solche Verarbeitungs-/Erkennungstechniken können jedoch rechenintensiv sein und/oder eine starke Filterung erfordern. Dies kann dazu führen, dass die Positionsschätzwerte relativ zu der Erlangung der Videoinformation zeitverzögert sind. Ferner kann die visuelle Information aufgrund von visuellen Hindernissen, Einschränkungen der Sichtverhältnisse, Schmutz/Ablagerungen, die die Sicht der Kameralinse trüben können, und/oder der Notwendigkeit, mehrere sequentielle Frames für bestimmte Videofilterverfahren zu sammeln, unregelmäßig erlangt werden. Solch eine Latenz und/oder unregelmäßige oder langsame Erneuerungsraten können zu Systeminstabilitäten führen oder die Ansprechzeit/Genauigkeit des Fahrzeugs beeinträchtigen, wenn eine automatische Pfadkorrektur erforderlich ist.
-
ZUSAMMENFASSUNG
-
Ein Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur umfasst eine Kamera, die ausgestaltet ist, um ein Videosignal bereitzustellen, das ein Sichtfeld darstellt, und einen Videoprozessor, der ausgestaltet ist, um das Videosignal von der Kamera zu empfangen und latente videobasierte Positionsdaten zu erzeugen, die die Stellung (Position und Fahrtrichtung) des Fahrzeugs in der Spur angeben. Das System umfasst ferner eine Fahrzeugbewegungssensorgruppe, die ausgestaltet ist, um Fahrzeugbewegungsdaten zu erzeugen, die die Bewegung des Fahrzeugs angeben, und einen Spurverfolgungsprozessor.
-
Der Spurverfolgungsprozessor kann ausgestaltet sein, um die videobasierten Positionsdaten zu empfangen, aktualisiert mit einer ersten Frequenz; die erfassten Fahrzeugbewegungsdaten zu empfangen, aktualisiert mit einer zweiten Frequenz; die Position des Fahrzeugs in der Spur aus den erfassten Fahrzeugbewegungsdaten zu schätzen; und die videobasierten Positionsdaten mit dem Schätzwert der Fahrzeugposition in der Spur unter Verwendung eines erweiterten Kalman-Filters zu vereinigen.
-
Bei einer Ausgestaltung kann der Spurverfolgungsprozessor ausgestaltet sein, um die Position des Fahrzeugs in der Spur aus den erfassten Fahrzeugbewegungsdaten durch Durchführen einer inkrementellen Koppelnavigation hinsichtlich der Stellung mit der zweiten Frequenz zu schätzen. Gleichermaßen kann der Spurverfolgungsprozessor ausgestaltet sein, um die erfassten Fahrzeugbewegungsdaten für eine zukünftige Bezugnahme zu puffern. Die erfassten Fahrzeugbewegungsdaten können beispielsweise eine Längsgeschwindigkeit, eine Quergeschwindigkeit, eine Querbeschleunigung und eine Gierrate umfassen.
-
Beim Empfang der aktualisierten/erneuerten videobasierten Positionsdaten kann der Spurverfolgungsprozessor ausgestaltet sein, um die geschätzte Position des Fahrzeugs in der Spur um eine vordefinierte Anzahl an Inkrementen zurückzustellen; die aktualisierten videobasierten Positionsdaten mit dem Schätzwert der Fahrzeugposition in der Spur zu vereinigen; eine Kovarianzmatrix zu aktualisieren; und die Position des Fahrzeugs in der Spur vorwärts über die vordefinierte Anzahl an Inkrementen durch Durchführen einer Koppelnavigation hinsichtlich der Position von den gepufferten erfassten Fahrzeugbewegungsdaten inkrementell zu schätzen. Bei einer Ausgestaltung kann die vordefinierte Anzahl an Inkrementen proportional zu der Latenz der videobasierten Positionsdaten und proportional zu der zweiten Frequenz sein.
-
Nach der Vereinigung der Sensordaten kann der Spurverfolgungsprozessor ferner ausgestaltet sein, um die Bewegung des Fahrzeugs zu steuern, um das Fahrzeug in der Mitte einer Spur zu halten.
-
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung der geeignetsten Ausführungsformen zum Ausführen der Erfindung in Verbindung mit den begleitenden Zeichnungen leicht ersichtlich.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist ein schematisches Diagramm eines Fahrzeugs mit einem Spurverfolgungssystem.
-
2 ist ein schematisches Diagramm eines Fahrzeugs, das sich in einer Spur einer Straße befindet.
-
3 ist ein Flussdiagramm eines Verfahrens zum Vereinigen von niederfrequenten latenten Videodaten mit mit Hochgeschwindigkeit erfassten Bewegungsdaten.
-
4 ist ein schematisches Zeitdiagramm, das das Verfahren von 3 allgemein darstellt.
-
DETAILLIERTE BESCHREIBUNG
-
In Bezug auf die Zeichnungen, in denen gleiche Bezugszeichen verwendet werden, um ähnliche oder identische Komponenten in den verschiedenen Ansichten zu identifizieren, zeigt 1 schematisch ein Fahrzeug 10 mit einem Spurverfolgungssystem 11, das eine nach vorn gerichtete Kamera 12, einen Videoprozessor 14, einen Fahrzeugbewegungssensor 16 und einen Spurverfolgungsprozessor 18 umfasst. Wie es nachstehend ausführlicher beschrieben wird, kann der Spurverfolgungsprozessor 18 videobasierte Positionsdaten 20 mit erfassten Fahrzeugbewegungsdaten 22 vereinigen, um die Position des Fahrzeugs 10 in einer Fahrspur 30 (wie es allgemein in 2 gezeigt ist) zu ermitteln. Beispielsweise kann der Spurverfolgungsprozessor 18 nahezu in Echtzeit die Distanz 32 zwischen dem Fahrzeug 10 und der rechten Fahrspurlinie 34, die Distanz 36 zwischen dem Fahrzeug 10 und der linken Fahrspurlinie 38 und/oder die Fahrtrichtung 40 des Fahrzeugs 10 relativ zu der Spur 30 ermitteln.
-
Der Videoprozessor 14 und der Spurverfolgungsprozessor 18 können jeweils als ein(e) oder mehrere digitale Rechner oder Datenverarbeitungseinrichtungen ausgeführt sein, die jeweils einen oder mehrere Mikroprozessoren oder zentrale Verarbeitungseinheiten (CPU), einen Nurlesespeicher (ROM), einen Direktzugriffsspeicher (RAM), einen elektrisch löschbaren programmierbaren Nurlesespeicher (EEPROM), einen Hochgeschwindigkeitstakt, einen Analog-Digital-Schaltkreis (A/D-Schaltkreis), einen Digital-Analog-Schaltkreis (D/A-Schaltkreis), einen Eingabe/Ausgabe-Schaltkreis (I/O-Schaltkreis), Leistungselektronik/-transformatoren und/oder eine Signalkonditionierungs- und -pufferelektronik aufweisen. Die einzelnen Steuer-/Verarbeitungsroutinen, die sich in den Prozessoren 14, 18 befinden oder leicht für diese zugänglich sind, können in einem ROM oder an anderen geeigneten konkreten Speicherorten und/oder in Speichereinrichtungen gespeichert sein und können automatisch durch zugehörige Hardware-Komponenten der Prozessoren 14, 18 ausgeführt werden, um die jeweilige Verarbeitungsfunktionalität bereitzustellen. Bei einer anderen Ausgestaltung können der Videoprozessor 14 und der Spurverfolgungsprozessor 18 durch eine einzelne Einrichtung, wie beispielsweise einen Digitalrechner oder eine Datenverarbeitungseinrichtung, ausgeführt sein.
-
Wenn das Fahrzeug 10 die Straße 42 entlangfährt, können eine oder mehrere nach vorne gerichtete Kameras 12 visuell Markierungen (z. B. Zeichen 44) detektieren, die auf die Fahrbahn der Straße 42 gemalt oder in diese eingebettet sein können, um die Spur 30 zu definieren. Die eine oder die mehreren Kameras 12 können jeweils ein(e) oder mehrere Linsen und/oder Filter umfassen, die geeignet sind, um Licht aus dem Gesichtsfeld 46 zu empfangen und/oder für einen Bildsensor zu formen. Der Bildsensor kann beispielsweise eine oder mehrere ladungsgekoppelte Einrichtungen (CCDs) umfassen, die ausgestaltet sind, um Lichtenergie in ein digitales Signal umzuwandeln. Die eine oder die mehreren Kameras 12 können in einer beliebigen geeigneten Orientierung/Ausrichtung mit dem Fahrzeug 10 positioniert sein, unter der Voraussetzung, dass sie das eine oder die mehreren Objekte oder Markierungen, die an oder entlang der Straße 42 angeordnet sind, vernünftig sehen können. Bei einer Ausgestaltung kann die Kamera 12 in dem Kühlergrill des Fahrzeugs 10 angeordnet sein. Bei einer anderen Ausgestaltung kann die Kamera 12 in der Windschutzscheibe des Fahrzeugs 10 angeordnet und in einer im Wesentlichen nach vorn gerichteten Richtung (z. B. an einer nach vorn gerichteten Fläche des Rückspiegels) orientiert sein. Die Kamera 12 kann ein Videosignal 48 ausgeben, das beispielsweise mehrere Standbild-Frames umfassen kann, die sequentiell mit einer festen Rate (d. h. Frame-Rate) erfasst werden. Bei einer Ausgestaltung kann die Frame-Rate des Videosignals 48 größer als 5 Hertz (Hz) sein, wobei die Frame-Rate des Videosignals 48 bei einer stärker bevorzugten Ausgestaltung jedoch größer als 10 Hertz (Hz) sein kann.
-
Der Videoprozessor 14 kann das Videosignal 48 von der Kamera 12 empfangen und kann ausgestaltet sein, um ein oder mehrere Objekte zwischen den mehreren Bild-Frames zu identifizieren und/oder zu verfolgen. Unter Verwendung von verschiedenen Bildverarbeitungstechniken kann der Videoprozessor 14 den Ort und Pfad der begrenzenden Fahrspurlinien 34, 38 identifizieren und kann er dementsprechend die Distanzen 32 und 36 zwischen dem Fahrzeug 10 und den jeweiligen Linien 34, 38 zusammen mit der relativen Fahrtrichtung 40 schätzen. Der Videoprozessor 14 kann dann die Positionsschätzwerte als videobasierte Positionsdaten 20 an den Spurverfolgungsprozessor 18 ausgeben.
-
Die videobasierten Positionsdaten 20, die dem Spurverfolgungsprozessor 18 bereitgestellt werden, können auf einer periodischen Basis aktualisiert/erneuert werden. Die Erneuerungsrate der videobasierten Positionsdaten 20 kann durch die verfügbare Bandbreite und Rechenleistung des Videoprozessors 14, die Frame-Rate der Kamera 12 und/oder die eingesetzten Filteralgorithmen vorgegeben sein. Die videobasierten Positionsdaten 20 können ferner aufgrund der Verarbeitungskomplexität der Fahrspurliniendetektionsalgorithmen und/oder jeglicher erforderlicher Videofilterung (z. B. um Bilder, die aufgrund von Rütteln/Unebenheit der Straße verzerrt erscheinen können, zu glätten und/oder zu verbessern) eine inhärente Latenz aufweisen. Bei einer Ausgestaltung können die videobasierten Positionsdaten 20 beispielsweise alle 100 ms erneuert werden und eine Latenz von etwa 200 ms aufweisen.
-
Um die Genauigkeit und Aktualisierungsfrequenz der videobasierten Positionsdaten 20 zu verbessern, kann der Spurverfolgungsprozessor 18 Kalman-Filtertechniken einsetzen, um die videobasierten Positionsdaten 20 mit inkrementellen Positionsdaten zu kombinieren, die von dem einen oder den mehreren Bewegungssensoren 16, die an dem Fahrzeug 10 zur Verfügung stehen, geschätzt werden können (z. B. unter Verwendung von Koppelnavigationstechniken). Der eine oder die mehreren Fahrzeugbewegungssensoren 16 können beispielsweise die Drehzahl und/oder den Lenkwinkel eines oder mehrerer der Fahrzeugräder 50, den Fahrzeuggierwinkel, die Quer- und/oder Längsgeschwindigkeit und/oder -beschleunigung des Fahrzeugs 10 und/oder die missweisende Fahrtrichtung des Fahrzeugs 10 überwachen. Diese erfassten Fahrzeugbewegungsdaten 22 ermöglichen schnelle Erneuerungsraten, was die latenten videobasierten Positionsdaten 20 erweitern/verfeinern kann, wie es beispielsweise in dem Sensorvereinigungsverfahren 60 gezeigt ist, das in 3 bereitgestellt ist. Bei einer Ausgestaltung können die erfassten Fahrzeugbewegungsdaten 22 beispielsweise alle 10 ms erneuert werden und eine vernachlässigbare Latenz aufweisen (d. h. annähernd die Geschwindigkeit des Prozessors zum Ableiten der Positionsdaten).
-
3 und 4 zeigen zusammen ein Verfahren 60 zum Vereinigen der latenten videobasierten Positionsdaten 20 mit den Positionsdaten, die von den Fahrzeugbewegungssensoren 16 geschätzt werden. Dieses Verfahren 60 kann durch den Spurverfolgungsprozessor 18 auf einer kontinuierlichen Basis beim Empfang der videobasierten Positionsdaten 20 und der erfassten Bewegungsdaten 22 ausgeführt oder durchgeführt werden. 4 zeigt ein Zeitdiagramm 62 gemäß diesem Sensorvereinigungsverfahren 60, wobei jeder kleine Pfeil 70 entlang der Zeitachse 72 beispielsweise 10 ms Positionsdaten darstellt, die von den Fahrzeugbewegungssensoren 16 erhalten werden. Ähnlich stellt jeder große Pfeil 74 100 ms videobasierte Positionsdaten 20 dar, die mit einer Latenz von 200 ms ankommen. Wieder auf 3 Bezug nehmend beginnt das Verfahren in Schritt 80, wenn das System mit Energie beaufschlagt wird, worauf unmittelbar ein Initialisierungsschritt 82 folgt. In dem Initialisierungsschritt 82 wird eine anfängliche Startposition als Basis erhalten, beispielsweise über die videobasierten Positionsdaten 20.
-
In Schritt
84 fragt das Verfahren
60 dann ab, ob neue oder aktualisierte videobasierte Positionsdaten
20 zur Verfügung stehen. Wenn dies nicht der Fall ist, schätzt der Prozessor
18 in Schritt
86 eine inkrementelle Bewegung des Fahrzeugs
10 unter Verwendung von Koppelnavigationstechniken, die mit den erfassten 10 ms-Fahrzeugbewegungsdaten
22 durchgeführt werden. Bei einer Ausgestaltung können diese Techniken die Gleichungen 1–4 lösen, um eine seitliche Abweichung des Fahrzeugs von der Spurmitte (Δy) und einen relativen Fahrtrichtungswinkel des Fahrzeugs in Bezug auf die Spurmittellinie (Δψ) (z. B. die Differenz zwischen der absoluten Fahrtrichtung des Fahrzeugs und der absoluten Richtung der Spurmarkierungen) zu ermitteln.
Δẏ = Vy + VxΔψ Gleichung 1 ΔΨ · = r + k(s)Vx Gleichung 2
-
Wie oben verwendet ist Vx die Längsgeschwindigkeit des Fahrzeugs 10; ist Vy die Quergeschwindigkeit des Fahrzeugs 10; ist r die erfasste Gierrate, ist δ der Radwinkel, sind a und b die Längsdistanzen von dem Fahrzeugschwerpunkt zu der jeweiligen Vorder- und Hinterachse; ist M die Masse des Fahrzeugs 10; ist Iz das Gierträgheitsmoment des Fahrzeugs; sind Cf und Cr die Quersteifigkeiten; und ist k(s) die Krümmung der Straße, wie sie durch den Videoprozessor 14 wahrgenommen wird. Bei einer anderen Ausgestaltung, bei der Vy zur Verfügung steht, kann es beispielsweise nur erforderlich sein, dass das System die Gleichungen 1–2 löst. Daher können, wie es erkannt werden wird, die Anzahl und Komplexität des dynamischen Modells in Abhängigkeit von den Typen von verfügbaren Sensorbewegungsdaten abweichen.
-
Während solche Koppelnavigationstechniken einen wertvollen Kurzzeiteinblick in das Verhalten, insbesondere wegen ihrer schnellen Ansprechrate (d. h. mit der Geschwindigkeit der Sensoreingänge), bereitstellen können, kann die geschätzte Position aufgrund von verrauschten Messungen und/oder Annahmen, die in den dynamischen Gleichungen gemacht werden, im Laufe der Zeit von der wahren/tatsächlichen Position abweichen. Auf diese Weise können beim Ankommen neuer videobasierter Positionsdaten 20 Kalman-Filtertechniken verwendet werden, um die beiden unabhängigen Positionsangaben zu vereinigen. Für eine zukünftige Bezugnahme können die erfassten Bewegungsdaten 22 in Schritt 88 gepuffert werden.
-
Wieder auf Schritt 84 Bezug nehmend kann der Prozessor 18, wenn er erkennt, dass die neuen videobasierten Positionsdaten 20 zur Verfügung stehen, in Schritt 90 die Koppelnavigationspositionsberechnungen um eine Anzahl von Schritten zurückstellen, die proportional zur Latenz und der Aktualisierungsgeschwindigkeit der Fahrzeugbewegungssensoren 16 sein kann (z. B. in dem vorliegenden Beispiel 20 Schritte). Auf diese Weise kann der latente Video-Frame zeitlich mit der Positionsberechnung zu dem Zeitpunkt, zu dem der Video-Frame erlangt wurde (d. h. vor jeglicher RechenLatenz) synchronisiert werden. Bei einer anderen Ausgestaltung kann der Videoprozessor 14 einen Zeitstempel auf das Videosignal 48 aufbringen, wenn es empfangen wird. Dann kann Schritt 90 die inkrementelle Koppelnavigationsposition um eine Anzahl an Schritten zurückstellen, die sie mit der Erlangung des Videos in Einklang bringen würde.
-
In Schritt 92 kann der Prozessor 18 dann die abgeleitete Bewegung/Position mit den neu erlangten videobasierten Positionsdaten 20 vereinigen/aktualisieren. Ferner kann der Prozessor 18 in Schritt 92 die Kovarianzmatrix aktualisieren, die die Sensorvereinigung überwacht. Wie es in der Technik bekannt ist, wird die Kovarianzmatrix verwendet, um einer bestimmten Sensorinformation während der Sensorvereinigung eine Gewichtung oder ”Vertrauenswürdigkeit” zuzuordnen.
-
Unter Verwendung der in Schritt 88 gepufferten hohen Sensorwerte zusammen mit der neu aktualisierten Fahrzeugpositionsinformation kann der Prozessor 18 im Schritt 94 dann wieder einen Schritt vorwärts zu den Echtzeitdaten machen, wobei er hierbei unter Verwendung der Koppelnavigationstechniken über Schritt 86 fortfahren kann, bis die nächste videobasierte Positionsinformation ankommt. Wenn es vorkommt, dass die Koppelnavigationsschätzwerte von der echten Position abweichen, würden die verzögerten videobasierten Positionsmessungen den Positionsschätzwert zurück in Richtung der echten Position ziehen, und zwar auf eine Weise, die die Positionsdaten nicht stört, bis zu der Stelle, an der sie sich schnell ändern und/oder verrauscht werden. Dieser vereinigte Positionsschätzwert kann dann nahezu in Echtzeit an andere Überwachungs-/Steuersysteme ausgegeben werden.
-
Durch Vereinigen der Fahrzeugsensorinformation mit videobasierten Positionsmessungen können die Spurerkennungs- und/oder Spurführungsalgorithmen insgesamt stabiler sein als wenn eine Technologie von beiden allein verwendet wird. Gleichermaßen kann die Flexibilität des Algorithmus jedoch fehlende Video-Frames oder Situationen, in denen die Sichtverhältnisse unregelmäßig oder mangelhaft sind (entweder aufgrund von äußeren Bedingungen oder aufgrund einer fehlenden Spurmarkierungsklarheit) berücksichtigen und/oder abgleichen. Ferner kann diese Sensorvereinigungstechnik einer verzögerten Beobachtung auch modifiziert werden, um eine zusätzliche Sensorinformation, wie beispielsweise GPS-Messungen oder eine HF-Triangulation – die beide eine latente Positionsinformation erzeugen, zu berücksichtigen.
-
Bei einer Ausgestaltung kann das Fahrzeug 10 die Positionsmessungen, die durch den Spurverfolgungsprozessor 18 erzeugt werden, für eine oder mehrere Steuer- und/oder Überwachungsfunktionen verwenden. Wenn beispielsweise der Prozessor 18 detektiert, dass sich das Fahrzeug der linken Fahrspurlinie 38 nähert (d. h. die Distanz 36 in Richtung Null verringert wird), kann das Fahrzeug 10 den Fahrer alarmieren. Alternativ können verschiedene Spurführungsregelungsanwendungen die vereinigte Positionsinformation (d. h. die Distanzen 32, 36) verwenden, um die Bewegung des Fahrzeugs 10 derart zu regeln, dass das Fahrzeug 10 mit minimaler Fahrerbeteiligung in der Mitte einer Straßenspur positioniert bleiben kann (z. B. wie es bei Systemen eines adaptiven Tempomaten vorgesehen sein kann). Auf diese Weise kann die Methodologie einer kontinuierlichen Vorhersage/Aktualisierung, die durch das Kalman-Filter eingesetzt wird, kleinere, jedoch häufigere Kurskorrekturen ermöglichen, als sich lediglich auf latente unregelmäßige Videodaten zu stützen.
-
Während die geeignetsten Ausführungsformen zum Ausführen der Erfindung ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe und Ausführungsformen zum Ausführen der Erfindung innerhalb des Schutzumfangs der beigefügten Ansprüche erkennen. Alle in der obigen Beschreibung enthaltenen oder in den beigefügten Zeichnungen gezeigten Gegenstände sollen lediglich als erläuternd und nicht als einschränkend betrachtet werden.