DE102012219834B4 - Spurverfolgungssystem - Google Patents

Spurverfolgungssystem Download PDF

Info

Publication number
DE102012219834B4
DE102012219834B4 DE102012219834.2A DE102012219834A DE102012219834B4 DE 102012219834 B4 DE102012219834 B4 DE 102012219834B4 DE 102012219834 A DE102012219834 A DE 102012219834A DE 102012219834 B4 DE102012219834 B4 DE 102012219834B4
Authority
DE
Germany
Prior art keywords
vehicle
video
data
frequency
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012219834.2A
Other languages
English (en)
Other versions
DE102012219834A1 (de
Inventor
Nikolai K. Moshchuk
Shuqing Zeng
Xingping Chen
Bakhtiar Litkouhi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102012219834A1 publication Critical patent/DE102012219834A1/de
Application granted granted Critical
Publication of DE102012219834B4 publication Critical patent/DE102012219834B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Abstract

Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur, wobei das System umfasst: eine Kamera, die ausgestaltet ist, um ein Videosignal bereitzustellen, das ein Sichtfeld darstellt; einen Videoprozessor, der ausgestaltet ist, um das Videosignal zu empfangen und videobasierte Positionsdaten zu erzeugen, wobei die videobasierten Positionsdaten die Position des Fahrzeugs in der Spur angeben und eine vordefinierte Latenz aufweisen; einen Fahrzeugbewegungssensor, der ausgestaltet ist, um Fahrzeugbewegungsdaten zu erzeugen, die die Bewegung eines Fahrzeugs angeben; und einen Spurverfolgungsprozessor, der ausgestaltet ist, um: die videobasierten Positionsdaten, aktualisiert mit einer ersten Frequenz, zu empfangen; die erfassten Fahrzeugbewegungsdaten, aktualisiert mit einer zweiten Frequenz, zu empfangen, wobei die zweite Frequenz größer als die erste Frequenz ist; die erfassten Fahrzeugbewegungsdaten zu puffern; die Position des Fahrzeugs in der Spur inkrementell aus den erfassten Fahrzeugbewegungsdaten durch Durchführen einer inkrementellen Koppelnavigation hinsichtlich der Position mit der zweiten Frequenz zu schätzen; die geschätzte Position des Fahrzeugs beim Empfang der aktualisierten videobasierten Positionsdaten in der Spur um eine vordefinierte Anzahl an Inkrementen zurückzusetzen; die aktualisierten videobasierten Positionsdaten mit dem zurückgesetzten Schätzwert der Fahrzeugposition in der Spur unter Verwendung eines Kalman-Filters zu vereinigen; eine Kovarianzmatrix zu aktualisieren; und die Position des Fahrzeugs in der Spur vorwärts über die vordefinierte Anzahl an Inkrementen durch Durchführen einer Koppelnavigation hinsichtlich der Position aus den gepufferten erfassten Fahrzeugbewegungsdaten inkrementell zu schätzen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung bezieht sich auf ein Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur und ein Sensorvereinigungsverfahren.
  • HINTERGRUND
  • Fahrzeugspurverfolgungssysteme können eine visuelle Objekterkennung einsetzen, um begrenzende Fahrspurlinien zu identifizieren, die auf einer Straße als Markierung angebracht sind. Durch diese Systeme können visuelle Verarbeitungstechniken eine Position zwischen dem Fahrzeug und den jeweiligen Fahrspurlinien sowie eine Fahrtrichtung des Fahrzeugs relativ zur Spur schätzen. Solche Verarbeitungs-/Erkennungstechniken können jedoch rechenintensiv sein und/oder eine starke Filterung erfordern. Dies kann dazu führen, dass die Positionsschätzwerte relativ zu der Erlangung der Videoinformation zeitverzögert sind. Ferner kann die visuelle Information aufgrund von visuellen Hindernissen, Einschränkungen der Sichtverhältnisse, Schmutz/Ablagerungen, die die Sicht der Kameralinse trüben können, und/oder der Notwendigkeit, mehrere sequentielle Frames für bestimmte Videofilterverfahren zu sammeln, unregelmäßig erlangt werden. Solch eine Latenz und/oder unregelmäßige oder langsame Erneuerungsraten können zu Systeminstabilitäten führen oder die Ansprechzeit/Genauigkeit des Fahrzeugs beeinträchtigen, wenn eine automatische Pfadkorrektur erforderlich ist.
  • Ein herkömmliches Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur ist aus der Druckschrift DE 10 2010 005 293 A1 bekannt.
  • ZUSAMMENFASSUNG
  • Ein Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur umfasst eine Kamera, die ausgestaltet ist, um ein Videosignal bereitzustellen, das ein Sichtfeld darstellt, und einen Videoprozessor, der ausgestaltet ist, um das Videosignal von der Kamera zu empfangen und latente videobasierte Positionsdaten zu erzeugen, die die Stellung (Position und Fahrtrichtung) des Fahrzeugs in der Spur angeben. Das System umfasst ferner eine Fahrzeugbewegungssensorgruppe, die ausgestaltet ist, um Fahrzeugbewegungsdaten zu erzeugen, die die Bewegung des Fahrzeugs angeben, und einen Spurverfolgungsprozessor.
  • Der Spurverfolgungsprozessor ist ausgestaltet, um die videobasierten Positionsdaten, aktualisiert mit einer ersten Frequenz, zu empfangen; die erfassten Fahrzeugbewegungsdaten, aktualisiert mit einer zweiten Frequenz, zu empfangen, wobei die zweite Frequenz größer als die erste Frequenz ist; die erfassten Fahrzeugbewegungsdaten zu puffern; die Position des Fahrzeugs in der Spur inkrementell aus den erfassten Fahrzeugbewegungsdaten durch Durchführen einer inkrementellen Koppelnavigation hinsichtlich der Position mit der zweiten Frequenz zu schätzen; die geschätzte Position des Fahrzeugs beim Empfang der aktualisierten videobasierten Positionsdaten in der Spur um eine vordefinierte Anzahl an Inkrementen zurückzusetzen; die aktualisierten videobasierten Positionsdaten mit dem zurückgesetzten Schätzwert der Fahrzeugposition in der Spur unter Verwendung eines Kalman-Filters zu vereinigen; eine Kovarianzmatrix zu aktualisieren; und die Position des Fahrzeugs in der Spur vorwärts über die vordefinierte Anzahl an Inkrementen durch Durchführen einer Koppelnavigation hinsichtlich der Position aus den gepufferten erfassten Fahrzeugbewegungsdaten inkrementell zu schätzen.
  • Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung der geeignetsten Ausführungsformen zum Ausführen der Erfindung in Verbindung mit den begleitenden Zeichnungen leicht ersichtlich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein schematisches Diagramm eines Fahrzeugs mit einem Spurverfolgungssystem.
  • 2 ist ein schematisches Diagramm eines Fahrzeugs, das sich in einer Spur einer Straße befindet.
  • 3 ist ein Flussdiagramm eines Verfahrens zum Vereinigen von niederfrequenten latenten Videodaten mit mit Hochgeschwindigkeit erfassten Bewegungsdaten.
  • 4 ist ein schematisches Zeitdiagramm, das das Verfahren von 3 allgemein darstellt.
  • DETAILLIERTE BESCHREIBUNG
  • In Bezug auf die Zeichnungen, in denen gleiche Bezugszeichen verwendet werden, um ähnliche oder identische Komponenten in den verschiedenen Ansichten zu identifizieren, zeigt 1 schematisch ein Fahrzeug 10 mit einem Spurverfolgungssystem 11, das eine nach vorn gerichtete Kamera 12, einen Videoprozessor 14, einen Fahrzeugbewegungssensor 16 und einen Spurverfolgungsprozessor 18 umfasst. Wie es nachstehend ausführlicher beschrieben wird, kann der Spurverfolgungsprozessor 18 videobasierte Positionsdaten 20 mit erfassten Fahrzeugbewegungsdaten 22 vereinigen, um die Position des Fahrzeugs 10 in einer Fahrspur 30 (wie es allgemein in 2 gezeigt ist) zu ermitteln. Beispielsweise kann der Spurverfolgungsprozessor 18 nahezu in Echtzeit die Distanz 32 zwischen dem Fahrzeug 10 und der rechten Fahrspurlinie 34, die Distanz 36 zwischen dem Fahrzeug 10 und der linken Fahrspurlinie 38 und/oder die Fahrtrichtung 40 des Fahrzeugs 10 relativ zu der Spur 30 ermitteln.
  • Der Videoprozessor 14 und der Spurverfolgungsprozessor 18 können jeweils als ein(e) oder mehrere digitale Rechner oder Datenverarbeitungseinrichtungen ausgeführt sein, die jeweils einen oder mehrere Mikroprozessoren oder zentrale Verarbeitungseinheiten (CPU), einen Nurlesespeicher (ROM), einen Direktzugriffsspeicher (RAM), einen elektrisch löschbaren programmierbaren Nurlesespeicher (EEPROM), einen Hochgeschwindigkeitstakt, einen Analog-Digital-Schaltkreis (A/D-Schaltkreis), einen Digital-Analog-Schaltkreis (D/A-Schaltkreis), einen Eingabe/Ausgabe-Schaltkreis (I/O-Schaltkreis), Leistungselektronik/-transformatoren und/oder eine Signalkonditionierungs- und -pufferelektronik aufweisen. Die einzelnen Steuer-/Verarbeitungsroutinen, die sich in den Prozessoren 14, 18 befinden oder leicht für diese zugänglich sind, können in einem ROM oder an anderen geeigneten konkreten Speicherorten und/oder in Speichereinrichtungen gespeichert sein und können automatisch durch zugehörige Hardware-Komponenten der Prozessoren 14, 18 ausgeführt werden, um die jeweilige Verarbeitungsfunktionalität bereitzustellen. Bei einer anderen Ausgestaltung können der Videoprozessor 14 und der Spurverfolgungsprozessor 18 durch eine einzelne Einrichtung, wie beispielsweise einen Digitalrechner oder eine Datenverarbeitungseinrichtung, ausgeführt sein.
  • Wenn das Fahrzeug 10 die Straße 42 entlangfährt, können eine oder mehrere nach vorne gerichtete Kameras 12 visuell Markierungen (z. B. Zeichen 44) detektieren, die auf die Fahrbahn der Straße 42 gemalt oder in diese eingebettet sein können, um die Spur 30 zu definieren. Die eine oder die mehreren Kameras 12 können jeweils ein(e) oder mehrere Linsen und/oder Filter umfassen, die geeignet sind, um Licht aus dem Gesichtsfeld 46 zu empfangen und/oder für einen Bildsensor zu formen. Der Bildsensor kann beispielsweise eine oder mehrere ladungsgekoppelte Einrichtungen (CCDs) umfassen, die ausgestaltet sind, um Lichtenergie in ein digitales Signal umzuwandeln. Die eine oder die mehreren Kameras 12 können in einer beliebigen geeigneten Orientierung/Ausrichtung mit dem Fahrzeug 10 positioniert sein, unter der Voraussetzung, dass sie das eine oder die mehreren Objekte oder Markierungen, die an oder entlang der Straße 42 angeordnet sind, vernünftig sehen können. Bei einer Ausgestaltung kann die Kamera 12 in dem Kühlergrill des Fahrzeugs 10 angeordnet sein. Bei einer anderen Ausgestaltung kann die Kamera 12 in der Windschutzscheibe des Fahrzeugs 10 angeordnet und in einer im Wesentlichen nach vorn gerichteten Richtung (z. B. an einer nach vorn gerichteten Fläche des Rückspiegels) orientiert sein. Die Kamera 12 kann ein Videosignal 48 ausgeben, das beispielsweise mehrere Standbild-Frames umfassen kann, die sequentiell mit einer festen Rate (d. h. Frame-Rate) erfasst werden. Bei einer Ausgestaltung kann die Frame-Rate des Videosignals 48 größer als 5 Hertz (Hz) sein, wobei die Frame-Rate des Videosignals 48 bei einer stärker bevorzugten Ausgestaltung jedoch größer als 10 Hertz (Hz) sein kann.
  • Der Videoprozessor 14 kann das Videosignal 48 von der Kamera 12 empfangen und kann ausgestaltet sein, um ein oder mehrere Objekte zwischen den mehreren Bild-Frames zu identifizieren und/oder zu verfolgen. Unter Verwendung von verschiedenen Bildverarbeitungstechniken kann der Videoprozessor 14 den Ort und Pfad der begrenzenden Fahrspurlinien 34, 38 identifizieren und kann er dementsprechend die Distanzen 32 und 36 zwischen dem Fahrzeug 10 und den jeweiligen Linien 34, 38 zusammen mit der relativen Fahrtrichtung 40 schätzen. Der Videoprozessor 14 kann dann die Positionsschätzwerte als videobasierte Positionsdaten 20 an den Spurverfolgungsprozessor 18 ausgeben.
  • Die videobasierten Positionsdaten 20, die dem Spurverfolgungsprozessor 18 bereitgestellt werden, können auf einer periodischen Basis aktualisiert/erneuert werden. Die Erneuerungsrate der videobasierten Positionsdaten 20 kann durch die verfügbare Bandbreite und Rechenleistung des Videoprozessors 14, die Frame-Rate der Kamera 12 und/oder die eingesetzten Filteralgorithmen vorgegeben sein. Die videobasierten Positionsdaten 20 können ferner aufgrund der Verarbeitungskomplexität der Fahrspurliniendetektionsalgorithmen und/oder jeglicher erforderlicher Videofilterung (z. B. um Bilder, die aufgrund von Rütteln/Unebenheit der Straße verzerrt erscheinen können, zu glätten und/oder zu verbessern) eine inhärente Latenz aufweisen. Bei einer Ausgestaltung können die videobasierten Positionsdaten 20 beispielsweise alle 100 ms erneuert werden und eine Latenz von etwa 200 ms aufweisen.
  • Um die Genauigkeit und Aktualisierungsfrequenz der videobasierten Positionsdaten 20 zu verbessern, kann der Spurverfolgungsprozessor 18 Kalman-Filtertechniken einsetzen, um die videobasierten Positionsdaten 20 mit inkrementellen Positionsdaten zu kombinieren, die von dem einen oder den mehreren Bewegungssensoren 16, die an dem Fahrzeug 10 zur Verfügung stehen, geschätzt werden können (z. B. unter Verwendung von Koppelnavigationstechniken). Der eine oder die mehreren Fahrzeugbewegungssensoren 16 können beispielsweise die Drehzahl und/oder den Lenkwinkel eines oder mehrerer der Fahrzeugräder 50, den Fahrzeuggierwinkel, die Quer- und/oder Längsgeschwindigkeit und/oder -beschleunigung des Fahrzeugs 10 und/oder die missweisende Fahrtrichtung des Fahrzeugs 10 überwachen. Diese erfassten Fahrzeugbewegungsdaten 22 ermöglichen schnelle Erneuerungsraten, was die latenten videobasierten Positionsdaten 20 erweitern/verfeinern kann, wie es beispielsweise in dem Sensorvereinigungsverfahren 60 gezeigt ist, das in 3 bereitgestellt ist. Bei einer Ausgestaltung können die erfassten Fahrzeugbewegungsdaten 22 beispielsweise alle 10 ms erneuert werden und eine vernachlässigbare Latenz aufweisen (d. h. annähernd die Geschwindigkeit des Prozessors zum Ableiten der Positionsdaten).
  • 3 und 4 zeigen zusammen ein Verfahren 60 zum Vereinigen der latenten videobasierten Positionsdaten 20 mit den Positionsdaten, die von den Fahrzeugbewegungssensoren 16 geschätzt werden. Dieses Verfahren 60 kann durch den Spurverfolgungsprozessor 18 auf einer kontinuierlichen Basis beim Empfang der videobasierten Positionsdaten 20 und der erfassten Bewegungsdaten 22 ausgeführt oder durchgeführt werden. 4 zeigt ein Zeitdiagramm 62 gemäß diesem Sensorvereinigungsverfahren 60, wobei jeder kleine Pfeil 70 entlang der Zeitachse 72 beispielsweise 10 ms Positionsdaten darstellt, die von den Fahrzeugbewegungssensoren 16 erhalten werden. Ähnlich stellt jeder große Pfeil 74 100 ms videobasierte Positionsdaten 20 dar, die mit einer Latenz von 200 ms ankommen. Wieder auf 3 Bezug nehmend beginnt das Verfahren in Schritt 80, wenn das System mit Energie beaufschlagt wird, worauf unmittelbar ein Initialisierungsschritt 82 folgt. In dem Initialisierungsschritt 82 wird eine anfängliche Startposition als Basis erhalten, beispielsweise über die videobasierten Positionsdaten 20.
  • In Schritt 84 fragt das Verfahren 60 dann ab, ob neue oder aktualisierte videobasierte Positionsdaten 20 zur Verfügung stehen. Wenn dies nicht der Fall ist, schätzt der Prozessor 18 in Schritt 86 eine inkrementelle Bewegung des Fahrzeugs 10 unter Verwendung von Koppelnavigationstechniken, die mit den erfassten 10 ms-Fahrzeugbewegungsdaten 22 durchgeführt werden. Bei einer Ausgestaltung können diese Techniken die Gleichungen 1–4 lösen, um eine seitliche Abweichung des Fahrzeugs von der Spurmitte (Δy) und einen relativen Fahrtrichtungswinkel des Fahrzeugs in Bezug auf die Spurmittellinie (Δψ) (z. B. die Differenz zwischen der absoluten Fahrtrichtung des Fahrzeugs und der absoluten Richtung der Spurmarkierungen) zu ermitteln.
  • Figure DE102012219834B4_0002
  • Wie oben verwendet ist Vx die Längsgeschwindigkeit des Fahrzeugs 10; ist Vy die Quergeschwindigkeit des Fahrzeugs 10; ist r die erfasste Gierrate, ist δ der Radwinkel, sind a und b die Längsdistanzen von dem Fahrzeugschwerpunkt zu der jeweiligen Vorder- und Hinterachse; ist M die Masse des Fahrzeugs 10; ist Iz das Gierträgheitsmoment des Fahrzeugs; sind Cf und Cr die Quersteifigkeiten; und ist k(s) die Krümmung der Straße, wie sie durch den Videoprozessor 14 wahrgenommen wird. Bei einer anderen Ausgestaltung, bei der Vy zur Verfügung steht, kann es beispielsweise nur erforderlich sein, dass das System die Gleichungen 1–2 löst. Daher können, wie es erkannt werden wird, die Anzahl und Komplexität des dynamischen Modells in Abhängigkeit von den Typen von verfügbaren Sensorbewegungsdaten abweichen.
  • Während solche Koppelnavigationstechniken einen wertvollen Kurzzeiteinblick in das Verhalten, insbesondere wegen ihrer schnellen Ansprechrate (d. h. mit der Geschwindigkeit der Sensoreingänge), bereitstellen können, kann die geschätzte Position aufgrund von verrauschten Messungen und/oder Annahmen, die in den dynamischen Gleichungen gemacht werden, im Laufe der Zeit von der wahren/tatsächlichen Position abweichen. Auf diese Weise können beim Ankommen neuer videobasierter Positionsdaten 20 Kalman-Filtertechniken verwendet werden, um die beiden unabhängigen Positionsangaben zu vereinigen. Für eine zukünftige Bezugnahme können die erfassten Bewegungsdaten 22 in Schritt 88 gepuffert werden.
  • Wieder auf Schritt 84 Bezug nehmend kann der Prozessor 18, wenn er erkennt, dass die neuen videobasierten Positionsdaten 20 zur Verfügung stehen, in Schritt 90 die Koppelnavigationspositionsberechnungen um eine Anzahl von Schritten zurückstellen, die proportional zur Latenz und der Aktualisierungsgeschwindigkeit der Fahrzeugbewegungssensoren 16 sein kann (z. B. in dem vorliegenden Beispiel 20 Schritte). Auf diese Weise kann der latente Video-Frame zeitlich mit der Positionsberechnung zu dem Zeitpunkt, zu dem der Video-Frame erlangt wurde (d. h. vor jeglicher RechenLatenz) synchronisiert werden. Bei einer anderen Ausgestaltung kann der Videoprozessor 14 einen Zeitstempel auf das Videosignal 48 aufbringen, wenn es empfangen wird. Dann kann Schritt 90 die inkrementelle Koppelnavigationsposition um eine Anzahl an Schritten zurückstellen, die sie mit der Erlangung des Videos in Einklang bringen würde.
  • In Schritt 92 kann der Prozessor 18 dann die abgeleitete Bewegung/Position mit den neu erlangten videobasierten Positionsdaten 20 vereinigen/aktualisieren. Ferner kann der Prozessor 18 in Schritt 92 die Kovarianzmatrix aktualisieren, die die Sensorvereinigung überwacht. Wie es in der Technik bekannt ist, wird die Kovarianzmatrix verwendet, um einer bestimmten Sensorinformation während der Sensorvereinigung eine Gewichtung oder ”Vertrauenswürdigkeit” zuzuordnen.
  • Unter Verwendung der in Schritt 88 gepufferten hohen Sensorwerte zusammen mit der neu aktualisierten Fahrzeugpositionsinformation kann der Prozessor 18 im Schritt 94 dann wieder einen Schritt vorwärts zu den Echtzeitdaten machen, wobei er hierbei unter Verwendung der Koppelnavigationstechniken über Schritt 86 fortfahren kann, bis die nächste videobasierte Positionsinformation ankommt. Wenn es vorkommt, dass die Koppelnavigationsschätzwerte von der echten Position abweichen, würden die verzögerten videobasierten Positionsmessungen den Positionsschätzwert zurück in Richtung der echten Position ziehen, und zwar auf eine Weise, die die Positionsdaten nicht stört, bis zu der Stelle, an der sie sich schnell ändern und/oder verrauscht werden. Dieser vereinigte Positionsschätzwert kann dann nahezu in Echtzeit an andere Überwachungs-/Steuersysteme ausgegeben werden.
  • Durch Vereinigen der Fahrzeugsensorinformation mit videobasierten Positionsmessungen können die Spurerkennungs- und/oder Spurführungsalgorithmen insgesamt stabiler sein als wenn eine Technologie von beiden allein verwendet wird. Gleichermaßen kann die Flexibilität des Algorithmus jedoch fehlende Video-Frames oder Situationen, in denen die Sichtverhältnisse unregelmäßig oder mangelhaft sind (entweder aufgrund von äußeren Bedingungen oder aufgrund einer fehlenden Spurmarkierungsklarheit) berücksichtigen und/oder abgleichen. Ferner kann diese Sensorvereinigungstechnik einer verzögerten Beobachtung auch modifiziert werden, um eine zusätzliche Sensorinformation, wie beispielsweise GPS-Messungen oder eine HF-Triangulation – die beide eine latente Positionsinformation erzeugen, zu berücksichtigen.
  • Bei einer Ausgestaltung kann das Fahrzeug 10 die Positionsmessungen, die durch den Spurverfolgungsprozessor 18 erzeugt werden, für eine oder mehrere Steuer- und/oder Überwachungsfunktionen verwenden. Wenn beispielsweise der Prozessor 18 detektiert, dass sich das Fahrzeug der linken Fahrspurlinie 38 nähert (d. h. die Distanz 36 in Richtung Null verringert wird), kann das Fahrzeug 10 den Fahrer alarmieren. Alternativ können verschiedene Spurführungsregelungsanwendungen die vereinigte Positionsinformation (d. h. die Distanzen 32, 36) verwenden, um die Bewegung des Fahrzeugs 10 derart zu regeln, dass das Fahrzeug 10 mit minimaler Fahrerbeteiligung in der Mitte einer Straßenspur positioniert bleiben kann (z. B. wie es bei Systemen eines adaptiven Temporaten vorgesehen sein kann). Auf diese Weise kann die Methodologie einer kontinuierlichen Vorhersage/Aktualisierung, die durch das Kalman-Filter eingesetzt wird, kleinere, jedoch häufigere Kurskorrekturen ermöglichen, als sich lediglich auf latente unregelmäßige Videodaten zu stützen.

Claims (5)

  1. Spurverfolgungssystem zum Verfolgen der Position eines Fahrzeugs in einer Spur, wobei das System umfasst: eine Kamera, die ausgestaltet ist, um ein Videosignal bereitzustellen, das ein Sichtfeld darstellt; einen Videoprozessor, der ausgestaltet ist, um das Videosignal zu empfangen und videobasierte Positionsdaten zu erzeugen, wobei die videobasierten Positionsdaten die Position des Fahrzeugs in der Spur angeben und eine vordefinierte Latenz aufweisen; einen Fahrzeugbewegungssensor, der ausgestaltet ist, um Fahrzeugbewegungsdaten zu erzeugen, die die Bewegung eines Fahrzeugs angeben; und einen Spurverfolgungsprozessor, der ausgestaltet ist, um: die videobasierten Positionsdaten, aktualisiert mit einer ersten Frequenz, zu empfangen; die erfassten Fahrzeugbewegungsdaten, aktualisiert mit einer zweiten Frequenz, zu empfangen, wobei die zweite Frequenz größer als die erste Frequenz ist; die erfassten Fahrzeugbewegungsdaten zu puffern; die Position des Fahrzeugs in der Spur inkrementell aus den erfassten Fahrzeugbewegungsdaten durch Durchführen einer inkrementellen Koppelnavigation hinsichtlich der Position mit der zweiten Frequenz zu schätzen; die geschätzte Position des Fahrzeugs beim Empfang der aktualisierten videobasierten Positionsdaten in der Spur um eine vordefinierte Anzahl an Inkrementen zurückzusetzen; die aktualisierten videobasierten Positionsdaten mit dem zurückgesetzten Schätzwert der Fahrzeugposition in der Spur unter Verwendung eines Kalman-Filters zu vereinigen; eine Kovarianzmatrix zu aktualisieren; und die Position des Fahrzeugs in der Spur vorwärts über die vordefinierte Anzahl an Inkrementen durch Durchführen einer Koppelnavigation hinsichtlich der Position aus den gepufferten erfassten Fahrzeugbewegungsdaten inkrementell zu schätzen.
  2. Spurverfolgungssystem nach Anspruch 1, wobei die vordefinierte Anzahl an Inkrementen proportional zu der Latenz der videobasierten Positionsdaten und proportional zu der zweiten Frequenz ist.
  3. Spurverfolgungssystem nach Anspruch 1, wobei die erfassten Fahrzeugbewegungsdaten eine Längsgeschwindigkeit, eine Quergeschwindigkeit und eine Gierrate umfassen.
  4. Spurverfolgungssystem nach Anspruch 1, wobei der Spurverfolgungsprozessor ferner ausgestaltet ist, um die Bewegung des Fahrzeugs zu steuern, um das Fahrzeug in der Mitte einer Spur zu halten.
  5. Sensorvereinigungsverfahren zum Kombinieren von latenten videobasierten Positionsdaten mit in Echtzeit erfassten Bewegungsdaten, wobei das Verfahren umfasst, dass: die latenten videobasierten Positionsdaten mit einer ersten Frequenz und einer vorbestimmten Latenz empfangen werden; die erfassten Bewegungsdaten mit einer zweiten Frequenz empfangen werden, wobei die zweite Frequenz größer als die erste Frequenz ist; eine Position inkrementell durch Durchführen einer inkrementellen Koppelnavigation aus den erfassten Bewegungsdaten geschätzt wird; die erfassten Bewegungsdaten gepuffert werden; die geschätzte Position beim Empfang der aktualisierten videobasierten Positionsdaten um eine vordefinierte Anzahl an Inkrementen zurückgesetzt wird; die aktualisierten videobasierten Positionsdaten mit dem zurückgesetzten Schätzwert der Fahrzeugposition in der Spur unter Verwendung eines zeitversetzten Kalman-Filters vereinigt werden; eine Kovarianzmatrix aktualisiert wird; und die Position vorwärts über die vordefinierte Anzahl an Inkrementen durch Durchführen einer Koppelnavigation hinsichtlich der Position aus den gepufferten erfassten Bewegungsdaten inkrementell geschätzt wird.
DE102012219834.2A 2011-11-04 2012-10-30 Spurverfolgungssystem Active DE102012219834B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/289,517 US9139203B2 (en) 2011-11-04 2011-11-04 Lane tracking system
US13/289,517 2011-11-04

Publications (2)

Publication Number Publication Date
DE102012219834A1 DE102012219834A1 (de) 2013-05-16
DE102012219834B4 true DE102012219834B4 (de) 2016-06-09

Family

ID=48145361

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012219834.2A Active DE102012219834B4 (de) 2011-11-04 2012-10-30 Spurverfolgungssystem

Country Status (3)

Country Link
US (1) US9139203B2 (de)
CN (1) CN103085810B (de)
DE (1) DE102012219834B4 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015026960A1 (en) * 2013-08-21 2015-02-26 Sanger Terence D Systems, methods, and uses of b a yes -optimal nonlinear filtering algorithm
DE102013217060B4 (de) * 2013-08-27 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Spurgenaue Positionierung eines Fahrzeugs
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
US9428188B2 (en) * 2014-12-11 2016-08-30 Robert Bosch Gmbh Lane assist functions for vehicles with a trailer
DE102015202230A1 (de) * 2015-02-09 2016-08-11 Conti Temic Microelectronic Gmbh Fusionierte Eigenbewegungsberechnung für ein Fahrzeug
DE102015112443A1 (de) * 2015-07-30 2017-02-02 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Bewegung eines Kraftfahrzeugs mittels Fusion von Odometriedaten, Fahrerasistenzsystem sowie Kraftfahrzeug
US10019014B2 (en) * 2016-05-13 2018-07-10 Delphi Technologies, Inc. Lane-keeping system for automated vehicles
KR101866075B1 (ko) 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
CN108437893B (zh) * 2018-05-16 2020-05-08 奇瑞汽车股份有限公司 一种汽车偏离车道的预警方法及装置
CN112041767A (zh) * 2018-12-03 2020-12-04 北京嘀嘀无限科技发展有限公司 用于同步车辆传感器和设备的系统和方法
CN112287719A (zh) * 2019-07-23 2021-01-29 厦门雅迅网络股份有限公司 一种车道线过滤方法、终端设备及存储介质
CN110597250A (zh) * 2019-08-27 2019-12-20 山东浩睿智能科技有限公司 一种道路清扫设备的自动巡边系统
CN110705444B (zh) * 2019-09-27 2022-02-08 四川长虹电器股份有限公司 车道跟踪系统及方法
DE102020201658A1 (de) 2020-02-11 2021-08-12 Continental Teves Ag & Co. Ohg Fusionierung von Messdaten zur Bestimmung der Fahrzeugposition
DE102020210420A1 (de) 2020-08-17 2022-02-17 Continental Automotive Gmbh Verfahren zur Kalibrierung eines Gierratensensors eines Fahrzeugs
DE102021202603A1 (de) 2021-03-17 2022-09-22 Psa Automobiles Sa Computerimplementiertes Verfahren zur Bestimmung einer Querbeschleunigung eines Kraftfahrzeugs, Computerprogrammprodukt, Fahrassistenzsystem sowie Kraftfahrzeug
CN115451982A (zh) * 2021-06-09 2022-12-09 腾讯科技(深圳)有限公司 一种定位方法和相关装置
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010005293A1 (de) * 2009-01-26 2010-09-02 GM Global Technology Operations, Inc., Detroit System und Verfahren zur Spurpfadschätzung unter Verwendung einer Sensorvereinigung

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5318143A (en) * 1992-06-22 1994-06-07 The Texas A & M University System Method and apparatus for lane sensing for automatic vehicle steering
JP5063851B2 (ja) * 2000-08-16 2012-10-31 ヴァレオ・レイダー・システムズ・インコーポレーテッド 近接物体検出システム
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
KR20060049706A (ko) * 2004-07-20 2006-05-19 아이신세이끼가부시끼가이샤 차량의 레인주행지원장치
DE602005017144D1 (de) * 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
US8095309B2 (en) 2007-06-05 2012-01-10 GM Global Technology Operations LLC GPS assisted vehicular longitudinal velocity determination
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8428843B2 (en) * 2008-06-20 2013-04-23 GM Global Technology Operations LLC Method to adaptively control vehicle operation using an autonomic vehicle control system
US8170739B2 (en) * 2008-06-20 2012-05-01 GM Global Technology Operations LLC Path generation algorithm for automated lane centering and lane changing control system
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
BR112012007021A2 (pt) * 2009-09-29 2016-04-12 Volvo Technology Corp método e sistema para preparação de danos de saída de sensor de uma montagem de sensor para processamento adicional em pelo menos uma aplicação e/ou pelo menos um algoritimo
US9285485B2 (en) 2009-11-12 2016-03-15 GM Global Technology Operations LLC GPS-enhanced vehicle velocity estimation
US20110153266A1 (en) * 2009-12-23 2011-06-23 Regents Of The University Of Minnesota Augmented vehicle location system
US9090263B2 (en) * 2010-07-20 2015-07-28 GM Global Technology Operations LLC Lane fusion system using forward-view and rear-view cameras
US8756001B2 (en) * 2011-02-28 2014-06-17 Trusted Positioning Inc. Method and apparatus for improved navigation of a moving platform
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010005293A1 (de) * 2009-01-26 2010-09-02 GM Global Technology Operations, Inc., Detroit System und Verfahren zur Spurpfadschätzung unter Verwendung einer Sensorvereinigung

Also Published As

Publication number Publication date
CN103085810A (zh) 2013-05-08
CN103085810B (zh) 2016-04-27
US20130116854A1 (en) 2013-05-09
US9139203B2 (en) 2015-09-22
DE102012219834A1 (de) 2013-05-16

Similar Documents

Publication Publication Date Title
DE102012219834B4 (de) Spurverfolgungssystem
DE102013200132B4 (de) Fahrspurhaltesystem für ein Fahrzeug
DE102018111778A1 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
DE102018218220A1 (de) Steuergerät für ein Fahrzeug
DE102016107705A1 (de) Reaktive Pfadplanung für autonomes Fahren
DE202017007675U1 (de) Computerprogrammprodukt mit einem Computerprogramm zur Verarbeitung von visuellen Daten einer Straßenoberfläche
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102014112601A1 (de) Fahrzeugumgebungerkennungsvorrichtung
DE102011107196A1 (de) Robust vehicular lateral control with front and rear cameras
DE102009033219A1 (de) Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
DE102014005688A1 (de) Spurenschätzvorrichtung und verfahren
DE102018216009A1 (de) Vorrichtung zum bestimmen abgelenkten fahrens, verfahren zum bestimmen abgelenkten fahrens und programm
DE102010003850A1 (de) Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
DE102009015142A1 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
DE102015114403A1 (de) Annäherungsobjekterfassungsvorrichtung für ein Fahrzeug und Annäherungsobjekterfassungsverfahren dafür
DE102018124033B4 (de) Bodenkontaktbestimmungsvorrichtung für ein dreidimensionales Objekt
EP1920406A1 (de) Objektdetektion auf bildpunktebene in digitalen bildsequenzen
DE112014003818T5 (de) Objektschätzvorrichtung und Objektschätzverfahren
DE112013004341T5 (de) Fernbetätigungssystem
DE102018201509A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102013205854A1 (de) Temporäre Koherenz bei Detektion eines freien Pfads
DE112018004529T5 (de) Positionsschätzeinrichtung und positionsschätzverfahren einer mobileinheit
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE60023339T2 (de) System zur detektion von hindernissen bei einer fahrzeugbewegung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final