DE19627938A1 - Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen - Google Patents

Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen

Info

Publication number
DE19627938A1
DE19627938A1 DE19627938A DE19627938A DE19627938A1 DE 19627938 A1 DE19627938 A1 DE 19627938A1 DE 19627938 A DE19627938 A DE 19627938A DE 19627938 A DE19627938 A DE 19627938A DE 19627938 A1 DE19627938 A1 DE 19627938A1
Authority
DE
Germany
Prior art keywords
model
road
model parameters
vehicle speed
measuring cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19627938A
Other languages
English (en)
Other versions
DE19627938B4 (de
Inventor
Rainer Garnitz
Jens Goldbeck
Michael Dr Hoetter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE19627938A priority Critical patent/DE19627938B4/de
Publication of DE19627938A1 publication Critical patent/DE19627938A1/de
Application granted granted Critical
Publication of DE19627938B4 publication Critical patent/DE19627938B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

Stand der Technik
Die Erfindung geht aus von einem Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach der Gattung des Hauptanspruchs. Es sind bereits solche Bildanalyseverfahren aus der Literatur bekannt, "Real Time 3D-Road Modeling for Autonomous Vehicle Guidance" (U. Franke, 7. Skandinavische Konferenz der Bildanalyse, Aalborg, Dänemark, Seiten 316 bis 323). Das Verfahren ermittelt den Fahrbahnverlauf und die Lage des Fahrzeugs relativ zu dieser Fahrbahn aus Videobildern, die von einer Bildaufnahmeeinheit aufgenommenen werden. Nach diesem Verfahren werden die die Fahrbahn beschreibenden Modellparameter anhand von Bildpunkten geschätzt, welche als zu der Fahrbahnberandung gehörend erkannt worden sind. Die Detektion dieser Fahrbahnrandpunkte ist ausschließlich gradientenbasiert und setzt das Vorhandensein gut sichtbarer heller Fahrbahnmarkierungen an beiden Fahrbahnrändern voraus. Entsprechend des Fahrbahnmodells, das eine hinreichend genaue Schätzung des Winkels liefert, unter dem die Fahrbahnrandmarkierung im Videobild verläuft, werden parallelogrammförmige Meßzellen entlang der Fahrbahnmarkierung plaziert, in denen dann Kanten bekannter Steigung gesucht werden. Der Meßzelleninhalt wird entlang der vorhergesagten Kante integriert. Aus dem erhaltenen Signal wird daraufhin das Paar der lokalen Gradientenmaxima extrahiert, das mit größter Wahrscheinlichkeit die jeweiligen Fahrbahnberandungen repräsentiert. Aus den detektierten Fahrbahnrandpunkten werden dann im Fall eines überbestimmten Gleichungssystems, d. h. es werden mehr Fahrbahnrandpunkte erfaßt, als zur Bestimmung der Modellparameter notwendig sind, die den Fahrbahnverlauf und die relative Lage des Fahrzeugs zur Fahrbahn beschreibende Modellparameter geschätzt.
Vorteile der Erfindung
Das erfindungsgemäße Verfahren mit den kennzeichnenden Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß es nicht mehr auf eine Einsetzbarkeit bei Fahrbahnen mit gut sichtbaren, hellen Fahrbahnmarkierungen beschränkt ist, sondern auch bei Fahrbahnen mit weniger kontrastreichen Berandungen, z. B. Grasstreifen, Rinn- und Bordsteine, eine zuverlässige Erfassung der Fahrbahnränder gewährleistet. Die Lage der Fahrbahnränder wird durch das erfindungsgemäße hierarchische zweistufige Verfahren zuverlässig ermittelt, welches durch die Suche nach ähnlichen Strukturen innerhalb interessierender Meßzellen in zwei aufeinanderfolgenden Bildern und einer anschließenden lokalen gradientenbasierten Korrektur gekennzeichnet ist.
Außerdem besteht die Möglichkeit, Parameter des Modellparametersatzes auch dann noch bestimmen zu können, wenn lediglich Bildpunkte erfaßt werden, die nur einem Fahrbahnrand zuzuordnen sind.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im Hauptanspruch angegebenen Verfahrens möglich.
Besonders vorteilhaft ist es, daß die durch das hierarchische Verfahren ermittelten Modellparameter im nächsten Meßdurchgang wieder für die Geschwindigkeitsbestimmung eingesetzt werden. Die Bestimmung der Geschwindigkeit des Fahrzeugs erfolgt zwischen zwei aufeinanderfolgenden Videobildern und ist für die Suche nach ähnlichen Strukturen in den Videobildern notwendig. Dazu werden im zeitlich älteren Bild Meßzellen in Abhängigkeit von angenommenen Fahrzeuggeschwindigkeiten entlang der Fahrbahnränder des Modells verschoben. Zur Erhöhung der Stabilität der Geschwindigkeitsbestimmung wird dann der Bildinhalt aller gemäß einer Geschwindigkeit verschobener Meßzellen mit dem Bildinhalt der zugehörigen Meßzellen im zeitlich neueren Bild verglichen. Durch eine statistische Auswertung der bei diesen Vergleichen gebildeten Ähnlichkeitsmaße kann die aktuelle Fahrzeuggeschwindigkeit geschätzt werden. Dieses Verfahren der Geschwindigkeitsbestimmung ist aufgrund der Einsparung von Rechenoperationen deutlich schneller als bisher bekannte Verfahren auszuführen.
Für die Erfassung von Fahrbahnrandpunkten ist es von Vorteil, daß zur Erhöhung der Stabilität der Randpunktdetektion eine hierarchische Struktur zugrunde liegt. Dabei werden ein Such- und Gradientenverfahren angewendet. Das zunächst angewandte Suchverfahren weist eine hohe Stabilität auf, da aufgrund einer Textursuche im Gegensatz zu bisherigen Verfahren keine Fahrbahnmarkierungen benötigt werden. Das anschließende Gradientenverfahren muß zur Detektion eines Randpunktes aufgrund der Vorverarbeitung durch das Suchverfahren nur in einem kleinen lokalen Bereich angewendet werden, wodurch eine hohe Sicherheit der Fahrbahnrandpunkterfassung gewährleistet wird. Weiterhin kann die Zuverlässigkeit des Auffindens der zu verfolgenden Fahrbahnränder durch die Anwendung des Suchverfahrens wesentlich erhöht werden, da Verwechslungen der Fahrbahnränder mit benachbarten, gleichgerichteten linienhaften Strukturen, wie z. B. Grasstreifen, wie sie bei der ausschließlich gradientenbasierten Suche auftreten können, weitestgehend ausgeschlossen werden. Zudem kann der horizontale Suchbereich um einen Fahrbahnrandpunkt im zeitlich älteren Bild zur Bestimmung eines aktuellen Randpunktes aufgrund der hohen Zuverlässigkeit des Suchverfahrens größer als beim gradientenbasierten Verfahren gewählt werden, was dem erfindungsgemäßen Verfahren eine hohe Robustheit verleiht.
Während der nach der Fahrbahnrandpunktdetektion anschließenden Schätzung der Modellparameter werden die Schätzfehler der Modellparameter festgestellt. Zur Überprüfung der Genauigkeit der Schätzung eines Parameters wird nicht nur das Verhältnis zwischen Modellparameter und zugehörigem Schätzfehler herangezogen, sondern auch der Einfluß der Ungenauigkeit der Schätzung der Modellparameter auf den Kurvenverlauf der Modellbeschreibung im aktuellen Videobild betrachtet. Dazu wird jeweils durch Variation eines Modellparameters entsprechend seiner Schätzgenauigkeit eine veränderte Modellkurve erzeugt, deren Verlauf mit dem der ursprünglichen Modellkurve verglichen wird.
Ein weiterer Vorteil des vorgestellten Verfahrens liegt in seiner selbstjustierenden Eigenschaft. Falls die Anzahl der erfaßten Punkte auf einem Fahrbahnrand für eine Schätzung des vollständigen Modellparametersatzes zu gering ist, auf der anderen Berandung jedoch ausreichend viele Punkte detektiert werden können, wird ein unvollständiger Parametersatz geschätzt. Die Modellparameter, deren Schätzung nicht möglich ist, werden unverändert aus der Modellierung des Fahrbahnverlaufs im vorhergehenden Bild übernommen. Dieses Vorgehen erhöht die Zuverlässigkeit der Beschreibung des aktuellen Fahrbahnverlaufs durch das Modell.
Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in den nachstehenden Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt Fig. 1 ein Blockdiagramm der dynamischen Spurverfolgung, Fig. 2 eine Anordnung zur dynamischen Spurverfolgung, Fig. 3 ein Ausführungsbeispiel, Fig. 4 die Komponente der Geschwindigkeitsbestimmung, Fig. 5 die Komponente des horizontalen Suchverfahrens, Fig. 6 und 7 die Komponente der Schätzung der Modellparameter und Fig. 8 die Komponente der gradientenbasierten Korrektur.
Beschreibung des Ausführungsbeispiels
Abb. 1 ist ein Blockdiagramm der erfindungsgemäßen dynamischen Spurverfolgung. Es wird der Modellparametersatz des endgültigen Fahrbahnmodells aus zwei aufeinanderfolgenden Videobildern B ermittelt. Dazu wird in einer ersten Hierarchiestufe (1.H) nach einer Kompensation 11 der Fahrzeuggeschwindigkeit v ein erster Modellparametersatz 13 auf der Grundlage eines Suchverfahrens zur Detektion von Fahrbahnrandpunkten 12 geschätzt. In der zweiten Hierarchiestufe (2.H) erfolgt eine Korrektur der Lage 14 der zuvor erfaßten Fahrbahnrandpunkte auf Gradientenbasis und die endgültigen Modellparameter des Fahrbahnmodells 15 werden abschließend geschätzt.
Abb. 2 zeigt schematisch den technischen Aufbau des erfindungsgemäßen Verfahrens. Eine Bildaufnahmeeinheit 1 ist über eine Datenleitung 6 mit einer Recheneinheit 2 verbunden. Die Recheneinheit 2 steht wiederum über eine Datenleitung mit der Eingabeeinheit 3 sowie eine weitere Datenleitung 6 mit einem Speicher 4 und mit dem Bildschirm 5 in Verbindung. Ziel des erfindungsgemäßen Verfahrens ist eine möglichst genaue Modellierung der Fahrbahn und die Bestimmung der relativen Lage des Fahrzeugs zur Fahrbahn, indem zwei aufeinanderfolgende Videobilder verglichen werden. Ein bereits aus der oben genannten Veröffentlichung bekanntes Modell legt die Fahrbahn durch sechs Modellparameter ai fest (Fahrbahnbreite B, Nickwinkel α, seitlicher Versatz des Fahrzeugs bzgl. der Fahrbahnmitte x₀, Gierwinkel ϕ, Fahrbahnkrümmung c₀ und der Krümmungsänderung c₁). Unter der Annahme, daß die Krümmungsänderung vernachlässigt werden darf, sind aus der Messung der Fahrbahnrandpunkte fünf Modellparameter zu bestimmen. Können mehr als fünf Bildpunkte erfaßt werden, so ist das Gleichungssystem zur Ermittlung der Modellparameter überbestimmt, so daß ein Modellparametersatz geschätzt werden muß.
Fig. 3 zeigt das Blockdiagramm, das die einzelnen Schritte der dynamischen Spurverfolgung erläutert. Anhand zweier aufeinanderfolgender Videobilder B k und B k+1 wird zunächst die Bestimmung der Fahrzeuggeschwindigkeit vk-1,k 11, siehe Fig. 4, durchgeführt. Dazu werden Meßzellen Mk+1 entsprechend des Fahrbahnmodells ai mit den Modellparametern aus der hervorgehenden Schätzung so plaziert 41, daß die jeweils unterste Meßzelle eines Fahrbahnrandes gerade noch vollständig innerhalb des aktuellen Bildes k+1 liegt. Die initialen Positionen der korrespondierenden Meßzellen Mk sind von der zuvor bestimmten Fahrzeuggeschwindigkeit vk-1,k abhängig. Da sich die Fahrbahn und die relative Lage des Fahrzeugs zur Fahrbahn jedoch zwischen zwei Videobildern verändern, müssen Modellierung und Schätzung der Fahrzeuggeschwindigkeit aktualisiert werden. Die aktuelle Geschwindigkeit des Fahrzeugs wird dabei durch eine aus Veröffentlichungen (Mester R. Hötter, M. "Zuverlässigkeit und Effizienz von Verfahren zur Verschiebungsvektorschätzung", DAGM 95, Bielefeld 13.- 15.09.95) bekannte statistische Auswertung definierter Geschwindigkeiten innerhalb eines Suchbereichs, auf den die aktuelle Geschwindigkeit vk,k+1 beschränkt sein soll, bestimmt 11. Dabei wird nach einer Adaption der Größe aller Meßzellen Mk+1 an die jeweiligen entsprechend der Geschwindigkeit verschobenen korrespondierenden Meßzellen Mk des vorhergehenden Bildes und einer nachfolgenden Grauwertinterpolation jeder Geschwindigkeit v durch Vergleich der Meßzelleninhalte ein globales Ähnlichkeitsmaß bzgl. aller Meßzellen des vorherigen und des aktuellen Bildes Mk und Mk+1 zugeordnet. Dieses Ahnlichkeitsmaß wird als Displaced Frame Difference (DFD) bezeichnet. Im erfindungsgemäßen Verfahren wird die DFD-Bestimmung durch Reduktion der rechenintensiven Operationen beschleunigt, indem die mittleren Spaltengrauwerte der Meßzellen mit den mittleren Spaltgrauwerten der im vorherigen Bild aufgenommenen Meßzellen verglichen werden. Die mittleren Spaltengrauwerte der parallel zu den Meßzellenkanten verlaufenden Spalten werden mit dem bekannten Verfahren der gerichteten Integration bestimmt (Franke, U. Ulrich, S. "Modell gestützte Echtzeitbildverarbeitung auf Transputern zur autonomen Führung von Fahrzeugen", TAT 90, Aachen Procedings, Springer-Verlag 1990, Seiten 182 bis 189). Deshalb wird im näheren nicht auf das Verfahren eingegangen. Durch die Verwendung von Spaltengrauwerten wird gegenüber bisher gebräuchlichen Verfahren der DFD-Bestimmung eine deutliche Reduzierung des Rechenaufwands erreicht. Durch die statistische Auswertung der zu bestimmten Geschwindigkeiten gehörenden globalen DFD erhält man einen Least-Squares- Schätzwert für die Fahrzeuggeschwindigkeit vk,k+1. Diese vk,k+1 des Fahrzeugs wird in der dem horizontalen Suchverfahren vorausgehenden Geschwindigkeitskompensation 51 nach Fig. 5 benötigt. Im Anschluß daran werden nach Fig. 5 durch horizontales Matching, einem horizontalen Suchverfahren, die horizontalen Verschiebungen dk,k+1 zwischen korrespondierenden Meßzellen bestimmt. Das Verfahren des horizontalen Matchings ist dem Verfahren zur Schätzung der Fahrzeuggeschwindigkeit sehr ähnlich. Zunächst müssen die y-Koordinaten yk der Mittelpunkte der korrespondierenden Meßzellen durch Verschieben der Meßzellen Mk des vorhergehenden Bildes entlang der Modellkurve entsprechend der aktuellen Fahrzeuggeschwindigkeit Vk,k+1 bestimmt werden 52. Aus der Geschwindigkeit und der Zeitdifferenz zwischen zwei aufeinanderfolgenden Bildern läßt sich die Strecke bestimmen, die das Fahrzeug in der Realität zurückgelegt hat. Aus der Strecke wird die korrespondierende Verschiebung im Bild bzgl. der y-Koordinate des Mittelpunktes der Meßzelle berechnet. Die x-Koordinate ergibt sich aus der Modellgleichung, da x eine Funktion von y und den Modellparameter ai ist. Somit kann zwischen korrespondierenden Meßzellen näherungsweise, noch unter Vernachlässigung der horizontalen Verschiebung dk,k+1, eine Beziehung zwischen der Position einer Meßzelle n im aktuellen Bild und deren vorheriger Lage im zeitlich älteren Bild hergestellt werden. Anschließend werden die Meßzellen Mk durch eine Größenadaption mit Grauwertinterpolation bzgl. der mittleren Spaltengrauwerte an die korrespondierenden Meßzellen Mk+1 angepaßt, um die Meßzelleninhalte miteinander vergleichen zu können. Die horizontalen Verschiebungen dk,k+1 zwischen Paaren korrespondierender Meßzellen werden auf der Grundlage des Verfahrens zur Geschwindigkeitsschätzung bestimmt 53. Zu jedem d werden Ähnlichkeitsmaße (DFD) für ein Meßzellenpaar gebildet und durch deren statistische Auswertung innerhalb eines Suchbereichs ein Least-Squares-Schätzwert der horizontalen Verschiebung dk,k+1 für jedes Meßzellenpaar ermittelt. Mit dk,k+1 lassen sich nun die korrigierten Positionen der Meßzellenmittelpunkte, die Repräsentanten von Fahrbahnrandpunkten sind, im aktuellen Bild k+1 angeben. Anhand der somit erfaßten Fahrbahnrandpunkte wird nun ein aktueller Parametersatz ak+1 geschätzt.
Für diese Schätzung müssen nach Fig. 6 in Abhängigkeit der Verteilung der erfaßten Punkte auf dem Fahrbahnrändern diejenige Modellparameter gekennzeichnet 61 werden, deren Schätzung möglich ist. So ist z. B. eine Bestimmung der Fahrbahnbreite B dann nicht mehr möglich, wenn nur auf einem Fahrbahnrand Punkte detektiert werden können. Anhand der erfaßten Fahrbahnrandpunkte wird eine Aktualisierung des Modellparametersatzes ai vorgenommen 62, in dem die nicht lineare Modellgleichung in einem Arbeitspunkt (= zuvor geschätzter Modellparametersatz) linearisiert wird, um dann mittels eines Newton-Verfahrens die Änderung der Modellparameter bzgl. des Arbeitspunktes 63 schätzen zu können.
Fig. 7 zeigt den Ablauf der Schätzung 71 für die Aktualisierung der Modellparameter. Da aufgrund des geringen zeitlichen Abstands der aufeinanderfolgenden Videobilder nur kleine Änderungen 72 am Arbeitspunkt zu erwarten sind, wird der Modellparametersatz ak beim Auftreten wesentlicher Abweichungen nicht aktualisiert 77. Der bisherige Modellparametersatz bleibt ebenfalls bestehen, wenn die Änderungen der Modellparameter nach einer bestimmten Iterationszahl nicht konvergieren 73. Andernfalls werden Aktualisierung des Modellparametersatzes 74 und Schätzung der Modellparameteränderungen so lange wiederholt, bis eine Konvergenz der Modellparameteränderungen erreicht wird. Anschließend wird geprüft 75, ob die ermittelten Modellparameter eine zuverlässige Beschreibung der Fahrbahn liefern 76. Ist das der Fall werden die Parameter übernommen, andernfalls wird einen Auswahl der zu schätzenden Modellparameter genommen 78 und die Aktualisierung rückgängig 79 gemacht.
Für eine zuverlässige Beschreibung der Fahrbahn muß das Verhältnis aus Modellparameter und zugehöriger Standardabweichung σi,k+1 der Schätzung unterhalb einer Schwelle liegen.
Zum anderen wird die aufgrund der Standardabweichung eines Modellparameters hervorgerufene Abweichung im Bild von der ermittelten Modellkurve MC₀ betrachtet. Durch Variation jeweils eines der Modellparameter entsprechend seiner Standardabweichung σi,k+1 wird eine neue Modellkurve MCi,k+1 erzeugt. Aus der Abweichung zwischen den Modellkurven lassen sich Abweichungen in der Wirklichkeit berechnen, die ein Maß für die Zuverlässigkeit der Schätzung darstellen. Falls die Zuverlässigkeit der ermittelten Modellparameter ausreichend ist, kann die Fahrbahn durch den aktuellen Parametersatz modelliert werden. Andernfalls werden diejenigen Parameter, die zu einer unzuverlässigen Fahrbahnmodellierung führen, von einer weiteren Schätzung ausgeschlossen. Die von einer weiteren Schätzung ausgeschlossenen Werte nehmen die vor der Aktualisierung gültigen Werte an. Die Modellparameter, deren Aktualisierung sinnvoll erscheint, werden daraufhin beginnend mit einer weiteren Schätzung ihrer Änderung neu bestimmt. Die Überprüfung der Modellparameter wird dabei gemäß folgendem Algorithmus durchgeführt:
  • 1. Prüfung der Modellparameter in folgender Reihenfolge:
  • B - α - c₀ - x₀ - ϕ
  • 2. Abbruch der Prüfung, sobald ein Modellparameter als unzuverlässig erkannt wird.
  • 3. Unzuverlässiger Modellparameter wird gemäß seines Wertes aus der Schätzung im vorhergehenden Bild konstant gehalten.
  • 4. Aufstellung eines neuen Gleichungssystems, dessen Anzahl unbekannter Modellparameter um eins reduziert ist, nämlich um den konstant gehaltenen Parameter.
  • 5. Neue Schätzung aller unbekannten, nicht konstant gehaltenen Parameter.
  • 6. Ende des Algorithmus, falls alle verbleibenden Parameter zuverlässig geschätzt werden können, oder aber alle Parameter konstant gehalten werden müssen.
  • 7. Fortsetzung des Algorithmus mit Schritt 1.
Nach der Ermittlung des neuen Parametersatzes ak+1 werden abschließend die Meßzellen Mk+1 entsprechend des neuen Fahrbahnmodells plaziert.
Zur Bestimmung der absoluten Lage der Fahrbahnränder unabhängig vom vorausgehenden Modellparametersatz ak erfolgt innerhalb eines lokalen Suchbereichs um die aus dem Fahrbahnmodell hervorgehenden Mittelpunkte der Meßzellen eine Korrektur dieser Meßzellenzentren auf der Grundlage eines Gradientenverfahrens nach Fig. 8. Zunächst werden für jeden Fahrbahnrand die maximalen Abweichungen dmax zwischen der Modellkurve und den aus den Variationen der Parameter gemäß ihrer Standardabweichung σi,k+1 hervorgehenden Modellkurven im aktuellen Bild bestimmt 81. Diese Abweichungen lassen sich in reale Abweichungen Dmax transformieren, so daß in der Wirklichkeit Korrekturbereiche um die Fahrbahnränder der konstanten Breite 2Dmax entstehen, deren Mittellinie durch den jeweiligen Fahrbahnrand gebildet wird. Unter Berücksichtigung der Abbildungsgesetze werden diese Korrekturbereiche in Bildkoordinaten rücktransformiert. Gemäß einem aus Veröffentlichungen bekannten Verfahren (Kuhnert, K. D. "Zur Echtzeitbildfolgenanalyse mit Vorwissen", Universität der Bundeswehr München, Januar 1988) werden in den Meßzellen die Kontrastunterschiede vertikal zur Richtung des Fahrbahnrands ausgewertet 82. Jeder Ort eines maximalen lokalen Kontrastunterschiedes repräsentiert einen Kandidaten für den Fahrbahnrandpunkt innerhalb der Meßzelle. Der bzgl. des Meßzellenzentrums geeigneste Kandidat wird als möglicher Fahrbahnrandpunkt ausgewählt 83 und falls dieser innerhalb des zuvor bestimmten Korrekturbereichs um den modellierten Fahrbahnrand gelegen ist, wird seine horizontale Position dk+1, korrekt korrigiert 84.
Zum Abschluß des Verfahrens der dynamischen Spurverfolgung in aufeinanderfolgenden Videobildern nach Fig. 3 wird unter Verwendung der korrigierten Mittelpunkte der Meßzellen 33 der bisherige Modellparametersatz in einer weiteren Schätzung der Modellparameter 32, siehe Fig. 6 und 7, aktualisiert, so daß ein aktueller Parametersatz für das aktuelle Bild dargestellt wird.
Bezugszeichenliste
11 Geschwindigkeitsbestimmung
12 Spurverfolgung mit Matching-Verfahren
13 Erstes Fahrbahnmodell
14 Spurverfolgung mit Gradientenverfahren
15 Endgültiges Fahrbahnmodell
31 Horizontales Matching
32 Schätzung der Modellparameter
33 Gradientenkorrektur
41 Plazierung der Meßzellen Mk und Mk+1
51 Plazierung der Meßzellen Mk und Geschwindigkeitskompensation
52 Größenadaption der Meßzellen Mk
53 Bestimmung der horizontalen Verschiebung
61 Kennzeichnung der zu schätzenden Parameter
62 Aktualisierung des Modellparametersatzes
63 Neuplazierung der Meßzellen Mk+1
71 Schätzung der Modellparameteränderungen
72 Arbeitspunkt wesentlich verändert?
73 Konvergenz aller Modellparameteränderungen?
74 Aktualisierung des Modellparametersatzes
75 Prüfung der geschätzten Modellparameter
76 Modellparameter okay?
77 Aktualisierung des Modellparametersatzes rückgängig machen
78 Auswahl der zu schätzenden Modellparameter
79 Aktualisierung des Modellparametersatzes rückgängig machen
81 Bestimmung des Gradientenkorrekturbereichs
82 Bestimmung des mittleren Gradienten
83 Auswahl der Fahrbahnrandpunktkandidaten
84 Bestimmung des Korrekturmaßes.

Claims (6)

1. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit durch elektronische Aufnahmen von Bildern des Straßengeschehens mit einer Videokamera und einer Recheneinheit, in der der Verlauf der Straße als mathematisches Modell mit einem Parametersatz ai charakterisiert und gespeichert wird, wobei die Fahrbahnrandpunkte, die den Verlauf der Straße markieren aus dem elektronisch aufgenommenen Bild ermittelt werden und für das Verfahren als Meßpunkte in definierten Meßzellen dienen, dadurch gekennzeichnet, daß folgende Verfahrensschritte durchgeführt werden:
  • a) Geschwindigkeitsbestimmung durch Meßzellenvergleich des aktuellen mit dem zuvor aufgenommenen Bild unter Verwendung eines Parametersatzes ai,
  • b) Horizontaler Vergleich von Bildbereichen,
  • c) Schätzung der Modellparameter ai′,
  • d) Gradientenkorrektur der Meßzellen im Bereich der horizontalen Eingrenzung,
  • e) Schätzung der Modellparameter ai′′.
2. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach Anspruch 1, dadurch gekennzeichnet, daß die Modellparameter ai′′ als Basis für die Geschwindigkeitsbestimmung der nächsten Messung herangezogen werden.
3. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Geschwindigkeit durch Verschieben der Meßzellen in zwei zeitlich aufeinanderfolgenden Bildern entlang der Fahrbahnränder gemäß des Fahrbahnmodells gemessen wird, wobei die Messung durch Bildung von geschwindigkeitsabhängigen globalen Ähnlichkeitsmaßen (DFD Displaced Frame Difference) über alle Meßzellen, sowie durch eine statistische Auswertung aller Ähnlichkeitsmaße mit Least-Square-Schätzung der Fahrzeuggeschwindigkeit gewichtet wird.
4. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die Fahrbahnrandpunkterfassung nach der Geschwindigkeitskompensation durch eine Least-Square- Schätzung der horizontalen Verschiebungen zwischen korrespondierenden Meßzellen in aufeinanderfolgenden Bildern mit statistischem Analyseverfahren und der Ermittlung des Gradientenkorrekturbereichs anhand der Standardabweichung aus der Modellparameterschätzung und anschließender lokaler Gradientenkorrektur der detektierten Fahrbahnpunkte innerhalb des Korrekturbereichs erfolgt.
5. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die ermittelten Modellparameter auf ihre Zuverlässigkeit bewertet werden, wobei als Maß das Verhältnis aus Standardabweichung und Modellparameter, sowie die resultierende Abweichung von der Modellkurve durch Variation der Modellparameter entsprechend der Standardabweichung gilt.
6. Verfahren zur dynamischen Spurverfolgung von Fahrzeugen zur Ermittlung eines Fahrbahnmodells unter Berücksichtigung der Fahrzeuggeschwindigkeit nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß bei einem Ausfall der Bestimmung eines Modellparameters der Parameter des letzten Bildes verwendet wird.
DE19627938A 1996-07-11 1996-07-11 Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen Expired - Fee Related DE19627938B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19627938A DE19627938B4 (de) 1996-07-11 1996-07-11 Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19627938A DE19627938B4 (de) 1996-07-11 1996-07-11 Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen

Publications (2)

Publication Number Publication Date
DE19627938A1 true DE19627938A1 (de) 1998-01-15
DE19627938B4 DE19627938B4 (de) 2007-04-26

Family

ID=7799540

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19627938A Expired - Fee Related DE19627938B4 (de) 1996-07-11 1996-07-11 Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen

Country Status (1)

Country Link
DE (1) DE19627938B4 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19840872A1 (de) * 1998-09-02 2000-03-23 Daimler Chrysler Ag Verfahren zur probabilistischen Schätzung gestörter Meßwerte
WO2005037592A1 (de) * 2003-09-23 2005-04-28 Daimlerchrysler Ag Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug
GB2420636A (en) * 2004-10-08 2006-05-31 Trl Ltd Road transport network incident or accident re-construction method
DE102005014114A1 (de) * 2005-03-21 2006-10-05 Valeo Schalter Und Sensoren Gmbh Spurerkennungssystem und Verfahren
WO2007091072A1 (en) * 2006-02-07 2007-08-16 Richard Shenton System for measuring speed and/or position of a train
US8195387B2 (en) 2005-07-14 2012-06-05 Robert Bosch Gmbh Method and device for driver assistance
US9035758B2 (en) 2004-08-19 2015-05-19 Robert Bosch Gmbh Method and device for driver information

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19840872A1 (de) * 1998-09-02 2000-03-23 Daimler Chrysler Ag Verfahren zur probabilistischen Schätzung gestörter Meßwerte
WO2005037592A1 (de) * 2003-09-23 2005-04-28 Daimlerchrysler Ag Verfahren und vorrichtung zur erkennung von spurwechselvorgängen für ein fahrzeug
US9035758B2 (en) 2004-08-19 2015-05-19 Robert Bosch Gmbh Method and device for driver information
GB2420636A (en) * 2004-10-08 2006-05-31 Trl Ltd Road transport network incident or accident re-construction method
DE102005014114A1 (de) * 2005-03-21 2006-10-05 Valeo Schalter Und Sensoren Gmbh Spurerkennungssystem und Verfahren
US8195387B2 (en) 2005-07-14 2012-06-05 Robert Bosch Gmbh Method and device for driver assistance
WO2007091072A1 (en) * 2006-02-07 2007-08-16 Richard Shenton System for measuring speed and/or position of a train

Also Published As

Publication number Publication date
DE19627938B4 (de) 2007-04-26

Similar Documents

Publication Publication Date Title
DE112019007451T5 (de) Hochpräzises Verfahren sowie Gerät zur Fahrzeugpositionierung in mehreren Szenen, und fahrzeugmontiertes Terminal
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
DE112016007047B4 (de) Fahrspur-schätzsystem
DE102013208521B4 (de) Kollektives Erlernen eines hochgenauen Straßenmodells
DE60308413T2 (de) Verfahren und vorrichtung zum bearbeiten und analysieren von digitalen gelände daten.
EP1673589B1 (de) Verfahren und vorrichtung zur bestimmung der aktualposition eines geodätischen instrumentes
DE112018000605T5 (de) Informationsverarbeitungsvorrichtung, Datenverwaltungsvorrichtung, Datenverwaltungssystem, Verfahren und Programm
DE102016214028A1 (de) Verfahren und System zum Bestimmen einer Position einer mobilen Einheit
DE102016214030A1 (de) Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit
DE69829091T2 (de) Messungsgerät
DE102019208216A1 (de) Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten
DE112019001542T5 (de) Positionsschätzvorrichtung
DE112019000855T5 (de) Fahrzeugsteuergerät
DE112015007054T5 (de) Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm
WO2020127053A1 (de) Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs
DE102018123393A1 (de) Erkennung von Parkflächen
WO2017102192A1 (de) Verbessertes verfahren zum ermitteln der randbebauung einer fahrbahn für die lokalisierung von kraftfahrzeugen
DE4416557A1 (de) Verfahren und Vorrichtung zur Stützung der Trägheitsnavigation eines ein entferntes Ziel autonom ansteuernden Flugkörpers
DE19627938B4 (de) Verfahren zur dynamischen Spurverfolgung in Bewegtbildsequenzen
DE112017008071B4 (de) Verfahren und System zur globalen Lokalisierung
DE102017108107A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102020133092A1 (de) Positionsschätzungseinrichtung und positionsschätzungsverfahren
DE102020211636A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
DE10333670B4 (de) Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten
EP4277827A1 (de) Orientierungsbasierte positionsermittlung von schienenfahrzeugen

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130201