DE19517032B4

DE19517032B4 - Verfahren zur Lokalisierung von Punkten eines bewegten Objektes in einer Videobildsequenz und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number: DE19517032B4
Application number: DE19517032A
Authority: DE
Inventors: Werner Dipl.-Ing. Dr. Pöchmüller; Hans-Holger Dipl.-Ing. Kuester
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1995-05-10
Filing date: 1995-05-10
Publication date: 2005-03-24
Anticipated expiration: 2015-05-11
Also published as: FR2734072B1; DE19517032A1; FR2734072A1

Abstract

Verfahren zur Lokalisierung von Punkten eines bewegten Objektes in einer Videobildsequenz, wobei mindestens ein Punkt (3) des Objektes (2) in einer Anzahl von Videobildern verfolgt wird, wobei für die Videobilder jeweils die Position des Punktes (3) des Objektes (2) auf einem Videoschirm und der Beobachtungszeitpunkt bestimmt wird, wobei ausgehend von den gemessenen Werten in den Videobildern und/oder ausgehend von den gemessenen und/oder bekannten Geometriefaktoren die Parameter (a, b, c) eines Bewegungsmodells für die Bewegung des Punktes (3) auf dem Videoschirm bestimmt werden, wobei die zukünftige Position (3) des Objektes (2) auf dem Videoschirm ausgehend von dem Bewegungsmodell vorhergesagt wird, dadurch gekennzeichnet, dass die vorhergesagte Position des Punktes (3) des Objektes (2) auf dem Videoschirm mit einer tatsächlich gemessenen Position verglichen wird und dass bei Abweichungen über ein vorher bestimmtes Maß hinaus die tatsächlich gemessene Position als fehlerhaft verworfen wird.

Description

Die automatische Verfolgung bewegter Objekte ist eine Grundvoraussetzung für alle videobasierten (automatischen) Verkehrsüberwachungssysteme, die Szenenbereiche überwachen. Bei diesen werden also keine Lichtvorhänge oder optische Schleifen benutzt, die nur ganz begrenzte Bildinformationen, wie z.B. eine "Scan-Zeile" auswerten. Es soll die Position eines Objektes in mehreren aufeinanderfolgenden Bildern eindeutig identifiziert werden, so daß die räumliche Bewegung des Objektes quantitativ erfaßt werden kann und das Objekt nicht mehrmals ausgewertet werden muß. Dazu wird in der Regel die Form der zu beobachtenden Objekte als Rechteck, Ellipse, Parallelogramm, Trapez oder Polygonzug modelliert und die Bewegung dieser geometrischen Flächen gemessen.

Besonders problematisch wird die Objektverfolgung wenn sich mehrere Objekte teilweise oder vollständig gegeneinander verdecken. Bei den existierenden Ansätzen versucht man von vornherein die Wahrscheinlichkeit für das Auftreten dieser kritischen Fälle zu minimieren, indem Beobachtungspositionen gewählt werden, die kaum Verdeckungen in den beobachteten Bildern erlauben. Im praktischen Betrieb bedeutet das sehr hohe Kamerapositionen von 15 m und mehr. Es ergeben sich so sehr steile Sichtwinkel. Nachteilig hierbei sind die hohen Installationskosten durch besondere bauliche Maßnahmen, die Inflexibilität im Einsatz, die schlechte Beobachtbarkeit bei geringer Sichtweite (z.B. bei Nebel) und weitgehender Verlust über die Höheninformation der beobachteten Objekte aufgrund des ungünstigen Blickwinkels zur Höhenerfassung.

Die US 4,545,576 offenbart eine Vorrichtung und ein Verfahren zur Berechnung der Bewegungsbahn von bewegten Objekten durch Videokameras.

Aus der europäischen Veröffentlichung EP 0 567 059 A1 ist ein Objekterkennungssystem bekannt, wobei mittels Bildverarbeitung ein Gebiet mit einem einzigartigen Merkmal aus einem Eingangsbild eines Objektes extrahiert wird.

Vorteile der Erfindung

Zweck der Erfindung ist es die genannten Nachteile der bekannten Verfahren zu vermeiden. Dabei sollen insbesondere die Verfolgungsprozesse für Fahrzeuge vereinfacht, beschleunigt und verbessert werden. Gängige Maskenerzeugungsverfahren, bei denen binäre Objektmasken zur Unterscheidung der Objekte erzeugt werden und die Suchalgorithmen zur Unterscheidung der Objekte haben Probleme damit, daß die Objekte bei gegenseitiger Verdeckung nicht mehr aufgelöst werden können und daß die Objektgrenzen manchmal nicht oder nur sehr ungenau gefunden werden können. Hier wirken sich Antennen, die über die Fahrzeugbegrenzungen hinausragen und gelegentliche Störmuster erzeugen sowie Schatten oder Spiegelungen, die nur kurzfristig auftreten, besonders nachteilhaft aus. Ein weiteres Problem besteht darin, daß die Objektsuche recht zeitintensiv sein kann, da mehrere Objekte im gesamten Bildbereich vorhanden sein können. Diese genannten Probleme werden durch das vorgestellte Verfahren gemildert bzw. beseitigt.

Durch die in den Unteransprüchen aufgeführte Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im Hauptanspruch angegebenen Verfahrens möglich. Bei der Vorrichtung nach Anspruch 11, die zur Durchführung des Verfahrens vorgesehen ist, ist es vorteilhaft, daß der

Blickwinkel der Videokamera so gewählt ist, daß die Dachvorderkante als vordere Begrenzung der vorbeifahrenden Fahrzeuge erscheint, so daß diese Kante leicht in einer Anzahl von Videobildern verfolgt werden kann, ohne daß dazu eine längere Bildauswertung erforderlich wäre.

Beschreibung der Zeichnungen

1. 1 zeigt ein Fahrzeug (Ziffer 2), das sich auf einer Ebene (Straße) mit konstanter Geschwindigkeit ν bewegt. Die Bewegung des Fahrzeugs wird durch eine stationäre (unbewegliche) Videokamera (Ziffer 1) beobachtet.
2. 2 zeigt die Projektion der betrachteten Szene (Szenenkoordinate y) auf das Videobild (Ziffer 4. Bildkoordinate y').

Beschreibung der Erfindung
Zur Vereinfachung der Bewegungsmodellierung werden folgende Randbedingungen vorgegeben:

1. Die Kamera blickt von hinten auf die Fahrzeuge
2. Die Fahrzeuge bewegen sich auf einer Ebene (Modellierung der Straße als Ebene)
3. Die Fahrzeuge bewegen sich mit konstanter Geschwindigkeit
4. Die Kamera blickt in die Fahrzeugbewegungsrichtung

Unter diesen Randbedingungen läßt sich ein gut handhabbares mathematisches Bewegungsmodell ableiten. Abweichungen von diesen Annahmen in realen Szenen werden zu mehr oder minder großen Bewegungsmodellierungsfehlern führen.
1 zeigt eine vereinfachte Darstellung des Sachverhalts, aus dem die Bewegungsmodellierung der beobachteten Fahrzeuge erfolgt. In der skizzierten Szene befindet sich ein Objekt (Fahrzeug) der Höhe h_f, das sich mit konstanter Geschwindigkeit ν in der y-z-Ebene des Kamerakoordinatensystems bewegt. Die Kamera befindet sich in einer Höhe h_c über der Fahrbahn und hat einen Neigungswinkel α gegenüber dieser. Ziel soll die Modellierung der Fahrzeugkante sein, die in 1 durch einen Punkt (seitliche Betrachtung) an der rechten oberen Ecke des Fahrzeugs gekennzeichnet ist (Ziffer 3). In dem Moment (Zeitpunkt t = 0), zu dem das Fahrzeug in den rechten Kamerahalbraum eintritt, hat diese Kante eine Entfernung y₀ in y-Richtung des Szenenkoordinatensystems (dessen Ursprung im Brennpunkt der Kamera liegen soll). Es läßt sich mathematisch zeigen, daß die Bewegung dieser Kante in y-Richtung dem funktionalen Zusammenhang y(t) = y0 + sin(α)||ν →||t (I) gehorcht. Mit Hilfe der abbildenden Geometrie kann dieser funktionale Zusammenhang in die zweidimensionale Bildschirmebene (x'–y'-Koordinatensystem) des von der Kamera erzeugten Bildes (Projektion auf den Kamerasensorchip) abgebildet werden (siehe 2). Daraus folgt folgende Bewegungsgleichung
wobei y' die vertikale Koordinatenkomponente auf dem zweidimensionalen Videosensorchip und f die Brennweite der Kameraoptik ist. Qualitativ läßt sich diese Bewegungsbeschreibung durch
wiedergeben. Nun bestehen zwei Probleme zur quantitativen Festlegung der Bewegungsgleichung (Bestmmung des Parameters a; b ist durch die Szenengeometrie bereits festgelegt): zum einen ist die Fahrzeuggeschwindigkeit ν bei Betrachtung des Videobildes unbekannt zum anderen kennt man den betrachteten Zeitpunkt nicht (zeitlicher Abstand zum Zeitpunkt t = 0 der den Eintritt in den rechten Kamerahalbraum markiert), da der Eintritt in den rechten Kamerahalbraum aufgrund des begrenzten Kamerablickwinkels nicht beobachtet werden kann. Daher wird ein neuer Zeitmaßstab t' eingeführt, der um die Verzögerungszeit t_d zum Zeitmaß t verschoben ist (t_d sei die Zeit. die zwischen Eintritt in den rechten Kamerahalbraum und erster Beobachtung des Fahrzeugs im Videobild verstreicht). Daraus resultiert die Bewegungsbeschreibung
Eine weitere mathematische Analyse des Problems, die hier nicht wiedergegeben ist, führt zu der Erkenntnis, daß die Parameter a und t_d eine gegenseitige lineare Abhängigkeit besitzen. Es folgt die endgültige Bewegungsbeschreibung
mit einem zu bestimmenden Faktor c. Diese Bewegungsgleichung ist der Ausgangspunkt für alle weiteren Überlegungen.
Zur Bestimmung der Parameter a und c bieten sich mehrere Möglichkeiten an:

1. Im einfachsten Fall mißt man zwei Positionen y'(t') zu zwei verschiedenen Zeitpunkten t'. Setzt man die beiden Meßwerte in Gleichung 7 ein, so erhält man zwei Gleichungen mit zwei Unbekannten.
2. Parameter c läßt sich aus einer Messung y'(t' = 0) (der betrachtete Punkt ist erstmals im Kamerabild zu sehen) über geometrische Betrachtungen nach
bestimmen, wobei β der Offnungswinkel der Kamera ist (gemessen von der optischen Achse der Kamera) und y'_max die halbe vertikale Ausdehnung des Videosensorchips. Nun kann man a aus einer zweiten Messung mit Hilfe von Gleichung 7 berechnen oder aus mehreren Messungen mit Hilfe der mathematischen Regression (erhöhte Genauigkeit).
3. Die Parameter a und c können beide aus mehreren Messungen y'(t') zu verschiedenen Zeitpunkten unter Minimierung des Bewegungsmodellierungsfehlers mit Hilfe der mathematischen Regression bestimmt werden.

Das Resultat dieser Berechnungen ist eine mehr oder weniger exakte Modellierung des Fahrzeugbewegungsverhaltens auf dem Bildschirm in vertikaler Richtung (Gleichung 7). Ebenso läßt sich bei Bedarf ein Bewegungsmodell für die horizontale Bewegung aufstellen.
Zusammenfassende Vorgehensweise zum Bewegungsmodell (am Beispiel der Fahrzeugvorderkante)

1. Messe Kamerahöhe h_c, Kameraneigungswinkel α und Kamerabrennweite f
2. Verfolge einen Punkt an der Vorderkante (Ziffer 3 in 1 und 2) des Fahrzeugs über mehrere Videobilder. Bestimme für jede Messung i die vertikale Position y'_i und den Meßzeitpunkt t'_i.
3. Sind die Messungen abgeschlossen (mindestens zwei Messungen notwendig; je mehr Messungen vorhanden, desto genauer wird die Bewegungsmodellierung), so bestimme die Bewegungsgleichungsparameter a und c nach einer der oben genannten Methoden.

Dieses Verfahren läßt sich auf jeden beliebigen Punkt des Fahrzeugs anwenden. Man verfolgt die Position des Punktes in mehreren Videobildern, stellt nach der beschriebenen Methode das Bewegungsmodell auf und bekommt als Resultat eine Gleichung (Gleichung 7), die die Fahrzeugbewegung auf dem Bildschirm exakt beschreibt. Diese Bewegungsgleichung läßt sich nun vielfach zur Verbesserung des Verfolgungsprozesses einsetzen (bei der gewählten Kameraposition eignen sich für die Fahrzeugbewegungsbeschreibung vor allem die Fahrzeugvorder- und Hinterkante):

1. Modelliert man mit dem beschriebenen Verfahren die Bewegung der Vorder- und Hinterkante, so lassen sich aus der gewonnenen Bewegungsgleichung die zukünftigen Objektpositionen zu allen Zeiten schätzen. Man kann dadurch eine Vorhersage treffen, wann sich zwei Objekte voraussichtlich verdecken werden.
2. Haben sich zwei Objekte gegenseitig verdeckt, so kann man aus dem Bewegungsmodell (dieses muß natürlich vor der Verdeckung berechnet worden sein) die Positionen der verdeckten Vorder- bzw. Hinterkante schätzen.
3. Mißt man die Vorderkanten- bzw. Hinterkantenposition eines Fahrzeugs in einem Bild (durch einen geeigneten Suchalgorithmus), so kann man nach vorheriger Berechnung des Bewegungsmodells eine Plausibilitätsbetrachtung anstellen. Weicht die Prädiktion der Position der Fahrzeugkante aus dem Modell von der gemessenen Position zu stark ab, so muß die Messung fehlerhaft sein. In diesem Fall kann die Messung verworfen und durch den aus dem Modell prädizierten Wert ersetzt werden.
4. Mit Hilfe des Bewegungsmodells lassen sich zukünftige Positionen der Fahrzeugkanten prädizieren. Diese Prädiktionen können genutzt werden, um den Suchbereich für Suchverfahren zum Finden der exakten Objektposition einzugrenzen. Dadurch läßt sich die Ob jektpositionsbestimmung massiv beschleunigen.

Claims

Verfahren zur Lokalisierung von Punkten eines bewegten Objektes in einer Videobildsequenz, wobei mindestens ein Punkt (3) des Objektes (2) in einer Anzahl von Videobildern verfolgt wird, wobei für die Videobilder jeweils die Position des Punktes (3) des Objektes (2) auf einem Videoschirm und der Beobachtungszeitpunkt bestimmt wird, wobei ausgehend von den gemessenen Werten in den Videobildern und/oder ausgehend von den gemessenen und/oder bekannten Geometriefaktoren die Parameter (a, b, c) eines Bewegungsmodells für die Bewegung des Punktes (3) auf dem Videoschirm bestimmt werden, wobei die zukünftige Position (3) des Objektes (2) auf dem Videoschirm ausgehend von dem Bewegungsmodell vorhergesagt wird, dadurch gekennzeichnet, dass die vorhergesagte Position des Punktes (3) des Objektes (2) auf dem Videoschirm mit einer tatsächlich gemessenen Position verglichen wird und dass bei Abweichungen über ein vorher bestimmtes Maß hinaus die tatsächlich gemessene Position als fehlerhaft verworfen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ausgehend von dem Bewegungsmodell vorhergesagt wird, wann der Punkt (3) des Objektes (2) durch ein weiteres Objekt verdeckt sein wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ausgehend von dem Bewegungsmodell ein Suchbereich festgelegt wird, der angibt, in welchem Bereich auf dem Videoschirm der Punkt (3) des Objektes (2) voraussichtlich zu finden ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bewegungsmodell für eine vertikale Bewegung des Punktes (3) des Objektes (2) auf dem Videoschirm die Form
hat, wobei y' die vertikale Koordinatenkomponente des Punktes (3) des Objektes (2) auf dem Videosensorchip ist, t' eine Zeitkoordinate ist und a, b, c die Parameter des Bewegungsmodells sind.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Parameter a, c ausgehend von den aus den Videobildern bestimmten Werten über eine Regressionsrechnung bestimmt werden, wobei die Bedingung vorgegeben wird, dass der Bewegungsmodellierungsfehler minimal wird.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der Parameter b nach der Formel aus den Geometriefaktoren Kamerabrennweite f und Neigungswinkel α der Kamera gegenüber der Fahrbahn bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (2) ein Fahrzeug ist, das sich auf einer Fahrbahn bewegt und das als Punkte des Fahrzeuges zur Objektlokalisierung ein Punkt, der für die Vorderkante des Fahrzeuges charakteristisch ist und ein weiterer Punkt, der für die Hinterkante des Fahrzeuges charakteristisch ist, verfolgt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass als Punkt, der für die Vorderkarte des Fahrzeuges charak teristisch ist, ein Punkt der Dachvorderkante verfolgt wird.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass als Punkt, der für die Hinterkante, des Fahrzeuges charakteristisch ist, ein Punkt der hinteren Stoßstange des Fahrzeuges oder ein Punkt der hinteren Reifen des Fahrzeuges verfolgt wird.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie aus einer Videokamera (1) und einem Bildauswertesystem besteht, und dass die Videokamera in einer bestimmten Höhe (h_c) über einer Fahrbahn unter einem bestimmten Neigungswinkel (α) gegenüber der Fahrbahn, insbesondere in Fahrtrichtung, so angebracht ist, dass als vordere Begrenzung eines vorbeifahrenden Fahrzeugs die Dachvorderkante erscheint.