DE19517032A1

DE19517032A1 - Verfahren zur Lokalisierung von Punkten eines bewegten Objektes in einer Videobildsequenz und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number: DE19517032A1
Application number: DE19517032A
Authority: DE
Inventors: Werner Dipl Ing D Poechmueller; Hans-Holger Dipl Ing Kuester
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1995-05-10
Filing date: 1995-05-10
Publication date: 1996-11-14
Anticipated expiration: 2015-05-11
Also published as: FR2734072B1; DE19517032B4; FR2734072A1

Description

Stand der Technik

Die automatische Verfolgung bewegter Objekte ist eine Grundvoraussetzung für alle videobasierten (automatischen) Verkehrsüberwachungssysteme die Szenenbereiche überwachen. Bei diesen werden also keine Lichtvorhänge oder optische Schleifen benutzt, die nur ganz begrenzte Bildinformationen, wie z. B. eine "Scan-Zeile" auswerten. Es soll die Position eines Objektes in mehreren aufeinanderfolgenden Bildern eindeutig identifiziert werden, so daß die räumliche Bewegung des Objektes quantitativ erfaßt werden kann und das Objekt nicht mehrmals ausgewertet werden muß. Dazu wird in der Regel die Form der zu beobachtenden Objekte als Rechteck, Ellipse, Parallelogramm, Trapez oder Polygonzug modelliert und die Bewegung dieser geometrischen Flächen gemessen.

Besonders problematisch wird die Objektverfolgung wenn sich mehrere Objekte teilweise oder vollständig gegeneinander verdecken. Bei den existierenden Ansätzen versucht man von vornherein die Wahrscheinlichkeit für das Auftreten dieser kritischen Fälle zu minimieren, indem Beobachtungspositionen gewählt werden, die kaum Verdeckungen in den beobachteten Bildern erlauben. Im praktischen Betrieb bedeutet das sehr hohe Kamerapositionen von 15 m und mehr. Es ergeben sich so sehr steile Sichtwinkel. Nachteilig hierbei sind die hohen Installationskosten durch besondere bauliche Maßnahmen, die Inflexibilität im Einsatz, die schlechte Beobachtbarkeit bei geringer Sichtweite (z. B. bei Nebel) und weitgehender Verlust über die Höheninformation der beobachteten Objekte aufgrund des ungünstigen Blickwinkels zur Höhenerfassung.

Vorteile der Erfindung

Zweck der Erfindung ist es die genannten Nachteile der bekannten Verfahren zu vermeiden. Dabei sollen insbesondere die Verfolgungsprozesse für Fahrzeuge vereinfacht, beschleunigt und verbessert werden. Gängige Maskenerzeugungsverfahren, bei denen binäre Objektmasken zur Unterscheidung der Objekte erzeugt werden und die Suchalgorithmen zur Unterscheidung der Objekte haben Probleme damit, daß die Objekte bei gegenseitiger Verdeckung nicht mehr aufgelöst werden können und daß die Objektgrenzen manchmal nicht oder nur sehr ungenau gefunden werden können. Hier wirken sich Antennen, die über die Fahrzeugbegrenzungen hinaus ragen und gelegentliche Störmuster erzeugen sowie Schatten oder Spiegelungen, die nur kurzfristig auftreten, besonders nachteilhaft aus. Ein weiteres Problem besteht darin, daß die Objektsuche recht zeitintensiv sein kann, da mehrere Objekte im gesamten Bildbereich vorhanden sein können. Diese genannten Probleme werden durch das vorgestellte Verfahren gemildert bzw. beseitigt.

Durch die in den Unteransprüchen aufgeführte Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im Hauptanspruch angegebenen Verfahrens möglich. Bei der Vorrichtung nach Anspruch 11, die zur Durchführung des Verfahrens vorgesehen ist, ist es vorteilhaft, daß der Blickwinkel der Videokamera so gewählt ist, daß die Dachvorderkante als vordere Begrenzung der vorbei fahrenden Fahrzeuge erscheint, so daß diese Kante leicht in einer Anzahl von Videobildern verfolgt werden kann, ohne daß dazu eine längere Bildauswertung erforderlich wäre.

Beschreibung der Zeichnungen

1. Abb. 1 zeigt ein Fahrzeug (Ziffer 2), das sich auf einer Ebene (Straße) mit konstanter Geschwindigkeit v bewegt. Die Bewegung des Fahrzeugs wird durch eine stationäre (unbewegliche) Videokamera (Ziffer 1) beobachtet.
2. Abb. 2 zeigt die Projektion der betrachteten Szene (Szenenkoordinate y) auf das Videobild (Ziffer 4. Bildkoordinate y′).

Beschreibung der Erfindung

Zur Vereinfachung der Bewegungsmodellierung werden folgende Randbedingungen vor gegeben:

1. Die Kamera blickt von hinten auf die Fahrzeuge
2. Die Fahrzeuge bewegen sich auf einer Ebene (Modellierung der Straße als Ebene)
3. Die Fahrzeuge bewegen sich mit konstanter Geschwindigkeit
4. Die Kamera blickt in die Fahrzeugbewegungsrichtung

Unter diesen Randbedingungen läßt sich ein gut handhabbares mathematisches Bewe gungsmodell ableiten. Abweichungen von diesen Annahmen in realen Szenen werden zu mehr oder minder großen Bewegungsmodellierungsfehlern führen.

Abb. 1 zeigt eine vereinfachte Darstellung des Sachverhalts, aus dem die Bewe gungsmodellierung der beobachteten Fahrzeuge erfolgt. In der skizzierten Szene befindet sich ein Objekt (Fahrzeug) der Höhe h_f, das sich mit konstanter Geschwindigkeit v in der y-z-Ebene des Kamerakoordinatensystems bewegt. Die Kamera befindet sich in einer Höhe h_c über der Fahrbahn und hat einen Neigungswinkel α gegenüber dieser. Ziel soll die Modellierung der Fahrzeugkante sein, die in Abb. 1 durch einen Punkt (seitliche Betrachtung) an der rechten oberen Ecke des Fahrzeugs gekennzeichnet ist (Ziffer 3). In dem Moment (Zeitpunkt t = 0), zu dem das Fahrzeug in den rechten Kamerahalbraum eintritt, hat diese Kante eine Entfernung y₀ in y-Richtung des Szenenkoordinatensystems (dessen Ursprung im Brennpunkt der Kamera liegen soll). Es läßt sich mathematisch zeigen, daß die Bewegung dieser Kante in y-Richtung dem funktionalen Zusammenhang

gehorcht. Mit Hilfe der abbildenden Geometrie kann dieser funktionale Zusammenhang in die zweidimensionale Bildschirmebene (x′-y′-Koordinatensystem) des von der Kamera erzeugten Bildes (Projektion auf den Kamerasensorchip) abgebildet werden (siehe Abb. 2). Daraus folgt folgende Bewegungsgleichung

wobei y′ die vertikale Koordinatenkomponente auf dem zweidimensionalen Videosensorchip und f die Brennweite der Kameraoptik ist. Qualitativ läßt sich diese Bewegungsbeschrei bung durch

mit

und

b = f·tan(α) (5)

wiedergeben. Nun bestehen zwei Probleme zur quantitativen Festlegung der Bewegungs gleichung (Bestimmung des Parameters a; b ist durch die Szenengeometrie bereits fest gelegt): zum einen ist die Fahrzeuggeschwindigkeit v bei Betrachtung des Videobildes unbekannt. Zum anderen kennt man den betrachteten Zeitpunkt nicht (zeitlicher Abstand zum Zeitpunkt t = 0, der den Eintritt in den rechten Kamerahalbraum markiert), da der Eintritt in den rechten Kamerahalbraum aufgrund des begrenzten Kamerablickwinkels nicht beobachtet werden kann. Daher wird ein neuer Zeitmaßstab t′ eingeführt, der um die Verzögerungszeit t_d zum Zeitmaß 1 verschoben ist (t_d sei die Zeit, die zwischen Eintritt in den rechten Kamerahalbraum und erster Beobachtung des Fahrzeugs im Videobild verstreicht). Daraus resultiert die Bewegungsbeschreibung

Eine weitere mathematische Analyse des Problems, die hier nicht wiedergegeben ist, führt zu der Erkenntnis, daß die Parameter a und t_d eine gegenseitige lineare Abhängigkeit besitzen. Es folgt die endgültige Bewegungsbeschreibung

mit einem zu bestimmenden Faktor c. Diese Bewegungsgleichung ist der Ausgangspunkt für alle weiteren Überlegungen.

Zur Bestimmung der Parameter a und c bieten sich mehrere Möglichkeiten an:

1. Im einfachsten Fall mißt man zwei Positionen y′(t′) zu zwei verschiedenen Zeitpunkten t′. Setzt man die beiden Meßwerte in Gleichung 7 ein, so erhält man zwei Gleichungen mit zwei Unbekannten.
2. Parameter c läßt sich aus einer Messung y′(t′ = 0) (der betrachtete Punkt ist erstmals im Kamerabild zu sehen) über geometrische Betrachtungen nach bestimmen, wobei β der Öffnungswinkel der Kamera ist (gemessen von der optischen Achse der Kamera) und y′_max die halbe vertikale Ausdehnung des Videosensorchips. Nun kann man a aus einer zweiten Messung mit Hilfe von Gleichung 7 berechnen oder aus mehreren Messungen mit Hilfe der mathematischen Regression (erhöhte Genauigkeit).
3. Die Parameter a und c können beide aus mehreren Messungen y′(t′) zu verschiedenen Zeitpunkten unter Minimierung des Bewegungsmodellierungsfehlers mit Hilfe der mathematischen Regression bestimmt werden.

Das Resultat dieser Berechnungen ist eine mehr oder weniger exakte Modellierung des Fahrzeugbewegungsverhaltens auf dem Bildschirm in vertikaler Richtung (Gleichung 7). Ebenso läßt sich bei Bedarf ein Bewegungsmodell für die horizontale Bewegung aufstellen.

Zusammenfassende Vorgehensweise zum Bewegungsmodell (am Beispiel der Fahrzeugvorderkante)

1. Messe Kamerahöhe h_c, Kameraneigungswinkel α und Kamerabrennweite f
2. Verfolge einen Punkt an der Vorderkante (Ziffer 3 in Abb. 1 und 2) des Fahrzeugs über mehrere Videobilder. Bestimme für jede Messung i die vertikale Position y′_i und den Meßzeitpunkt t′_i
3. Sind die Messungen abgeschlossen (mindestens zwei Messungen notwendig; je mehr Messungen vorhanden, desto genauer wird die Bewegungsmodellierung), so bestimme die Bewegungsgleichungsparameter a und c nach einer der oben genannten Methoden.

Dieses Verfahren läßt sich auf jeden beliebigen Punkt des Fahrzeugs anwenden. Man verfolgt die Position des Punktes in mehreren Videobildern, stellt nach der beschriebenen Methode das Bewegungsmodell auf und bekommt als Resultat eine Gleichung (Gleichung 7), die die Fahrzeugbewegung auf dem Bildschirm exakt beschreibt. Diese Bewegungsglei chung läßt sich nun vielfach zur Verbesserung des Verfolgungsprozesses einsetzen (bei der gewählten Kameraposition eignen sich für die Fahrzeugbewegungsbeschreibung vor allem die Fahrzeugvorder- und Hinterkante):

1. Modelliert man mit dem beschriebenen Verfahren die Bewegung der Vorder- und Hinterkante, so lassen sich aus der gewonnenen Bewegungsgleichung die zukünftigen Objektpositionen zu allen Zeiten schätzen. Man kann dadurch eine Vorhersage treffen, wann sich zwei Objekte voraussichtlich verdecken werden.
2. Haben sich zwei Objekte gegenseitig verdeckt, so kann man aus dem Bewegungsmo dell (dieses muß natürlich vor der Verdeckung berechnet worden sein) die Positionen der verdeckten Vorder- bzw. Hinterkante schätzen.
3. Mißt man die Vorderkanten- bzw. Hinterkantenposition eines Fahrzeugs in einem Bild (durch einen geeigneten Suchalgorithmus), so kann man nach vorheriger Berechnung des Bewegungsmodells eine Plausibilitätsbetrachtung anstellen. Weicht die Prädik tion der Position der Fahrzeugkante aus dem Modell von der gemessenen Position zu stark ab, so muß die Messung fehlerhaft sein. In diesem Fall kann die Messung verworfen und durch den aus dem Modell prädizierten Wert ersetzt werden.
4. Mit Hilfe des Bewegungsmodells lassen sich zukünftige Positionen der Fahrzeugkan ten prädizieren. Diese Prädiktionen können genutzt werden, um den Suchbereich für Suchverfahren zum Finden der exakten Objektposition einzugrenzen. Dadurch läßt sich die Objektpositionsbestimmung massiv beschleunigen.

Claims

1. Verfahren zur Lokalisierung von Punkten eines bewegten Objektes, insbesondere Fahrzeugs, in einer Videobildsequenz, dadurch gekennzeichnet, daß mindestens ein Punkt (3) des Objektes (2) in einer Anzahl von Videobildern verfolgt wird, wobei für die Videobilder jeweils die vertikale Position des Punktes (3) des Objektes (2) auf einem Videoschirm und der Beobachtungszeitpunkt bestimmt wird, daß ausgehend von den gemessenen Werten in den Videobildern und/oder ausgehend von gemessenen und/oder bekannten Geometriefaktoren, insbesondere die Höhe (h_c) einer Videokamera (1) über einer Fahrbahn, der Kamerabrennweite (f) und dem Neigungswinkel (α) der Kamera (1) gegenüber der Fahrbahn, die Parameter (a, b, c) eines Bewegungsmodells für die vertikale Bewegung des Punktes (3) auf dem Videoschirm bestimmt werden und daß die zukünftige vertikale Position des Punktes (3) des Objektes (2) auf dem Videoschirm ausgehend von dem Bewegungsmodell vorhergesagt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die vorhergesagte Position des Punktes (3) des Objektes (2) auf dem Videoschirm mit einer tatsächlich gemessenen Position verglichen wird und daß bei Abweichungen über ein vorher bestimmtes Maß hinaus die tatsächlich gemessene Position als fehlerhaft verworfen wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß ausgehend von dem Bewegungsmodell vorhergesagt wird, wann der Punkt (3) des Objektes (2) durch ein weiteres Objekt verdeckt sein wird.

4. Verfahren nach einem der Ansprüche 1 oder 3, dadurch gekennzeichnet, daß ausgehend von dem Bewegungsmodell ein Suchbereich festgelegt wird, der angibt, in welchem Bereich auf dem Videoschirm der Punkt (3) des Objektes (2) voraussichtlich zu finden ist.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Bewegungsmodell für die vertikale Bewegung des Punktes (3) des Objektes (2) auf dem Videoschirm die Form hat, wobei y′ die vertikale Koordinatenkomponente des Punktes (3) des Objektes (2) auf dem Videosensorchip ist, t′ eine Zeitkoordinate ist und a,b,c die Parameter des Bewegungsmodells sind.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Parameter a, c ausgehend von den aus den Videobildern bestimmten Werten über eine Regressionsrechnung bestimmt werden, wobei die Bedingung vorgegeben wird, daß der Bewegungsmodellierungsfehler minimal wird.

7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß der Parameter b nach der Formel b = f·tan(α)aus den Geometriefaktoren Kamerabrennweite f und Neigungswinkel α der Kamera gegenüber der Fahrbahn bestimmt wird.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Objekt (2) ein Fahrzeug ist, das sich auf einer Fahrbahn bewegt und das als Punkte des Fahrzeuges zur Objektlokalisierung ein Punkt, der für die Vorderkante des Fahrzeuges charakteristisch ist und ein weiterer Punkt, der für die Hinterkante des Fahrzeuges charakteristisch ist, verfolgt wird.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß als Punkt, der für die Vorderkante des Fahrzeuges charakteristisch ist, ein Punkt der Dachvorderkante verfolgt wird.

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, daß als Punkt, der für die Hinterkante des Fahrzeuges charakteristisch ist, ein Punkt der hinteren Stoßstange des Fahrzeuges oder ein Punkt der hinteren Reifen des Fahrzeuges verfolgt wird.

11. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß sie aus einer Videokamera (1) und einem Bildauswertesystem besteht, und daß die Videokamera in einer bestimmten Höhe (h_c) über einer Fahrbahn unter einem bestimmten Neigungswinkel (α) gegenüber der Fahrbahn, insbesondere in Fahrtrichtung, so angebracht ist, daß als vordere Begrenzung eines vorbeifahrenden Fahrzeuges die Dachvorderkante erscheint.