DE602005003926T2

DE602005003926T2 - System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion

Info

Publication number: DE602005003926T2
Application number: DE602005003926T
Authority: DE
Inventors: Dorin Princeton Junction COMANICIU; Ying Monmouth Junction ZHU; Martin Pellkofer; Thorsten Kohler
Original assignee: Siemens AG; Siemens Corporate Research Inc
Current assignee: Siemens AG; Siemens Corp
Priority date: 2004-02-19
Filing date: 2005-02-11
Publication date: 2008-12-04
Anticipated expiration: 2025-02-12
Also published as: EP1716540A1; JP2007523427A; US7248718B2; EP1716540B1; US20050196020A1; KR20060112692A; WO2005081189A1; DE602005003926D1

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Detektieren eines vorbeikommenden Fahrzeugs und insbesondere ein System und ein Verfahren zum Detektieren eines vorbeikommenden Fahrzeugs aus dynamischem Hintergrund unter Verwendung robuster Informationsfusion.
Allgemeiner Stand der Technik
Auf Machine-Vision basierende Hindernisdetektion und -verfolgung ist eine wichtige Komponente in autonomen Fahrzeugsystemen. In einer typischen Fahrszene gehören zu den Hindernissen Fahrzeuge, Fußgänger und jegliche andere Objekte, die sich entweder bewegen oder sich über die Straßenebene erheben. Der Zweck der Hindernisdetektion ist das Trennen beweglicher Objekte von der Fahrszene, wobei zu den Hindernissen Fahrzeuge, Fußgänger und jegliche andere Objekte gehören, die sich entweder bewegen oder über die Straßenebene erheben. Solche Informationen werden von mehreren Automotive-Anwendungen benötigt, z. B. adaptiver Tempostat, Vorwärtskollisionsvermeidung und Warnung über ein Verlassen der Spur. Durch Fusionieren der Ergebnisse des Detektierens und Verfolgens individueller Objekte ist es möglich, eine ausreichende Wahrnehmung der Fahrumgebung zu erzielen.
Bei einem für Fahrerhilfe ausgelegten monokularen Vision-System wird eine einzige Kamera im Innern des Ego-Fahrzeugs angebracht, um die Bildsequenz nach vorne weisender Straßenszenen zu erfassen. Es wurden verschiedene Fahrzeugdetektionsverfahren entwickelt, um Fahrzeuge in der Mitte des Sichtfelds zu detektieren. Solche Verfahren können bei der Detektion vorbeikommender Fahrzeuge verwendet werden. Bei der Detektion vorbeikommender Fahrzeuge werden Fahrzeuge detektiert, die auf der linken oder rechten Seite an dem Ego-Fahrzeug vorbeikommen und mit einer höheren Geschwindigkeit in das Sichtfeld eintreten. Die Detektion vorbeikommender Fahrzeuge spielt eine wesentliche Rolle beim Verständnis der Fahrumgebung. Aufgrund der potentiell unsicheren Fahrsituation, die ein überholendes Fahrzeug erzeugen könnte, ist es wichtig, vorbeikommende Fahrzeuge zu überwachen und zu detektieren.
Da vorbeikommende Fahrzeuge in einer frühen Phase detektiert werden müssen, während sie in das Sichtfeld eintreten und nur teilweise sichtbar sind, kann man sich nicht völlig auf Informationen über das Aussehen verlassen. Statt dessen werden durch ein vorbeikommendes Fahrzeug charakteristische optische Flüsse erzeugt. Daher werden Bewegungsinformationen zu einem wichtige Hinweis bei der Detektion vorbeikommender Fahrzeuge. Um vorbeikommende Fahrzeuge zu detektieren wurden mehrere bekannte Hindernisdetektionsverfahren verwendet, die den optischen Fluß verwenden. Bei diesen Verfahren wird ein vorhergesagtes Flußfeld, das aus Kameraparametern und der Fahrzeuggeschwindigkeit berechnet wird, mit den aus Bewegungsschätzung berechneten tatsächlichen Bildabläufen verglichen. Ein Hindernis wird deklariert, wenn die tatsächlichen Abläufe nicht mit den vorhergesagten Abläufen übereinstimmen. Diese Verfahren funktionieren gut, wenn weder starkes Rauschen noch Beleuchtungsänderung vorliegt.
Ein Beispiel für ein solches System wird in dem Artikel "Application of optical flow for automated overtaking control" von M. Tistarelli et al., Applications of Computer Vision, 1994, Proceedings of the Second IEEE Workshop an Sarasota, Florida, USA, 5.–7. Dez. 1994, Los Alamitos, USA IEEE Comput. Soc., 5. Dezember 1994, Seiten 105–112, XP010100091, ISBN: 0-8186-6410-X, beschrieben. In dieser Arbeit wird das Problem der automatisierten Regelung eines gefertigten Fahrzeugs behandelt. Insbesondere wird ein System vorgestellt, bei dem Techniken des optischen Flusses angewandt werden, um Überholmanöver anderer von der Hinterseite des Autos kommender Fahrzeuge zu überwachen. Genauer gesagt umfaßt ein Verfahren zum Detektieren eines vorbeikommenden Fahrzeugs die folgenden Schritte: Empfangen einer Videosequenz, die aus einer Vielzahl von Einzelbildern besteht, wobei in jedem Einzelbild Bildintensität gemessen und Bildbewegung geschätzt wird; Formulieren eines Hintergrunddynamik beschreibenden Hypothesenmodells; Verwenden der gemessenen Bildintensität und Bewegungsschätzung, um zu bestimmen, ob die Hintergrunddynamik in einem gegebenen Einzelbild verletzt wurde; wobei, wenn die Hintergrunddynamik verletzt wurde, Bewegungskohärenz verwendet wird, um zu bestimmen, ob die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird.
In praktischen Situationen kommen strukturiertes Rauschen und starke Beleuchtung jedoch relativ oft vor und verursachen störende Bildmerkmale und unzuverlässige Flußschätzungen. Es wird ein Verfahren zum Detektieren vorbeikommender Fahrzeuge benötigt, das zu einer robusten Bewegungsschätzung fähig ist.
Kurzfassung der Erfindung
Die vorliegende Erfindung wird durch die angefügten Ansprüche definiert und betrifft ein System und ein Verfahren zum Detektieren eines vorbeikommenden Fahrzeugs. Es wird eine Videosequenz, die eine Vielzahl von Einzelbildern umfaßt, empfangen und es wird in jedem Einzelbild die Bildintensität gemessen und Bildbewegung geschätzt. Es wird ein Hintergrunddynamik beschreibendes Hypothesenmodell formuliert. Die gemessene Bildintensität und die Bewegungsschätzung werden verwendet, um zu bestimmen, ob die Hintergrunddynamik in einem gegebenen Einzelbild verletzt wurde. Wenn die Hintergrunddynamik verletzt wurde, wird Bewegungskohärenz verwendet, um zu bestimmen, ob die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird.
Kurze Beschreibung der Zeichnungen
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden ausführlicher beschrieben, wobei gleiche Bezugszahlen mit Bezug auf die beigefügten Zeichnungen gleiche Elemente angeben. Es zeigen:
1 ein Systemblockschaltbild eines Systems zum Detektieren vorbeikommender Fahrzeuge gemäß der vorliegenden Erfindung;
2 eine Sequenz von Einzelbildern, die ein vorbeikommendes Fahrzeug zeigen, gemäß der vorliegenden Erfindung;
3 ein Flußdiagramm, das das Verfahren zum Detektieren vorbeikommender Fahrzeuge gemäß der vorliegenden Erfindung skizziert;
4 ein beispielhaftes Einzelbild und zwei Teilfenster in dem Einzelbild, wobei die Bewegungskohärenz eines vorbeikommenden Fahrzeugs gemäß der vorliegenden Erfindung gezeigt wird;
5 die zulässigen Pfade von Zustandsübergängen gemäß der vorliegenden Erfindung;
6 einen Entscheidungsbaum, mit dem ein vorbeikommendes Fahrzeug gemäß der vorliegenden Erfindung detektiert wird;
7 zeigt zwei Beispiele für die Verwendung von Dichtefusion variabler Bandbreite, die in einem Analysefenster gemäß der vorliegenden Erfindung zu bestimmen ist;
8 Detektionen vorbeikommender Fahrzeuge gemäß der vorliegenden Erfindung;
9 die Detektion vorbeikommender Fahrzeuge, die extremen Beleuchtungsschwankungen ausgesetzt sind, gemäß der vorliegenden Erfindung; und
10 Graphen der mit den in 9 gezeigten Einzelbildern assoziierten Bildfehlanpassungsfehler- und Flußschätzungsdaten.
Ausführliche Beschreibung
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Detektieren vorbeikommender Fahrzeuge aus dynamischem Hintergrund. 1 zeigt ein Blockschaltbild eines Systems zum Implementieren der vorliegenden Erfindung. Eine Kamera 102 dient zum Erfassen von Bildern einer Straße und ihrer Umgebung. Wie bei einem typischen Straßenbild zu erwarten ist, enthält das Bild Hintergrundbilder, wie etwa Gebäude, Bäume und Häuser, und auf der Straße fahrende Fahrzeuge. Die Bilder werden zu einem Prozessor 104 übermittelt, der die Bildintensität und Bildbewegung analysiert, um eine etwaige Änderung der Szenendynamik zu detektieren. Wenn eine Änderung detektiert wird, wird gemäß der vorliegenden Erfindung ein Hypothesentest ausgeführt, um zu bestimmen, ob die Szenenänderung auf ein vorbeikommendes Fahrzeug zurückzuführen ist.
Zusätzlich wird ein Kohärenztest ausgeführt, um zu substanziieren, daß die Szenenänderung auf ein vorbeikommendes Fahrzeug zurückzuführen ist, und nicht auf bestimmte andere Bedingungen wie etwa Rauschen, Beleuchtungsänderungen oder andere Hintergrundbewegung. Sobald ein vorbeikommendes Fahrzeug mit einem ausreichenden Konfidenzniveau identifiziert wird, wird das Fahrzeug über eine Ausgabeeinrichtung 106 identifiziert. Die Ausgabeeinrichtung 106 liefert ein Ausgangssignal, das dem Benutzer die Anwesenheit des vorbeikommenden Fahrzeugs übermittelt. Das Ausgangssignal kann ein hörbares Signal oder eine andere Art von Warnsignal sein. Die Ausgabeeinrichtung 106 kann auch ein Display zum Betrachten der detektierten Fahrzeuge umfassen. Das Display gibt eine Ansicht der von der Kamera 102 aufgenommenen Bilder, die dann aufbereitet werden, um Fahrzeuge anzuzeigen, die detektiert wurden und gerade verfolgt werden. Diese Bilder können in der Datenbank 108 gespeichert werden.
Die vorliegende Erfindung betrifft das Detektieren von Ereignissen eines eintretenden Fahrzeugs und das Auslösen einer Warnung in Echtzeit. Insbesondere wird ein robustes Bewegungsschätzverfahren mit Dichtefunktion variabler Bandbreite verwendet, um wie auf später ausführlicher beschriebene Weise vorbeikommende Fahrzeuge zu detektieren. Das Vorbeikommen von Fahrzeugen ist ein sporadisches Ereignis, das die Szenenkonfiguration von Zeit zu Zeit ändert. 2 zeigt eine Sequenz von Einzelbildern 202–208, die an sequentiellen Zeitpunkten erfaßt wird. Wenn ein Fahrzeug 210 zwischen den Zeiten t₂~t₃ in das Sichtfeld eintritt, bildet das Fahrzeug eine lokale Vordergrundschicht, die vorübergehend die Straßenszene blockiert. Sowohl Bildaussehen als auch Bildbewegung um den Eintrittpunkt, der sich in dem Teilfenster 212 befindet, weichen von der Straßenszenendynamik ab. Bei der Detektion vorbeikommender Fahrzeuge ist ein Aspekt das Detektieren von Änderungen der Szenendynamik um definierte Eintrittspunkte.
Gemäß der vorliegenden Erfindung werden drei Probleme behandelt, um ein vorbeikommendes Fahrzeug zu detektieren: Modellieren der Dynamik der Straßenszene und vorbeikommender Fahrzeuge, Ableiten einer Entscheidungsregel für die Detektion vorbeikommender Fahrzeuge und Schätzung relevanter Merkmale und statistischer Größen, die bei dem Hypothesentest beteiligt sind. 3 zeigt ein Flußdiagramm auf hoher Ebene des Verfahrens. Die Dynamik der Straßenszenen und der vorbeikommenden Fahrzeuge wird durch Modellierung der Bildintensität und Bildbewegung um die Eintrittspunkte charakterisiert. Für das Ereignis des Vorbeikommens eines Fahrzeugs, wird eine zeitliche Kohärenz der Fahrzeugbewegung auferlegt. Bildintensität und Bildbewegung in Analysefenstern, die an den Eintrittpunkten plaziert werden, werden überwacht. Etwaige Änderungen der Szenendynamik in den Analysefenstern werden detektiert. Relevante beim Hypothesentest verwendete Parameter werden mit der Zeit als Reaktion auf Detektionsergebnisse aktualisiert.
Bei Abwesenheit von vorbeikommenden Fahrzeugen bewegt sich die sichtbare Straßenszene, d. h. der Hintergrund, beständig in dem Sichtfeld, während sich die Kamera zusammen mit dem Ego-Fahrzeug bewegt. Bei gegebener Fahrzeuggeschwindigkeit und Kamerakalibration ist die Bildbewegung und Bildintensität der Hintergrundszene über die Zeit hinweg vorhersehbar. Anders ausgedrückt, folgt die Hintergrundszene einem durch Kameraparameter und Kamerabewegung definierten dynamischen Modell. Es sei l(x, t) die Bildintensität zum Zeitpunkt t und v(x, t) der Bewegungsvektor, wobei x die räumliche Koordinate eines Bildpixels ist. Die Hypothese des dynamischen Hintergrunds wird folgendermaßen beschrieben: Hroad: l(x + v(x, t)·δt, t – δt) = l(x, t) + nl v(x, t) = h(x, V0(t), θ) (1)
Die wahre Bildbewegung v(x, t) wird durch die Fahrzeuggeschwindigkeit V₀(t) und Kameraparameter θ entschieden. Unter der Bedingung der Helligkeitskonstantheit ist die Bildintensität bei gegebener wahrer Bewegung aus vorherigen Einzelbildern vorhersehbar. Dessen ungeachtet wird in der Praxis aufgrund von sich ändernder Beleuchtung oft gegen die Helligkeitskonstanz verstoßen. Außerdem wird die Intensität auch durch verschiedenes Bildrauschen beeinflußt. Deshalb wird ein Rauschterm n_t verwendet, um die Intensitätsperturbation zu berücksichtigen. Diese Hypothesen bezüglich der Szenendynamik verbessern nützliche domänenspezifische Einschränkungen.
Wenn ein vorbeikommendes Fahrzeug in Sicht tritt, wird die Dynamik der Hintergrundszene verletzt. Aus Gleichung (1) können Verletzungen der Hintergrunddynamik durch Hypothesentest an Bildintensität und Bildbewegung detektiert werden. Eine Verletzung kann jedoch auch unter anderen Bedingungen als dem Vorbeikommen von Fahrzeugen geschehen, wie zum Beispiel bei starken Beleuchtungsänderungen und strukturiertem Rauschen. Um zu Validieren, daß eine Verletzung tatsächlich durch ein vorbeikommendes Fahrzeug verursacht wird, ist es notwendig, auch die durch vorbeikommende Fahrzeuge eingeführten domänenspezifischen Einschränkungen auszunutzen.
Angesichts der Diversität von Aussehen und Geschwindigkeit von Fahrzeugen wird die Dynamik vorbeikommender Fahrzeuge durch Unterstreichen der in der Fahrzeugbewegung vorliegenden Kohärenz charakterisiert. Wie in 4 dargestellt, wird zur Beschreibung von Bewegungskohärenz das Bewegungsmuster eines vorbeikommenden Fahrzeugs durch zwei Teilfenster A und B untersucht, die sich entlang der Trajektorie befinden, auf der sich ein vorbeikommendes Fahrzeug bewegen würde. Während ein vorbeikommendes Fahrzeug in das Sichtfeld eintritt, kommt es bei A und B auf geordnete Weise an. Damit ein Fahrzeug bei B ankommt, muß es zuerst bei A ankommen. Ein Verstoß der Hintergrunddynamik sollte somit in dem Teilfenster A stattfinden, bevor er in dem Teilfenster B stattfindet.
Im Gegensatz dazu fehlt eine solche Kohärenz, falls die Verletzung der Szenen- oder Hintergrunddynamik eine Folge irregulärer Ursachen ist, wie zum Beispiel plötzliche Beleuchtungsänderungen, strukturiertes Rauschen und Schatten. Die bezüglich vorbeikommender Fahrzeuge getroffene Hypothese hilft deshalb dabei, Ereignisse mit kohärenter Bewegung von irregulären Ursachen, die auch als Ausreißer bezeichnet werden, zu unterscheiden. Nunmehr mit Bezug auf 5 werden SA und S_B als die Zustandsvariable der Teilfenster A bzw. B bezeichnet. R repräsentiert den Zustand, in dem Bewegung und Intensität der Straßendynamik entsprechen, und V repräsentiert den Zustand, in dem die Straßendynamik verletzt wird.
Das Ereignis eines vorbeikommenden Fahrzeugs wird aus einer Reihe von Zustandsübergängen von S_AS_B, beginnend mit RR und endend mit VV, beschrieben. Wie in 5 gezeigt, werden kohärente Ereignisse durch eine Menge zulässiger Pfade von Zustandsübergängen unterschieden: Hvehicle: ρ = {RR → VR → ... → VV}. (2)
Bei der Behandlung der Detektion vorbeikommender Fahrzeuge trifft man verschiedene Kontexte in dem Analysefenster an, z. B. Straßenszenen, Ausreißer und Fahrzeuge. Entscheidungsbäume klassifizieren diese Kontexte durch Durchsortieren einer Reihe von in einer Baumform repräsentierten Hypothesetests. 6 zeigt einen beispielhaften Entscheidungsbaum, mit dem vorbeikommende Fahrzeuge gemäß der vorliegenden Erfindung detektiert werden können. Bildbewegung und Bildintensität werden im Vergleich zu dem dynamischen Modell der Straßenszene getestet. An Kontexten, die die Szenendynamik verletzen, wird ein Kohärenztest ausgeführt. Die Entscheidungsregel für vorbeikommende Fahrzeuge wird folgendermaßen zusammengefaßt: (Hintergrunddynamik ist verletzt) ^ ( Kohärenz ist erfüllt ) (3)
Die wahre Bewegung v(x, t) der Straßenszene wird in Gleichung (1) gegeben. Wenn die beobachtete Bildbewegung geschätzt wird, wird der Hypothesentest an der Hintergrunddynamik folgendermaßen ausgedrückt:
Verletzung der Hintergrunddynamik im Fall (||v ^(x, t) – v(x, t)|| ≥ τmotion) ∨ (||R(x, t)|| ≥ τresidual) (4)wobei R(x, t) = l(x + v(x, t)·δt, t – δt) – l(x, t) der Rest aus der Bewegungskompensation ist und die Fehlanpassung zwischen dem vorhergesagten Bild und dem tatsächlichen Bild wiedergibt. Durch Prüfung von Bewegung und Rest werden alle Fälle in zwei Gruppen klassifiziert: Fälle, die der Hintergrunddynamik genügen, und Fälle, die die Hintergrunddynamik verletzen.
Obwohl weitere Tests ausgeführt werden, um Fälle von Verletzungen zu klassifizieren, ist es wichtig, über eine zuverlässige Bewegungsschätzung v(x, t) zu verfügen, die den Kontext für eine genaue anfängliche Klassifizierung getreu widerspiegelt. Die vorliegende Erfindung verwendet einen robusten Bewegungsschätzalgorithmus mit Dichtefusion variabler Bandbreite (VBDF – Variable Bandwidth Density Fusion) und räumlich-zeitlicher Filterung.
Wenn Bewegungsschätzung nicht zuverlässig ist, hilft der Rest-Test dabei, Hintergrundszenen zu identifizieren. In bestimmten Fällen kann die Hintergrund-Anwesenheit nicht durch Bewegung identifiziert werden, kann aber durch Testen des Bildrests leicht identifiziert werden. Die Schwellen T_motion, T_residual sowie die zulässigen Zustandsübergänge ρ sind Teil der Entscheidungsbaumlösung. Es gibt im allgemeinen zwei Methoden zu ihrer Lösung, Offline-Lernen und Online-Lernen. Das Online-Entscheidungsbaumlernen ermöglicht Systemanpassung an die allmähliche Änderung der Szenendynamik. Mit T_residual als Beispiel läßt sich das Online-Lernen durch Modellieren der onlineberechneten Restdaten {R(x, T), (R(x, T – 1), R(x, T – 2), ...} erzielen.
Nichtparametrische Dichteschätzung und Modenfindetechniken können verwendet werden, um die Daten zu Clustern, ein gaußsches Mischungsmodell zu erhalten und das Modell mit der Zeit zu aktualisieren. Das Online gelernte Mischungsmodell wird dann zur Vorhersage des Kontexts aus neuen Beobachtungen R(x, T + 1) verwendet.
Der Kohärenztest wird an Fällen ausgeführt, in denen die Hintergrunddynamik verletzt wird. Der Zweck dieses Tests besteht darin, durch strukturiertes Rauschen und plötzliche Beleuchtungsänderungen verursachte Ausreißer weiter auszuschließen. Aus der in Bezug auf vorbeikommende Fahrzeuge in Gleichung 2 formulierten Hypothese wird die Entscheidungsregel folgendermaßen ausgedrückt:
Wie oben beschrieben, verwendet die vorliegende Erfindung einen robusten Bewegungsschätzalgorithmus, um zu bestimmen, ob die Hintergrunddynamik verletzt ist. Bei Annahme von Helligkeitskonstanz wird der Bewegungsvektor für eine gegebene Bildposition durch Lösung der folgenden linearen Gleichung berechnet: ∇xI(x, t)·v = –∇eI(x, t) (6)
Die vorbetonte Least-Squares-Lösung lautet wie folgt: v ^ = (ATA + (βII)–1ATb (7)wobei A eine durch die räumlichen Bildgradienten ∇x^I in einer lokalen Region definierte Matrix und b ein aus zeitlichen Bildgradienten ∇x^I bestehender Vektor ist. Um die Unbestimmtheit der Bewegungsschätzung zu beschreiben, wird ihre Kovarianz folgendermaßen definiert:
wobei N die Anzahl der Pixel in der lokalen Region und σ² die geschätzte Varianz des Bildrauschens ist. Unzuverlässige Flußschätzungen sind mit Kovarianzmatrizen mit großer Spur assoziiert. Diese Informationen sind für die robuste Fusion wichtig.
Ein hierarchisches System zur Berechnung von v ^ und seiner Kovarianz C auf mehreren Maßstäben wird in D. Comaniciu, "Nonparametric information fusion for motion estimation", CVPR 2003, Bd. 1, S. 59–66, beschrieben. Für jedes Einzelbild wird der Anfangsbewegungsvektor an verschiedenen räumlichen Positionen in dem Analysefenster geschätzt. Folglich erhält man eine Sequenz von Bewegungsschätzungen mit Kovarianzen {v_x,t, C_x,t} in Raum und Zeit.
Die anfänglichen Bewegungsschätzungen sind empfindlich gegenüber strukturiertem Rauschen und Beleuchtungsänderungen, die Ausreißer in Bewegungsschätzungen einführen. Um diese Ausreißer zu überwinden, wird durch eine als Dichtefusion variabler Bandbreite (VBDF – Variable Bandwidth Density Fusion) bezeichnete Technik eine kombinierte räumlich-zeitliche Filterung an den anfänglichen Bewegungsschätzungen ausgeführt. VBDF ist eine Fusionstechnik, die in der Lage ist, den signifikantesten Knoten der Daten zu finden, und dies ist robust gegenüber Ausreißern. Wenn die anfänglichen Bewegungsschätzungen v_x,t und die Kovarianz C_x,t über mehrere räumliche und zeitliche Positionen x = {x₁, ..., x_n}, t = {T, T – 1, ..., T – M} gegeben sind, wird VBDF angewandt, um die dominante Bewegung in dem Analysefenster des T-ten Einzelbildes zu erhalten.
VBDF wird durch die folgende Mean-Shift-Prozedur implementiert. Zuerst wird ein punktweiser Dichteschätzer durch eine Mischungsfunktion definiert:
Hierbei definiert a_x,t ein Gewichtungsschema an dem Datensatz und K(v; v_i, C_i) ist der gaußsche Kern mit der Mitte v_i und Bandbreite C_i. Der Mean-Shift-Vektor variabler Bandbreite an der Position v wird gegeben durch:
Die iterative Berechnung des Mean-Shift-Vektors stellt eine Trajektorie wieder her, die von v ausgeht und zu einem lokalen Maximum konvergiert, d. h. einer Mode der Dichteschätzung f(v; {v_x,t}). v0 = v vj+1 = vj + m(vj) (j ≥ 0) vj → mode(v; {vx,t, Cx,t})as j → ∞ (11)
Um f(v; {v_x,t, C_x,t}) mit mehreren Moden zu behandeln, eine Reihe von Analysebandbreiten Clx,t = Cx,t + α1l(α0 > α1 > ... > 0), was zu mehreren geglätteten Dichteschätzungen f(v; {v_x,t, C l / x,t}) führt. Die Anzahl der Moden in der Dichteschätzung nimmt ab, wenn größere Analysebandbreiten verwendet werden. Auf dem anfänglichen Maßstab wird α₀ groß eingestellt, so daß die Dichte f(v; {v_x,t, C 0 / x,t}) nur eine Mode mode0 = mode (v; {v_x,t, C 0 / x,t}) aufweist, die gegenüber dem Startpunkt v in VBDF invariant ist. Der Modenpunkt wird dann über Maßstäbe hinweg propagiert. Auf jedem Maßstab verwendet VBDF den aus dem letzten Maßstab gefundenen Modenpunkt als den anfänglichen Punkt zum Finden der Mode für den aktuellen Maßstab. model = mode(model-1; {vx,t, Clx,t )(l = 1, 2, ...) (12)
Der Modenpunkt konvergiert mit abnehmendem α_j auf die signifikanteste Stichprobenschätzung. Der konvergente Punkt definiert die dominante Bewegung v ^_t in dem Analysefenster des Einzelbildes T. 7 zeigt zwei Beispiele für die Verwendung von VBDF zum Erhalten der dominanten Bewegung in dem Analysefenster. Für jedes Einzelbild werden an neun gleich beabstandeten Positionen in dem Analysefenster anfängliche Bewegungsschätzungen berechnet. Die anfänglichen Schätzungen aus fünf aufeinanderfolgenden Einzelbildern werden als Eingabe für VBDF verwendet. Exponentielles Vergessen wird verwendet, um diese anfänglichen Bewegungsschätzungen zeitlich zu gewichten. Die in 7 gezeigten Ergebnisse demonstrieren die Robustheit des Fusionsalgorithmus gegenüber Ausreißern.
8 zeigt Beispiele für Einzelbilder, in denen vorbeikommende Fahrzeuge detektiert wurden. Jedes Beispiel illustriert die Detektionsergebnisse und die geschätzten Bewegungsvektoren. Es ist ersichtlich, daß trotz sichtbarer Beleuchtungsänderungen, Schatten und strukturierten Rauschens Fahrzeuge verschiedener Formen detektiert wurden. 9 und 10 zeigen Einzelbilder, die Detektionsergebnisse eines Videos, das durch Rauschen stark verunreinigt wurde, das durch Blendung an der Windschutzscheibe des Ego-Fahrzeugs verursacht wurde. Das strukturierte Rauschen verursacht eine große Fehlanpassung des tatsächlichen Flusses und Bildes von ihren Vorhersagen.
Nachdem Ausführungsformen für ein Verfahren zum Detektieren vorbeikommender Fahrzeuge beschrieben wurden, wird angemerkt, daß Fachleute im Hinblick auf die obigen Lehren Modifikationen und Abwandlungen vornehmen können. Es versteht sich deshalb, daß Änderungen an den konkreten offenbarten Ausführungsformen der Erfindung vorgenommen werden können, die in den Schutzumfang der durch die angefügten Ansprüche definierten Erfindung fallen.

Claims

Verfahren zum Detektieren eines vorbeikommenden Fahrzeugs, mit den folgenden Schritten: Empfangen einer Videosequenz, die aus einer Vielzahl von Einzelbildern besteht; Messen der Bildintensität und Schätzen von Bildbewegung in jedem Einzelbild; Formulieren eines Hintergrunddynamik beschreibenden Hypothesenmodells; Verwenden der gemessenen Bildintensität und Bewegungsschätzung, um zu bestimmen, ob die Hintergrunddynamik in einem gegebenen Einzelbild verletzt wurde, durch Bestimmen, ob die Differenz zwischen gemessener Bildintensität und einer vorhergesagten Bildintensität über einer Schwelle liegt und ob die Differenz zwischen der gemessenen Bildbewegung und einer vorhergesagten Bildbewegung des Hintergrunds über einer Schwelle liegt; wenn die Hintergrunddynamik verletzt wurde, Verwenden von Bewegungskohärenz, um zu bestimmen, ob die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird, durch Ausführen der folgenden Schritte: Anwenden eines ersten Teilfensters und eines zweiten Teilfensters auf das Einzelbild mit der verletzten Hintergrunddynamik, um die die Verletzung verursachende Sequenz von Bewegung zu bestimmen; wobei die Bewegung durch das erste und das zweite Teilfenster unter Verwendung robuster Bewegungsschätzung gemessen wird, die Bildabläufe und ihre Kovarianzen an verteilten Stichprobenpunkten in einem Analysefenster in Assoziation mit mehreren Einzelbildern berechnet; Bestimmen der Bewegungstrajektorie der verletzten Hintergrunddynamik durch Bestimmen, welche Teil fenster zuerst eine Bildbewegungsänderung anzeigen; und wenn das erste Teilfenster zuerst eine Bildbewegungsänderung erfährt, Bestimmen, daß die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird.
Verfahren nach Anspruch 1, wobei das Hintergrunddynamik beschreibende Hypothesenmodell Hypothesen bezüglich nach Bewegungskompensation des Bildes verbleibender Restintensität von Differenzen und Hypothesen bezüglich Bildbewegung umfaßt.
Verfahren nach Anspruch 1, wobei die vorhergesagte Bildintensität durch das Hintergrunddynamik beschreibende Hypothesenmodell bestimmt wird.
Verfahren nach Anspruch 1, wobei die vorhergesagte Bildbewegung durch Ego-Bewegung und Kameraparameter bestimmt wird.
Verfahren nach Anspruch 1, wobei die gemessene Bildbewegung durch ein robustes Bewegungsschätzverfahren erhalten wird.
Verfahren nach Anspruch 1, ferner mit den folgenden Schritten: Bestimmen, ob die mit der verletzten Hintergrunddynamik assoziierte gemessene Bewegung Bewegungskohärenz aufweist; und Bewegungskohärenz besteht, Bestimmen, daß die Verletzung auf ein vorbeikommendes Fahrzeug zurückzuführen ist.
Verfahren nach Anspruch 1, wobei robuste Bewegungsschätzung durch exponentielle Gewichtung von Bildabläufen und ihrer Kovarianzen an verteilten Stichprobenpunkten erfolgt.
Verfahren nach Anspruch 1, wobei die robuste Bewegungsschätzung durch gemeinsame räumliche zeitliche Filterung an Bildabläufen an verteilten Stichprobenpunkten erfolgt.
Verfahren nach Anspruch 8, wobei die räumlich-zeitliche Filterung unter Verwendung von variabler Dichtebandbreitenfusion und Mean-Shift auf mehreren Maßstäben erfolgt.
Verfahren nach Anspruch 9, wobei die gemessene Bewegung in dem ersten und dem zweiten Analysefenster durch die signifikanteste Stichprobenschätzung bestimmt wird, die durch variable Dichtebandbreitenfusion und Mean-Shift auf mehreren Maßstäben erhalten wird.
Verfahren nach Anspruch 1, wobei die Videosequenz von einer an einem Ego-Fahrzeug angebrachten Kamera empfangen wird.
Verfahren nach Anspruch 1, wobei die Bewegungstrajektore unter Verwendung der Fahrzeuggeschwindigkeit des Ego-Fahrzeugs und von Kameraparametern bestimmt wird.
System zum Detektieren eines vorbeikommenden Fahrzeugs, umfassend: mindestens eine Kamera zum Erfassen einer Videosequenz von Einzelbildern von Hintergrunddynamik; einen mit der mindestens einen Kamera assoziierten Prozessor, wobei der Prozessor die folgenden Schritte ausführt: i). Messen von Bildintensität und Schätzen von Bildbewegung in jedem Einzelbild; ii). Formulieren eines die Hintergrunddynamik beschreibenden Hypothesenmodells; iii). Verwenden der gemessenen Bildintensität und der Bewegungsschätzung, um zu bestimmen, ob die Hintergrunddynamik in einem gegebenen Einzelbild verletzt wurde, durch Bestimmen, ob die Differenz zwischen gemessener Bildintensität und einer vorhergesagten Bildintensität über einer Schwelle liegt und ob die Differenz zwischen der gemessenen Bildbewegung und einer vorhergesagten Bildbewegung des Hintergrunds über einer Schwelle liegt; und iv). wenn die Hintergrunddynamik verletzt wurde, Verwenden von Bewegungskohärenz, um zu bestimmen, ob die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird, durch Ausführen der folgenden Schritte: Anwenden eines ersten Teilfensters und eines zweiten Teilfensters auf das Einzelbild mit der verletzten Hintergrunddynamik, um die die Verletzung verursachende Sequenz von Bewegung zu bestimmen, wobei die Bewegung durch das erste und das zweite Teilfenster unter Verwendung von robuster Bewegungsschätzung gemessen wird, die Bildabläufe und ihre Kovarianzen an verteilten Stichprobenpunkten in einem Analysefenster in Assoziation mit mehreren Einzelbildern berechnet; Bestimmen der Bewegungstrajektorie der verletzten Hintergrunddynamik durch Bestimmen, welches Teilfenster zuerst eine Bildbewegungsänderung anzeigt; und wenn das erste Teilfenster zuerst eine Bildbewegungsänderung erfährt, Bestimmen, daß die Verletzung der Hintergrunddynamik durch ein vorbeikommendes Fahrzeug verursacht wird.
System nach Anspruch 13, wobei das Hintergrunddynamik beschreibende Hypothesenmodell Hypothesen bezüglich der nach Bewegungsschätzung des Bildes verbleibenden Restintensität von Differenzen und Hypothesen bezüglich Bildbewegung umfaßt.
System nach Anspruch 13, wobei die vorhergesagte Bildintensität durch das Hintergrunddynamik beschreibende Hypothesenmodell bestimmt wird.
System nach Anspruch 13, wobei die vorhergesagte Bildbewegung durch Ego-Bewegung und Kameraparameter bestimmt wird.
System nach Anspruch 13, wobei die gemessene Bildbewegung durch ein robustes Bewegungsschätzverfahren erhalten wird.
System nach Anspruch 13, wobei der Prozessor ferner die folgenden Schritte ausführt: Bestimmen, ob die mit der verletzten Hintergrunddynamik assoziierte gemessene Bewegung Bewegungskohärenz aufweist; und wenn Bewegungskohärenz besteht, Bestimmen, daß die Verletzung auf ein vorbeikommendes Fahrzeug zurückzuführen ist.
System nach Anspruch 13, wobei die robuste Bewegungsschätzung durch exponentielles Gewichten von Bildabläufen und ihrer Kovarianzen an verteilten Stichprobenpunkten erfolgt.
System nach Anspruch 13, wobei die robuste Bewegungsschätzung durch gemeinsame räumliche zeitliche Filterung an Bildabläufen an verteilten Stichprobenpunkten erfolgt.
System nach Anspruch 20, wobei die räumlich-zeitliche Filterung unter Verwendung von variabler Dichtebandbreitenfusion und Mean-Shift auf mehreren Maßstäben erfolgt.
System nach Anspruch 21, wobei die gemessene Bewegung in dem ersten und dem zweiten Analysefenster durch die signifikanteste Stichprobenschätzung bestimmt wird, die durch variable Dichtebandbreitenfusion und Mean-Shift auf mehreren Maßstäben erhalten wird.
System nach Anspruch 13, wobei die Videosequenz von einer an einem Ego-Fahrzeug angebrachten Kamera empfangen wird.
System nach Anspruch 13, wobei die Bewegungstrajektorie unter Verwendung der Fahrzeuggeschwindigkeit des Ego-Fahrzeugs und von Kameraparametern bestimmt wird.