-
Die Erfindung betrifft ein Verfahren zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten in zumindest zwei zeitlich nacheinander mittels einer Erfassungsvorrichtung erfassten Bildern.
-
Die Erfindung betrifft weiterhin eine Verwendung eines Verfahrens zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten in zumindest zwei zeitlich nacheinander mittels einer Erfassungsvorrichtung erfassten Bildern.
-
Aus der
DE 103 51 778 A1 sind ein Verfahren und eine Vorrichtung zur Korrespondenzanalyse in Bilddatensätzen bekannt, um innerhalb von zwei Bilddatensätzen miteinander korrespondierende Bildpunkte (Pixel) zu identifizieren. Dabei wird in einem ersten Schritt der Bilddatensatz mit einem Signaturoperator derart transformiert, dass für jedes Pixel ein Signaturstring berechnet und in einer Signaturtabelle gemeinsam mit den Pixelkoordinaten abgelegt wird, wobei in einem nächsten Schritt jedes Pixel des anderen Bilddatensatzes mittels desselben Signaturoperators transformiert wird, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren Signaturtabelle abgelegt werden. Die Einträge der beiden Signaturtabellen werden dahingehend untersucht, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings zugeordneten Koordinaten eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird. Das Verfahren und die Vorrichtung werden zur Korrespondenzanalyse bei der Berechnung des optischen Flusses innerhalb einer Sequenz von Kamerabilddaten verwendet.
-
Aus ”B. K. P. Horn und B. G. Schunk: Determining Optical Flow; In: Artificial Intelligence, Volume 17, Seiten 185 bis 203; 1981” ist ein Verfahren zur Bestimmung eines optischen Flusses von korrespondierenden Bildpunkten aus zwei zeitlich nacheinander erfassten Bildern bekannt. Dabei wird eine dichte Berechnung des optischen Flusses U gemäß U ≡ (u, ν)T: Ω → R2 [1] oder eines daraus abgeleiteten dreidimensionalen Bewegungsfeldes zwischen den Bildern und auf einer Bildebene Ω mit:
- u
- = horizontale Koordinate des Bildpunktes im Bild,
- v
- = vertikale Koordinate des Bildpunktes im Bild und
- R2
- = statistisches Bestimmtheitsmaß
ermittelt. Bei dieser Ermittlung wird eine linearisierte Form eines Energiefunktionals E(U) gemäß minimiert, um den gewünschten optischen Fluss U bzw. Flussvektor oder ein aus diesem gebildetes Flussfeld zu erhalten. Das Integral setzt sich dabei aus einem Datenterm gemäß [I2(x + U(x)) – I1(x)] [3] und einem Glättungsterm gemäß [∇U(x)]2 [4] mit: - I1
- = erste Bildfunktion,
- I2
- = zweites Bildfunktion,
- x
- = Koordinate im ersten oder zweiten Bild,
- α2
- = Gewichtungsterm und
- V
- = Gradient
zusammen.
-
Weiterhin ist ein gegen Ausreißer robustes und Flusskanten erhaltendes abgewandeltes Modell nach ”
C. Zach, T. Pock und H. Bischof: A Duality Based Approach for Realtime TV-L 1 Optical Flow; In: DAGM Symposium; 2007” bekannt, mittels welchem der optische Fluss gemäß
mit dem mathematischen Operand λ als Gewichtsfaktor ermittelt wird.
-
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Ermittlung eines optischen Flusses in einer mittels einer Erfassungsvorrichtung erfassten Szene und eine Verwendung des Verfahrens anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 8 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten in zumindest zwei zeitlich nacheinander mittels einer Erfassungsvorrichtung erfassten Bildern werden erfindungsgemäß eine Tiefenstruktur einer auf den Bildern abgebildeten Szene und eine Bewegung der Erfassungsvorrichtung mittels zumindest eines Sensors ermittelt und aus der Tiefenstruktur und der Bewegung wird ein optisches Flussfeld geschätzt und in Abhängigkeit des geschätzten optischen Flussfeldes wird ein tatsächliches optisches Flussfeld mittels eines iterativen numerischen Lösungsverfahrens ermittelt, wobei aus dem tatsächlichen optischen Flussfeld der optische Fluss ermittelt wird.
-
Das erfindungsgemäße Verfahren ermöglicht in besonders vorteilhafter Weise eine sehr genaue Ermittlung des optischen Flusses. Diese genaue Ermittlung ist besonders vorteilhaft auch bei großen Bildverschiebungen zwischen den zwei zeitlich nacheinander erfassten Bildern und in textur- und/oder strukturlosen Regionen der Bilder realisierbar, so dass große, nicht tolerierbare Fehler vermieden werden. Insbesondere bei einer Verwendung des Verfahrens in einem Fahrzeug können der optische Fluss und/oder aus diesem gebildete optische Flussfelder auch bei hohen Fahrzeuggeschwindigkeiten robust generiert werden, so dass bei einer Verwendung des optischen Flusses zum Betrieb von Fahrerassistenzsystemen eine Erhöhung der Leistungsfähigkeit der Fahrerassistenzsysteme erzielt werden kann. Auch zeichnen sich aus dem optischen Fluss ermittelte Größen, wie beispielsweise ein so genannter Scene-Flow, welcher eine dreidimensionale Erweiterung des optischen Flusses ist, durch eine besondere Exaktheit aus.
-
Im Gegensatz zu den aus dem Stand der Technik bekannten Verfahren, welche aufgrund einer nicht-konvexen Ausbildung der Bildfunktionen I1, I2 mittels in vertretbarer Zeit durchführbaren iterativen Lösungsalgorithmen nur lokal optimale Lösungen des optischen Flussfelds liefern, die sich nur in der Größenordnung der Bilddetails von initialen Lösungen u0 unterscheiden, ist es anhand des erfindungsgemäßen Verfahrens möglich, bei der üblichen Initialisierung mit einem Flussfeld u0(x) = 0∀x∊Ω [6] auch große Flusslängen zu ermitteln.
-
Ferner ist es im Gegensatz zu den aus dem Stand der Technik bekannten Verfahren, bei welchen die Glattheitsterme in den oben genannten Energiefunktionalen zu Fluss-Ergebnissen mit konstanten Werten im Bild führen, im Allgemeinen und insbesondere bei Verkehrsszenen Energiefunktionale zu ermitteln, welche der gesuchten Lösung entsprechen. Beispielsweise ist das relative Bewegungsfeld aus der Sicht eines bewegten Beobachters auf dem Boden, beispielsweise einer Straße, im Bild nicht konstant. Auch ist an einer Grenzlinie zwischen zwei sich unterschiedlich bewegenden Objekten in den Bildern kein Glätten des Fluss- oder Bewegungsfelds erwünscht. Mittels des erfindungsgemäßen Verfahrens können relative Bewegungsfelder aus der Sicht des bewegten Beobachters auf dem Boden im Bild als nicht konstant ermittelt und dargestellt werden und das Glätten an der Grenzlinie wird nicht durchgeführt bzw. ist nicht erforderlich.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
-
1 schematisch einen Verfahrensablauf zur Ermittlung eines optischen Flusses aus zwei zeitlich nacheinander erfassten Bildern.
-
In der einzigen 1 ist ein Verfahrensablauf zur Ermittlung eines optischen Flusses u korrespondierender Bildpunkte P1, P2 aus zwei zeitlich nacheinander erfassten Bildern B1, B2 dargestellt. Die Bilder B1, B2 werden insbesondere mittels einer nicht näher dargestellten Stereokamera erfasst, wobei aus den Bildern B1, B2 ermittelte Daten vorzugsweise zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs verwendet werden.
-
Es wird eine Tiefenstruktur T einer auf den Bildern B1, B2 abgebildeten Szene und eine Bewegung B der Erfassungsvorrichtung, hier der Stereokamera, unter Annahme einer stationären Welt mittels zumindest eines nicht dargestellten Sensors ermittelt. Der Sensor zur Ermittlung der Tiefenstruktur T der Szene ist beispielsweise ein Radarsensor, ein Lidarsensor, eine Stereokamera, ein Time-of-flight-Sensor, insbesondere eine so genannte PMD-Kamera, und/oder ein Laserscanner zur Ermittlung der Tiefenstruktur T mittels des so genannten ”Structured Light”. Der Bewegung der Erfassungsvorrichtung wird mittels zumindest eines Inertialsensors, eines Radarsensors, eines Lidarsensors, einer Monokamera, einer Stereokamera, eines Time-of-flight-Sensors und/oder eines Laserscanners ermittelt. Insbesondere sind auch bildbasierte Verfahren zur Schätzung der Bewegung B geeignet. Unter einem Inertialsensor wird hierbei ein Sensor zur Erfassung translatorischer und rotatorischer Beschleunigungskräfte, beispielsweise ein Gierratensensor oder ein Geschwindigkeitssensor verstanden. Beispielsweise wird die Bewegung B einer an einem Fahrzeug angeordneten Erfassungseinheit mittels eines Gierratensensors und/oder Geschwindigkeitssensors aus der Bewegung des Fahrzeugs ermittelt.
-
Zeitlich integrierte Fluss- und Bewegungsinformationen zur Unterstützung der eigentlichen Berechnung werden vorzugsweise durch die Anwendung von Kalman-Filtern gewonnen. Diese Gewinnung erfolgt insbesondere gemäß ”U. Franke, C. Rabe, H. Badino und S. Gehrig: 6D-Vision – Fusion of Stereo and Motion for Robust Environment Perception; In: DAGM Symposium, 2005”. Ebenso kann beispielsweise aus Radarsignalen eine Erwartung über ein erwartetes bzw. geschätztes optisches Flussfeld Uexp bewegter Objekte in den Bildern B1, B2 gewonnen werden.
-
Durch Wissen über die Tiefenstruktur T der auf den Bildern B1, B2 dargestellten Szene und die Bewegung B eines Beobachters, d. h. der Erfassungseinheit, wird unter der Annahme einer statischen Szene das entsprechende erwartete bzw. geschätzte Flussfeld Uexp gemäß Uexp ≡ (uexp, νexp)T: Ω → R2 [7] mit:
- uexp
- = geschätzte horizontale Koordinate des Bildpunktes im Bild,
- vexp
- = geschätzte vertikale Koordinate des Bildpunktes im Bild,
- Ω
- = Bildebene und
- R2
- = statistisches Bestimmtheitsmaß
ermittelt.
-
Zur Ermittlung eines tatsächlichen optischen Flussfeldes Ut wird das geschätzte optische Flussfeld Uexp in ein iteratives numerisches Lösungsverfahren beispielsweise über eine Initialisierung zu Beginn des Verfahrens eingekoppelt.
-
Besonders bevorzugt erfolgt die Bestimmung des tatsächlichen optischen Flussfeldes U
t über eine Modifizierung des aus ”
C. Zach, T. Pock und H. Bischof: A Duality Based Approach for Realtime TV-L 1 Optical Flow; In: DAGM Symposium; 2007” bekannten Energiefunktionals E(U) gemäß
wobei dann das geschätzte optische Flussfeld U
exp durch einen geschätzten horizontalen Flussvektor u
exp und einen geschätzten vertikalen Flussvektor v
exp in die globale Ausgleichsrechnung mit eingeht.
-
Mit anderen Worten: Aus der Tiefenstruktur T und der Bewegung B wird ein optisches Flussfeld Uexp geschätzt und in Abhängigkeit des geschätzten optischen Flussfeldes Uexp wird ein tatsächliches optisches Flussfeld Ut mittels eines iterativen numerischen Lösungsverfahrens gemäß Gleichung [8] ermittelt.
-
Der mathematische Operand λ stellt dabei einen Gewichtungsfaktor und der Operand x eine Koordinate im jeweiligen Bild B1, B2 bzw. einer ersten Bildfunktion I1 oder einer zweiten Bildfunktion I2 dar.
-
Ein erster Term gemäß |I2(x + U(x))– I1(x)| [9] bildet einen als so genannten ”optical flow constraint” ausgebildeten Datenterm, welcher mit dem Gewichtungsfaktor λ multipliziert wird.
-
Ein zweiter Term gemäß |∇(u – uexp)(x)| + |∇(ν – νexp)(x)| [10] bildet einen Glättungsterm, wobei der Glättungsterm aus den Gradienten V eines tatsächlichen horizontalen Flussverktors u und des geschätzten horizontalen Flussvektors uexp und eines tatsächlichen vertikalen Flussvektors v und des geschätzten vertikalen Flussvektors Vexp gebildet ist.
-
Aus dem tatsächlichen optischen Flussfeld Ut wird der optische Fluss U zwischen den korrespondierenden Bildpunkten P1, P2 der zeitlich nacheinander erfassten Bilder B1, B2 ermittelt.
-
Aus dem optischen Fluss U ist wiederum ein dreidimensionales Bewegungsfeld F ermittelbar.
-
Analog kann das geschätzte optische Flussfeld Uexp aus anderen Quellen ermittelt werden. Insbesondere kann ein nicht dargestellter bekannter Fluss fremdbewegter Objekte in das geschätzte optische Flussfeld Uexp eingebracht werden. Auch kann das geschätzte optische Flussfeld Uexp aus alternativen allgemein bekannten Flussverfahren, prädizierten Flüssen aufgrund der Auswertung vorangegangener Bilder B1, B2 und weiterer Sensordaten ermittelt und in die dargestellte Berechnung mit einbezogen werden.
-
Die ermittelte Tiefenstruktur wird darüber hinaus vorzugsweise verwendet, um festzulegen, an welcher Stelle in den Bildern B1, B2 eine Glättung des tatsächlichen Flussfelds Ut wie stark und in welche Richtung erfolgen soll. Dies ist auch als anisotropes Glätten bekannt. Somit sind Fluss- und Bewegungsfelder bestimmbar, deren Kanten konsistent mit Objektgrenzen sind.
-
Auch ist die beschriebene Ermittlung des optischen Flusses U anwendbar auf den beispielsweise aus ”A. Wedel, C. Rabe, T. Vaudrey, T. Brox, U. Franke, D. Cremers: Efficient Dense Scene Flow from Sparse or Dense Stereo Data, In: Proc. ECCV, 2008” bekannten so genannten ”scene flow”, welcher eine dreidimensionale Erweiterung des optischen Flusses U auf Stereobildern um eine so genannte Stereodisparitätsänderung darstellt.
-
Bezugszeichenliste
-
- B
- Bewegung
- B1
- Bild
- B2
- Bild
- F
- Bewegungsfeld
- P1
- Bildpunkt
- P2
- Bildpunkt
- T
- Tiefenstruktur
- U
- optischer Fluss
- uexp
- geschätzter horizontaler Flussvektor
- Uexp
- geschätztes optisches Flussfeld
- Ut
- tatsächliches optisches Flussfeld
- vexp
- geschätzter vertikaler Flussvektor
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- B. K. P. Horn und B. G. Schunk: Determining Optical Flow; In: Artificial Intelligence, Volume 17, Seiten 185 bis 203; 1981 [0004]
- C. Zach, T. Pock und H. Bischof: A Duality Based Approach for Realtime TV-L 1 Optical Flow; In: DAGM Symposium; 2007 [0005]
- U. Franke, C. Rabe, H. Badino und S. Gehrig: 6D-Vision – Fusion of Stereo and Motion for Robust Environment Perception; In: DAGM Symposium, 2005 [0018]
- C. Zach, T. Pock und H. Bischof: A Duality Based Approach for Realtime TV-L 1 Optical Flow; In: DAGM Symposium; 2007 [0021]
- A. Wedel, C. Rabe, T. Vaudrey, T. Brox, U. Franke, D. Cremers: Efficient Dense Scene Flow from Sparse or Dense Stereo Data, In: Proc. ECCV, 2008 [0030]
