DE19753444A1

DE19753444A1 - Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses

Info

Publication number: DE19753444A1
Application number: DE19753444A
Authority: DE
Inventors: Jong-Dae Kim; Sanjit K Mitra; Kye-Ho Park; Dong-Seek Park
Original assignee: Samsung Electronics Co Ltd; University of California
Current assignee: Samsung Electronics Co Ltd; University of California
Priority date: 1997-03-14
Filing date: 1997-12-02
Publication date: 1998-09-17
Anticipated expiration: 2017-12-03
Also published as: CN1201144A; KR100243137B1; GB2325581B; CN1084471C; GB2325581A; JPH10261092A; JP3073715B2; GB9725701D0; DE19753444C2; US5912815A; KR19980079373A

Description

Die vorliegende Erfindung betrifft Lokalrelaxationsverfahren (LR) zur Bestimmung des optischen Flusses, und insbesondere in LR-Verfahren zur Bestimmung des optischen Flusses über einen Geschwindigkeitskombinationsterm unter Verwendung der Poisson- Gleichung (Entkopplung).

Die vor kurzem vorgenommene Anwendung des Lokalrelaxationsverfahrens (LR) zur Bestimmung des optischen Flusses zeigte erheblich bessere Eigenschaften als das Gauss- Seidel-Verfahren. Der direkte Einsatz von LR führt allerdings zu einer relativ langsamen Konvergenz, da die Poisson- Gleichungen gekoppelt sind, durch die ein Problem zur Bestimmung des optischen Flusses dargestellt wird.

Lokalrelaxationsalgorithmen (LR) arbeiten gut bei der Bestimmung des optischen Flusses, der das anscheinende Geschwindigkeitsfeld der Helligkeitsmuster in aufeinanderfolgenden Bildrahmen darstellt. LR kann selbst bei dem neuen Regelverfahren unter Einsatz einer Mehrfachskalierungsvorgehensweise verwendet werden, welches nicht auf den Regelparameter empfindlich ist. LR ist eine Art eines aufeinanderfolgenden Überrelaxationsschemas (SOR) mit sich räumlich ändernden Relaxationsparametern, welches die Gauss-Seidel-Relaxation (GS) übertrifft, wenn es für die Bestimmung des optischen Flusses eingesetzt wird. Ein direkter Einsatz von LR für die Bestimmung des optischen Flusses kann jedoch die Leistung beeinträchtigen. Dies liegt daran, daß zwei Geschwindigkeitskomponenten des optischen Flußfeldes unvermeidlich gekoppelt sind, so daß sich ein Satz gekoppelter Poisson-Gleichungen ergibt. Die Entkopplung dieser Poisson- Gleichungen verdeutlicht, wie jede entkoppelte Komponente der Geschwindigkeit auf der Grundlage der Jacobi-Relaxation dargestellt werden kann, um dabei zu helfen, einen besseren lokalen Relaxationsfaktor auszuwählen.

LR kann bei dem optischen Fluß eingesetzt werden, wenn dieses Problem als Grenzwertproblem formuliert wird. Diese Formulierung geht von der Helligkeitsrandbedingungsgleichung aus, die von der Annahme herrührt, daß sich lokale Helligkeitsmuster nicht während des Zeitintervalls aufeinanderfolgender Bildrahmen ändern, wie aus der folgenden Formel (1) hervorgeht:

I(x + δx, y + δy, t + δt) = I(x, y, t) (1)

und dies bedeutet, daß ein intensives Muster um einen Bildpunkt (x, y) um das Ausmaß von (δx, δy) in einem Zeitintervall δt bewegt wird, ohne daß sich sein Muster ändert. Entwickelt man die rechte Seite von (1) und vernachlässigt Terme höherer Ordnung, so erhält man folgende Formel (2):

I(x + δx, y + δy, t + δt) = I(x, y, t) + δx I_x + δx I_y + δx I_t (2)

wobei I_x, I_y bzw. I_t den horizontalen, vertikalen bzw. zeitlichen Gradienten eines Intensitätsmusters am Ort (x, y) zum Zeitpunkt t bezeichnen.

Kombiniert man die Formeln (1) und (2) und dividiert durch δt, so ergibt sich die folgende lineare Beziehung zwischen Gradienten und der Geschwindigkeit.

I_x U + I_y v + I_t = 0 (3)

Hierbei bezeichnen u und v die Horizontalgeschwindigkeit

bzw. die Vertikalgeschwindigkeit

Die lineare Formel (3) wird zur Messung eines lokalen Geschwindigkeitsvektors verwendet. Der Satz dieser Helligkeitsrandbedingungsgleichung ist allerdings schlecht für normale Bildsequenzen geeignet, infolge des wohlbekannten Aperturproblems. Zur Überwindung dieses Nachteils führten Horn und Schunck eine Glätterandbedingung ein, die zu der folgenden Optimierungsgleichung (4) führt:

Der zweite Term der voranstehenden Gleichung (4) bestraft die Abweichung von der Glätte des Geschwindigkeitsfeldes, und die Konstante α² dient einem Kompromiß zwischen beiden Randbedingungen.

Die folgenden gekoppelten Poisson-Gleichungen rühren direkt von der Optimierungsgleichung (4) her:

wobei α eine Konstante ist. Jede der gekoppelten Poisson- Gleichungen kann dadurch gelöst werden, daß die iterativen Verfahren für inverse Probleme eines großen linearen Systems verwendet werden, beispielsweise Jacobi-Relaxation (JR), Gauss-Seidel-Relaxation (GS), oder aufeinanderfolgende Überrelaxation (SOR). Da die Gleichungen (5) sich räumlich ändernde Koeffizienten aufweisen, infolge räumlicher Gradienten in ihren Termen auf der rechten Seite, ist es schwierig, den optimalen Relaxationsparameter bei SOR zu bestimmen. In diesem Fall kann LR dazu eingesetzt werden, die Gleichungen iterativ zu lösen.

Die Gleichungen (5) können unter Verwendung einer unitären Transformation vor dem Einsatz von LR entkoppelt werden, um ein besseres Verhalten zu erzielen, wenn eine der sich ergebenden Gleichungen konstante Relaxationskoeffizienten aufweist. Dieses Verfahren kann ein ähnliches Verhalten wie jenes ohne Entkopplung zeigen, da die Koppelterme der Gleichung (5) sehr klein sind, wenn die Konstante α für die optische Glätte sehr groß ist. Die Konstante α ist normalerweise deswegen groß, da die Abweichung des wahren Bewegungsfeldes von der Bewegungsrandbedingung größer ist als die Abweichung von der Glätterandbedingung. Wenn jedoch die Verschiebungsrahmendifferenz dazu verwendet wird, den Bewegungsrandbedingungsfehler zu verringern, so ist die Randbedingung für die gewünschte optische Glätte so klein, daß der Effekt der Entkopplung nicht vernachlässigbar ist.

Als nächstes wird ein lokales Relaxationsverfahren beschrieben. Es werden horizontale (vertikale) Vorwärtsverschiebungs- und Rückwärtsverschiebungs-Operatoren definiert, nämlich E_x und E_x ^-1 (E_y und E_x ^-1).

E_xu(x,y) = u(x+h,y) E_x ^-1u(x,y) = u(x-h,y) E_yu(x,y) = u(x,y+h) E_x ^-1u(x,y) = u(x,y-h) (6)

wobei h die Unterscheidungsentfernung ist.

Weiterhin wird der überlagerte Verschiebungsoperator E folgendermaßen definiert

Die Gradienten, die durch die Glättekonstante so normiert sind, daß sie Gleichungen vereinfachen, ergeben sich folgendermaßen:

Unter Verwendung des zusammengesetzten Verschiebeoperators E und der normierten Gradienten lassen sich die Gleichungen (5) dann folgendermaßen schreiben:

Eu = (1 + r_x ²)u + r_xr_yv + r_xr_t Ev = r_yr_xu + (1 + r_y²)v + r_yr_t (9)

Wenn der Kopplungsterm in jeder Gleichung, beispielsweise r_xr_yv in der Gleichung für das "u"-Feld, ignoriert wird, kann folgende Jacobi-Relaxation erhalten werden, um Gleichung (9) zu lösen.

In diesem Fall kann der Jacobi-Operator für jede Komponente, also J_u und J_v, folgendermaßen ausgedrückt werden:

und ihre lokalen spektralen Radien sind:

wobei dann, wenn die Bildgröße M×N beträgt, sich ρE folgendermaßen ergibt

Hierbei konvergiert das horizontale Bewegungsfeld "u" schneller als das vertikale Bewegungsfeld, wenn die horizontalen Gradienten größer als die vertikalen Gradienten sind, und dies gilt auch im umgekehrten Fall. Da sich der spektrale Radius des Jacobi-Operators räumlich entsprechend räumlicher Gradienten ändert, kann LR dazu verwendet werden, folgende Gleichung (14) zu erhalten:

wobei die lokalen Relaxationsparamter gegeben sind durch:

Wie voranstehend geschildert beeinträchtigt der direkte Einsatz von LR bei Gleichung (9) die Konvergenzgeschwindigkeit, da die Gleichung (9) ein gekoppeltes Gleichungssystem darstellt.

Ein Vorteil der vorliegenden Erfindung besteht in der Bereitstellung eines Lokalrelaxationsverfahrens, wodurch eine Poisson-Gleichung entkoppelt wird, und dann der entkoppelte Wert bei der lokalen Relaxation eingesetzt wird, um eine hohe Konvergenzgeschwindigkeit zu erzielen, und den optischen Fluß zu bestimmen.

Um den voranstehend geschilderten Vorteil gemäß der vorliegenden Erfindung zu erreichen, wird ein Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses unter Verwendung einer Poisson-Gleichung zur Verfügung gestellt, welches folgende Schritte aufweist: a) Bestimmung der Poisson-Gleichung entsprechend einer Änderung der Zeit durch eine lineare Matrix von Gx = Ex + b; b) Entkoppeln des ermittelten Geschwindigkeitskombinationsterms der Poisson- Gleichung; und c) Anwenden einer Differenz eines verschobenen Rahmens einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsausdruck entkoppelt ist.

Vorzugsweise wird eine unitäre Transformationsfunktion in dem Schritt b) eingesetzt.

Ebenfalls entsprechend den voranstehend geschilderten Vorteilen der vorliegenden Erfindung wird eine Einrichtung zum Kodieren von Videodaten zur Verfügung gestellt, welche aufweist: eine Eingabevorrichtung zum Empfang von zwei oder mehr Rahmen von Videodaten, welche Bildsequenzen darstellen; und eine Schaltung zur Bestimmung des optischen Flusses, welche an die Eingangsvorrichtung angeschlossen ist, und so arbeitet, daß sie den optischen Fluß innerhalb der Rahmen der Videodaten unter Verwendung einer Poisson-Gleichung bestimmt, wobei die Schaltung zur Bestimmung des optischen Flusses aufweist: eine Vorrichtung zur Bestimmung der Poisson- Gleichung in einer linearen Matrix von Gx = Ex + b entsprechend einer Änderung der Zeit; eine Vorrichtung zur Entkopplung eines ermittelten Geschwindigkeitskombinationsterms der Poisson-Gleichung; und eine Vorrichtung zum Einsatz einer Differenz eines verschobenen Rahmens einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsterm entkoppelt ist.

Ebenfalls entsprechend den voranstehend geschilderten Vorteilen der vorliegenden Erfindung wird ein Zusammenstoßalarmsystem zur Verfügung gestellt, welches aufweist: eine Eingabevorrichtung zum Empfang von zwei oder mehr Rahmen von Videodaten, welche Bildsequenzen darstellen; eine Schaltung zur Bestimmung des optischen Flusses, die an die Eingangsvorrichtung angeschlossen ist, und so arbeitet, daß sie den optischen Fluß innerhalb der Rahmen der Videodaten unter Verwendung einer Poisson-Gleichung bestimmt, wobei die Schaltung zur Bestimmung des optischen Flusses aufweist: eine Vorrichtung zur Bestimmung der Poisson-Gleichung in einer linearen Matrix von Gx = Ex + b entsprechend einer zeitlichen Änderung; eine Vorrichtung zur Entkopplung eines festgestellten Geschwindigkeitskombinationsterms der Poisson- Gleichung; und eine Vorrichtung zum Anwenden einer Differenz eines verschobenen Rahmens einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsterm entkoppelt ist; eine Strukturanalyseschaltung, die an einen Ausgang der Schaltung zur Bestimmung des optischen Flusses angeschlossen ist, um die Struktur eines oder mehrerer sich bewegender Gegenstände innerhalb der Bildsequenzen abzuziehen; eine Bewegungsanalyseschaltung, die an den Ausgang der Schaltung zur Bestimmung des optischen Flusses angeschlossen ist, um eine Relativbewegung der Gegenstände innerhalb der Bildsequenzen zu bestimmen; und eine Entscheidungsschaltung, die an einen Ausgang der Strukturanalyseschaltung und der Bewegungsanalyseschaltung angeschlossen ist, zur Feststellung, ob ein Zusammenstoß zwischen zumindest zwei Gegenständen oder Objekten bevorsteht, und zur Ausgabe eines entsprechenden Zusammenstoßalarmsignals.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen sich weitere Vorteile und Merkmale ergeben. Es zeigt:

Fig. 1 ein Flußdiagramm zur Erläuterung eines Lokalrelaxationsverfahrens zur Bestimmung des optischen Flusses unter Verwendung von Poisson- Gleichungen gemäß der vorliegenden Erfindung;

Fig. 2 ein Diagramm mit einer Darstellung von Iterationseigenschaften entsprechend der Glätterandbedingung;

Fig. 3a eine erste künstliche Bildsequenz "Sinewave";

Fig. 3b ein Bewegungsfeld entsprechend der "Sinewave" von Fig. 3a;

Fig. 4a ein reales Textbild "Pebbles";

Fig. 4b einen zweiten Rahmen, der aus dem Bild "Pebbles" interpoliert ist, welches das in Fig. 3b gezeigte Bewegungsfeld aufweist;

Fig. 5a das Ergebnis der "Sinewave"-Sequenz unter Verwendung eines absoluten Fehlers entsprechend der Glättekonstanten;

Fig. 5b das Ergebnis der "Pebbles"-Sequenz unter Verwendung eines absoluten Fehlers entsprechend der Glättekonstanten;

Fig. 6a das Ergebnis der Konvergenzgeschwindigkeit für die künstliche "Sinewave"-Sequenz;

Fig. 6b das Ergebnis der Konvergenzgeschwindigkeit für die künstliche "Pebbels"-Sequenz;

Fig. 7a das Ergebnis von 64×64 Teilen um ein Gesicht herum in dem 311-ten Rahmen einer Kraftfahrzeugsequenz;

Fig. 7b das Ergebnis von 64×64 Teilen um ein Gesicht herum in dem 312-ten Rahmen einer Kraftfahrzeugsequenz;

Fig. 8a ein Diagramm mit einer Darstellung der Beziehung zwischen MAE von Differenzen verschobener Rahmen und der Größe von Gradienten von Bewegungsvektoren sowie die relative Größe der entsprechenden Krümmung in Bezug auf den Gesichtsabschnitt der Kraftfahrzeugsequenz;

Fig. 8b ein Diagramm mit einer Darstellung der Konvergenz zu einem ermittelten Bewegungsfeld im Gleichgewichtszustand in Bezug auf den Gesichtsabschnitt der Kraftfahrzeugsequenz;

Fig. 9a einen Rahmen 311 zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für den Gesichtsabschnitt;

Fig. 9b ein Bewegungsfeld, welches dem Rahmen 312 überlagert ist, zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für den Gesichtsabschnitt;

Fig. 9c einen Rahmen, der aus dem Rahmen 311 interpoliert ist, unter Verwendung des Gleichgewichtszustands- Bewegungsfeldes zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für den Gesichtsabschnitt;

Fig. 9d einen Rahmen 312 zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für den Gesichtsabschnitt;

Fig. 9e eine Rahmendifferenz zwischen dem Rahmen 311 und dem Rahmen 312;

Fig. 9f eine Differenz zwischen dem Rahmen 312 und dem interpolierten Rahmen;

Fig. 10a 64×64 Teile um das Fenster des Rahmens 311 der Kraftfahrzeugsequenz herum;

Fig. 10b 64×64 Teile um das Fenster des Rahmens 312 der Kraftfahrzeugsequenz herum;

Fig. 11a ein Diagramm mit einer Darstellung der Beziehung zwischen MAE von Differenzen verschobener Rahmen und der Größe von Gradienten von Bewegungsvektoren, sowie die relative Größe der entsprechenden Krümmung in Bezug auf einen Fensterabschnitt der Kraftfahrzeugsequenz;

Fig. 11b ein Diagramm mit einer Darstellung der Konvergenz zu einen ermittelten Bewegungsfeld im Gleichgewichtszustand in Bezug auf einen Fensterabschnitt der Kraftfahrzeugsequenz;

Fig. 12a einen Rahmen 311 zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für einen Fensterabschnitt;

Fig. 12b ein Bewegungsfeld, welches dem Rahmen 312 überlagert wird, zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für einen Fensterabschnitt;

Fig. 12c einen Rahmen, der vom Rahmen 311 aus interpoliert ist, unter Verwendung des Gleichgewichtszustands- Bewegungsfeldes zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für einen Fensterabschnitt;

Fig. 12d den Rahmen 312 zur Überprüfung des Gleichgewichtszustands-Bewegungsfeldes für einen Fensterabschnitt;

Fig. 12e die Rahmendifferenz zwischen dem Rahmen 311 und dem Rahmen 312;

Fig. 12f die Differenz zwischen dem Rahmen 312 und dem interpolierten Rahmen;

Fig. 13 einen DPCM-Kodierer, der eine Schaltung zur Bestimmung des optischen Flusses zur Bestimmung des optischen Flusses gemäß der vorliegenden Erfindung aufweist; und

Fig. 14 ein Zusammenstoßalarmsystem, welches eine Schaltung zur Bestimmung des optischen Flusses gemäß der vorliegenden Erfindung aufweist.

Die vorliegende Erfindung, die ein Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses betrifft, ist beispielsweise beim Kodieren von Videodaten für zahlreiche Video-abhängige Anwendungen einsetzbar, beispielsweise bei einem DPCM-Kodierer oder einem Zusammenstoßalarmsystem. Die Bestimmung des optischen Flusses ist kritisch zur wirksamen Verarbeitung großer Datenmengen und zur Bereitstellung einer hohen Berechnungsleistung, wenn zahlreiche iterative Schritte erforderlich sind. Der schnell-konvergente Algorithmus, wie er hier beschrieben wird, ist für derartige Anwendungen geeignet.

Beispielsweise Fig. 13 zeigt einen grundlegenden DPCM-Kodierer, der bei der Bestimmung des optischen Flusses bei der Videokodierung verwendet wird. Der Kodierer empfängt eine Eingangsgröße, beispielsweise einen momentanen Rahmen einer Bildsequenz, die kodiert werden soll. Die Eingangsgröße wird einem Subtrahierer 10 zugeführt, dessen Ausgang an einen Eingang eines räumlichen Kodierers 20 angeschlossen ist. Das Ausgangssignal des räumlichen Kodierers 20 wird an einen (nicht gezeigten) Videodekodierer angelegt, und ebenfalls an einen Eingang eines räumlichen Dekodierers 30. Die Eingangsgröße wird darüber hinaus einer Schaltung 90 zur Bestimmung des optischen Flusses zugeführt, die so konstruiert und aufgebaut ist, daß sie gemäß der vorliegenden Erfindung arbeitet, wie dies nachstehend noch genauer erläutert wird.

Das Ausgangssignal der Schaltung 90 zur Bestimmung des optischen Flusses wird an einen Kodierer 80 für den optischen Fluß angelegt, dessen Ausgangssignal dem Videodekodierer (nicht gezeigt) und einem Dekodierer 70 für den optischen Fluß zugeführt wird. Das Ausgangssignal des Dekodierers 70 für den optischen Fluß wird einer Bewegungskompensationsschaltung 60 zugeführt. Das Ausgangssignal der Bewegungskompensationsschaltung 60 wird von dem Eingangssignal durch den Subtrahierer 10 subtrahiert, und dem Ausgangssignal des räumlichen Dekodierers 30 durch den Sammler 40 hinzuaddiert. Das Ausgangssignal des Sammlers 40 wird an einen Rahmenspeicher 50 angelegt, dessen Ausgang an den Eingang sowohl der Bewegungskompensationsschaltung 60 als auch der Schaltung 90 zur Bestimmung des optischen Flusses angeschlossen ist.

Wie ebenfalls aus Fig. 13 hervorgeht, wird der momentane Rahmen durch vorherige rekonstruierte Rahmen vorhergesagt, die durch irgendeine Bewegungsinformation wie beispielsweise Blockbewegungsalgorithmen (BMA) und optischen Fluß verzerrt sein können. Die Bewegungskompensationsschaltung 60 verzerrt den vorherigen, rekonstruierten Rahmen in dem Rahmenspeicher 50, um den momentanen Rahmen vorherzusagen. Der vorhergesagte Rahmen wird von dem eingegebenen momentanen Rahmen in dem Subtrahierer 10 subtrahiert, was ein Vorhersagefehlersignal ergibt, welches gewöhnlich weniger Entropie aufweist als der ursprünglich eingegebene Rahmen. Das Vorhersagefehlersignal wird durch den räumlichen Kodierer 20 weiter komprimiert, der einen von verschiedenen, auf diesem Gebiet wohlbekannten Algorithmen verwendet. Der räumliche Kodierer 20 kann beispielsweise einen Kompressionsalgorithmus auf der Grundlage eines Transformationscodes verwenden, beispielsweise eine diskrete Kosinustransformation (DCT) oder eine Wellenstücktransformation (WT) Das kodierte Fehlersignal wird dekodiert und dann einem früheren verzerrten Rahmen in dem Akkumulator 40 hinzuaddiert, um den momentanen Rahmen zu rekonstruieren.

Fig. 14 erläutert eine weitere praktische Anwendung, welche die vorliegende Erfindung betrifft. Genauer gesagt zeigt Fig. 14 ein Zusammenstoßalarmsystem, in welchem der optische Fluß in einem Zusammenstoßfeststellungssystem für ein automatisches Fahrzeug bestimmt wird. Eine Videodatensequenz wird einer Bestimmungsvorrichtung 11 für den optischen Fluß eingegeben. Der ermittelte optische Fluß wird einer Strukturanalyseschaltung 21 zugeführt, und zum Abziehen der Struktur sich bewegender Gegenstände (beispielsweise Fahrzeuge) verwendet. Das Bewegungsverhalten jedes Gegenstands wird in einer Bewegungsanalyseschaltung 31 untersucht, die an den Ausgang der Schaltung 11 zur Bestimmung des optischen Flusses und der Strukturanalyseschaltung 21 angeschlossen ist. Während der Untersuchungsphase bezüglich der Struktur von Gegenständen innerhalb einer vorgegebenen Szene und ihrer jeweiligen Bewegungen kommunizieren die Strukturanalyseschaltung 21 und die Bewegungsanalyseschaltung 31 miteinander. Die untersuchte Information wird zusammen mit einem Zusammenstoßalarmsignal an die Beurteilungsschaltung 41 ausgegeben, die ein Zusammenstoßalarmsignal ausgibt.

Wie aus Fig. 1 hervorgeht, wird ein Geschwindigkeitskombinationsterm der Poisson-Gleichung, die durch Formel (9) gegeben ist, in Matrixform entkoppelt (Schritt 10).

Durch Ansatz der Geschwindigkeitskomponente als x = (u,v)^t kann die Gleichung (9) in Matrixform folgendermaßen umgeschrieben werden:

Gx = Ex + b (16)

wobei die 2×2-Matrizen E, G und der Eingangsvektor "b" folgendermaßen aussehen:

Sind beide räumlichen Gradienten gleich Null, also im Vergleich zu α² vernachlässigbar, dann ist die Funktion jeder Komponente exakt sinusförmig, und ist der sich ergebende Jacobi-Relaxationsoperator trivialerweise gleich E.

Die Poisson-Gleichung wird unter Verwendung einer unitären Transformationsfunktion entkoppelt (Schritt 12) . Unter der Annahme, daß beide räumlichen Gradienten nicht gleich Null sind, läßt sich eine unitäre Transformationsmatrix U, welche die Matrix G diagonalisieren kann, folgendermaßen schreiben:

Die Vektoren "x" und "b" lassen sich folgendermaßen transformieren:

In den Gleichungen (19) hat jede Komponente des transformierten Bewegungsvektors eine physikalische Bedeutung, nämlich die Komponente parallel zur Randrichtung, x_P, bzw. die Komponente in Normalenrichtung, x_N.

Durch Anwendung der unitären Transformation U lassen sich die entkoppelten Jacobi-Relaxationsgleichungen wie in Gleichung (20) formulieren;

Wenn nun das Geschwindigkeitsfeld ausreichend glatt ist, um in einem lokalen Bereich linear approximiert zu werden, kann die komplizierte Verschiebungsoperatormatrix UEU^t so approximiert werden, daß sie diagonal ist, und ist ihr Element einfach der Verbundoperator E. Dies liegt daran, daß der Kopplungseffekt infolge des Verbundverschiebungsoperators, der tatsächlich einen Mittlungsvorgang über benachbarte Pixel darstellt, kleiner ist als jener infolge der direkten Geschwindigkeitskomponente. Schließlich erfüllt jede Komponente folgende Gleichungen:

In den Gleichungen (21) erfüllt die parallele Komponente der Geschwindigkeit eine homogene Differenzengleichung, deren Jacobi-Relaxationsoperator gleich E ist, wobei der Jacobi- Operator für die Normalkomponente gleich

Daher kann SOR mit einem konstanten optimalen Relaxationsfaktor bei der parallelen Komponente eingesetzt werden, und LR für die Normalkomponente, die sich räumlich ändernde Koeffizienten aufweist.

wobei jeder lokale Relaxationsparameter folgendermaßen ausgedrückt wird:

Da die Norm des Fehlers des Vektors (u,v)^r die gleiche ist wie jene des Vektors Ux, da sich die Vektoren durch eine unitäre Transformation auseinander ergeben, führt der Versuch, den Fehler des entkoppelten Vektors Ux zu minimieren, zu einer Minimierung des Fehlers des Vektors (u,v)^t. Die Iteration unter Verwendung der Gleichungen (22) läßt sich daher direkt bei der Bestimmung des optischen Flusses einsetzen. Die resultierenden Vektoren für jeden Pixel können durch die unitäre Matrix immer dann transformiert werden, wenn die horizontale und vertikale Komponente u bzw. v erforderlich ist.

Allerdings lassen sich die Gleichungen (22) weiter entwickeln, da die Darstellung für (u,v)^t normalerweise bei jeder Iteration in üblichen Anwendungen erforderlich ist. In Vektordarstellung lassen sich die Gleichungen (22) folgendermaßen umschreiben:

Zum Retransformieren des Vektors Ux auf (u,v)^t werden beide Seiten der Gleichungen (24) mit U^t multipliziert, und wird ein neues LR-Schema für das Vektorfeld x (u,v)^t folgendermaßen eingeführt:

xⁿ⁺¹ = (I-UWU^t)xⁿ + UWU^tG^-1E(xⁿ+b) (25)

wobei der lokale Relaxationsparameter UWU^t folgendermaßen durch eine Diagonalmatrix approximiert werden kann:

Die Nicht-Diagonalterme der lokalen Relaxationsmatrix sind relativ sehr klein, verglichen mit den Diagonaltermen, und beeinflussen in der Praxis die Konvergenz der Iteration nicht.

Dann läßt sich Gleichung (25) für jede Geschwindigkeitskomponente folgendermaßen umschreiben:

wobei u und v die abgekürzten Bezeichnungen für Eu bzw. Ev sind.

Interessanterweise ist der letzte Term in Klammern in dem vorgeschlagenen iterativen Gleichungen (27) exakt der gleiche wie jener, der von Horn und Schunck vorgeschlagen wurde.

Die Form der vorgeschlagenen Gleichung (27) läßt sich auch über eine sukzessive Überrelaxation, die blockweise durchgeführt wird, ableiten. Wenn der angesetzte Vektor der Geschwindigkeitsvektoren des gesamten Bildes als (u₁, v₁, u₂, v₂, . . ., u_N,v_N)^t angesetzt wird, dann bildet der Satz der Poisson- Gleichungen (5) ein großes lineares System, dessen Systemmatrix Blockdiagonalkomponenten aufweist. Mit diesen 2×2 Diagonalblöcken kann die blockweise SOR eingesetzt werden, und dann ergibt sich die gleiche Form wie die Gleichungen (27), mit Ausnahme des optimalen Relaxationsparameters.

Eine Differenz eines verschobenen Rahmens wird auf eine gekoppelte Poisson-Gleichung (Schritt 14) angewendet. Es ist schwierig, theoretisch zu beweisen, daß das vorgeschlagene Schema, also die Gleichungen (27), bessere Konvergenzeigenschaften hat als das vorhandene Schema, also die Gleichungen (14). Beide neigen jedoch dazu, dasselbe bezüglich des Gleichgewichtszustandsfehlers und der Konvergenz zu leisten, wenn die Glättekonstante sehr groß ist, da der Kopplungsterm r_xr_y soviel kleiner als r_x ² oder r_y ² ist, daß sein Effekt vernachlässigt werden kann.

Wenn jedoch die Gradienten in der registrierten Bilddomäne gemessen werden, beispielsweise Differenzen verschobener Rahmen als zeitliche Gradienten verwendet werden, dann zeigt die optimale Glättekonstante eine Neigung dazu, kleiner zu werden. Da die Glättekonstante in enger Beziehung zum Verhältnis zwischen dem Bewegungsrandbedingungsfehler und räumlichen Änderungen des sich ergebenden Bewegungsfeldes steht, können die Ableitungen höherer Ordnungen von Gradienten oder die abrupte Änderung des Bewegungsfeldes den gewünschten Wert der Konstanten kleiner machen.

In dem nächsten Abschnitt wird die Verschiebungsrahmendifferenz bei den existierenden und vorhanden Lrs eingesetzt, um zwei iterative Vorgehensweisen durchzuführen.

In verschiedenen Fällen läßt sich eine a priori Kenntnis des Geschwindigkeitsfeldes erhalten. Der vorher berechnete Wert kann jener in jeder iterativen Vorhergehensweise sein, und die Geschwindigkeit des höheren oder niedrigeren Niveaus kann jene bei der hierarchischen Vorgehensweise sein. Die Geschwindigkeit, die unter Verwendung anderer Verfahren bestimmt wurde, beispielsweise der Bewegung beweglicher Kanten, oder irgendwelche Vorhergehensweisen auf Merkmalsbasis, können ebenfalls als a priori Kenntnis der Geschwindigkeit dienen.

In jedem Fall kann unter Verwendung der ermittelten Geschwindigkeit, die vor dem Einsatz von LR erhalten wurde, die Helligkeitserhaltung unter Verwendung der folgenden Gleichung berechnet werden:

T(x+x_p+(δx-x_p) ,y+y_p+(δy-y_p),r+δt)=I(x,y,t) (28)

wobei (x_p,y_p) eine vorher bestimmte Verschiebung ist.

Approximiert man die obige Gleichung durch eine Taylor-Reihe um die verschobene Position (x+x_p,y+y_p) herum, so ist folgende Gleichung (29) erfüllt:

I(x+x_p, y+y_p, t+δt) + (δx-xp)I_x' + (δy-y_p) Iy' = I(x, y, t) (29)

Umschreiben der Gleichung (29) führt zu folgender Gleichung (30).

{I(x+x_p,y+y_p,(t+δt)-I(x,y,t)-x_pI_x'-y_pI_y'}+δxI_x'+δyT_y'=0 (30)

Diese Gleichung kann als Helligkeitsrandbedingungsgleichung mit registrierten Gradienten angesehen werden. Die ersten beiden Terme in den geschweiften Klammern von Gleichung (30) bilden die Verschiebungsrahmendifferenz, und die Terme in den geschweiften Klammern lassen sich als eine Art extrapolierter Rahmendifferenz ansehen. Die räumlichen Gradienten werden ebenfalls an der verschobenen Position gemessen, und lassen sich dadurch erhalten, daß der Bewegungs-kompensierte Mittelwert der darauffolgenden Rahmen eingesetzt wird.

Unter Verwendung der Normierung mit der Glättekonstanten kann die Helligkeitsrandbedingung mit registrierten Gradienten folgendermaßen erhalten werden:

r_x'u + r_y'v + r_t' = 0 (31)

wobei r_t' = dfd-r_x'u_p-r_y'v_p ist.

Unter Verwendung dieser Gradienten kann dieselbe Prozedur wir in den Abschnitten 2 und 3 einfach dadurch durchgeführt werden, daß jeder Gradient durch den neuen ersetzt wird. Die vorhandenen LR-Gleichungen (14) können daher mit den neuen Gradienten eingesetzt werden, um den optischen Fluß zu bestimmen.

Ein weiteres Iterationsschema läßt sich dadurch entwickeln, daß diese neuen Gradienten bei dem vorgeschlagenen Schema (22) eingesetzt werden. In diesem Fall läßt sich jedoch eine kompaktere Form ableiten, wenn der Nachbarschaftsmittelwert der vorher berechneten Werte als eine konventionelle Geschwindigkeit verwendet wird, also (u_p,v_p) = (u, v).

Es wird darauf hingewiesen, daß die letzten Terme in geschweiften Klammern der voranstehenden Gleichungen die gleichen sind wie jene, die von Nagel und Enkelmann vorgeschlagen wurden, abgesehen davon, daß sie die orientierte Glätterandbedingung betrachten.

Als nächstes wird eine Ausführungsform der vorliegenden Erfindung beschrieben.

Die Konstante für die optische Glätte muß entsprechend. eingestellt werden, je nachdem ob die normalen Gradienten oder die registrierten Gradienten verwendet werden. Sie ändert sich darüber hinaus in Abhängigkeit von den Bildern und implizierten Geschwindigkeitsfeldern. Anders ausgedrückt zeigt der Fehler zwischen dem wahren Geschwindigkeitsfeld und dem ermittelten Geschwindigkeitsfeld unterschiedliche Eigenschaften in Bezug auf den Gleichgewichtszustand und die Konvergenz, die auf der Glätterandbedingung beruhen.

Wie aus Fig. 2 hervorgeht, wird zum Vergleich unterschiedlicher Iterationsverfahren mit Unbestimmtheiten infolge der Glättekonstanten der Gleichgewichtszustandsfehler, der durch verschiedene Werte für die Glättekonstante erzeugt wird, untersucht, und wird die Konstante ausgewählt, welche den minimalen Gleichgewichtszustandsfehler ergibt.

Es werden vier Verfahren für zwei Arten künstlicher Bildsequenzen verglichen. Zuerst wird eine künstliche Bildsequenz mit einem künstlichen Bewegungsfeld betrachtet. Als zweites wird ein reales Textbild dazu verwendet, einen anderen Rahmen mit dem künstlichen Bewegungsfeld zu erzeugen.

Fig. 3a zeigt die erste künstliche Bildsequenz, also "Sinewave". Das Bild hat die Abmessungen von 64×64 Pixeln, und seine Intensität wird aus folgender Gleichung berechnet:

Der nächste Rahmen von "Sinewave" wird um (1,0) Pixel verschoben, um 6° gedreht, und auf das 1,1-fache vergrößert. Fig. 3b zeigt das entsprechende Bewegungsfeld.

Fig. 4a zeigt ein reales Textbild "Pebbles", und Fig. 4b zeigt einen zweiten Rahmen, der aus dem realen Text "Pebbles" mit dem in Fig. 3b gezeigten Bewegungsfeld interpoliert wird. Das reale Textbild, welches in Fig. 4a gezeigt ist, und das reale Textbild mit dem in Fig. 3b gezeigten Bewegungsfeld, werden bezüglich einer realistischeren Situation untersucht. Diese Sequenz wird als "Pebbels" bezeichnet. Der zweite, in Fig. 4b gezeigte Rahmen ist geringfügig verschwommen, da er aus dem realen Textbild durch Interpolation erzeugt wird.

Es wird der Gleichgewichtszustandsfehler des Bewegungsfeldes untersucht, welches ausreichende Glättekonstanten aufweist, um die Beziehung zwischen dem mittleren absoluten Gleichgewichtszustandsfehler und der Glättekonstanten zu erhalten. Dann erfolgt eine Interpolation mit einer B-Splinefunktion, um die Position des Minimums aufzufinden.

Die Fig. 5a und 5b stellen absolute Fehler entsprechend der Glättekonstanten dar. In den Fig. 5a und 5b zeigen die oberen Kurven das Ergebnis, welches unter Verwendung üblicher Gradienten erhalten wurde, und die unteren Kurven zeigen das Ergebnis, welches unter Verwendung der registrierten Gradienten erhalten wird. Weiterhin bezeichnet ein Punkt auf der Kurve die Position des Minimums, interpoliert durch B-Splinefunktionen. Fig. 5a zeigt das Ergebnis in Bezug auf ein Sequenzbild "Sinewave", und Fig. 5b zeigt das Ergebnis in Bezug auf ein Sequenzbild "Pebble". Der Gleichgewichtszustandsfehler, der gemäß der vorliegenden Erfindung vorgeschlagen wird, also bei einen Nach- Entkopplungsverfahren, ist exakt der gleiche wie bei dem vorhanden Algorithmus, ohne ein Entkopplungsverfahren. Schließlich sind die Gleichgewichtszustandsfehler für beide Algorithmen gleich, und unterscheiden sich nur die Konvergenzeigenschaften. Daher gibt es nur zwei Kurven für jede Bildsequenz, trotz der vier verglichenen Verfahren.

Die Fig. 6a und 6b zeigen die Konvergenzgeschwindigkeit für die künstlichen Sequenzen bei jedem Verfahren. In den Fig. 6a und 6b stellt das obere Kurvenpaar das Ergebnis der Verwendung der üblichen Gradienten dar, und das untere Kurvenpaar das Ergebnis der Verwendung der registrierten Gradienten. Die gestrichelten Kurven bei jedem Paar zeigen die Konvergenzgeschwindigkeit des vorhandenen Verfahrens, also eines Nicht-Kopplungsverfahrens, und die durchgezogenen Kurven stellen das vorgeschlagene Verfahren dar, also das Nach- Entkopplungsverfahren.

Hieraus sieht man, daß zwar die Konvergenzgeschwindigkeit des Nach-Entkopplungsverfahrens etwas größer ist als das Nicht- Entkopplungsverfahren, daß sie jedoch erheblich größer ist als bei dem vorhandenen Verfahren, bei welchem die registrierten Gradienten eingesetzt werden. Es wird darauf hingewiesen, daß der Gleichgewichtszustandsfehler unter Verwendung der registrierten Gradienten erheblich kleiner ist als jener, der unter Verwendung der normalen Gradienten erhalten wird.

Es sollte ein Kriterium zur Auswahl optimaler Glättekonstanten für reale Bildsequenzen geben, da das reale Bewegungsfeld nicht identifiziert werden kann. Es sollte die Konstante ausgewählt werden, die einen gewissen Kompromiß zwischen der Bewegungsrandbedingung und der Glätterandbedingung gestattet, statt jene auszusuchen, welche den kleinsten Gleichgewichtszustandsfehler aufweist. Gemäß der vorliegenden Erfindung wird die L-Kurve dazu verwendet, die optimale Glättekonstante auszuwählen.

Zuerst wird die Beziehung zwischen dem mittleren absoluten Fehler der Verschiebungsrahmendifferenz und der Abweichung von der glatten Bewegungsfeldoberfläche untersucht, also die Größe der Gradienten des Geschwindigkeitsfeldes. Zu diesem Zeitpunkt werden diese unter Verwendung verschiedener Glättekonstanten berechnet, und wird jede Glättekonstante interpoliert, um eine glatte Kurve zu erhalten. Der Ort, an welchem die Kurve ihre maximale Krümmung annimmt, wird ausgesucht, und die entsprechende Glättekonstante wird als die optimale Konstante verwendet.

Die Fig. 7a und 7b zeigen den 311-ten und den 312-ten Rahmen, die aus der wohlbekannten Fahrzeugsequenz als eine reale Bildsequenz ausgewählt wurden. Diese beiden Rahmen werden deswegen ausgewählt, da die implizierte Bewegung zwischen diesen beiden Rahmen sehr groß zu sein scheint. Fig. 7a zeigt das Ergebnis für den 311-ten Rahmen, und Fig. 7b das Ergebnis für den 312-ten Rahmen. Die Gesichtsabschnitte der ausgewählten Rahmen, die in den Fig. 7a und 7b gezeigt sind, werden untersucht, um das Nicht-Kopplungs- und das Nach- Kopplungsverfahren unter Verwendung registrierter Gradienten zu vergleichen. Zwischen diesen beiden Rahmen beugt der Mann seinen Kopf nach vorn.

Die Fig. 8a und 8b zeigen die Beziehung zwischen dem mittleren absoluten Fehler (MAE) von Verschiebungsrahmendifferenzen und der Größe von Gradienten von Bewegungsvektoren. Die durchgezogene Kurve zeigt an, daß eine Erhöhung der Glättekonstanten dazu führt, daß das Bewegungsvektorfeld glatter wird, wogegen die Verschiebungsrahmendifferenz größer wird, und umgekehrt. Das ist exakt das gleiche, was die L-Kurve anzeigt. Wenn jedoch die Glättekonstanten sehr klein sind, kann eine große Verstärkung bezüglich der Glätte des Bewegungsfeldes durch eine geringfügige Erhöhung der Glättekonstanten erhalten werden, während die Verschiebungsrahmendifferenzen beinahe ungeändert bleiben. Bei einer sehr großen Glättekonstanten verursacht eine geringfügige Änderung der Konstanten eine große Änderung der Verschiebungsrahmendifferenzen, wogegen die Glätte des Bewegungsfeldes ungeändert bleibt. Daher gibt es einen Kompromiß zwischen der Glätte des Bewegungsfeldes und den Verschiebungsrahmendifferenzen.

Die Kreise, die auf der durchgezogenen Kurve in Fig. 8a dargestellt sind, scheinen den voranstehend erläuterten Kompromißpunkt darzustellen. Dieser Punkt läßt sich normalerweise dadurch auffinden, daß die Krümmung der Kurve berechnet wird. Die gestrichelte Linie in Fig. 8 gibt die relative Größe der Krümmung an. Der Kreis liegt auf dem Spitzenwert dieser Krümmung.

Die Konvergenzgeschwindigkeit kann durch berechnet werden, daß verfolgt wird, wie weit sich das in jedem Schritt berechnete Bewegungsfeld von dem Gleichgewichtszustands-Bewegungsfeld unterscheidet. Diese Strategie ist dazu einsetzbar, die beiden Verfahren zu vergleichen, da beide Verfahren zu beinahe demselben Bewegungsfeld im Gleichgewichtszustand führen. Tatsächlich ist ihre euklidische Entfernung kleiner als 0,05 Pixel/Rahmen. Fig. 8b zeigt, wie schnell beide Verfahren zum Gleichgewichtszustands-Bewegungsfeld konvergieren. Die gestrichelte Kurve steht für das Nicht-Entkopplungsverfahren, und die durchgezogene Kurve für das Nach- Entkopplungsverfahren. Aus der Figur geht hervor, daß das vorgeschlagene Verfahren erheblich schneller arbeitet als das vorhandene Verfahren. Es ist mehr als zweimal schneller in der Hinsicht, daß die Differenz gegenüber dem Gleichgewichtszustand kleiner als 0,2 Pixel/Rahmen ist.

Das Gleichgewichtszustands-Bewegungsfeld, welches die Glättekonstante aufweist, die unter Verwendung des in Fig. 9a dargestellten Verfahrens ausgewählt wird, stimmt mit den in Fig. 8 gezeigten Ergebnissen überein. Fig. 9c zeigt den Rahmen, der aus dem 311-ten Rahmen von Fig. 9a unter Verwendung des Gleichgewichtszustands-Bewegungsfeldes von Fig. 9b interpoliert wird, wobei die Bewegungsvektoren dem 312-ten Rahmen überlagert sind, der in Fig. 9d gezeigt ist. Der interpolierte Rahmen und der 312-te Rahmen sind sehr ähnlich, abgesehen davon, daß der interpolierte Rahmen etwas heller ist als der 312-te Rahmen, infolge der Helligkeitsänderung zwischen dem 311-ten Rahmen und dem 312-ten Rahmen. Zur genaueren Untersuchung ist die Rahmendifferenz zwischen dem 311-ten Rahmen und dem 312-ten Rahmen in Fig. 9e gezeigt. Weiterhin sind die Unterschiede zwischen dem 312-ten Rahmen und dem interpolierten Rahmen in Fig. 9f dargestellt. Mit diesen beiden Differenzbildern wird eine Gammakorrektur mit einem Faktor 3 für Anzeigezwecke durchgeführt.

Um die Verfahren für reale Bildsequenzen zu untersuchen, die Bewegungsgrenzen aufweisen, werden die Fensterabschnitte des 311-ten Rahmens und des 312-ten Rahmens untersucht, und sind in Fig. 10 gezeigt. In diesen Abschnitten gehen die Gegenstände außerhalb des Fahrzeugs schnell vorbei, während die Bewegung des Fahrzeugrahmens relativ klein ist. Dieselbe Prozedur, die für den Gesichtsabschnitt durchgeführt wurde, wird für den Fensterabschnitt eingesetzt. Die Beziehung zwischen den Verschiebungsrahmendifferenzen und der Glätte ist durch die durchgezogene Linie in Fig. 11a dargestellt, und ihre Krümmung ist durch die gestrichelte Linie angegeben. Schließlich wird die Glättekonstante so bestimmt, daß sie den Spitzenwert der Krümmung darstellt. Hierbei markiert der Kreis wie vorher den Spitzenwert der Krümmung. Während die Konvergenzgeschwindigkeit nicht viel schneller ist, wie im Falle der Gesichtsabschnittsbildsequenz, infolge der Bewegungsgrenze, ist sie immer noch mehr als 70% schneller in der Nähe des Gleichgewichtszustands, damit die Differenz gegenüber dem Gleichgewichtszustands-Bewegungsfeld kleiner als 0,5 Pixel/Rahmen ist, wie in Fig. 11b gezeigt ist.

Um zu bestätigen, daß die ausgewählte Glättekonstante gut arbeitet, sind das Gleichgewichtszustands-Bewegungsfeld, das interpolierte Bild von dem 311-ten Rahmen unter Verwendung des Bewegungsfeldes, und die Differenzbilder in Fig. 12 gezeigt. Das interpolierte Bild gibt den Rahmen 312 sehr gut wieder, abgesehen von der rechten Seite des Bildes, in welcher neue Bilder von rechts aus in Fig. 12c ankommen. Das in Fig. 12b gezeigte Bewegungsfeld zeigt ebenfalls deutlich die Bewegungsgrenze. Der Unterschied zwischen dem Rahmen 311 und seiner interpolierten Version sind in Fig. 12e bzw. 12f gezeigt. Bei den Differenzbildern wurde ein Gammakorrektur mit einem Faktor 2 durchgeführt.

Wie voranstehend geschildert wurde gemäß der vorliegenden Erfindung ein neues Verfahren dadurch entwickelt, daß LR nach der Entkopplung der Poisson-Gleichungen eingesetzt wurde. Die registrierten Gradienten wurden sowohl bei einem Nicht- Entkopplungsverfahren als auch bei einen Nach- Entkopplungsverfahren eingeführt. Das Nach- Entkopplungsverfahren übertrifft das Nicht- Entkopplungsverfahren während zweier künstlicher Bildsequenzen, und ist mit registrierten Gradienten doppelt so schnell.

Die beiden Verfahren mit registrierten Gradienten wurden mit realen Bildsequenzen durch Auswahl der Glättekonstanten unter Verwendung des L-Kurvenverfahrens verglichen. Der Versuch zeigt, daß das Nach-Entkopplungsverfahren bezüglich der Konvergenz besser ist als das Nicht-Entkopplungsverfahren. Die allgemeinen Empfehlungen, die hier vorgeschlagen wurden, lassen sich bei jeden iterativen Verfahren zur Bestimmung des optischen Flusses einsetzen. Wenn beispielsweise eine gewisse Iteration bei irgendeiner Bestimmung der hierarchischen Bewegung erforderlich ist, läßt sich LR nach Entkopplung der Poisson-Gleichung einsetzen, welche die allgemein Formulierung des Problems zur Bestimmung des optischen Flusses darstellt. Ein Einsatz kann auch zur Bestimmung des optischen Flusses innerhalb eines kleinen Bildsegments erfolgen, da SOR und LR erheblich schneller als GS sind, wenn die Bildgröße nicht zu gering ist, beispielsweise 4×4.

Wie voranstehend geschildert ist die Konvergenzgeschwindigkeit schneller als jene, die beim Einsatz der konventionellen Vorgehensweise erzielt wird. Darüber hinaus kann in einem Fall, in welchem eine Verschiebungsrahmendifferenz eingesetzt wird, ein genauer Konvergenzwert erhalten werden, und kann die Bewegung in jedem Pixel bestimmt werden, um die Bildqualität zu verbessern, und kann im Falle eines Videocodes eine Kompressionsverstärkung erhalten werden, unter Verwendung eines Abschnitts eines Bewegungsvektors, also des Bewegungsvektors eines Niederbandsignals.

Claims

1. Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses unter Verwendung einer Poisson-Gleichung, mit folgenden Schritten:

a) Bestimmung der Poisson-Gleichung in einer linearen Matrix von Gx = Ex + b entsprechend einer Änderung der Zeit;
b) Entkoppeln des ermittelten Geschwindigkeitskombinationsterms der Poisson- Gleichung; und
c) Einsetzen einer Verschiebungsrahmendifferenz einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsterm entkoppelt ist.

2. Lokalrelaxationsverfahren zur Bestimmung des optischen Flusses nach Anspruch 1, dadurch gekennzeichnet, daß eine unitäre Transformationsfunktion in dem Schritt b) verwendet wird.

3. Einrichtung zum Kodieren von Videodaten, welche aufweist:
eine Eingangsvorrichtung zum Empfang von zwei oder mehr Rahmen von Videodaten, welche Bildsequenzen darstellen; und
eine Schaltung zur Bestimmung des optischen Flusses, die an die Eingangsvorrichtung angeschlossen ist, und so ausgebildet ist, daß sie den optischen Fluß innerhalb der Rahmen der Videodaten unter Verwendung einer Poisson- Gleichung bestimmt, wobei die Schaltung zur Bestimmung des optischen Flusses aufweist: eine Vorrichtung zur Bestimmung der Poisson-Gleichung in einer linearen Matrix von Gx = Ex + b entsprechend einer Änderung der Zeit; eine Vorrichtung zur Entkopplung eines ermittelten Geschwindigkeitskombinationsterms der Poisson-Gleichung; und eine Vorrichtung zum Einsetzen einer Verschiebungsrahmendifferenz einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsterm entkoppelt ist.

4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß eine Bewegungsbestimmungsvorrichtung vorgesehen ist, die an die Eingangsvorrichtung angeschlossen ist, und an den Ausgang der Schaltung zur Bestimmung des optischen Flusses, zur Kompensation der Bewegung innerhalb der Rahmen der Videodaten.

5. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Bewegungsbestimmungsvorrichtung aufweist: einen Subtrahierer zum Subtrahieren eines vorherigen Rahmens von Videodaten von einem momentanen Rahmen von Videodaten, und zur Ausgabe einer entsprechenden Differenz; einen räumlichen Kodierer, der an einen Ausgang des Subtrahierer angeschlossen ist, zum Kodieren der Differenz entsprechend einem Transformationskodieralgorithmus, um ein kodiertes Fehlersignal zu erzeugen; einen räumlichen Dekodierer zum Dekodieren des kodierten Fehlersignals; und einen Addierer zum Addieren eines Ausgangssignals des räumlichen Dekodierers zu einem zweiten vorherigen Rahmen eines Videodatensignals, um den momentanen Rahmen zu rekonstruieren; einen Rahmenspeicher zum Speichern des rekonstruierten Rahmens; und eine an einen Ausgang des Rahmenspeichers angeschlossene Vorrichtung zur Erzeugung und Ausgabe des ersten vorherigen Rahmens an den Subtrahierer.

6. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß der Transformationsalgorithmus entweder eine diskrete Kosinustransformation oder eine Wellenstücktransformation ist.

7. Zusammenstoßalarmsystem, welches aufweist:
eine Eingangsvorrichtung zum Empfang von zwei oder mehr Rahmen von Videodaten, welche Bildsequenzen darstellen;
eine Schaltung zur Bestimmung des optischen Flusses, die an die Eingangsvorrichtung angeschlossen ist, und so ausgebildet ist, daß sie den optischen Fluß innerhalb der Rahmen der Videodaten unter Verwendung einer Poisson- Gleichung bestimmt, wobei die Schaltung zur Bestimmung des optischen Flusses aufweist: eine Vorrichtung zur Bestimmung der Poisson-Gleichung in einer linearen Matrix von Gx = Ex + b entsprechend einer Änderung der Zeit;
eine Vorrichtung zum Entkoppeln eines ermittelten Geschwindigkeitskombinationsterms der Poisson-Gleichung;
und eine Vorrichtung zum Einsetzen einer Verschiebungsrahmendifferenz einer zeitlichen Änderung bei der Poisson-Gleichung, bei welcher der Geschwindigkeitskombinationsterm entkoppelt ist;
eine Strukturanalyseschaltung, die an einen Ausgang der Schaltung zur Bestimmung des optischen Flusses angeschlossen ist, um die Struktur eines oder mehrerer sich bewegender Gegenstände innerhalb der Bildsequenzen abzuziehen;
eine Bewegungsanalyseschaltung, die an den Ausgang der Schaltung zur Bestimmung des optischen Flusses angeschlossen ist, um eine Relativbewegung der Gegenstände innerhalb der Bildsequenzen zu bestimmen; und
eine Beurteilungsschaltung, die an einen Ausgang der Strukturanalyseschaltung und der Bewegungsanalyseschaltung angeschlossen ist, um festzustellen, ob ein Zusammenstoß zwischen zumindest zwei Gegenständen bevorsteht, und zur Ausgabe eines entsprechenden Zusammenstoßalarmsignals.