DE3727530A1 - Verfahren zur bestimmung von bewegungsvektoren - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bewegungsvektoren bei der blockweisen Codierung von Video­ bildern, bei dem ein Eingangsblock b _i mit gleichgroßen Bildausschnitten des vorangegangenen Videobildes vergli­ chen wird, und dem Eingangsblock b _i derjenige Vektor als Bewegungsvektor v _i zugeordnet wird, der die Verschiebung von der Position i zu demjenigen Bildausschnitt angibt, der die größte Ähnlichkeit mit dem Eingangsblock b _i hat.

Ein solches Verfahren ist Ausgangsbasis einer Reihe von Verbesserungsvorschlägen bei der Codierung von Videobil­ dern. Das durch die angegebenen Merkmale charakterisierte Verfahren hat - wie weiter unten näher erläutert werden wird - unter anderem der Nachteil, daß besonders bei nie­ drigen Übertragungsbitraten (z. B. bei 64 kBit/s) die Bild­ qualität sehr mangelhaft sein kann, weil bei der Wieder­ gabe von bewegten Objekten auf dem Bildschirm z. B. Block­ ränder störend sichtbar werden.

Um derartige Störungen abzuschwächen, hat W. Geuen (Geu­ en, W.: Postprocessing of Motion Vektors. Poster des For­ schungsinstitutes der Deutschen Bundespost, P.O. Box 5000, DE-6100 Darmstadt) vorgeschlagen, daß auch der Ge­ samtheit aller Bewegungsvektoren eines Videobildes be­ stehende Vektorfeld nachträglich zu glätten. Dabei wird von der Vorstellung ausgegangen, daß sich das Vektorfeld - wenn es der tatsächlichen Bewegung entspricht - von Block zu Block nur wenig ändert, sofern die Blöcke be­ nachbart sind. Ausreißer - also wesentliche Abweichungen eines Bewegungsvektors von den Bewegungsvektoren der Nachbarblöcke - kommen nicht vor. Daher wird mit speziel­ len Filtern nachträglich das abgespeicherte Vektorfeld geglättet, d. h., nach ihrer üblichen Bestimmung werden die Bewegungsvektoren durch ein spezielles Verfahren so abgeändert, daß Bewegungsvektoren benachbarter Blöcke nur gering voneinander abweichen. In der Tat läßt sich die Bildqualität damit verbessern. Zu beachten ist, daß mit der nachträglichen Änderung der Bewegungsvektoren der Prädiktionsfehler (siehe weiter unten) nicht immer mini­ mal ist.

Einen anderen Weg schlagen Brandt et al. ein (v. Brandt A., und Templer, W.: Optaining Smoothed Optical Flow Fields by Modified Block Matching. 5th SCIA, Stockholm (1987) Juni 2-5, Seiten 523-529). Von diesen Verfassern wird vorgeschlagen, beim Aufsuchen des Bewegungsvektors eines Blocks von vornherein anders vorzugehen. Während bisher die L1-Norm (näheres siehe weiter unten) von Dif­ ferenzblöcken minimiert wurde, wird zu dieser Norm nun noch ein gesonderter Term addiert, der - zum Zwecke der Glättung - von den Komponenten der Bewegungsvektoren vier benachbarter Blöcke abhängt. Als vorläufiger Prädiktions­ block mit vorläufigem Bewegungsvektor wird derjenige Block angesehen, der den Gesamtausdruck (L1-Norm erwei­ tert um den gesonderten Term) zum Minimum macht. Das Er­ gebnis wird - wie schon angedeutet - jedoch nicht als endgültig angesehen, sondern in theoretisch unendlich vielen Durchgängen für das gesamte Bild wiederholt, bis sich keine Änderungen mehr ergeben. Sodann wird die Blockgröße verringert und das Verfahren unter Verwendung des bisherigen Ergebnisses mit der verkleinerten Block­ größe wiederholt.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art anzugeben, bei dem ein geglät­ tetes Feld von Bewegungsvektoren bei nur einmaligem Durchgang aller Blöcke eines Videobildes erhalten wird.

Diese Aufgabe wird dadurch gelöst, daß unter der Ähnlich­ keit zwischen dem Eingangsblock b _i und einem gleich­ großen Bildausschnitt c der Ausdruck

verstanden wird, wobei der erste Summand den Prädiktions­ fehler angibt und der zweite Summand die mit Koeffizien­ ten f _k gewichtete Summe der Abweichungen eines Vektors v von schon bestimmten Bewegungsvektoren v _k (k=i) anderer Eingangsblöcke darstellt, daß der Vektor v die Verschie­ bung von der Position i zur Position des Bildausschnit­ tes c angibt und daß dem Eingangsblock b _i derjenige Vek­ tor v als Bewegungsvektor v _i zugeordnet wird, der den Ausdruck E zum Minimum macht.

Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfah­ rens sind in den Unteransprüchen angegeben. Anhand der Figur und eines Ausführungsbeispieles soll die Erfindung näher erläutert werden.

Die Figur zeigt einen Hybrid-Codierer, bei dem das erfin­ dungsgemäße Verfahren zur Anwendung kommt.

Der Hauptzweck des in der Figur gezeigten Hybridcodierers ist der, die von einer Video-Datenquelle kommenden Video­ daten möglichst mit geringem Informationsverlust in ein Signal mit möglichst geringer Bitrate umzucodieren (ver­ gleiche z. B. die deutsche Patentanmeldung DE 36 13 344). Bei diesem Vorgang werden zwei Codierungsprinzipien - da­ her der Name Hybrid-Codierer - angewendet:
Das Interframe-Prinzip, bei dem die Korrelation zwischen zeitlich aufeinanderfol­ genden Videobildern (diese Bezeichnung wird hier für Voll- und Teilbilder verwendet) ausgenutzt wird und
das Intraframe-Prinzip, bei dem die Korrelation der Videodaten innerhalb eines Videobildes ausgenutzt wird.

Vor dem eigentlichen Codierungsprozeß ist eine Aufberei­ tung der Daten erforderlich. Diese Aufbereitung wird bei dem Hybrid-Codierer nach der Figur durch eine Funktions­ einheit PP (preprocessing) übernommen. Die Daten werden in Blöcken an den Codierer übergeben. Ein jeder dieser Videodatenblöcke enthält die Daten bestimmter Bildpunkte eines Videobildes, die als Elemente einer quadratischen Zahlenmatrix aufgefaßt werden und die einen in seiner Po­ sition festgelegten Ausschnitt aus einem Videobild dar­ stellen (zur Bedeutung der hier verwendeten Begriffe im Zusammenhang mit Zahlenmatrizen vgl. Wigner, E.P.: Group Theory; Academic Press New York and London 1959, S. 1- 30).

So kann z. B. ein Datenblock aus den Chrominanzwerten der ersten acht Bildpunkte der ersten acht Zeilen eines Video­ bildes bestehen. Durch die Funktionseinheit PP wird je­ des Videobild in gleich große Datenblöcke, d. h., in gleichgroße Ausschnitte mit vorbestimmter Position, zer­ legt. Die Zerlegungsvorschrift läßt auch die Position - also z. B. die Mittelpunktskoordinaten - eines Datenblocks innerhalb eines gesamten Videobildes erkennen. Der eben als Beispiel angeführte Datenblock könnte z. B. durch b₁ symbolisiert werden, wobei der Index 1 als Kurzzei­ chen für die Mittelpunktskoordinaten des Datenblocks auf­ gefaßt werden kann. Datenblöcke von aufeinanderfolgenden Videobildern, die den gleichen Index haben, werden hier als sich entsprechende Datenblöcke bezeichnet.

Mit dergleichen Bezeichnung sollen auch Datenblöcke auf­ einanderfolgender Videobilder gemeint sein, deren Infor­ mationsinhalte die größte Übereinstimmung haben, deren Indices jedoch nicht übereinzustimmen brauchen. In diesem Sinne sich entsprechende Datenblöcke spielen bei Hybrid- Codierern eine Rolle, bei denen ein sogenanntes block­ matching vorgenommen wird. Für diese Variante von Hy­ brid-Codierern ist das vorliegende Verfahren gedacht.

Bei der Übergabe eines Datenblockes z. B. des Datenblocks b₁ an einen Eingang eines Subtrahierers SR wird gleich­ zeitig der entsprechende Datenblock - symbolisiert z. B. durch b₁ - des vorangegangenen Videobildes aus einem Bildspeicher BS an den anderen Eingang des Subtrahierers SR gegeben. In diesem Beispiel hat also der entsprechende Datenblock b₁ den gleichen Index - also die gleiche Posi­ tion - wie der Eingangsblock b₁. Der Subtrahierer SR bildet die Differenz zwischen den beiden Blöcken im Sinne der Differenz zwischen zwei Matrizen (vgl. Wigner l.c., S. 7); dieser Differenzblock wird nun weiteren Operatio­ nen unterworfen.

Eine erste Operationseinheit OE 1 nimmt mit jedem Diffe­ renzblock eine Ähnlichkeitstransformation im Sinne einer Matrixtransformation vor (vgl. Wigner l.c., S. 9). Sei a das Symbol für die Transformationsmatrix der Ein­ heit OE 1 und d₁ das Symbol für die Matrix des Differenz­ blockes - oder einfacher für den Differenzblock - so liegt nach der Transformation am Ausgang der Einheit OE 1 der Block D₁=a ^-1 d₁a an, wobei a ^-1 das Symbol für die zu a inverse Matrix bedeutet. Die Transformation durch die Einheit OE 1 entspricht etwa der Fourier-Transformation bei der akustischen Signalübertragung: der Block D₁ kann meist mit weniger Binärstellen codiert werden als der Block d₁.

Anschließend durchläuft das transformierte Signal einen Quantisierer Q, der nochmals für eine Datenreduktion sorgt. Damit das gesamte Signal mit konstanter Bitrate an einen Empfänger übertragen werden kann, ist ein Puffer­ speicher P vorgesehen. Ein Multiplexer MUX verschachtelt das aus dem Pufferspeicher P ausgelesene Nutzsignal mit Steuerinformationen, die im vorliegenden Falle unter an­ derem zur Einstellung eines Quantisierers auf der Empfän­ gerseite dienen (es handelt sich hier um adaptive Quan­ tisierer). Nach der Quantisierung wird das Signal auch über einen Rückkopplungsweg an den Eingang des Hybrid- Codierers zurückgeschleift. Zunächst wird der durch den Quantisierer Q veränderte Block D₁ durch eine nicht ein­ gezeichnete Regenerationseinheit so weit regeneriert, daß er bis auf Rundungsfehler mit dem ursprünglichen Block D₁ übereinstimmt. Sodann wird er durch eine zweite Operationseinheit OE 2 mit der Transformationsmatrix a ^-1 wieder in den Differenzblock d₁ (ebenfalls bis auf Run­ dungsfehler) zurücktransformiert. Ein Addierer AR addiert zu diesem Block - wegen der Verbindung eines Ausganges A des Bildspeichers BS mit einem Eingang des Addierers AR - den Datenblock b₁, mit dem durch den Substrahierer SR der Differenzblock d₁ gebildet wurde. Eventuelle Verzöge­ rungen wegen endlicher Laufzeiten werden entweder durch Verzögerungsglieder oder Taktverschiebungen (beides in Fig. 1 nicht angedeutet) ausgeglichen.

Wie sich leicht überprüfen läßt, ergibt sich am Ausgang des Addierers AR der Datenblock b₁ (bis auf Rundungsfeh­ ler) des gerade über die Funktionseinheit PP zugeführten Videobildes. Dieser Datenblock wird über einen Eingang E des Bildspeichers BS in ihn eingelesen und übernimmt dort die Rolle des Datenblockes b₁, der nun gelöscht wird.

Die Vorrichtung, die dem Aufsuchen des entsprechenden Da­ tenblocks - auch Prädiktionsblock genannt - dient, ist Bestandteil des Bildspeichers BS. Dem Bildspeicher BS wird nämlich über eine gesonderte Zuleitung - angedeutet durch die Verbindung des Ausgangs der Funktionseinheit PP mit dem Bildspeicher BS - ebenfalls der gerade erzeugte Eingangsblock b _i mit der Position i innerhalb eines Vi­ deobildes zugeführt. Ausgehend von der Position i werden nun im Bildspeicher BS nacheinander alle diejenigen Bild­ ausschnitte von der Größe eines Eingangsblocks mit dem Eingangsblock b _i verglichen, die sich aus der Position i durch Antragen eines der Vektoren eines vorgegebenen Satzes von 225 Verschiebungsvektoren g₁, g₂ . . . g₂₂₅ erge­ ben. Selbstverständlich enthält dieser Satz von Vektoren auch den Nullvektor.

Die sich durch die Verschiebung mit den Vekto­ ren g₁, g₂ . . . g₂₂₅ ergebenden Bildausschnitte stimmen in ihrer Lage im allgemeinen nicht mit der Lage eines Blockes überein, vielmehr sind diese Bildausschnitte ge­ gen das Blockraster versetzt. Die minimale von Null ver­ schiedene Versetzung ist so groß wie der Abstand zwischen zwei Bildpunkten.

Der Bildausschnitt des gespeicherten Bildes, der sich durch Verschiebung aus der Position i um den Vektor V er­ gibt, soll mit c _i (V) bezeichnet werden. Den Eingangs­ block b _i mit dem Block c _i (V) vergleichen heißt zunächst, die L1-Norm des Differenzblockes u _i=b _i-c _i (V) zu bilden. Darunter wird die Summe der Beträge aller Elemen­ te des Differenzblockes verstanden, die durch die symbo­ lische Schreibweise u _{i L1} angedeutet wird. Soll die Art der Norm offenbleiben, wird der Index L1 fortgelas­ sen. Die Norm des oben angegebenen Differenzblockes wird auch Prädiktionsfehler genannt, weil der Block c _i (V) beim Codieren als Vorhersageblock (Prädik­ tionsblock) für den Block b _i verwendet werden kann. Zu diesem Prädiktionsfehler werden noch zwei weitere Terme addiert, die vom gewichteten Unterschied des Vektors V zwischen zwei schon bekannten Vektoren v _l und v _m abhän­ gen. Insgesamt ergibt sich nun der Ausdruck

E= ∥ b _i-c _i (V) ∥ +f _l· ∥ V - v _l ∥ +f _m ∥ V - v _m ∥,

wobei hier das Symbol ∥ . . . ∥ wiederum die Betragssumme der Komponenten des Vektors bedeutet, der an der Stelle der Punkte steht. Die Koeffizienten f _l und f _m sind die Ge­ wichte, mit denen die Norm der Differenzvektoren gewich­ tet wird. Als Bewegungsvektor v _i wird nun derjenige Ver­ schiebungsvektor g₁, g₂ . . . g₂₂₅ dem Eingangsblock b _i zuge­ ordnet, der - an der Stelle von V eingesetzt - den Aus­ druck E zum Minimum macht. Die Vektoren v _l und v _m sind die Bewegungsvektoren jener schon bearbeiteter Eingangs­ blöcke, die der Position i am nächsten liegen. Da zu­ nächst unterstellt wird, daß die Blöcke eines Videobildes von links nach rechts sowie von oben nach unten abgear­ beitet werden, sind diese Vektoren den Blöcken zugeord­ net, von denen einer über dem Block b _i liegt und der an­ dere links daneben.

Ist der Block b _i Randblock, wird mindestens einer der Vektoren v _l oder v _m durch den Nullvektor ersetzt.

Werden die Bewegungsvektoren aller Blöcke durch Minimie­ rung des Ausdrucks E mit festen Koeffizienten f _l und f _m gewonnen, so ergibt sich ein glattes Vektorfeld, das mit nur einem Durchgang durch alle Blöcke des Videobildes er­ halten wird. Dennoch erhält man bei der Bildwiedergabe Artefakte (nicht näher angebbare Bildstörungen) an den Übergangszonen zwischen bewegten und unbewegten Objek­ ten. In diesem Bereich sind aufgrund der Veränderungen von Bild zu Bild große Bewegungsvektoren zu erwarten. Im Gegensatz dazu liefert der Ausdruck E mit festen Koeffi­ zienten f _l und f _m zu oft Nullvektoren als Bewegungsvek­ toren. Zur Behebung dieses Nachteils ist vorgesehen, Ko­ effizienten f _l und f _m in folgender Weise von den schon bestimmten Bewegungsvektoren v _l und v _m abhängig zu ma­ chen:

Entsprechendes gilt für f _m.

Mit dieser Kopplung der Konstanten f _l und f _m an die Vek­ toren v _l und v _m der schon abgearbeiteten Blöcke ergeben sich an den Rändern bewegter Objekte zwar bessere Kontu­ ren als vorher, jedoch entstehen gerade an den Rändern Bewegungsvektoren, die nicht annähernd mit der Richtung der Bewegungsvektoren im Innern der bewegten Objekte übereinstimmen. Diese Ausreißer von Vektoren treten nur dann auf, wenn man sich bei der Abarbeitung eines Gesamt­ bildes von links dem bewegten Objekt nähert, also nur am linken Rand des bewegten Objektes. Ändert man die Rich­ tung, in der die Blöcke abgearbeitet werden, so treten die Ausreißer nur am rechten Rand auf. Die beschriebenen Ausreißer von Vektoren führen zwar zu weniger starken Ar­ tefakten an den Rändern bewegter Objekte als Nullvekto­ ren, jedoch läßt sich auch der Rest an Artefakten noch beseitigen, wenn folgende Reihenfolge der Abarbeitung eingehalten wird:
Man beginnt mit der ersten Blockreihe von links nach rechts in der obersten Reihe des Videobildes und arbeitet die zweite Blockreihe in der entgegengesetzten Richtung durch. Die Abarbeitungsrichtung der dritten Reihe stimmt wieder mit der ersten Reihe überein. Es wird also die Richtung der Abarbeitung geändert, sobald man dabei an einen Rand des Bildes gerät.

Claims (4)

1. Verfahren zur Bestimmung von Bewegungsvektoren bei der blockweisen Codierung von Videobildern, bei dem ein Ein­ gangsblock b _i mit gleichgroßen Bildausschnitten des vor­ angegangenen Videobildes verglichen wird, und dem Ein gangsblock b _i derjenige Vektor als Bewegungsvektor v _i zugeordnet wird, der die Verschiebung von der Position i zu demjenigen Bildausschnitt angibt, der die größte Ähn­ lichkeit mit dem Eingangsblock b _i hat, dadurch gekennzeichnet,
daß unter der Ähnlichkeit zwischen dem Eingangsblock b _i und einem gleichgroßen Bildausschnitt c der Ausdruck verstanden wird, wobei der erste Summand den Prädiktions­ fehler angibt und der zweite Summand die mit Koeffizien­ ten f _k gewichtete Summe der Abweichungen eines Vektors v von schon bestimmten Bewegungsvektoren v _k (k i) anderer Eingangsblöcke darstellt, daß der Vektor v die Verschie­ bung von der Position i zur Position des Bildausschnit­ tes c angibt und daß dem Eingangsblock b _i derjenige Vek­ tor v als Bewegungsvektor v _i zugeordnet wird, der den Ausdruck E zum Minimum macht.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Summe im Ausdruck E zwei Terme enthält und es sich bei den schon bestimmten Bewegungsvektoren v _l und v _m um die Bewegungsvektoren derjenigen Blöcke handelt, die der Position i am nächsten liegen.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die in der Summe des Ausdrucks E verbleibenden beiden Koeffizienten f _l und f _m derart von den Bewegungsvekto­ ren v _l und v _m abhängig gemacht werden, daß ein Koeffizi­ ent den Wert Null bekommt, wenn der zugehörige Bewegungsvektor der Nullvektor ist und einen von Null verschiedenen Wert bekommt, wenn der zugehörige Be­ wegungsvektor nicht der Nullvektor ist.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Bewegungsvektoren v _i der Eingangsblöcke b _i in der Reihenfolge bestimmt werden, daß - angefangen bei einem Randblock - alle Blöcke einer Blockzeile nacheinander in einer Richtung durchlaufen werden und daß die nächste Blockzeile in umgekehrter Richtung durchlaufen wird.