-
BEREICH DER ERFINDUNG
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren zum Codieren
von Bewegungsinformation, assoziiert mit einer Videosequenz, aufgeteilt
in aufeinander folgende Frames, wobei dieses Verfahren die nachfolgenden
Verfahrensschritte umfasst:
- – Unterteilung
eines aktuellen Frames in zweidimensionale Blöcke;
- – für jeden
aktuellen Block des genannten aktuellen Frames, Selektion in einem
vorhergehenden Frame mit Hilfe eines Blockübereinstimmungsalgorithmus,
eines verschobenen Blocks als eine Vorhersage des genannten Blocks,
und Bestimmung eines Bewegungsvektors zwischen dem genannten verschobenen
und dem aktuellen Block, wobei alle Bewegungsvektoren, die auf gleiche
Weise für
das aktuelle Frame bestimmt worden sind, ein Bewegungsvektorfeld
bilden, das mit dem genannten aktuellen Frame assoziiert ist;
- – Codierung
des genannten Bewegungsvektorfeldes mit Hilfe einer differenziellen
Codierungstechnik, einschließlich
der Erzeugung für
jeden Block eines betreffenden Prediktors des assoziierten Bewegungsvektors.
-
Die
vorliegende Erfindung bezieht sich ebenfalls auf ein entsprechendes
Verfahren zum Decodieren von Bewegungsinformation, die nach diesem
Codierungsverfahren codiert worden ist. In der detaillierten Beschreibung
einer Implementierung der vorliegenden Erfindung, die nachstehend
gegeben wird, sind die zweidimensionalen Blöcke beispielsweise Makroblöcke, wie
diese in den Normen der MPEG-Familie definiert sind.
-
HINTERGRUND DER ERFINDUNG
-
Die
Codierungsschemen, die für
digitale Videokompression vorgeschlagen sind, benutzen im Allgemeinen
Schätzung
und Kompensation zum Reduzieren der zeitlichen Redundanz zwischen
den aufeinander folgenden Frames der verarbeiteten Videosequenz.
Bei derartigen Methoden wird ein Satz von Bewegungsvektoren an der
Codierungsseite bestimmt und zu dem Decoder übertragen. Die meisten Videocodierungsnormen
benutzen für
den Bewegungsschätzungsvorgang
den sog. Block-Matching-Algorithmus (BMA), beschrieben beispielsweise
in dem Dokument: "MPEG
video coding: a basic tutorial introduction", S. R. Ely, BBC Research and Development
Report, 1996. Der genannte Algorithmus, dargestellt in 1,
versucht für
jeden Block Bc eines aktuellen Bildes It den Block Br eines
vorhergehenden Bezugsbildes It-1 zu finden,
der am besten passt, wobei der genannte vorhergehende Block nur in
einem begrenzten Gebiet dieses vorhergehenden Bildes (oder Suchfensters
SW) um die Position des Blocks Bc gesucht
wird. Der auf diese Art und Weise in dem Codierer für jeden
Block Bc des aktuellen Frames bestimmte
Satz von Bewegungsvektoren muss dem Decoder zugesendet werden.
-
Um
die zum Übertragen
der Bewegungsvektoren erforderliche Bitrate zu minimieren werden
diese Vektoren in Bezug auf die vorher bestimmten Vektoren (oder
Prediktoren) im Allgemeinen unterschiedlich codiert. Genauer gesagt
die Codierung der Bewegungsvektoren, welche die Bewegung von vorhergehenden
Blöcken
Br zu den aktuellen Bc beschreiben,
wird mit Hilfe einer prediktiven Technik auf Basis vorher übertragener
räumlicher
Nachbarn verwirklicht. Die Bewegungsvektoren werden in Bezug auf einen
Prediktionswert unterschieden und unter Verwendung variabler Längencodes
codiert.
-
Dabei
sei auf das Patent
US 5.574.663 verwiesen,
das ein Verfahren und eine Anordnung schafft zum Erzeugen eines
dichten Bewegungsvektorfeldes, das die Bewegung zwischen zwei einstweilig
benachbarten Frames einer Videosequenz beschreibt, und zwar unter
Verwendung eines vorhergehenden dichten Bewegungsvektorfeldes. Bei
diesem Verfahren werden eine räumliche
DVT und eine zeitliche DVF bestimmt und summiert zum Schaffen einer
DVF Prediktion.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Es
ist eine erste Aufgabe der vorliegenden Erfindung ein Verfahren
zum Codieren von Bewegungsvektoren zu schaffen, das eine verbesserte Prediktion
dieser Bewegungsvektoren umfasst.
-
Dazu
bezieht sich ein erster Aspekt der vorliegenden Erfindung auf ein
Codierungsverfahren, wie dies in dem einleitenden Teil der vorliegenden Beschreibung
definiert ist und das dadurch gekennzeichnet ist, dass für jeden
aktuellen Block der erzeugte Prediktor P mit Hilfe einer linearen
Kombination erhalten wird, definiert durch eine Beziehung der nachfolgenden
Art: P = α·S + β·Twobei
S und T räumliche
bzw. zeitliche Prediktoren sind, die mit dem aktuellen Block assoziiert
sind, und wobei (α, β) Gewichtungskoeffizienten
sind, die mit dem genannten räumlichen
bzw. zeitlichen Prediktor assoziiert und derart gewählt worden
sind, dass eine Summe der mittleren quadratischen Fehler zwischen Bewegungsvektoren
des aktuellen Frames und deren assoziierten Prediktoren minimiert
wird.
-
Das
Kriterium für
die Wahl der Gewichtungskoeffizienten ist die Verzerrung zwischen
dem zu codierenden Bewegungsvektor C und dem Prediktor P in dem
LMS-Sinne zu minimieren, d.h. den nachfolgenden Operator zu minimieren: F = Σ[C – (α·S + β·T)]2,wobei die Summierung an dem ganzen
Bewegungsvektorfeld durchgeführt
wird, d.h. für
alle Blöcke
des aktuellen Frames.
-
Vorzugsweise
wird der räumliche
Prediktor dadurch erhalten, dass auf einen Satz von Bewegungsvektorkandidaten,
gewählt
aus der Umgebung des aktuellen Blocks, eine Medianfilterung angewandt
wird, wobei der genannte Satz von Bewegungsvektorkandidaten drei
Bewegungsvektorkandidaten aufweist, wenn eine räumliche Prediktion entsprechend
der MPEG-4 Norm erforderlich ist.
-
Der
zeitliche Prediktor kann dadurch bestimmt werden, dass entweder
der bereits bestimmte räumliche
Prediktor für
den Bewegungsvektor des aktuellen Blocks wieder verwendet wird um
auf den Block innerhalb des vorher übertragenen Bewegungsvektorfeldes
zu zeigen, oder dadurch, dass die räumlichen Prediktorkandidaten
gespeichert werden, die während
der Berechnung des räumlichen
Prediktors verwendet wurden, die mit denjenigen aus den entsprechenden
Blöcken
in dem aktuellen Bild übereinstimmen
mit Blöcken
des vorhergehenden Bildes, deren Bewegungsvektoren auch als räumliche
Prediktoren für
den zeitlichen zu bestimmenden Prediktor gesehen werden können, und
durch Implementierung einer Medianfilterung dieser räumlichen
Prediktoren innerhalb des vorhergehenden Bewegungsvektorfeldes,
wobei das erhaltene Ergebnis der genannte zeitliche zu bestimmende
Prediktor ist.
-
Es
ist eine andere Aufgabe der vorliegenden Erfindung, ein Verfahren
zum Decodieren von Bewegungsinformation zu schaffen, die mit Hilfe
des genannten Codierungsverfahrens codiert worden ist.
-
Dazu
bezieht sich ein zweiter Aspekt der vorliegenden Erfindung auf ein
Verfahren zum Decodieren von Bewegungsinformation entsprechend einer Bildsequenz,
und die vorher, vor der Übertragung und/oder
Speicherung, mit Hilfe eines Codierungsverfahrens nach einem ersten
Aspekt der vorliegenden Erfindung codiert worden ist, wobei dieses
Decodierungsverfahren das Kennzeichen aufweist, dass es zwei Typen
von Decodie rungsschritten aufweist:
- – für das erste
Bewegungsvektorfeld der Sequenz, einen ersten Typ eines Decodierungsschrittes,
nur auf Basis von räumlichen
Prediktoren;
- – für die anderen
Bewegungsvektorfelder, einen zweiten Typ eines Decodierungsschrittes,
der Folgendes umfasst: für
einen zu decodierenden Bewegungsvektor eine Berechnung des räumlich-zeitlichen
Prediktors P auf Basis der Bewegungsvektoren eines vorhergehenden
bereits decodierten Bewegungsvektorfeldes, räumlicher Prediktoren definiert
in einer Nähe
des zu decodierenden Bewegungsvektors, und der Gewichtungsvektoren α und β.
-
KURZE BESCHREIBUNG DER
ZEICHNUNG
-
Ausführungsbeispiele
der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben.
Es zeigen:
-
1 den
bekannten "block
matching Algorithmus",
-
2 die
Stellen der Prediktoren, die in einem bekannten dreidimensionalen
(3D) Bewegungsschätzungsverfahren
verwendet werden,
-
3 die
möglichen
Stellen räumlicher
Kandidaten zur Bewegungsvektorcodierung mit Hilfe einer prediktiven
Technik.
-
4 eine
erste Lösung
zur Bestimmung eines Bewegungsvektorszeitprediktors,
-
5 eine
zweite Lösung
einer derartigen Bestimmung,
-
6 eine
Implementierung eines Codierers, wodurch es ermöglicht wird, das Codierungsverfahren
nach der vorliegenden Erfindung durchzuführen,
-
7 eine
Implementierung eines Decoders, durch den es ermöglicht wird, das Decodierungsverfahren
nach der vorliegenden Erfindung durchzuführen.
-
DETAILLIERTE BESCHREIBUNG
DER ERFINDUNG
-
Wie
oben anhand der 1 erläutert, basiert die Bewegungsschätzung auf
einem Suchschema, das versucht, die möglichst beste Deckungsposition eines
Blocks innerhalb eines begrenzten Suchgebietes SW in dem vorhergehenden
Frame zu finden, wobei die genannte Deckungsposition für jeden
Block (oder "Makroblock" im Falle der MPEG-Normen) durch einen
Bewegungsvektor beschrieben wird, nach Subtrahierung des Predik tors
und der variablen Längencodierung
(VLC) von dem Codierer zu dem Decoder übertragen wird.
-
Das
Prinzip der vorliegenden Erfindung ist, in die Prediktion (geliefert
vor der variablen Längencodierung
(VLC) der differentiellen Werte, die jedem aktuellen Bewegungsvektor
entsprechen) einen zusätzlichen
Vorgang einzuführen,
wobei die zeitliche Korrelation berücksichtigt wird, die zwischen
zwei aufeinander folgenden Bewegungsvektorfeldern beobachtet werden
kann. Eine Bewegungsschätzung
auf Blockbasis, wobei zeitliche Prediktoren verwendet werden, die
bereits beschrieben worden sind, beispielsweise in "True motion estimation
with 3D recursive block matching" von
G. de Haan u. a. in "IEEE Transaction
on Circuits and Systems for Video Technology" Heft 3, Nr. 5, Oktober 1993, Seiten
368–379. Diese
Technik, die auf einer 3-D rekursiven Suche basiert, benutzt in
einer der möglichen
Implementierungen, dargestellt in 2, drei
räumliche
Prediktoren Pa, P2, P3, gewählt
aus den Nachbarblöcken
des aktuellen Blocks Bc, einen zusätzlichen
räumlichen Prediktor,
der eine lineare Kombination von P1 und dem besten Kandidaten des
vorher verarbeiteten Blocks ist, und einen zeitlichen Prediktor
P4 ("zeitlich" bedeutet, dass der
entsprechende Bewegungsvektor zu dem vorhergehenden Bewegungsvektorfeld
gehört).
-
Meistens
wurden bei bisherigen Arbeiten nur räumliche Prediktor betrachtet
um den aktuellen Bewegungsvektor differentiell zu codieren. Im falle
von 16 × 16
Pixelbewegungsvektoren (ein Bewegungsvektor für einen Makroblock mit vier
Blöcken),
bestand die räumliche
Prediktion aus der Wahl verschiedener Bewegungskandidaten (drei
in dem Fall von MPEG-4) in der Nähe
des aktuellen Makroblocks, wie beispielsweise in 3 dargestellt,
wobei mögliche
Stellen derartiger Kandidaten MV1, MV2 und MV3 gezeigt werden (wobei
der räumliche
Prediktor für
den aktuellen Bewegungsvektor dann dadurch erhalten wird, dass ein
Medianfiltervorgang an diesen Bewegungsvektorkandidaten durchgeführt wird).
Zum Verbessern der Bewegungsvektorcodierung wird nun vorgeschlagen,
die Korrelation zu benutzen, die es zwischen den Bewegungsvektoren längs der
Bewegungsstrecke gibt um den Bewegungsvektor des zu codierenden
aktuellen Makroblocks besser vorhersagen zu können.
-
Wie
in 4 dargestellt, kann eine erste Lösung zur
Bestimmung, für
das aktuelle Bewegungsvektorfeld CMVF, eines geeigneten zeitlichen
Prediktors P sein, den bereits für
den Bewegungsvektor des aktuellen Makroblocks bestimmten räumlichen
Prediktor neu zu verwenden um mit dem Makroblock innerhalb des vorher übertragenen
Be wegungsvektorfeldes PMVF überein
zu stimmen. Weiterhin kann um die Beeinflussung einer Prediktion
einer schlechten Qualität
zu reduzieren abermals ein Medianfiltervorgang durchgeführt werden,
durchgeführt
an einer Umgebung von acht Makroblöcken um den selektierten Makroblock
herum.
-
Eine
zweite Lösung
zur Bestimmung des Prediktors P ist, wie in 5 dargestellt,
die räumlichen
Prediktorkandidaten SPC zu speichern, die während der Berechnung des räumlichen
Prediktors verwendet worden sind. Diese Bewegungsvektorkandidaten
zeigen von Makroblöcken
in dem aktuellen Frame zu Makroblöcken in dem vorhergehenden Frame,
deren Bewegungsvektoren auch als räumliche Prediktoren für den zu
bestimmenden zeitlichen Prediktor gesehen werden können. Dieser
zeitliche Prediktor für
den aktuellen Bewegungsvektor ist dann das Ergebnis einer Medianfilterung
dieser räumlichen
Prediktoren innerhalb des vorhergehenden Bewegungsvektorfeldes.
-
Welche
die gewählt
Lösung
auch sein mag, der Prediktor P, der als räumlich-zeitlich bezeichnet werden
kann, wird mit Hilfe einer linearen Kombination von dem nachfolgenden
Typ erhalten: P = α·S + β·7wobei S und T der zusätzliche
räumliche
bzw. der zeitliche Prediktor sind, bestimmt wie oben beschrieben,
und wobei (α und β) Gewichtungskoeffizienten sind,
assoziiert mit dem genannten räumlichen
bzw. zeitlichen Prediktor. Ein mögliches
Kriterium für
die Wahl von α und β ist, in
dem mittleren quadratischen Sinne die Verzerrung zwischen dem ursprünglichen Bewegungsvektor
C und dem Prediktor P zu minimieren, d.h. den Operator F zu minimieren: F = Σ[C – (α·S + β·T)]2,wobei die Summierung Σ an dem ganzen
Bewegungsvektorfeld durchgeführt
wird, d.h. dadurch, dass alle Makroblöcke des aktuellen Frames hinzugezogen
werden (diese Gewichtungskoeffizienten α und β sollen in Richtung der Decodierungsseite übertragen
werden, da die Decodierungsanordnung die symmetrischen Vorgänge um sie
zu berechnen nicht durchführen
kann: gegenüber
den gesamten Übertragungskosten
muss dazu zwischen der von dem zeitlichen Prediktor gelieferten Übertragungsverstärkung und
den zusätzlichen Übertragungskosten
der zwei Werte (α, β) für jedes
Bewegungsvektorfeld ein guter Kompromiss erreicht werden).
-
Die
Bewegungsvektoren werden im Allgemeinen mit einer DPCM-Technik ("Differential Pulse Code
Modulation") codiert,
wobei nur die Differenzen zwischen dem Eingang und einer Prediktion
auf Basis eines vorher örtlich
decodierten Ausgangs quantisiert und Übertragen werden, wonach ein
Entropiecodierungsschritt folgt, und zwar unter Verwendung von VLC-Tabellen
und unter Erzeugung der codierten Daten entsprechend den Bewegungsvektoren). Wenn
ein Codierungsverfahren, wie oben beschrieben, in einem Videocodierungsschema
angewandt worden ist, müssen
die codierten Daten, die den Bewegungsvektoren entsprechen und die
an der Decodierungsseite empfangen worden sind, spezifisch decodiert
werden. Die Bewegungsvektorrekonstruktion wird danach entsprechend
den nachfolgenden Verfahrensschritten durchgeführt:
- – für das erste
Bewegungsvektorfeld (d.h. das Feld, das überhaupt keine Vorgänger hat)
wird ein bekannter Decodierungsschritt, nur basiert auf räumlichen
Prediktoren implementiert;
- – für die anderen
Bewegungsvektorfelder (d.h. diejenigen, die zeitliche Vorgänger haben),
werden die in dem Codierer vorgesehenen Vorgänge auf gleiche Weise implementiert:
wenn man die zeitlichen Prediktoren des Bewegungsvektors kennt (wobei
es sich um die Bewegungsvektoren des bereits decodierten vorhergehenden
Bewegungsvektorfeldes handelt), wenn man die räumlichen Prediktoren kennt
(= Bewegungsvektoren in der Nähe
des aktuellen zu decodierenden Bewegungsvektors) und wenn man die
Gewichtungskoeffizienten α und β kennt (die übertragen worden
sind), wird der Endprediktor P = α·S + β·T, bereits
an der Codierungsseite verwendet, berechnet, was danach ermöglicht,
den aktuellen Bewegungsvektor mit Hilfe der Übereinstimmung, festgestellt
in den VLC-Tabellen des Codierers differentiell zu decodieren.
-
Die
oben beschriebene Codierungstechnik kann in vielen Codierungsschemen
durchgeführt werden,
beispielsweise in einem MPEG-4 Video-Codierer. 6 zeigt
eine Illustration eines derartigen Codierers: die Eingangs-Videoinformation
VIF wird mit Hilfe einer Segmentierungsschaltung 61 in
Video-Objekte (VOs) aufgeteilt, eine Codierungssteuerschaltung 62 entscheidet
(beispielsweise auf Basis von Anforderungen des Benutzers, oder
auf Basis der Fähigkeiten
des Decoders) welche VOs übertragen
werden sollen, die selektierten VOs werden danach in Codierungsschaltungen 63a bis 63n codiert (jedes
Objekt unabhängig
von den anderen) und ein Multiplexer 64 mischt die auf
diese Art und Weise erhaltenen n Bitströme (welche die verschiedenen
VOs darstellen) zu einem ein zigen Video-Bitstrom. Da jedes VO durch
seine Form, seine Textur und seine Bewegungskomponenten definiert
ist, muss der Codierungsmechanismus jeder Codierungsschaltung Form-,
Textur- und Bewegungscodierungsvorgänge durchführen. Die Form- und Texurvorgänge werden durchgeführt, wie
dies beispielsweise in "MPEG-4 natural
video coding – An
overview" von T.
Ebrahimi u. a. in "Signal
Processing : Image Communication" Heft
15, Nr. 4-5. Januar 2000 Seiten 365–385 beschrieben worden ist.
Der Bewegungsvorgang kann nach der vorliegenden Erfindung durchgeführt werden,
d.h. durch Implementierung des oben beschriebenen Bewegungsinformationscodierungsverfahrens.
-
Auf
gleiche Art und Weise kann das oben beschriebene Decodierungsverfahren,
das dem Codierungsverfahren nach der vorliegenden Erfindung entspricht,
in einem Decodierungsschema durchgeführt werden, wie dies in demselben
Dokument beschrieben worden ist. 7 zeigt
eine Illustration eines Decoders, der es ermöglicht, dass ein codierter
Bitstrom, wie derjenige, der erhalten wird, wenn das genannte Codierungsverfahren
durchgeführt
wird, empfangen und decodiert wird: der Eingangsbitstrom wird zunächst in
einer Demultiplexerschaltung 71 gedemultiplext, die auf
diese Art und Weise gedemultiplexten elementaren Ströme, die
den verschiedenen VOs entsprechen, werden grammatisch bestimmt und
betreffenden Decodern (Formdecodierungsschaltung 72, Texturdecodierungsschaltung 73,
Bewegungsdecodierungsschaltung 74) und einer Rekonstruktionsschaltung 75 zugeführt, und
zwar unter Verwendung der decodierten Daten zusammen mit Szenenbeschreibungsinformation
zum wieder Zusammensetzen der ursprünglichen Szene mit den VOs,
bietet die Möglichkeit,
schlussendlich ein wiedergegebenes Videobild zu erhalten. Das Bewegungsinformationsdecodierungsverfahren nach
der vorliegenden Erfindung wird in der genannten Schaltungsanordnung 74 durchgeführt.
-
Die
oben stehende Beschreibung der bevorzugten Ausführungsformen der vorliegenden
Erfindung ist zur Illustration und zur Beschreibung gegeben. Ist
wird nicht beabsichtigt, dass die vorliegende Erfindung sich auf
die beschriebene genaue Form beschränkt oder darauf begrenzt wird,
und offenbar sind viele Modifikationen und Variationen, die dem Fachmann
einleuchten dürften
und die im Rahmen der vorliegenden Erfindung liegen, im Lichte der
oben stehenden Lehre möglich.
-
Es
dürfte
beispielsweise einleuchten, dass die hier beschriebenen Schaltungsanordnungen
in Hardware, in Software oder in einer Kombination von Hardware
und Software implementiert werden können, ohne dass ausgeschlossen
wird, dass ein einziges Element von Hardware oder Software mehrere Funktionen
durchführen
kann oder dass ein Gebilde aus Elementen von Hardware und Software
oder von beiden eine einzige Funktion durchführt. Die beschriebenen Verfahren
und Anordnungen können durch
jeden beliebigen Typ von Computersystem oder von einem anderen Gerät zum Durchführen der oben
beschriebenen Verfahren implementiert werden. Eine typische Kombination
von Hardware und Software könnte
ein Allzweck-Computersystem mit einem Computerprogramm sein, das,
wen geladen und durchgeführt,
das Computersystem derart steuert, dass es die hier beschriebenen
Verfahren durchführt.
Auf alternative Art und Weise könnte
ein Computer für
einen spezifischen Gebrauch, mit spezialisierter Hardware zum Durchführen einer
oder mehrerer funktioneller Aufgaben der vorliegenden Erfindung
verwendet werden.
-
Die
vorliegende Erfindung kann auch in einem Computerprogrammprodukt
eingebettet sein, das alle Elemente aufweist, welche die Implementierung
der hier beschriebenen Verfahren und Funktionen ermöglichen,
und die – wenn
in einem Computersystem geladen – imstande ist, diese Verfahren
und Funktionen durchzuführen.
Computerprogramm, Softwareprogramm, Programm, Programmprodukt oder
Software bedeutet in dem vorliegenden Kontext jeden Ausdruck, in
jeder beliebigen Sprache, in jedem beliebigen Code oder in jeder
beliebigen Notierung eines Satzes von Instruktionen mit der Absicht, ein
System zu schaffen mit einer Information verarbeitenden Fähigkeit
zum Durchführen
einer bestimmten Funktion, entweder unmittelbar oder mittelbar oder
beiden des Folgenden:
- (a) Umwandlung in eine
andere Sprache, in einen anderen Code oder in eine andere Notierung; und/oder
- (b) Reproduktion in einer anderen materiellen Form.