DE102006050066A1

DE102006050066A1 - Verfahren zur skalierbaren Videocodierung einer Folge digitalisierter Bilder

Info

Publication number: DE102006050066A1
Application number: DE200610050066
Authority: DE
Inventors: Peter Amon; Jürgen Dr. Pandel
Original assignee: Siemens AG
Current assignee: Nokia Solutions and Networks GmbH and Co KG
Priority date: 2006-10-24
Filing date: 2006-10-24
Publication date: 2008-04-30

Abstract

Die Erfindung betrifft ein Verfahren zur skalierbaren Videocodierung einer Folge digitalisierter Bilder (I, I'), wobei die Bilder der Folge auf unterschiedlichen Auflösungsebenen (R1, R2), umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codiert werden, bei dem: a)auf der ersten Auflösungsebene (R1) ein Satz von ersten Bewegungsvektoren (MV) für ein jeweiliges zu codierendes Bild (I) der Folge auf der Basis von einem in einem Speicher (Sp) gespeicherten, dem jeweiligen zu codierenden Bild (I) zugeordneten Referenzbild (RI) ermittelt wird, wobei sich das Referenzbild (RI) aus einem oder mehreren rekonstruierten Bildern (DI) zusammengesetzt und ein rekonstruiertes Bild (DI) durch die Decodierung eines zuvor codierten Bildes erzeugt wird; b) mithilfe des Satzes von ersten Bewegungsvektoren (MV) und des Referenzbildes (RI) eine Codierung für das jeweilige zu codierende Bild (I) auf der ersten Auflösungsebene (R1) durchgeführt wird, wodurch ein erstes codiertes Signal erhalten wird; c) nach der Erzeugung eines rekonstruierten Bildes (RI) die Übereinstimmung zwischen Bildbereichen (TPB, TPB') im rekonstruierten Bild (DI) und im Referenzbild (RI) gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungskonvektoren (MV') bestimmt wird; d) auf der Basis des Satzes von zweiten Bewegungsvektoren (MV') die Codierung der Bilder (I') der Folge ...

Description

Die Erfindung betrifft ein Verfahren zur skalierbaren Videocodierung einer Folge digitalisierter Bilder sowie ein entsprechendes Decodierverfahren sowie eine entsprechende Codiervorrichtung und Decodiervorrichtung.
Verfahren zur skalierbaren Videocodierung ermöglichen die Codierung von Videobildern auf unterschiedlichen Auflösungsebenen. Die aus dem Stand der Technik bekannten Verfahren führen in unterschiedlichen Auflösungsebenen getrennt Bewegungsschätzungen durch, um Bewegungsvektoren zu berechnen, welche für eine Bewegungskompensation verwendet werden, um das zu codierende Bild zu prädizieren und den Prädiktionsfehler zu codieren.
In dem bekannten skalierbaren Videocodierverfahren gemäß der Druckschrift [1] werden Bewegungsvektoren in höheren Auflösungsebenen als Differenz zu den entsprechenden Bewegungsvektoren in der nächst niedrigeren Auflösungsebene an den Decoder übertragen. Alternativ können die Bewegungsvektoren in einer höheren Auflösungsebene auch unabhängig von den Bewegungsvektoren in der niedrigeren Auflösungsebene zum Decoder übertragen werden.
Bei den bekannten Verfahren zur skalierbaren Videocodierung erweist es sich als nachteilhaft, dass für jede Auflösungsebene zusätzliche Bewegungsvektoren von der Codiervorrichtung zur Decodiervorrichtung übertragen werden müssen, da ansonsten eine Decodierung auf der höheren Auflösungsebene nicht möglich ist. Demzufolge werden in bekannten Videocodierverfahren höhere Auflösungsebenen oft mit geringerer Genauigkeit codiert, um die Menge an zu übertragenden Bewegungsvektoren möglichst gering zu halten.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zur skalierbaren Videocodierung und zur entsprechenden Decodierung zu schaffen, bei dem eine hohe Genauigkeit der Codierung auch auf höheren Auflösungsebenen bei gleichzeitig geringer Menge an zu übertragenden Bewegungsvektoren erreicht wird.
Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
In dem erfindungsgemäßen Verfahren werden die Bilder einer Folge digitalisierter Bilder auf unterschiedlichen Auflösungsebenen umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codiert, wobei auf der ersten Auflösungsebene ein Satz von ersten Bewegungsvektoren für ein jeweiliges zu codierendes Bild auf der Basis von einem in einem Speicher gespeicherten, dem jeweiligen zu codierenden Bild zugeordneten Referenzbild ermittelt wird. Das Referenzbild setzt sich hierbei aus einem oder mehreren rekonstruierten Bildern zusammen und kann insbesondere auch ein einzelnes rekonstruiertes Bild sein, wobei ein rekonstruiertes Bild durch die Decodierung eines zuvor codierten Bildes erzeugt wird. Mit Hilfe des Satzes von ersten Bewegungsvektoren und des Referenzbildes im Speicher wird dann eine Codierung für das jeweilige zu codierende Bild auf der ersten Auflösungsebene durchgeführt, wodurch ein erstes codiertes Signal erhalten wird.
Gemäß der Erfindung wird nach der Erzeugung eines rekonstruierten Bildes die Übereinstimmung zwischen Bildbereichen im rekonstruierten Bild und im Referenzbild gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt, und in Abhängigkeit von der Übereinstimmung wird ein Satz von zweiten Bewegungsvektoren bestimmt. Auf der Basis des Satzes von diesen zweiten Bewegungsvektoren wird dann die Codierung der Bilder der Folge auf der zweiten Auflösungsebene durchgeführt, wodurch ein zweites codiertes Signal erhalten wird.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass ein Vergleich eines rekonstruierten Bildes mit dem Referenzbild erfolgt, um hierdurch zu bestimmen, welche Bildbereiche die für die (bereits durchgeführte) Prädiktion am besten geeigneten Bildbereiche zur Erreichung eines geringen Prädiktionsfehlers gewesen wären. Diese Information wird dann dazu genutzt, um entsprechend verbesserte zweite Bewegungsvektoren zu bestimmen, die dann in einer höheren Auflösungsebene verwendet werden können. Die Erfindung macht sich die Tatsache zu Nutze, dass beim Vergleich des rekonstruierten Bildes mit dem Referenzbild keine Informationen bezüglich des ursprünglichen Bildes benötigt werden, so dass dieser Schritt analog auch bei der Decodierung des Bildes durchgeführt werden kann, ohne dass zweite Bewegungsvektoren übertragen werden müssen. Durch geeignete Wahl von kleinen Bildbereichen, deren Übereinstimmung untereinander überprüft wird, kann ferner eine hohe Genauigkeit der Codierung in der nächst höheren zweiten Auflösungsebene erreicht werden, wobei nicht der Nachteil auftritt, dass eine Vielzahl von zweiten Bewegungsvektoren übertragen werden muss.
In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird der Satz von ersten Bewegungsvektoren mit der hinlänglich aus dem Stand der Technik bekannten Bewegungsschätzung ermittelt, bei der Bildbereiche im zu codierenden Bild mit entsprechenden Bildbereichen im Referenzbild verglichen werden und anhand eines Fehlerkriteriums (z.B. mit der bekannten Rate-Distortion-Optimierung) festgestellt wird, welcher jeweilige Bildbereich im Referenzbild am besten zu einem Bildbereich im zu codierenden Bild passt. Das erfindungsgemäße Verfahren ist auch dann einsetzbar, wenn in einer betrachteten Auflösungsebene bereits ein Satz von zweiten Bewegungsvektoren zur Codierung verwendet wird, denn auch mit diesem Satz von Bewegungsvektoren kann durch die erfin dungsgemäßen Schritte ein weiterer Satz von zweiten Bewegungsvektoren für eine nächst höhere Auflösungsebene ermittelt werden. In diesem Fall werden die ermittelten zweiten Bewegungsvektoren der betrachteten Auflösungsebene gleichgesetzt mit den ersten Bewegungsvektoren, um neue, zweite Bewegungsvektoren für die höhere Auflösungsebene zu gewinnen.
Das erfindungsgemäße Verfahren ist für beliebige Arten von unterschiedlichen Auflösungsebenen geeignet, insbesondere können die Auflösungsebenen unterschiedliche zeitliche und/oder örtliche Auflösungsebenen und/oder unterschiedliche SNR-Skalierungsebenen (SNR = Signal to Noise Ratio) umfassen. Die SNR-Skalierung betrifft hierbei eine unterschiedliche Quantisierung auf den verschiedenen Auflösungsebenen. Diese Skalierung ist hinlänglich aus dem Stand der Technik bekannt, weshalb sie an dieser Stelle nicht näher erläutert wird.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird der Satz von ersten Bewegungsvektoren gemäß einem vorgegebenen Kriterium (beispielsweise dem oben erwähnten Rate-Distortion-Kriterium) derart ermittelt, dass Bildabschnitte vorgegebener Größe im zu codierenden und dem daraus erzeugten rekonstruierten Bild zumindest teilweise jeweils ein Bewegungsvektor zugeordnet wird, wobei jeder Bewegungsvektor eine Verschiebung zwischen dem Bildabschnitt im zu codierenden Bild bzw. im rekonstruierten Bild und dem entsprechenden Bildabschnitt im Referenzbild beschreibt.
Vorzugsweise wird zur Bestimmung des Satzes von zweiten Bewegungsvektoren für Bildbereiche eines jeweiligen Bildabschnitts im rekonstruierten Bild, d.h. für Teilbereiche des jeweiligen Bildabschnitts, jeweils ein neuer Bewegungsvektor dadurch ermittelt, dass der dem jeweiligen Bildabschnitt zugeordnete erste Bewegungsvektor variiert wird, wobei die Variation insbesondere in vorbestimmten Grenzen durchgeführt wird, was gleichzusetzen damit ist, dass der Bildbereich, der gemäß dem ursprünglichen ersten Bewegungsvektor im Referenz bild verschoben ist, in einem vorbestimmten Gebiet verschoben wird. Die Grenzen, innerhalb welcher der Bewegungsvektor variiert wird, sind insbesondere so gewählt, dass der durch den variierten Bewegungsvektor verschobene Bildbereich immer noch in der Nachbarschaft zu dem Bildbereich ohne Variation des Bewegungsvektors liegt. Die Grenzen können beispielsweise im Bereich eines Pixelabstandes im Referenzbild liegen. Der neue Bewegungsvektor ist hierbei der variierte Bewegungsvektor, der die größte Übereinstimmung gemäß dem vorbestimmten Übereinstimmungskriterium zwischen dem jeweiligen Bildbereich im rekonstruierten Bild und dem mit dem variierten Bewegungsvektor im Referenzbild verschobenen Bildbereich liefert, wobei die neuen Bewegungsvektoren zweite Bewegungsvektoren des Satzes von zweiten Bewegungsvektoren darstellen.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird zunächst für einen Bildbereich eines jeweiligen Bildabschnitts im rekonstruierten Bild die Übereinstimmung zwischen diesem Bildbereich und dem mit dem entsprechenden ersten Bewegungsvektor im Referenzbild verschobenen Bildbereich gemäß dem vorbestimmten Übereinstimmungskriterium ermittelt. Sollte hierbei die ermittelte Übereinstimmung geringer als eine erste Mindestübereinstimmung sein, werden neue Bewegungsvektoren für alle Bildbereiche des jeweiligen Bildabschnitts gemäß der oben dargelegten Variation des ersten Bewegungsvektors bestimmt. Sollte die ermittelte Übereinstimmung jedoch größer bzw. gleich der ersten Mindestübereinstimmung sein, werden als zweite Bewegungsvektoren für alle Bildbereiche des jeweiligen Bildabschnitts der dem jeweiligen Bildabschnitt zugeordnete erste Bewegungsvektor verwendet. Es wird somit eine Neuberechnung von zweiten Bewegungsvektoren nur dann durchgeführt, wenn keine hinreichend gute Übereinstimmung zwischen den Bildbereichen vorliegt. Auf diese Weise wird die Rechenzeit bei der Codierung vermindert.
Ferner werden im Falle, dass die für einen jeweiligen Bildbereich ermittelte größte Übereinstimmung geringer als eine zweite Mindestübereinstimmung ist, die obigen Schritte der Variation des Bewegungsvektors für verkleinerte Bildbereiche durchgeführt. Die zweite Mindestübereinstimmung entspricht hierbei vorzugsweise einer höheren Übereinstimmung als die erste Mindestübereinstimmung.
In einer besonders bevorzugten Ausführungsform der Erfindung sind die Bildbereiche und/oder die Bildabschnitte im zu codierenden Bild bzw. im rekonstruierten Bild bzw. im Referenzbild aus einer Vielzahl von Bildpunkten zusammengesetzt. Die Bildabschnitte sind hierbei vorzugsweise Bildblöcke und die Bildbereiche sind Teilbereiche der Bildblöcke und insbesondere einzelne Bildpunkte. Die Bildpunkte können hierbei Bildpixel oder interpolierte Bildpunkte zwischen Bildpixeln sein.
Das oben erwähnte vorbestimmte Übereinstimmungskriterium, welches bei der Bestimmung der zweiten Bewegungsvektoren verwendet wird, hängt insbesondere von den absoluten Differenzen der Bildwerte, insbesondere der Helligkeitswerte, zwischen entsprechenden Bildbereichen des rekonstruierten Bildes und des Referenzbildes ab. Vorzugsweise ist das vorbestimmte Übereinstimmungskriterium die Summe der absoluten Differenzen zwischen den Bildwerten der entsprechenden Bildpunkte der Bildbereiche des rekonstruierten Bildes und des Referenzbildes oder das Übereinstimmungskriterium hängt von dieser Summe ab. Dies bedeutet, dass eine umso höhere Übereinstimmung vorliegt, je geringer die Summe der absoluten Differenzen ist.
In einer weiteren bevorzugten Ausführungsform der Erfindung werden der Satz von zweiten Bewegungsvektoren zur Verwendung in der zweiten Auflösungsebene entsprechend skaliert. Hierbei wird z. B. bei einer höheren örtlichen Auflösung berücksichtigt, dass die Anzahl der Bildpunkte zunimmt. Dies bedeutet beispielsweise, dass bei einer Verdopplung der Auflösung die entsprechenden Bewegungsvektoren mit dem Faktor 2 multipliziert werden.
In einer weiteren bevorzugten Ausführungsform der Erfindung wird mit dem Satz von zweiten Bewegungsvektoren eine Interpolation durchgeführt, um weitere zweite Bewegungsvektoren zur Verwendung in der zweiten Auflösungsebene zu ermitteln. Die Interpolation wird dabei derart durchgeführt, dass für jedes Bildpixel des zu codierenden Bildes in der zweiten Auflösungsebene ein zweiter Bewegungsvektor existiert. Es können beliebige Interpolationsverfahren verwendet werden. Beispielsweise kann der zweite Bewegungsvektor für einen Bildpunkt durch eine Mittelung der mit den jeweiligen zweiten Bewegungsvektoren verschobenen Positionen von denjenigen Bildpunkten bestimmt werden, zwischen denen der betreffende Bildpunkt liegt. Die Position dieses betreffenden Bildpunkts liefert dann unmittelbar den entsprechenden zweiten Bewegungsvektor.
Die oben beschriebene skalierbare Videocodierung wird vorzugsweise im Zusammenhang mit dem Videocodierstandard MPEG-4 AVC eingesetzt (MPEG = Moving Pictures Experts Group; AVC = Advanced Video Coding). Hierbei entspricht die codierte Folge der digitalisierten Bilder dem Format, das in diesem Standard definiert ist. Vorzugsweise ist hierbei die erste Auflösungsebene der Basislager gemäß dem Standard und die zweite Auflösungsebene ist ein Enhancementlayer dieses Standards.
In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung wird mit Hilfe des Satzes von ersten Bewegungsvektoren aus dem Referenzbild ein dem jeweiligen zu codierenden Bild zugeordnetes Prädiktionsbild ermittelt und der Prädiktionsfehler zwischen dem Prädiktionsbild und dem Referenzbild wird mittels einer Transformation und einer Quantisierung sowie einer anschließenden Entropiecodierung codiert. D.h., es werden hinlänglich aus dem Stand der Technik bekannte Standardschritte zur Codierung eingesetzt. Das rekonstruierte Bild wird hierbei insbesondere dadurch erzeugt, dass der transformierte und quantisierte Prädiktionsfehler einer inversen Transformation und inversen Quantisierung unterzogen wird und das sich daraus ergebende Signal zu dem Prädiktionsbild hinzu addiert wird.
Neben dem oben beschriebenen Verfahren zur skalierbaren Videocodierung betrifft die Erfindung ferner ein Verfahren zur skalierbaren Decodierung einer codierten Folge digitalisierter Bilder, welche mit dem oben beschriebenen Verfahren codiert wurden. Zur effektiven Decodierung wird hierbei für ein jeweiliges codiertes Bild der Folge der Satz von ersten Bewegungsvektoren empfangen. Ferner wird das erste codierte Signal empfangen und auf der Basis des Satzes von ersten Bewegungsvektoren auf der ersten Auflösungsebene decodiert. Mit Hilfe eines in einem Speicher gespeicherten Referenzbildes, welches ein decodiertes Bild der Folge ist, sowie des Satzes von ersten Bewegungsvektoren und des ersten decodierten Signals wird dann ein rekonstruiertes Bild erzeugt. Nach der Erzeugung des rekonstruierten Bildes wird die Übereinstimmung zwischen Bildbereichen im rekonstruierten Bild und dem Referenzbild gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt, und in Abhängigkeit von der Übereinstimmung wird ein Satz von zweiten Bewegungsvektoren bestimmt, wobei die Bestimmung der zweiten Bewegungsvektoren in gleicher Weise abläuft wie in dem Verfahren zur skalierbaren Videocodierung, mit dem die Bilder der Folge codiert wurden. Anschließend wird das zweite codierte Signal empfangen und auf der Basis des Satzes von zweiten Bewegungsvektoren auf der zweiten Auflösungsebene decodiert.
Wie bereits oben erwähnt, zeichnet sich die erfindungsgemäße Decodierung dadurch aus, dass zur Decodierung die zweiten Bewegungsvektoren selbständig im Decoder berechnet werden können und somit keine zweiten Bewegungsvektoren separat übertragen werden müssen. Vorzugsweise erfolgt die Decodierung der codierten Folge digitalisierte Bilder hierbei gemäß dem Standard MPEG-4 AVC.
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Codiervorrichtung zur skalierbaren Videocodierung einer Folge digitalisierter Bilder, wobei die Codiervorrichtung entsprechende Mittel zur Durchführung des erfindungsgemäßen Verfahrens aufweist. In einer besonders bevorzugten Ausführungsform der Codiervorrichtung ist hierbei ein Sendemittel zum Aussenden des Satzes von ersten Bewegungsvektoren und des ersten und zweiten codierten Signals vorgesehen.
Die Erfindung betrifft darüber hinaus eine Decodiervorrichtung zur skalierbaren Decodierung einer gemäß der Erfindung codierten Folge digitalisierter Bilder, wobei die Decodiervorrichtung entsprechende Mittel aufweist, welche die Decodierung der Bilderfolge ermöglichen. Die Erfindung betrifft darüber hinaus eine Kombination aus der soeben erwähnten Codier- und Decodiervorrichtung, wodurch ein Codier- und Decodiersystem gebildet wird.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
1 eine schematische Darstellung der in einem Codierer und Decodierer durchgeführten Schritte gemäß einer Ausführungsform der Erfindung;
2 eine schematische Darstellung von Bildausschnitten eines rekonstruierten Bildes und eines Referenzbildes in einer niedrigen Auflösungsebene zur Verdeutlichung der erfindungsgemäßen Ermittlung von Bewegungsvektoren;
3 eine schematische Darstellung von Bildausschnitten eines Referenzbildes und eines zu codierenden Bildes in einer höheren Auflösungsebene zur Verdeutli chung der Zuordnung von Bildpunkten über Bewegungsvektoren gemäß einer Ausführungsform der Erfindung;
4 eine schematische Darstellung von Bildausschnitten eines Referenzbildes und eines zu codierenden Bildes in einer höheren Auflösungsebene zur Verdeutlichung der Interpolation von Bewegungsvektoren gemäß einer Ausführungsform der Erfindung;
5 eine Darstellung, welche eine subpixelweise Verschiebung eines Bildblocks im Referenzbild zu dem Bildblock im rekonstruierten Bild gemäß einem Bewegungsvektor verdeutlicht; und
6 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Codier- und Decodiersystems.
1 zeigt in schematischer Darstellung die in einer Ausführungsform des erfindungsgemäßen Verfahrens durchgeführten Schritte zur skalierbaren Videocodierung bzw. Videodecodierung. Mit der vertikalen strichpunktierten Linie L wird in 1 die Trennung zwischen Codierung (linke Seite von 1) und Decodierung (rechte Seite von 1) angedeutet. Gemäß 1 wird eine skalierbare Videocodierung mit zwei örtlichen Auflösungsebenen R1 und R2 betrachtet. Die Auflösungsebene R1 stellt hierbei den sog. Basislager dar, der die Codierung mit der niedrigsten Auflösung durchführt. Die Ebene R2 ist der sog. Enhancementlayer, welcher die nächst höhere Auflösung zum Basislager darstellt. Ggf. können auch noch weitere höhere Auflösungsebenen vorgesehen sein. Das nachfolgend beschriebene Verfahren ist hierbei an den Videocodierstandard MPEG-4 AVC angelehnt und soll insbesondere zur Verbesserung der skalierbaren Codierung in diesem Standard dienen.
Ein eingehendes Videosignal X wird gemäß 1 in einer ersten örtlichen Auflösung auf der Auflösungsebene R1 als Signal X1 dem Basislager sowie in einer zweiten Auflösung gemäß der Auflösungsebene R2 als Signal X2 dem Enhancementlayer zugeführt. Ein einzelnes Videobild der ersten Auflösungsebene wird als I und ein einzelnes Videobild der zweiten Auflösungsebene wird als I' bezeichnet. Das Bild I wird zum einen einem Addierer A und zum anderen einem Bewegungsschätzer MS zugeführt. Der Bewegungsschätzer MS ermittelt durch Vergleich der einzelnen Bildblöcke im aktuellen Bild I mit entsprechenden Bildblöcken eines in einem Speicher Sp hinterlegten Referenzbildes RI anhand eines Kriteriums, wie die einzelnen Blöcke zueinander verschoben sind. Diese Verschiebung wird durch entsprechende Bewegungsvektoren MV angegeben. Das Bild in dem Speicher Sp stellt hierbei ein vorhergehendes, rekonstruiertes Bild dar und kann sich ggf. auch aus mehreren vorangegangenen, rekonstruierten Bildern zusammensetzen. Die ermittelten Bewegungsvektoren MV werden schließlich zur Bewegungskompensation des Bildes RI verwendet, d.h. aus dem Referenzbild RI wird ein bewegungskompensiertes Prädiktionsbild PI berechnet, welches die Verschiebung gemäß den Bewegungsvektoren MV berücksichtigt, welche die einzelnen Bildblöcke zwischen vorangegangenem Referenzbild RI und zu codierendem Bild I zurückgelegt haben.
Das ermittelte, bewegungskompensierte Prädiktionsbild PI wird im Addierer A von dem zu codierenden Bild I abgezogen, wobei als Ergebnis der Prädiktionsfehler erhalten wird, der anschließend durch eine DCT-Transformation T (DCT = Discrete Cosine Transformation) transformiert und durch eine Quantisierung Q quantisiert wird. Die Durchführung der Schritte der Transformation und der Quantisierung sind hinlänglich aus dem Stand der Technik bekannt und werden deshalb an dieser Stelle nicht näher erläutert. Der transformierte und quantisierte Prädiktionsfehler wird ferner einer (verlustfreien) Entropiecodierung EC unterzogen, welche ebenfalls hinlänglich aus dem Stand der Technik bekannt ist. Darüber hinaus wird aus dem Prädiktionsfehler wieder das ursprüngliche Bild rekonstruiert, und zwar indem der Prädiktionsfehler einer inversen Quantisierung IQ und einer inversen Transformation IT unterzogen wird. Dieser decodierte Prädiktionsfehler wird einem Addierer A' zugeführt, der zu diesem decodierten Prädiktionsfehler das bewegungskompensierte Prädiktionsbild PI hinzu addiert. Als Ergebnis wird ein aus dem ursprünglichen Bild I rekonstruiertes Bild DI erhalten. Das Bild DI wird als neues Referenzbild RI dem Speicher Sp zugeführt, wobei dieses neue Referenzbild für das nachfolgende Bild I wiederum dazu verwendet wird, um ein neues Prädiktionsbild sowie die neuen Bewegungsvektoren zu berechnen.
Bis hierhin entspricht das dargelegte Verfahren dem Stand der Technik. Gemäß der hier beschriebenen Ausführungsform der Erfindung wird nunmehr jedoch das rekonstruierte Bild DI nicht nur dem Speicher Sp zugeführt, sondern es erfolgt ferner ein Vergleich des rekonstruierten Bildes DI mit dem vorangegangenen, im Speicher hinterlegten Referenzbild RI unter Berücksichtigung der Bewegungsvektoren MV. In dem Vergleich, der in 1 im Block B1 erfolgt, wird die Übereinstimmung von Teilbildblöcken der Bildblöcke im rekonstruierten Bild DI mit Teilbildblöcken im Referenzbild RI bestimmt. Beim Vergleich gemäß dem Block B1 wird insbesondere die Übereinstimmung der Bildwerte von Bildpunkten/Bildpixeln bzw. ggf. von interpolierten Bildpunkten/Bildpixeln zwischen den Teilbildblöcken im Referenzbild und im rekonstruierten Bild ermittelt. Die Teilbildblöcke können hierbei auch einzelne Bildpunkte sein, wie weiter unten noch näher erläutert wird. Das Übereinstimmungskriterium ist vorzugsweise die Summe der absoluten Differenzen der Bildwerte der einzelnen Bildpunkte bzw. interpolierten Bildpunkte. Gemäß der Erfindung werden hierbei die Teilbildblöcke im Referenzbild in vorbestimmten Grenzen verschoben, um Teilbildblöcke zu finden, welche eine noch bessere Übereinstimmung mit dem Teilbildblock im rekonstruierten Bild aufweisen als der ursprüngliche (nicht verschobene) Teilbildblock.
Als Ergebnis erhält man eine Vielzahl von neuen Bewegungsvektoren MV'. Da die Bewegungsvektoren für alle Teilbildblöcke in den jeweiligen Bildblöcken bestimmt werden, ist auch die Zahl der Bewegungsvektoren MV' größer als die Zahl der ursprünglichen Bewegungsvektoren MV. Wenn beispielsweise für jeden Bildpunkt in einem Bildblock ein Bewegungsvektor MV' berechnet wird, erhält man pixelgenaue Bewegungsvektoren. Diese Bewegungsvektoren MV' werden schließlich in einem weiteren Schritt gemäß Block B2 skaliert, um in einer nächst höheren Auflösungsebene R2 verwendet werden zu können. Ist die Auflösung in der Auflösungsebene R2 beispielsweise doppelt so groß wie in der Auflösungsebene R1, werden die Pixelwerte eines einzelnen Bewegungsvektors in x- und y-Richtung mit dem Faktor 2 multipliziert.
Wie sich aus dem Vorangegangenen ergibt, wird gemäß der Erfindung ein rekonstruiertes Bild mit dem Referenzbild verglichen, um hierdurch genauere Bewegungsvektoren für Teilbildbereiche von Bildblöcken zu ermitteln. Aufgrund des Vergleichs des Referenzbildes mit dem rekonstruierten Bild wird keine Information über das Originalbild benötigt, was wiederum bedeutet, dass der soeben dargelegte Vergleich im Block B1 auch auf Decoderseite analog durchgeführt werden kann, so dass die genaueren Bewegungsvektoren MV' nicht zum Decoder übermittelt werden müssen, sondern dort berechnet werden können.
Die ermittelten Bewegungsvektoren MV' werden in der Auflösungsebene R2 in gleicher Weise wie in der Auflösungsebene R1 verwendet. Insbesondere dienen sie zur Bewegungskompensation des Referenzbildes RI' in der nächst höheren Auflösungsebene, um hieraus das Prädiktionsbild PI' in der nächst höheren Auflösungsebene zu berechnen. Der Unterschied zwischen der Auflösungsebene R2 und R1 besteht hierbei darin, dass keine nochmalige Bewegungsschätzung durchgeführt werden muss, da die Bewegungsvektoren MV' direkt aus der vorangegangenen Auflösungsebene R1 übernommen werden. Ansonsten sind die Verfah rensschritte auf Seiten des Codierers in der Auflösungsebene R2 identisch zur Auflösungsebene R1 und werden deshalb nicht weiter detailliert beschrieben. Sollte sich an die Auflösungsebene R2 nochmals eine nächst höhere Auflösungsebene R3 anschließen, werden analog zur Auflösungsebene R1 auch in der Auflösungsebene R2 die entsprechenden Schritte gemäß den Blöcken B1 und B2 durchgeführt, wobei die daraus ermittelten Bewegungsvektoren wiederum an die nächst höhere Auflösungsebene R3 übertragen werden.
Nachdem die Entropiecodierung EC des Prädiktionsfehlers in der Auflösungsebene R1 stattgefunden hat, wird der codierte Prädiktionsfehler an den Decoder übertragen, der daraufhin eine Entropiedecodierung ED, eine inverse Quantisierung IQ sowie eine inverse Transformation IT durchführt und hierdurch den decodierten Prädiktionsfehler erzeugt. Neben dem Prädiktionsfehler werden ferner die ersten Bewegungsvektoren MV an den Decoder übertragen, wie durch die vertikale gestrichelte Linie L' in 1 angedeutet ist. Im Decoder befindet sich analog zum Codierer ein entsprechender Speicher Sp, in dem wiederum ein vorangegangenes decodiertes Bild als Referenzbild RI gespeichert ist. Dieses Referenzbild wird über die Bewegungsvektoren MV einer Bewegungskompensation unterzogen und anschließend mit dem Addierer A'' zum decodierten Prädiktionsfehler hinzu addiert. Man erhält daraufhin das decodierte, rekonstruierte Bild DI, welches identisch zu dem entsprechenden Bild DI auf der Seite des Codierers ist. Analog zur Codierung wird dieses Bild als neues Referenzbild dem Speicher Sp zugeführt. Ferner wird dieses Bild in einem analogen Schritt B1' mit dem Bild RI unter Berücksichtigung der Bewegungsvektoren MV verglichen, um in identischer Weise wie auf der Seite des Codierers neue Bewegungsvektoren MV' zu ermitteln. Entscheidend ist hierbei, dass in den Blöcken B1 und in den Blöcken B1' exakt der gleiche Algorithmus zur Ermittlung von neuen Bewegungsvektoren verwendet wird, d.h., dass insbesondere das gleiche Übereinstimmungskriterium zur Bestimmung neuer Bewegungsvektoren (z.B. die Summe der absoluten Diffe renzen zwischen Bildpunkten) eingesetzt wird. Als Ergebnis erhält man die identischen Bewegungsvektoren MV', welche wiederum im Schritt B2' für die nächst höhere Auflösungsebene R2 skaliert werden. Durch die Erfindung wird es somit ermöglicht, Bewegungsvektoren MV' auf der Seite des Decoders für die nächst höhere Auflösungsebene zu ermitteln, ohne dass diese Bewegungsvektoren übertragen werden müssen. Dies ist ein entscheidender Vorteil gegenüber Verfahren nach dem Stand der Technik, bei denen die Bewegungsvektoren für die Enhancementlayer auch zum Decoder übertragen werden müssen. Mit den auf der Seite des Decoders berechneten neuen Bewegungsvektoren MV' wird dann in gleicher Weise wie in der Auflösungsebene R1 das rekonstruierte Bild DI' der nächst höheren Auflösungsebene R2 unter Einbeziehung des bewegungskompensierten Referenzbilds RI' der nächst höheren Auflösungsebene berechnet.
2 zeigt eine schematische Darstellung zur Erläuterung der erfindungsgemäßen Berechnung der neuen Bewegungsvektoren MV'. Im oberen Teil der 2 ist hierbei ein Ausschnitt des im Codierer rekonstruierten Bildes DI gezeigt. Die einzelnen Punkte stellen hierbei Bildpixel P dar, wobei aus Übersichtlichkeitsgründen nur ein Pixel mit dem Bezugszeichen P bezeichnet ist. In dem Codierer werden die Bewegungsvektoren MV in der ersten Auflösungsebene jeweils für 4×4-Blöcke ermittelt, wobei einer dieser Blöcke in dem rekonstruierten Bild DI als PB bezeichnet ist. Im unteren Teil der 2 ist ein entsprechender Ausschnitt in dem Referenzbild RI gezeigt, welches gemäß der Erfindung mit dem rekonstruierten Bild DI verglichen wird. Hierbei wird der Block PB', der gemäß dem ersten Bewegungsvektor MV gegenüber dem Block PB verschoben ist, mit dem Block PB im rekonstruierten Bild DI verglichen. Der Block PB' stellt dabei denjenigen Bildblock dar, der für die Codierung im rekonstruierten Bild DI herangezogen worden ist.
In dem rekonstruierten Bild DI werden die Bildpunkte spalten- und zeilenweise fortlaufend mit (i, k) indiziert, wobei i der Spaltenindex und k der Zeilenindex ist. Der Bewegungsvektor MV ist hier bei der Vektor (Δx_i,k, Δy_i,k) = (3, 1), wobei sich die Koordinaten (i, k) auf die Bildpunkte des Blocks PB beziehen. Dieser Bewegungsvektor wird an den Decoder übertragen, so dass der Decoder für die Decodierung des Blocks PB auf den richtigen Bildausschnitt im Referenzbild zugreifen kann.
In der Ausführungsform gemäß 2 erfolgt ein pixelweiser Vergleich der Pixel im Block PB' mit den Pixeln in Block PB. Hierbei wird in einer Umgebung um jedes Pixel in Block PB' nach Bildpunkten gesucht, deren Wert eine größere Übereinstimmung mit dem entsprechenden Pixel im rekonstruierten Bild DI aufweist. Dies entspricht im Wesentlichen einer Variation des Bewegungsvektors (Δx_i,k, Δy_i,k). Es ergeben sich somit neue Bewegungsvektoren für jedes Pixel. Diese Bewegungsvektoren müssen nicht auf Pixel zeigen, sondern können auch Bildwerte von Bildpunkten zwischen Pixeln darstellen, wobei diese Bildwerte durch geeignete Interpolation ermittelt werden. Als Übereinstimmungskriterium wird in der Ausführungsform der 2 die absolute Differenz der entsprechenden Bildwerte zueinander genommen. Es ergeben sich somit neue Bildpunkte P', die in 2 schwarz angedeutet sind und welche Bildpunkte darstellen, die gemäß dem Übereinstimmungskriterium für die Prädiktion besser geeignet gewesen wäre. Die Verschiebung dieser Bildpunkte gegenüber den ursprünglich zur Prädiktion verwendeten Bildpunkten ist hierbei durch Pfeile AR angedeutet.
In 2 ist für den Bildpunkt in der obersten Zeile und in der zweiten Spalte des Blocks PB' die Verschiebung des neuen Bewegungsvektors MV' gegenüber dem ursprünglichen Bewegungsvektor (Δx_i,k, Δy_i,k) durch den Vektor mit den Komponenten (Δh_i,k, Δv_i,k) angedeutet. Für die Verschiebung dieses Bildpunktes gegenüber dem ursprünglichen Bildpunkt im rekonstruierten Bild ergibt sich somit folgender neuer Bewegungsvektor MV': (ΔXi,k, ΔBYi,k) = (Δxi,k, Δyi,k) + (Δhi,k, Δvi,k). (1)
(ΔBX_i,k, ΔBY_i,k) stellt somit einen neuen Bewegungsvektor dar, wobei der Bewegungsvektor nunmehr nicht auf ein Pixel, sondern auf einen interpolierten Bildpunkt zeigt. Für die Ermittlung des interpolierten Bildpunktwerts (z.B. des Helligkeitswerts des Bildpunkts) wird ein geeignetes Interpolationsverfahren herangezogen, beispielsweise bilineare Interpolation oder eine Interpolation mit höhergradigen Interpolationsfiltern.
Mit dem in 2 angedeuteten Verfahren werden somit für alle Bildpunkte (i, k) der ersten Auflösungsebene die Positionen derjenigen Bildpunkte im Referenzbild RI ermittelt, die für die durchgeführte Prädiktion günstiger gewesen wären. Da die obige Gleichung (1) lediglich die Verschiebungsvektoren dieser fiktiven Prädiktionsbildpunkte angibt, sind die absoluten Positionen dieser Bildpunkte bezogen auf ein Koordinatensystem beginnend mit dem linken oberen Bildpunkt des Bildpunktrasters gegeben durch folgende Gleichung: (BXi,k, BXi,k) = (i, k) + (ΔBXi,k, ΔBXi,k) = (i, k) + (Δxi,k, Δyi,k) + (Δhi,k, ΔVi,k). (2)
Um diese Positionen bzw. die Bewegungsvektoren gemäß Gleichung (1) für die nächst höhere Auflösungsebene zu verwenden, müssen sie in das Koordinatensystem der nächst höheren Auflösungsstufe übertragen werden. Im Falle, dass das Auflösungsverhältnis von der nächst höheren Auflösung zur niedrigeren Auflösung α ist, wird ein Bildpunkt (i, k) des Bildpunktrasters der niedrigeren Auflösungsstufe auf die Position (m, n) in der höheren Auflösungsstufe durch folgende Gleichung abgebildet: (m, n) = α·(i, k) (3)
Es wird hierbei (ohne Beschränkung der Allgemeinheit) angenommen, dass das Auflösungsverhältnis in horizontaler und vertikaler Richtung gleich ist. Nichtsdestotrotz können diese Auflösungsverhältnisse auch unterschiedlich sein, so dass der horizontale bzw. vertikale Wert des entsprechenden Bildpunktes dann mit unterschiedlichen Faktoren multipliziert wird. Üblicherweise ist das Auflösungsverhältnis α ganzzahlig (α = 2). In diesem Fall gibt es zu allen Bildpunktpositionen (i, k) in der niedrigen Auflösungsstufe zugehörige Bildpunkte auf ganzzahligen Positionen (m, n) in der höheren Auflösungsebene. Der Fall α = 1 stellt hierbei den Sonderfall der hinlänglich aus dem Stand der Technik bekannten SNR-Skalierbarkeit dar, der in der bereits erwähnten Druckschrift [1] als Coarse Grain Skalability (CGS) bezeichnet wird.
Analog zu der Abbildung der Bildpunkte gemäß obiger Gleichung (3) werden auch die Prädiktionsbildpunkte aus der niedrigeren Auflösung (Gleichung (2)) auf die neue Positionen in der höheren Auflösungsebene abgebildet, d.h. es gilt: (EXm,n, EYm,n) = α·(BXi,k, BYi,k). (4)
Hierbei werden die Positionen (m, n) mit Hilfe der obigen Gleichung (3) bestimmt.
3 zeigt die Zuordnung der gemäß Gleichung (4) ermittelten fiktiven Prädiktionsbildpunkte (EX_m,n, EY_m,n) im Referenzbild RI' der nächst höheren Auflösungsebene zu den Bildpunkten des zu codierenden Bildes I' in der nächst höheren Auflösungsebene. Diese Zuordnung ist durch gestrichelte Pfeile angedeutet, wobei beispielhaft die Position des Bildpunktes, der im zu codierenden Bild I' die Position (0, 0) aufweist, im Referenzbild RI' als (EX_0,0, EY_0,0) angegeben ist. Aus Übersichtlichkeitsgründen sind hierbei nur einige Zuordnungen von Bildpunkten zwischen Referenzbild RI' und zu codierendem Bild I' angedeutet. Aufgrund der höheren Auflösung, die in 3 doppelt so groß ist wie die Auflösung in der Auflösungsebene gemäß 2 (d.h. α = 2), existiert jedoch nicht zu jedem Bildpunkt im Bild I' ein entsprechender Prädiktionsbildpunkt im Referenzbild RI'. Gemäß der Darstellung in 3 existieren für alle schwarz dargestellten Bildpunkte im zu codierenden Bild I' entsprechende Prädiktionsbildpunkte im Referenzbild RI', und für die weiß dargestellten Bildpunkte im Bild I' sind keine entsprechenden Prädiktionsbildpunkte vorhanden. Für diese weiß dargestellten Bildpunkte müssen dann entsprechende Prädiktionsbildpunkte durch Interpolation gewonnen werden. Die Durchführung dieser Interpolation ist in 4 verdeutlicht. Hierbei sind die Positionen der fiktiven Prädiktionsbildpunkte durch entsprechende Vektoren gemäß folgender Gleichung wiedergegeben: E m,n = (EXm,n, EYm,n) (5)
In 4 wurden die Prädiktionsbildpunkte E _0,0 E _2,0, E _0,2 und E _2,2 mit Hilfe der neuen Bewegungsvektoren MV' ermittelt. Diese Prädiktionsbildpunkte zeigen immer auf einen schwarzen Bildpunkt im zu codierenden Bild I'. Demgegenüber werden die Prädiktionsbildpunkte E _1,0, E _0,1, E _1,1, E _2,1 und E _1,2 durch Interpolation ermittelt, und zwar indem als Position dieser Bildpunkte die Mitte der Verbindungslinie von zwei vorhandenen Bildpunkten gewählt wird. Dabei wird der Prädiktionsbildpunkt E ₁ _, ₁ durch eine Interpolation mit Hilfe der bereits interpolierten Bildpunkte E _1,0 und E _1,2 oder E _0,1 und E _2,1 bestimmt. Mathematisch werden die interpolierten Prädiktionsbildpunkte wie folgt berechnet:
Es können auch beliebige andere Interpolationsverfahren verwendet werden, um Prädiktionsbildpunkte für die nächst höhere zweite Auflösungsebene zu bestimmen.
Es sei hierbei angemerkt, dass zur Bestimmung der Positionen der Prädiktionsbildpunkte für die Bildpunkte, die am rechten bzw. am unteren Rand ED1 bzw. ED2 im Bildblock des Bildes I' liegen, rechte bzw. untere Nachbarblöcke herangezogen werden müssen. Falls sich der Block bereits am rechten bzw. am unteren Rand des Bildes I' befindet, werden in der hier beschriebenen Ausführungsform die Positionen der Prädiktionsbildpunkte für die horizontal bzw. vertikal vorangehenden Bildpunkte verwendet.
Im Folgenden wird eine spezielle Ausführungsform des erfindungsgemäßen Verfahrens zur Bestimmung der neuen, zweiten Bewegungsvektoren MV' beschrieben (5). Es wird hierbei beispielhaft ein (gestrichelt dargestellter) Bildblock PB im rekonstruierten Bild DI (helle Bildpunkte) betrachtet, dessen zugehöriger Bildblock PB' (dunkle Bildpunkte und durchgezogene Linie) gemäß dem ersten, über die Bewegungsschätzung ermittelten Bewegungsvektor MV im Referenzbild im Subpixelbereich verschoben ist. Gemäß der hier beschriebenen Ausführungsform wird hierbei der obere linke 2×2-Teilbildblock TPB des Blocks PB im rekonstruierten Bild DI mit dem entsprechenden oberen linken Teilbildblock TPB' im Bildblock PB' verglichen, und zwar indem die Summe der absoluten Differenzen der Bildpunktwerte zwischen diesen Teilbildblöcken berechnet wird. Sollte diese Summe kleiner als eine vorgegebene Schwelle sein, so wird keine Verfeinerung der Bewegungskompensation vorgenommen, d.h. die Positionen der betreffenden vier Punkte des Teilbildblocks TPB' im Referenzbild werden für die Positionen der Prädiktionsbildpunkte für die Prädiktion der zugehörigen Bildpunkte in der höheren Auflösungsstufe übernommen.
Wird die vorgegebene Schwelle der Summe der absoluten Differenzen jedoch überschritten, so wird der 2×2-Teilbildblock TPB' verschoben, um neue Bewegungsvektoren MV' zu ermitteln, wobei ein neuer Bewegungsvektor derjenigen Verschiebung entspricht, bei der die Summe der absoluten Differenzen zwischen den jeweiligen Teilbildblöcken im Referenzbild und im rekon struierten Bild ein Minimum annimmt. Ist dieses Minimum kleiner als eine zweite vorgegebene Schwelle, so werden die neuen Positionen der betreffenden vier Bildpunkte im Referenzbild für die Positionen der Prädiktionsbildpunkte für die Prädiktion der zugehörigen Bildpunkte in der höheren Auflösungsstufe übernommen. Ist dies nicht der Fall, werden die einzelnen Bildpunkte im Teilbildblock TPB' jeder für sich um die neue Position innerhalb einer vorgegebenen Umgebung verschoben, bis ein Minimum der absoluten Differenz gefunden ist. D.h., in diesem Fall findet eine pixelweise Berechnung der Bewegungsvektoren statt. Die daraus resultierenden neuen Positionen werden dann übernommen. Mit den übrigen 2×2-Teilbildblöcken in dem Bildblock PB' wird auf gleiche Weise verfahren.
Die obige Ausführungsform des Verfahrens kann auch variiert werden. Insbesondere können die Positionen der Prädiktionsbildpunkte auch direkt bildpunktweise ohne den Zwischenschritt des Vergleichs von 2×2-Teilbildblöcken TPB bzw. TPB' bestimmt werden. Ferner können beliebige disjunkte Teilmengen von Bildpunkten aus dem Referenzbildblock verwendet werden, anstatt dass ein 2×2-Teilbildblock betrachtet wird. Anstatt disjunkte Teilmengen von Bildpunkten können auch beliebige nicht notwendig disjunkte Teilmengen von Bildpunkten betrachtet werden. In diesem Fall kann die Verschiebung der einzelnen Bildpunkte für die Prädiktion auf diejenigen Bildpunkte beschränkt werden, die sich in der Schnittmenge von mindestens zwei Teilmengen befinden. Das obige Vorgehen kann auch mittels eines Blockmodus für bestimmte Bildbereiche (z.B. Bildblöcke) signalisiert werden. Dadurch wird es genau für diejenigen Bildbereiche eingeschaltet, bei denen das Verfahren vorteilhaft ist.
Gemäß den soeben beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens kann durch eine Bewegungsschätzung, welche sich an Bildpunkten bzw. Teilbildblöcken orientiert, die Prädiktion in höher aufgelösten Lagern wesentlich genauer vorgenommen werden. Weiterhin müssen keine zusätzlichen Bewegungsvektoren für die höher aufgelösten Layer übertragen werden. Beides bewirkt eine deutliche Steigerung der Codiereffizienz für den höher aufgelösten Layer.
6 zeigt eine Ausführungsform eines erfindungsgemäßen Codier- und Decodiersystems, mit dem die erfindungsgemäße Codierung und Decodierung in verschiedenen Auflösungsebenen durchführbar ist. Das System umfasst eine Codiervorrichtung 1, welche ein Mittel 2 zur Bestimmung eines Satzes von ersten Bewegungsvektoren MV in Übereinstimmung mit dem erfindungsgemäßen Verfahren aufweist. Ferner ist ein Mittel 3 zur Codierung auf der ersten Auflösungsebene in Übereinstimmung mit dem erfindungsgemäßen Verfahren vorgesehen. Darüber hinaus ist ein Mittel 4 zur Bestimmung eines Satzes von zweiten Bewegungsvektoren MV' vorgesehen, wobei entsprechend dem erfindungsgemäßen Verfahren nach der Erzeugung eines rekonstruierten Bildes die Übereinstimmung zwischen Bildbereichen im rekonstruierten Bild und im Referenzbild gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren bestimmt wird. Als weitere Komponente der Codiervorrichtung 1 ist ein Mittel 5 zur Codierung auf der zweiten Auflösungsebene vorgesehen, mit dem auf der Basis des Satzes von zweiten Bewegungsvektoren die Codierung der Bilder der Folge auf der zweiten Auflösungsebene durchgeführt wird. Das codierte Signal auf den unterschiedlichen Auflösungsebenen wird hierbei über ein Sendemittel 6 von der Codiervorrichtung 1 entlang einer Übertragungsstrecke 7 ausgesendet, wobei die Übertragungsstrecke eine beliebige drahtgebundene oder drahtlose Übertragungsstrecke sein kann.
Am Ende der Übertragungsstrecke 7 ist eine entsprechende Decodiervorrichtung 8 zur Decodierung der codierten Signale vorgesehen. Die Vorrichtung umfasst ein Mittel 9 zum Empfang des Satzes von ersten Bewegungsvektoren MV. Ferner ist ein Mittel 10 zur Decodierung auf der ersten Auflösungsebene vor gesehen, mit dem das decodierte Signal auf der ersten Auflösungsebene empfangen wird und auf der Basis des Satzes von ersten Bewegungsvektoren auf der ersten Auflösungsebene decodiert wird. Mit einem Mittel 11 wird in der Decodiervorrichtung 8 ein rekonstruiertes Bild erzeugt. Dabei wird mit Hilfe eines in einem Speicher gespeicherten Referenzbildes, welches ein decodiertes Bild die Folge ist, sowie des Satzes von ersten Bewegungsvektoren und des decodierten Signals der ersten Auflösungsebene ein rekonstruiertes Bild erzeugt. In der Decodiervorrichtung 8 ist ferner ein Mittel 12 zur Bestimmung eines Satzes von zweiten Bewegungsvektoren vorgesehen, mit dem nach der Erzeugung eines rekonstruierten Bildes die Übereinstimmung zwischen Bildbereichen im rekonstruierten Bild und im Referenzbild gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren bestimmt wird. Es ist hierbei wesentlich, dass die Bestimmung der zweiten Bewegungsvektoren in der Decodiervorrichtung 8 in der gleichen Weise abläuft wie in der Codiervorrichtung 1. Die Decodiervorrichtung 8 kann somit selbständig die zweiten Bewegungsvektoren ermitteln, so dass diese zweiten Bewegungsvektoren nicht von der Codiervorrichtung 1 zur Decodiervorrichtung 8 übertragen werden müssen. In der Decodiervorrichtung 8 ist ferner ein Mittel 13 zur Decodierung auf der zweiten Auflösungsebene vorgesehen, mit dem das codierte Signal der zweiten Auflösungsebene empfangen wird und auf der Basis des Satzes von zweiten Bewegungsvektoren auf der zweiten Auflösungsebene decodiert wird.
Literaturverzeichnis:

[1] J. Reichel, H. Schwarz, M. Wien , ITU-T and ISO/IEC JTC1, "Joint Scalable Video Model JSVM-6", Joint Video Team, Doc. JVT-S202, Geneva, Switzerland, Apr. 2006.

Claims

Verfahren zur skalierbaren Videocodierung einer Folge digitalisierter Bilder (I, I'), wobei die Bilder der Folge auf unterschiedlichen Auflösungsebenen (R1, R2) umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codiert werden, bei dem: a) auf der ersten Auflösungsebene (R1) ein Satz von ersten Bewegungsvektoren (MV) für ein jeweiliges zu codierendes Bild (I) der Folge auf der Basis von einem in einem Speicher (Sp) gespeicherten, dem jeweiligen zu codierenden Bild (I) zugeordneten Referenzbild (RI) ermittelt wird, wobei sich das Referenzbild (RI) aus einem oder mehreren rekonstruierten Bildern (DI) zusammensetzt und ein rekonstruiertes Bild (DI) durch die Decodierung eines zuvor codierten Bildes erzeugt wird; b) mithilfe des Satzes von ersten Bewegungsvektoren (MV) und des Referenzbildes (RI) eine Codierung für das jeweilige zu codierende Bild (I) auf der ersten Auflösungsebene (R1) durchgeführt wird, wodurch ein erstes codiertes Signal erhalten wird; c) nach der Erzeugung eines rekonstruierten Bildes (DI) die Übereinstimmung zwischen Bildbereichen (TPB, TPB') im rekonstruierten Bild (DI) und im Referenzbild (RI) gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren (MV') bestimmt wird; d) auf der Basis des Satzes von zweiten Bewegungsvektoren (MV') die Codierung der Bilder (I') der Folge auf der zweiten Auflösungsebene (R2) durchgeführt wird, wodurch ein zweites codiertes Signal erhalten wird.
Verfahren nach Anspruch 1, bei dem auf der ersten Auflösungsebene (R1) für die zu codierenden Bilder (I) der Folge jeweils eine Bewegungsschätzung auf der Basis des dem jeweiligen zu codierenden Bild (I) zugeordneten Referenzbildes (RI) durchgeführt wird, um den Satz von ersten Bewegungsvektoren (MV) zu ermitteln.
Verfahren nach Anspruch 1 oder 2, bei dem als Satz von ersten Bewegungsvektoren (MV) in einer Auflösungsebene (R1, R2) der Satz von zweiten Bewegungsvektoren (MV'), der in der nächst niedrigeren Auflösungsebene (R1) bestimmt wurde, verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die unterschiedlichen Auflösungsebenen (R1, R2) unterschiedliche zeitliche und/oder örtliche Auflösungsebenen und/oder unterschiedliche SNR-Skalierungsebenen umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Satz von ersten Bewegungsvektoren (MV) gemäß einem vorgegebenen Kriterium derart ermittelt wird, dass Bildabschnitten (PB, PB') vorgegebener Größe im zu codierenden und dem daraus erzeugten rekonstruierten Bild (I, DI) zumindest teilweise jeweils ein Bewegungsvektor (MV) zugeordnet wird, wobei jeder Bewegungsvektor (MV) eine Verschiebung zwischen dem Bildabschnitt (PB) im zu codierenden Bild bzw. im rekonstruierten Bild (I, DI) und dem entsprechenden Bildabschnitt (PB) im Referenzbild (RI) beschreibt.
Verfahren nach Anspruch 5, bei dem in Schritt c) des Anspruchs 1 für Bildbereiche (TPB) eines jeweiligen Bildabschnitts (PB) im rekonstruierten Bild jeweils ein neuer Bewegungsvektor (MV') dadurch ermittelt wird, dass der dem jeweiligen Bildabschnitt (PB) zugeordnete erste Bewegungsvektor (MV) variiert wird, wobei der neue Bewegungsvektor (MV') der variierte Bewegungsvektor ist, der die größte Übereinstimmung gemäß dem vorbestimmten Übereinstimmungskriterium zwischen dem jeweiligen Bildbereich (TPB) im rekonstruierten Bild (DI) und dem mit dem variierten Bewegungsvektor im Referenzbild (RI) verschobenen Bildbereich (TPB') liefert, wobei die neuen Bewegungsvektoren (MV') zweite Bewegungsvektoren (MV') des Satzes von zweiten Bewegungsvektoren (MV') darstellen.
Verfahren nach Anspruch 6, wobei in Schritt c) des Anspruchs 1 für einen Bildbereich (TPB) eines jeweiligen Bildabschnitts (PB) im rekonstruierten Bild (DI) die Übereinstimmung zwischen diesem Bildbereich (TPB) und dem mit dem entsprechenden ersten Bewegungsvektor (MV) im Referenzbild (RI) verschobenen Bildbereich (TPB') gemäß dem vorbestimmten Übereinstimmungskriterium ermittelt wird.
Verfahren nach Anspruch 7, bei dem im Falle, dass die gemäß Anspruch 7 ermittelte Übereinstimmung geringer als eine erste Mindestübereinstimmung ist, neue Bewegungsvektoren (MV') für alle Bildbereiche (TPB) des jeweiligen Bildabschnitts (PB) gemäß Anspruch 6 ermittelt werden und im Falle, dass die gemäß Anspruch 7 ermittelte Übereinstimmung größer oder gleich der ersten Mindestübereinstimmung ist, als zweite Bewegungsvektoren (MV') für alle Bildbereiche (TPB) des jeweiligen Bildabschnitts (PB) der dem jeweiligen Bildabschnitt (PB) zugeordnete erste Bewegungsvektor (MV) verwendet wird.
Verfahren nach einem der Ansprüche 6 bis 8, bei dem im Falle, dass die für einen jeweiligen Bildbereich (TPB) ermittelte größte Übereinstimmung geringer als eine zweite Mindestübereinstimmung ist, die Schritte des Anspruchs 6 für verkleinerte Bildbereiche durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bildbereiche (TPB, TPB') und/oder die Bildabschnitte (PB, PB') im zu codierenden Bild (I) und/oder im rekonstruierten Bild (DI) und/oder im Referenzbild (RI) aus einer Vielzahl von Bildpunkten bestehen.
Verfahren nach Anspruch 10, bei dem die Bildabschnitte (PB, PB') Bildblöcke sind und die Bildbereiche (TPB, TPB') Teilbereiche der Bildblöcke und insbesondere Bildpunkte (P) sind.
Verfahren nach Anspruch 10 oder 11, bei dem die Bildpunkte (P) Bildpixel und/oder interpolierte Bildpunkte zwischen Bildpixeln sind.
Verfahren nach einem der Ansprüche 10 bis 12, bei dem das vorbestimmte Übereinstimmungskriterium von den absoluten Differenzen der Bildwerte, insbesondere der Helligkeitswerte, zwischen entsprechenden Bildbereichen (TPB, TPB') des rekonstruierten Bildes (DI) und des Referenzbildes (RI) abhängt.
Verfahren nach Anspruch 13, bei dem das das vorbestimmte Übereinstimmungskriterium die Summe der absoluten Differenzen zwischen den Bildwerten der entsprechenden Bildpunkte (P) der Bildbereiche (TPB, TPB') des rekonstruierten Bildes (DI) und des Referenzbildes (RI) ist oder von dieser Summe abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Satz von zweiten Bewegungsvektoren (MV') zur Verwendung in der zweiten Auflösungsebene (R2) skaliert wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem mit dem Satz von zweiten Bewegungsvektoren (MV') eine Interpolation durchgeführt wird, um weitere zweite Bewegungsvektoren (MV') zur Verwendung in der zweiten Auflösungsebene (R2) zu ermitteln.
Verfahren nach Anspruch 16, bei dem die Interpolation derart durchgeführt wird, dass für jedes Bildpixel (P) des zu codierenden Bildes (I') in der zweiten Auflösungsebene ein zweiter Bewegungsvektor (MV') existiert.
Verfahren nach einem der vorhergehende Ansprüche, bei dem durch die skalierbare Videocodierung eine codierte Folge di gitalisierter Bilder gemäß dem Standard MPEG-4 AVC erzeugt wird.
Verfahren nach Anspruch 18, bei dem die erste Auflösungsebene (R1) der Basislager und die zweite Auflösungsebene (R2) ein Enhancementlayer ist.
Verfahren nach einem der vorhergehende Ansprüche, bei dem mithilfe des Satzes von ersten Bewegungsvektoren (MV) aus dem Referenzbild (RI) ein dem jeweiligen zu codierenden Bild (I) zugeordnetes Prädiktionsbild (PI) ermittelt wird und der Prädiktionsfehler zwischen dem Prädiktionsbild (PI) und dem Referenzbild (RI) mittels einer Transformation (T) und einer Quantisierung (Q) sowie einer anschließenden Entropiecodierung (EC) codiert wird.
Verfahren nach Anspruch 20, bei dem zur Erzeugung eines rekonstruierten Bildes (DI) der transformierte und quantisierte Prädiktionsfehler einer inversen Transformation (IT) und Quantisierung (IQ) unterzogen wird und das sich daraus ergebende Signal zu dem Prädiktionsbild (PI) hinzuaddiert wird.
Verfahren zur skalierbaren Decodierung einer gemäß einem der vorhergehenden Ansprüche codierten Folge digitalisierter Bilder (I, I'), wobei die Bilder der Folge auf unterschiedlichen Auflösungsebenen (R1, R2) umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codiert sind, bei dem: a) für ein jeweiliges codiertes Bild der Folge der Satz von ersten Bewegungsvektoren (MV) empfangen wird; b) das erste codierte Signal empfangen wird und auf der Basis des Satzes von ersten Bewegungsvektoren (MV) auf der ersten Auflösungsebene (R1) decodiert wird; c) ein rekonstruiertes Bild (DI) mithilfe eines in einem Speicher (Sp) gespeicherten Referenzbildes (RI), welches ein decodiertes Bild (DI) der Folge ist, sowie des Satzes von ersten Bewegungsvektoren (MV) und des ersten decodierten Signals erzeugt wird; d) nach der Erzeugung eines rekonstruierten Bildes (DI) die Übereinstimmung zwischen Bildbereichen (TPB, TPB') im rekonstruierten Bild (DI) und im Referenzbild (RI) gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren (MV') bestimmt wird, wobei die Bestimmung der zweiten Bewegungsvektoren (MV') in gleicher Weise abläuft wie in dem Verfahren zur skalierbaren Videocodierung, mit dem die Bilder (I, I') der Folge codiert wurden; e) das zweite codierte Signal empfangen wird und auf der Basis des Satzes von zweiten Bewegungsvektoren (MV') auf der zweiten Auflösungsebene (R2) decodiert wird.
Verfahren nach Anspruch 22, bei dem die Decodierung der codierten Folge digitalisierter Bilder gemäß dem Standard MPEG-4 AVC erfolgt.
Codiervorrichtung zur skalierbaren Videocodierung einer Folge digitalisierter Bilder (I, I'), mit der die Bilder der Folge auf unterschiedlichen Auflösungsebenen (R1, R2) umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codierbar sind, umfassend: a) ein Mittel (2) zur Bestimmung eines Satzes von ersten Bewegungsvektoren (MV), mit dem im Betrieb der Vorrichtung (1) auf der ersten Auflösungsebene (R1) ein Satz von ersten Bewegungsvektoren (MV) für ein jeweiliges zu codierenden Bilder (I) der Folge auf der Basis von einem in einem Speicher (Sp) gespeicherten, dem jeweiligen zu codierenden Bild (I) zugeordneten Referenzbild (RI) ermittelt wird, wobei sich das Referenzbild (RI) aus einem oder mehreren rekonstruierten Bildern (DI) zusammensetzt und ein rekonstruiertes Bild (DI) ein durch die Decodierung eines zuvor codierten Bildes erzeugt wird; b) ein Mittel (3) zur Codierung auf der ersten Auflösungsebene (R1), mit dem im Betrieb der Vorrichtung (1) mithilfe des Satzes von ersten Bewegungsvektoren (MV) und des Referenzbildes (RI) eine Codierung für das zu codierende Bild (I) auf der ersten Auflösungsebene (R1) durchgeführt wird, wodurch ein erstes codiertes Signal erhalten wird; c) ein Mittel (4) zur Bestimmung eines Satzes von zweiten Bewegungsvektoren (MV'), mit dem im Betrieb der Vorrichtung (1) nach der Erzeugung eines rekonstruierten Bildes (RI) die Übereinstimmung zwischen Bildbereichen (TPB, TPB') im rekonstruierten Bild (DI) und im Referenzbild (RI) gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren (MV') bestimmt wird; d) ein Mittel (5) zur Codierung auf der zweiten Auflösungsebene, mit dem im Betrieb der Vorrichtung (1) auf der Basis des Satzes von zweiten Bewegungsvektoren (MV') die Codierung der Bilder (I') der Folge auf der zweiten Auflösungsebene (R2) durchgeführt wird, wodurch ein zweites codiertes Signal erhalten wird.
Codiervorrichtung nach Anspruch 24, umfassend ein Sendemittel (6) zum Aussenden des Satzes von ersten Bewegungsvektoren (MV) und des ersten und zweiten codierten Signals.
Codiervorrichtung nach Anspruch 24 oder 25, wobei die Vorrichtung (1) derart ausgestaltet ist, dass ein Verfahren nach einem der Ansprüche 2 bis 21 durchführbar ist.
Decodiervorrichtung zur skalierbaren Decodierung einer gemäß einem der Ansprüche 1 bis 21 codierten Folge digitalisierter Bilder (I, I'), wobei die Bilder der Folge auf unterschiedlichen Auflösungsebenen (R1, R2) umfassend wenigstens ein Paar von einer ersten und einer zweiten, nächst höheren Auflösungsebene codiert sind, umfassend: a) ein Mittel (9) zum Empfang des ersten Satzes von Bewegungsvektoren (MV), mit dem im Betrieb der Vorrichtung (8) für ein jeweiliges codiertes Bild der Folge auf der ersten Auflösungsebene (R1) der Satz von ersten Bewegungsvektoren (MV) empfangen wird; b) ein Mittel (10) zur Decodierung auf der ersten Auflösungsebene (R1), mit dem im Betrieb der Vorrichtung (8) das erste codierte Signal empfangen und decodiert wird; c) ein Mittel (11) zur Erzeugung eines rekonstruierten Bildes, mit dem im Betrieb der Vorrichtung (8) mithilfe eines in einem Speicher (Sp) gespeicherten Referenzbildes (RI), welches ein decodiertes Bild (DI) der Folge ist, sowie des Satzes von ersten Bewegungsvektoren (MV) und des ersten decodierten Signals ein rekonstruiertes Bild (DI) erzeugt wird; d) ein Mittel (12) zur Bestimmung eines Satzes von zweiten Bewegungsvektoren (MV'), mit dem im Betrieb der Vorrichtung (8) nach der Erzeugung eines rekonstruierten Bildes (DI) die Übereinstimmung zwischen Bildbereichen (TPB, TPB') im rekonstruierten Bild (DI) und im Referenzbild (RI) gemäß einem vorbestimmten Übereinstimmungskriterium ermittelt wird und in Abhängigkeit von der Übereinstimmung ein Satz von zweiten Bewegungsvektoren (MV') bestimmt wird, wobei die Bestimmung der zweiten Bewegungsvektoren (MV') in gleicher Weise abläuft wie im Verfahren zur skalierbaren Videocodierung, mit dem die Bilder (I, I') der Folge codiert wurden; e) ein Mittel (13) zur Decodierung auf der zweiten Auflösungsebene (R2), mit dem im Betrieb der Vorrichtung (8) das zweite codierte Signal empfangen wird und auf der Basis des Satzes von zweiten Bewegungsvektoren (MV') auf der zweiten Auflösungsebene (R2) decodiert wird.
Codier- und Decodiersystem umfassend eine Codiervorrichtung (1) nach einem der Ansprüche 24 bis 26 und eine Decodiervorrichtung (8) nach Anspruch 27.