DE10225434B4

DE10225434B4 - Verfahren und Vorrichtung zur Videocodierung

Info

Publication number: DE10225434B4
Application number: DE10225434A
Authority: DE
Inventors: Andre Dr. Kaup
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2002-06-07
Filing date: 2002-06-07
Publication date: 2004-12-30
Anticipated expiration: 2022-06-08
Also published as: DE10225434A1; US20090279607A1; US7580458B2; US20030227971A1; US8111748B2

Abstract

Verfahren zur Videocodierung, bei dem mindestens ein prädiziertes Bild (n) einer Bildfolge aus mindestens zwei Referenzbildern, die sich in beliebiger zeitlicher Lage vor und/oder nach dem prädizierten Bild befinden, derart gebildet wird, dass mindestens zwei Referenzbildern unterschiedliche Gewichte (g1, g2 ...) zugeordnet werden und dass das prädizierte Bild durch eine gewichtete Mittelwertbildung aus den mindestens zwei Referenzbildern berechnet wird.

Description

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Videocodierung, bei dem/der ein prädiziertes Bild durch Mittelwertbildung von Referenzbildern erzeugt wird.

Digitale Videodaten werden für eine Speicherung oder Übertragung in der Regel komprimiert, um das enorme Datenvolumen signifikant zu reduzieren. Die Kompression erfolgt dabei sowohl durch Elimination der in den Videodaten enthaltenen Signalredundanz als auch durch Beseitigung der für das menschliche Auge nicht wahrnehmbaren irrelevanten Signalteile. Dies wird in der Regel durch ein hybrides Codierverfahren erreicht, bei dem das zu codierende Bild zunächst zeitlich prädiziert und der verbleibende Prädiktionsfehler anschließend in den Frequenzbereich, zum Beispiel durch eine diskrete Cosinustransformation, transformiert und dort quantisiert und durch einen variablen Längencode codiert wird. Die Bewegungsinformation und die quantisierten Spektralkoeffizienten werden schließlich übertragen.

Die Leistungsfähigkeit des hybriden Codierverfahrens hängt nun ganz wesentlich von der Güte der zeitlichen Prädiktion ab. Je besser diese Vorhersage der nächsten zu übertragenden Bildinformation ist, desto kleiner ist der nach der Prädiktion verbleibende Prädiktionsfehler und um so weniger Datenrate muss anschließend für die Codierung dieses Fehlers aufgewendet werden. Eine wesentliche Aufgabe bei der Kompression von Videodaten besteht also darin, eine möglichst exakte Prädiktion des zu codierenden Bildes aus der bereits zuvor übertragenden Bildinformation zu gewinnen.

Die Prädiktion eines Bildes wird bisher dadurch bewirkt, dass das Bild zunächst in regelmäßige Teilstücke, typischerweise quadratische Blöcke der Größe 8×8 oder 16×16 Bildpunkte, eingeteilt wird, und für jeden dieser Bildblöcke anschließend eine Prädiktion aus der bereits im Empfänger bekannten Bildinformation durch Bewegungskompensation ermittelt wird. Es können hierbei zwei grundsätzliche Fälle der Prädiktion unterschieden werden:

– Uni-direktionale Prädiktion: Die Bewegungskompensation erfolgt hier ausschließlich auf der Basis des zuvor übertragenden Bildes und führt zu sogenannten "P-Frames".
– Bi-direktionale Prädiktion: Die Prädiktion des Bildes erfolgt durch Überlagerung von zwei Bildern, von denen eines zeitlich voran liegt und ein weiteres zeitlich nachfolgt und das zu sogenannten "B-Frames" führt. Zu beachten ist hierbei, dass beide Referenzbilder bereits übertragen worden sind.

Im zuletzt genannten Fall muss der tatsächliche Prädiktionswert durch Mittelwertbildung aus beiden Referenzbildern errechnet werden. In dem bisher standardisierten Verfahren MPEG-1 bis MPEG-4 bzw. H.263 wird dazu stets eine gleichgewichtige Mittelung durchgeführt, das heißt dass die beiden möglichen Prädiktionen addiert und die resultierende Summe anschließend halbiert wird.

Die der Erfindung zugrunde liegende Aufgabe besteht nun darin, ein Verfahren bzw. eine Vorrichtung zur Videocodierung anzugeben, bei dem/der die erforderliche Gesamtdatenrate für die Codierung des Bildes möglichst klein wird.

Diese Aufgabe wird hinsichtlich des Verfahrens durch die Merkmale des Patentanspruchs 1 und hinsichtlich der Anordnung durch die Merkmale des Patentanspruchs 7 erfindungsgemäß gelöst.

Die weiteren Ansprüche betreffen vorteilhafte Ausgestaltungen der Erfindung.

Die Erfindung wird nachfolgend anhand eines in den Zeichnungen dargestellten Beispiels näher erläutert. Dabei zeigt
1 eine Bildfolge zur Verdeutlichung der erfindungsgemäßen Prädiktion,
2 eine Darstellung mit zwei aufeinander folgenden Bildern zur Erläuterung einer bei der Prädiktion auftretenden Überlagerung von Blöcken und
3 ein Blockdiagramm zur Erläuterung der erfindungsgemäßen Vorrichtung.
Die Erfindung liegt im Wesentlichen in einer Verallgemeinerung der aus der Codierung von B-Frames bekannten gleichmäßigen Überlagerung von zwei Prädiktionen hin zu einer gewichteten Überlagerung. Die Gewichtung wird dabei z. B. an die Zuverlässigkeit des für die Bestimmung der Prädiktion verwendeten Referenzbildes gekoppelt. Da ein Zusammenhang zwischen der Zuverlässigkeit und dem jeweiligen Quantisierungsparameter besteht, kann vorteilhafterweise auch eine Koppelung an den auch im Empfänger bekannten Quantisierungsparameter erfolgen.
In 1 ist eine Bildfolge ... n–2, n–1, n, n+1, n+2 ... in einer Zeit t dargestellt. Das Bild n+1 ist hier z. B. ein reines intraframecodiertes Bild, also ein sogenanntes I-Frame, und das Bild n–1 ist beispielsweise ein prädiktiv codiertes Referenzbild, also ein sogenanntes P-Frame. Zwischen den beiden Bildern n–1 und n+1 befindet sich ein durch bidirektionale Prädiktion erzeugtes Bild, also ein sogenanntes B-Frame. Für den Fall, dass zwei oder mehrere mögliche Prädiktionen zur Verfügung stehen, werden hier die Gewichtungen g1, g2, g3, g4 ... nicht notwendigerweise gleich gewählt, sondern so bestimmt, dass eine möglichst gute Gesamtprädiktion erfolgt. Dies bedeutet, dass nicht notwendigerweise eine gleichmäßige Gewichtung für zwei Referenzbilder vorgenommen wird, sondern, wie im Blockschaltbild von 3 angedeutet, jedes der beispielsweise zwei Referenzbilder mit einem Gewichtungsfaktor g1 bzw. g2 multipliziert und die beiden Produkte addiert werden. Das Resultat wird dann durch die Summe der beiden Richtungsfaktoren g1 und g2 dividiert.
Im einfachsten Fall kann dies dadurch erreicht werden, dass ein als reines intraframecodiertes Bild n+1 eine höhere Gewichtung g2 erhält als ein prädiktiv codiertes Referenzbild n–1 mit der Gewichtung g1, da intraframecodierte Bilder in der Regel eine deutlich bessere Qualität aufweisen als prädizierte Bilder.
Die Gewichtung von I-Frames kann beispielsweise g2 = 2/3 und die Gewichtung von P-Frames g1 = 1/3 betragen.
Hierbei müssen diese Gewichtungsfaktoren vom Sender zum Empfänger als zusätzliche Seiteninformation übertragen werden. Da sich aber die Güte der resultierenden Gesamtprädiktion durch die Adaption mit variablen Gewichtungsfaktoren deutlich verbessert, wird der Nachteil der zusätzlich zu übertragenden Seiteninformation durch die Einsparung bei der Übertragung des Prädiktionsfehlers mehr als kompensiert.
Um die Übertragung der Gewichtungsfaktoren zu vermeiden und gleichzeitig auf die Komplexität bei einer freien Faktorenwahl auf der Senderseite zu reduzieren, kann die Bestimmung der Gewichtsfaktoren auch weiter formalisiert werden. Eine vorteilhafte Ausgestaltung besteht beispielsweise darin, dass eine inverse Kopplung der Faktoren an die Stufenbreite der für die Codierung der Referenzbilder verwendeten Quantisierer erfolgt. Konkret bedeutet dies, dass ein Block aus einem Referenzbild dann eine hohe Gewichtung erhält, wenn dieser Referenzblock mit einer niedrigen Quantisierungsstufe, also einer hohen Quantisierungsgenauigkeit, codiert wurde und umgekehrt. Die Rechtfertigung für diese Kopplung ist darin begründet, dass eine große Quantisierungsstufenbreite bzw. eine geringe Quantisierungsgenauigkeit auch mit einer entsprechend schlechten Bildqualität und damit einer geringen Zuverlässigkeit als Referenzbild verbunden ist. Da die für jeden Block verwendeten Quantisierungsstufen ohnehin übertragen werden und somit dem Empfänger bekannt sind, können die Gewichtungsfaktoren für die Überlagerung der beiden einzelnen Prädiktionen unmittelbar errechnet werden.
In 2 ist ein Block b innerhalb des Bildes n sowie vier benachbarte Blöcke b1 ... b4 in dem Vorgängerbild n–1 dargestellt. Hieraus wird deutlich, dass der für die Prädiktion verwendete Block b im Regelfall gleichzeitig mehrere codierte Einzelblöcke im Referenzbild n–1 überlagert und eine weitere Festlegung der zu verwendenden Quantisierungsstufe erforderlich ist, da im allgemeinen Fall die Blöcke b1 ... b4 jeweils unterschiedliche Quantisierungsstufen aufweisen können. Der Gewichtungsfaktor g1 kann hierbei aus einer Mittelwertbildung aus den Quantisierungsstufen für die Blöcke b1 ... b4 oder beispielsweise durch Feststellung der größten Quantisierungsstufe der Quantisierer für diese Blöcke ermittelt werden.
Bei der Prädiktion mit Hilfe einer gewichteten Mittelwertbildung werden mindestens zwei Referenzbilder herangezogen, deren zeitliche Lage in der Bildsequenz prinzipiell völlig beliebig ist, wobei entweder mindestens ein Referenzbild vor und mindestens ein Referenzbild zeitlich nach dem prädizierten Bild n oder aber auch entweder alle Referenzbilder zeitlich vor oder alle Referenzbilder zeitlich nach dem prädizierten Bild liegen können.

Claims

Verfahren zur Videocodierung, bei dem mindestens ein prädiziertes Bild (n) einer Bildfolge aus mindestens zwei Referenzbildern, die sich in beliebiger zeitlicher Lage vor und/oder nach dem prädizierten Bild befinden, derart gebildet wird, dass mindestens zwei Referenzbildern unterschiedliche Gewichte (g1, g2 ...) zugeordnet werden und dass das prädizierte Bild durch eine gewichtete Mittelwertbildung aus den mindestens zwei Referenzbildern berechnet wird.
Verfahren nach Anspruch 1, bei dem die Gewichte so gewählt werden, dass sie der jeweiligen Zuverlässigkeit des jeweiligen Referenzbildes für die Prädiktion entsprechen.
Verfahren nach Anspruch 1 oder 2, bei dem ein rein intraframe (I) codiertes Referenzbild (n+1) höher gewichtet wird als ein prädiktiv (P) codiertes Referenzbild (n+1).
Verfahren nach einem der Ansprüche 1 bis 3, bei dem die Gewichtungsfaktoren als zusätzliche Seiteninformation übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem das mindestens eine prädizierte Bild (n) einer Bildfolge in mindestens zwei Blöcke (b, ...) aufgeteilt wird, bei dem die Gewichtungsfaktoren in Abhängigkeit der pro Block übertragenen Quantisierungsstufenbreite der für die Codierung der Referenzbilder verwendeten Quantisierer gebildet wird, wobei die Bildung der Gewichtsfaktoren invers zur Quantisierungsstufenbreite erfolgt.
Verfahren nach Anspruch 5, bei dem ein für die Prädiktion verwendeter Block (b) gleichzeitig mehrere codierte Einzelblöcke (b1 ... b4) im jeweiligen Referenzbild (n–1) überlagert und bei dem das Gewicht des für die Prädiktion verwendeten Blocks (b) entweder aus dem inversen Mittelwert der Quantisierungsstufenbreiten der Einzelblöcke oder invers zum größten Wert dieser Quantisierungsstufen gebildet wird.
Vorrichtung zur Videocodierung, bei der eine Einrichtung (G) zur gewichteten Mittelwertbildung derart vorhanden ist, dass mindestens ein prädiziertes Bild (n) einer Bildfolge aus mindestens zwei unterschiedlich gewichteten (g1, g2) Referenzbildern (n–1, n+1) gebildet wird.