DE69828144T2

DE69828144T2 - Verfahren und vorrichtung zur videocodierung und -decodierung

Info

Publication number: DE69828144T2
Application number: DE69828144T
Authority: DE
Inventors: Daniele Bagni; Stefano Tono
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-07-16
Filing date: 1998-05-29
Publication date: 2005-12-22
Anticipated expiration: 2018-05-30
Also published as: JP2001501069A; EP0925688A1; US6236760B1; JP4201849B2; EP0925688B1; DE69828144D1; WO1999004573A1; KR100726691B1; KR20000068574A

Description

BEREICH DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Videocodierungsverfahren, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst:

– einen ersten Codierungsschritt, der in Reihe wenigstens einen orthogonalen Transformationsschritt, einen Quantisierungssubschritt und einen variable-Länge-Codierungssubschritt umfasst;
– einen zweiten Prädiktionsschritt, der in Reihe zwischen dem Ausgang des genannten Quantisierungssubschritt und dem Eingang des Codierungsschrittes wenigstens einen inversen Quantisierungssubschritt, einen inversen orthogonalen Transformationssubschritt und einen Prädiktionssubschritt umfasst;
– einen dritten Entscheidungsschritt, der einen Selektionssubschritt zwischen sog. Intra- und Intercodierungsmoden umfasst. Die vorliegende Erfindung bezieht sich ebenfalls auf eine entsprechende Video-Codierungsanordnung, auf ein codiertes Videosignal, wie dies an dem Ausgang einer derartigen Codierungsanordnung verfügbar ist, auf ein Speichermedium zum Speichern des genannten Signals, und auf eine entsprechende Decodierungsanordnung. Die vorliegende Erfindung kann in dem Bereich von Videophonie und Videokonferenz angewandt werden.

HINTERGRUND DER ERFINDUNG
Der Standard H.263 für Videocodierung mit einer sehr niedrigen Bitrate, beschrieben beispielsweise in "ITU standardisation of very low bitrate video coding algorithms", K. Rijkse, "Signal Processing : "Image Communication", 7(1995), Seiten 553–565, basiert auf einer Hybrid-Videocodierungsmethode, wobei es sich um macroblock-strukturierten Bildern handelt und wobei Techniken angewandt werden, wie DCT ("Discrete Cosine Transform") zum Reduzieren der räumlichen Redundanz, Bewegungsschätzung und Zwischenbildprädiktion, zum Reduzieren einer räumlichen Redundanz, und zum Schluss Quantisierung der variable-Länge-Entropiecodierung (wie auch im Fall des MPEG-2 Standards vorgesehen).
Die maximale Bitrate für diesen Standard H.263 beträgt etwa 20 kbits/s für Videophon und ein ganzes Vielfaches von 64 kbits/s (wie 64, 128, 256,...) für Videokonfe renz. Bei diesen sehr niedrigen Bitraten werden mehrere Lösungen oft angewandt um die übertragene Bitrate, beispielsweise eine zeitliche Unterabtastung, zu reduzieren. Diese Lösungen müssen aber ohne Beeinträchtigung der Bildqualität implementiert werden.
Ein Blockdiagramm des Standard H.263 Codierers ist in 1 dargestellt. Der Eingangsbitstrom IB entsprechend den zu codierenden Bildern wird von dem ersten positiven Eingang eines Subtrahierers 11 empfangen. Diesem Subtrahierer folgt in Reihe eine orthogonale Transformationsanordnung, wie eine DCT-Schaltung 12, ein Quantisierer 13 (Q), eine variable-Länge-Codierungsanordnung (VLC) 14, ein Video-Multiplexer 15 (MUX), und ein Ausgangspuffer 16, der einen Ausgangsbitstrom OB ergibt. Eine Zwischenbildprädiktionsschleife, vorgesehen zwischen dem Ausgang des Quantisierers 13 und dem zweiten negativen Eingang des Subtrahierers 11 umfasst in Reihe einen inversen Quantisierer 17 (Q^–1), eine inverse DCT-Schaltung 18 (DCT^–1), einen Addierer 19, eine Prädiktionsschaltung 20, deren Ausgangssignal auch zu dem zweiten Eingang des Addierers 19 zurückgesendet wird zur Rekonstruktion eines kompletten Bildes an dem Ausgang des genannten Addierers, und den Subtrahierer 11.
Das Ausgangssignal des Addierers 19 wird einem Bewegungsschätzer 21 zugeführt, der ebenfalls den Eingangsbitstrom IB empfängt und Bewegungsvektoren MV ergibt. Diese Vektoren werden danach durch eine zweite VLC-Schaltung 22 codiert und dem Multiplexer 15 zur Übertragung (oder Speicherung) zugeführt. Eine Entscheidungsschaltung 23, die zwischen dem Ausgangspuffer 16 und der Prädiktionsschaltung 20 vorgesehen ist, ermöglicht es, zwischen einer Eingangscodierungsmode, die nur das erste Bild der Videosequenz betrifft, das danach ohne zeitliche Prädiktion codiert wird, und einer Intercodierungsmode zu wählen, nach der alle restlichen Bilder unter Anwendung von Prädiktion codiert werden.
Da die Intrabilder ohne jegliche Bezugnahme auf ein vorhergehendes Bild codiert werden, braucht jedes derselben den 4- bis 10fachen Betrag (je nach dem Szeneninhalt und dem mittleren Quantisierungsparameter) der Bits, die notwendig sind zum Codieren der nachfolgenden Bilder in der Intermode. Die nachfolgende Tabelle (= Tabelle 1) illustriert für einige durchaus bekannte Testfolgen in CIF-Format (288 Zeilen von 352 Pixeln)) die Differenz in Termen von Bits zwischen Intra- und Intermoden:
Die Werte dieser Beträge an Bits, erforderlich zum Codieren des ersten Bildes in der Intramode und des zweiten nachfolgenden Bildes in der Intermode führen dazu, dass ersichtlich ist, dass der Ausgangspuffer 16, erforderlich zum Übertragen des Ausgangsstroms OB mit einer konstanten Bitrate, während der Intracodierung stark benutzt wird. Ein Puffer mit einer geeigneten Kapazität kann zum Speichern eines Intrabildes ohne Gefahr von Überlauf verwendet werden, aber die Verzögerung des Codierers ist unmittelbar proportional zu der gesamten Bitzahl des ersten Intrabildes: je größer die Anzahl Bits dieses Bildes, umso größer die Verzögerung zum Leeren des Ausgangspuffers mit einer betreffenden konstanten Zielbitrate.
ZUSAMMENFASSUNG DER ERFINDUNG
Deswegen ist es u. a. eine Aufgabe der vorliegenden Erfindung, ein Codierungsverfahren vorzuschlagen, wodurch es möglich ist, dass jede Gefahr von Überlauf vermieden wird, wenn entsprechend der Intramode codiert wird.
Dazu bezieht sich die vorliegende Erfindung auf ein Codierungsverfahren der eingangs beschriebenen Art, mit dem Kennzeichen, dass der genannte dritte Entscheidungsschritt ebenfalls nur in der genannten Intracodierungsmode einen Abwärtsmischfiltersubschritt umfasst, durchgeführt am Anfang des Codierungsschrittes und einen entsprechenden Aufwärtsmischfiltersubschritt, durchgeführt in dem Prädiktionsschritt, unmittelbar vor dem Prädiktionssubschritt selber, wobei die genannte Abwärtsmischung es ermöglicht, Bilder mit einem reduzierten Bildformat gegenüber dem Format der Bilder zu codieren, die entsprechend der Intercodierungsmode codiert worden sind.
Die Einführung dieser zusätzlicher Verfahrensschritte bildet eine sehr einfache und effektive Lösung zum Sparen von Bits, mit einer mittleren Rechenreduktion von etwa 30% und einer verringerten Codierungsverzögerung, und zwar wegen der geringeren Bitbelegung des Ausgangspuffers (und des reduzierten Rechenaufwands). Obschon nicht standardisiert, ist diese Lösung kompatibel mit dem Standard H.263. Es sind Tests in dem Bereich von 64–256 kbits/s Zielbitraten, mit 5 Hz Bildraten und CIF-Format und mit entweder einer sehr einfachen Puffersteuerstrategie oder einer sehr komplexen Strategie (auf Basis einer Voranalyse) durchgeführt worden, und diese zeigen, dass die Lösung effizient ist, ohne spürbare Beeinträchtigung der schlussendlichen Qualität. Weiterhin ist die genannte völlig skalierbar, sogar wenn speziell angepasst an Applikationen mit einer niedrigen Bitrate (weniger als oder gleich 256 kbits/s) für welche die Anforderungen von hohen Kompressionsverhältnissen und akzeptierbarer Qualität nur schwer erfüllbar sind.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
1, wie bereits erwähnt, ein Blockschaltbild des Standards H.263-Codierers,
2 ein Blockschaltbild eines Codierers nach der vorliegenden Erfindung und
3 eine entsprechende Decodieranordnung.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Das Prinzip der vorliegenden Erfindung ist Folgendes. Statt einer Codierung des ersten Bildes der Sequenz in einem bestimmten Format, beispielsweise in CIF-Format, entsprechend der Intramode, und einer nachfolgenden Übertragung desselben nach einem Quantisierungs- und einem Entropiecodierungsschritt wird dieses ursprüngliche Bild zu einer niedrigeren Auflösung in einem Abwärtsmischers 221 räumlich abwärts gemischt, beispielsweise zu einer QCIF-Auflösung (144 Zeilen von 176 Pixeln), wobei dieser Mischer, wie in 2 dargestellt, darstellend einen Codierer nach der vorliegenden Erfindung (die entsprechenden Schaltungsanordnungen haben die gleichen Bezugszeichen wie in 1), mit dem Eingang IB des Codierers verbunden ist. Das Ausgangssignal des genannten Abwärtsmischers 221 wird dem Subtrahierer 11 zugeführt und bildet das positive Eingangssignal (statt des direkten Eingangssignals IB in den anderen Fällen, d. h. wenn Bilder nicht entsprechend der Intramode codiert werden). Der genannte Mischer ist beispielsweise ein Halbband-Zweidimensionalfilter mit 15 Abgriffen und mit ungerader Symmetrie, aber zum Sparen von Rechenaufwand, kann auch ein Filter mit einer geringeren Anzahl Abgriffe (beispielsweise sieben) verwendet werden, wobei nahezu dieselbe Qualität erhalten wird. Wie dieser Filterschritt auch sein mag, dieses abwärts gemischte Bild (in QCIF-Format) wird entsprechend der Intramode gefiltert und danach in dem Ausgangsbitstrom übertragen.
In dem Codierer wird das an dem Ausgang der invertierten DCT-Schaltung 18 der Prädiktionsschleife vorhandene QCIF-Bild in einem Aufwärtsmischer 222 zu dem CIF-Format räumlich aufwärts gemischt, damit es verwendet werden kann zum Vorhersagen der nachfolgenden Bilder der Sequenz. Das Ausgangssignal des Aufwärtsmischers 222 wird dem Addierer 19 zugeführt und bildet dessen erster Eingang (statt der direkten Verbindung zwischen der Schaltungsanordnung 18 und dem ersten Eingang des genannten Addierers, wie in 1 dargestellt).
Eine Entscheidungsschaltung 223, vorgesehen wie oben zwischen dem Ausgangspuffer 16 und der Prädiktionsschaltung 20, ermöglicht zunächst, dass (wie oben) zwischen der Intramode und der Intermode gewählt wird, und dass an dem positiven Eingang des Subtrahierers 11, nur in der Intramode, die direkte, von dem Codierereingang herrührende Verbindung durch eine Verbindung ersetzt wird, die von dem Ausgang des Abwärtsmischers 221 herrührt, und an dem Eingang des Addierers 19 die Verbindung, die unmittelbar von der invertierten DCT-Schaltung 18 herrührt, durch eine Verbindung ersetzt wird, die von dem Ausgang des Aufwärtsmischers 222 herrührt.
Der Ausgangsbitstrom OB wird dadurch zusammengesetzt, und zwar entsprechend der vorliegenden Erfindung, aus einem Datenstrom entsprechend den QCIF-Bildern für die Bilde, die in Intramode codiert sind, und entsprechend CIF-Bildern für Bilder, die nicht in dem Intramode codiert sind. Mit den genannten intra- und intercodierten Daten ist eine zusätzliche Information assoziiert um die selektierte Codierungsmode der Daten anzugeben (d. h. welche Daten sind mit einem reduzierten Bildformat codiert worden und welche Daten sind entsprechend der Intercodierungsmode codiert worden), wie von dem H.263 Standard in der Spezifikation des Bitstromsyntaxes empfohlen. Dieser Aus gangsbitstrom kann gespeichert werden, oder übertragen werden, entweder um in einem dazu vorgesehenen Speichermedium gespeichert zu werden, oder um decodiert zu werden.
Eine Decodieranordnung, die dazu vorgesehen und in 3 dargestellt ist, umfasst einen ersten Decodierungskanal mit einer Reihenschaltung aus einer variable-Länge-Decodierschaltung 31, einer invertierten diskreten Kosinustransformationsschaltung 33, wobei dieser Reihenschaltung ein zweiter Bewegungskompensationskanal mit einem Bildspeicher 34, einer Bewegungskompensationsschaltung 35 und einem Addierer 36 folgt, der die Ausgangssignale der genannten invertierten diskreten Kosinustransformationsschaltung 33 und der Bewegungskompensationsschaltung 35 empfängt. Der Ausgang des Addierers 36 ist der Ausgang der Decodieranordnung und der Eingang des Bildspeichers 34. Wenn die Decodieranordnung durch die Detektionsschaltung 38 die Intracodierungsmode erkennt, die mit den Bildern assoziiert ist, die entsprechend dem reduzierten Bildformat (QCIF in dem beschriebenen Beispiel) codiert worden sind, führt sie in einem Aufwärtsmischer 39 eine räumliche Aufwärtsumwandlung von dem genannten reduzierten Format zu dem ursprünglichen Format durch (CIF in dem beschriebenen Beispiel), wobei die direkte Verbindung zwischen dem Eingang der Decodieranordnung und der Schaltungsanordnung 31 dann durch die Verbindung zwischen dem Ausgang des Aufwärtsmischers 39 und dem Eingang der genannten Schaltungsanordnung 31 ersetzt wird.
Die Tests, die durchgeführt worden sind, zeigen, dass, obschon die Qualität der codierten Intrabilder weniger ist als die Qualität der ursprünglichen Bilder, wenn Wiedergabe der ganzen Videosequenz in Echtzeit stattfindet, die Degradation dieser Qualität durch die nachfolgende bessere Qualität der anderen in der Intermode codierten Bilder maskiert wird. Nach einigen Inter-Bildern (im Allgemeinen vier oder fünf) ist es praktisch nicht länger möglich, zwischen der ursprünglichen Sequenz und der Sequenz zu unterscheiden, die entsprechend der vorliegenden Erfindung verarbeitet worden ist. Dasselbe Verhalten kann objektiv dargelegt werden durch PSNR ("Peak Signal to Noise Ratio") und durch MSE ("Mean Square Error") Leuchtdichtemessungen für einige der oben angegebenen Testfolgen:
Nachstehend sind Beispiele einiger Ergebnisse der genannten Tests (in Anzahlen Bits) gegeben, und zwar für dieselben Sequenzen "Teeny", "Foreman" und "Renata": (a) "Teeny"
(b) "Foreman"
(c) "Renata"
Diese Tabellen geben Vergleiche zwischen der gesamten Anzahl Bits an, die erforderlich sind zum Codieren der fünf Ausgangsbilder von jeder Sequenz (für die restlichen Bilder, die diesen Bildern folgen, ist der Betrag an Bits nahezu gleich), und zeigen, dass ein wesentlicher Betrag an Bits während dieser ersten Bilder gespart wird. Weiterhin kann, da der H.263 Video-Codierungsstandard an fünf Bildformaten arbeiten kann (Sub-QCIF = 96 Zeilen zu je 128 Pixeln; QCIF; CIF; 4CIF = 576 Zeilen zu je 704 Pixeln; 16 CIF = 1152 Zeilen zu je 1408 Pixeln), die vorliegende Erfindung auch mit den gleichen Ergebnissen und Leistungen bei dem 16CIF angewandt werden (mit Abwärtsmischung zu 4CIF), bei dem 4CIF (Abwärtsmischung zu CIF) usw., entsprechend dem völlig skalierbaren Merkmal. In dem Fall von 20 kbits/s Videophonie mit QCIF-Bildern sind Sub-QCIF-Größen nicht ganz die Hälfte der Abmessungen von QCIF (im Wesentlichen hat man 128 Pixel und 96 Zeilen statt 88 und 72). Abwärtsmischung von QCIF zu Sub-QCIF vor der Intra-Codierung, würde nicht den gleichen Effekt der "Bit-Einsparung und weniger Verzögerung" ergeben wie in den anderen Fällen mit einer höheren Auflösung. Es wird folglich vorgeschlagen, statt des Sub-QCIF-Formats "Half-QCIF" zu verwenden. Die "Half-QCIF"-Größen sind 88 Pixel und 72 Zeilen und wieder kann dieses Format durch das gleiche zweidimensionale Filter mit 15 Abgriffen erhalten werden. Da es kein Standard-Format ist, können die zwei betreffenden Intra-Abwärts-Aufwärts-Terminals den "Half-QCIF" signalisieren als wäre es ein "normaler" Sub-QCIF, mit anderen Worten: wenn das Abwärts-Aufwärts-Merkmal einmal erkannt worden ist und von den zwei Terminals, die mit QCIF-Auflösung arbeiten, benutzt wird, wenn der Decoder die Sub-QCIF-Quellenformatangabe aus dem Intra-Kopf liest, erkennt er, dass er sich vor einem Half-QCIF-Bild befindet und er führt nach der invertierten DCT-Berechnung eine räumliche Aufwärtsmischung von Half-QCIF- zu QCIF-Größe durch.

Claims

Videocodierungsverfahren, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – einen ersten Codierungsschritt, der in Reihe wenigstens einen orthogonalen Transformationsschritt, einen Quantisierungssubschritt und einen variable-Länge-Codierungssubschritt umfasst; – einen zweiten Prädiktionsschritt, der in Reihe zwischen dem Ausgang des genannten Quantisierungssubschritt und dem Eingang des Codierungsschrittes wenigstens einen inversen Quantisierungssubschritt, einen inversen orthogonalen Transformationssubschritt und einen Prädiktionssubschritt umfasst; – einen dritten Entscheidungsschritt, der einen Selektionssubschritt zwischen sog. Intra- und Intercodierungsmoden umfasst; wobei der genannte dritte Entscheidungsschritt ebenfalls nur in der genannten Intracodierungsmode einen Abwärtsmischfiltersubschritt umfasst, durchgeführt am Anfang des Codierungsschrittes und einen entsprechenden Aufwärtsmischfiltersubschritt, durchgeführt in dem Prädiktionsschritt, unmittelbar vor dem Prädiktionssubschritt selber, wobei die genannte Abwärtsmischung es ermöglicht, Bilder mit einem reduzierten Bildformat gegenüber dem Format der Bilder zu codieren, die entsprechend der Intercodierungsmode codiert worden sind.
Videocodierungsverfahren nach Anspruch 1, wobei das genannte reduzierte Bildformat das sog. Format QCIF von 176 Pixeln × 144 Zeilen ist, wobei das Format in der Intercodierungsmode das Format CIF von 352 Pixeln × 288 Zeilen ist.
Videocodierungsanordnung, wobei diese Anordnung die nachfolgenden Elemente umfasst: – einen ersten Codierungskanal, der in Reihe eine diskrete Kosinustransformationsschaltung, einen Quantisierer, eine variable-Länge-Codierungsschaltung, einen Multiplexer und einen Ausgangspuffer aufweist; – einen zweiten Prädiktionskanal, der in Reihe zwischen dem Ausgang des genannten Quantisierers und dem Eingang der genannten diskreten Kosinustransformationsschaltung einen inversen Quantisierer, eine inverse Kosinustransformationsschaltung, einen Addierer, eine Prädiktionsschaltung und den negativen Eingang eines Subtrahierers aufweist; – einen dritten Entscheidungskanal, der eine zwischen den Ausgang des Puffers und die Prädiktionsschaltung eingefügte Entscheidungsschaltung aufweist, vorgesehen zur Selektion zwischen sog. Intra- und Intercodierungsmoden; dadurch gekennzeichnet, dass der genannte Entscheidungskanal ebenfalls die nachfolgenden Elemente umfasst: (a) einen Empfangsumsetzer, eingefügt zwischen den Eingang des Codierers und den positiven Eingang des genannten Subtrahierers; (b) einen Sendeumsetzer, eingefügt zwischen den Ausgang der genannten inversen Kosinustransformationsschaltung und den Eingang des Addierers, wobei der Empfangsumsetzer und der Sendeumsetzer durch die genannte Entscheidungsschaltung in die aktive Lage gesteuert werden, und zwar statt entsprechender direkter Verbindungen, nur dann, wenn die genannte Intracodierungsmode selektiert ist.
Codiertes Signal, wie dies erhalten wird an dem Ausgang einer Videocodierungsanordnung, die einen ersten Codierungskanal und einen Prädiktionskanal enthält, wobei weiterhin ein Entscheidungszweig vorgesehen ist zum Wählen zwischen sog. Intra- und Intercodierungsmoden der Eingangsvideosignale, wobei das genannte codierte Signal einen Bitstrom aufweist, zusammengesetzt aus intra- und intercodierten Daten und assoziierter Information über die genannte Codierungsmode, wobei die genannten intracodierten Daten Bildern entsprechen, die mit einem reduzierten Bildformat gegenüber dem Format der Bilder, die entsprechend der Intercodierungsmode codiert wurden, codiert worden sind.
Speichermedium. Das ein codiertes Signal speichert, wie dies an dem Ausgang eines Videocodierers erhalten wird, mit einem ersten Codierungskanal und einem Prädiktionskanal, wobei weiterhin ein Entscheidungszweig vorgesehen ist um zwischen sog. Intra- und Intercodierungsmoden der Eingangsvideosignale zu wählen, wobei das genannte codierte Signal einen Bitstrom aufweist, zusammengesetzt aus intra- und intercodierten Daten und einer assoziierten Information über die genannte Codierungsmode, wobei die genannten intracodierten Daten Bildern entsprechen, die mit einem reduzierten Bildformat gegenüber dem Format von Bildern codiert worden sind, die entsprechend der Intercodierungsmode codiert wurden.
Anordnung zum Decodieren eines codierten Videosignals nach Anspruch 4, wobei die genannte Anordnung einen ersten Decodierungskanal aufweist, der in Reihe eine variable-Länge-Decodierungsschaltung, eine inverse Quantisierungsschaltung und eine inverse diskrete Kosinustransformationsschaltung aufweist, der ein zweiter Bewegungskompensationskanal folgt, der einen Bildspeicher, eine Bewegungskompensationsschaltung und einen Addierer aufweist, der die Ausgangssignale der genannten inversen diskreten Kosinustransformationsschaltung und Bewegungskompensationsschaltung empfängt, wobei die genannte Decodierungsanordnung weiterhin dadurch gekennzeichnet ist, dass sie eine Detektionsschaltung aufweist zum wieder Erkennen der Intracodierungsmode, und einen Sendeumsetzer zum Durchführen, nur in der genannten Intramode, der Umwandlung von dem genannten reduzierten Bildformat in das Bildformat entsprechend der Intercodierungsmode.