DE60305325T2

DE60305325T2 - System und verfahren zur ratenverzerrungsoptimierten datenpartitionierung zur videocodierung unter verwendung von rückwärtsadaption

Info

Publication number: DE60305325T2
Application number: DE60305325T
Authority: DE
Inventors: C. Jong Briarcliff Manor YE; Yingwei Briarcliff Manor CHEN
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-08-06
Filing date: 2003-07-31
Publication date: 2007-03-29
Anticipated expiration: 2023-08-01
Also published as: EP1529401A1; EP1529401B1; ATE326816T1; CN1675932A; US20040028131A1; US7010037B2; DE60305325D1; AU2003250417A1; JP2005535250A; KR20050032113A; WO2004015998A1

Description

1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein skalierbares Videocodierungssystem, insbesondere betrifft die Erfindung eine leistungsfähige geschichtete Videocodierungstechnik, die rückwärtsadaptive ratenverzerrungsoptimierte Datenpartitionierung (RD-DP) von Discrete Cosinus-Transformation (DCT)-Koeffizienten verwendet. Die Erfindung ist besonders nützlich in Verbindung mit Netzwerken mit variabler Bandbreite und Computersystemen, die sich an verschiedene Bitraten anpassen können, und somit an verschiedene Bildqualitäten.
2. Beschreibung des Stands der Technik
Video ist eine Bildfolge; jedes Bild wird durch eine Anordnung von Pixeln geformt. Die Größe eines unkomprimierten Videos ist enorm. Um seine Größe zu reduzieren, kann Videokomprimierung verwendet werden, um die Größe zu verringern und die Datenübertragungsrate zu erhöhen. Verschiedene Videocodierungsverfahren (z.B. MPEG 1, MPEG 2 und MPEG 4) sind entwickelt worden, um einen internationalen Standard für die codierte Darstellung von Bewegtbildern und des zugehörigen Tons auf digitalen Speichermedien bereitzustellen.
Solche Videocodierungsverfahren formatieren und komprimieren die Ausgangsvideodaten für reduzierte Übertragungsraten. Das Format des MPEG 2-Standards besteht zum Beispiel aus 4 Schichten: Bildgruppe, Bilder, Slice, Makroblock, Block. Eine Videosequenz beginnt mit einem Sequenzkopf, der eine oder mehrere Bildgruppen (GOP) umfaßt, und endet mit einem Sequenzendcode. Die Bildgruppe (GOP) enthält einen Kopf und eine Reihe aus einem oder mehreren Bildern, die den Direktzugriff auf die Videosequenz erlauben sollen.
Die Bilder sind die primäre Codierungseinheit einer Videosequenz. Ein Bild besteht aus drei rechteckigen Matrizen, die den Luminanz- (Y) und zwei Chrominanzwerte (Cb und Cr) darstellen. Die Y-Matrix weist eine gerade Zahl von Reihen und Spalten auf. Die Cb- und Cr-Matrizen sind in jeder Richtung (horizontal und vertikal) halb so groß wie die Y-Matrix. Die Slices sind ein oder mehrere „zusammenhängende" Makroblöcke. Die Reihenfolge der Makroblöcke in einem Slice ist von links nach rechts und von oben nach unten.
Die Makroblöcke sind die BasisCodierungseinheit im MPEG-Algorithmus. Der Makroblock ist ein 16 × 16 Pixel-Segment in einem Frame. Da jede Chrominanzkomponente eine Hälfte der vertikalen und horizontalen Auflösung der Luminanzkomponente aufweist, besteht ein Makroblock aus vier Y-, einem Cr- und einem Cb-Block. Der Block ist die kleinste Codierungseinheit im MPEG-Algorithmus. Er besteht aus 8 × 8 Pixeln und einer von drei Typen sein: Luminanz (Y), Rot-Chrominanz (Cr) oder Blau-Chrominanz (Cb). Der Block ist die Basiseinheit in der Intraframecodierung.
Der MPEG 2-Standard definiert drei Bildtypen: Intra-Bilder (I-Bilder), Predicted Bilder (P-Bilder) und Bidirektionale Bilder (B-Bilder). Intra-Bilder oder I-Bilder sind nur mit Information codiert, die im Bild selbst vorhanden ist, und stellen potentielle Direktzugriffspunkte auf die komprimierten Videodaten bereit. Predicted Bilder oder P-Bilder sind in Bezug auf die nächsten vorhergehenden I- oder P-Bilder codiert. Wie I-Bilder können auch P-Bilder als Prediction-Referenz für B-Bilder und spätere P-Bilder dienen. Überdies verwenden P-Bilder Motion Compensation, um mehr Komprimierung zu erlauben, als dies mit I-Bildern möglich ist. Bidirektionale Bilder oder B-Bilder sind Bilder, die sowohl ein früheres als auch ein späteres Bild als Bezug verwenden. B-Bilder erlauben die stärkste Komprimierung, da sie sowohl das frühere als auch das spätere Bild als Bezug verwenden. Diese drei Bildtypen werden kombiniert, um eine Bildgruppe zu formen.
Der MPEG-Umwandlungscodierungsalgorithmus schließt die folgenden Codierungsschritte ein: Diskrete Cosinus-Transformation (DCT), Quantisierung und Lauflängencodierung.
Eine wichtige Technik in der Videocodierung ist die Skalierbarkeit. Diesbezüglich wird ein skalierbarer Videocodec als ein Codec definiert, der in der Lage ist, einen Bitstrom zu erzeugen, der in eingebettete Teilmengen unterteilt werden kann. Diese Teilmengen können unabhängig decodiert werden, um Videosequenzen mit zunehmender Qualität zu ergeben. Dadurch kann ein einziger Komprimierungsvorgang Bitströme mit verschiedenen Raten und rekonstruierter Qualität erzeugt werden. Eine kleine Teilmenge des ursprünglichen Bitstroms kann am Anfang übertragen werden, um eine Base Layer-Qualität bereitzustellen, mit zusätzlichen Layers, die danach als Enhancement Layers übertragen werden. Skalierbarkeit wird von den meisten der Videokomprimierungsstandards wie MPEG-2, MPEG-4 und H.263 unterstützt.
Eine wichtige Anwendung der Skalierbarkeit ist die fehlerresistente Videoübertragung. Skalierbarkeit kann verwendet werden, um einen stärkeren Fehlerschutz auf die Base Layer als auf die Enhancement Layers anzuwenden (d.h., einen ungleichen Fehlerschutz). Dadurch wird die Base Layer selbst unter widrigen Übertragungskanalbedingungen mit hoher Wahrscheinlichkeit erfolgreich decodiert.
Die Datenpartitionierung (DP) wird verwendet, um die Skalierbarkeit zu erleichtern. In MPEG 2 Zum Beispiel gibt die Slice-Layer die Höchstzahl der Blocktransformationskoeffizienten an, die im spezifischen Bitstrom enthalten sind (als Priority Break Point bekannt). Die Datenpartitionierung ist ein Frequenzdomänenverfahren, das den Block aus 64 quantisierten Transformationskoeffizienten in zwei Bitströme aufteilt. Der erste Bitstrom mit höherer Priorität (z.B. Base Layer) enthält die kritischeren Koeffizienten mit niedrigerer Frequenz und die Nebeninformation (wie z.B. DC-Werte, Motion Vectors). Der zweite Bitstrom mit niedrigerer Priorität (z.B. Enhancement Layers) befördert AC-Daten mit höherer Frequenz.
Insbesondere in konventionellen DP-Videocodierern (z.B. MPEG\) wird der Single Layer-Bitstrom in der DCT-Domäne in zwei oder mehr Bitströme partitioniert. Bei der Übertragung werden ein oder mehr Bitströme gesendet, um die Bitratenskalierbarkeit zu erreichen. Der ungleiche Fehlerschutz kann auf Base- und Enhancement Layer-Daten angewandt werden, um die Widerstandsfähigkeit gegen Kanalverschlechterung zu erhöhen. Vor dem Decodieren werden je nach Ressourcenzuweisung und/oder Empfängerleistung die empfangenen Bitströme oder eine Teilmenge davon zu einem einzigen Bitstrom verschmolzen und decodiert.
Die konventionelle DP-Struktur weist in einer Heimnetzwerkumgebung Vorteile auf. Das heißt, bei ihrer vollen Qualität ist die Ratenverzerrungsleistung der DP so gut wie ihr Single Layer-Gegenstück, wobei auch die Ratenskalierbarkeit möglich ist. Die Ratenverzerrungsleistung (RD-Leistung) betrifft das Finden einer optimalen Kombination von Rate und Verzerrung. Diese optimale Kombination, die einer optimalen Kombination aus Kosten und Qualität entspricht, ist nicht einmalig. RD-Systeme streben an, eine Information durch möglichst wenig Bits darzustellen, und zugleich auf eine Weise, die zur besten Wiedergabequalität führt.
Es ist auch anzumerken, daß in der konventionellen DP-Struktur der zusätzliche Decodierungskomplexitätsoverhead bei seiner vollen Qualität sehr minimal ist, während die DP einen größeren Bereich an Decoderkomplexitätsskalierbarkeit bietet. Dies deshalb, weil die Decodierung mit variabler Codewortlänge (VLD) von DCT (run, length)-Paaren, die den rechenintensivsten Teil darstellt, nun skalierbar wird.
In der konventionellen DP-Struktur muß der DCT Priority Break Point (PBP)-Wert explizit als Nebeninformation übertragen werden. Um den Overhead zu minimieren, ist der PBP-Wert gewöhnlich für alle DCT-Blöcke innerhalb jedes Slices oder Videopakets feststehend.
Auch wenn das konventionelle DP-Verfahren einfach ist und einige Vorteile aufzuweisen hat, ist es nicht in der Lage, die Base Layer-Optimierung zu adaptieren, da nur ein PBP-Wert für alle Blöcke innerhalb jedes Slices oder Videopakets verwendet wird. Daher besteht ein Bedarf nach Videocodierungstechniken, die adaptierbar sind, um eine verbesserte Base Layer-Optimoerung zu ermöglichen.
Die vorliegende Erfindung spricht den obigen Bedarf durch Bereitstellung eines verbesserten Datenpartitionsverfahrens an, das dem PBP-Wert erlaubt, sich jeweils auf DCT-Blockebene zu adaptieren. In einer Ausführungsform der Erfindung kann dies mit minimalem Overhead (≈ 20 Bits für jedes Slice oder Videopaket oder selbst für jedes Frame) erreicht werden, indem einer kontextbasierte Rückwärtsadaptation verwendet wird.
Ein Aspekt der vorliegenden Erfindung betrifft ein System und ein Verfahren, das eine rückwärtsadaptive ratenverzerrungsoptimierte Datenpartitionierung (RD-DP) von DCT-Koeffizienten ermöglicht.
In einem anderen Aspekt der Erfindung adaptiert die RD-DP den Partitionspunkt blockweise, was die Codierungsleistung des Base Layer-Bitstroms stark verbessert. Dies gestattet einem Decoder auch, die Paritionsstelle aus den decodierten Daten auf rückwärtige Weise zu finden, ohne explizite Übertragung, wodurch die Bandbreite erheblich eingespart wird.
In einem weiteren Aspekt der vorliegenden Erfindung wird ein Lagrange-Parameter λ berechnet. Der Wert von λ wird mit einem eindimensionalen Standard-Bisektion-Algorithmus bestimmt, um (für den Base Layer-Übertragungskanal) ein Raten-Budget Rb zu berechnen.
Eine Ausführungsform der Erfindung betrifft ein Datenpartitionierungsverfahren für einen skalierbaren Videocodierer. Das Verfahren umfaßt die Schritte des Empfangens von Videodaten, des Bestimmens von DCT-Koeffizienten für eine Vielzahl von Makroblöcken eines Videoframes, des Quantierens des DCT-Koeffizienten und des Umwandelns der quantisierten DCT-Koeffizienten in (run, level)-Paare. Für jeden der Vielzahl von Makroblöcken im Videoframe, das Bestimmen, eines jeweiligen Verhältnisses |X^k _i|²/L^k _i, wo ein k.tes (run, level)-Paar für einen i.ten Block L^k _i Bits beträgt und einen Koeffizientenwert von X^k _i hat. Wenn ein k.tes Verhältnis für das k.te (run, level)-Paar kleiner als λ ist, oder wenn das k.te Verhältnis ein erstes Verhältnis ist, das nicht kleiner als λ ist, das Setzen des k.ten (run, level)-Paars in eine Base Layer, andernfalls, wenn das k.te Verhältnis für das k.te (run, level)-Paar größer als λ ist, das Setzen des k.ten (run, level)-Paars in eine Enhancement Layer, wobei λ einer Lagrange-Berechnung entsprechend bestimmt wird.
Eine andere Ausführungsform der vorliegenden Erfindung betrifft ein Verfahren zum Bestimmen einer Grenze zwischen einer Base Layer und mindestens einer Enhancement Layer in einem skalierbaren Videodecoder. Das Verfahren umfaßt die Schritte des Empfangens der Base Layer und der mindestens einen Enhancement Layer, wobei die Base Layer und Enhancement Layer Daten einschließen, die (run, level)-Paare für eine Vielzahl von Makroblöcken in einem Videoframe darstellen. Für jeden der Vielzahl von Makroblöcken im Videoframe, das Bestimmen eines Verhältnisses |X^k _i|²/L^k _i, wo ein k.tes (run, level)-Paar für einen i.ten Block L^k _i Bits beträgt und einen Koeffizientenwert von X^k _i hat. Wenn das Verhältnis für das k.te (run, level)-Paar kleiner ist als λ, oder wenn das k.te Verhältnis ein erstes Verhältnis ist, das nicht kleiner als λ ist, das Lesen des k.ten (run, level)-Paars aus der Base Layer, andernfalls, wenn das Verhältnis für das k.te (run, level)-Paar größer als λ ist, das Lesen des k.ten (run, level)-Paars aus der mindestens einen Enhancement Layer, wobei λ einer Lagrange-Berechnung entsprechend bestimmt wird.
Eine weitere Ausführungsform der vorliegenden Erfindung betrifft einen skalierbaren Decoder, der in der Lage ist, Daten von einer Base Layer und mindestens einer Enhancement Layer zu verschmelzen. Der Decoder umfaßt einen Speicher, der computerausführbare Prozeßschritte speichert, und einen Prozessor, der angeordnet ist, um die im Speicher gespeicherten Prozeßschritte auszuführen, um (i) die Base Layer und die mindestens eine Enhancement Layer zu empfangen, wobei die Base Layer und die Enhancement Layer Daten einschließen, die (run, level)-Paare für eine Vielzahl von Makroblöcken in einem Videoframe darstellen, (2) für jeden der Vielzahl von Makroblöcken im Videoframe ein Verhältnis |X^k _i|²/L^k _i zu bestimmen, wo ein k.tes (run, level)-Paar für einen i.ten Block L^k _i Bits beträgt und einen Koeffizientenwert von X^k _i hat, und (3), wenn das Verhältnis für das k.te (run, level)-Paar kleiner als λ ist, oder wenn das k.te Verhältnis ein erstes Verhältnis ist, das nicht kleiner als λ ist, das k.te (run, level)-Paar aus der Base Layer zu lesen, andernfalls, wenn das Verhältnis für das k.te (run, level)-Paar größer als λ ist, das k.te (run, level)-Paar aus der mindestens einen Enhancement Layer zu lesen, wobei λ einer Lagrange-Berechnung entsprechend bestimmt wird.
Noch eine andere Ausführungsform der vorliegenden Erfindung betrifft einen skalierbaren Transcoder. Ein Single Layer-codierter Videobitstrom (MPEG-1, MPEG-2, MPEG-4, H.264 usw.) wird partiell decodiert, und der Bitstrom-Splitpunkt für jeden DCT-Block wird auf der Basis des obigen Grenzbestimmungsverfahrens bestimmt. Dann werden die VLC-Codes auf der Basis der Splitpunkte in zwei oder mehr Partitionen aufgeteilt. Die partielle Decodierung umfaßt nur die Decodierung mit variabler Codewortlänge, die inverse Abtastung und die inverse Quantisierung. Eine inverse DCT oder Motion Compensation wird nicht benötigt.
Diese kurze Zusammenfassung wurde vorgesehen, damit die Beschaffenheit der Erfindung schnell verständlich wird. Ein umfassenderes Verständnis der Erfindung kann Bezug nehmend auf die folgende ausführliche Beschreibung der bevorzugten Ausführungsformen davon in Verbindung mit den beiliegenden Zeichnungen erhalten werden.
1 zeigt ein Videocodiersystem nach einem Aspekt der vorliegenden Erfindung.
2 zeigt eine Ratenverzerrungskurve.
3 zeigt ein Computersystem, auf welchem die vorliegende Erfindung implementiert werden kann.
4 zeigt die Architektur eines Personal-Computers im Computersystem von 3.
5 zeigt ein Blockdiagramm eines Transcoders nach einer Ausführungsform der vorliegenden Erfindung.
1 veranschaulicht ein skalierbares Videosystem 100 mit geschichteter Codierung und Transport-Priorisierung. Ein geschichteter Quellcodierer 110 codiert Eingangsvideodaten. Die Ausgabe des geschichteten Quellcodierers 110 umfaßt eine Base Layer 121 und eine oder mehrere Enhancement Layers 122-124. Eine Vielzahl von Kanälen 120 transportieren die ausgegebenen codierten Daten. Ein geschichteter Quelldecoder 130 decodiert die codierten Daten.
Es gibt verschiedene Wege, geschichtete Codierung zu implementieren. Zum Beispiel beim Temporal Domain Layered Coding enthält die Base Layer einen Bitstrom mit einer niedrigeren Framerate, und die Enhancement Layers enthalten zusätzliche Information, um eine Ausgabe mit höheren Frameraten zu erhalten. Beim Spatial Domain Layered Coding codiert die Base Layer die unterabgetastete Version der Originalvideosequenz, und die Enhancement Layers enthalten zusätzliche Information, um eine höhere räumliche Auflösung am Decoder zu erhalten.
Allgemein verwendet eine andere Layer einen anderen Datenstrom und weist deutlich abweichende Toleranzen gegenüber Kanalfehlern auf. Um Kanalfehler zu bekämpfen, wird die geschichtete Codierung gewöhnlich mit Transport-Priorisierung kombiniert, so daß die Base Layer mit einem höheren Fehlerschutzgrad übertragen wird. Wenn die Base Layer 121 verloren geht, können die in den Enhancement Layers 122-124 enthaltenen Daten nutzlos sein.
In einer Ausführungsform der vorliegenden Erfindung wird die Videoqualität der Base Layer 121 auf flexible Weise auf der DCT Block-Ebene gesteuert. Die gewünschte Base Layer kann gesteuert werden, indem der PBP auf der DCT Block-Ebene durch Verwendung der kontextbasierten Rückwärtsadaptation adaptiert wird.
Es ist anzumerken, daß der Zweck von DCT darin besteht, die räumliche Korrelation zwischen benachbarten Fehlerpixeln zu reduzieren und die Energie der Fehlerpixel zu wenigen Koeffizienten zu verdichten. Da viele hochfrequente Koeffizienten nach der Quantisierung null betragen, wird die Codierung mit variabler Codewortlänge (VLC) durch ein Lauflängen-Codierungsverfahren erreicht, das die Koeffizienten durch einen sogenannten Zig-Zag-Scan in einem eindimensionale Array so anordnet, daß die niederfrequenten Koeffizienten vor die hochfrequenten Koeffizienten gesetzt werden. Auf diese Weise werden die quantisierten Koeffizienten in Form der Werte ungleich Null und der Zahl der vorhergehenden Nullen spezifiziert. Verschiedene Symbole, die jedes einem Zero-Runlength-Paar entsprechen, und Werte ungleich null werden mit Codewörtern mit variabler Länge codiert.
Das skalierbare Videosystem 100 verwendet bevorzugt Entropie-Codierung. In der Entropie-Codierung werden quantisierte DCT-Koeffizienten zu einem eindimensionalen Array neu angeordnet, indem sie in einer zickzackförmigen Reihenfolge abgetastet werden. Diese Umordnung setzt den DC-Koeffizienten an die erste Stelle der Anordnung, und die restlichen AC-Koeffizienten werden von der niedrigen zur hohen Frequenz angeordnet, sowohl in horizontaler als auch in vertikaler Richtung. Die Annahme ist, daß die quantisierten DCT-Koeffizienten bei hohen Frequenzen wahrscheinlich null sind, wodurch die ungleich Null- und Null-Abschnitte getrennt werden. Die neu angeordnete Anordnung wird zu einer Sequenz des Run-Level-Paars codiert. Ein „Run" wird als eine Entfernung zwischen zwei Koeffizienten ungleich Null in der Anordnung definiert. Ein „Level" ist der Wert ungleich Null direkt nach einer Folge von Nullen. Dieses Codierungsverfahren ergibt eine kompakte Darstellung der 8 × 8 DCT-Koeffizienten, da eine große Zahl der Koeffizienten bereits auf den Nullwert quantisiert wurden.
Die Run-Level-Paare und die Information über den Makroblock, wie z.B. die Motion Vectors und Prediction Types, werden durch Entropie-Codierung weiter komprimiert. Zu diesem Zweck werden sowohl Codes mit variabler Länge als auch mit fester Länge benutzt.
Das Design des Videosystems 100 ist durch die Ratenverzerrungstheorie (RD) begründet. Die RD-Theorie ist in Codierungs- und Komprimierungsszenarien von Nutzen, wo die verfügbare Bandbreite a priori bekannt ist und wo es darauf ankommt, die beste Wiedergabequalität zu erreichen, die in dieser Bandbreite erreichbar ist (d.h. adaptive Algorithmen).
Im folgenden wird eine Veranschaulichung formuliert, um optimierte Partitionierungen (d.h., Base- und Enhancement Layer-Partitionierungen) zu ermitteln. In der folgenden Erläuterung wird angenommen, daß „n" DCT-Blöcke für jedes Videoframe vorhanden sind und das Bitraten-Budget Rb für die Base Layer-Partition bekannt ist. Das Raten-Budget wird auf der Basis der Mindestanforderung an die Videoqualität und der Datendurchsatzfluktuation des Kanals bestimmt. Dann kann das folgende Optimierungsproblem formuliert werden, um optimale Partitionen zu ergeben:
wobei Pi ∊ {0, 1, ..., K(i)}, i = 1, ..., n der Breakpoint-Wert für den i.ten Block ist und K(i) die maximalen (run, length)-Paare im i.ten Block bezeichnet, Ri(Pi) und Di(Pi) jeweils die entsprechende Bitrate und Verzerrung vom i.ten Block bezeichnen.
Das Optimierungsproblem kann mit einem iterativen Bisektion-Algorithmus auf der Basis einer Lagrange-Optimierung gelöst werden. Der optimale Paritionierungspunkt Pi erfüllt die folgende Bedingung für alle i = 1, ..., n:
wobei das Lagrange λ > 0 durch die Standard-Bisektion-Suche so bestimmt wird, daß die Ratenbeschränkung in (1) erfüllt wird.
Wenn das k.te DCT (run, length)-Paar für den i.ten Block L^k _i Bits beträgt und einen Koeffizientenwert von X^k _i hat; dann weist die Steigung für die Ratenverzerrungskurve (RD-Kurve) des i.ten Blocks den folgenden Satz von Einzelwerten auf:
Bezug nehmend nun auf 2, wird eine konvexe RD-Kurve gezeigt, um zu veranschaulichen, wie der Partitionspunkt bestimmt wird und wie der geschichtete Quelldecoder 130 den Partitionspunkt auf rückwärtsadaptive Weise ableiten kann. Es ist anzumerken, daß der geschichtete Quelldecoder 130 auf gleiche Weise arbeitet, auch wenn die RD-Lurve nicht konvex ist.
Aus 2 ist zu ersehen, daß λ generell eine in Bezug auf R abnehmende Funktion ist, die ist, und daher gilt allgemein die folgende Beziehung:
Gleichung (4) gemäß wird ein Partitionierungsalgorithmus für die DCT-Koeffizienten auf der Seite des geschichteten Quelldecoders 130 wie folgt ausgedrückt. Es ist anzumerken, daß die Videodaten für ein Frame mit der diskreten Cosinus-Transformation (DCT) konvertiert werden, die DCT-Koeffizienten quantisiert werden und dann durch Codierung mit variabler Codewortlänge (VLC) in binäre Codewörter umgewandelt werden, um an diesen Punkt zu gelangen.
Der Lagrange-Parameter λ kann als Nebeninformation (d.h. Overhead-Information) getrennt codiert und übertragen werden. Der geschichtete Quelldecoder 130 kann mit dem folgenden Algorithmus die Grenze der Base Layer 121 und Enhancement Layer 122 finden, sowie die Sychronisierung finden:
Bei der praktischen Implementierung der Codierung mit variabler Codewortlänge für das (run, length)-Paar kann die RD-Kurve von 2 nicht konvex sein, weil die VLC nur eine Näherung der wahren Entropie der Quelle ist. In diesem Fall ist die Prüfvariable |X^k _i|²/L^k _i in Bezug auf k nicht mehr monoton. Doch selbst in diesem Fall ist zu ersehen, daß die Codierungs- und Decodierungsalgorithmen perfekt synchronisiert werden können, da beide nach den ersten (run, length)-Paaren abbrechen, welche |X^k _i|²/L^k _i < λ erfüllen.
Wie oben erläutert, ist die einzige Nebeninformation, die übertragen werden muß, der Lagrange-Parameter λ. Der Wert von λ wird mit dem eindimensionalen Standard-Bisektion-Algorithmus bestimmt, um das Raten-Budget Rb von Gleichung (1) zu erfüllen. Doch der Optimalwert von λ kann eine reale Zahl sein und sollte zur Übertragung über den Kanal 120 quantisiert werden.
In einer bevorzugten Ausführungsform wird die Codierungspräzision des quantisierten λ wie folgt bestimmt. Die Codierungspräzision wird aufgelöst, indem vorausgesetzt wird, daß |X^k _i|²/L^k _i nur diskrete Werte für jedes i, k aufweist. Zum Beispiel wird die maximale Größe von L^k _i durch die maximale Länge des Codeworts in der Huffman-Tabelle nach oben hin begrenzt, während der Höchstwert von |X^k _i| durch den DCT-Koeffizientenbereich nach oben hin begrenzt wird. Das heißt, die Bits, die zum Codieren von L^k _i und |X^k _i| erforderlich sind, werden jeweils durch log2(maximale Länge des Codeworts in der Huffman-Tabelle) und log2(DCT-Koeffizientenbereich) nach oben hin begrenzt.
Wenn die maximale Länge des VLC zum Beispiel 64 Bits lang ist, und DCT-Koeffizienten Ganzzahlen zwischen –2048 und 2047 sind, dann kann der Wert von λ mit log2(64)+log2(2048)= 19 Bits quantisiert werden. Da dieser Overhead nur einmal im Videoframe-Header gesendet werden muß, ist zu ersehen, daß die Zunahme der Bitrate mit dem RD-DP minimal ist. Für den Fachmann versteht es sich auch, daß der λ Wert-Overhead auf der Slice- oder Videopaketebene gesendet werden kann, um Frame-Header-Verluste zu bekämpfen.
Durch Übertragung des λ-Werts und der entsprechenden niederfrequenten und einiger hochfrequenten DCT-Koeffizienten (als die Base Layer 121) über einen zuverlässigeren Übertragungskanal ist daher eine größere dynamische Zuweisung der DCT-Information erreichbar. Dies ermöglicht mehr Kontrolle über die Mindestqualität des Videos in dem Falle, daß Daten von einer oder mehreren der Enhancement Layers 122-124 verloren gehen.
Die Ausführungsformen der vorliegenden Erfindung, die oben erläutert wurden, sind auf jedes skalierbare Videocodiersystem anwendbar, z.B. MPEG 2, MPEG 3, H.263 usw.
3 zeigt eine repräsentative Ausführungsform eines Computersystems 9, auf dem die vorliegende Erfindung implementiert werden kann. Wie in 3 gezeigt, umfaßt der Personal Computer („PC) 10 einen Netzwerkanschluß 11, um eine Schnittstelle zu einem Netzwerk wie z.B. ein Netzwerk mit variabler Bandbreite oder das Internet zu bilden, und einen Fax/Modem-Anschluß 12, um eine Schnittstelle zu anderen Fernquellen wie einer Videokamera (nicht gezeigt) zu bilden. Der PC 10 umfaßt auch einen Anzeigebildschirm 13, um einem Benutzer Information (einschließlich Videodaten) anzuzeigen, eine Tastatur 15 zum Eingeben von Text und Benutzerbefehlen, eine Maus 13, um einen Cursor auf dem Anzeigebildschirm 14 zu positionieren, ein Diskettenlaufwerk 16 zum Lesen von und Schreiben auf Disketten, die darin eingelegt sind, und ein CD-ROM-Laufwerk 17, um auf Information zuzugreifen, die auf CD-ROM gespeichert ist. Der PC 10 kann auch ein oder mehre Peripheriegeräte aufweisen, die daran angeschlossen sind, wie einen Scanner (nicht gezeigt) zur Eingabe von Domumententextbildern, Grafikbildern oder dergleichen, und einen Drucker 19 zur Ausgabe von Bildern, Text oder dergleichen.
4 zeigt die innere Struktur des PCs 10. Wie in 4 gezeigt, umfaßt der PC 10 Speicher 20, der ein computerlesbares Medium wie z.B. eine Computerfestplatte umfaßt. Der Speicher 20 speichert Daten 23, Anwendungen 25, Druckertreiber 24 und das Betriebssystem 26. In bevorzugten Ausführungsformen der Erfindung ist das Betriebssystem 26 ein Betriebssystem mit Fenstertechnik, wie z.B. Microsoft Windows 95, auch wenn die Erfindung auch mit anderen Betriebssystemen verwendet werden kann. Unter den Anwendungen, die im Speicher 26 gespeichert sind, sind der skalierbare Videocodierer 21 und der skalierbare Videodecoder 22. Der skalierbare Videocodierer 21 führt die skalierbare Videodatencodierung auf die unten ausführlich dargelegte Weise durch, und der skalierbare Videodecoder 22 decodiert Videodaten, die auf die vom skalierbaren Videocodierer 21 vorgegebene Weise codiert wurden.
Im PC 10 sind auch eine Anzeigeschnittstelle 29, eine Tastaturschnittstelle 30, eine Mausschnittstelle 31, eine Diskettenlaufwerksschnittstelle 32, eine CD-ROM-Laufwerksschnittstelle 34, ein Computerbus 36, ein RAM-Speicher 37, ein Prozessor 38 und eine Druckerschnittstelle 40 enthalten. Der Prozessor 38 umfaßt bevorzugt einen Mikroprozessor oder ähnliches, um Anwendungen wie z.B. die oben genannten aus dem RAM-Speicher 37 auszuführen. Solche Anwendungen, einschließlich des skalierbaren Videocodierers 21 und des skalierbaren Videodecoders 22, können im Speicher 20 gespeichert sein, wie oben erwähnt, oder alternativ dazu auf einer Diskette im Diskettenlaufwerk 16 oder auf einer CD-ROM im CD-ROM-Laufwerk 17. Der Prozessor 38 greift über die Diskettenlaufwerksschnittstelle 32 auf Anwendungen (oder andere Daten) zu, die auf einer Diskette gespeichert sind, und greift über die CD-ROM-Laufwerksschnittstelle 34 auf Anwendungen (oder andere Daten) zu, die auf einer CD-ROM gespeichert sind.
Die Anwendungsausführung und andere Aufgaben des PCs 4 können mit Hilfe der Tastatur 15 oder Maus 13 initialisiert werden, deren Befehle jeweils über die Tastaturschnittstelle 30 und Mausschnittstelle 31 an den Prozessor 38 übertragen werden. Die Ausgabeergebnisse von den auf dem PC 10 laufenden Anwendungen können von der Anzeigeschnittstelle 29 verarbeitet werden dem Benutzer dann auf dem Bildschirm 14 angezeigt werden, oder alternativ dazu über den Netzwerkanschluß 11 ausgegeben werden. Zum Beispiel werden Eingabevideodaten, die vom skalierbaren Videocodierer 21 codiert wurden, typischerweise über den Netzwerkanschluß 11 ausgegeben. Zum anderen werden codierte Videodaten, die z.B. von einem Netzwerk mit variabler Bandbreite empfangen werden, vom skalierbaren Videodecoder 22 decodiert und dann auf der Anzeige 14 angezeigt. Zu diesem Zweck umfaßt die Anzeigeschnittstelle 29 bevorzugt einen Anzeigeprozessor, um Videobilder auf der Basis der decodierten Videodaten zu formen, die vom Prozessor 38 über den Computerbus 36 zugeführt werden, und um diese Bilder an die Anzeige 14 auszugeben. Ausgabeergebnisse von anderen Anwendungen, wie z.B. Textverarbeitungsprogramme, die auf dem PC 10 laufen, können über die Druckerschnittstelle 40 dem Drucker 19 zugeführt werden. Der Prozessor 38 führt den Druckertreiber 24 aus, um die korrekte Formatierung solcher Druckaufträge durchzuführen, bevor sie an den Drucker 19 übertragen werden.
Eine andere Ausführungsform der vorliegenden Erfindung betrifft einen skalierbaren Transcoder. Wie in 5 gezeigt, wird ein Single Layer-codierter Videobitstrom 200 (MPEG-1, MPEG-2, MPEG-4, H.264 usw.) von einem Decoder mit variabler Codewortlänge 210 partiell decodiert. Die DCT-Koeffizienten 220 werden an einer inverse Abtastungs-/Quantisierungseinheit 230 und dann an den Partitionierungspunktfinder 240 gesendet. Der Bitstrom-Splitpunkt wird für jeden DCT-Block auf der Basis des Grenzbestimmungsverfahrens der oben erläuterten Ausführungsform bestimmt. Danach werden VLC-Codes 250 auf der Basis der Splitpunkte in zwei oder mehr Partitionen aufgeteilt. Die Ergebnisse werden einem VCL-Puffer 260 zugeführt. Der Ausführungsform entsprechend beinhaltet die partielle Decodierung nur die Decodierung mit variabler Codewortlänge, die inverse Abtastung und die inverse Quantisierung. Eine inverse DCT oder Motion Compensation wird nicht benötigt.
Auch wenn die Ausführungsformen der Erfindung, die hierin beschrieben wurden, bevorzugt als Computercode implementiert werden, können alle oder einige der Ausführungsformen, die oben erläutert wurden, mit diskreten Hardwareelemente und/oder Logikschaltungen implementiert werden. Und obwohl die Codierungs- und Decodierungstechniken der vorliegenden Erfindung in einer PC-Umgebung beschrieben wurden, können diese Techniken in Videovorrichtungen jedes Typs verwendet werden, einschließlich, aber ohne darauf beschränkt zu sein, Digitalfernseher/Set-Top-Boxen, Videokonferenzgeräten und dergleichen.
In dieser Hinsicht wurde die vorliegende Erfindung in Bezug auf bestimmte, veranschaulichende Ausführungsformen beschrieben. Zum Beispiel können die Prinzipien der vorliegenden Erfindung, wie sie in den obigen Ausführungsformen beschrieben wurden, auch auf Partition Enhancement Layers angewandt werden.

Claims

Datenpartitionierungsverfahren für einen skalierbaren Videocodierer (110), wobei das Verfahren die Schritte umfaßt des: – Empfangens von Videodaten; – Bestimmens von DCT-Koeffzienten für eine Vielzahl von Makroblöcken eines Videoframes; – Quantierens des DCT-Koeffizienten; – Umwandelns der quantisierten DCT-Koeffzienten in (run, level)-Paare; für jeden der Vielzahl von Makroblöcken im Videoframe, für aufeinanderfolgende (run, level)-Paare in den Makroblöcken, das Bestimmen eines jeweiligen Verhältnisses |X^k _i|²/L^k _i, wo ein k.tes (run, level)-Paar für einen i.ten Block eine Codelänge von L^k _i Bits aufweist und einen Koeffizientenwert von X^k _i hat; und bis zum und einschließlich des ersten Mals, wo das jeweilige Verhältnis |X^k _i|²/L^k _i kleiner ist als ein Wert λ, das Setzen des zugehörigen aufeinanderfolgenden (run, level)-Paars in eine Base Layer (121); und das Setzen der restlichen aufeinanderfolgenden (run, level)-Paare in eine Enhancement Layer (122-124), wobei λ ein Lagrange-Multiplikator ist, der einer Lagrange-Berechnung entsprechend bestimmt wird.
Verfahren nach Anspruch 1, ferner umfassend den Schritt des Übertragens der Base- (121) und Enhancement Layers (122-124) über verschiedene Übertragungskanäle (120).
Verfahren nach Anspruch 1, wobei der skalierbare Videocodierer (110) ein MPEG 4-Codierer ist.
Verfahren nach Anspruch 1, wobei der skalierbare Videocodierer (110) ein H.263-Codierer ist.
Verfahren nach Anspruch 1, wobei der skalierbare Videocodierer (110) ein MPEG 2-Codierer ist.
Verfahren nach Anspruch 1, wobei der skalierbare Videocodierer (110) ein Videocodierer ist, der DCT-Transformation und Entropie-Codierung verwendet.
Verfahren nach Anspruch 1, wobei der skalierbare Videocodierer (110) durch Umcodierung von Single Layer-MPEG2, MPEG4 und H.26L realisiert wird.
Verfahren nach Anspruch 1, ferner umfassend den Schritt des Quantierens des Lagrange-Multiplikators λ, und des Übertragens des quantisierten Werts als Nebeninformation an einen Decoder (130).
Verfahren nach Anspruch 8, wobei der quantisierte Wert ein diskreter Wert ist, der von einem DCT-Dynamikbereich und einer VLC-Tabelle abhängt.
Verfahren nach Anspruch 8, wobei der quantisierte Wert ein diskreter Wert mit benutzerdefinierter Präzision ist.
Verfahren nach Anspruch 8, wobei die Nebeninformation nur einmal in einem Frame-Header für das Videoframe übertragen wird.
Verfahren nach Anspruch 8, wobei die Nebeninformation in einem Slice-Header oder in einem Videopaket-Header übertragen wird, um die Robustheit zu erhöhen.
Verfahren nach Anspruch 1, wobei der Lagrange-Multiplikator λ mit einem Bisektion-Algorithmus bestimmt wird, um ein Raten-Budget für einen Übertragungskanal (120) für die Base Layer (121) einzuhalten.
Verfahren nach Anspruch 1, wobei der Lagrange-Multiplikator λ mit einem adaptiven Algorithmus bestimmt wird, um ein Raten-Budget für einen Übertragungskanal für die Base Layer (121) einzuhalten.
Verfahren zum Bestimmen einer Grenze zwischen einer Base Layer (121) und mindestens einer Enhancement Layer (122) in einem skalierbaren Videodecoder (130), umfassend die Schritte des: – Empfangens der Base Layer (121) und der mindestens einen Enhancement Layer (122), wobei die Base Layer und Enhancement Layer Daten einschließen, die aufeinanderfolgende (run, level)-Paare für eine Vielzahl von Makroblöcken in einem Videoframe darstellen; für jeden der Vielzahl von Makroblöcken im Videoframe, für aufeinanderfolgende (run, level)-Paare in den Makroblöcken, das Bestimmen eines jeweiligen Verhältnisses |X^k _i|²/L^k _i, wo ein k.tes (run, level)-Paar für einen i.ten Block eine Codelänge von L^k _i Bits hat und einen Koeffizientenwert von X^k _i hat; und bis zum und einschließlich des ersten Mals, wo das jeweilige Verhältnis |X^k _i|²/L^k _i kleiner ist als ein Wert λ, das Lesen des zugehörigen aufeinanderfolgenden (run, level)-Paars aus der Base Layer (121); und das Lesen der restlichen aufeinanderfolgenden (run, level)-Paare aus der Enhancement Layer (122-124), wobei λ ein Lagrange-Multiplikator ist, der durch Decodieren der Nebeninformation bestimmt wird.
Verfahren nach Anspruch 15, ferner umfassend den Schritt des Empfangens der Base Layer (121) und der Enhancement Layer (122) über verschiedene Übertragungskanäle (120).
Verfahren nach Anspruch 15, wobei der skalierbare Videodecoder (130) ein MPEG 4-Decoder ist.
Verfahren nach Anspruch 15, wobei der skalierbare Videodecoder (130) ein H.263-Decoder ist.
Verfahren nach Anspruch 15, wobei der skalierbare Videodecoder (130) ein MPEG 2-Decoder ist.
Verfahren nach Anspruch 15, wobei der skalierbare Videodecoder (130) ein Videodecoder ist, der DCT-Transformation und Entropie-Codierung verwendet.
Verfahren nach Anspruch 15, wobei der skalierbare Videodecoder (130) durch einen Merger vor einem Single-Layer-Videodecoder realisiert wird, der aus der Gruppe gewählt wird, die aus einem MPEG 2-, MPEG 4- und H.26L-Decoder besteht.
Verfahren nach Anspruch 15, ferner umfassend den Schritt des Empfangens des Lagrange-Multiplikators λ als Nebeninformation, die zum Videoframe gehört.
Verfahren nach Anspruch 22, wobei die Nebeninformation eine diskrete Zahl ist, die mit minimalem Bit-Overhead codiert werden kann.
Verfahren nach Anspruch 22, wobei die Nebeninformation nur einmal in einem Frame-Header für den Videoframe gesendet wird.
Verfahren nach Anspruch 22, wobei die Nebeninformation für jeden Slice-Header oder Videopaket-Header kopiert wird, um die Robustheit zu erhöhen.
Verfahren nach Anspruch 15, wobei der Lagrange-Multiplikator λ bestimmt wird, um ein Raten-Budget für einen Übertragungskanal für die Base Layer (121) einzuhalten.
Skalierbarer Decoder (130), der in der Lage ist, Daten von einer Base Layer (121) und mindestens einer Enhancement Layer (122) zu verschmelzen, wobei diese Vorrichtung umfaßt: – einen Speicher (20), der computerausführbare Prozeßschritte speichert; und – einen Prozessor (38), der angeordnet ist, um die im Speicher gespeicherten Prozeßschritte auszuführen, um durchzuführen: (1) den Empfang der Base Layer und der mindestens einen Enhancement Layer, wobei die Base Layer und die Enhancement Layer Daten einschließen, die (run, level)-Paare für eine Vielzahl von Makroblöcken in einem Videoframe darstellen, (2) für jeden der Vielzahl von Makroblöcken im Videoframe, für aufeinanderfolgende (run, level)-Paare in den Makroblöcken, das Bestimmen eines jeweiligen Verhältnisses |X^k _i|²/L^k _i, wo ein k.tes (run, level)-Paar für einen i.ten Block eine Codelänge von L^k _i Bits aufweist und einen Koeffizientenwert von X^k _i hat; und bis zum und einschließlich des ersten Mals, wo das jeweilige Verhältnis |X^k _i|²/L^k _i kleiner ist als ein Wert λ, das Lesen des zugehörigen aufeinanderfolgenden (run, level)-Paars aus der Base Layer (121); und das Lesen der restlichen aufeinanderfolgenden (run, level)-Paare aus der Enhancement Layer (122-124), wobei λ ein Lagrange-Multiplikator ist, der einer Lagrange-Berechnung entsprechend bestimmt wird.
Decoder nach Anspruch 27, wobei der Lagrange-Multiplikator λ vom Decoder als Nebeninformation empfangen wird, die zum Videoframe gehört, und die Nebeninformation nur einmal im Frame-Header für das Videoframe gesendet wird.
Decoder nach Anspruch 27, wobei der Lagrange-Multiplikator λ bestimmt wird, um ein Raten-Budget für einen Übertragungskanal für die Base Layer (121) einzuhalten.
Geschichteter Quellcodierer (101), umfassend: – Mittel zum Empfangen von Videodaten; – Mittel zum Bestimmen von DCT-Koeffizienten für eine Vielzahl von Makroblöcken eines Videoframes; – Mittel zum Quantisieren der DCT-Koeffizienten; – Mittel zum Umwandeln der quantisierten DCT-Koeffizienten in (run, level)-Paare; – Mittel zum Bestimmen eines jeweiligen Verhältnisses |X^k _i|²/L^k _i für aufeinanderfolgende (run, level)-Paare, in jedem von Vielzahl von Makroblöcken im Videoframe, wo ein k.tes (run, level)-Paar für einen i.ten Block eine Codelänge von L^k _i Bits aufweist und einen Koeffizientenwert von X^k _i hat; und – Mittel, um, bis zum und einschließlich des ersten Mals, wo das jeweilige Verhältnis |X^k _i|²/L^k _i kleiner ist als ein Wert λ, das zugehörige aufeinanderfolgende (run, level)-Paar in eine Base Layer (121) zu setzen; und – Mittel, um die restlichen aufeinanderfolgenden (run, level)-Paare in eine Enhancement Layer (122-124) zu setzen, wobei λ ein Lagrange-Multiplikator ist, der einer Lagrange-Berechnung entsprechend bestimmt wird.