DE60305181T2

DE60305181T2 - Fgs dekodierung unter kontrolle eines im dekoder kalkulierten bildqualitätsparameters

Info

Publication number: DE60305181T2
Application number: DE60305181T
Authority: DE
Inventors: Mihaela Briarcliff Manor VAN DER SCHAAR
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-06-27
Filing date: 2003-06-11
Publication date: 2007-03-08
Anticipated expiration: 2023-06-12
Also published as: EP1520422B1; KR20050013619A; WO2004004352A1; CN1669325A; US20040001635A1; DE60305181D1; ATE326122T1; EP1520422A1; US7136532B2; JP2005531240A; AU2003241110A1

Description

Die vorliegende Erfindung bezieht sich auf die Implementierung eines FGS-Decoders ("fine granular scalability").
Videostreaming über Internetprotokollnetzwerke (IP) hat einen weiten Bereich von Multimediaapplikationen ermöglicht. Internet-Videostreaming schafft Echtzeitlieferung und -präsentation von kontinuierlichem Mediacontent, während Kompensation für das Fehlen von Garantien der Dienstleistungsqualität ("Quality-of-Service") übers Internet geboten wird. Durch die Schwankung und die Unvorhersagbarkeit der Bandbreite und anderer Leitungsparameter (beispielsweise Paketverlustrate) über IP Netzwerke, basieren, im Allgemeinen, die meisten der vorgeschlagenen Streaminglösungen auf irgendeinem Typ eines geschichteten (oder skalierbaren) Videocodierungsschemas.
Es wurden bereits verschiedene Videoskalierbarkeitsannäherungen durch Videokompressionsstandarde wie MPEG-2, MPEG-4 und H.263 angenommen. Es wurden bereits zeitliche, räumliche und Qualitätsskalierbarkeitstypen (SNR) in diesen Standarden definiert. All diese Typen von skalierbarem Video umfassen eine Basisschicht (BL) und eine oder mehrere Verbesserungsschichten (ELs). Der BL-Teil des skalierbaren Videostroms stellt im Allgemeinen den minimalen Betrag an Daten dar, die zum Decodieren dieses Stromes erforderlich sind. Der EL-Teil des Stroms stellt zusätzliche Information dar und verbessert deswegen die Videosignaldarstellung, wenn von dem Empfänger decodiert.
Ein Codierer für "fine granular scalability" (FGS) ist aus WO 00/35187 bekannt. FGS ist ein neues Videokompressionssystem das neulich von dem MPEG-4 Standard für Streamingapplikationen angenommen worden ist. FGS ist imstande, einen breiten Bereich von Bandbreitenvariationszenarien zu unterstützen, die IP-basierte Netzwerke, im Allgemeinen, und das Internet insbesondere kennzeichnen. Mit diesem Typ von Skalierbarkeit codierte Bilder können progressiv decodiert werden. Das heißt, der Decoder kann die Decodierung und die Wiedergabe des Bildes nach Empfang eines geringen Betrags an Daten starten. Je nachdem der Decoder mehr Daten empfängt, wird die Qualität des decodierten Bildes progressiv verbessert, bis die komplette Information empfangen, decodiert und wiedergegeben wird. Unter führenden internationalen Standards ist progressive Bildcodierung eine der Moden, die in JPEG und dem Standbild, Texturcodierungswerkzeug in MPEG-4 Video unterstützt werden. WO 00/35187 beschreibt, wie der Decoder entscheiden kann, Daten für bestimmte Bit-Ebenen in den codierten Strom aufzunehmen, wenn detektiert wird, dass alle Pixel in diesen Bit-Ebenen einen vorbestimmten Wert haben.
Der EL komprimiert den SNR und die zeitlichen übrigen Daten, und zwar unter Anwendung eines progressiven (eingebetteten) Codecs. Auf diese Weise wird das FGS Restsignal bitebenenmäßig komprimiert, ausgehend von der signifikantesten Bitebene und endend mit der am wenigsten signifikanten Bit-Ebene (siehe 5). Bei bekannt Decodern wird die ganze Anzahl empfangener Bit-Ebenen decodiert. 5 zeigt ein Beispiel derartiger FGS Verbesserungsschicht-Bit-Ebenen, mit progressiver (bitebenenmäßiger) Codierung von dem signifikantesten Bit (MSB) bis zu dem am wenigsten signifikanten Bit (LSB) über das ganze Frame.
Auf alternative Weise kann, zum Reduzieren den Komplexität, ein Decoder die Decodierung beenden, nachdem eine bestimmte Anzahl Bitebenen empfangen und decodiert worden ist. So kann beispielsweise, wenn eine Datenratebegrenzung R und eine Framerate fr gegeben ist, nach Decodierung von R/fr Bits je Frame der Decoder gestoppt werden. Aber Ablegung von Bitebenen zur Verringerung der Komplexität des Decoders kann zu einer unerwünschten sichtbaren Qualität führen. Außerdem wird, wenn die Decodierung beendet wird, wenn die vorgeschriebene Bitrate genau erfüllt wird (d.h. es werden genau R/fr Bits übertragen und je Frame übertragen), diese Anzahl Bits höchstwahrscheinlich einer nicht ganzzahligen Anzahl Bitebenen entsprechen. So kann beispielsweise der Anfang des Bildes drei Bitebenen haben, während das Ende des Bildes zwei Bitebenen hat, was zu einer nicht konsistenten Qualität innerhalb desselben Bildes bzw. derselben Sequenz führt.
Ein verbesserter Decoder ist erwünscht.
Die vorliegende Erfindung umfasst ein Verfahren und einen Decoder zum Decodieren eines Datenstromes. Zwischen einem decodierten Bild und einer Bitrate wird zum Decodieren des Bildes eine Beziehung identifiziert. Es wird eine gewünschte Qualität der aus dem Strom mit Daten zu decodierenden Bilder selektiert. Es wird eine Bitrate bestimmt, die der gewünschten Qualität entspricht, und zwar unter Anwendung der Beziehung. Aus dem Datenstrom wird eine minimale Anzahl Bitebenen entsprechend der bestimmten Bitrate decodiert.
1 zeigt ein Flussdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung,
2 zeigt ein Flussdiagramm einer dynamischen Variation der Bitrate in dem Ausführungsbeispiel nach 1,
3 zeigt ein Flussdiagramm einer Benutzerinteraktion mit Steuerung der Ausführungsform nach 1,
4 zeigt ein Blockschaltbild eines Decoders nach einem Aspekt der vorliegenden Erfindung,
5 zeigt ein Darstellung der Decodierung von Bitebenen, von dem signifikantesten Bit zu dem am wenigsten signifikanten Bits,
6 zeigt eine Darstellung, wie Bildqualität gegenüber Bitrate für eine Anzahl Bildsequenzen variiert,
7 zeigt eine Darstellung, wie Decodierungskomplexität gegenüber der Bitrate des decodierten Stromes für eine Anzahl Bildsequenzen variiert.
Ablegung einer festen (und möglicherweise einer ganzzahligen) Anzahl Bitebenen zur Verringerung der Komplexität des Decoders ohne Berücksichtigung der resultierenden sichtbaren Bildqualität kann zu unerwünschter Reduktion der sichtbaren Qualität führen.
Weiterhin ist der Effekt auf die durch Ablegung einer festen Anzahl Bitebenen erhaltene Bildqualität von den Charakteristiken der Sequenz abhängig. So werden beispielsweise Sequenzen mit hoher Detaillierung und mit geringer Bewegung durch FGS mit vielen Bits codiert und folglich könnte beispielsweise das Ablegen von zwei Bitebenen einen wesentlich größeren Effekt auf die Bildqualität als das Ablegen von beispielsweise vier Bitebenen für ein Bild mit viel Bewegung und einem NF-Detail. Folglich könnte dies zu großen Qualitätsschwankungen führen, wenn der Inhalt sich ändert. In den Ausführungsbeispielen nach 1–4 berücksichtigt der Decoder vor der Entscheidung, Bitebenen abzulegen zum Reduzieren der Komplexität der Decodierung, den Effekt der Ablegung der Bitebenen auf die Bildqualität.
Die Ausführungsformen nach den 1–4 reduzieren die Komplexität von Decodieranordnungen mit einer geringen Leistung und einer geringen Kapazität zum Decodieren von FGS Strömen. Der FGS Decoder hat ein Merkmal der inhärenten Komplexitätsskalierbarkeit, weil eine geringere Komplexität mit der Decodierung geringerer Anzahl Bitebenen assoziiert wird. Wenn aber eine feste Anzahl ganzer Bitebenen immer abgelegt werden, ist die resultierende decodierte Bildqualität unvorhersagbar. In den Ausführungs formen nach den 1–4 werden ein Verfahren und ein Decoder beschrieben, wobei die sichtbare Qualität (beispielsweise in dem Spitzensignal-zu-Rauschverhältnis PSNR), die mit der Decodierung einer bestimmten Anzahl Bitebenen unter Verwendung einer Basisschichtqualitätsmarke (beispielsweise PSNR) assoziiert wird. Dies ermöglicht eine Reduktion in der Komplexität der Skalierbarkeit beim Erfüllen einer gewünschten Qualitätsbeschränkung.
In den Ausführungsbeispielen wird die Qualität der FGS decodierten Bilder an der Decoderseite bestimmt (wo das ursprüngliche Bild nicht vorhanden ist), und daraufhin benutzt der Decoder die berechnete Qualität um zu ermitteln, wie viel Bitebenen abgelegt werden können zum Reduzieren der Komplexität ohne Verringerung der Bildqualität unter einen gewünschten Qualitätspegel.
1 ist ein Flussdiagramm einer Ausführungsform der vorliegenden Erfindung. 11 zeigt ein Verfahren und eine Anordnung zum Decodieren eines Datenstroms.
In dem Schritt 100 wird eine Beziehung zwischen Qualität eines decodierten Bildes und einer Bitrate zum Decodieren des Bildes identifiziert. Ein Beispiel einer derartigen Beziehung wird nachstehend in dem Abschnitt "Beziehung zwischen Qualität und Bitrate" beschrieben.
In dem Schritt 102 kann, wenn der Wert der Basisschichtqualität, QBL, bei der Basisschicht-Bitrate, RBL, in den Datenstrom aufgenommen ist, in dem Schritt 104 der Wert von QBL als Nebeninformation (in den Benutzerdatenfeldern) von dem Decoder empfangen werden. Auf alternative Weise kann, wenn QBL in dem Schritt 102 nicht in dem Datenstrom vorhanden ist, in dem Schritt 106 QBL auf Basis der Decodierungsinformation, die dem Decoder zur Verfügung steht, d.h. auf Basis von Quantisierungsschritten, Bewegungsvektoren, Makroblockprädiktionstypen oder einer Kombination dieser drei, berechnet werden. Es sei bemerkt, dass QBL entweder in Termen von PSNR oder unter Anwendung einer anderen subjektiven Metrik (d.h. objektiver Metriken, die mit subjektiven Bewertungen von Bildqualität korreliert und geordnet worden sind). Andere Metriken können Blockformung, Schärfe, Flimmerrauschen umfassen, sind aber nicht darauf begrenzt. In dem Schritt 108 werden die anderen Parameter, die in der Bildqualitätsberechnung verwendet werden, bestimmt. So umfassen beispielsweise für die nachstehend beschriebene Beziehung die zusätzlichen Parameter die Basisschichtbitrate und die Neigung der Kurve Qualität-zu-Bitrate.
In dem Schritt 110 wird eine Selektion einer gewünschten Qualität zu decodierender Bilder aus dem Datenstrom, einer anzuwendenden Verarbeitungsgeschwindigkeit, oder einer Decodierzeit durchgeführt. Ein Beispiel eines Selektionsprozesses wird nachstehend anhand der 3 beschrieben.
In dem Schritt 112 wird unter Anwendung der Beziehung eine Bitrate entsprechend der gewünschten Qualität, Geschwindigkeit oder Decodierzeit bestimmt.
In dem Schritt 116 wird die Decodierung einer minimalen Anzahl Bitebenen gestartet, entsprechend der bestimmten Bitrate aus dem Datenstrom. Die minimale Anzahl Bitebenen kann eine reelle Anzahl entsprechend der berechneten Bitrate oder die kleinste ganze Zahl größer als oder gleich der berechneten Bitrate sein.
Bei einigen Ausführungsformen wird die Anzahl decodierter Bitebenen in einer einzigen Videosequenz dynamisch eingestellt um während einer Folge von Frames zuzunehmen, wenn es mehr Details gibt, und abzunehmen während einer Sequenz von Frames, wenn es weniger Details gibt. So wird beispielsweise vorzugsweise jeweils, wenn eine neue Szenenänderung detektiert wird (beispielsweise bei Bewegungsvektoren oder dergleichen), die Basisschichtqualität bewertet und es wird eine Untersuchung angestellt, ob eine Änderung in der Decodierbitrate geeignet ist. Es ist vorgesehen, dass, wenn es mehr Bewegung und NF-Details gibt in diesen Ausführungsformen, die abgelegt werden würden, wenn eine feste Anzahl Bitebenen für die ganze Videosequenz verwendet wird, mehr Bitebenen abgelegt werden können.
2 ist ein Flussdiagramm, das eine etwaige dynamische Einstellung der Bitrate in den Ausführungsbeispielen darstellt. Die Schritte nach 2 können zu geeigneten Zeitpunkten, beispielsweise bei Detektion einer Szenenänderung, automatische durchgeführt werden. In dem Schritt 200 wird eine Szenenänderung detektiert. Detektion kann beispielsweise auf Bewegungsvektoren basiert sein.
In dem Schritt 202 wird eine Änderung in der Beziehung zwischen Bildqualität und Bitrate identifiziert. Beispielsweise wird eine Änderung in QBL identifiziert.
In dem Schritt 204 wird der Betrag an Einzelheiten in den Bildern betrachtet. Wenn der Betrag an Einzelheiten in dem Bild abnimmt, werden die Schritte 207 und 209 durchgeführt. Diese Schritte stellen die Anzahl decodierter Bitebenen dynamisch ein um der gewünschten Qualität und der geänderten Beziehung zu entsprechen.
In dem Schritt 206 wird für eine Bildsequenz mit viel Details die Anzahl decodierter Bitebenen gesteigert (und die Anzahl abgelegter Bitebenen verringert). In dem Schritt 208 wird eine relativ hohe Bitrate verwendet.
In dem Schritt 207 wird für eine Bildsequenz mit wenig Details die Anzahl decodierter Bitebenen verringert (und die Anzahl abgelegter Bitebenen gesteigert). In dem Schritt 209 wird eine relativ niedrige Bitrate verwendet.
Obschon 2 eine dynamische Einstelltechnik zeigt, kann es sein, dass es in anderen Ausführungsformen keine dynamische Einstellung gibt; die Anzahl abzulegender Bitebenen kann einmal für jede Bildsequenz bestimmt werden und durch die ganze Sequenz hindurch konstant bleiben. In einem derartigen Fall kann der Wert auf dem ersten Frame der Sequenz basiert sein, oder auf irgendeinem Mittelwert. Für einen Mittelwert von QBL können Bewegungsvektoren verwendet werden um den Betrag an Bewegung innerhalb der Sequenz zu ermitteln.
3 ist ein Flussdiagramm einer etwaigen Benutzerinteraktion mit dem Decodierprozess und dem Decoder.
In dem Schritt 300 beantragt der Benutzer ein Menü der Bildqualität oder Decodierungskomplexitätsmöglichkeiten. Der Benutzer kann einen derartigen Antrag dadurch stellen, dass er das Menü aus einem Menü mit Funktionen und Regelungen eines höheren Pegels in der speziellen Anordnung mit dem Decoder selektiert.
In dem Schritt 302 gibt die Anordnung mit dem Decoder wenigstens zwei Werte von Bildqualität wieder und ein betreffenden Maß eines Mittels, erforderlich zum Decodieren des Bildes für die wenigstens zwei Werte der Bildqualität. Jede beliebige Anzahl Qualität-Mittelpaare kann wiedergegeben werden, aber vorzugsweise sollen nur mögliche Kombinationen wiedergegeben werden. So soll beispielsweise ein Bildqualitätswert entsprechend einer Decodierzeit, die über die Kapazität der Batterie der Anordnung hinausgeht, nicht als Möglichkeit wiedergegeben werden. Das wiedergegebene Mittel kann die Zeit zum Decodieren des Datenstroms mit der betreffenden Bildqualität sein, ein Bruchteil der Batterieladung, verwendet zum Decodieren des Datenstroms mit der betreffenden Bildqualität, oder eine Bitrate, verwendet zum Decodieren des Datenstroms mit der betreffenden Bildqualität.
In dem Schritt 306 selektiert der Benutzer eines der Paare, was zu einer Selektion einer Decodierbitrate führt (sogar, wenn die Bitrate nicht das dem Benutzer in dem Schritt 302 gezeigte Mittel ist).
In dem Schritt 308 kann der Decoder ggf. die ermittelte Bitrate zu einer Quelle des Datenstromes senden, wobei beantragt wird, dass die Quelle des Datenstroms nur künftige Datenströme mit der festgestellten Bitrate überträgt. Wenn diese Option eingeschlossen ist, dann kann in dem Schritt 310 die Quelle des Datenstromes die übertragene Bitrate gegenüber die von dem Decoder beantragte Bitrate setzen.
Auf alternative Weise kann der Decoder den Schritt 308 fortlassen und Bitebenen, von denen der Benutzer wünscht, dass sie nicht decodiert werden, ablegen.
Unter Anwendung der Techniken aus 3 kann der Benutzer oder das Terminal (automatisch) entweder eine selektierte Qualität oder eine gewünschte Verarbeitungsleistung selektieren. Der Benutzer kann von Hand die feste Qualitätseinstellung QFIX beispielsweise, einstellen um die restliche Batteriezeit zu verlängern oder um die Bildqualität zu verbessern. Die Anordnung kann auf einfache Art und Weise Bildqualität gegen Batteriezeit eintauschen, und zwar auf Basis des Benutzerantrags oder einer vorbestimmten Qualitätsvereinbarung oder sie kann die Batteriezeit dadurch maximieren, dass die Bildqualität so niedrig wie QBL reduziert wird (d.h. durch Verringerung der Bitrate auf RBL).
So kann beispielsweise ein derartiges Merkmal in dem mobilen Terminal bestehen, und zwar auf Basis der selektierten Qualität, die Anordnung kann den Benutzer darüber informieren, wie viel Batteriezeit noch übrig ist für Streamingapplikationen unter Verwendung von FGS. Es wird nun vorausgesetzt, dass in einer einfachen mobilen Anordnung der Batteriepegel überwacht wird, was einem etwaigen Betrag an Zeit entspricht, dass die mobile Anordnung ohne Aufladung der Batterie betrieben werden kann. Eine mittlere Zeit zum Decodieren eines bestimmten Betrags an Daten in der mobilen Anordnung kann geschätzt werden. (Dieser Mittelwert könnte als eine Zusammensetzung aus der Decodierzeit der Basisschicht und der Verbesserungsschicht geschätzt werden). Durch Spezifizierung einer Übertragungsrate R steuert der Benutzer den Betrag an decodierten Daten, und folglich den Betrag an Zeit, welche die mobile Anordnung auf die Decodierung eines bestimmten Stromes verwenden soll. Die mobile Station kann den Betrag an restlicher Betriebszeit in der Batterie mit dem vorhergesagten Betrag an Zeit, erforderlich zum Decodieren eines Stromes bei der bestreffenden Rate vergleichen und die Information dem Benut zer bekannt geben, entweder in Minuten oder als Prozentsatz der gesamten Batteriekapazität. Der Benutzer kann dann die Rate auf Basis dieser Information selektieren.
4 ist ein Blockschaltbild eines Ausführungsbeispiels mit einem Decoder 400. Der Decoder 400 hat einen Basisschichtdecoder 410 und einen Verbesserungsschichtdecoder 450. Der BL Decoder 410 umfasst einen Demultiplexer, der den BL Bitstrom empfängt und die codierten diskreten Kosinustransformationskoeffizientendaten (DCT) einem BL Decoder mit variabler Länge (VLD) 414 liefert und BL Bewegungsvektoren (MVs) zu einem Bewegungskompensationsblock 422 schafft. Der BL VLD 414 liefert decodierte Daten zu dem invertierten Quantisierungsblock 416, der die DCT Koeffizientendaten dem DCT Block 418 liefert. Der invertierte DCT Block 418 führt den invertierten DCT Vorgang durch und liefert dem Addierer 424 Videoframes. Der Bewegungskompensationsblock 422 empfängt die BL MVs und BL Framedaten von Drain-Elektrode, BL Framespeicher 429 und führt die Bewegungskompensation an den BL Frames in dem Speicher 420 durch um dem Addierer 424 zusätzliche Frames zu liefern. Der decodierte BL Datenstrom wird von dem Addierer 424 dem BL Framespeicher 420 und dem EL Decodierteil 450 zugeführt.
Der EL Decoder 450 hat eine FGS Bitebene VLD 452, die den EL Bitstrom empfängt und dem invertierten DCT Block 454 DCT Koeffizientendaten liefert. Der invertierte DCT Block 454 führt den invertierten DCT Vorgang durch und liefert die EL Framedaten, die in dem Addierer 456 addiert werden zu den BL Daten zum Schaffen eines verbesserten Videostroms.
Der Decoder 400 umfasst einen zusätzlichen Block 460, der ermittelt, wie viele Bitebenen decodiert werden sollen. Der Block 460 empfängt Information von dem invertierten Quantisierungsblock 416, die BL Bewegungsvektoren, und den EL Bitstrom und liefert der FGS Bitebene VLD eine Anzahl zu decodierender Bitebenen. Die Wirkungsweise des Blocks 460 kann sein, wie in den 1–3 dargestellt und wie oben beschrieben.
In 6 sind einige Ratenstörungskurven für mehrere Sequenz 602, 604 und 606 dargestellt, codiert in demselben Bereich von Bitraten. In jeder der Kurven in 6 entspricht die meist linke Stelle der Basisschichtbitrate und der entsprechenden Qualität QBL. Aus 6 lassen sich zwei Beobachtungen machen:

(1) die Basisschichtqualität QBL hat einen großen Einfluss auf die gesamte Qualität der FGS Ströme.
(2) Die FGS Qualität nimmt nahezu lineare als eine Funktion der Bitraten zu.

Eine Beispielsfunktion wird nachstehend beschrieben, und kann zum Bestimmen einer Bitrate verwendet werden, was eine gewünschte Bildqualität liefern wird, wenn eine Basisschichtbildqualität und eine Basisschichtbildrate gegeben sind. Diese Funktion benutzt empirische Beobachtungen zum Liefern einer Qualitätsberechnung, die mit einer geringen Anzahl rechnerischer Vorgänge schnell durchgeführt wird.
Andere Funktionen können vom Fachmann bestimmt werden um die gewünschte Bitrate zu berechnen.
Die Qualität eines FGS Stromes Q mit der Rate R kann wie folgt modelliert werden: Q(R) = QBL + (R – RBL)/c,wobei QBL die Basisschichtqualität ist, wobei RBL die Basisschichtbitrate ist, wobei c eine Konstante ist, experimentell gefunden zum Ausgleichen von RBL (d.h. die Neigung der FGS Ratenverzerrungsfunktion ist experimentell gefunden um eine Neigung von etwa 45 Grad zu haben).
Typischerweise ist der Wert des Terms (R – RBL)/c kleiner als zehn. Die Basisschichtqualität QBL ist stark abhängig von der Basisschichtbitrate RBL. Beispielsweise für viele Details Sequenzen mit wenig Bewegung von CIF Auflösungsbildern mit RBL = 100 kbps, dann ist QBL (in PSNR) etwa 25–28 dB. Für wenig Details Sequenzen mit viel Bewegung von CIF Auflösungsbildern mit RBL = 100 kbps, QBL (in PSNR) etwa 32–35 dB. Auf diese Weise ist der große Einfluss von QBL auf die Gesamtbildqualität deutlich.
Denn, wenn das Verhältnis Komplexität/Stromverbrauch des Decoders reduziert werden soll, während die Qualität Q(R) immer (unabhängig von den Kennzeichen der Sequenz) auf einem konstanten Wert QFIX gehalten wird, soll nur eine Anzahl Bitebenen entsprechend der Rate R1 decodiert werden. R1 lässt sich aus der nachfolgenden Formel berechnen: QFIX = Q(R1) = QBL + (R1 – RBL)/c = QBL + (R1 – RBL)/RBL
Der Wert R1, der dem voreingestellten Wert QFIX entspricht, kann auf einfache Weise berechnet werden, da die Qualität eines FGS Stromes Q mit der Rate R (wie oben beschrieben) eine lineare Funktion ist.
Die Komplexitätsersparnis, assoziiert mit dieser Strategie, kann auch im voraus im Schnitt für einen großen Satz von Sequenzen berechnet werden. Denn eine Tabelle der Qualität zu mittlerer Komplexität kann gespeichert und bei dem (geeigneten) Decoder verwendet werden. Für jede beliebige gegebene Qualität QFIX, Basisschichtbitrate RBL, Codierungsframerate und räumliche Auflösung schafft diese Tabelle einen mittleren Komplexitätsfaktor.
So kann beispielsweise Komplexität durch die mittlere CPU-Zeit (in Millisekunden je Frame) erforderlich zum Decodieren der Sequenz, gemessen werden. Es gibt kein einziges Komplexitätsfaktorverhältnis für alle Rechenplattformen, da dies von der spezifischen Implementierungsplattform und dem Optimierungsalgorithmus stark abhängig ist. Typischerweise aber ist die Komplexität nicht von den Sequenzcharakteristiken abhängig, sondern vielmehr von der Bitrate R.
7 zeigt ein Beispiel mit drei verschiedenen Bildsequenzen. Die Komplexität wird durch die Anzahl Millisekunden je Frame zum Decodieren der Sequenzen dargestellt, als eine Funktion der Bitrate. Die Komplexität ist mit der Bitrate stark korreliert und die Beziehung ist nahezu linear. Es gibt eine leichte Variation unter den Sequenzen.
Die Ausführungsbeispiele sind insbesondere nützlich für Produkt, wie drahtlose Terminals, wie Handys, PCs Fernseh-Settopboxen, Speicheranordnungen, digitale Videokameras, (Heim)Transcodierungstore usw. Die Ausführungsbeispiele können im Dienstleistungsbereich verwendet werden, wie Videokonferenzen, Echtzeit-Videodecodierung/Streaming, Speicherapplikationen und dergleichen. Diese Liste ist nicht vollständig und andere Applikationen für die Decodierungstechnik können ebenfalls bedacht werden.
Die vorliegende Erfindung kann in Form von computerimplementierten Prozessen und Anordnungen zum Durchführen dieser Prozesse verkörpert werden. Die vorliegende Erfindung kann auch in Form eines Computerprogrammcodes in konkreten Medien verkörpert werden, wie in Speichern mit beliebigem Zugriff (RAM), Floppies, Festwertspeichern (ROM), CD-ROM, DVD-ROM, Festplatten, entfernbaren Platten (beispielsweise "ZIPP^TM" oder "JAZZ^TM") oder jedem anderen vom Computer lesbaren Speichermedium, wobei, wenn der Computerprogrammcode in einen Computer geladen und von demselben durchgeführt wird, wird der Computer eine Anordnung zum Praktisieren der vorliegenden Erfindung. Die vorliegende Erfindung kann auch in Form eines Computerprogrammcodes verkörpert werden, beispielsweise entweder gespeichert in einem Speichermedium, geladen in einen Computer und/oder von demselben durchgeführt, oder über irgendein Übertra gungsmedium übertragen, wie über die elektrische Verdrahtung oder Verkabelung, über optische Fasern, oder über elektromagnetische Strahlung, wobei, wenn der Computerprogrammcode in einen Computer geladen und von demselben durchgeführt, der Computer eine Anordnung zum Praktisieren der vorliegenden Erfindung wird. Wenn in einem Allzweckprozessor implementiert, bilden die Computerprogrammcodesegmente den Prozessor zum Schaffen spezifischer logischer Schaltungen. Auf alternative Weise kann der Decoder in spezifischen logischen Schaltungen implementiert werden.
Obschon die vorliegende Erfindung in Termen von Ausführungsbeispielen beschrieben worden ist, ist sie nicht darauf begrenzt. Vielmehr sollen die beiliegenden Patentansprüche breit ausgelegt werden, damit andere Varianten und Ausführungsformen der vorliegenden Erfindung umfasst werden, was im Rahmen der vorliegenden Erfindung von dem Fachmann gemacht werden kann.

Claims

Verfahren zum Decodieren eines codierten Datenstroms, der eine Anzahl Bitebenen aufweist, wobei dieses Verfahren die nachfolgenden Computergesteuerten Schritte umfasst: – das Selektieren (110, 306) einer gewünschten Qualität zu decodierender Bilder aus dem codierten Datenstrom; – das Ermitteln (112) einer Bitrate zum Decodieren entsprechend der gewünschten Qualität; – das Decodieren (116) nur einer minimalen Anzahl Bitebenen aus dem codierten Strom, wobei die minimale Anzahl der ermittelten Bitrate entspricht, gekennzeichnet durch – die Identifizierung (202, 204, 206, 207) einer vom Strominhalt abhängigen Beziehung zwischen Qualität eines decodierten Bildes und einer Bitrate zum Decodieren des Bildes, wobei die Bitrate zum Decodieren entsprechend der gewünschten Qualität unter Anwendung der Beziehung ermittelt wird (12).
Verfahren nach Anspruch 1, wobei die Beziehung durch die nachfolgende Gleichung definiert wird: Q(R) = QBL + (R – RBL)/c, wobei Q(R) die Qualität des Bildes bei einer Bitrate R ist, wobei QBL ein Qualitätsmaß einer Basisschicht des Datenstroms ist, wobei RBL eine Bitrate entsprechend der Übertragung der Basisschicht ist und wobei c eine Konstante ist.
Verfahren nach Anspruch 1, wobei dieses Verfahren weiterhin die nachfolgenden Schritte umfasst: (e) das Identifizieren einer Änderung in der Beziehung; und das dynamische Einstellen der Anzahl decodierter Bitebenen zur Übereinstimmung mit der gewünschten Qualität und der geänderten Beziehung.
Verfahren nach Anspruch 3, wobei der Schritt (f) die Verwendung einer relativ niedrigen Bitrate für eine Bildsequenz mit geringem Detail umfasst.
Verfahren nach Anspruch 3, wobei die Schritte (e) und (f) durchgeführt werden, wenn eine Szenenänderung detektiert wird.
Verfahren nach Anspruch 1, das die Wiedergabe wenigstens zweier Bildqualitätswerte und eines betreffenden Maßes eines Mittels umfasst, das zum Decodieren des Bildes für jeden der wenigstens zwei Bildqualitätswerte vor dem Schritt (b) erforderlich ist.
Verfahren nach Anspruch 1, das weiterhin die Übertragung der ermittelten Bitrate zu einer Quelle des Datenstromes umfasst, wobei die Quelle des Datenstromes erbeten wird, nur künftige Datenströme mit der ermittelten Bitrate zu übertragen.
Computerlesbares Medium mit einem darauf codierten Computerprogrammcode, wobei, wenn der Computerprogrammcode von einem Prozessor durchgeführt wird, der Prozessor ein Verfahren zum Decodieren eines codierten Datenstroms durchführt, der eine Anzahl Bitebenen aufweist, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Selektieren (110, 306) einer gewünschten Qualität zu decodierender Bilder aus dem codierten Datenstrom; – des Ermitteln (112) einer Bitrate zum Decodieren entsprechend der gewünschten Qualität; und – das Decodieren (116) nur einer minimalen Anzahl Bitebenen aus dem codierten Strom, wobei die minimale Anzahl der ermittelten Bitrate entspricht; gekennzeichnet durch – die Identifizierung (202, 204, 206, 207) einer vom Strominhalt abhängigen Beziehung zwischen Qualität eines decodierten Bildes und einer Bitrate zum Decodieren des Bildes, wobei die Bitrate zum Decodieren unter Anwendung der genannten Beziehung ermittelt wird.
Computerlesbares Medium nach Anspruch 8, wobei die Beziehung durch die nachfolgende Gleichung definiert wird: Q(R) = QBL + (R – RBL)/c, wobei Q(R) die Qualität des Bildes bei einer Bitrate R ist, wobei QBL ein Qualitätsmaß einer Basisschicht des Datenstroms ist, wobei RBL eine Bitrate entsprechend der Übertragung der Basisschicht ist und wobei c eine Konstante ist.
Computerlesbares Medium nach Anspruch 9, wobei c etwa gleich RBL ist.
Computerlesbares Medium nach Anspruch 9, das weiterhin das Empfangen eines Wertes von QBL aus einer Quelle des Datenstromes umfasst.
Computerlesbares Medium nach Anspruch 9, das weiterhin das Berechnen von QLB umfasst, und zwar auf Basis einer oder mehrerer der Gruppe, bestehend aus Quantisierungsschritten, Bewegungsvektoren und Makroblockprädiktionstypen.
Computerlesbares Medium nach Anspruch 8, wobei die minimale Anzahl Bitebenen eine der Gruppe ist, bestehend aus einer echten Zahl, die der Bitrate entspricht, die in dem Schritt (c) ermittelt wurde, und einer kleinsten ganzen Zahl, größer als oder gleich der Bitrate, die in dem Schritt (c) ermittelt wurde.
Computerlesbares Medium nach Anspruch 8, das weiterhin die nachfolgenden Verfahrensschritte umfasst: (e) das Identifizieren einer Änderung in der Beziehung; und (f) das dynamische Einstellen der Anzahl decodierter Bitebenen entsprechend der gewünschten Qualität und der geänderten Beziehung.
Computerlesbares Medium nach Anspruch 14, wobei der Schritt (f) die Verwendung einer relativ hohen Bitrate für eine Bildsequenz mit hohem Detail und geringer Bewegung umfasst.
Computerlesbares Medium nach Anspruch 14, wobei der Schritt (f) die Verwendung einer relativ niedrigen Bitrate für eine Bildsequenz mit relativ geringem Detail umfasst.
Computerlesbares Medium nach Anspruch 14, wobei die Schritte (e) und (f) durchgeführt werden, wenn eine Szenenänderung detektiert wird.
Computerlesbares Medium nach Anspruch 8, wobei das Verfahren die Wiedergabe wenigstens zweier Bildqualitätswerte und ein betreffendes Maß eines Mittels umfasst, erforderlich zum Decodieren des Bildes für jeden der wenigstens zwei Bildqualitätswerte vor dem Schritt (b) umfasst.
Computerlesbares Medium nach Anspruch 18, wobei das Maß des Mittels eines der Gruppe ist, bestehend aus einer Zeit zum Decodieren des Datenstromes mit der betreffenden Bildqualität, einem Bruchteil der Batterieladung, benutzt zum Decodieren des Datenstroms mit der betreffenden Bildqualität, und einer Bitrate, verwendet zum Decodieren des Datenstroms bei der betreffenden Bildqualität.
Computerlesbares Medium nach Anspruch 8, wobei das Verfahren weiterhin das Übertragen der ermittelten Bitrate zu einer Quelle des Datenstroms umfasst und die Datenstromquelle beauftragt wird, nur künftige Datenströme mit der ermittelten Bitrate zu übertragen.
Decoder zum Decodieren eines codierten Datenstroms, der eine Anzahl Bitebenen aufweist, wobei der Decoder die nachfolgenden Elemente aufweist: – Mittel zum Empfangen einer Selektion einer gewünschten Qualität zu decodierender Bilder aus dem codierten Datenstrom; – Mittel zum Ermitteln einer Bitrate zum Decodieren des Bildes entsprechend der gewünschten Qualität; – Mittel zur Steuerung einer Anzahl zu codierender Bitebenen, so dass nur eine minimale Anzahl Bitebenen aus dem codierten Strom decodiert werden zum Bilden eines oder mehrerer Bilder, wobei die minimale Anzahl der gewünschten Bitrate entspricht, dadurch gekennzeichnet, dass die Mittel zum ermitteln der Bitrate zum Decodieren, vorgesehen zum ermitteln der Bitrate auf Basis der Qualität eines decodierten Bildes, wie durch eine Strominhaltabhängigen Beziehung zwischen Qualität des decodierten Bildes und einer Bitrate zum Decodieren des Bildes definiert.
Decoder nach Anspruch 21, der weiterhin Folgendes umfasst: Mittel zum identifizieren einer Änderung in der Beziehung zwischen der Bitrate und der Qualität des decodierten Bildes; und Mittel zum dynamischen Einstellen der Anzahl decodierter Bitebenen zum Entsprechen der gewünschten Qualität und der geänderten Beziehung.
Decoder nach Anspruch 22, wobei die Einstellmittel eine relativ niedrige Bitrate verwenden für eine Bildsequenz mit einem relativ geringen Detail.
Decoder nach Anspruch 22, wobei die Änderungsidentifikationsmittel eine Änderung in der Beziehung identifizieren, wenn eine Szenenänderung detektiert wird.
Decoder nach Anspruch 21, wobei der Decoder in einer mobilen Anordnung vorgesehen ist, die wenigstens zwei Bildqualitätswerte und ein betreffendes Maß eines Mittels wiedergibt, das zum Decodieren des Bildes für jeden der wenigstens zwei Bildqualitätswerte erforderlich ist.
Decoder nach Anspruch 25, wobei das Maß des Mittels eines der Gruppe ist, die besteht aus einer Zeit zum Decodieren des Datenstroms mit der betreffenden Bildqualität, einem Bruchteil der Batterieladung, verwendet zum decodieren des Datenstroms mit der betreffenden Bildqualität, und einer Bitrate, verwendet zum Decodieren des Datenstroms mit der betreffenden Bildqualität.
Decoder nach Anspruch 21, wobei der Decoder in einer mobilen Anordnung vorgesehen ist, welche die ermittelte Bitrate zu einer Quelle des Datenstroms überträgt, und zwar zum Beantragen, dass die Quelle des Datenstroms nur künftige Datenströme mit der ermittelten Bitrate überträgt.