DE10300048A1

DE10300048A1 - Verfahren und Vorrichtung zur Bildcodierung und -decodierung

Info

Publication number: DE10300048A1
Application number: DE10300048A
Authority: DE
Inventors: Woo-Shik Kim; Dae-Sung Cho; Shi-Hwa Lee; Sang-Wook Kim
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-01-05
Filing date: 2003-01-03
Publication date: 2003-08-14
Anticipated expiration: 2023-01-04
Also published as: US20150281719A1; US20150172673A1; US8599930B2; JP2003284071A; US9414075B2; US20150281723A1; JP2007020198A; US9774861B2; US8345773B2; US9843806B2; US9774862B2; JP2007020199A; US9800871B2; US20070291838A1; JP2010011499A; US20150281718A1; JP5284920B2; US20150043654A1; US9807394B2; US8045621B2

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Bildcodierung und Bilddecodierung bereitgestellt. Das Verfahren und die Vorrichtung zur Bildcodierung können das Modellieren einer Bildqualitätsverteilung eines Eingangsbildes in Einheiten von Szenen derart, dass die Qualität einer Bildeingabe in Einheiten von Szenen von einem interessierenden Bereich zu einem Hintergrundbereich graduell verringert wird, das Festlegen eines Quantisierungsparameters jedes Bereichs, der eine Szene gemäß dem Resultat der Modellierung der Bildqualitätsverteilung bildet, das Quantisieren von Bilddaten gemäß dem Quantisierungsparameter und das Codieren der Entropie der quantisierten Bilddaten beinhalten. Das Verfahren und die Vorrichtung zur Bilddecodierung können das Decodieren von Bilddaten, die Information über Position und Abmessung jedes Bereichs und den Wert eines Quantisierungsparameters in einem empfangenen Bitstrom, das Festlegen des Wertes eines Quantisierungsparameters in jedem Bereich unter Verwendung der Information über Position und Abmessung und jedes Bereichs und des Wertes eines Quantisierungsparameters, der in dem Decodierschritt wiedergewonnen wird, so dass die Bildqualität von einem interessierenden Bereich zu einem Hintergrundbereich verringert wird, das inverse Quantisieren decodierter Bilddaten unter Verwendung des Wertes des Quantisierungsparameters und das Hinzufügen eines Bildes, das für jeden Bereich gemäß seiner entsprechenden Position abhängig vom Wert der Position ...

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Bildcodierung und -decodierung.
Im Allgemeinen wird ein Bild für Speicher-/Übertragungszwecke komprimiert. Fig. 1 zeigt ein Blockdiagramm, das ein herkömmliches Bildkompressionsverfahren veranschaulicht, bei dem nacheinander eine räumliche/zeitliche Prädiktionscodierung (100), eine Transformationscodierung (110), eine Quantisierung (120) und eine Entropiecodierung (130) ausgeführt werden, um einen komprimierten Bitstrom zu erzeugen. In diesem Fall werden die meisten Verluste während des Quantisierungsvorgangs (120) erzeugt. Dieses verlustbehaftete Kompressionsverfahren umfasst ein verlustbehaftetes Kompressionsverfahren für ein stehendes Bild und ein verlustbehaftetes Kompressionsverfahren für ein bewegtes Bild. JPEG ist ein repräsentatives verlustbehaftetes Kompressionsverfahren für ein stehendes Bild, während MPEG-1, 2, 4 und H.261 sowie H.263 repräsentative verlustbehaftete Kompressionsverfahren für ein bewegtes Bild sind.
Hierbei wird eine diskrete Cosinus-Transformat an (DCT) ausgeführt, wenn ein Bild codiert wird. In diesem Fall wird ein Bild in Blöcke von vorgegebener Abmessung, wie 8 × 8, unterteilt und dann codiert, da der Berechnungsaufwand zu groß ist, um die DCT mit dem gesamten Bild durchzuführen. Außerdem nimmt die Informationsmenge bei Durchführung einer Quantisierung zu, wenn das Bild unter Verwendung eines Quantisierungsparameters für jeden Einheitsblock codiert wird, um so einen Quantisierungsparameter für jeden Einheitsblock unterschiedlich zu machen. So wird in dem gesamten Bild der gleiche Quantisierungsparameter verwendet. In MPEG-4- und H.263-Systemen wird Information bereitgestellt, um einen Quantisierungsparameter um ± 2 für jeden Block von 16 × 16 einzustellen. Dann wird cüe Information verwendet, um die präzise Zielbitrate zu erhalten.
Wenn ein derartiger Codierer verwendet wird, wird das Bild mit ähnlicher Bildqualität auf der gesamten Szene angezeigt. Wenn jedoch der Benutzer ein Bild betrachtet, hält der Betrachter die Bildqualität eines interessierenden Bereichs (ROI) für wichtiger als die Bildqualität eines Hintergrundbereichs. Dies ist der Grund dafür, warum ein Unterschied zwischen den Bereichen besteht, die der Benutzer gleichzeitig sehen kann. Der Benutzer möchte den interessierenden Bereich (ROI) sorgfältiger betrachten und andere detaillierte Teile des Hintergrundbereichs übersehen. Dieses Phänomen tritt insbesondere im Fall eines bewegten Bildes beträchtlich auf. So ist, wenn ein Bild mit weniger Bits codiert wird, eine Verbesserung der Bildqualität des interessierenden Bereichs (ROI) notwendig, indem dem interessierenden Bereich (ROI) mehr Bits als dem Hintergrundbereich zugewiesen werden, anstatt dem gesamten Bild die Bits gleichmäßig zuzuweisen.
In den MPEG-4- und H.263-Systemen wird ein Teil eines Bilds in Bereiche unterteilt und codiert. In dem MPEG-4-System kann ein Benutzer unter Verwendung von Formcodierung über ein Kernprofil hinaus die Bereiche in Einheiten von Pixeln definieren. Das vorstehende Verfahren wird hauptsächlich in MPEG-4 verwendet, da Vorgänge in Einheiten jedes Objekts durchgeführt werden können, die eine Szene bilden. Jedes der Objekte wird unter Verwendung verschiedener Bitströme codiert, und eine Benutzerinteraktion kann in MPEG-4 unter Verwendung der vorstehenden Struktur durchgeführt werden. Unter Verwendung dieses Verfahrens werden der ROI und der Hintergrundbereich für jedes Objekt voneinander getrennt, so dass das Bild mit unterschiedlicher Bildqualität codiert wird. Dieser Objekttrennungsprozess ist jedoch sehr kompliziert. Selbst wenn die Objekte unter Verwendung einer groben Form einfach voneinander getrennt werden, ist zusätzliche Information dahingehend notwendig, die Form jedes der Objekte zu zeigen, und somit wird die Kompressionseffizienz verringert.
Außerdem kann im H.263-System ein Teil eines Bildes in Bereiche in Einheiten von Gruppen aufeinanderfolgender Makroblöcke (MBs) oder in Einheiten von Gruppen von Makroblöcken (MBs) in einer bestimmten rechteckigen Form unter Verwendung eines streifenförmigen Modus bei einem Anhang K unterteilt werden, und das Bild kann codiert werden. Dieses Verfahren, das im H.263-System verwendet wird, ist robust gegenüber Fehlern. Ein wichtiger Teil in einer Umgebung, die einen Mehrfachübertragungskanal verwendet, wird über einen Übertragungskanal in eine bessere Umgebung übertragen, so dass die Übertragungseffizienz verbessert wird und verhindert wird, dass sich Fehler, die in einem Bereich auftreten, in einen anderen Bereich ausbreiten. In diesem Fall kann der ROI unter Verwendung einer Streifenstruktur in einer rechteckigen Form codiert werden. Um jedoch den Hintergrundbereich zu zeigen, muss ein Teil eines Bildes in mehrere Rechtecke unterteilt werden, und somit wird die Struktur des H.263-Systems kompliziert.
In der Patentschrift US 5.764.803 mit dem Titel "Motion-adaptive Modeling Scene Content for very low Bit Rate Model assisted Coding of Video Sequences" wird ein Teil eines Bildes in einen interessierenden Bereich (ROI) und einen Hintergrundbereich unterteilt, und dann wird das Bild codiert. Es gibt jedoch eine Beschränkung des Bereichs eines Quantisierungsparameters, der in jedem Bereich variiert werden kann. So ist aufgrund eines Unterschieds der Bildqualität zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich eine Grenze zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich sichtbar.
Außerdem offenbart die Patentschrift US 6.263. D22 ein Kompressionsverfahren, das in einer Umgebung mit einem Mehrfachübertragungskanal verwendet wird, die eine Basisschicht und eine Verbesserungsschicht beinhaltet. Das Verfahren kann an eine Umgebung eines Übertragungskanals angepasst werden, es ist jedoch schwierig, Interprädiktion durchzuführen, und somit nimmt die Codiereffizienz ab. Außerdem wird die Bildqualität des interessierenden Bereiches (ROI) verbessert, die Gesamtcodiereffizienz nimmt jedoch ab. Somit wird die Bildqualität des Hintergrundbereichs beträchtlich verringert. Das heißt, der Unterschied der Bildqualität zwischen dem interessierenden Bereich und dem Hintergrundbereich nimmt zu, und daher erscheint deutlich die Grenze zwischen dem interessierenden Bereich und dem Hintergrundbereich.
Außerdem offenbart die Patentschrift US 6.256.423 ein Kompressionsverfahren, bei dem ein interessierender Bereich (ROI), ein Hintergrundbereich und ein Übergangsbereich zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich definiert werden und ein Quantisierungsparameter zwischen Bereichen festgelegt wird. Bei dem Verfahren kann aufgrund des Übergangsbereichs ein Phänomen, durch das eine Grenze zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich erscheint, etwas verhindert werden. Es gibt jedoch eine Beschränkung des Intervalls des Quantisierungsparameters jedes Bereichs, und es sind auch n Übergangsbereiche notwendig, wenn n interessierende Bereiche (ROIs) in einem Teil eines Bereichs existieren, und somit ist ein Codierverfahren kompliziert. Außerdem ist ein weiterer Übergangsbereich zwischen dem Übergangsbereich und einem weiteren Bereich zusätzlich notwendig, um die Grenze zwischen Bereichen zu glätten. Als Folge ist es schwierig, einen Quantisierungsparameter für jeden Bereich festzulegen. Um dieses Problem zu lösen, wurde auch ein Verfahren der iterativen Wahl eines Quantisierungsparameters verwendet, dieses Verfahren resultiert jedoch in einer Zunahme des Berechnungsaufwands.
Die vorliegende Erfindung stellt ein Verfahren und eine Vorrichtung zur Bildcodierung und -decodierung bereit, die verhindern, dass eine Grenze zwischen einem interessierenden Bereich (ROI) und einem Hintergrundbereich in einem Bild entsteht, und das Verfahren erfordert unter Berücksichtigung menschlicher visueller Eigenschaften einen geringen Berechungsaufwand.
Die vorliegende Erfindung stellt des Weiteren e in Verfahren und eine Vorrichtung zur Bildcodierung und -decodierung bereit, durch die eine Codierung und Decodierung eines interessierenden Bereichs (ROI) effektiv durchgeführt werden, wobei eine Mehrzahl rechteckiger Bereiche verwendet wird, wenn ein Bild codiert und decodiert wird.
Die vorliegende Erfindung stellt des Weiteren ein Aufzeichnungsmedium bereit, auf dem das Verfahren zur Bildcodierung und -decodierung als ein Programmcode aufgezeichnet ist, der durch amen Computer ausgeführt werden kann.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Bildcodierung gemäß Anspruch 1, 31 oder 41 bereitgestellt.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Bildcodierung gemäß Anspruch 6 oder 21 bereitgestellt.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Verfahren zur Bilddecodierung gemäß Anspruch 11, 36 oder 44 bereitgestellt.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Bilddecodierung gemäß Anspruch 16 oder 26 bereitgestellt.
Bevorzugte Ausführungsformen der Erfindung werden gemäß den Unteransprüchen bereitgestellt, und Anspruch 47 bezieht sich auf ein Aufzeichnungsmedium mit dem aufgezeichneten Programmcode über das Codier- und/oder Decodierverfahren der Erfindung.
Die vorstehenden und weitere Merkmale und Vorteile der vorliegenden Erfindung werden nunmehr durch detailliertes Beschreiben bevorzugter Ausführungsformen derselben unter Bezugnahme auf die beigefügten Zeichnungen ersichtlicher, in denen:
Fig. 1 ein Blockdiagramm zeigt, das ein herkömmliches Bildkompressionsverfahren veranschaulicht;
Fig. 2 ein Blockdiagramm zeigt, das eine Bildcodierungsvorrichtung, die menschliche visuelle Eigenschaften berücksichtigt, gemäß einer Ausführungsform der vorliegenden Erfindung schematisch darstellt;
Fig. 3 ein Flussdiagramm zeigt, das ein in der Bildcodierungsvorrichtung von Fig. 2 durchgeführtes Bildcodierungsverfahren gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
Fig. 4A und 4B einen Schritt zur Bestimmung eines interessierenden Bereichs (ROI), eines Interpolationsbereichs und eines Hintergrundbereichs in einer Szene zeigen;
Fig. 5A bis 5C Graphiken zeigen, welche die Verteilung der Bildqualität des Standes der Technik mit der Verteilung der Bildqualität der vorliegenden Erfindung vergleichen;
Fig. 6A bis 6C die Charakteristika eines Quantisierungsparameters zeigen, der von einer Bildqualitätsmodolliereinheit von Fig. 2 festgelegt wird;
Fig. 7A und 7B die Anzahl an Bits in Abhängigkeit von der Bildqualität gemäß Variationen eines Quantisierungsparameters in einem linearen oder nicht-linearen Quantisierungsverfahren zeigen;
Fig. 8A bis 8C den Vergleich eines Falles, bei dem ein Bildcodierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall zeigen, bei dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird;
Fig. 9 ein Blockdiagramm zeigt, das eine Bilddecodierungsvorrichtung, die menschliche visuelle Eigenschaften berücksichtigt, gemäß einer Ausführungsform der vorliegenden Erfindung schematisch darstellt;
Fig. 10 ein Flussdiagramm zeigt, das ein in der Bilddecodiervorrichtung von Fig. 8 durchgeführtes Bilddecodierverfahren gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
Fig. 11 ein Blockdiagramm einer Bildcodiervorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 12 ein Flussdiagramm zeigt, das ein in der Bildcodiervorrichtung von Fig. 11 durchgeführtes Bildcodierverfahren veranschaulicht;
Fig. 13 ein Blockdiagramm zeigt, das eine Bilddecodiervorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung schematisch darstellt;
Fig. 14 ein Flussdiagramm zeigt, das ein in der Bilddecodiervorrichtung von Fig. 13 durchgeführtes Bilddecodierverfahren veranschaulicht;
Fig. 15A und 15B ein Verfahren zur Verarbeitung von Streifen gemäß der vorliegenden Erfindung darstellt;
Fig. 16 einen Vergleich der subjektiven Bildqualität in einem Fall, in dem ein Codierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall zeigt, in dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird; und
Fig. 17 einen Vergleich der objektiven Bildqualität in einem Fall, in dem ein Codierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall zeigt, in dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird.
Im Folgenden werden ein Verfahren und eine Vorrichtung zur Bildcodierung und -decodierung, die menschliche visuelle Eigenschaften berücksichtigt, gemäß der vorliegenden Erfindung unter Bezugnahme auf die begleitenden Zeichnungen detailliert beschrieben.
Fig. 2 zeigt ein Blockdiagramm, das eine Bildcodierungsvorrichtung, die menschliche visuelle Eigenschaften berücksichtigt, gemäß einer Ausführungsform der vorliegenden Erfindung schematisch veranschaulicht. Bezugnehmend auf Fig. 2 beinhaltet die Bildcodierungsvorrichtung eine Bildqualitätsmodelliereinheit 140, eine Prädiktionscodiereinheit 145, eine Transformiercodiereinheit 150, eine adaptive Quantisiereinheit 155 und eine Entropiecodiereinheit 160.
Die Bildqualitätsmodelliereinheit 140 modelliert die Bildqualitätsverteilung eines Eingangsbildes in Einheiten von Szenen derart, dass die Bildqualität einer Bildeingabe in Einheiten von Szenen von einem interessierenden Bereich (ROI) zu einem Hintergrundbereich graduell verringert wird. Außerdem legt die Bildqualitätsmodelliereinheit 140 einen Quantisierungsparameter jedes Bereichs, der eine Szene bildet, gemäß dem Resultat der Modellierung der Bildqualitätsverteilung fest.
Die Prädiktionscodiereinheit 145 führt eine Prädiktionscodierung des Eingangsbildes durch, und die Transformiercodiereinheit 150 führt eine Transformiercodierung des prädiktionscodierten Eingangsbildes durch. In diesem Fall führen die Prädiktionscodiereinheit 145 und die Transformiercodiereinheit 150 eine Codierung in Einheiten von Blöcken mit einer vorgegebenen Abmessung durch, um die Codierberechnung zu vereinfachen.
Die adaptive Quantisiereinheit 155 quantisiert Bilddaten für jeden MB gemäß dem durch die Bildqualitätsmodelliereinheit 140 festgelegten Quantisierungsparameter.
Die Entropiecodiereinheit 160 codiert die Entropie der Bilddaten, die durch die adaptive Quantisiereinheit 155 quantisiert wurden.
Fig. 3 zeigt ein Flussdiagramm, das ein in der Bildcodiervorrichtung von Fig. 2 durchgeführtes Bildcodierverfahren gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Nunmehr wird die Betriebsweise der Bildcodiervorrichtung von Fig. 2 unter Bezugnahme auf die Fig. 2 und 3 beschrieben.
Als erstes modelliert die Bildqualitätsmodelliereinheit 140 in Schritt 200 die Bildqualitätsverteilung für ein Eingangsbild in Einheiten von Szenen derart, dass die Bildqualität einer Bildeingabe in Einheiten von Szenen von einem interessierenden Bereich (ROI) zu einem Hintergrundbereich graduell verringert wird. Nach Schritt 200 legt die Bildqualitätsmodelliereinheit 140 in Schritt 210 einen Quantisierungsparameter von jedem der Blöcke mit einer vorgegebenen Abmessung, d. h. 8 (Pixel) × 8 oder 16 × 16, die eine Szene bilden, gemäß dem Resultat der Modellierung der Bildqualitätsverteilung fest und liefert der adaptiven Quantisierungseinheit 155 den festgelegten Quantisierungsparameter.
Da die Bildqualitätsmodelliereinheit 140 die Bildqualität derart modelliert, dass die Bildqualität des Eingangsbildes von einem Mittelpunkt des interessierenden Bereichs (ROI) zu dem Hintergrundbereich graduell verringert wird, ist der Quantisierungsparameter in dem interessierenden Bereich (ROI) klein und nimmt in Richtung des Hintergrundbereichs graduell zu. Der Quantisierungsparameter wird durch ein Bitziel festgelegt. Hierbei kann die Bildqualitätsmodelliereinheit 140 die Bildqualität derart modellieren, dass die Bildqualitätsverteilung eine Gauss'sche Verteilung aufweist. Alternativ kann die Bildqualitätsmodelliereinheit 140 einen vorgegebenen Interpolationsbereich zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich für jede Szene festsetzen und kann die Bildqualitätsverteilung derart modellieren, dass die höchste Bildqualität in dem Mittelpunkt des interessierenden Bereichs (ROI) erhalten wird und die Bildqualität für jeden Bereich in dem Hintergrundbereich verringert wird, dass aber ein Unterschied in dem Hintergrundbereich in dem Interpolationsbereich nicht merklich ist. Die Bildqualitätsmodelliereinheit 140 kann zum Beispiel einen interessierenden Bereich (ROI) 250 und einen Hintergrundbereich 260 in einer Szene festlegen, wie in Fig. 4A gezeigt, und einen Interpolationsbereich 300 zur Entfernung eines Blockierphänomens festsetzen, das durch einen Unterschied der Bildqualität zwischen Bereichen in einem Bereich verursacht wird, in dem alle Bereiche miteinander verbunden sind, wie in Fig. 4B gezeigt. Die Bildqualitätsmodelliereinheit 140 legt durch Modellieren der Bildqualität derart, dass sich die Bildqualität auf natürliche Weise in den Interpolationsbereich fortsetzt, einen Quantisierungsparameter fest. Ein Quantisierungsparameter in dem Interpolationsbereich kann linear oder nicht- linear variiert werden. Die Modellierung der Bildqualität wird unter Bezugnahme auf die Fig. 5 und 6 detailliert beschrieben.
Nach Schritt 210 gibt die adaptive Quantisierungseinheit 155 in Schritt 220 prädiktionscodierte und transformiercodierte Bilddaten für jeden Bereich ein, und die Bildqualitätsmodelliereinheit 140 quantisiert die Bilddaten für jeden Bereich gemäß dem durch die Bildqualitätsmodelliereinheit 140 festgelegten Quantisierungsparameter. Hierbei nimmt der von der Bildqualitätsmodelliereinheit 140 bereitgestellte Quantisierungsparameter von dem interessierenden Bereich (ROI) zu dem Hintergrundbereich einer Szene zu, und somit ist das Ausmaß an Verlusten, die durch eine Quantisierung verursacht werden, unterschiedlich. Das heißt, der geringste Verlust ist im Mittelpunkt des interessierenden Bereichs (ROI), auf den die menschlichen Augen am meisten fokussiert werden, und die Verluste nehmen in Richtung des Hintergrundbereichs zu, auf den die menschlichen Augen relativ am wenigsten fokussiert werden.
Nach Schritt 220 codiert die Entropiecodiereinheit 160 in Schritt 230 die Entropie der durch die adaptive Quantisiereinheit 155 quantisierten Bilddaten und gibt die codierte Entropie der Bilddaten als Bitstrom ab.
Wie vorstehend erwähnt, nimmt der Quantisierungsparameter von dem interessierenden Bereich (ROI) zu dem Hintergrundbereich durch eine vorgegebene Bildqualitätsmodellierung zu, die menschliche visuelle Eigenschaften berücksichtigt, wodurch das Blockierphänomen zwischen Bereichen effektiv entfernt wird, während die Codiereffizienz verbessert wird.
Die Fig. 5A bis 5C zeigen graphisch einen Vergleich der Verteilung der Bildqualität des Standes der Technik mit der Verteilung der Bildqualität der vorliegenden Erfindung. In den Fig. 5A bis 5C zeigen die x-Achse und die y-Achse ein räumliches Gebiet des jeweiligen Bildes an, und die z-Achse zeigt die Bildqualität an. Und es wird angenommen, dass ein interessierender Bereich (ROI) eines Bildes ein mittlerer Teil einer Szene ist.
Fig. 5A zeigt die Bildqualitätsverteilung, die einen Fall veranschaulicht, in dem die Bildqualitätsmodelliereinheit 140 die Bildqualitätsverteilung in einer Szene derart modelliert, dass sie eine Gauss'sche Verteilung aufweist, die um den interessierenden Bereich (ROI) zentriert ist. Bezugnehmend auf Fig. 5A weist die Bildqualitätsverteilung eine zweidimensionale Gauss'sche Verteilung auf, die auf die Mitte eines Bildes gemittelt ist, bei der die höchste Bildqualität in dem interessierenden Bereich (ROI) erhalten wird und die Bildqualität im Hintergrundbereich graduell verringert wird. In diesem Fall kann die Steigung von Variationen der Bildqualität gemäß Dispersionswerten der x- und der y-Achse eingestellt werden. Die Bildqualitätsverteilung kann gemäß der Anzahl an interessierenden Bereichen (ROI) unterschiedlich gebildet werden. Außerdem wird in diesem Fall die Quantisierungsparameterverteilung, die von der Bildqualitätsverteilung verursacht wird, in einer Szene modelliert und ein Modell davon wird übertragen, anstelle der Codierung eines Quantisierungsparameters für jeden Einheitsblock und der Übertragung des Quantisierungsparameters. Wenn zum Beispiel der Positions- und Dispersionswert des Einheitsblocks, der zu dem Mittelpunkt des interessierenden Bereichs (ROI) gehört, übertragen werden, kann der Quantisierungsparameter aller Einheitsblöcke bei einem Empfänger automatisch berechnet werden.
Fig. 5B zeigt einen Fall, bei dem der Interpolationsbereich zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich platziert wird, um so einen schnellen Unterschied der Bildqualität zu reduzieren. In diesem Fall wird jedem Bereich ein Quantisierungsparameter zugewiesen. Ein Intervall, in dem ein Quantisierungsparameter zu variieren ist, wird gemäß der Abmessung eines Bereichs festgesetzt. Es braucht keine zusätzliche Information in das Intervall eingefügt zu werden, indem die gleichen Regeln in einem Codierer und einem Decodierer festgesetzt werden. Im Fall eines rechteckigen Bereichs kann zum Beispiel, wenn ein Bereich, der 20% der Länge und auch der Breite entspricht, als ein Intervall festgelegt wird, in dem der Quantisierungsparameter zu variieren ist, der variierte Quantisierungsparameter auf den Bereich eines Blocks angewendet werden, der 20% des Außenraums jedes Bereichs entspricht, und codiert werden. Selbst wenn der Quantisierungsparameter decodiert wird, wird der variierte Quantisierungsparameter auf einen Teil angewendet, der 20% entspricht, und so kann der variierte Quantisierungsparameter korrekt codiert werden. Durch Verwenden des gleichen Quantisierungsverfahrens in dem Codierer und dem Decodierer kann zudem der Quantisierungsparameter gemäß voreingestellten Regeln ohne Einfügen zusätzlicher Information in einem Verfahren zum Variieren des Quantisierungsparameters variiert werden.
Fig. 5C zeigt eine Bildqualitätsverteilung, die einen Fall veranschaulicht, bei dem eine Szene in einen interessierenden Bereich (ROI) und einen Hintergrundbereich im Stand der Technik unterteilt wird. In diesem Fall tritt aufgrund eines Unterschieds der Bildqualität zwischen zwei Bereichen ein Blockierphänomen auf, durch das eine Grenze zwischen den zwei Bereichen erscheint, und so wird die Bildqualität geschädigt.
Schließlich wird die Bildqualität unter Bezugnahme auf die Fig. 5A und 5B von dem interessierenden Bereich (ROI) zu dem Hintergrundbereich graduell verringert, und so kann ein Benutzer amen Unterschied der Bildqualität zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich nicht erkennen. Aufgrund eines abrupten Unterschieds der Bildqualität zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich, wie in Fig. 5C gezeigt, nimmt der Benutzer hingegen das Blockierphänomen wahr.
Die Fig. 6A bis 6C zeigen die Charakteristika eines durch die Bildqualitätsmodelliereinheit 140 von Fig. 2 festgelegten Quantisierungsparameters. Der Einfachheit halber sei angenommen, dass 0-2 und 8-10 eines räumlichen Gebiets dem Hintergrundbereich zugewiesen werden, 2-8 des räumlichen Gebiets dem interessierenden Bereich (ROI) zugewiesen wird und der Quantisierungsparameter zwischen 0 und 31 variiert wird.
Fig. 6A zeigt einen Fall, in dem der Quantisierungsparameter in dem Interpolationsbereich der Fig. 4B oder 5B linear variiert wird, und Fig. 6B zeigt einen Fall, in dem der Quantisierungsparameter in dem Interpolationsbereich von Fig. 4B oder 5B nicht-linear variiert wird. Bezugnehmend auf die Fig. 6A und 6B wird der Quantisierungsparameter derart festgelegt, dass ein Unterschied der Bildqualität zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich nicht schnell variiert wird, sondern in dem Interpolationsbereich zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich graduell variiert wird. Fig. 6C zeigt die Charakteristika des Quantisierungsparameters, wenn eine Szene in den interessierenden Bereich (ROI) und den Hintergrundbereich ohne einen herkömmlichen Interpolationsbereich unterteilt wird, und in Fig. 6C ist der Unterschied des Quantisierungsparameters zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich abrupt. Das Blockierphänomen kann als solches an der Grenze zwischen dem interessierenden Bereich (ROI) und dem Hintergrundbereich auftreten.
Unterdessen können die linearen/nicht-linearen Charakteristika des Quantisierungsparameters durch die Charakteristika eines Quantisierungsverfahrens festgelegt werden, wie in den Fig. 6A und 6B gezeigt. Das heißt, ob die Anzahl an Bits und die Bildqualität linear oder nichtlinear variiert wird, wird gemäß Variationen des Quantisierungsparameters festgelegt.
Die Fig. 7A und 7B zeigen die Anzahl an Bits in Abhängigkeit von der Bildqualität gemäß Variationen eines Quantisierungsparameters in einem linearen oder nicht-linearen Quantisierungsverfahren, und in den Fig. 7A und 7B werden MPEG-4- und H.26L-Codierer verwendet.
Fig. 7A zeigt Variationen der Bildqualität gemäß Variationen eines Quantisierungsparameters und zeigt, dass der MPEG-4-Codierer nichtlineare Eigenschaften aufweist und der H.26L-Codierer lineare Eigenschaften aufweist. Außerdem zeigt Fig. 7B Variationen der Anzahl an Bits gemäß Variationen des Quantisierungsparameters und zeigt, dass der MPEG-4-Codierer nicht-lineare Eigenschaften aufweist und der H.26L-Codierer lineare Eigenschaften aufweist. Das heißt, ein Verfahren zum linearen oder nicht-linearen Variieren des Quantisierungsparameters wird durch ein Quantisierungsverfahren festgelegt, und somit ist keine Übertragung zusätzlicher Information notwendig. Außerdem wird die Anzahl an Bits in dem interessierenden Bereich (ROI) reduziert, und die Anzahl an Bits in Richtung des Hintergrundbereichs wird erhöht. Somit wird die Gesamtanzahl an Bits nicht stark variiert, und es ist keine zusätzliche Berechnung notwendig.
Die Fig. 8A bis 8C zeigen den Vergleich eines Falles, bei dem ein Codierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall, bei dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird. Fig. 8A zeigt einen Fall, bei dem das adaptive Quantisierungsverfahren gemäß der vorliegenden Erfindung angewendet wird, und Fig. 8B zeigt einen Fall, bei dem ein rechteckiger interessierender Bereich (ROI) in einem mittleren Teil eines Bildes gebildet wird, der Bereich einer Szene in zwei Bereiche unterteilt wird und unterschiedliche Quantisierungsparameter in jedem Bereich codiert werden. Außerdem zeigt Fig. 8C einen Fall, bei dem der gleiche Quantisierungsparameter in allen Blöcken einer Szene codiert wird, ohne den interessierenden Bereich (ROI) zu unterteilen.
Bezugnehmend auf die Fig. 8A bis 8C kann die subjektive Bildqualität eines Bildes verbessert werden, indem eine Codierung verwendet wird, die den interessierenden Bereich (ROI) verwendet, wie in Fig. 8B gezeigt, anstatt den gleichen Quantisierungsparameter in allen Blöcken zu verwenden, wie in Fig. 8C gezeigt. Es wird jedoch eine Grenze zwischen dem ROI und dem Hintergrundbereich gebildet. Aufgrund dieses Phänomens einer Grenze gibt es eine Beschränkung hinsichtlich der Erzeugung eines Unterschieds der Bildqualität zwischen dem ROI und dem Hintergrundbereich, so dass es eine Beschränkung der Effizienz der Codierung des ROI gibt. In dem Fall des adaptiven Codierverfahrens, wie in Fig. 8A gezeigt, wird jedoch ein Interpolationsbereich zwischen den ROI und den Hintergrundbereich eingefügt, und die Bildqualität wird in dem lnterpolationsbereich derart graduell variiert, dass ein Unterschied der Bildqualität zwischen zwei Interpolationsbereichen nicht merklich erscheint.
Fig. 9 zeigt ein Blockdiagramm, das eine Bilddecodiervorrichtung, die menschliche visuelle Eigenschaften berücksichtigt, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Bezugnehmend auf Fig. 9 beinhaltet die Bilddecodiervorrichtung eine Bildqualitätsmodelliereinheit 300, eine Entropiedecodiereinheit 310, eine adaptive inverse Quantisiereinheit 320, eine Bildwiederherstelleinheit 300 und eine Bildaufbaueinheit 340.
Fig. 10 zeigt ein Flussdiagramm, das ein in der Bilddecodiervorrichtung von Fig. 8 durchgeführtes Bilddecodierverfahren gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht. Bezugnehmend auf die Fig. 9 und 10 empfängt die Entropiedecodiereinheit 310 einen Bitstrom und decodiert den Bitstrom an Daten, die zu jedem der Bereiche gehören. In Schritt 410 werden Bilddaten, die Information hinsichtlich der Positionen von jedem der Bereiche beinhalten, der Wert eines Quantisierungsparameters und die Abmessungen von jedem der Bereiche in dem Bitstrom decodiert.
In Schritt 420 legt die Bildqualitätsmodelliereinheit 300 den Wert eines Quantisierungsparameters eines entsprechenden Bereichs unter Verwendung der Information hinsichtlich Positionen und Abmessungen von jedem der Bereiche und den Wert eines Quantisierungsparameters der durch die Entropiedecodiereinheit 310 decodierten Daten fest. Die Bildqualitätsmodelliereinheit 300 liefert der adaptiven Quantisierungseinheit 320 den Wert des Quantisierungsparameters. In diesem Fall kann der Wert des Quantisierungsparameters so festgesetzt werden, dass er in einem vorgegebenen Intervall graduell variiert, so dass der Wert des Quantisierungsparameters zwischen allen Bereichen nicht schnell variiert wird. Wie vorstehend unter Bezugnahme auf die Fig. 5A bis 5C und 6A bis 6C beschrieben, kann die Bildqualitätsverteilung so modelliert werden, dass sie eine auf einen interessierenden Bereich (ROI) zentrierte Gauss'sche Verteilung aufweist, oder ein Interpolationsbereich kann zwischen den ROI und einen Hintergrundbereich platziert werden, um so einen abrupten Unterschied der Bildqualität zu reduzieren. Auf diese Weise wird das Festsetzen eines Intervalls, in den der Wert des Quantisierungsparameters für jeden durch die Bildqualitätsmodelliereinheit 300 festgelegten Bereich zu variieren ist, oder das Variieren eines Quantisierungsparameters durchgeführt, wie in dem vorstehend erwähnten Codierverfahren.
In Schritt 430 quantisiert die adaptive inverse Quantisierungseinheit 320 Daten für jeden Block invers, der von der Entropiedecodiereinheit 310 übertragen wird, indem der von der Bildqualitätsmodelliereinheit 300 festgelegte Wert des Quantisierungsparameters verwendet wird.
In Schritt 440 führt die Bildwiederherstelleinheit S30 eine inverse Transformation bei jedem Block mit einer vorgegebenen Abmessung durch, kompensiert Prädiktionsinformation und stellt ein Bild wieder her.
In Schritt 450 baut die Bildaufbaueinheit 340 eine Szene durch Hinzufügen des wiederhergestellten Bildes für jeden Bereich abhängig von seiner entsprechenden Position gemäß der von der Entropiedecodiereinheit 310 bereitgestellten Information hinsichtlich Positionen von jedem der Bereiche zu einem Teil eines Bildes auf.
Der Aufbau und die Betriebsweise der adaptiven Bilddecodiervorrichtung gemäß der vorliegenden Erfindung, wie vorstehend beschrieben, werden dazu verwendet, ein von der adaptiven Bildcodiervorrichtung von Fig. 2 codiertes Bild zu decodieren. Der Betrieb wird in einer umgekehrten Reihenfolge zu jener der adaptiven Bildcodiervorrichtung durchgeführt, und das Festsetzen eines Intervalls, in dem der Wert eines Quantisierungsparameters für jeden Block zu variieren ist, oder das Variieren eines Quantisierungsparameters, das in der adaptiven Bilddecodiervorrichtung durchgeführt wird, wird wie in dem Codierverfahren durchgeführt. Somit werden der Einfachkeit halber diese Vorgänge hier nicht wiederholt.
Fig. 11 zeigt ein Blockdiagramm einer Bildcodiervorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Bezugnehmend auf Fig. 11 beinhaltet die Bildcodiervorrichtung gemäß der vorliegenden Erfindung eine Streifenmodelliereinheit 1100, eine Bildkopfcodiereinheit 1200 sowie eine Streifencodiereinheit 1300. Die Streifencodiereinheit 1300 beinhaltet einen räumlichen/zeitlichen Prädiktionscodierteil 1310, einen Transformier- und Quantisierteil 1320 und einen Entropiecodierteil 1330.
Die Streifenmodelliereinheit 1100 unterteilt ein Bild 1000 in wenigstens einen oder mehrere unabhängige Streifen, um so einen willkürlichen, von einem Benutzer gewünschten Bereich unabhängig zu codieren. Das heißt, die Streifenmodelliereinheit 1100 kann den ROI als einen rechteckigen Bereich definieren und kann den ROI und einen Bereich außerhalb des ROI aus einer Mehrzahl unabhängiger Streifen bilden. Außerdem kann die Streifenmodelliereinheit 1100 in einem Teil des Bildes 1000 einen Bereich derart bilden, dass ein großer rechteckiger Bereich einen kleinen rechteckigen Bereich überlappt, indem verschiedene rechteckige Bereiche verwendet werden, und kann einen kleinen rechteckigen Bereich und einen großen rechteckigen Bereich, der den kleinen rechteckigen Bereich nicht überlappt, aus einer Mehrzahl von unabhängigen Streifen bilden.
Die Bildkopfcodiereinheit 1200 codiert gemeinsame Information, die bei der Decodierung aller Streifen in einem Bild notwendig ist, und überträgt die codierte Information zu der Streifencodiereinheit 1300. In diesem Fall sind die Anzahl, Form, Position und Abmessung von Streifen in der übertragenen Information enthalten.
Die Streifencodiereinheit 1300 codiert das Bild in Einheiten von Streifen unter Bezugnahme auf Bildkopfinformation, die von der Bildkopfcodiereinheit 1200 eingegeben wird. Zu diesem Zweck entfernt der räumliche/zeitliche Prädiktionscodierteil 1310 räumlich und zeitlich überlappende Information. Der Transformier- und Quantisierteil 1320 führt eine vorgegebene Transformation, zum Beispiel DCT, an einer Ausgabe des räumlichen/zeitlichen Prädiktionscodierteils 1310 durch und quantisiert einen Transformationsparameter. Der Entropiecodierteil 1330 codiert die Entropie einer Ausgabe des Transformier- und Quantisierteils 1320 und erzeugt einen komprimierten Bitstrom.
Die Streifencodiereinheit 1300 unterteilt ein Bild in Einheiten von Streifen, wenn das Bild codiert und über ein Netzwerk übertragen wird. Speziell wird das Bild in Einheiten von rechteckiger Streifen unterteilt und codiert, und somit wird ein Zwischenstreifenprädiktionsverlust reduziert. Außerdem werden eine ROI-Codierung und eine Bild-in-Bild (PIP)- Codierung unter Verwendung eines Streifenaufbaus durchgeführt, der in rechteckige innere und äußere Bereiche unterteilt ist. Hierbei wird das Bild bei der ROI-Codierung in einen interessierenden Bereich (ROI) und einen Hintergrundbereich unterteilt, und die Bildqualität des ROI wird erhöht, und die Bildqualität des Hintergrundbereichs wird derart verringert, dass die subjektive Bildqualität unter Verwendung einer eingeschränkten Bitrate verbessert wird. Bei der PIP-Codierung kann ein Teil, der aus rechteckigen Streifen besteht, unabhängig decodiert werden, so dass dieser Teil wie ein weiteres Bild verwendet wird.
Wenn ein rechteckiger Bereich, der aus einer Mehrzahl von Streifen besteht, einen anderen rechteckigen Bereich überlappt, wird gemäß der vorliegenden Erfindung ein vorgegebener Bereit zwischen dem überlappenden Teil und dem Hintergrundbereich als ein Interpolationsbereich derart festgesetzt, dass aufgrund einer schnellen Variation der Bildqualität zwischen dem ROI und dem Hintergrundbereich verhindert wird, dass die subjektive Bildqualität verringert wird. Außerdem kann während des PIP-Codiervorgangs PIP mit verschiedenen Abmessungen verwendet werden.
Fig. 12 zeigt ein Flussdiagramm, das ein in der Bildcodiervorrichtung von Fig. 11 durchgeführtes Bildcodierverfahren veranschaulicht. Wenn Position und Abmessung eines rechteckigen Bereichs, die unabhängig zu verarbeiten sind, in Schritt 1400 festgesetzt sind, unterteilt die Streifenmodelliereinheit 1100 unter Bezugnahme auf Fig. 12 den entsprechenden rechteckigen Bereich in einen oder mehrere unabhängige Streifen. In Schritt 1500 codiert die Bildkopfcodiereinheit 1200 einen Bildkopf, und in Schritt 1600 wird durch die Streifencodiereinheit 1300 eine Codierung an Streifen durchgeführt.
Hierbei umfasst die Streifencodierung (Schrill 1600) eine räumliche/zeitliche Prädiktionscodierung einer Entfernung räumlich und zeitlich überlappender Information, die in einem Bild existiert, in Einheiten von Streifen (Schritt 1610), die Durchführung einer vorgegebenen Transformation, zum Beispiel DCT, und eine Quantisierung der Daten, von denen die überlappende Information entfernt wurde (Schritt 1620), sowie eine Codierung der Entropie der quantisierten Daten und die Erzeugung eines komprimierten Bitstroms (Schritt 1630).
Fig. 13 zeigt ein Blockdiagramm, das eine Bilddecodiervorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung schematisch darstellt. Bezugnehmend auf Fig. 13 beinhaltet die Bilddecodiervorrichtung gemäß der vorliegenden Erfind ung eine Bildkopfdecodiereinheit 2000, eine Streifenerzeugungseinheit 2100, eine Streifendecodiereinheit 2200 und eine Bildaufbaueinheit 2300. Die Streifendecodiereinheit 2200 beinhaltet einen Entropiedecodierteil 2210, einen inversen Quantisier- und inversen Transformierteil 2220 sowie einen Bildwiederherstellungsteil 2230.
Die Bildkopfdecodiereinheit 2000 decodiert Bildkopfinformation in einem über ein Netzwerk empfangenen Bitstrom. Information über die Anzahl, Form, Position und Abmessung von Streifen für jeden decodierten rechteckigen Bereich wird zu der Streifenerzeugungseinheit 2100 übertragen, und weitere Information wird zu der Streifendecodiereinheit 2200 übertragen.
Die Streifenerzeugungseinheit 2100 wählt Positionen von Streifen in Reaktion auf Information über die Anzahl, Form, Position und Abmessung von Streifen für jeden decodierten rechteckigen Bereich aus, die von der Bildkopfdecodiereinheit 2000 übertragen wird, verarbeitet einen überlappenden Teil eines rechteckigen Bereichs und erzeugt Streifen. Die Verarbeitung des überlappenden Teils des rechteckigen Bereichs wird nachstehend unter Bezugnahme auf Fig. 15 beschrieben.
Die Streifendecodiereinheit 2200 decodiert das Bild in Einheiten von Streifen unter Bezugnahme auf Bildkopfinformation, die von der Bildkopfdecodiereinheit 2000 eingegeben wird. Zu diesem Zweck decodiert der Entropiedecodierteil 2210 die Entropie eines Bitstroms, und der inverse Quantisier- und inverse Transformierteil 2220 führt an dem entropiedecodierten Bitstrom eine inverse Quantisierung und eine inverse Transformation durch. Außerdem kompensiert der Bildwiederherstellungsteil 2230 räumliche/zeitliche prädiktionscodierte Information für Ausgabedaten des inversen Quantisier- und inversen Transformierteils 2220 und stellt das Bild wieder her. In diesem Fall wird das in Einheiten von Streifen wiederhergestellte Bild durch die Bilderzeugungseinheit 2300 in Reaktion auf Information, die von der Streifenerzeugungseinheit 2100 eingegeben wird, zu einem Teil eines Bildes hinzugefügt.
Die Bilddecodiervorrichtung mit dem vorstehenden Aufbau gemäß der vorliegenden Erfindung wird dazu verwendet, ein von der Bildcodiervorrichtung von Fig. 11 codiertes Bild zu decodieren. Der Betrieb der Bilddecodiervorrichtung wird in einer umgekehrten Reihenfolge zu jener der Bildcodiervorrichtung durchgeführt. Die prinzipiellen Charakteristika für die Streifenverarbeitung der Bilddecodiervorrichtung sind jedoch die gleichen wie jene der Bildcodiervorrichtung. Somit werden der Einfachheit halber diese Vorgänge hier nicht wiederholt.
Fig. 14 zeigt ein Flussdiagramm, das ein in der Bilddecodiervorrichtung von Fig. 13 durchgeführtes Bilddecodierverfahren veranschaulicht. Bezugnehmend auf Fig. 14 wird in Schritt 2500 Bildkopfinformation in einem empfangenen Bitstrom decodiert. In diesem Fall wird in Schritt 2600 Information über die Anzahl, Form, Position und Abmessung von Streifen für jeden decodierten rechteckigen Bereich von der Bildaufbaueinheit 2100 übertragen, und die Bildaufbaueinheit 2100 wählt die Positionen von Streifen in Reaktion auf die eingegebene Information aus, verarbeitet einen überlappenden Teil eines rechteckigen Bereichs und erzeugt Streifen. In Schritt 2700 wird eine Decodierung an den erzeugten Streifen durchgeführt, und in Schritt 2800 wiid ein Bild unter Bezugnahme auf die Positionen und Abmessungen der Streifen aufgebaut.
Hierbei umfasst die Streifendecodierung (Schritt 2700) die Decodierung der Entropie eines Bitstroms (Schritt 2710), die Durchführung einer inversen Quantisierung und einer inversen Transformation an den entropiedecodierten Daten (Schritt 2720) und die Kompensierung von räumlicher/zeitlicher prädiktionscodierter Information für die Daten, bei denen die inverse Transformation durchgeführt wurde (Schritt 2730).
Die Fig. 15A und 15B stellen ein Verfahren zur Verarbeitung von Streifen gemäß der vorliegenden Erfindung dar. Bezugnehmend auf Fig. 15A beinhaltet ein Teil eines Bildes 500 zwei rechteckige Bereiche 502 und 503 sowie einen Hintergrundbereich 504. Die zwei rechteckigen Bereiche 502 und 503 überlappen einander. Außerdem bestehen die zwei rechteckigen Bereiche 502 und 503 sowie der Hintergrundbereich 504 aus einer Mehrzahl unabhängiger Streifen.
Der kleinere rechteckige Bereich 502 der zwei rechteckigen Bereiche 502 und 503 ist vollständig in einem Bereich des größeren rechteckigen Bereichs 503 enthalten. In diesem Fall beinhaltet der größere rechteckige Bereich 503 einen Teil, von dem der kleinere rechteckige Bereich 502 ausgeschlossen ist (ein Bereich, in dem ein schraffierter Teil von dem Bereich des größeren rechteckigen Bereichs 503 ausgeschlossen ist) und der nicht mit einem Bereich (einem schraffierten Teil) des kleineren rechteckigen Bereichs 502 überlappt. In diesem Fall beinhaltet der kleinere rechteckige Bereich 502 einen Bereich, den ein Benutzer in dem Stück Bild 500 für wichtiger hält, d. h. einen interessierenden Bereich (ROI), und der größere rechteckige Bereich 503 wird als Interpolationsbereich verwendet, der zwischen dem ROI 501 und dem Hintergrundbereich 504 platziert ist. Hierbei repräsentieren der kleinere rechteckige Bereich 502, der den ROI 501 beinhaltet, und der größere rechteckige Bereich 503, der als Interpolationsbereich verwendet wird, Information hinsichtlich Position und Abmessung jedes rechteckigen Bereichs unter Verwendung von Information 520 und 510 über die linke obere Position und von Information 521 und 511 über die rechte untere Position. Wie vorstehend beschrieben, bestehen die zwei rechteckigen Bereiche 502 und 503 sowie der Hintergrundbereich 504 aus einer Mehrzahl von unabhängigen Streifen und werden in Einheiten von Streifen codiert und decodiert. Wenn das in Fig. 15A gezeigte Bild codiert und decodiert wird, wird das Bild außerdem vorzugsweise in der Reihenfolge kleinerer rechteckiger Bereich 502, größerer rechteckiger Bereich 503 und Hintergrundbereich 504 codiert, und Bereiche können durch Zuweisung der Nummer eines Bereichs gemäß der Reihenfolge eines codierten rechteckigen Bereichs unterschieden werden. Wie zum Beispiel in Fig. 15A gezeigt, kann die Nummer eines Bereichs id = 0 dem als erstes codierten rechteckigen Bereich zugewiesen werden, und die Nummer eines Bereichs id = 1 kann dem als nächstes codierten rechteckigen Bereich 503 zugewiesen werden, und die Nummer eines Bereichs id = 2 kann dem Hintergrundbereich 504 zugewiesen werden.
In ähnlicher Weise wird ein Interpolationsbereich 503 zwischen dem ROI 501 und dem Hintergrundbereich 504 derart festgesetzt, dass das Auftreten einer Grenze zwischen einem ROI und einem Hintergrundbereich effektiv reduziert wird.
Hierbei kann die Mehrzahl von Streifen, die den kleineren rechteckigen Bereich 502 erzeugen, unabhängig decodiert werden. Wenn somit die Decodierung des gesamten Bildes unnötig ist, werden lediglich die Streifen decodiert, die den kleineren rechteckigen, den ROI enthaltenden, Bereich erzeugen. In diesem Fall wird ein aus dem kleineren rechteckigen Bereich 502 wiederhergestelltes Bild zu einem Bild-in-Bild (PIP). Das aus dem größeren rechteckigen Bereich 503 wiederhergestellte Bild wird zu dem aus dem kleineren rechteckigen Bereich 502 wiederhergestellten Bild hinzugefügt und bildet ein weiteres, größeres PIP. Somit kann PIP schrittweise erzeugt werden, wie durch die Nummer rechteckiger Bereiche in einem Teil eines Bildes, das heißt von einem kleinen Bild zu einem größeren Bild, ausgedrückt werden kann.
In Fig. 15B beinhaltet ein Teil eines Bildes 600 drei rechteckige Bereiche 603, 604 und 605 sowie einen Hintergrundbereich 606. Die zwei rechteckigen Bereiche 603 und 604 überlappen einander nicht und überlappen einen anderen rechteckigen Bereich 605. Außerdem bestehen die drei rechteckigen Bereiche 603, 604 und 605 sowie der Hintergrundbereich 606 aus einer Mehrzahl unabhängiger Streifen.
Bezugnehmend auf Fig. 15B beinhaltet jeder der zwei rechteckigen Bereiche 603 und 604 verschiedene ROIs 601 und 602, die ein Benutzer für wichtiger in dem Stück Bild 600 hält. Hierbei repräsentieren die kleineren rechteckigen Bereiche 603 und 604, welche die ROIs 601 und 602 enthalten, und der größere rechteckige Bereich 605, der als Interpolationsbereich verwendet wird, Information über Position und Abmessung von jedem rechteckigen Bereich unter Verwendung von Information 630, 620 und 610 über die linke obere Positicm und von Information 631, 621 und 611 über die rechte untere Position. Wie vorstehend beschrieben, bestehen die drei rechteckigen Bereiche 603, 604 und 605 sowie der Hintergrundbereich 606 aus einer Mehrzahl unabhängiger Streifen und werden in Einheiten von Streifen codiert und decodiert. Wenn das in Fig. 15B gezeigte Bild codiert und decodiert wird, wird außerdem das Bild vorzugsweise in der Reihenfolcle kleinere rechteckige Bereiche 603 und 604, größerer rechteckiger Bereich 605 und Hintergrundbereich 606 codiert, und Bereiche können durch Zuweisen der Nummer eines Bereichs gemäß der Reihenfolge eines codierten rechteckigen Bereichs unterschieden werden. Wie zum Beispiel in Fig. 15B gezeigt, kann die Nummer eines Bereichs id = 0 dem als erstes codierten rechteckigen Bereich 603 zugewiesen werden, die Nummer eines Bereichs id = 1 kann dem als nächstes codierten rechteckigen Bereich 604 zugewiesen werden, die Nummer eines Bereichs id = 3 kann dem als nächstes codierten, größeren rechteckigen Bereich 605 zugewiesen werden, und die Nummer eines Bereichs id = 4 kann dem Hintergrundbereich 606 zugewiesen werden.
In ähnlicher Weise wird ein Interpolationsbereich 605 zwischen den ROIs 601 und 602 und dem Hintergrundbereich 606 derart festgesetzt, dass das Auftreten einer Grenze zwischen einem ROI und einem Hintergrundbereich effektiv reduziert wird.
Auf diese Weise kann ROI-Codierung oder PIP-Codierung unter Verwendung eines Streifenaufbaus, bei dem sich im Inneren eines rechteckigen Bereichs ein ROl befindet und sich außerhalb des rechteckigen Bereichs ein Hintergrundbereich befindet, effektiv durchgeführt werden. Speziell überlappen, wie vorstehend beschrieben, mehrere rechteckige Bereiche einander derart, dass eine Grenze zwischen Bereichen reduziert wird und PIP mit verschiedenen Abmessungen unterstützt werden kann. Außerdem werden Streifen, die ROIs enthalten, codiert, um robuster gegenüber Fehlern zu sein, so dass in einer Übertragungsumgebung mit Fehlern eine bessere subjektive Bildqualität erzielt wird.
Fig. 16 zeigt den Vergleich einer subjektiven Bildqualität eines Falles, bei dem ein Codierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall, bei dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird. Bezugnehmend auf Fig. 16 repräsentiert die linke Spalte die subjektive Bildqualität unter Verwendung eines herkömmlichen Codierverfahrens, und die rechte Spalte repräsentiert die subjektive Bildqualität unter Verwendung des Codierverfahrens gemäß der vorliegenden Erfindung, wobei die Ergebnisse bei einem Paketverlustverhältnis von 20% gezeigt sind. Zu Fig. 16 kann erwähnt werden, dass die Bildqualität eines interessierenden Bereichs (ROI) derart verbessert ist, dass die gesamte subjektive Bildqualität verbessert ist. Außerdem ist der ROI vor Fehlern mehr geschützt, so dass die gesamte subjektive Bildqualität verbessert ist.
Fig. 17 zeigt den Vergleich einer objektiven Bildqualität in einem Fall, bei dem ein Codierverfahren gemäß der vorliegenden Erfindung auf ein aktuelles Bild angewendet wird, mit einem Fall, bei dem ein herkömmliches Codierverfahren auf ein aktuelles Bild angewendet wird. Bezugnehmend auf Fig. 17 repräsentiert die linke Spalte PSNR in dem gesamten Bild, und die rechte Spalte repräsentiert PSNR in einem interessierenden Bereich (ROI). Zu Fig. 17 kann erwähnt werden, dass PSNR in dem gesamten Bild und dem ROI unter Verwendung des Codierverfahrens gemäß der vorliegenden Erfindung im Vergleich zu dem herkömmlichen Codierverfahren verbessert ist.
Außerdem kann die vorliegende Erfindung als computerlesbare Codes auf computerlesbaren Aufzeichnungsmedien implementiert sein. Die computerlesbaren Aufzeichnungsmedien beinhalten alle Arten von Aufzeichnungsvorrichtungen, auf denen computerlesbare Daten gespeichert werden. Die computerlesbaren Aufzeichnungsmedien umfassen ROMs, RAMs, CD-ROMs, Magnetstreifen, Disketten und optische Datenspeichervorrichtungen und umfassen des Weiteren Trägerwellen (d. h. Übertragung über das Internet). Die computerlesbaren Aufzeichnungsmedien werden in einem Computersystem installiert, das mit einem Netzwerk verbunden ist, und somit können die computerlesbaren Codes gespeichert und in einem verteilten Modus ausgeführt werden.
Wie vorstehend beschrieben, wird gemäß dem Verfahren und der Vorrichtung der vorliegenden Erfindung zur Bildcodierung, die menschliche visuelle Eigenschaften berücksichtigen, eine Szene in einen interessierenden Bereich (ROI) und einen Hintergrundbereich unterteilt, und eine Modellierung der Bildqualitätsverteilung wird derart durchgeführt, dass ein Unterschied der Bildqualität zwischen dem ROI und dem Hintergrundbereich nicht abrupt ist, wodurch die Bildqualität verbessert wird. Außerdem kann ROI-Codierung unter Verwendung von rechteckigen Bereichen effektiv durchgeführt werden, wobei jeder Bereich unabhängig in Einheiten von Streifen codiert und decodiert wird. Speziell überlappen rechteckige Bereiche einander derart, dass das Auftreten einer Grenze zwischen dem ROI und dem Hintergrundbereich effektiv verhindert wird, wodurch die subjektive Bildqualität veibessert wird. Des Weiteren besteht keine Notwendigkeit einer iterativen Neujustierung des Quantisierungsparameters für jeden Bereich, um so einer gegebenen Bitmenge zu genügen, und somit ist kein großer Berechnungsaufwand notwendig.

Claims

1. Bildcodierverfahren, das umfasst:

a) Modellieren einer Bildqualitätsverteilung eines Eingangsbildes in Einheiten von Szenen derart, dass die Qualität einer Bildeingabe in Einheiten von Szenen von einem interessierenden Bereich zu einem Hintergrundbereich graduell verringert wird;

b) Festlegen eines Quantisierungsparameters von jedem Bereich, der eine Szene gemäß dem Resultat der Modellierung der Bildqualitätsverteilung bildet;

c) Quantisieren von Bilddaten gemäß dem Quantisierungsparameter; und

d) Codieren der Entropie der quantisierten Bilddaten.

2. Verfahren nach Anspruch 1, wobei die quantisierten Bilddaten ein Bild darstellen, bei dem das Eingangsbild prädiktionscodiert und transformationscodiert ist.

3. Verfahren nach Anspruch 1 oder 2, wobei die Modellierung der Bildqualitätsverteilung, die in Schritt a durchgeführt wird, eine Gauss'sche Verteilung aufweist, bei der die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität im Hintergrundbereich graduell verringert wird.

4. Verfahren nach irgendeinem der Ansprüche 1 bis 3, wobei bei der Modellierung der Bildqualitätsverteilung, die in Schritt a durchgeführt wird, ein auf die Mitte des interessierenden Bereichs zentrierter vorgegebener Bereich festgesetzt wird und ein Quantisierungsparameter derart festgelegt wird, dass die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität für jeden Bereich im Hintergrundbereich verringert wird.

5. Verfahren nach irgendeinem der Ansprüche 1 bis 4, wobei der Quantisierungsparameter bei Durchführen des Schrittes b gemäß Variationen der Bildqualität linear oder nicht-linear variiert wird.

6. Bildcodiervorrichtung mit:
einer Bildqualitätsmodelliereinheit, welche die Bildqualitätsverteilung eines Eingangsbildes in Einheiten von Szenen derart modelliert, dass die Qualität einer Bildeingabe in Einheiten von Szenen von einem interessierenden Bereich zu einem Hintergrundbereich graduell verringert wird, und die einen Quantisierungsparameter von jedem Bereich festlegt, der eine Szene gemäß dem Resultat der Modellierung der Bildqualitätsverteilung bildet;
einer adaptiven Quantisierungseinheit, die Bilddaten gemäß dem durch die Bildqualitätsmodelliereinheit festgelegten Quantisierungsparameter quantisiert; und
einer Entropiecodiereinheit, welche die Entropie der von der adaptiven Quantisierungseinheit quantisierten Bilddaten codiert.

7. Vorrichtung nach Anspruch 6, wobei die Bilddaten ein Bild repräsentieren, bei dem das Eingangsbild prädiktionscodiert und transformationscodiert ist.

8. Vorrichtung nach Anspruch 6 oder 7, wobei die Bildqualitätsmodelliereinheit den Quantisierungsparameter derart festlegt, dass die Bildqualitätsverteilung eine Gauss'sche Verteilung aufweist.

9. Vorrichtung nach irgendeinem der Ansprüche 6 bis 8, wobei die Bildqualitätsmodelliereinheit für jede Szene einen auf die Mitte des interessierenden Bereichs zentrierten vorgegebenen Bereich festsetzt und den Quantisierungsparameter derart festlegt, dass die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität für jeden Bereich in dem Hintergrundbereich verringert wird.

10. Vorrichtung nach irgendeinem der Ansprüche 6 bis 9, wobei der Quantisierungsparameter gemäß Variationen der Bildqualität linear oder nicht-linear variiert wird.

11. Bilddecodierverfahren, das umfasst:

a) Decodieren von Bilddaten, die Information über Position und Abmessung jedes Bereichs und den Wert eines Quantisierungsparameters in einem empfangenen Bitstrom beinhalten;

b) Festlegen des Wertes eines Quantisierungsparameters in jedem Bereich unter Verwendung der Information über Position und Abmessung jedes Bereichs und des Wertes eines Quantisierungsparameters, der in Schritt az wiedergewonnen wird, so dass die Bildqualität von einem interessierenden Bereich zu einem Hintergrundbereich graduell verringert wird;

c) inverses Quantisieren decodierter Bilddaten unter Verwendung des Wertes des Quantisierungsparameters; und

d) Hinzufügen eines für jeden Bereich wiederhergestellten Bildes gemäß seiner entsprechenden Position abhängig vom Wert der Position jedes Bereichs, der in Schritt az wiedergewonnen wurde, und Aufbauen einer Szene.

12. Verfahren nach Anspruch 11, das des Weiteren umfasst: Durchführen einer inversen Transformation an dem invers quantisierten Bild und Kompensieren von Prädiktionsinformation.

13. Verfahren nach Anspruch 11 oder 12, wobei in Schritt bz der Quantisierungsparameter derart festgelegt wird, dass die Bildqualitätsverteilung eine Gauss'sche Verteilung aufweist, bei der die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität in dem Hintergrundbereich graduell verringert wird.

14. Verfahren nach irgendeinem der Ansprüche 11 bis 13, wobei in Schritt bz ein auf die Mitte des interessierenden Bereichs zentrierter vorgegebener Bereich festgesetzt wird und ein Quantisierungsparameter derart festgelegt wird, dass die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität für jeden Bereich in dem Hintergrundbereich verringert wird.

15. Verfahren nach irgendeinem der Ansprüche 11 bis 14, wobei der Wert des Quantisierungsparameters bezüg ich der Bildqualität und der Bitmenge linear oder nicht-linear variiert wird.

16. Bilddecodiervorrichtung mit:
einer Entropiedecodiereinheit, welche die Entropie von Bilddaten decodiert, die Information über Position und Abmessung jedes Bereichs und den Wert eines Quantisierungsparameters in einem empfangenen Bitstrom beinhalten;
einer Bildqualitätsmodelliereinheit, die den Wert eines Quantisierungsparameters in jedem Bereich unter Verwendung der Information über Position und Abmessing jedes Bereichs und den Wert eines durch die Entropiedecodiereinheit wiedergewonnenen Quantisierungsparameters derart festlegt, dass die Bildqualität von einem interessierenden Bereich zu einem Hintergrundbereich graduell verringert wird;
einer adaptiven inversen Quantisierungseinheit, welche die von der Entropiedecodiereinheit bereitgestellten Bilddaten gemäß dem Wert des Quantisierungsparameters für jeden Bereich, der von der Bildqualitätsmodelliereinheit festgelegt wird, invers quantisiert; und
einer Bildaufbaueinheit, die ein für jeden Bereich gemäß seiner entsprechenden Position abhängig vom Wert der Position jedes Bereichs, der durch die Entropiedecodiereinheit bereitgestellt wird, wiedergewonnenes Bild hinzufügt und eine Szene aufbaut.

17. Vorrichtung nach Anspruch 16, die des WEiteren eine Bildwiederherstellungseinheit beinhaltet, die eine inverse Transformation an dem durch die adaptive inverse Quantisierungseinheit wiedergewonnenen Bild durchführt, Prädiktionsinformation kompensiert und das Bild wiederherstellt.

18. Vorrichtung nach Anspruch 16 oder 17, wobei der Wert eines Quantisierungsparameters für jeden Bereich, der durch die Bildmodelliereinheit festgelegt wird, derart festgelegt wird, dass die Bildqualitätsverteilung eine Gauss'sche Verteilung aufweist, bei der die höchste Bildqualität in der Mitte des interessierenden Bereichs erhalten wird und die Bildqualität in dem Hintergrundbereich graduell verringert wird.

19. Vorrichtung nach irgendeinem der Ansprüche 16 bis 18, wobei der Wert des Quantisierungsparameters für jeden Bereich, der von der Bildmodelliereinheit festgelegt wird, derart festgelegt wird, dass ein interessierender Bereich, ein Interpolationsbereich und ein Hintergrundbereich auf die Mitte des interessierenden Bereichs zentriert festgesetzt werden und die Bildqualität von dem Hintergrundbereich zu dem interessierenden Bereich erhöht wird.

20. Vorrichtung nach irgendeinem der Ansprüche 16 bis 19, wobei der Wert des Quantisierungsparameters in dem Interpolationsbereich bezüglich der Bildqualität und der Bitmenge linear oder nicht-linear variiert wird.

21. Bildcodiervorrichtung mit:
einer Streifenmodelliereinheit, die jedes Bild in einen oder mehrere unabhängige rechteckige Streifen unterteilt;
einer Bildkopfcodiereinheit, die Information über Positionen und Abmessungen der durch die Streifenmodelliereinheit unterteilten Streifen zusammen mit weiterer Information zu einem Bildkopf codiert; und
einer Streifencodiereinheit, die ein Bild in Einheiten von Streifen unter Bezugnahme auf die Bildkopfinformation codiert.

22. Vorrichtung nach Anspruch 21, wobei die Streifenmodelliereinheit wenigstens einen inneren rechteckigen Bereich, der wenigstens einen interessierenden Bereich beinhaltet, und einen äußeren rechteckigen Bereich festsetzt, der den wenigstens einen inneren rechteckigen Bereich beinhaltet, einen Bereich außerhalb des äußeren rechteckigen Bereichs als einen Hintergrundbereich festlegt und den wenigstens einen inneren rechteckigen Bereich und den äußeren rechteckigen Bereich sowie den Hintergrundbereich in einen oder mehrere unabhängige Streifen unterteilt.

23. Vorrichtung nach Anspruch 22, wobei der äußere rechteckige Bereich ein Interpolationsbereich ist, der so interpoliert ist, dass keine Grenze zwischen dem wenigstens einen inneren rechteckigen Bereich und dem Hintergrundbereich erscheint.

24. Vorrichtung nach Anspruch 22 oder 23, wobei die Streifencodiereinheit ein Bild-in-Bild (PIP) mit einer geringen Abmessung unter Verwendung von Streifen festsetzt, die den wenigstens einen inneren rechteckigen Bereich bilden, und ein weiteres PIP unter Verwendung der Streifen, die den wenigstens einen inneren rechteckigen Bereich bilden, und von Streifen festsetzt, die den Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich bilden.

25. Vorrichtung nach irgendeinem der Ansprüche 21 bis 24, wobei die Streifencodiereinheit beinhaltet:
einen räumlichen/zeitlichen Prädiktionscodierteil, der eine räumliche/zeitliche Prädiktionscodierung an dem Bild in Einheiten von Streifen durchführt;
einen Transformier- und Quantisierteil, der eine vorgegebene Transformation und Quantisierung an Information durchführt, die durch den räumlichen/zeitlichen Prädiktionscodierteil prädiktionscodiert wurde; und
einen Entropiecodierteil, der die Entropie von Information codiert, die durch den Transformier- und Quantisierteil erhalten wurde.

26. Bilddecodiervorrichtung mit:
einer Bildkopfdecodiereinheit, die einen Bildkopf in einem Bitstrom decodiert;
einer Streifenerzeugungseinheit, die Streifen unter Verwendung von Information über Positionen und Abmessungen von Streifen unter der Bildkopfinformation erzeugt;
einer Streifendecodiereinheit, die ein Bild in Einheiten von Streifen unter Bezugnahme auf den Bildkopf decodiert; und
einer Bildaufbaueinheit, die das Bild in Einheiten von durch die Streifendecodiereinheit wiederhergestellten Streifen als Teil eines Bildes unter Bezugnahme auf die Information über Positionen und Abmessungen der Streifen erzeugt, die durch die Streifenerzeugungseinheit erhalten werden.

27. Vorrichtung nach Anspruch 26, wobei die Streifenerzeugungseinheit wenigstens einen inneren rechteckigen Bereich mit wenigstens einem interessierenden Bereich, einen äußeren rechteckigen Bereich mit dem wenigstens einen inneren rechteckigen Bereich, einen Hintergrundbereich mit einem Bereich, der den äußeren rechteckigen Bereich ausschließt, unter Bezugnahme auf den Bildkopf erzeugt und den wenigstens einen inneren rechteckigen Bereich, einen Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich sowie den Hintergrundbereich in einen oder mehrere unabhängige Streifen unterteilt.

28. Vorrichtung nach Anspruch 27, wobei der äußere rechteckige Bereich ein Interpolationsbereich ist, der so interpoliert ist, dass eine Grenze zwischen dem wenigstens einen inneren rechteckigen Bereich und dem Hintergrundbereich nicht erscheint.

29. Vorrichtung nach Anspruch 27 oder 28, wobei die Streifendecodiereinheit ein Bild-in-Bild (PIP) mit einer geringen Abmessung unter Verwendung von Streifen erzeugt, die den wenigstens einen inneren rechteckigen Bereich bilden, und ein weiteres PIP unter Verwendung der Streifen, die den wenigstens einen inneren rechteckigen Bereich erzeugen, und der Streifen erzeugt, die den Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich bilden.

30. Vorrichtung nach irgendeinem der Ansprüche 26 bis 29, wobei die Streifendecodiereinheit beinhaltet:
einen Entropiedecodierteil, der die Entropie des Bitstroms decodiert;
einen inversen Quantisier- und inversen Transformierteil, der eine inverse Quantisierung und eine inverse Transformation an Information durchführt, die von dem Entropiedecodierteil decodiert wurde; und
einen Bildwiederherstellungsteil, der eine räumliche/zeitliche Prädiktionskompensation der Information durchführt, die von dem inversen Quantisier- und inversen Transformierteil erhalten wird, und das Bild in Einheiten von Streifen wiederherstellt.

31. Bildcodierverfahren, das umfasst:

a) Festsetzen von Positionen und Abmessungen von Streifen in einem Teil eines Bildes;

b) Codieren von Information über Positionen und Abmessungen der Streifen, die in Schritt aa festgesetzt wurden, zu einem Bildkopf zusammen mit weiterer Information; und

c) Codieren eines Bildes in Einheiten von Streifen unter Bezugnahme auf die in Schritt bb codierte Bildkopfinformation.

32. Verfahren nach Anspruch 31, wobei in Schritt aa wenigstens ein innerer rechteckiger Bereich mit wenigstens einem interessierenden Bereich festgesetzt wird und ein äußerer rechteckiger Bereich mit dem wenigstens einen inneren rechteckigen Bereich festgesetzt wird, ein Bereich außerhalb des äußeren rechteckigen Bereichs als ein Hintergrundbereich festgesetzt wird und der wenigstens eine innere rechteckige Bereich, ein Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich sowie der Hintergrundbereich in einen oder mehrere unabhängige Streifen unterteilt weiden.

33. Verfahren nach Anspruch 32, wobei der äußere rechteckige Bereich ein Interpolationsbereich ist, der so interpoliert ist, dass keine Grenze zwischen dem wenigstens einen inneren rechteckigen Bereich und dem Hintergrundbereich erscheint.

34. Verfahren nach Anspruch 32 oder 33, wobei in Schritt cc ein Bildin-Bild (PIP) mit einer geringen Abmessung unter Verwendung von Streifen festgesetzt wird, die den wenigstens einen inneren rechteckigen Bereich bilden, und ein weiteres PIP unter Verwendung der Streifen, die den inneren rechteckigen Bereich bilden, und der Streifen festgesetzt wird, die den Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich bilden.

35. Verfahren nach irgendeinem der Ansprüche 31 bis 34, wobei Schritt cc umfasst:

1. räumliches/zeitliches Prädiktionscodieren des Bildes in Einheiten von Streifen;

2. Durchführen einer vorgegebenen Transformation und Quantisierung der in Schritt c1 prädiktionscodierten Information;

3. Codieren der Entropie der in Schritt c2 erhaltenen Information.

36. Bilddecodierverfahren, das umfasst:

a) Decodieren eines Bildkopfes in einem Bitstrom;

b) Erzeugen von Streifen unter Verwendung von Information über Positionen und Abmessungen von Streifen, die in dem in Schritt aaz decodierten Bildkopf enthalten sind;

c) Decodieren eines Bildes in Einheiten von Streifen unter Bezugnahme auf den in Schritt aaz decodierten Bildkopf; und

d) Aufbauen des Bildes in Einheiten von in Schritt ccz decodierten Streifen als Teil eines Bildes unter Bezugnahme auf die Information über Positionen und Abmessungen der Streifen.

37. Verfahren nach Anspruch 36, wobei in Schritt bbz wenigstens ein innerer rechteckiger Bereich mit einem interessierenden Bereich, ein äußerer rechteckiger Bereich mit dem wenigstens einen inneren rechteckigen Bereich und ein Hintergrundbereich mit einem Bereich, der den äußeren rechteckigen Bereich ausschließt, unter Bezugnahme auf den Bildkopf festgesetzt werden und der wenigstens eine innere rechteckige Bereich, ein Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich sowie der Hintergrundbereich in einen oder mehrere unabhängige Streifen unterteilt werden.

38. Verfahren nach Anspruch 37, wobei der äußere rechteckige Bereich ein Interpolationsbereich ist, der so interpoliert ist, dass keine Grenze zwischen dem wenigstens einer inneren rechteckigen Bereich und dem Hintergrundbereich erscheint.

39. Verfahren nach Anspruch 37 oder 38, wobei in Schritt c ein Bildin-Bild (PIP) mit einer geringen Abmessung unter Verwendung von Streifen festgesetzt wird, die den wenigstens einen inneren rechteckigen Bereich bilden, und ein weiteres PIP unter Verwendung der Streifen, die den wenigstens einen inneren rechteckigen Bereich bilden, und der Streifen festgesetzt wird, die den Bereich zwischen dem wenigstens einen inneren rechteckigen Bereich und dem äußeren rechteckigen Bereich bilden.

40. Verfahren nach irgendeinem der Ansprüche 36 bis 39, wobei Schritt cc2 umfasst:

1. Decodieren der Entropie des Bitstroms;

2. Durchführen einer inversen Quantisierung und einer inversen Transformation der in Schritt cc1 decodierten Information; und

3. räumliche/zeitliche Prädiktionskompensation der in Schritt cc2 erhaltenen Information und Wiederherstellen des Bildes in Einheiten von Streifen.

41. Bildcodierverfahren, bei dem ein Bild in Einheiten von Streifen mit einer vorgegebenen Abmessung unterteilt und codiert wird, wobei das Verfahren umfasst:
Definieren von Information über Positionen und Abmessungen einer Mehrzahl rechteckiger Bereiche, bei denen ein interessierender Bereich in dem Bild enthalten ist und ein größeres Rechteck ein kleineres Rechteck beinhaltet;
Codieren aller Streifen, die in einem kleinsten inneren rechteckigen Bereich unter der Mehrzahl von rechteckigen Bereichen enthalten sind;
Codieren von Streifen, bei denen äußere Rechtecke, die den inneren rechteckigen Bereich ausschließen, kleinere innere Rechtecke nicht überlappen; und
Definieren eines Bereichs, der nicht in einem äußersten äußeren rechteckigen Bereich enthalten ist, als Hintergrundbereich und Codieren von Streifen, die in dem Hintergrundbereich enthalten sind.

42. Verfahren nach Anspruch 41, wobei jede Position und Abmessung der Mehrzahl von rechteckigen Bereichen mit dem interessierenden Bereich durch Positionen der linken oberen Kante und der rechten unteren Kante jedes Rechtecks angezeigt sind.

43. Verfahren nach Anspruch 41 oder 42, wobei eine inhärente Zahl mit einer vorgegebenen Reihenfolge der Mehrzahl von rechteckigen Bereichen zugewiesen wird, die den interessierenden Bereich und den Hintergrundbereich beinhalten.

44. Bilddecodierverfahren, bei dem ein Bild in Einheiten von Streifen mit einer vorgegebenen Abmessung unterteilt und codiert wird, das Bild in einen Hintergrundbereich und einen interessierenden Bereich unterteilt wird und das Bild in einem Bitstrom decodiert wird, der durch eine Mehrzahl rechteckiger Bereiche definiert ist, bei denen ein interessierender Bereich in dem Bild enthalten ist und ein größeres Rechteck ein kleineres Rechteck beinhaltet, wobei das Verfahren umfasst:
Extrahieren von Information über jede Position und Abmessung der Mehrzahl von rechteckigen Bereichen, die den interessierenden Bereich beinhalten, aus dem Bitstrom;
Decodieren aller Streifen, die in einem kleinsten inneren rechteckigen Bereich unter der Mehrzahl von rechteckigen Bereichen enthalten sind;
Decodieren lediglich der Streifen, bei denen äußere Rechtecke, die den inneren rechteckigen Bereich ausschließen, kleinere innere Rechtecke nicht überlappen; und
Decodieren aller Streifen in dem Hintergrundbereich, der nicht in der Mehrzahl von rechteckigen Bereichen enthalten ist.

45. Verfahren nach Anspruch 44, wobei Information über Streifen, die an der linken oberen Kante und der rechten unteren Kante von jedem der Mehrzahl von rechteckigen Bereich platziert sind, aus dem Bitstrom derart extrahiert wird, dass jede Position und Abmessung der Mehrzahl von rechteckigen Bereichen definiert ist.

46. Verfahren nach Anspruch 44 oder 45, wcbei der Bitstrom derart definiert ist, dass eine inhärente Zahl mit einer vorgegebenen Reihenfolge der Mehrzahl von rechteckigen Bereichen zugewiesen wird, die den interessierenden Bereich und den Hintergrundbereich beinhalten.

47. Aufzeichnungsmedium, auf welches das Bildcodierverfahren nach irgendeinem der Ansprüche 1 bis 5, 31 bis 35 und/oder 41 bis 43 und/oder das Bilddecodierverfahren nach irgendeinem der Ansprüche 11 bis 15, 36 bis 40 und/oder 44 bis 46 als Programmcode aufgezeichnet ist, der von einem Computer ausgeführt werden kann.