DE69730713T2

DE69730713T2 - Bildkoder und -dekoder

Info

Publication number: DE69730713T2
Application number: DE1997630713
Authority: DE
Inventors: Hiroyuki Chiba-shi Katata; Hiroshi Midori-ku KUSAO; Tomoko Chiba-shi AONO; Norio Midori-ku ITO; Shuichi Midori-ku WATANABE
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-06-27
Filing date: 1997-05-07
Publication date: 2005-09-22
Anticipated expiration: 2017-05-08
Also published as: ES2227686T3; US20030113028A1; EP1289303B1; CN1223771A; CN1251508C; EP0909096A4; EP0909096A1; JPH1013829A; WO1997050253A1; DE69730713D1; HK1050979A1; CN1501715A; KR100296716B1; US6546142B2; US6671412B2; US6295381B1; EP1289303A2; DE69739846D1; CN1148969C; EP0909096B1

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildcodiervorrichtung und eine Bilddecodiervorrichtung, die auf dem Gebiet der digitalen Bildverarbeitung verwendet werden, und genauer eine Codiervorrichtung von bewegten Bildern zum wirksamen Codieren von Bilddaten und eine Decodiervorrichtung für bewegte Bilder zum Decodieren der codierten Daten, die durch die Codiervorrichtung für bewegte Bilder erzeugt wurden.
Hintergrundtechnik
Beim Codieren von Bildern wird ein Verfahren des Überlagerns von unterschiedlichen Bewegungsbildfolgen betrachtet. Ein Artikel mit dem Titel "An Image Coding Scheme Using Layered Representation and Multiple Templates" (Technical Report of IEICE, IE94-159, S. 99–106 (1995)) beschreibt ein Modell zum Überlagern einer Bewegungsbildfolge als Hintergrund und einer weiteren Bewegungsbildfolge eines Einzel- oder Teilbilds (z. B. Videobild einer Person oder eines Fischs, der mittels der Farbstanz- (Chromakey-) Technik ausgeschnitten wurde) als Vordergrund, um eine neue Bildfolge zu erzeugen.
12 ist ein Blockschaltbild, das eine Codiervorrichtung und eine Decodiervorrichtung nach konventioneller Technik darstellt. Ein Bildpunktdaten-Codierabschnitt 1201 in 12 ist ein Abschnitt zum Codieren von Bildpunktdaten, die die Intensität und den Farbunterschied darstellen, und ein Formdaten-Codierabschnitt 1202 dient dazu, Formdaten zu codieren, die die Form eines Teilbildes repräsentieren. Diese Abschnitte bilden eine Vorrichtung zum Codieren eine Teilbildes.
Formdaten werden zum Codieren von Bildpunktdaten verwendet. Ein Bildpunktdaten-Decodierabschnitt 1203 in 12 ist ein Abschnitt zum Decodieren von Bildpunktdaten, und ein Formdaten-Decodierabschnitt 1204 dient zum Decodieren von Formdaten. Diese Abschnitte bilden eine Vorrichtung zum Decodieren eines Teilbildes. Zum Decodieren von Bildpunktdaten werden decodierte Formdaten verwendet.
Der Formdaten-Codierabschnitt 1202 drückt zuerst einen Umriss einer Form unter Verwendung von z. B. 8 direktionalen Kettencodes aus, und codiert die Kettencodes dann mittels Huffman-Codierung. Der Bildpunktdaten-Codierabschnitt 1201 codiert Bildpunktdaten nach dem internationalen Standardcodierverfahren von bewegten Bildern, wie z. B. MPEG oder H.261. Wenn die Bildpunktdaten in Blöcke aufgeteilt werden, wird eine beliebige Form-DCT-Technik oder ähnliches auf den Block einschließlich einer Umgrenzung des Teilbildes angewendet.
Jedes Teilbild wird von einer Decodiervorrichtung decodiert und anschließend in einem Überlagerungsabschnitt (nicht dargestellt) unter Verwendung von Formdaten überlagert und auf einer Vorrichtung wie einem Bildschirm angezeigt. Wenn z. B. ein Teilbild p(i, j) in beliebiger Form auf einem rechteckigen Hintergrundbild b(i, j) überlagert wird, wird ein Anzeigebild f(i, j) unter Verwendung von Formdaten s(i, j) nach der folgenden Formel (1) erzeugt: f(i, j) = p(i, j) s(i, j) + b(i, j) [1 – s(i, j)] (1)wobei (i, j) eine Koordinate eines Bildpunkts darstellt und f(i, j) für den Bildpunktwert steht. s(i, j) nimmt innerhalb eines Teilbilds den Wert "1" und außerhalb des Teilbilds den Wert "0" an.
In der konventionellen Technik wurde jedoch bisher keine Technik zum Festlegen einer räumlichen Hierarchie für ein Teilbild vorgeschlagen. Das internationale Standardverfahren MPEG2 realisiert eine Hierarchie (d. h. eine räumliche Hierarchie) über ein gesamtes Bild. In diesem Verfahren werden Daten einer unteren Schicht mit einer geringen räumlichen Auflösung über das Gesamtbild und Daten in einer oberen Schicht zur Verbesserung der Auflösung zusammen decodiert, um eine hohe räumliche Auflösung zu erreichen.
Es ist wünschenswert, eine Bildcodiervorrichtung und eine Bilddecodiervorrichtung bereitzustellen, die eine räumliche Hierarchie in einem Teilbild realisieren kann.
Um Formdaten von niedriger Auflösung zu erhalten, können die durch konventionelle Technik erhaltenen hochauflösenden Formdaten einfach ausgedünnt werden. Wenn jedoch ein so erhaltenes Bild geringer Auflösung auf einem großflächigen Bildschirm mit niedriger Auflösung angezeigt wird, wird der Umriss eines Teils eine abgestufte Erscheinung haben, was zu einer Verschlechterung der psychischen Bildqualität führt. Das selbe Problem tritt auf, wenn ein Bild niedriger Auflösung für die Anzeige auf einem großflächigen Bildschirm mit hoher Auflösung vergrößert wird.
Es ist wünschenswert, eine Bildcodiervorrichtung und eine Bilddecodiervorrichtung bereitzustellen, die das Problem lösen können.
Das Augenmerk wird auf eine Veröffentlichung mit dem Titel "Coding of Arbitrarily Shaped Image Segments Based on a Generalized Orthogonal Transform" von Michael Gilge et al., Elsevier Science Publishers B. V. Band 1 Nr. 2 vom 1. Oktober 1989 gelenkt, das eine abschnittsorientierte Bilddarstellung betrifft.
Die EP 0 588 411 offenbart eine Vorrichtung mit Codier- und Decodierschaltmitteln, die jeweils für die Anpassung eines Verhältnisses von Signalen, die am ersten und zweiten Schaltkontakt anliegen, und für die Kombination der auf diese Weise angepassten Signale ausgelegt sind.
Auch die Seiten 3 bis 49 des MPEG-4 Arbeitsgruppenberichts (XP002047798) des Münchner Meetings von 1996 beschreibt Codier-/Decodiertechnologie in Bezug auf VOPs (video object planes).
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Bildcodiervorrichtung wie in Anspruch 1 beansprucht vorgestellt. Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Bilddecodiervorrichtung wie in Anspruch 3 beansprucht vorgestellt.
Bevorzugte Merkmale sind in den abhängigen Ansprüchen dargestellt.
Damit die vorliegende Erfindung einfacher verstanden wird, werden nun Ausführungsformen davon mit Bezug auf die beigefügten Zeichnungen beschrieben, in denen:
1 ein Blockschaltbild ist, das eine Bildcodiervorrichtung gemäß einer ersten Ausführungsform zeigt, die hilfreich zum Verständnis der vorliegenden Erfindung ist.
2 ein Blockschaltbild ist, das eine Decodiervorrichtung gemäß einer ersten Ausführungsform zeigt, die hilfreich beim Verständnis der vorliegenden Erfindung ist.
3 ein Blockschaltbild ist, das eine Codiervorrichtung gemäß einer zweiten Ausführungsform zeigt, die hilfreich beim Verständnis der vorliegenden Erfindung ist.
4 ein Blockschaltbild ist, das eine Decodiervorrichtung gemäß der zweiten Ausführungsform zeigt, die hilfreich für das Verständnis der vorliegenden Erfindung ist.
5 ein Blockschaltbild ist, das eine Codiervorrichtung gemäß einer dritten Ausführungsform zeigt, die hilfreich für das Verständnis der vorliegenden Erfindung ist.
6 ein Blockschaltbild ist, das eine Decodiervorrichtung für eine untere Schicht gemäß der dritten Ausführungsform zeigt, die hilfreich für das Verständnis der vorliegenden Erfindung ist.
7 ein Schaubild zur Verwendung bei der Darstellung von Informationen über den Unterschied zwischen den Formdaten der oberen Schicht und den Formdaten der unteren Schicht ist.
8A bis 8D Schaubilder zur Verwendung bei der Darstellung einer Technik zum Erhalten von Formdaten geringer Auflösung aus Formdaten hoher Auflösung sind.
9 ein Blockschaltbild ist, das eine Codiervorrichtung gemäß einer weiteren Ausführungsform zeigt, die hilfreich für das Verständnis der vorliegenden Erfindung ist.
10 ein Blockschaltbild ist, das ein Beispiel einer Vorrichtung zum Durchführen einer hierarchischen Codierung eines Teilbildes gemäß der vorliegenden Erfindung darstellt.
11 ein Blockschaltbild ist, das eine Decodiervorrichtung der unteren Schicht gemäß einer weiteren Ausführungsform der vorliegenden Erfindung zeigt.
12 ein Blockschaltbild ist, das eine Codiervorrichtung und eine Decodiervorrichtung nach herkömmlicher Technik zeigt.
Eine in 10 dargestellte Vorrichtung wird als Mittel zum Einrichten einer räumlichen Hierarchie in einem Teilbild betrachtet. Ein Datenreduktionsabschnitt 1001 in 10 dünnt die Bildpunkte aus den Eingangsbildpunktdaten aus auf eine niedrigere räumliche Auflösung der Bildpunktdaten. Ein zweiter Datenreduktionsabschnitt 1002 dünnt die Bildpunkte aus den Eingangsformdaten aus auf eine geringere räumliche Auflösung der Formdaten. Die Formdaten stellen eine Form des Teilbildes dar und werden z. B. als ein binäres Bild mit einem Bildpunktwert "1" innerhalb eines Teils und mit einem Bildpunktwert "0" außerhalb des Teils dargestellt.
Ein Codierabschnitt 1004 der unteren Schicht codiert Bildpunktdaten von geringer Auflösung. Für die Codierung werden internationale Standardverfahren der Codierung von bewegten Bildern wie z. B. MPEG oder H.261 angewendet. Wenn ein Bild in Blöcke aufgeteilt wird, wird eine beliebige Form-Transformationstechnik (DCT) oder ähnliches für einen Block einschließlich einer Umgrenzung des Teilbildes verwendet. In diesem Fall werden Ausgangsformdaten von niedriger Auflösung aus dem zweiten Datenreduktionsabschnitt 1002 als Information für die Abgrenzung des Teilbildes verwendet.
Ein Codierabschnitt 1003 der oberen Schicht codiert Bildpunktdaten von hoher Auflösung, wobei ebenfalls das internationale Standardverfahren zum Codieren von bewegten Bildern wie z. B. MPEG oder H.261 verwendet wird. Hier wird eine Vorhersage aus den decodierten Bildern in der unteren Schicht sowie in der oberen Schicht angewendet. Für die Abgrenzung des Teilbildes werden Formdaten von hoher Auflösung verwendet, die nicht datenreduziert wurden.
Ein Formdaten-Codierabschnitt 1005 codiert Formdaten von hoher Auflösung, die der Auflösung der oberen Schicht entsprechen. Der Umriss einer Form wird z. B. mit acht direktionalen Kettencodes ausgedrückt, und diese Kettencodes werden mittels Huffman-Codierung codiert.
Die codierten Daten werden von einem Integrierabschnitt (nicht dargestellt) integriert und übertragen oder gespeichert. In einer Decodiervorrichtung zum Decodieren nur einer unteren Schicht, wie in 11 dargestellt, werden nur die zum Decodieren der unteren Schicht notwendigen Daten aus den codierten Daten, in denen die Daten für die obere und untere Schicht integriert sind, aufgenommen und für den Decodierprozess verwendet. Mit anderen Worten, "codierte Daten der Bildpunktdaten der unteren Schicht" und "codierte Daten der Formdaten" werden in einem Auswahlabschnitt (nicht dargestellt) ausgewählt und decodiert.
Zu diesem Zeitpunkt decodiert ein Formdaten-Decodierabschnitt 1103 in 11 Formdaten von hoher Auflösung. Formdaten von niedriger Auflösung erhält man in einem Datenreduktionsabschnitt 1102 unter Verwendung derselben Technik wie in dem zweiten Datenreduktionsabschnitt 1002 in 10. Die so erhaltenen Daten werden zum Decodieren von Bildpunktdaten in einem Decodierabschnitt 1101 der unteren Schicht verwendet. Eine Decodiervorrichtung zum Decodieren bis zu einer oberen Schicht verwendet alle codierten Daten, um ein Decodieren bis zu der oberen Schicht durchzuführen.
Die oben beschriebene Vorrichtung leidet jedoch unter dem folgenden Problem. Dies besteht darin, dass, obwohl das herkömmliche Decodieren einer unteren Schicht lediglich Formdaten von niedriger Auflösung erfordert, die obige Vorrichtung Formdaten von hoher Auflösung verwenden muss, wenn Daten in der unteren Schicht codiert werden, wodurch sich redundante Daten ergeben. Mit anderen Worten, es sollten Formdaten in einer oberen Schicht mit einer großen Anzahl von Codes verwendet werden anstatt Formdaten in einer unteren Schicht mit einer geringeren Anzahl von Codes. Dadurch wird es schwierig, eine untere Schicht in guter Bildqualität mit einer begrenzten Übertragungs- oder Speicherkapazität zu codieren.
Die erste und zweite Ausführungsform, die hilfreich zum Verständnis der vorliegenden Erfindung sind, zielen darauf ab, dieses Problem zu lösen.
Unter Bezugnahme auf 1 verringert der Datenreduktionsabschnitt 104 die Eingangsbildpunktdaten, um Bildpunktdaten von niedriger Auflösung für eine untere Schicht zu erzeugen. Bei der Verringerung wird ein Tiefpassfilter verwendet, um ein Aliasing zu verhindern. Ein Codierabschnitt 105 der unteren Schicht codiert die Bildpunktdaten niedriger Auflösung.
Für die Codierung wird das internationale Standardverfahren zum Codieren von bewegten Bildern wie z. B. MPEG oder H.261 angewendet. Wenn ein Bild in Blöcke unterteilt wird, wird eine beliebige Form-Transformationstechnik (DCT) oder ähnliches für einen Block einschließlich einer Abgrenzung des Teilbildes angewendet. Für die Abgrenzung des Teilbildes werden Formdaten niedriger Auflösung, die aus einem ersten Formdaten-Erzeugungsabschnitt 106 ausgegeben werden, verwendet.
Der ersten Formdaten-Erzeugungsabschnitt 106 erzeugt Formdaten mit geringer Auflösung für eine untere Schicht. Formdaten werden z. B. durch Aufteilung von Bildpunktdaten in Bereiche gewonnen. Für die Aufteilung in Bereiche verwendete Techniken umfassen eine kantenerfassende Technik unter Verwendung einer Differenzialoperation und morphologische Segmentierung.
Wenn die Form eines sich bewegenden Objekts vor einem statischen Hintergrund herausgeschnitten wird, kann eine dynamische Bereichsmessung unter Verwendung von Einzelbilddifferenzen (intra-frame differences) benutzt werden. Alternativ können die Formdaten mittels Farbstanz-Technik (Chromakey) erzeugt werden. In 1 erhält man die Formdaten niedriger Auflösung nach Reduzierung der Zielbildpunktdaten im Datenreduktionsabschnitt 104, um deren Auflösung zu verringern. Es kann jedoch auch ein anderes Verfahren verwendet werden, wobei man zuerst Formdaten für Bildpunktdaten hoher Auflösung erhält, und die Formdaten werden anschließend verringert, um Formdaten geringer Auflösung zu erhalten.
Die hier erzeugten Formdaten sind binäre Bilder oder Bilder mit zwei oder mehr Abstufungsebenen. In letzterem Fall kann eine Überlagerung eines Teilbildes und eines Hintergrundbilds gemäß der obigen Formel (1) als gewichtetes Mittel des Teilbildes und des Hintergrundbildes angesehen werden, wobei die Formdaten eine Gewichtung darstellen. Es ist anzumerken, dass die Formdaten s(i, j) in der Formel (1) den Wert "1" innerhalb des Zielteilbildes, "0" außerhalb des Teilbildes und einen Wert zwischen "0" und "1" im Abgrenzungsabschnitt des Teilbildes annehmen.
Ein erster Formdaten-Codierabschnitt 107 codiert Formdaten geringer Auflösung für eine untere Schicht. Wenn die Formdaten binäre Daten sind, wird Lauflängencodierung, MMR-Codierung, Kettencodierung oder ähnliches für die Codierung verwendet. Wenn die Formdaten durch zwei oder mehr Abstufungsebenen ausgedrückt sind, wird ein Codierverfahren unter Verwendung von DCT wie bei MPEG, ein Codierverfahren unter Verwendung eines Quaternär-Baums und der Vektorquantisierung ("MPEG-4 Video Verification Model Version 2.0" (ISO/IECTCI/SC29/WG11N1260)) oder ähnliches verwendet.
Ein zweiter Formdaten-Erzeugungsabschnitt 102 erzeugt Formdaten hoher Auflösung für eine obere Schicht aus Bildpunktdaten hoher Auflösung. Das Erzeugungsverfahren der Formdaten ist dasselbe wie beim ersten Formdaten-Erzeugungsabschnitt 106, und deshalb wird dessen Beschreibung nicht wiederholt. Ein zweiter Formdaten-Codierabschnitt 103 codiert die Formdaten hoher Auflösung, die durch den zweiten Formdaten-Erzeugungsabschnitt 102 erzeugt wurden. Das Codierverfahren der Formdaten ist dasselbe wie beim ersten Formdaten-Codierabschnitt 107, und dessen Beschreibung wird nicht wiederholt. Es ist anzumerken, dass diese beiden Formdaten-Codierabschnitte 103, 107 nicht das selbe Codierverfahren verwenden müssen. Sie können statt dessen unterschiedliche Codierverfahren benutzen.
Ein Codierabschnitt der oberen Schicht codiert Bildpunktdaten hoher Auflösung. Die Codierung wird unter Verwendung der internationalen Standardverfahren der Codierung von bewegten Bildern, wie z. B. MPEG oder H.261, durchgeführt, wie bei den Techniken, die im Abschnitt Hintergrundtechnik beschrieben wurden. Hierbei nutzt die Codierung jedoch die Vorhersage aus teilweise decodierten Bildern, die im Codierabschnitt 105 der unteren Schicht existieren, zusätzlich zur Vorhersage aus decodierten Bildern in der oberen Schicht, die zeitlich vorhergehen oder nachfolgen. Für die Abgrenzung des Teilbildes werden Formdaten hoher Auflösung verwendet, die aus dem zweiten Formdaten-Erzeugungsabschnitt 102 ausgegeben werden.
Als nächstes wird unter Bezugnahme auf 2 eine Decodiervorrichtung gemäß der ersten Ausführungsform beschrieben.
Eine Decodiervorrichtung der unteren Schicht 205 besteht aus den Abschnitten, die in 2 von einer durchbrochenen Linie umgeben sind. Ein erster Formdaten-Decodierabschnitt 204 decodiert die codierten Daten der Formdaten der unteren Schicht, um Formdaten niedriger Auflösung zu erhalten. Die decodierten Formdaten werden an einen Decodierabschnitt der unteren Schicht 203 gesendet und werden auch zur Anzeige eines Bildes der unteren Schicht verwendet. Der Decodierabschnitt der unteren Schicht 203 decodiert die codierten Daten der Bildpunktdaten der unteren Schicht und liefert die Bildpunktdaten geringer Auflösung an einen Anzeigeabschnitt der unteren Schicht (nicht dargestellt).
Als nächstes wird das Decodieren einer oberen Schicht in 2 beschrieben. Ein zweiter Formdaten-Decodierabschnitt 202 decodiert die codierten Daten der Formdaten der oberen Schicht, um Formdaten hoher Auflösung zu erhalten. Die decodierten Formdaten werden an einen Decodierabschnitt der oberen Schicht 201 gesendet und auch zur Anzeige eines Bildes der oberen Schicht verwendet.
Der Decodierabschnitt der oberen Schicht 201 decodiert die codierten Daten der Bildpunktdaten der oberen Schicht und liefert Bildpunktdaten hoher Auflösung an einen Anzeigeabschnitt der oberen Schicht (nicht dargestellt). Der Decodierabschnitt der oberen Schicht 201 verwendet, wie im in 1 dargestellten Codierabschnitt der oberen Schicht 101, eine Vorhersage aus den decodierten Bildern im Decodierabschnitt der unteren Schicht 203 zusätzlich zu einer Vorhersage aus den decodierten Bildern in der oberen Schicht, die zeitlich vorhergehen oder nachfolgen.
Nun wird die zweite Ausführungsform, die hilfreich für das Verständnis der vorliegenden Erfindung ist, beschrieben.
In der oben beschriebenen ersten Ausführungsform werden die Formdaten hoher Auflösung, die in einer oberen Schicht verwendet werden, und Formdaten niedriger Auflösung, die in einer unteren Schicht verwendet werden, unabhängig von einander codiert. Daher wird die Information über die Formdaten in der unteren Schicht nicht beim Codieren der Formdaten in der oberen Schicht berücksichtigt, und deshalb wird eine Anzahl von Codes der Formdaten in der oberen Schicht groß. Dies führt zu der Schwierigkeit, dass eine Gesamtanzahl von Codes für die obere Schicht im Vergleich zu dem Fall ansteigt, bei dem die in den 10 und 11 dargestellten Verfahren angewendet werden. Demgemäß zielt diese Ausführungsform darauf ab, das obige Problem durch Codieren lediglich der Information über den Unterschied zwischen den Formdaten niedriger Auflösung und den Formdaten hoher Auflösung zu lösen.
Die Codiervorrichtung in 3 unterscheidet sich von der Codiervorrichtung in 1 darin, dass die Formdaten geringer Auflösung in einem ersten Formdaten-Codierabschnitt 307 zu einem zweiten Formdaten-Codierabschnitt 303 gesendet werden und dass der zweite Formdaten-Codierabschnitt 303 lediglich Informationen über den Unterschied zwischen den Formdaten niedriger Auflösung und den Formdaten hoher Auflösung codiert.
Davon abgesehen sind der Codierabschnitt der oberen Schicht 101, der zweite Formdaten-Erzeugungsabschnitt 102, der Datenreduktionsabschnitt 104, der Codierabschnitt 105 der unteren Schicht und der erste Formdaten-Erzeugungsabschnitt 106 dieselben wie die in 1, und deshalb wird deren Beschreibung nicht wiederholt.
Die Decodiervorrichtung in 4 unterscheidet sich von der Decodiervorrichtung in 2 darin, dass die Formdaten geringer Auflösung, die in einem ersten Formdaten-Decodierabschnitt 404 decodiert wurden, zu einem zweiten Formdaten-Decodierabschnitt 402 gesendet werden, und darin, dass der zweite Formdaten-Decodierabschnitt 402 Formdaten hoher Auflösung zusammen mit der Information über den Unterschied decodiert.
Davon abgesehen sind der Decodierabschnitt der oberen Schicht 201 und der Decodierabschnitt der unteren Schicht 203 die selben wie die in 2, und deshalb wird deren Beschreibung nicht wiederholt. Zusätzlich ist eine Decodiervorrichtung der unteren Schicht 405 äquivalent zu einer Decodiervorrichtung der unteren Schicht 205 in 2.
Wenn z. B. ein Quaternär-Baum zur Darstellung der binären Formdaten verwendet wird, können Daten in den unteren Hierarchien des Baums als die oben beschriebenen Informationen über den Unterschied verwendet werden. 7 zeigt binäre Formdaten und eine beispielhafte Darstellung als Quaternär-Baum davon. Der oberste Wert des Quaternär-Baums ist "1", wenn mindestens ein Bildpunktwert "1" innerhalb eines Blocks von 4 × 4 Bildpunkten existiert, oder ansonsten "0". Die Werte in den zweiten und dritten Hierarchien des Baums werden in ähnlicher Weise für Blöcke von 2 × 2 Bildpunkten bzw. 1 × 1 Bildpunkt bestimmt.
Die Blöcke in den entsprechenden Hierarchien werden von oben links bis unten rechts in einer Rasterabtastfolge abgetastet. Im in 7 dargestellten Beispiel werden die Formdaten in der oberen Schicht mit drei Hierarchien dargestellt, und die Formdaten in der unteren Schicht werden mit zwei Hierarchien ausgedrückt. Die Daten in der dritten Hierarchieebene werden als Information über die Differenz zwischen der oberen und unteren Schicht ausgedrückt. Diese mit dem Quaternär-Baum ausgedrückten Daten werden z. B. durch arithmetisches Codieren codiert.
Wenn die Formdaten mit zwei oder mehr Abstufungsebenen dargestellt werden, kann ein anderes Codierverfahren angewendet werden, bei dem Formdaten niedriger Auflösung auf die Auflösung für eine obere Schicht hochgerechnet werden, bevor die Differenz zu den Formdaten hoher Auflösung genommen wird, und die Differenzdaten werden dann mittels Transformationscodierung codiert.
Als nächstes wird die dritte Ausführungsform, die hilfreich zum Verständnis der vorliegenden Erfindung ist, beschrieben.
Bei den wie oben unter Bezugnahme auf die 10 und 11 beschriebenen Verfahren werden die Formdaten geringer Auflösung durch Ausdünnung der Formdaten erhalten. Dies kann zu einem Problem führen, dass der Umriss eines Teilbildes in der unteren Schicht stufenartig wird, was zu einer Verschlechterung der Bildqualität führt.
In der dritten Ausführungsform wird das obige Problem durch das Aufsetzen von mehr Abstufungsebenen für Formdaten als in den ursprünglichen Formdaten zusammen mit einem Ausdünnen der Formdaten gelöst.
8A zeigt einen Teil der binären Formdaten. 8B zeigt beispielhafte Formdaten, die transformiert wurden, um an einen Bildschirm niedriger Auflösung angepasst zu werden, dessen Auflösung halbiert und dessen Bildpunktgröße sowohl vertikal als auch horizontal verdoppelt wurde. In diesem Beispiel wird ein 2 × 2 Filter

0.25 0.25

0.25 0.25

auf einen Block angewendet, der in 8A von einer fettgedruckten Linie umgeben ist, wodurch man Formdaten geringer Auflösung erhält mit fünf Abstufungsebenen von 0, 0.25, 0.5, 0.75 und 1. Wenn ein Element des obigen 2 × 2 Filters als f(i, j) und ein Element innerhalb eines Blocks in 8 als d(i, j) dargestellt wird, kann die Filteroperation wie folgt dargestellt werden:
f(i, j) d(i, j)
wobei eine Summe für i = 1, 2 und j = 1, 2 darstellt. Wenn die ursprünglichen Formdaten N Abstufungsebenen aufweisen, erlaubt die Filterung die Erzeugung von Formdaten mit M (M > N) Abstufungsebenen.
8C zeigt beispielhafte Formdaten, die zur Vergrößerung eines Teilbildes von geringer Auflösung für die Anzeige auf einem Bildschirm verwendet werden, der die Anzeige mit der gleichen Auflösung wie in 8A erlaubt. Die Daten kann man durch einfaches Vergrößern der Daten in 8B um den Faktor 2 vertikal sowie horizontal erhalten. Das Erhöhen der Anzahl der Abstufungsebenen der Formdaten in niedriger Auflösung, wie oben beschrieben, kann das abgestufte Erscheinungsbild des Abgrenzungsabschnitts vermeiden.
Die in 8C erzeugten Formdaten können z. B. für die Überlagerung von Bildern gemäß der Formel (1) verwendet werden, die im Abschnitt Hintergrundtechnik beschrieben wurde. In diesem Fall werden Hintergrund und Vordergrund am Umrissabschnitt eines Teilbildes vermischt, wodurch das abgestufte Muster bei der Abgrenzung unauffällig gemacht wird.
Obwohl das obige Beispiel unter Verwendung eines 2 × 2 Filters beschrieben wurde, können statt dessen andere Filter angewendet werden. Z. B. kann ein 3 × 3 Filter wie folgt verwendet werden, um Formdaten in eine vertikal wie horizontal halbierte Darstellung zu transformieren.
Hier sind die Zielbildpunkte für die Unterabtastung z. B. die, die in 8D mit schwarzem Punkt (•) dargestellt sind.
5 und 6 sind Blockschaltbilder, die eine Codiervorrichtung bzw. eine Decodiervorrichtung der unteren Schicht gemäß der dritten Ausführungsform zeigen. Sie sind Modifizierungen von denen, die in den 10 und 11 dargestellt sind, wobei die Abschnitte zur Datenreduktion der Formdaten durch die Transformationsabschnitte 504 bzw. 602 ersetzt wurden.
Davon abgesehen sind der erste Datenreduktionsabschnitt 1001, der Codierabschnitt der oberen Schicht 1003, der Codierabschnitt der unteren Schicht 1004, der Formdaten-Codierabschnitt 1005, der Decodierabschnitt der unteren Schicht 1101 und der Formdaten-Decodierabschnitt 1103 dieselben wie die in 10 und 11, und deshalb wird deren Beschreibung nicht wiederholt.
Die Transformationsabschnitte 504 und 602, die beide identisch arbeiten, transformieren die Formdaten in Daten mit niedrigerer Auflösung, aber mehr Abstufungsebenen, wie in 8 dargestellt.
Obwohl in den 8A bis 8C ein 2 × 2 Filter verwendet wurde, können für die Transformation ebenfalls viele andere Filter, wie z. B. 3 × 3 oder 2 × 5 verwendet werden.
Darüber hinaus wurden in der Beschreibung der Codiervorrichtung entsprechend der obigen Ausführungsformen die an den Formdaten-Codierabschnitt gesendeten Formdaten ebenfalls an den entsprechenden Bildpunktdaten-Codierabschnitt gesendet. In diesem Fall entsteht jedoch ein Problem, wenn ein nicht reversibles Codieren im Formdaten-Codierabschnitt durchgeführt wird, weil die in einem Bildpunktdaten-Codierabschnitt verwendeten Formdaten und die in einem Bild punktdaten-Decodierabschnitt verwendeten Formdaten in einer Decodiervorrichtung unterschiedlich zueinander werden.
In solch einem Fall kann die Codiervorrichtung mit einem Formdaten-Decodierabschnitt ausgestattet werden, so dass die codierten Formdaten in dem Formdaten-Decodierabschnitt decodiert werden können, bevor sie an den entsprechenden Bildpunktdaten-Codierabschnitt gesendet werden. 9 zeigt eine Variation der Codiervorrichtung aus 3, die auf diese Weise abgeändert wurde.
Unter Bezugnahme auf 9 werden decodierte Daten der Formdaten der unteren Schicht, die durch einen ersten Formdaten-Decodierabschnitt 909 decodiert wurden, an einen Codierabschnitt der unteren Schicht 905 sowie an einen zweiten Formdaten-Codierabschnitt 903 und einen zweiten Formdaten-Decodierabschnitt 908 gesendet. Eine Decodiervorrichtung, die der in 9 dargestellten Codiervorrichtung entspricht, verwendet ebenfalls die decodierten Daten der Formdaten der unteren Schicht in einem Formdaten-Decodierabschnitt der oberen Schicht, der äquivalent zu dem zweiten Formdaten-Decodierabschnitt 908 in 9 ist.
Schließlich wird eine vierte Ausführungsform, die hilfreich für das Verständnis der vorliegenden Erfindung ist, beschrieben.
Die vorliegende Ausführungsform basiert auf der ersten und zweiten Ausführungsform, wobei jedoch eine obere Schicht konfiguriert wird, um die räumliche Auflösung nur eines Abschnitts eines Teilbildes zu verbessern, das in der unteren Schicht codiert ist. Durch diese Konfiguration kann z. B. ein Gesichtsbereich einer Person als Teilbild in der unteren Schicht codiert werden, und nur die Mundpartie kann in hoher Auflösung in der oberen Schicht codiert werden.
Wenn die vierte Ausführungsform an die erste Ausführungsform angepasst wird, kann der zweite Formdaten-Erzeugungsabschnitt 102 der Codiervorrichtung, die in 1 dargestellt ist, verwendet werden, um Formdaten hoher Auflösung zu erzeugen, die einem Bereich des Teilbildes entsprechen, und somit kann die vorliegende Erfindung umgesetzt werden.
Als dementsprechende Decodiervorrichtung kann die in 2 dargestellte Vorrichtung so wie sie ist verwendet werden. Desgleichen könnten, wenn diese Ausführungsform an die zweite Ausführungsform angepasst wird, die Formdaten ho her Auflösung, die einem Bereich des Teilbildes entsprechen, durch den zweiten Formdaten-Erzeugungsabschnitt 102 der in 3 dargestellten Codiervorrichtung erzeugt werden, wodurch die vorliegende Erfindung verwirklicht wird.
In diesem Fall wird jedoch keine Signalleitung vom ersten Formdaten-Codierabschnitt 307 zum zweiten Formdaten-Codierabschnitt 303 verwendet. Gemäß der vorliegenden Erfindung ist ein Schalter vorgesehen, der zwischen den in der vierten und zweiten Ausführungsform beschriebenen Verfahren umschaltet. Dieser Schalter wird zwischen dem ersten Formdaten-Codierabschnitt 307 und dem zweiten Formdaten-Codierabschnitt 303 eingesetzt. Wenn das Verfahren gemäß der vierten Ausführungsform verwendet wird, ist der Schalter ausgeschaltet und die Formdaten der oberen Schicht (die zweiten Formdaten) werden unabhängig codiert. Wenn das wie in der zweiten Ausführungsform beschriebene Verfahren verwendet wird, wird der Schalter angeschaltet und die Information über die Differenz zwischen den Formdaten der oberen Schicht (den zweiten Formdaten) und den Formdaten der unteren Schicht (den ersten Formdaten) wird codiert.
Für eine Decodiervorrichtung gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die in 4 dargestellte Vorrichtung mit einem ähnlichen Schalter ausgestattet, der auf einer Signalleitung angeordnet ist, die den ersten Formdaten-Decodierabschnitt 404 und den zweiten Formdaten-Decodier-abschnitt 402 in 4 verbindet. Der Schalter steuert wie der Schalter bei der Codiervorrichtung das Schalten zwischen dem Fall, bei dem die Formdaten der oberen Schicht (die zweiten Formdaten) unabhängig decodiert werden, und dem Fall, bei dem die Daten, die die Differenz zwischen den Formdaten der oberen Schicht (den zweiten Formdaten) und den Formdaten der unteren Schicht (den ersten Formdaten) repräsentieren, decodiert werden, und anschließend werden die Differenzdaten auf die Formdaten der unteren Schicht (die ersten Formdaten) addiert, um die Formdaten der oberen Schicht (die zweiten Formdaten) zu decodieren.
Gemäß der Codiervorrichtung und der Decodiervorrichtung für bewegte Bilder entsprechend der obigen Ausführungsform können die folgenden positiven Effekte erzielt werden:

(1) Codieren und Decodieren eines Teilbildes mit räumlicher Hierarchie kann durchgeführt werden.
(2) In der ersten Ausführungsform werden Formdaten geringer Auflösung als Formdaten für eine untere Schicht codiert. Dementsprechend kann die Redundanz, die mit dem Codieren der Formdaten hoher Auflösung in der unteren Schicht verbunden ist, eliminiert werden. Dadurch kann ein Bild der unteren Schicht in gewünschter Bildqualität codiert und decodiert werden, sogar mit begrenzter Übertragungs- oder Speicherkapazität.
(3) In der zweiten Ausführungsform wird Information über die Formdaten in der unteren Schicht zum Codieren der Formdaten in der oberen Schicht verwendet, und die Information über die Differenz zwischen den Formdaten geringer Auflösung und den Formdaten hoher Auflösung wird codiert. Dementsprechend kann die Datenmenge, die für das Codieren der Formdaten in der oberen Schicht notwendig ist, reduziert werden. Dadurch kann effizientes Codieren in der oberen Schicht durchgeführt werden.
(4) In der dritten Ausführungsform werden Formdaten der oberen Schicht transformiert, um Formdaten der unteren Schicht mit mehr Abstufungsebenen zu erzeugen. Dementsprechend kann die abgestufte Umgrenzung, die im Umrissbereich der Formdaten der unteren Schicht existiert, unauffällig gemacht werden. Dadurch wird der Umriss eines Teilbildes bei der Anzeige gleichmäßig und es kann ein psychologisch günstiges Bild erhalten werden.
(5) In einer weiteren Ausführungsform der vorliegenden Erfindung kann, unter der Annahme, dass die Formdaten der oberen Schicht kleiner als die Formdaten der unteren Schicht sind, eine hierarchische Codierung zur Verbesserung der räumlichen Auflösung eines Teils der unteren Schicht unter Verwendung von Daten in der oberen Schicht durchgeführt werden. Dementsprechend ist es möglich, wenn es lediglich notwendig ist, in den Inhalt eines Bildes nur in einem Bereich der unteren Schicht zu sehen, oder wenn nur ein Bereich der unteren Schicht eine komplexe Textur aufweist und in hoher Auflösung angezeigt werden soll, dass eine angemessene hierarchische Codierung durchgeführt wird.

Claims

Bildcodiervorrichtung mit: einem ersten Formdaten-Erzeugungsabschnitt (106), der erste Formdaten erzeugt, die eine erste beliebige Form in geringer Auflösung darstellen; einem ersten Formdaten-Codierabschnitt (107, 307), der die erzeugten ersten Formdaten codiert; einem Codierabschnitt (105) einer unteren Schicht, der die ersten Formdaten verwendet, um ein Teilbild in einer unteren Schicht in geringer Auflösung zu codieren; einem zweiten Formdaten-Erzeugungsabschnitt (102), der zweite Formdaten erzeugt, die eine zweite beliebige Form in hoher Auflösung darstellen; einem zweiten Formdaten-Codierabschnitt (103, 303), der die erzeugten zweiten Formdaten codiert; und einem Codierabschnitt (101) einer oberen Schicht, der die zweiten Formdaten und die decodierten Teilbilddaten in der unteren Schicht verwendet, um ein Teilbild in einer oberen Schicht in hoher Auflösung zu codieren, dadurch gekennzeichnet, dass der zweite Formdaten-Erzeugungsabschnitt geschaltet wird, um als zweite Formdaten entweder hoch aufgelöste Formdaten entsprechend einem Gesamtbereich der ersten beliebigen Form oder hoch aufgelöste Formdaten entsprechend einem Teilbereich der ersten beliebigen Form zu erzeugen.
Bildcodiervorrichtung nach Anspruch 1, wobei der zweite Formdaten-Codierabschnitt (303) die Informationen bezüglich des Unterschieds zwischen den ersten Formdaten und den zweiten Formdaten codiert, wenn die zweiten Formdaten, die durch den zweiten Formdaten-Erzeugungsabschnitt erzeugt wurden, die hoch aufgelösten Formdaten entsprechend einem Gesamtbereich der ersten willkürlichen Form sind, und der zweite Formdaten-Codierabschnitt (303) die zweiten Formdaten unabhängig von den ersten Formdaten codiert, wenn die zweiten Formdaten, die durch den zweiten Formdaten-Erzeugungsabschnitt erzeugt wurden, hoch aufgelöste Formdaten entsprechend einem Teilbereich der ersten beliebigen Form sind.
Bilddecodiervorrichtung mit: einem ersten Formdaten-Decodierabschnitt (204, 404), der erste Formdaten einer ersten beliebigen Form decodiert, die in geringer Auflösung codiert sind; einem Decodierabschnitt (203) einer unteren Schicht, der die decodierten ersten Formdaten verwendet, um ein Teilbild in einer unteren Schicht in geringer Auflösung zu decodieren; einem zweiten Formdaten-Decodierabschnitt (202, 402), der zweite Formdaten einer zweiten beliebigen Form decodiert, die in hoher Auflösung codiert sind; und einem Decodierabschnitt (201) einer oberen Schicht, der die decodierten zweiten Formdaten und die decodierten Teilbilddaten in der unteren Schicht verwendet, um ein Teilbild in einer oberen Schicht in hoher Auflösung zu decodieren, dadurch gekennzeichnet, dass der zweite Formdaten-Decodierabschnitt geschaltet wird, abhängig von einer Art der zweiten Formdaten, um entweder hoch aufgelöste Formdaten entsprechend einem Gesamtbereich der ersten beliebigen Form oder hoch aufgelöste Formdaten entsprechend einem Teilbereich der ersten beliebigen Form zu decodieren.
Bilddecodiervorrichtung nach Anspruch 3, wobei der zweite Formdaten-Decodierabschnitt (402) die zweiten Formdaten auf der Basis von Informationen bezüglich des Unterschieds zwischen den ersten Formdaten und den zweiten Formdaten decodiert, wenn die zweiten Formdaten die hoch aufgelösten Formdaten entsprechend einem Gesamtbereich der ersten beliebigen Form sind, und der zweite Formdaten-Decodierabschnitt (402) die zweiten Formdaten unabhängig von den ersten Formdaten decodiert, wenn die zweiten Formdaten die hoch aufgelösten Formdaten entsprechend einem Teilbereich der ersten beliebigen Form sind.