DE69818850T2

DE69818850T2 - Videocodierungs- und -decodierungsvorrichtung

Info

Publication number: DE69818850T2
Application number: DE1998618850
Authority: DE
Inventors: Tomoko Hanamigawa-ku AONO; Hisashi Saiga; Hiroyuki Chiba-shi Katata; Hiroshi Kusao
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-05-29
Filing date: 1998-05-28
Publication date: 2004-08-19
Anticipated expiration: 2018-05-29
Also published as: US20020009142A1; US20050025239A1; WO1998054903A1; DE69818850D1; US6813314B2; EP1355497A2; EP1016284B1; JPH1146372A; US6259735B1; JP3213582B2; EP1016284A1; EP1355497A3

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft das Gebiet der digitalen Videoverarbeitung und bezieht sich auf eine Videocodierungsvorrichtung zum effizienten Codieren von Videodaten sowie auf eine Videodecodierungsvorrichtung zum Decodieren von Videodaten, die durch die Videocodierungsvorrichtung codiert worden sind.
Stand der Technik
Kürzlich ist ein Unterbandcodierungsverfahren vorgeschlagen worden, mit dem Videosignale effizient codiert und decodiert werden können. Das wohlbekannte hocheffiziente Unterbandcodierungsverfahren wird verwendet, um ein Eingangsbild durch eine Bank von Bandzerlegungsfiltern, wie sie in 1A gezeigt ist, in Frequenzbänder zu zerlegen, wie sie in 1B gezeigt sind. Die in 1A gezeigte Bandzerlegungs-Filterbank ist eine eindimensionale Filterbank, die dadurch, dass die Verarbeitung des Eingangsbildes in horizontaler und vertikaler Richtung wiederholt wird, als eine zweidimensionale Bandzerlegungs-Filterbank dienen kann. Dieses Verfahren wurde von Fujii, Noumura, "Topics on Wavelet Transform", in einem Bericht "TECHNICAL REPORT of IEICE, IE92-11, 1992", berichtet.
In 1B ist ein Unterbandbild gezeigt, das dadurch erhalten wurde, dass dreimal eine zweidimensionale Unterbandzerlegung durchgeführt wurde. In der ersten zweidimensionalen Unterbandzerlegung werden ein horizontales Hochpassband und ein vertikales Tiefpassband, ein horizontales Tiefpassband und ein vertikales Hochpassband sowie ein horizontales und vertikales Hochpassband erhalten, die jeweils mit HL1, LH1 und HH1 bezeichnet sind. Ein horizontales und vertikales Tiefpassband, das durch die erste Zerlegung erhalten wurde, wird weiter der zweidimensionalen Bandzerlegung ausgesetzt, durch die drei Unterbänder HL2, LH2 und HH2 erhalten werden.
Ein horizontales und vertikales Tiefpass-Unterband, das durch die zweite Zerlegung erhalten worden ist, wird weiter einer dritten zweidimensionalen Unter bandzerlegung ausgesetzt, durch die drei Unterbänder HL3, LH3 und HH3 sowie ein horizontales und vertikales Tiefpassunterband LL3 erhalten werden. Als die Bandzerlegungs-Filterbank kann eine Wavelet-Umsetzungs-Filterbank oder eine Bandzerlegungs- und Bandsynthetisierungsfilterbank verwendet werden. Somit besitzen die zerlegten Unterbandbilder eine hierarchische Struktur (Schichtstruktur) von einem Niederfrequenzband bis zu einem Hochfrequenzband.
Unter Verwendung der hierarchischen Struktur der Unterbandbilder kann leicht eine progressive Bildübertragung realisiert werden. Wie in 2 gezeigt ist, ermöglicht das progressive Bildübertragungsverfahren, dass eine Videodecodierungsvorrichtung ein niedrig aufgelöstes Bild wiedergibt, indem sie lediglich einen Teil der codierten Daten verwendet. Je mehr codierte Daten wiedergegeben werden, eine desto höhere Auflösung besitzt das decodierte Bild. Die japanische offengelegte Patentveröffentlichung (TOKKAI HEI) Nr. 8-242379 beschreibt ein (im Folgenden als ein System des Standes der Technik bezeichnetes) System zur Realisierung der progressiven Bildübertragung, dessen Struktur in den 3 und 4 gezeigt ist.
3 zeigt eine Videocodierungsvorrichtung, die das System des Standes der Technik verwendet, während 4 eine Videodecodierungsvorrichtung zeigt, die das System verwendet. Die Videocodierungsvorrichtung, wie sie in 3 gezeigt ist, umfasst einen Unterbandzerlegungsabschnitt 2001, der ein Eingangsbild unter Verwendung zweidimensionaler Zerlegungsfilter in Unterbandbilder zerlegt, einen Koeffizientencodierungsabschnitt 2002, der die Koeffizienten der zerlegten Unterbandbilder codiert, einen Abschnitt 2003 zum Codieren mit variabler Länge, der eine Codierung der codierten Koeffizientendaten von dem Koeffizientencodierungsabschnitt 2002 mit variabler Länge ausführt, und einen Zeilensendeabschnitt 2004, der mehrere Komponenten, aus denen das Bild aufgebaut ist, pro Zeile gleichzeitig sendet. Der Koeffizientencodierungsabschnitt 2002 führt unter Verwendung irgendeines der verschiedenen Arten von Codierungsverfahren (z. B. DPCM-Codierung, Null-Baum-Codierung und Skalarquantisierungscodierung) eine Codierung der Koeffizienten aus. Dieses Verfahren enthält einen Quantisierungsschritt.
Unten wird beispielhaft der Betrieb des Zeilensendeabschnitts 2004 mit einem Eingangsbild, das aus den drei Komponenten Y (einer Luminanzkomponente) und U, V (Chrominanzkomponenten) aufgebaut ist, und mit einer Unterbandzerlegung, die wie in 1B gezeigt dreimal durchgeführt wird, ausführlich beschrieben. Die Verarbeitung beginnt von einem in 1B gezeigten Unterband LL3, das die niedrigste Auflösung des Bildes ergibt.
Wie in 5 gezeigt ist, sendet der Zeilensendeabschnitt 2004 die Komponenten Y, U und V aufeinander folgend zeilenweise in der Reihenfolge beginnend bei der ersten Zeile des Unterbands LL3. Nachdem alle Zeilen des Unterbands LL3 übertragen worden sind, überträgt der Abschnitt die Komponenten Y, U und V in den Unterbändern LH3, HL3 und HH3 jeweils in der Reihenfolge: die Komponente Y in den ersten Zeilen der Unterbänder LH3, HL3 und HH3; die Komponente U in den ersten Zeilen der Unterbänder LH3, HL3 und HH3; die Komponente V in den ersten Zeilen der Unterbänder LH3, HL3 und HH3; die Komponente Y in den zweiten Zeilen der Unterbänder LH3, HL3 und HH3; U in den zweiten Zeilen von LH3, HL3 und HH3; V in den zweiten Zeilen der Unterbänder LH3, HL3 und HH3 usw. Nachdem alle Zeilen von LH3, HL3 und HH3 übertragen worden sind, überträgt der Zeilensendeabschnitt auf ähnliche Weise die Zeilen von LH2, HL2, HH2 und daraufhin die Zeilen von LH1, HL1, HH1. Die obenerwähnte Prozedur des Zeilensendeabschnitts 2004 wird durch einen Ablaufplan aus 6 veranschaulicht.
Die geordnete Sendung der Komponenten Y, U, V, aus denen das Bild aufgebaut, pro Zeile erzeugt codierte Daten mit einer hierarchischen Struktur.
Wie in 4 gezeigt ist, umfasst die Videodecodierungsvorrichtung einen Zeilenempfangsabschnitt 2104, der die codierten Daten von dem Zeilensendeabschnitt 2004 der Videocodierungsvorrichtung aus 3 empfängt und die Daten in jeweilige Komponentengruppen umordnet, einen Abschnitt 2101 zum Decodieren mit variabler Länge, der die umgeordneten, mit variabler Länge codierten Daten decodiert, einen Abschnitt 2102 zum Zählen decodierter Daten, der die Bits der durch den Abschnitt zum Decodieren mit variabler Länge decodierten Daten zählt, einen Decodierungsabschneideabschnitt 2103, der die Anzahl der durch den Abschnitt zum Zählen decodierter Daten gezählten Bits mit einem voreingestellten Schwellenwert oder mit einem von außen gegebenen Schwellenwert vergleicht und einen Befehl zum Anhalten der Decodierungsoperation des Abschnitts 2101 zum Decodieren mit variabler Länge erteilt, wenn die Anzahl der decodierten Bits den Schwellenwert übersteigt, einen Datenfer tigstellungsabschnitt 2105, der das Fehlen der abgeschnittenen Daten dadurch ausgleicht, dass er null addiert, wenn das Decodieren der codierten Daten bei einer angegebenen Anzahl von Bits abgeschnitten worden ist, einen Koeffizientendecodierungsabschnitt 2106, der die codierten Koeffizientendaten durch Umkehr der gleichen Verarbeitungsprozedur des Koeffizientencodierungsabschnitts 2002 aus 3 decodiert, und einen Unterbandsynthetisierungsabschnitt 2107, der über zweidimensionale Synthetisierungsfilter aus den Unterbändern ein Bild synthetisiert.
Somit kann die Videodecodierungsvorrichtung aus den codierten Daten mit einer hierarchischen Struktur oder aus einem Teil davon ein ganzes Bild wiedergeben.
Das herkömmliche Videocodierungs- und Videodecodierungssystem kann eine progressive Bildübertragung dadurch realisieren, dass es die Bildkomponenten pro Zeile in einer aufsteigenden Reihenfolge, die von dem Bild des Bands mit der niedrigsten Auflösung beginnt, sendet. Allerdings trifft das System des Standes der Technik auf mehrere unzweckmäßige Probleme, die sich aus der festen Übertragungseinheit einer Zeile ergeben. Beispielsweise kann ein Bild, das aus der Luminanzkomponente Y und aus den Chrominanzkomponenten U und V aufgebaut ist, leichter dadurch erkannt werden, dass vor den Komponenten U und V lediglich die Komponente Y gesendet wird, anstatt alle Komponenten als eine Einheit zu senden.
In diesem Fall werden die Bildkomponenten vorzugsweise unterbandweise und nicht zeilenweise übertragen. Außerdem wird bewiesen, dass ein Bild, das aus den Komponenten R, G, B aufgebaut ist, in dem Decodierungsterminal mit besserer subjektiver Bildqualität wiedergegeben werden kann, wenn die codierten Koeffizienten der jeweiligen Komponenten R, G und B einzeln gesendet werden. Das liegt daran, dass diese Komponenten im Wesentlichen nahezu den gleichen Einfluss auf die Seheigenschaft besitzen.
Das System des Standes der Technik nimmt an, dass die Komponenten eines Bildes die gleiche Größe haben. Somit kann es nicht an ein Eingangsbild anpassbar sein, das aus unterschiedlichen Größen von Komponenten z. B. im Format 4 : 2 : 2 oder 4 : 2 : 0 aufgebaut ist.
Außerdem nimmt das System des Standes der Technik an, dass die jeweiligen Komponenten eines Bildes die gleiche Anzahl von Unterbändern besitzen und nicht an ein Eingangsbild anpassbar sein können, dessen Komponenten in unterschiedliche Anzahlen von Unterbändern zerlegt sind.
EP 570818A offenbart eine Vorrichtung und ein Verfahren zum Senden eines Videosignals unter Verwendung einer Codierungsprozedur, in der Wavelettransformierte Koeffizienten von Komponenten mit unterschiedlicher Größe in die gleiche Anzahl von Makroblöcken unterteilt werden. Nachdem die Makroblockdaten einer ersten Quantisierung ausgesetzt worden sind, werden sie in Übereinstimmung mit einer geforderten Übertragungsfolge, in der der Niederfrequenzseite Priorität gegeben wird, umgeordnet.
Offenbarung der Erfindung
Die vorliegende Erfindung ist auf ein System zur effektiven progressiven Bildübertragung gerichtet, in dem die vorstehenden Probleme, von denen die Stände der Technik betroffen sind, gelöst sind.
Gemäß dem ersten Aspekt der vorliegenden Erfindung wird eine Videocodierungsvorrichtung geschaffen, mit: einem Unterband-Zerlegungsmittel, das jede der Komponenten Aⁿ (1 ≤ n ≤ N, n ganzzahlig) in unterschiedliche Frequenzunterbänder zerlegt, wobei jede Komponente eine von N (N ≥ 2) Arten von ein Bild aufbauenden Luminanz- und Chrominanzkomponenten ist, einem Koeffizientencodierungsmittel, das Frequenzkoeffizienten in den Unterbändern codiert, um für jedes Unterband codierte Koeffizientendaten zu erzeugen, einem Umordnungsmittel, das bei Empfang der Unterbänder, die aus codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten vorbereitet, die durch Kombinieren von Unterbändern gebildet sind, die aus den jeweiligen Komponenten Aⁿ ausgewählt sind, und (2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender Reihenfolge der Unterbandfrequenz beginnend bei der die Niederfrequenz-Unterbänder enthaltenden Einheit und endend bei der die Hochfrequenz-Unterbänder enthaltenden Einheit umordnet, und einem Mittel zum Codieren mit variabler Länge, das eine Codierung mit variabler Länge der codierten Koeffizientendaten, die in den umgeordneten integrierten Komponenteneinheiten enthalten sind, ausführt, wobei das Umordnungsmittel dann, wenn die N Arten von Komponenten Aⁿ Komponenten mit unterschiedlichen Größen enthalten und das Unterband-Zerlegungsmittel die Komponenten Aⁿ mit unterschiedlichen Größen in Unterbänder in unterschiedlicher Anzahl zerlegt, (1a) wenigstens eine der integrierten Komponenteneinheiten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den Hochfrequenz-Unterbändern in den jeweiligen Komponenten Aⁿ mit unterschiedlicher Größe aufgebaut ist, und (1b) die anderen der integrierten Komponenteneinheiten, wovon jede durch Kombinieren entsprechender Unterbänder in derselben Anzahl aus den jeweiligen Komponenten Aⁿ aufgebaut sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten Aⁿ Komponenten enthalten, die unterschiedliche Größe besitzen und die in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Videodecodierungsvorrichtung geschaffen, mit: einem Mittel zum Decodieren mit variabler Länge, das Daten, die durch die Videocodierungsvorrichtung nach Anspruch 1 mit variabler Länge codiert sind, decodiert, einem Komponentenseparierungsmittel, das die integrierten Komponenteneinheiten, die durch das Mittel zum Decodieren mit variabler Länge decodiert sind, in jeweilige Komponenten Aⁿ separiert, einem Koeffizientendecodierungsmittel, das die jeweiligen codierten Koeffizientendaten, die durch das Komponentenseparierungsmittel separiert sind, decodiert, und einem Unterband-Synthetisierungsmittel, das durch Synthetisierung von Unterbändern, die Daten enthalten, die durch das Koeffizientendecodierungsmittel für jeweilige Komponenten Aⁿ decodiert sind, ein decodiertes Bild rekonstruiert, wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter Komponenten Aⁿ Komponenten unterschiedlicher Größe und Unterbänder in unterschiedlicher Anzahl enthalten, (1a) die wenigstens eine Einheit integrierter Komponenten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den hochfrequenten Unterbändern in den Komponenten Aⁿ unterschiedlicher Größe in Unterbänder für die jeweiligen Komponenten Aⁿ, die die Unterbänder in unterschiedlicher Anzahl von Komponenten unterschiedlicher Größe enthalten, separiert und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren derselben Anzahl von Unterbändern, die aus den jeweiligen Komponenten Aⁿ aufgenommen werden, aufgebaut sind, in die gleiche Anzahl von Unterbändern für die jeweiligen Komponenten Aⁿ separiert, und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten dann, wenn die zerlegten Kompo nenten Aⁿ Komponenten unterschiedlicher Größe enthalten, die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind, separiert.
Die Vorrichtungen können an die Verarbeitung eines Bildes angepasst werden, dessen Luminanz- und Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil gegenüber dem herkömmlichen Verfahren schafft, das auf ein Bild angewendet wird, dessen Komponenten die gleiche Auflösung und die gleiche Anzahl von Unterbändern besitzen. Dieses von der vorliegenden Erfindung geschaffene Merkmal ist insbesondere für die digitale Bildverarbeitung wünschenswert, da viele digitale Bilder üblicherweise in der Weise formatiert sind, dass sie eine höhere Auflösung der Luminanzkomponente als der Chrominanzkomponente besitzen, und da das Unterbandzerlegungsniveau im Allgemeinen gemäß der Auflösung der Komponente geändert wird.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird eine Videocodierungsvorrichtung geschaffen, mit: einem Unterband-Zerlegungsmittel, das jede der Komponenten Aⁿ (1 ≤ n ≤ N, n ganzzahlig) in unterschiedliche Frequenzunterbänder zerlegt, wobei jede Komponente eine von N (N ≥ 2) Arten von ein Bild aufbauenden Luminanz- und Chrominanz-Komponenten ist, einem Koeffizientencodierungsmittel, das Frequenzkomponenten in den Unterbändern codiert, um codierte Koeffizientendaten für jedes Unterband zu erzeugen, einem Umordnungsmittel, das bei Empfang der Unterbänder, die aus codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten vorbereitet, die durch Kombinieren von Unterbändern, die aus den jeweiligen Komponenten Aⁿ ausgewählt sind, aufgebaut sind, und (2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender Reihenfolge der Unterbandfrequenzen beginnend bei der Einheit, die die Niederfrequenz-Unterbänder enthält, und endend bei der Einheit, die die Hochfrequenz-Unterbänder enthält, umordnet, und einem Mittel für eine Codierung mit variabler Länge, die eine Codierung mit variabler Länge der codierten Koeffizientendaten ausführt, die in den umgeordneten integrierten Komponenteneinheiten enthalten sind, wobei das Umordnungsmittel dann, wenn die N Arten von Komponenten Aⁿ Komponenten mit unterschiedlicher Größe enthalten und die Unterband-Zerlegungsmittel die Komponenten Aⁿ mit unterschiedlicher Größe in Unterbänder in unterschiedlicher Anzahl zerlegen, (1a) wenigstens eine der integrierter Kompo nenteneinheiten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den Niederfrequenz-Unterbändern in den jeweiligen Komponenten Aⁿ mit unterschiedlicher Größe aufgebaut sind, und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren entsprechender Unterbänder in der gleichen Anzahl aus den jeweiligen Komponenten Aⁿ aufgebaut sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten Aⁿ Komponenten enthalten, die unterschiedliche Größe besitzen und in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird eine Videodecodierungsvorrichtung geschaffen, mit: einem Mittel zum Decodieren mit variabler Länge, das Daten, die durch die Videocodierungsvorrichtung nach Anspruch 2 mit variabler Länge codiert sind, decodiert, einem Komponentenseparierungsmittel, das die integrierten Komponenteneinheiten, die durch die Mittel für die Decodierung mit variabler Länge decodiert sind, in jeweilige Komponenten Aⁿ separiert, einem Koeffizientendecodierungsmittel, das die jeweiligen codierten Koefiizientendaten, die durch die Komponentenseparierungsmittel separiert sind, decodiert, und einem Unterbandsynthetisierungsmittel, das ein decodiertes Bild durch Synthetisieren von Unterbändern, die Daten enthalten, die durch das Koeffizientendecodierungsmittel für jeweilige Komponenten Aⁿ decodiert sind, rekonstruiert, wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter Komponenten Aⁿ Komponenten unterschiedlicher Größe und Unterbänder in unterschiedlicher Anzahl enthalten, (1 a) die wenigstens eine Einheit integrierter Komponenten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den Niederfrequenz-Unterbändern in den jeweiligen Komponenten Aⁿ unterschiedlicher Größe aufgebaut sind, in Unterbänder für die jeweiligen Komponenten Aⁿ, die Unterbänder in unterschiedlicher Anzahl für die Komponenten unterschiedlicher Größe enthalten, separiert und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren der gleichen Anzahl von Unterbändern, die aus den jeweiligen Komponenten Aⁿ entnommen werden, aufgebaut sind, in die gleiche Anzahl von Unterbändern für die jeweiligen Komponenten Aⁿ separiert, und dadurch so betreibbar sind, dass sie die integrierten Komponenteneinheiten separiert, wenn die zerlegten Komponenten Aⁿ Komponenten unterschiedlicher Größe enthalten, die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Die Vorrichtungen können an die Verarbeitung eines Bildes angepasst werden, dessen Luminanz- und Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil gegenüber dem herkömmlichen Verfahren schafft, das auf ein Bild angewendet wird, dessen Komponenten die gleiche Auflösung und die gleiche Anzahl von Unterbändern besitzen. Außerdem schaffen diese Aspekte der vorliegenden Erfindung ein Merkmal, dass jede Einheit integrierter Komponenten immer das Verhältnis der Anzahlen der jeweiligen in einem Eingangsbild enthaltenen Komponenten widerspiegelt. Dieses Merkmal beseitigt die Notwendigkeit, redundante Daten auf der Decodierungsseite zu decodieren, wenn die Menge der Daten gemäß der Auflösung der Anzeigeeinheit decodiert wird.
In dem dritten Aspekt kann das Umordnungsmittel eine der weiteren integrierten Komponenteneinheiten aufbauen, die jeweils aus der gleichen Anzahl von Unterbändern der jeweiligen Komponenten Aⁿ aufgebaut sind, indem es das Unterband mit der niedrigsten Frequenz der jeweiligen Komponenten Aⁿ kombiniert.
Dementsprechend kann das Komponentenseparierungsmittel in dem vierten Aspekt eine Einheit integrierter Komponenten separieren, indem sie das Unterband mit der niedrigsten Frequenz aus den jeweiligen Komponenten Aⁿ zu Gruppen von Unterbändern für die jeweiligen Komponenten Aⁿ kombiniert.
Die Vorrichtungen können zunächst die Unterbänder der jeweiligen Komponenten Aⁿ mit der niedrigsten Auflösung separieren und senden, um zunächst einen zusammengefassten Inhalt eines Bildes zu geben, was es ermöglich, die subjektive Qualität des wiedergegebenen Bildes zu verbessern.
Kurzbeschreibung der Zeichnung
1A ist eine Ansicht zur Erläuterung eines Unterbandcodierungsverfahrens.
1B ist eine Ansicht zur Erläuterung eines Unterbandcodierungsverfahrens.
2 ist eine Ansicht zur Erläuterung eines progressiven Videosendesystems.
3 ist ein Blockschaltplan einer Videocodierungsvorrichtung des Standes der Technik.
4 ist ein Blockschaltplan einer Videodecodierungsvorrichtung des Standes der Technik.
5 zeigt eine Folge der Übertragung von Unterbandbildkoeffizienten gemäß der Videocodierungsvorrichtung des Standes der Technik.
6 ist ein Ablaufplan zur Erläuterung des Betriebs einer Videocodierungsvorrichtung des Standes der Technik.
7 ist ein Blockschaltplan einer Videocodierungsvorrichtung in einer Ausführungsform der vorliegenden Erfindung.
8 ist ein Blockschaltplan einer Videodecodierungsvorrichtung in einer Ausführungsform der vorliegenden Erfindung.
9 zeigt ein Hintergrundbeispiel der Zerlegung von Bildkomponenten in Teilbilder.
10 zeigt ein Hintergrundbeispiel einer Folge der Übertragung von Koeffizienten von Unterbandbildern.
11 zeigt ein weiteres Hintergrundbeispiel einer Folge der Übertragung von Koeffizienten von Unterbandbildern.
12 zeigt eine beispielhafte Folge von Abtastkoeffizienten in jeweiligen Unterbändern, die in der Ausführungsform der vorliegenden Erfindung zu verwenden sind.
13 zeigt ein Hintergrundbeispiel der Zusammenstellung mehrerer Unterbänder zu Elementen einer Einheit integrierter Komponenten.
14 zeigt ein Hintergrundbeispiel der Verwendung der Koeffizienten jeder Zeile in jedem Unterband als ein Element einer Einheit integrierter Komponen ten.
15 ist ein Ablaufplan, der eine Prozedur von Operationen einer Videocodierungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung zeigt.
16 ist ein Ablaufplan, der eine Prozedur von Operationen einer Videodecodierungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung zeigt.
17 zeigt ein weiteres Hintergrundbeispiel der Zerlegung von Bildkomponenten in Unterbänder.
18 zeigt eine Beziehung zwischen den Koeffizienten der jeweiligen Komponenten in einem Hintergrundbeispiel aus 17.
19 zeigt ein Beispiel einer Einheit integrierter Komponenten, die in dem Hintergrundbeispiel der 17 und 18 verwendet wird.
20 zeigt ein weiteres Beispiel einer Einheit integrierter Komponenten, die in dem Hintergrundbeispiel der 17 und 18 verwendet wird.
21 zeigt ein Beispiel der Unterbandzerlegung und einer Einheit integrierter Komponenten, die in der Ausführungsform der vorliegenden Erfindung verwendet wird.
22 zeigt ein weiteres Beispiel der Unterbandzerlegung und einer Einheit integrierter Komponenten, die in der Ausführungsform der vorliegenden Erfindung verwendet wird.
Anhand der beigefügten Zeichnung werden nun eine Videocodierungsvorrichtung und eine Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung ausführlich beschrieben.
7 ist ein Blockschaltplan, der eine Videocodierungsvorrichtung in Übereinstimmung mit der vorliegenden Erfindung zeigt. Wie in 7 gezeigt ist, enthält die Codierungsvorrichtung einen Unterband-Zerlegungsabschnitt (ein Unterband-Zerlegungsmittel) 101, einen Koeffizientencodierungsabschnitt (ein Koeffizientencodierungsmittel) 102 und einen Abschnitt 103 zum Codieren mit va riabler Länge (ein Mittel 103 zum Codieren mit variabler Länge), die ähnlich konstruiert sind, wie jeweils die Abschnitte 2001, 2002 und 2003 aus 3.
Das Bezugszeichen 104 in 7 bezeichnet einen Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitt (ein Umordnungsmittel), der eine Einheit integrierter Komponenten entscheidet, die durch Kombinieren der Luminanz- oder Chrominanzelemente aus den codierten Koeffizientendaten, die von dem Koeffizientencodierungsabschnitt 102 geliefert werden, vorbereitet wird, und die codierten Koeffizientendaten der Unterbänder ausgehend von den codierten Koeffizientendaten des Unterbands mit der niedrigsten Auflösung in einer Sendereihenfolge anordnet. Während die Videocodierungsvorrichtung des Standes der Technik die codierten Koeffizientendaten nach der Codierung mit variabler Länge der Daten in der Sendereihenfolge umordnet, ordnet die Videocodierungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung die codierten Koeffizientendaten vor der Codierung mit variabler Länge der Daten in der Sendereihenfolge um.
Dies ermöglicht, die Decodierung mit variabler Länge der codierten Koeffizientendaten außer durch das Huffman-Codierungsverfahren z. B. durch ein arithmetisches Codierungsverfahren durchzuführen. Außerdem ist es in der vorliegenden Erfindung möglich, die Umordnung der codierten Koeffizientendaten wie in der Vorrichtung des Standes der Technik nach der Codierung mit variabler Länge durchzuführen. Der Betrieb der Ausführungsform wird unten mit einem Eingangsbild beschrieben, das aus den drei Komponenten Y (Luminanz), U (Chrominanz) und V (Chrominanz) aufgebaut ist, was dasselbe ist, wie es in der Vorrichtung des Standes der Technik verwendet wird. In dem zunächst zu beschreibenden Hintergrundbeispiel besitzen diese Komponenten die gleiche Auflösung, d. h. die gleichen Bildgrößen.
Eine Einheit integrierter Komponenten kann durch Kombinieren der Elemente Y, U und V aus den koeffizientencodierten Daten vorbereitet werden. Das folgende Beispiel ist eine Einheit integrierter Komponenten, die aus den Unterbändern von Y, U und V vorbereitet wird.
9 zeigt die Koeffizienten von Unterbandbildern, die durch die dreimalige Ausführung der Unterbandzerlegung der jeweiligen Bildkomponenten Y, U und V (Teil (a), (b) bzw. (c) aus 9) erhalten wurden. Die Bildgrößen der Kompo nenten Y, U und V sind zueinander gleich. Die 10 bzw. 11 zeigen die Reihenfolge der Sendung der Unterbandbildkoeffizienten von Y, U bzw. V (Teil (a), (b) und (c) sowohl von 10 als auch von 11) in 9. Die Buchstaben Y, U und V mit den Zahlenindizes bezeichnen in den beiden 10, 11 die Reihenfolge der Sendung der Unterbänder der jeweiligen Komponenten.
In dem Beispiel ist eine Einheit integrierter Komponenten aus Unterbändern aufgebaut, die eine Menge von Unterbändern mit der gleichen Auflösung der jeweiligen Komponenten enthält, d. h.: (Y_i, U_i, V_i), wobei i = 1 bis 10 (die Reihenfolge der zu übertragenden Unterbänder) ist.
Die Sendereihenfolge ist wie folgt: (Y₁, U₁, V₁), (Y₂, U₂, V₂), ..., (Y₁₀, U₁₀, V₁₀).
Im Fall von 10 wird ein Koeffizient mit hoher Auflösung in horizontaler Richtung vor einem Koeffizienten mit hoher Auflösung in vertikaler Richtung übertragen, während im Fall von 11 ein Koeffizient mit hoher Auflösung in vertikaler Richtung vor einem Koeffizienten mit hoher Auflösung in horizontaler Richtung übertragen wird. Dementsprechend kann die Auflösung des auf der Decodierungsseite wiedergegebenen Bildes im Fall von 10 zunächst in horizontaler Richtung verbessert werden, während sie im Fall von 11 zunächst in vertikaler Richtung verbessert werden kann.
Die Verarbeitung der Koeffizienten in einem Unterband kann in irgendeiner der in 12 gezeigten Reihenfolgen ausgeführt werden.
Das Unterband wird horizontal von links oben nach rechts unten abgetastet (der mit (1) bezeichnete Teil aus 12) oder wird vertikal von links oben nach rechts unten abgetastet (Teil (2) aus 12) oder wird spiralförmig von der Mitte des Unterbands zu seinem Äußeren abgetastet (Teil (3) von 12). Wie in jedem Teil (a) der Teile (1) bis (3) in 12 gezeigt ist, werden die Koeffizienten in einem Unterband durch eine Abtastung verarbeitet, während, wie jeweils in jedem der Teile (b) und (c) der Teile (1) bis (3) gezeigt ist, die Koeffizienten in einem Unterband dadurch verarbeitet werden, dass zweimal abgetastet wird.
In Teil (c) in 12 zeigt jeder Pfeil einen Koeffizienten oder eine Menge mehrerer (t) Koeffizienten. Eine Menge von (t) Koeffizienten wird in der durch den Pfeil angegebenen Richtung übertragen, eine nachfolgende Menge von (t) Koeffizien ten wird nicht übertragen und eine weitere nachfolgende Menge von (t) Koeffizienten wird in der durch den Pfeil angegebenen Richtung übertragen. Diese Schritte werden in dem ersten Abtastverfahren wiederholt. Diejenigen Koeffizienten, die in dem (als Pfeile mit durchgezogenen Linien gezeigten) ersten Abtastverfahren nicht übertragen geblieben sind, werden auf ähnliche Weise wie in dem ersten Abtastverfahren in dem zweiten Abtastverfahren (das als Pfeile mit Strichlinien gezeigt ist) übertragen.
Wie in den Teilen (4) und (5) von 12 gezeigt ist, ist es außerdem möglich, die Koeffizienten eines Unterbands dadurch zu verarbeiten, dass drei- oder mehrmals abgetastet wird. Beispielsweise wird ein horizontales Intervall und ein vertikales Intervall zwischen den durch die n-te Abtastung zu verarbeitenden Koeffizienten als dx bzw. dy ausgedrückt. Falls dx = dy = 1 ist, werden alle Koeffizienten durch eine Rasterabtastung codiert. Falls dx = dy = 2 ist und die horizontalen und vertikalen Positionen der codierbaren Koeffizienten als (y, x) bestimmt sind, codiert die erste Abtastung die Koeffizienten an den Positionen (0, 0), (0, 2, (0, 4) ... (2, 0), (2, 2), (2, 4) ... (4, 0), (4, 2), (4, 4) ...;
codiert die zweite Abtastung die Koeffizienten an den Positionen (0, 1), (0, 3), (0, 5) ... (2, 1), (2, 3), (2, 5) ... (4, 1), (4, 3), (4, 5) ...;
codiert die dritte Abtastung die Koeffizienten an den Positionen (1, 0), (1, 2), (1, 4) ... (3, 0), (3, 2), (3, 4) ... (5, 0), (5, 2), (5, 4) ...;
codiert die vierte Abtastung die Koeffizienten an den Positionen (1, 1), (1, 3), (1, 5) ... (3, 1), (3, 3), (3, 5) ... (5, 1), (5, 3), (5, 5). Kurz gesagt, werden durch vier Abtastungen alle Koeffizienten codiert.
Durch Verallgemeinerung dieses Verfahrens als (dx = DX, dy = DY) codiert die erste Abtastung im Fall von Teil (1) in 12, wie in Teil (4) in 12 gezeigt ist, die Koeffizienten an den Positionen (0, 0), (0, DX), (0, 2*DX) ...;
codiert die zweite Abtastung die Koeffizienten an den Positionen (0, 1), (0, DX + 1), (0, 2*DX + 1) ...;
codiert die dritte Abtastung die Koeffizienten an den Positionen (0, 2), (0, DX + 2) ... (0, 2*DX + 2) ...;
codiert die Abtastrunde DX die Koeffizienten an den Positionen (0, DX – 1), (0, 2*DX – 1), (0, 3*DX – 1) ...;
codiert die Abtastrunde (DX + 1) die Koeffizienten an den Positionen (1, 0) (1, DX), (1, 2*DX) ...;
codiert die Abtastrunde (DX + 2) die Koeffizienten an den Positionen (1, 1) (1, DX + 1), (1, 2*DX + 1) ...;
...
codiert die Abtastrunde (DX*DY) die Koeffizienten an den Positionen (DY – 1, DX – 1) (DY – 1, 2*DX – 1), (DY – 1, 3*DX – 1) ... (2*DY – 1, DX – 1) (2*DY – 1, 2*DX – 1), (2*DY – 1, 3*DX – 1). Kurz gesagt, werden durch die (DX*DY)-Abtastungen alle Koeffizienten codiert. Teil (2) in 12 ist hinsichtlich der vertikalen und horizontalen Richtung umgekehrt zu Teil (1) in 12. Die Koeffizienten können dadurch verarbeitet werden, dass, wie in Teil (5), 12, gezeigt ist, in horizontalen und vertikalen Intervallen von (dx = DX, dy = DY) abgetastet wird.
Im Vergleich zu den Koeffizienten, die durch Rasterabtastung von links oben eines Vollbilds codiert werden, können die Unterbandkoeffizienten, die durch die Abtastung in zwischen den jeweiligen Koeffizienten vorgesehenen Intervallen codiert werden, ein Bild wiedergeben, dessen Inhalt in einer früheren Phase der Codierung erkannt werden kann, wobei dieses Bild durch die Wirkung der allmählichen Verbesserung der Qualität des decodierten Bildes einen besseren subjektiven Eindruck vermitteln kann.
Unten wird ein Beispiel einer Einheit integrierter Komponenten beschrieben, die mehrere Unterbänder enthält, die in den jeweiligen Komponenten enthalten sind. 13 zeigt eine weitere Sendereihenfolge der Koeffizienten des Unterbandbilds aus 9. In einem Teil (b) von 13 ist ein Beispiel der Codierung eines Unterbandbilds in vier Schichten dargestellt. Wie in einem Teil (a) von 13 gezeigt ist, bestehen die Blöcke (Y₂, Y₃, Y₄), (U₂, U₃, U₄) und (V₂, V₃, V₄) in Teil (b) von 13 jeweils aus drei Unterbändern (m = 3).
Das heißt, die drei in Teil (a) von 13 gezeigten Unterbänder (1, 2, 3) entsprechen einer Elementmenge in einer Einheit integrierter Komponenten. Da diese drei Unterbänder als ein Element behandelt werden, werden die drei Koeffizienten mit den gleichen relativen Positionen in den jeweiligen drei Unterbändern, wie in einem Teil (c) von 13 gezeigt ist, als eine Menge behandelt.
Drei Koeffizienten, die an den gleichen relativen Positionen in den jeweiligen drei Unterbändern in 13 vorhanden sind, werden als ein Koeffizient angenommen, d. h. (Koeffizient Y_HL1, Koeffizient Y_LH1, Koeffizient Y_HH1) wird durch (Koeffizient Y₄) dargestellt. Die Komponente Y in jeder der in Teil (b) von 13 gezeigten Schichten wird zunächst in der in 12 gezeigten Abtastreihenfolge übertragen. Ähnlich wird nachfolgend die Komponente U übertragen und wird daraufhin die Komponente V übertragen. Die Koeffizienten der Unterbandbilder mit den gleichen Auflösungsniveaus in horizontaler, vertikaler und diagonaler Richtung werden von der Codierungsseite zusammen gesendet, so dass die Auflösungen eines wiedergegebenen Bildes auf der Codierungsseite in horizontaler, vertikaler und diagonaler Richtung gleichzeitig erhöht werden.
Gemäß einem weiteren Verfahren zur Behandlung dreier Unterbänder als ein Element wird zunächst ein Unterband 1 vollständig gesendet, wird daraufhin ein Unterband 2 vollständig gesendet und wird schließlich ein Unterband 3 vollständig gesendet. Wie in 13 gezeigt ist, wird das Unterband 1 der Komponente Y in der in 12 gezeigten Abtastreihenfolge gesendet. Nachfolgend wird das Unterband 2 der Komponente Y in der gleichen Abtastreihenfolge gesendet und wird daraufhin das Unterband 3 der Komponente Y in der gleichen Abtastreihenfolge gesendet. Nachfolgend werden wie für die Komponente Y die Unterbänder 1, 2 und 3 der Komponente U in der gleichen Abtastreihenfolge einzeln gesendet. Schließlich werden wie für die Komponente Y die Unterbänder 1, 2 und 3 der Komponenten V in der gleichen Abtastreihenfolge einzeln gesendet.
Eine Einheit integrierter Komponenten enthält die Elemente (das Unterband 1 der Komponente Y, das Unterband 2 der Komponente Y, das Unterband 3 der Komponente Y, das Unterband 1 der Komponente U, das Unterband 2 der Komponente U, das Unterband 3 der Komponente U, das Unterband 1 der Komponente V, das Unterband 2 der Komponente V, das Unterband 3 der Komponente V). In diesem Fall wird die Auflösung eines auf einer Decodierungsseite wiedergegebenen Bildes in der beschriebenen Reihenfolge in horizontaler Richtung, vertikaler Richtung und diagonaler Richtung erhöht. Die Sendung dieser drei Unterbänder in der Reihenfolge Unterband 2, Unterband 1 und Unterband 3 bewirkt auf der Decodierungsseite eine Zunahme der Auflösung des Bildes in der beschriebenen Reihenfolge in der horizontalen, vertikalen und diagonalen Richtung.
Wahlweise können mehrere Beispiele des Sendens von Unterbandkoeffizienten verwendet werden. Falls bekannt ist, dass ein codierbares Bild in einer angege benen Richtung eine höhere Auflösung besitzt, werden auf der Codierungsseite zunächst die Koeffizienten eines Unterbands in der bekannten Richtung mit hoher Auflösung gesendet und wird daraufhin die Übertragungsreihenfolge auf der Decodierungsseite umgeordnet, um die Koeffizienten des Unterbandbilds in der bekannten Richtung mit hoher Auflösung früher wiederzugeben. Dies ermöglicht, die Qualität der Bilder in dem Decodierungsverfahren auf der Decodierungsseite zu erhöhen. In diesem Fall muss die Decodierungsseite über die Sendereihenfolge informiert werden, in der die Koeffizienten codiert werden, indem diese Informationen in den codierten Daten angeordnet werden.
Der in 7 gezeigte Sendereihenfolgeentscheidungs-/Sendereihenfolgeumordnungsabschnitt 104 entscheidet die integrierten Komponenteneinheiten (im Fall von 9), die aus den Unterbändern (Y_i, U_i, V_i) bestehen sollen, wobei i = 1 bis 10 die Reihenfolge des Sendens der Unterbänder angibt, ordnet die Unterbänder, wie in den 10 und 11 gezeigt ist, in der Reihenfolge (Y₁, U₁, V₁), (Y₂, U₂, V₂), ..., (Y₁₀, U₁₀, V10) oder, wie in Teil (b) von 13 gezeigt ist, in der Reihenfolge (Y₁, U₁, V₁), (Y₂, U₂, V₂), ..., (Y₄, U₄, V₄) um und gibt daraufhin die umgeordneten koeffizientencodierten Daten an den Abschnitt 104 zum Codieren mit variabler Länge aus.
Obgleich in dem obenerwähnten Beispiel alle Koeffizienten in einem Unterband als eine Gruppe behandelt werden, kann in ihm außerdem eine Einheit integrierter Komponenten dadurch vorbereitet werden, dass ein Koeffizient oder mehrere Koeffizienten in einem Unterband als eine Gruppe behandelt werden. Das folgende Beispiel behandelt eine Zeile in einem Unterband als eine Gruppe von Koeffizienten.
14 zeigt eine Einheit integrierter Komponenten, die aus horizontalen Zeilen, einer in jedem der Unterbänder, besteht, und die wie folgt ausgedrückt ist:
(Y_i(y), U_i(y), V_i(y)), wobei Y_i(y), U_i(y), V_i(y) Einzeilendaten der jeweiligen Unterbänder Y, U und V sind, i = 1 bis 10 die Reihenfolge der Sendung der Unterbänder angibt und y jede Zeilennummer in den Unterbändern bezeichnet.
In diesem Fall ist die Reihenfolge der Übertragung der integrierten Komponenteneinheiten wie folgt:
(Y₁(0), U₁(0), V₁(0)), (Y₁(1), U₁(1), V₁(1)), ...,
(Y₂(0), U₂(0), V₂(0)), (Y₂(1), U₂(1), V₂(1)) ...,
...,
(Y₁₀(0), U₁₀(0), V₁₀(0)), (Y₁₀(1), U₁₀(1), V₁₀(1)), ....
In 14 besteht eine Einheit integrierter Komponenten aus horizontalen Zeilen, einer in jedem der Unterbänder, was der in Teil (a) von Teil (1) der 12 gezeigten Abtastreihenfolge entspricht. Außerdem ist es ebenfalls möglich, eine Einheit integrierter Komponenten vorzubereiten, die, wie in Teil (a) von Teil (2) aus 12 gezeigt ist, aus vertikalen Zeilen, einer in jedem der Unterbänder, zusammengesetzt ist. In diesem Fall können die Komponenten Y, U, V jeweils durch einen Pfeil ausgedrückt werden. Die Verarbeitung erfolgt an allen Unterbändern in der in 10, 11 oder Teil (b) von 13 gezeigten Reihenfolge.
Außerdem ist es möglich, eine Einheit integrierter Komponenten vorzubereiten, die jeweils aus einem Koeffizienten in jedem der Unterbänder aufgebaut ist und die ausgedrückt wird als: (Y_i(y, x), U_i(y, x), (V_i(y, x)), wobei Y_i(x, y), U_i(x, y), V_i(x, y) Koeffizienten in den jeweiligen Unterbändern Y, U und V sind, i = 1 bis 10 die Reihenfolge der Übertragung der Unterbänder angibt und y eine Position in vertikaler Richtung in einem Unterband bezeichnet, während x eine Position in horizontaler Richtung in einem Unterband bezeichnet. In diesem Fall kann die Sendereihenfolge irgendeine der in den Teilen (1), (2) und (3) aus 12 gezeigten Reihenfolgen sein. Die Verarbeitung wird an allen Unterbändern in der in 10, 11 oder in Teil (b) aus 13 gezeigten Reihenfolge vorgenommen.
15 ist ein Ablaufplan, der ein Beispiel des Betriebs des Sendereihenfolgeentscheidungs- und Sendereihenfolgeumordnungsabschnitts 104 aus 7 zeigt. In dem gezeigten Fall kann die Einheit integrierter Komponenten von den Unterbändern auf Koeffizienten (eine oder mehrere Gruppen von Koeffizienten) oder umgekehrt umgestellt werden. Der Abschnitt kann so entworfen sein, dass er lediglich unter Verwendung einer der zwei Einheiten arbeitet.
Dadurch, dass die Videocodierungsvorrichtung ein aus mehreren Komponenten Y, U und V aufgebautes Eingangsbild in Unterbandbilder zerlegt und die Unterbandbilder in aufsteigender Reihenfolge ihrer Auflösung, beginnend von dem Unterband mit der niedrigsten Auflösung, codiert, kann sie codierte Daten mit einer hierarchischen Struktur vorbereiten.
Im Vergleich zu der herkömmlichen Vorrichtung, die die Komponenten Y, U und V lediglich gemäß der Abtastzeilenbasis integriert, kann das obige Hintergrundbeispiel angesichts der Dateneigenschaften dadurch, dass integrierte Komponenteneinheiten gemäß der unterbandbasierten und/oder gemäß der koeffizientenbasierten Integration der Komponenten Y, U und V angewendet werden, eine adaptive Codierung von Eingangsvideodaten ausführen.
Nunmehr anhand von 8 wird im Folgenden ausführlich eine Videodecodierungsvorrichtung beschrieben, die die vorliegende Erfindung verkörpert. Diese Videodecodierungsvorrichtung soll Videodaten decodieren, die durch die Videocodierungsvorrichtung aus 7 vorbereitet worden sind.
Die Videodecodierungsvorrichtung in 8 umfasst einen Abschnitt 201 zum Decodieren mit variabler Länge (ein Mittel 201 zum Decodieren mit variabler Länge), einen Abschnitt 202 zum Zählen decodierter Daten (ein Mittel 202 zum Zählen decodierter Daten), einen Decodierungsabschneideabschnitt (ein Decodierungsabschneidemittel 203), einen Datenfertigstellungsabschnitt (ein Datenfertigstellungsmittel) 205, einen Koeffizientendecodierungsabschnitt (ein Koeffizientendecodierungsmittel) 206 und einen Unterbandsynthetisierungsabschnitt (ein Unterbandsynthetisierungsmittel) 207. Diese Abschnitte besitzen eine ähnliche Konstruktion wie die Abschnitte eines Abschnitts 2101 zum Decodieren mit variabler Länge, eines Abschnitts 2102 zum Zählen decodierter Daten, eines Decodierungsabschneideabschnitts 2103, eines Datenfertigstellungsabschnitts 2105, eines Koefiizientendecodierungsabschnitts 2106 bzw. eines Unterbandsynthetisierungsabschnitts 2107 aus 4.
Das Bezugszeichen 204 bezeichnet in 8 einen Komponentenseparierungsabschnitt (ein Komponentenseparierungsmittel, Komponentenumordnungsmittel) zum Separieren koeffizientencodierter Daten, die durch den Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitt der Codierungsvorrichtung umgeordnet wurden, in Daten für die jeweiligen Komponenten. Der Komponentenseparierungsabschnitt 204 ordnet die codierten Daten in jeweilige Komponentengruppen Y, U und V, indem er die von der Decodierungsseite ausgeführte Prozedur umkehrt.
Dementsprechend besitzt der Komponentenseparierungsabschnitt 204 einen (nicht gezeigten) Speicher zum Speichern der jeweiligen Komponenten Y, U und V. Grundsätzlich besitzt dieser Speicher die gleiche Kapazität, die der Unterbandzerlegungsabschnitt 101 der Videocodierungsvorrichtung besitzt. Allerdings kann dieser Abschnitt 204 so konstruiert sein, dass er eine Einheit integrierter Komponenten in Koeffizienten für die jeweiligen Komponentengruppen Y, U und V separiert und die separierten Komponenten beim Abschluss der Separation der Einheit integrierter Komponenten an den Koeffizientendecodierungsabschnitt 206 ausgibt. In diesem Fall kann der Abschnitt ausreichend Speicher besitzen, um lediglich die größte Einheit integrierter Komponenten zu speichern.
Der Komponentenseparierungsabschnitt 204 kann ebenfalls so konstruiert sein, dass er in der Weise arbeitet, dass er die Koeffizienten einer Einheit integrierter Komponenten erfolgreich separiert und an den Koeffizientendecodierungsabschnitt 206 ausgibt. In diesem Fall kann der Komponentenseparierungsabschnitt 204 einen Speicher besitzen, der groß genug ist, um unabhängig von der Größe irgendeiner zu separierenden Einheit integrierter Komponenten mehrere separierte Koeffizienten zu speichern. Die von dem Komponentenseparierungsabschnitt 204 ausgegebenen separierten Komponenten werden durch den Koeffizientendecodierungsabschnitt 206 decodiert und daraufhin in einem (nicht gezeigten) Speicher des Koeffizientendecodierungsabschnitts 206 gespeichert. In diesem Fall enthält der Koeffizientendecodierungsabschnitt 206 ein Mittel zum Umordnen decodierter Daten.
Außerdem können die decodierten Koeffizienten in einen (nicht gezeigten) Speicher geschrieben werden, der die einzugebenden frequenzabhängigen Koeffizienten in dem Unterbandsynthetisierungsabschnitt 207 speichert.
Wie oben beschrieben wurde, können die durch den Komponentenseparierungsabschnitt 204 separierten Koeffizienten in einer Vielzahl von Speichermitteln gespeichert werden. Allerdings wird zur weiteren Erläuterung zweckmäßig angenommen, dass der Komponentenseparierungsabschnitt 204 die integrierten Komponenteneinheiten dadurch separiert, dass er die separierten Koeffizienten in seinen Speicher schreibt, der die gleiche Kapazität besitzt, wie sie der Speicher des Unterbandzerlegungsabschnitts 101 der Videocodierungsvorrichtung besitzt.
Beispielsweise wird eine Einheit integrierter Komponenten, die aus den Unterbanddaten (Y₁, U₁, V₁) aufgebaut ist, jeweils in die separierten Elemente Y₁, U₁ und V₁ zerlegt. Die separierten Elemente Y₁, U₁ und V₁ werden in die entsprechenden Unterbandpositionen in einem Speicher geschrieben. Nachfolgend wird eine Einheit (Y₂, Y₂, V₂) in die separierten Elemente (Y₂, U₂ und V₂) zerlegt, die daraufhin in angegebene Stellen der entsprechenden Unterbänder im Speicher geschrieben werden, um Y, U und V zu speichern. Diese Verarbeitung wird an allen Unterbändern ausgeführt.
In diesem Fall ist die Reihenfolge der Decodierung der Koeffizienten in jedem Unterband die gleiche, wie sie für das in 12 gezeigte Verfahren beschrieben wurde. Beispielsweise hat die Codierungsseite Abtastungen ausgeführt, wie sie in Teil (1) aus 12 gezeigt sind, so dass die Decodierungsseite Abtastungen ausführen muss, wie sie in Teil (1) aus 12 gezeigt sind. Die Anwendung dieses Abtastverfahrens bewirkt, dass die Auflösung eines Bildes in dem Decodierungsverfahren von links oben nach oben rechts in der Reihenfolge der Rasterabtastung zunimmt.
Wenn die Koeffizienten, wie es in Teil (4) oder (5) aus 12 gezeigt ist, in einem besonderen Fall durch Abtasten mit dem Abstand zwischen ihnen codiert wurden, kann ein Bild, das decodiert wird, im Vergleich zu dem mittels Raster abgetasteten Bild leicht in einer früheren Stufe der Decodierung erkannt werden. Das Auflösungsniveau des Bildes kann allmählich verbessert werden, so dass das Bild eine bessere subjektive Bildqualität besitzen kann.
Wenn der Komponentenseparierungsabschnitt 204 eine Einheit integrierter Komponenten verarbeitet, die aus einer oder aus mehreren Gruppen (Mengen) von Koeffizienten in Unterbändern aufgebaut ist, ist sein Betrieb wie folgt:
Unter der Annahme, dass eine Zeile in einem Unterband als eine Gruppe von Koeffizienten betrachtet wird, wird eine Einheit integrierter Komponenten als (Y_i(y), U_i(y), V_i(y)) ausgedrückt, wobei Y_i(y), U_i(y), V_i(y) Einzeilendaten der jeweiligen Unterbänder Y, U und V sind, i = 1–10 (die Reihenfolge des Sendens der Unterbänder) ist und y eine Position in vertikaler Richtung in einem Unterband bezeichnet.
Um Y, U und V zu speichern, werden Y_i(y), U_i(y), V_i(y) voneinander separiert und in die Positionen <Zeile y> der entsprechenden Unterbänder i in dem Speicher geschrieben. Diese Verarbeitung wird in der Reihenfolge beginnend bei dem Unterband mit der niedrigsten Auflösung und endend bei dem Unterband mit der höchsten Auflösung an allen Zeilen an den Unterbändern ausgeführt.
Wenn eine Einheit integrierter Komponenten aus Koeffizienten aufgebaut ist, von denen jeweils einer aus jedem Unterband ausgewählt worden ist, wird sie wie folgt ausgedrückt: (Y_i(y, x), U_i(y, x), V_i(y, x)), wobei Y_i(y, x), U_i(y, x), V_i(y, x) Einkoeffizientendaten der jeweiligen Unterbänder Y, U und V sind, i = 1 – 10 (die Reihenfolge der Sendung der Unterbänder) ist und y eine Position in vertikaler Richtung in einem Unterband bezeichnet, während x eine Position in horizontaler Richtung in einem Unterband bezeichnet.
Um Y, U und V zu speichern, werden die Elemente Y_i(y, x), U_i(y, x), V_i(y, x) voneinander separiert und in die Positionen (y, x) eines Koeffizienten der entsprechenden Unterbänder i in dem Speicher geschrieben. Diese Verarbeitung wird beginnend bei dem Unterband mit der niedrigsten Auflösung und endend bei dem Unterband mit der höchsten Auflösung an allen Koeffizienten in den Unterbändern ausgeführt.
Wie zuvor anhand von 12 beschrieben worden ist, wendet die Decodierungsseite auch dann das gleiche Koeffizientenabtastverfahren an, wie es die Codierungsseite verwendet hat, wenn eine Einheit integrierter Komponenten durch 1 Zeile oder durch einen Koeffizienten ausgewählt wird.
Die von dem Komponentenseparierungsabschnitt 204 ausgegebenen separierten Koeffizienten werden zu jeweiligen Komponentengruppen Y, U und V kombiniert und daraufhin als jeweilige Gruppen behandelt.
16 ist ein Ablaufplan, der eine beispielhafte Betriebsprozedur des Komponentenseparierungsabschnitts 204 zeigt. In dem in 16 gezeigten Fall kann die Einheit integrierter Komponenten von den Unterbändern auf Koeffizienten (eine oder mehrere Gruppen von Koeffizienten) umgestellt werden oder umgekehrt. An den Abschnitt 204 kann eine der beiden integrierten Komponenteneinheiten geliefert werden.
Anhand von 8 wird unten der Betrieb des Datenfertigstellungsabschnitts 205 ausführlich beschrieben:
In diesem Fall wird eine Einheit integrierter Komponenten aus Einzeilendaten in einem Unterband aufgebaut.
Es wird nun angenommen, dass der Decodierungsbetrieb, wenn die Daten, beispielsweise Online-Daten der in 14 gezeigten Einheit integrierter Komponenten, z. B. (Y₁(0), U₁(0), V_i(0)), ..., (Y₃(5), U₃(5), V₃(5)), decodiert worden sind, durch die Wirkung des Decodierungsabschneideabschnitts 203 angehalten wurde, da die Anzahl der Bits der decodierten Daten einen Schwellenwert übersteigt. In diesem Fall sind die Koeffizienten der Unterbänder 1 und 2 und die Koeffizienten der ersten Zeile bis fünften Zeile des Unterbands 3 decodiert worden, während die verbleibenden Teile keinen Koeffizienten besitzen.
Der Datenfertigstellungsabschnitt 205 erzeugt die Unterbandkoeffizienten dadurch, dass er in die verbleibenden leeren Teile, wo keine Daten vorhanden sind, 0 einsetzt. Dies ermöglicht, dass der Koeffizientendecodierungsabschnitt 206 und der Unterbandsynthetisierungsabschnitt 207 die nachfolgenden Verarbeitungsschritte normal ausführen. Die leeren Daten können auch durch einen anderen Wert als 0 ersetzt werden. Die Bereitstellung des Abschnitts 202 zum Zählen decodierter Daten, des Decodierungsabschneideabschnitts 203 und des Datenfertigstellungsabschnitts 205 ermöglicht, dass die Decodierungsseite den Decodierungsbetrieb auf Anforderung des Anwenders an irgendeiner Position abschneidet.
Während die Anzahl der Bits der decodierten Daten den Schwellenwert nicht übersteigt, erledigt der Datenfertigstellungsabschnitt 205 nichts. Dementsprechend kann ein maximal auszudrückender Wert im Fall der Decodierung aller codierten Daten als der Schwellenwert voreingestellt werden. Die Ausführungsform kann ein System aus 8 sein, in dem in diesem Fall der Abschnitt 202 zum Zählen decodierter Daten, der Decodierungsabschneideabschnitt 203 und der Datenfertigstellungsabschnitt 205 weggelassen sind.
Die codierten Daten mit der hierarchischen Struktur, die ein Bild darstellen, das aus mehreren Komponenten Y, U, V aufgebaut ist, können auf der Decodierungsseite decodiert werden. Die codierten Daten mit der hierarchischen Struk tur ermöglichen die progressive Decodierung der codierten Daten, wodurch die Qualität des gesamten wiedergegebenen Bildes aufeinander folgend verbessert wird. Im Vergleich zu dem Verfahren des Standes der Technik, das auf die integrierten Komponenteneinheiten mit einer Zeile für jede Komponente beschränkt ist, kann das obige System eine Vielzahl progressiver Wiedergaben des codierten Bildes durchführen. Beispielsweise kann das System ein Verfahren zur gleichmäßigen Verbesserung der Auflösung des wiedergegebenen Bildes in horizontaler, vertikaler und diagonaler Richtung ausführen, währen das Verfahren des Standes der Technik lediglich die Bildauflösung in horizontaler Richtung vor den anderen Richtungen verbessert.
Im Folgenden wird ein zweites System, diesmal zum Codieren und Decodieren eines aus Komponenten mit unterschiedlichen Größen aufgebauten Bildes, beschrieben. Das System verwendet die gleiche Konstruktion wie oben beschrieben, wobei aber der Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 104 (der Schritt der Ausgabe einer Einheit integrierter Komponenten) anders ist. Somit werden die gleichen Abschnitte wie in dem obigen System nicht weiter erläutert. Im Folgenden wird lediglich der Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 104 beschrieben.
Beispielsweise wird ein Format von 4 : 2 : 0 verwendet, in dem die Komponenten U und V eine horizontale und vertikale Größe besitzen, die halb so groß wie die der Komponente Y ist. 17 zeigt die Ergebnisse der dreimaligen Bandzerlegung sowohl der Komponente Y, deren Größe Y*X ist, als auch der Komponenten U und V, deren jeweilige Größe Y/2*X/2 ist. In diesem Fall besitzt jedes der Unterbänder U und V in horizontaler und vertikaler Richtung die halbe Größe der Komponente Y. Die jeweiligen Komponenten Y, U und V besitzen die gleiche Anzahl von Unterbändern.
Dementsprechend entsteht kein Problem bei den unterbandbasierten integrierten Einheiten, wenn das gleiche Abtastverfahren und die gleiche Sendereihenfolge wie im ersten Beispiel angewendet werden.
Allerdings kann es eine Schwierigkeit mit einer Einheit integrierter Komponenten geben, die aus einem oder aus mehreren Koeffizienten aufgebaut ist.
Die Unterbänder Y, U, V besitzen voneinander unterschiedliche Größe, so dass die große Komponente Y überschüssige Koeffizienten besitzen kann, falls eine Einheit integrierter Komponenten, wie es zuvor in dem ersten Beispiel beschrieben worden ist, aus der gleichen Anzahl von Koeffizienten pro Unterband aufgebaut wird.
Somit wird die Anzahl der Koeffizienten pro Komponente, die in eine Einheit integrierter Komponenten aufzunehmen sind, gemäß dem Größenverhältnis der jeweiligen Komponenten eingestellt, falls sich die Größen der Komponenten voneinander unterscheiden.
Ein Teil (1) aus 18 zeigt die Entsprechung der Koeffizienten der jeweiligen Komponenten für ein Bild in dem Format 4 : 2 : 0, wie es in 17 gezeigt ist. Da die Komponenten Y, U und V die gleiche Anzahl von Unterbändern pro Komponente besitzen, ist die Reihenfolge der Übertragung der integrierten Komponenteneinheiten die gleiche, wie sie in 10 für das erste Beispiel gezeigt wurde. In diesem Fall ist das Verhältnis der horizontalen und vertikalen Längen der Komponenten Y, U und V 2 : 1 : 1, so dass ein Koeffizient jeder Komponente U oder V 4 Koeffizienten der Komponente Y entspricht. Dementsprechend wird die Anzahl der Koeffizienten für die Komponenten Y, U, V, die in eine Einheit integrierter Komponenten aufzunehmen sind, gemäß dem Verhältnis 4 : 1 : 1 bestimmt.
Die auf der Grundlage der Unterbänder der jeweiligen Komponenten vorbereiteten integrierten Komponenteneinheiten enthalten die Koeffizienten der Komponenten Y, U und V im Verhältnis 4 : 1 : 1 und werden auf die gleiche Weise wie zuvor für das erste Beispiel beschrieben verarbeitet.
Dementsprechend wird für eine Zeile pro Unterband eine Einheit integrierter Komponenten vorbereitet, die, wie in 19 gezeigt ist, zwei Zeilen Y, eine Zeile U und eine Zeile V enthält, während für eine Koeffizientengruppe pro Unterband eine Einheit integrierter Komponenten vorbereitet wird, die, wie in 20 gezeigt ist, 2*2 Koeffizienten Y, einen Koeffizienten U und einen Koeffizienten V enthält. Die Bezugszeichen mit dem Index eins an den Komponentendaten Y, U und V geben in 19 beispielhaft die Reihenfolge der Übertragung der Daten in den jeweiligen integrierten Komponenteneinheiten an. Die integrierten Komponenteneinheiten für Y, U und V werden für ein Unterband einzeln verarbeitet.
Beim Abschluss der Verarbeitung eines Unterbands schreitet das Verfahren in der in Teil (1) aus 18 gezeigten Reihenfolge zur Verarbeitung eines weiteren Unterbands fort. Die Reihenfolge der Übertragung der Unterbänder kann entweder die in 11 gezeigte oder die in Teil (b) von 13 gezeigte sein.
Dadurch, dass die Anzahl der Datenkomponenten, die in einer Einheit integrierter Komponenten enthalten sind, gemäß dem Verhältnis der horizontalen und vertikalen Größe der Komponenten geändert wird und die Daten in die entsprechenden Positionen in einem Speicher geschrieben werden, kann die Videodecodierungsseite bei Komponenten Y, U und V mit unterschiedlicher Größe die von der Codierungsseite gesendeten codierten Daten decodieren.
Bei der Arbeit mit den unterbandbasierten integrierten Komponenteneinheiten können in diesem Beispiel das gleiche Abtastverfahren und die gleiche Übertragungsreihenfolge angewendet werden, wie sie für das erste Beispiel beschrieben wurden.
Bis auf den Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 204 (den Schritt des Separierens einer Einheit integrierter Komponenten in jeweilige Komponenten und des Schreibens der separierten Daten in die entsprechenden Unterbänder in einem Speicher) besitzt das zweite Beispiel eine ähnliche Konstruktion und Funktion wie das erste Beispiel. Somit wird die weitere Beschreibung weggelassen.
In dem zweiten Beispiel kann den codierten Daten auch dann eine hierarchische Struktur verliehen werden, wenn die Komponenten eines Bildes unterschiedliche Größen haben. Die Decodierungsseite kann die gesamten decodierten Daten decodieren und außerdem aus einem Teil der codierten Daten ein gesamtes wiedergegebenes Bild erhalten.
Obgleich das zweite Beispiel lediglich mit einem Bild beschrieben worden ist, dessen Komponenten das horizontale und vertikale Größenverhältnis 2 : 1 : 1 haben, können mit ihm auf ähnliche Weise wie oben beschrieben andere Größenverhältnisse der Bildkomponenten behandelt werden.
Es wird nun eine Ausführungsform der vorliegenden Erfindung erläutert. Sie ist anpassbar an den Fall der Verarbeitung von Bildkomponenten, die eine unter schiedliche Größe besitzen und durch den Unterbandzerlegungsabschnitt 101 aus 7 in unterschiedliche Anzahlen von Zerlegungsniveaus zerlegt werden. Bis auf den Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 104 (den Schritt des Ausgebens einer Einheit integrierter Komponenten) ist diese Ausführungsform der vorliegenden Erfindung ähnlich dem ersten Hintergrundbeispiel. Somit werden die gleichen Abschnitte nicht weiter erläutert. Im Folgenden wird lediglich der Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitt 104 beschrieben.
Anhand von 21 wird diese Ausführungsform beispielhaft bei einem Eingangsbild beschrieben, dessen Komponenten U und V eine horizontale und vertikale Länge besitzen, die halb so groß wie die der Komponente Y ist. Ein mit (1) bezeichneter Teil von 21 zeigt die Ergebnisse der dreimaligen Zerlegung der Komponente Y bzw. der zweimaligen Zerlegung der Komponenten U und V. Da sich die Anzahl der Unterbänder von Y von der von U und V unterscheidet, können in der Ausführungsform nicht die Übertragungsverfahren verwenden werden, die für das erste und für das zweite Hintergrundbeispiel beschrieben worden sind, wobei somit das folgende Verfahren zum Übertragen der Unterbänder verwendet wird.
Zunächst wird eine Einheit integrierter Komponenten beschrieben, die aus den Unterbändern der jeweiligen Komponenten Y, U und V aufgebaut ist. In diesem Fall (erstes Beispiel der Ausführungsform) werden die Kombinationen der Dreikomponenten-Unterbänder Y, U und V, die wie in Teil (2) aus 21 gezeigt aus sieben der niedrig aufgelösten Unterbänder der jeweiligen Komponenten Y, U und V vorbereitet worden sind, einzeln an den Abschnitt 103 aus 7 zum Codieren mit variabler Länge übertragen, woraufhin die drei verbleibenden Unterbänder der Komponente Y unabhängig einzeln an den Abschnitt 103 zum Codieren mit variabler Länge übertragen werden. Kurz gesagt, sind die jeweiligen auszugebenden integrierten Komponenteneinheiten jeweils aus den niedrig aufgelösten Unterbändern der jeweiligen Komponenten Y, U und V, aus null Stücken der hoch aufgelösten Unterbänder der Komponenten U und V und lediglich aus einem hoch aufgelösten Unterband der Komponente Y aufgebaut.
Dementsprechend wird die Übertragungsreihenfolge als (Y₁, U₁, V₁), (Y₂, U₂, V₂), ..., (Y₇, U₇, V₇), (Y₈), (Y₈), (Y₁₀) ausgedrückt. In diesem Fall besitzen die Unterbänder der jeweiligen Y-, U-, V-Komponente (Y_i, U_i, V_i), wobei i = 1 bis 7 die Übertragungsreihenfolge bezeichnet, die gleichen Größen, so dass, falls Unterbänder oder eine oder mehrere Gruppen von Koeffizienten die Einheit integrierter Komponenten sind, das gleiche Abtastverfahren angewendet werden kann, wie es in dem ersten Hintergrundbeispiel verwendet worden ist.
Die Unterbänder der Komponenten Y, U und V werden wie im Teil (b) von 13 gezeigt zu dreien kombiniert, so dass sie die folgenden Kombinationen bilden:
(Y₁, U₁, V₁), (Y₂, Y₃, Y₄, U₂, U₃, U₄, V₂, V₃, V₄), (Y₅, Y₆, Y₇, U₅, U₆, U₇, V₅, V₆, V₇), (Y₈),(Y₉),(Y₁₀),
Ein weiteres Beispiel (das zweite Beispiel der Ausführungsform) ist in 22 gezeigt. Die in einem Teil (1) aus 22 gezeigten Unterbandbilder werden im Ergebnis der dreimaligen Zerlegung der Komponente Y bzw. der zweimaligen Zerlegung der Komponenten U und V erhalten. In diesem Fall werden die zu sendenden integrierten Komponenteneinheiten dadurch gebildet, dass eine Menge von vier niedrig aufgelösten Unterbändern Y, wie in einem Teil (2) von 22 gezeigt ist, mit zwei niedrig aufgelösten Unterbändern U und V kombiniert werden und dass die hoch aufgelösten Unterbänder der Komponenten Y, U und V, wie in einem Teil (3) von 22 gezeigt ist, einzeln miteinander kombiniert werden.
Die Reihenfolge der Übertragung der Unterbänder ist wie folgt: (Y₁, Y₂, Y₃, Y₄, U₁, V₁), (Y₅, U₂, V₂), (Y₆, U₃, V₃), (Y₇, U₄, V₄), (Y₈, U₅, V₅), (Y₉, U₆, V₆), (Y₁₀, U₇, V₇).
In dem zweiten Beispiel besitzen drei Komponenten mit den entsprechenden Unterbändern unterschiedliche Größen, so dass auf jede Einheit integrierter Komponenten das gleiche Abtastverfahren angewendet werden kann, wie es in dem zweiten Hintergrundbeispiel verwendet wird.
Die in Teil (3) von 22 gezeigten Unterbänder (Y₅, Y₆, Y₇) entsprechen einem Unterband der vertikalen Auflösung, einem Unterband der horizontalen Auflösung bzw. einem Unterband der diagonalen Auflösung und besitzen die gleichen Auflösungsniveaus. Somit kann jede Einheit integrierter Komponenten dadurch vorbereitet werden, dass die jeweiligen hoch aufgelösten Unterbänder der jeweiligen Komponenten Y, U und V für jede Komponente zu dreien kombiniert werden. Dies ist das dritte Beispiel der Ausführungsform der Vorbereitung einer Einheit integrierter Komponenten. Ähnlich kann eine Einheit integrierter Komponenten aus den Kombinationen (Y₈, Y₉, Y₁₀), (U₂, U₃, U₄), (U₅, U₆, U₇), (V₂, V₃, V₄), (V₅, V₆, V₇) vorbereitet werden.
In diesem Fall ist die Sendereihenfolge wie folgt: (Y₁, Y₂, Y₃, Y₄, U₁, V₁), (Y₅, Y₆, Y₇, U₂, U₃, U₄, V₂, V₃, V₄), (Y₈, Y₉, Y₁₀, U₅, U₆, U₇, V₅, V₆, V₇).
In dem obenbeschriebenen Beispiel werden die Unterbänder Y₁, Y₂, Y₃, Y₄, U₁, V₁ als mehrere niedrig aufgelöste Unterbänder ausgewählt, während das Größenverhältnis von Y, U und V (in diesem Beispiel das horizontale und das vertikale Größenverhältnis von 2 : 1 : 1) beibehalten wird. Außer der obigen Kombination können auch Y₁, Y₂, ..., Y₇, U₁, ..., U₄, V₁, ..., V₄ als mehrere der niedrig aufgelösten Unterbänder ausgewählt werden.
Ein weiteres, viertes Beispiel, das eine weitere Art des obenerwähnten zweiten oder dritten Beispiels ist, ist so, dass, wie in einem Teil (4) aus 22 gezeigt ist, die Unterbänder Y, U, V mit der niedrigsten Auflösung aus den jeweiligen Gruppen der niedrig aufgelösten Unterbänder Y₁, Y₂, ..., Y₇, U₁, ..., U₄, V₁ ..., V₄, für die jeweiligen Komponenten entnommen und separiert übertragen werden, woraufhin wie in dem zweiten oder dritten Beispiel eine Menge der verbleibenden niedrig aufgelösten Unterbänder übertragen werden. In diesem Fall ist die Menge der niedrig aufgelösten Unterbänder, wie in einem Teil (5) von 22 gezeigt ist, eine Kombination von sechs Y-Komponenten-Unterbändern, drei U-Komponenten-Unterbändern und drei V-Komponenten-Unterbändern. Nach der Übertragung aller niedrig aufgelösten Unterbänder werden die in einem Teil (6) von 22 gezeigten hoch aufgelösten Unterbänder übertragen.
Im Fall der Kombination jeweils eines Unterbands für jede Komponente (entsprechend dem zweiten Beispiel) ist die Reihenfolge der Übertragung der Unterbänder wie folgt: (Y₁, U₁, V₁), (Y₂, Y₃, Y₄, Y₅, U₂, V₂), (Y₆, U₃, V₃), (Y₇, U₄, V₄), (Y₈, U₅, V₅), (Y₉, U₆, V₆), (Y₁₀, U₇, V₇),
Im Fall der Kombination der Unterbänder zu dreien für jede Komponente (entsprechend dem dritten Beispiel) ist die Reihenfolge der Übertragung der Unterbänder wie folgt: (Y₁, U₁, V₁), (Y₂, Y₃, Y₄, Y₅, Y₆, Y₇, U₂, U₃, U₄, V₂, V₃, V₄), (Y₈, Y₉, Y₁₀, U₅, U₆, U₇, V₅, V₆, V₇).
Bei Komponenten, deren Unterbandzerlegungsniveaus nicht kleiner als 4 sind, ist die Menge der Unterbänder, deren Auflösungsniveaus höher als das eines in einem Teil (6) von 22 gezeigten Unterbands sind, für die Komponenten Y, U und V gleich. In diesem Fall werden die integrierten Komponenteneinheiten, die jeweils aus einer Kombination der gleichen Anzahl von Unterbändern Y, U, V aufgebaut sind, anschließend gesendet.
In den obigen Beispielen der ersten bis vierten Ausführungsform ist die Sendereihenfolge der drei Unterbänder, die in horizontaler, vertikaler und diagonaler Richtung die gleichen Auflösungsniveaus besitzen, nicht beschränkt. Mit anderen Worten, für drei Unterbänder, die die gleichen Auflösungsniveaus haben, wie sie in einem Teil (a) von 13 gezeigt sind, kann die Sendereihenfolge dieser drei Unterbänder nicht nur Unterband1, Unterband2, Unterband3, sondern beispielsweise auch Unterband2, Unterband1, Unterband3 sein.
In dem ersten Beispiel kann die Videodecodierungsseite die von der Codierungsseite empfangenen codierten Daten dadurch decodieren, dass sie die Komponenten in jeder Einheit integrierter Komponenten in Gruppen der jeweiligen Komponenten Y, U und V separiert, die separierten Daten in die entsprechenden Unterbandbereiche im Speicher schreibt und schließlich die drei Unterbänder mit der höchsten Auflösung in den entsprechenden Unterbandbereich des Speichers schreibt.
In dem zweiten Beispiel kann die Videodecodierungsseite die von der Codierungsseite empfangenen codierten Daten dadurch decodieren, dass sie die Unterbänder in jeder Einheit integrierter Komponenten dadurch separiert, dass sie das von der Codierungsseite vorgenommene Verfahren umkehrt und die Unterbänder jeder Komponente in den entsprechenden Unterbandbereich in dem entsprechenden Speicher schreibt. In diesem Fall unterscheidet sich die dritte Ausführungsform von der ersten und von der zweiten Ausführungsform durch die Tatsache, dass aus mehreren der niedrig aufgelösten Unterbänder durch die Codierungsseite lediglich die erste Einheit integrierter Komponenten vorbereitet wird, die vier Unterbänder Y, ein Unterband U und ein Unterband V enthält.
Wie oben beschrieben wurde, kann die Anzahl der miteinander zu kombinierenden niedrig aufgelösten Unterbänder frei gewählt werden. Beispielsweise kann eine Einheit integrierter Komponenten am Anfang sieben Y-Komponenten-Unterbänder, vier U-Komponenten-Unterbänder und vier V-Komponenten-Unterbänder enthalten.
In dem dritten Beispiel kann jede Einheit integrierter Komponenten mit dem gleichen Verfahren, wie es für das zweite Beispiel beschrieben worden ist, in Unterbänder der jeweiligen Komponenten Y, U und V zerlegt und in die entsprechenden Unterbandbereiche (für die Komponenten Y, U und V) im Speicher geschrieben werden, um sie zu decodieren. Da die hoch aufgelösten Unterbänder Y, U und V in einer Einheit integrierter Komponenten auf der Codierungsseite zu dreien kombiniert worden sind, werden die hoch aufgelösten Unterbänder Y, U und V für jede Komponente in den entsprechenden Unterbandbereichen zu dreien im Speicher aufgezeichnet, um sie zu decodieren. Dieses Beispiel unterscheidet sich durch das obenerwähnte Merkmal von dem zweiten Beispiel.
In dem vierten Beispiel kann die Videodecodierungsseite die von der Codierungsseite empfangenen codierten Daten dadurch decodieren, dass sie die Unterbänder in jeder Einheit integrierter Komponenten auf die gleiche Weise separiert, wie es für die Decodierungsvorrichtung in dem zweiten oder dritten Beispiel beschrieben worden ist, und die Unterbänder jeder Komponente in den entsprechenden Unterbandbereich in dem entsprechenden Speicher schreibt. Dieses Beispiel unterscheidet sich von dem zweiten und dritten Beispiel durch die Tatsache, dass zunächst die Unterbänder der jeweiligen Komponenten Y, U, V mit der niedrigsten Auflösung in den entsprechenden Unterbandbereichen (Y, U, V) im Speicher gespeichert werden, um sie zu decodieren, und daraufhin die von den Unterbändern mit der niedrigsten Auflösung verschiedenen niedrig aufgelösten Unterbänder in den entsprechenden Bereichen (Y, U, V) im Speicher gespeichert werden.
Die Videodecodierungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung ist bis auf den Betrieb des Komponentenseparierungsabschnitts 204 (den Schritt des Separierens jeder Einheit integrierter Komponenten in die jeweiligen Komponenten und des Schreibens der separierten Daten in die entsprechenden Bereiche in einem Speicher) ähnlich der des ersten Hintergrund beispiels. Somit wird die weitere Erläuterung weggelassen.
Bei den integrierten Komponenteneinheiten, die jeweils aus einer oder aus mehreren Gruppen von Koeffizienten wie etwa Zeilen anstelle der Unterbänder für die jeweiligen Komponenten Y, U und V aufgebaut sind, kann in der Ausführungsform das gleiche Verfahren angewendet werden, wie es zuvor bei dem gleichen Fall in dem ersten und zweiten Hintergrundbeispiel beschrieben wurde, die auf dem gleichen Verfahren beruhen, wie es für die Einheit integrierter Komponenten beschrieben worden ist, die aus den Unterbändern für die jeweiligen Komponenten Y, U und V aufgebaut ist.
In der Ausführungsform der vorliegenden Erfindung kann ein Bild, dessen Komponenten unterschiedliche Größen und unterschiedliche Zerlegungsniveaus besitzen, in der Weise codiert werden, dass auf der Codierungsseite codierte Daten mit einer hierarchischen Struktur erhalten werden, während auf der Decodierungsseite aus den gesamten codierten Daten oder aus einem Teil der codierten Daten ein gesamtes Bild wiedergegeben wird.
Obgleich die Ausführungsform beispielhaft mit nur einem Bild mit Komponenten, deren Größenverhältnis 2 : 1 : 1 ist, beschrieben worden ist, können mit ihr wie oben beschrieben andere Größenverhältnisse von Bildkomponenten auf ähnliche Weise behandelt werden. Beispielsweise kann ein Bild, dessen Komponenten Y, U und V die gleiche Größe und unterschiedliche Anzahlen von Unterbändern besitzen, über das gleiche Verfahren, wie es oben in der Ausführungsform beschrieben worden ist, in der Weise codiert werden, dass es eine hierarchische Struktur besitzt. Außer der beschriebenen Reihenfolge aus 10 werden ebenfalls die Sendereihenfolgen angewendet, die den in den 11 bis 13 gezeigten entsprechen.
Die Ausführungsform der vorliegenden Erfindung ist beispielhaft mit der angegebenen Reihenfolge der Übertragung der Elemente Y, U, V in den integrierten Komponenteneinheiten beschrieben worden, soll aber nicht auf diese Reihenfolge beschränkt sein.
Industrielle Anwendbarkeit
Die vorliegende Erfindung bringt die folgenden vorteilhaften Wirkungen.
Zunächst können die Videocodierungsvorrichtung und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung für die Verarbeitung eines Bildes ausgelegt werden, dessen Luminanz- und Chrominanzkoeffizienten sich durch die Auflösung voneinander unterscheiden und die unterschiedliche Unterbandzerlegungsniveaus besitzen, was gegenüber dem herkömmlichen Verfahren, das lediglich auf ein Bild angewendet werden kann, dessen Komponenten die gleiche Auflösung und die gleiche Anzahl von Unterbändern besitzen, einen großen Vorteil schafft. Da viele digitale Bilder üblicherweise in der Weise formatiert werden, dass sie eine höhere Auflösung der Luminanzkomponente als der Chrominanzkomponente besitzen, wobei allgemein die unterschiedlichen Unterbandzerlegungsniveaus gemäß den Auflösungsniveaus der Komponenten verwendet werden, ist dieses von der vorliegenden Erfindung geschaffene Merkmal insbesondere bei der digitalen Bildverarbeitung sehr wünschenswert.
Zweitens können die Videocodierungsvorrichtung und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung für die Verarbeitung eines Bildes ausgelegt werden, dessen Luminanz- und Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil gegenüber dem Verfahren des Standes der Technik schafft, das lediglich auf ein Bild angewendet werden kann, dessen Komponenten die gleiche Auflösung und die gleiche Anzahl von Unterbändern besitzen. Außerdem schaffen diese Aspekte der vorliegenden Erfindung ein Merkmal, dass jede Einheit integrierter Komponenten immer das Verhältnis der Anzahl der jeweiligen in einem Eingangsbild enthaltenen Komponenten widerspiegelt. Dieses Merkmal beseitigt die Notwendigkeit, redundante Daten auf der Decodierungsseite zu decodieren, wenn die Menge der Daten gemäß der Auflösung der Anzeigeeinheit decodiert wird.
Drittens können die Videocodierungsvorrichtung und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung außer der obenerwähnten zweiten vorteilhaften Wirkung zunächst die Unterbänder mit der niedrigsten Auflösung der jeweiligen Komponenten Aⁿ separieren und senden, um zunächst die Zusammenfassung eines Bildes anzuzeigen, was es ermöglicht, die subjektive Qualität des wiedergegebenen Bildes zu verbessern.

Claims

Videocodierungsvorrichtung, mit: einem Unterband-Zerlegungsmittel (101), das jede der Komponenten Aⁿ (1 ≤ n ≤ N, n ganzzahlig) in verschiedene Frequenzunterbänder zerlegt, wobei jede Komponente eine von N (N ≥ 2) Arten von ein Bild aufbauenden Luminanz- und Chrominanzkomponenten ist, einem Koeffizientencodierungsmittel (102), das Frequenzkoeffizienten in den Unterbändern codiert, um für jedes Unterband codierte Koeffizientendaten zu erzeugen, einem Umordnungsmittel (104), das bei Empfang der Unterbänder, die aus codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten vorbereitet, die durch Kombinieren von Unterbändern gebildet sind, die aus den jeweiligen Komponenten Aⁿ ausgewählt sind, und (2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender Reihenfolge der Unterbandfrequenz beginnend bei der die Niederfrequenz-Unterbänder enthaltenden Einheit und endend bei der die Hochfrequenz-Unterbänder enthaltenden Einheit umordnet, und einem Mittel (103) zum Codieren mit variabler Länge, das eine Codierung mit variabler Länge der codierten Koeffizientendaten, die in den umgeordneten integrierten Komponenteneinheiten enthalten sind, ausführt, wobei das Umordnungsmittel dann, wenn die N Arten von Komponenten Aⁿ Komponenten mit unterschiedlichen Größen enthalten und das Unterband-Zerlegungsmittel die Komponenten Aⁿ mit unterschiedlichen Größen in Unterbänder in unterschiedlicher Anzahl zerlegt, (1a) wenigstens eine der integrierten Komponenteneinheiten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den Hochfrequenz-Unterbändern in den jeweiligen Komponenten Aⁿ mit unterschiedlicher Größe aufgebaut ist, und (1b) die anderen der integrierten Komponenteneinheiten, wovon jede durch Kombinieren entsprechender Unterbänder in derselben Anzahl aus den jeweiligen Komponenten Aⁿ aufgebaut sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten Aⁿ Komponenten enthalten, die unterschiedliche Größe besitzen und die in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Videocodierungsvorrichtung, mit einem Unterband-Zerlegungsmittel (101), das jede der Komponenten Aⁿ (1 ≤ n ≤ N, n ganzzahlig) in verschiedene Frequenzunterbänder zerlegt, wobei jede Komponente eine von N (N ≥ 2) Arten von ein Bild aufbauenden Luminanz- und Chrominanz-Komponenten ist, einem Koeffizientencodierungsmittel (102), das Frequenzkomponenten in den Unterbändern codiert, um codierte Koeffizientendaten für jedes Unterband zu erzeugen, einem Umordnungsmittel (104), das bei Empfang der Unterbänder, die aus codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten vorbereitet, die durch Kombinieren von Unterbändern, die aus den jeweiligen Komponenten Aⁿ ausgewählt sind, aufgebaut sind, und (2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender Reihenfolge der Unterbandfrequenzen beginnend bei der Einheit, die die Niederfrequenz-Unterbänder enthält, und endend bei der Einheit, die die Hochfrequenz-Unterbänder enthält, umordnet, und einem Mittel (103) für eine Codierung mit variabler Länge, die eine Codierung mit variabler Länge der codierten Koeffizientendaten ausführt, die in den umgeordneten integrierten Komponenteneinheiten enthalten sind, wobei das Umordnungsmittel dann, wenn die N Arten von Komponenten Aⁿ Komponenten mit unterschiedlicher Größe enthalten und die Unterband-Zerlegungsmittel die Komponenten Aⁿ mit unterschiedlicher Größe in Unterbänder in unterschiedlicher Anzahl zerlegen, (1a) wenigstens eine der integrierter Komponenteneinheiten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den Niederfrequenz-Unterbändern in den jeweiligen Komponenten Aⁿ mit unterschiedlicher Größe aufgebaut sind, und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren entsprechender Unterbänder in der gleichen Anzahl aus den jeweiligen Komponenten Aⁿ aufgebaut sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten Aⁿ Komponenten enthalten, die unterschiedliche Größe besitzen und in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Videocodierungsvorrichtung nach Anspruch 2, bei der das Umordnungsmittel (104) eine der anderen integrierten Komponenteneinheiten, wovon jede durch die gleiche Anzahl von Unterbändern der jeweiligen Komponenten Aⁿ aufgebaut ist, durch Kombinieren des Unterbandes mit der niedrigsten Frequenz der jeweiligen Komponenten Aⁿ aufbaut.
Videodecodierungsvorrichtung, mit: einem Mittel (201) zum Decodieren mit variabler Länge, das Daten, die durch die Videocodierungsvorrichtung nach Anspruch 1 mit variabler Länge codiert sind, decodiert, einem Komponentenseparierungsmittel (204), das die integrierten Komponenteneinheiten, die durch das Mittel zum Decodieren mit variabler Länge decodiert sind, in jeweilige Komponenten Aⁿ separiert, einem Koeffizientendecodierungsmittel (206), das die jeweiligen codierten Koeffizientendaten, die durch das Komponentenseparierungsmittel separiert sind, decodiert, und einem Unterband-Synthetisierungsmittel (207), das durch Synthetisierung von Unterbändern, die Daten enthalten, die durch das Koeffizientendecodierungsmittel für jeweilige Komponenten Aⁿ decodiert sind, ein decodiertes Bild rekonstruiert, wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter Komponenten Aⁿ Komponenten unterschiedlicher Größe und Unterbänder in unterschiedlicher Anzahl enthalten, (1a) die wenigstens eine Einheit integrierter Komponenten, die durch Kombination von Unterbändern in unterschiedlicher Anzahl aus den hochfrequenten Unterbändern in den Komponenten Aⁿ unterschiedlicher Größe in Unterbänder für die jeweiligen Komponenten Aⁿ, die die Unterbänder in unterschiedlicher Anzahl von Komponenten unterschiedlicher Größe enthalten, separiert und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren derselben Anzahl von Unterbändern, die aus den jeweiligen Komponenten Aⁿ aufgenommen werden, aufgebaut sind, in die gleiche Anzahl von Unterbändern für die jeweiligen Komponenten Aⁿ separiert, und dadurch so betreibbar ist, dass sie die integrierten Komponenteneinheiten dann, wenn die zerlegten Komponenten Aⁿ Komponenten unterschiedlicher Größe enthalten, die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind, separiert.
Videodecodierungsvorrichtung, mit: einem Mittel (201) zum Decodieren mit variabler Länge, das Daten, die durch die Videocodierungsvorrichtung nach Anspruch 1 mit variabler Länge codiert sind, decodiert, einem Komponentenseparierungsmittel (204), das die integrierten Komponenteneinheiten, die durch die Mittel für die Decodierung mit variabler Länge decodiert sind, in jeweilige Komponenten Aⁿ separiert, einem Koeffizientendecodierungsmittel (206), das die jeweiligen codierten Koeffizientendaten, die durch die Komponentenseparierungsmittel separiert sind, decodiert, und einem Unterbandsynthetisierungsmittel (207), das ein decodiertes Bild durch Synthetisieren von Unterbändern, die Daten enthalten, die durch das Koeffizientendecodierungsmittel für jeweilige Komponenten Aⁿ decodiert sind, rekonstruiert, wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter Komponenten Aⁿ Komponenten unterschiedlicher Größe und Unterbänder in unterschiedlicher Anzahl enthalten, (1a) die wenigstens eine Einheit integrierter Komponenten, die durch Kombinieren von Unterbändern in unterschiedlicher Anzahl aus den niederfrequenten Unterbändern in den jeweiligen Komponenten Aⁿ unterschiedlicher Größe aufgebaut sind, in Unterbänder für die jeweiligen Komponenten Aⁿ, die Unterbänder in unterschiedlicher Anzahl für die Komponenten unterschiedlicher Größe enthalten, separiert und (1b) die anderen der integrierten Komponenteneinheiten, die durch Kombinieren der gleichen Anzahl von Unterbändern, die aus den jeweiligen Komponenten Aⁿ entnommen werden, aufgebaut sind, in die gleiche Anzahl von Unterbändern für die jeweiligen Komponenten Aⁿ separiert, und dadurch so betreibbar sind, dass sie die integrierten Komponenteneinheiten separiert, wenn die zerlegten Komponenten Aⁿ Komponenten unterschiedlicher Größe enthalten, die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl zerlegt worden sind.
Videodecodierungsvorrichtung nach Anspruch 5, bei der das Komponentenseparierungsmittel (204) eine Einheit integrierter Komponenten, die durch Kombinieren des Unterbandes mit der niedrigsten Frequenz aus jeweiligen Komponenten Aⁿ aufgebaut ist, in Gruppen von Un terbändern für die jeweiligen Komponenten Aⁿ separiert.