-
Technisches
Gebiet
-
Die vorliegende Erfindung betrifft
das Gebiet der digitalen Videoverarbeitung und bezieht sich auf eine
Videocodierungsvorrichtung zum effizienten Codieren von Videodaten
sowie auf eine Videodecodierungsvorrichtung zum Decodieren von Videodaten, die
durch die Videocodierungsvorrichtung codiert worden sind.
-
Stand der
Technik
-
Kürzlich
ist ein Unterbandcodierungsverfahren vorgeschlagen worden, mit dem
Videosignale effizient codiert und decodiert werden können. Das wohlbekannte
hocheffiziente Unterbandcodierungsverfahren wird verwendet, um ein
Eingangsbild durch eine Bank von Bandzerlegungsfiltern, wie sie
in 1A gezeigt ist, in
Frequenzbänder
zu zerlegen, wie sie in 1B gezeigt
sind. Die in 1A gezeigte
Bandzerlegungs-Filterbank ist eine eindimensionale Filterbank, die
dadurch, dass die Verarbeitung des Eingangsbildes in horizontaler
und vertikaler Richtung wiederholt wird, als eine zweidimensionale Bandzerlegungs-Filterbank dienen
kann. Dieses Verfahren wurde von Fujii, Noumura, "Topics on Wavelet Transform", in einem Bericht "TECHNICAL REPORT of
IEICE, IE92-11, 1992",
berichtet.
-
In 1B ist
ein Unterbandbild gezeigt, das dadurch erhalten wurde, dass dreimal
eine zweidimensionale Unterbandzerlegung durchgeführt wurde.
In der ersten zweidimensionalen Unterbandzerlegung werden ein horizontales
Hochpassband und ein vertikales Tiefpassband, ein horizontales Tiefpassband
und ein vertikales Hochpassband sowie ein horizontales und vertikales
Hochpassband erhalten, die jeweils mit HL1, LH1 und HH1 bezeichnet
sind. Ein horizontales und vertikales Tiefpassband, das durch die
erste Zerlegung erhalten wurde, wird weiter der zweidimensionalen
Bandzerlegung ausgesetzt, durch die drei Unterbänder HL2, LH2 und HH2 erhalten
werden.
-
Ein horizontales und vertikales Tiefpass-Unterband,
das durch die zweite Zerlegung erhalten worden ist, wird weiter
einer dritten zweidimensionalen Unter bandzerlegung ausgesetzt, durch
die drei Unterbänder
HL3, LH3 und HH3 sowie ein horizontales und vertikales Tiefpassunterband
LL3 erhalten werden. Als die Bandzerlegungs-Filterbank kann eine
Wavelet-Umsetzungs-Filterbank oder eine Bandzerlegungs- und Bandsynthetisierungsfilterbank
verwendet werden. Somit besitzen die zerlegten Unterbandbilder eine
hierarchische Struktur (Schichtstruktur) von einem Niederfrequenzband
bis zu einem Hochfrequenzband.
-
Unter Verwendung der hierarchischen
Struktur der Unterbandbilder kann leicht eine progressive Bildübertragung
realisiert werden. Wie in 2 gezeigt
ist, ermöglicht
das progressive Bildübertragungsverfahren,
dass eine Videodecodierungsvorrichtung ein niedrig aufgelöstes Bild
wiedergibt, indem sie lediglich einen Teil der codierten Daten verwendet.
Je mehr codierte Daten wiedergegeben werden, eine desto höhere Auflösung besitzt
das decodierte Bild. Die japanische offengelegte Patentveröffentlichung
(TOKKAI HEI) Nr. 8-242379 beschreibt ein (im Folgenden als ein System
des Standes der Technik bezeichnetes) System zur Realisierung der progressiven
Bildübertragung,
dessen Struktur in den 3 und 4 gezeigt ist.
-
3 zeigt
eine Videocodierungsvorrichtung, die das System des Standes der
Technik verwendet, während 4 eine Videodecodierungsvorrichtung
zeigt, die das System verwendet. Die Videocodierungsvorrichtung,
wie sie in 3 gezeigt
ist, umfasst einen Unterbandzerlegungsabschnitt 2001, der
ein Eingangsbild unter Verwendung zweidimensionaler Zerlegungsfilter
in Unterbandbilder zerlegt, einen Koeffizientencodierungsabschnitt 2002,
der die Koeffizienten der zerlegten Unterbandbilder codiert, einen
Abschnitt 2003 zum Codieren mit variabler Länge, der
eine Codierung der codierten Koeffizientendaten von dem Koeffizientencodierungsabschnitt 2002 mit
variabler Länge
ausführt,
und einen Zeilensendeabschnitt 2004, der mehrere Komponenten, aus
denen das Bild aufgebaut ist, pro Zeile gleichzeitig sendet. Der
Koeffizientencodierungsabschnitt 2002 führt unter Verwendung irgendeines
der verschiedenen Arten von Codierungsverfahren (z. B. DPCM-Codierung,
Null-Baum-Codierung und Skalarquantisierungscodierung) eine Codierung
der Koeffizienten aus. Dieses Verfahren enthält einen Quantisierungsschritt.
-
Unten wird beispielhaft der Betrieb
des Zeilensendeabschnitts 2004 mit einem Eingangsbild, das
aus den drei Komponenten Y (einer Luminanzkomponente) und U, V (Chrominanzkomponenten) aufgebaut
ist, und mit einer Unterbandzerlegung, die wie in 1B gezeigt dreimal durchgeführt wird,
ausführlich
beschrieben. Die Verarbeitung beginnt von einem in 1B gezeigten Unterband LL3, das die niedrigste
Auflösung
des Bildes ergibt.
-
Wie in 5 gezeigt
ist, sendet der Zeilensendeabschnitt 2004 die Komponenten
Y, U und V aufeinander folgend zeilenweise in der Reihenfolge beginnend
bei der ersten Zeile des Unterbands LL3. Nachdem alle Zeilen des
Unterbands LL3 übertragen worden
sind, überträgt der Abschnitt
die Komponenten Y, U und V in den Unterbändern LH3, HL3 und HH3 jeweils
in der Reihenfolge: die Komponente Y in den ersten Zeilen der Unterbänder LH3,
HL3 und HH3; die Komponente U in den ersten Zeilen der Unterbänder LH3,
HL3 und HH3; die Komponente V in den ersten Zeilen der Unterbänder LH3,
HL3 und HH3; die Komponente Y in den zweiten Zeilen der Unterbänder LH3,
HL3 und HH3; U in den zweiten Zeilen von LH3, HL3 und HH3; V in
den zweiten Zeilen der Unterbänder
LH3, HL3 und HH3 usw. Nachdem alle Zeilen von LH3, HL3 und HH3 übertragen worden
sind, überträgt der Zeilensendeabschnitt
auf ähnliche
Weise die Zeilen von LH2, HL2, HH2 und daraufhin die Zeilen von
LH1, HL1, HH1. Die obenerwähnte
Prozedur des Zeilensendeabschnitts 2004 wird durch einen
Ablaufplan aus 6 veranschaulicht.
-
Die geordnete Sendung der Komponenten
Y, U, V, aus denen das Bild aufgebaut, pro Zeile erzeugt codierte
Daten mit einer hierarchischen Struktur.
-
Wie in 4 gezeigt
ist, umfasst die Videodecodierungsvorrichtung einen Zeilenempfangsabschnitt 2104,
der die codierten Daten von dem Zeilensendeabschnitt 2004 der
Videocodierungsvorrichtung aus 3 empfängt und
die Daten in jeweilige Komponentengruppen umordnet, einen Abschnitt 2101 zum
Decodieren mit variabler Länge,
der die umgeordneten, mit variabler Länge codierten Daten decodiert,
einen Abschnitt 2102 zum Zählen decodierter Daten, der
die Bits der durch den Abschnitt zum Decodieren mit variabler Länge decodierten
Daten zählt,
einen Decodierungsabschneideabschnitt 2103, der die Anzahl
der durch den Abschnitt zum Zählen
decodierter Daten gezählten
Bits mit einem voreingestellten Schwellenwert oder mit einem von außen gegebenen
Schwellenwert vergleicht und einen Befehl zum Anhalten der Decodierungsoperation des
Abschnitts 2101 zum Decodieren mit variabler Länge erteilt,
wenn die Anzahl der decodierten Bits den Schwellenwert übersteigt,
einen Datenfer tigstellungsabschnitt 2105, der das Fehlen
der abgeschnittenen Daten dadurch ausgleicht, dass er null addiert, wenn
das Decodieren der codierten Daten bei einer angegebenen Anzahl
von Bits abgeschnitten worden ist, einen Koeffizientendecodierungsabschnitt 2106, der
die codierten Koeffizientendaten durch Umkehr der gleichen Verarbeitungsprozedur
des Koeffizientencodierungsabschnitts 2002 aus 3 decodiert, und einen Unterbandsynthetisierungsabschnitt 2107, der über zweidimensionale
Synthetisierungsfilter aus den Unterbändern ein Bild synthetisiert.
-
Somit kann die Videodecodierungsvorrichtung
aus den codierten Daten mit einer hierarchischen Struktur oder aus
einem Teil davon ein ganzes Bild wiedergeben.
-
Das herkömmliche Videocodierungs- und
Videodecodierungssystem kann eine progressive Bildübertragung
dadurch realisieren, dass es die Bildkomponenten pro Zeile in einer
aufsteigenden Reihenfolge, die von dem Bild des Bands mit der niedrigsten
Auflösung
beginnt, sendet. Allerdings trifft das System des Standes der Technik
auf mehrere unzweckmäßige Probleme,
die sich aus der festen Übertragungseinheit
einer Zeile ergeben. Beispielsweise kann ein Bild, das aus der Luminanzkomponente
Y und aus den Chrominanzkomponenten U und V aufgebaut ist, leichter
dadurch erkannt werden, dass vor den Komponenten U und V lediglich
die Komponente Y gesendet wird, anstatt alle Komponenten als eine
Einheit zu senden.
-
In diesem Fall werden die Bildkomponenten vorzugsweise
unterbandweise und nicht zeilenweise übertragen. Außerdem wird
bewiesen, dass ein Bild, das aus den Komponenten R, G, B aufgebaut
ist, in dem Decodierungsterminal mit besserer subjektiver Bildqualität wiedergegeben
werden kann, wenn die codierten Koeffizienten der jeweiligen Komponenten R,
G und B einzeln gesendet werden. Das liegt daran, dass diese Komponenten
im Wesentlichen nahezu den gleichen Einfluss auf die Seheigenschaft
besitzen.
-
Das System des Standes der Technik
nimmt an, dass die Komponenten eines Bildes die gleiche Größe haben.
Somit kann es nicht an ein Eingangsbild anpassbar sein, das aus
unterschiedlichen Größen von
Komponenten z. B. im Format 4 : 2 : 2 oder 4 : 2 : 0 aufgebaut ist.
-
Außerdem nimmt das System des
Standes der Technik an, dass die jeweiligen Komponenten eines Bildes
die gleiche Anzahl von Unterbändern
besitzen und nicht an ein Eingangsbild anpassbar sein können, dessen
Komponenten in unterschiedliche Anzahlen von Unterbändern zerlegt
sind.
-
EP 570818A offenbart eine Vorrichtung
und ein Verfahren zum Senden eines Videosignals unter Verwendung
einer Codierungsprozedur, in der Wavelettransformierte Koeffizienten
von Komponenten mit unterschiedlicher Größe in die gleiche Anzahl von Makroblöcken unterteilt
werden. Nachdem die Makroblockdaten einer ersten Quantisierung ausgesetzt worden
sind, werden sie in Übereinstimmung
mit einer geforderten Übertragungsfolge,
in der der Niederfrequenzseite Priorität gegeben wird, umgeordnet.
-
Offenbarung der Erfindung
-
Die vorliegende Erfindung ist auf
ein System zur effektiven progressiven Bildübertragung gerichtet, in dem
die vorstehenden Probleme, von denen die Stände der Technik betroffen sind,
gelöst
sind.
-
Gemäß dem ersten Aspekt der vorliegenden Erfindung
wird eine Videocodierungsvorrichtung geschaffen, mit: einem Unterband-Zerlegungsmittel, das
jede der Komponenten An (1 ≤ n ≤ N, n ganzzahlig)
in unterschiedliche Frequenzunterbänder zerlegt, wobei jede Komponente
eine von N (N ≥ 2)
Arten von ein Bild aufbauenden Luminanz- und Chrominanzkomponenten
ist, einem Koeffizientencodierungsmittel, das Frequenzkoeffizienten
in den Unterbändern codiert,
um für
jedes Unterband codierte Koeffizientendaten zu erzeugen, einem Umordnungsmittel,
das bei Empfang der Unterbänder,
die aus codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten
vorbereitet, die durch Kombinieren von Unterbändern gebildet sind, die aus
den jeweiligen Komponenten An ausgewählt sind,
und (2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender
Reihenfolge der Unterbandfrequenz beginnend bei der die Niederfrequenz-Unterbänder enthaltenden
Einheit und endend bei der die Hochfrequenz-Unterbänder enthaltenden
Einheit umordnet, und einem Mittel zum Codieren mit variabler Länge, das
eine Codierung mit variabler Länge
der codierten Koeffizientendaten, die in den umgeordneten integrierten
Komponenteneinheiten enthalten sind, ausführt, wobei das Umordnungsmittel
dann, wenn die N Arten von Komponenten An Komponenten mit
unterschiedlichen Größen enthalten
und das Unterband-Zerlegungsmittel die Komponenten An mit
unterschiedlichen Größen in Unterbänder in
unterschiedlicher Anzahl zerlegt, (1a) wenigstens eine der integrierten
Komponenteneinheiten, die durch Kombinieren von Unterbändern in
unterschiedlicher Anzahl aus den Hochfrequenz-Unterbändern in
den jeweiligen Komponenten An mit unterschiedlicher
Größe aufgebaut
ist, und (1b) die anderen der integrierten Komponenteneinheiten,
wovon jede durch Kombinieren entsprechender Unterbänder in
derselben Anzahl aus den jeweiligen Komponenten An aufgebaut
sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten
Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten
An Komponenten enthalten, die unterschiedliche
Größe besitzen
und die in Unterbänder
in unterschiedlicher Anzahl zerlegt worden sind.
-
Gemäß einem zweiten Aspekt der
vorliegenden Erfindung wird eine Videodecodierungsvorrichtung geschaffen,
mit: einem Mittel zum Decodieren mit variabler Länge, das Daten, die durch die
Videocodierungsvorrichtung nach Anspruch 1 mit variabler Länge codiert
sind, decodiert, einem Komponentenseparierungsmittel, das die integrierten
Komponenteneinheiten, die durch das Mittel zum Decodieren mit variabler
Länge decodiert
sind, in jeweilige Komponenten An separiert,
einem Koeffizientendecodierungsmittel, das die jeweiligen codierten
Koeffizientendaten, die durch das Komponentenseparierungsmittel
separiert sind, decodiert, und einem Unterband-Synthetisierungsmittel,
das durch Synthetisierung von Unterbändern, die Daten enthalten,
die durch das Koeffizientendecodierungsmittel für jeweilige Komponenten An decodiert sind, ein decodiertes Bild rekonstruiert,
wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter
Komponenten An Komponenten unterschiedlicher
Größe und Unterbänder in
unterschiedlicher Anzahl enthalten, (1a) die wenigstens eine Einheit
integrierter Komponenten, die durch Kombinieren von Unterbändern in
unterschiedlicher Anzahl aus den hochfrequenten Unterbändern in
den Komponenten An unterschiedlicher Größe in Unterbänder für die jeweiligen
Komponenten An, die die Unterbänder in
unterschiedlicher Anzahl von Komponenten unterschiedlicher Größe enthalten,
separiert und (1b) die anderen der integrierten Komponenteneinheiten,
die durch Kombinieren derselben Anzahl von Unterbändern, die
aus den jeweiligen Komponenten An aufgenommen
werden, aufgebaut sind, in die gleiche Anzahl von Unterbändern für die jeweiligen
Komponenten An separiert, und dadurch so
betreibbar ist, dass sie die integrierten Komponenteneinheiten dann,
wenn die zerlegten Kompo nenten An Komponenten
unterschiedlicher Größe enthalten,
die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl
zerlegt worden sind, separiert.
-
Die Vorrichtungen können an
die Verarbeitung eines Bildes angepasst werden, dessen Luminanz-
und Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche
Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil
gegenüber
dem herkömmlichen
Verfahren schafft, das auf ein Bild angewendet wird, dessen Komponenten
die gleiche Auflösung
und die gleiche Anzahl von Unterbändern besitzen. Dieses von
der vorliegenden Erfindung geschaffene Merkmal ist insbesondere
für die
digitale Bildverarbeitung wünschenswert,
da viele digitale Bilder üblicherweise
in der Weise formatiert sind, dass sie eine höhere Auflösung der Luminanzkomponente
als der Chrominanzkomponente besitzen, und da das Unterbandzerlegungsniveau
im Allgemeinen gemäß der Auflösung der
Komponente geändert
wird.
-
Gemäß einem dritten Aspekt der
vorliegenden Erfindung wird eine Videocodierungsvorrichtung geschaffen,
mit: einem Unterband-Zerlegungsmittel, das jede der Komponenten
An (1 ≤ n ≤ N, n ganzzahlig)
in unterschiedliche Frequenzunterbänder zerlegt, wobei jede Komponente
eine von N (N ≥ 2)
Arten von ein Bild aufbauenden Luminanz- und Chrominanz-Komponenten
ist, einem Koeffizientencodierungsmittel, das Frequenzkomponenten
in den Unterbändern
codiert, um codierte Koeffizientendaten für jedes Unterband zu erzeugen,
einem Umordnungsmittel, das bei Empfang der Unterbänder, die aus
codierten Koeffizientendaten bestehen, (1) mehrere integrierte Komponenteneinheiten
vorbereitet, die durch Kombinieren von Unterbändern, die aus den jeweiligen
Komponenten An ausgewählt sind, aufgebaut sind, und
(2) die vorbereiteten integrierten Komponenteneinheiten in aufsteigender
Reihenfolge der Unterbandfrequenzen beginnend bei der Einheit, die
die Niederfrequenz-Unterbänder
enthält,
und endend bei der Einheit, die die Hochfrequenz-Unterbänder enthält, umordnet,
und einem Mittel für
eine Codierung mit variabler Länge,
die eine Codierung mit variabler Länge der codierten Koeffizientendaten ausführt, die
in den umgeordneten integrierten Komponenteneinheiten enthalten
sind, wobei das Umordnungsmittel dann, wenn die N Arten von Komponenten
An Komponenten mit unterschiedlicher Größe enthalten
und die Unterband-Zerlegungsmittel die Komponenten An mit
unterschiedlicher Größe in Unterbänder in
unterschiedlicher Anzahl zerlegen, (1a) wenigstens eine der integrierter
Kompo nenteneinheiten, die durch Kombinieren von Unterbändern in
unterschiedlicher Anzahl aus den Niederfrequenz-Unterbändern in
den jeweiligen Komponenten An mit unterschiedlicher
Größe aufgebaut
sind, und (1b) die anderen der integrierten Komponenteneinheiten,
die durch Kombinieren entsprechender Unterbänder in der gleichen Anzahl
aus den jeweiligen Komponenten An aufgebaut
sind, vorbereitet und dadurch so betreibbar ist, dass sie die integrierten
Komponenteneinheiten vorbereitet, wenn die zerlegten Komponenten
An Komponenten enthalten, die unterschiedliche Größe besitzen
und in Unterbänder
in unterschiedlicher Anzahl zerlegt worden sind.
-
Gemäß einem vierten Aspekt der
vorliegenden Erfindung wird eine Videodecodierungsvorrichtung geschaffen,
mit: einem Mittel zum Decodieren mit variabler Länge, das Daten, die durch die
Videocodierungsvorrichtung nach Anspruch 2 mit variabler Länge codiert
sind, decodiert, einem Komponentenseparierungsmittel, das die integrierten
Komponenteneinheiten, die durch die Mittel für die Decodierung mit variabler
Länge decodiert
sind, in jeweilige Komponenten An separiert,
einem Koeffizientendecodierungsmittel, das die jeweiligen codierten
Koefiizientendaten, die durch die Komponentenseparierungsmittel
separiert sind, decodiert, und einem Unterbandsynthetisierungsmittel,
das ein decodiertes Bild durch Synthetisieren von Unterbändern, die
Daten enthalten, die durch das Koeffizientendecodierungsmittel für jeweilige
Komponenten An decodiert sind, rekonstruiert,
wobei das Komponentenseparierungsmittel dann, wenn die N Arten zerlegter
Komponenten An Komponenten unterschiedlicher
Größe und Unterbänder in
unterschiedlicher Anzahl enthalten, (1 a) die wenigstens eine Einheit
integrierter Komponenten, die durch Kombinieren von Unterbändern in unterschiedlicher
Anzahl aus den Niederfrequenz-Unterbändern in den jeweiligen Komponenten An unterschiedlicher Größe aufgebaut sind, in Unterbänder für die jeweiligen
Komponenten An, die Unterbänder in
unterschiedlicher Anzahl für
die Komponenten unterschiedlicher Größe enthalten, separiert und
(1b) die anderen der integrierten Komponenteneinheiten, die durch
Kombinieren der gleichen Anzahl von Unterbändern, die aus den jeweiligen
Komponenten An entnommen werden, aufgebaut
sind, in die gleiche Anzahl von Unterbändern für die jeweiligen Komponenten
An separiert, und dadurch so betreibbar
sind, dass sie die integrierten Komponenteneinheiten separiert,
wenn die zerlegten Komponenten An Komponenten
unterschiedlicher Größe enthalten,
die in der Videocodierungsvorrichtung in Unterbänder in unterschiedlicher Anzahl
zerlegt worden sind.
-
Die Vorrichtungen können an
die Verarbeitung eines Bildes angepasst werden, dessen Luminanz-
und Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche
Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil
gegenüber
dem herkömmlichen
Verfahren schafft, das auf ein Bild angewendet wird, dessen Komponenten
die gleiche Auflösung
und die gleiche Anzahl von Unterbändern besitzen. Außerdem schaffen
diese Aspekte der vorliegenden Erfindung ein Merkmal, dass jede
Einheit integrierter Komponenten immer das Verhältnis der Anzahlen der jeweiligen
in einem Eingangsbild enthaltenen Komponenten widerspiegelt. Dieses
Merkmal beseitigt die Notwendigkeit, redundante Daten auf der Decodierungsseite
zu decodieren, wenn die Menge der Daten gemäß der Auflösung der Anzeigeeinheit decodiert
wird.
-
In dem dritten Aspekt kann das Umordnungsmittel
eine der weiteren integrierten Komponenteneinheiten aufbauen, die
jeweils aus der gleichen Anzahl von Unterbändern der jeweiligen Komponenten
An aufgebaut sind, indem es das Unterband mit
der niedrigsten Frequenz der jeweiligen Komponenten An kombiniert.
-
Dementsprechend kann das Komponentenseparierungsmittel
in dem vierten Aspekt eine Einheit integrierter Komponenten separieren,
indem sie das Unterband mit der niedrigsten Frequenz aus den jeweiligen
Komponenten An zu Gruppen von Unterbändern für die jeweiligen
Komponenten An kombiniert.
-
Die Vorrichtungen können zunächst die
Unterbänder
der jeweiligen Komponenten An mit der niedrigsten
Auflösung
separieren und senden, um zunächst
einen zusammengefassten Inhalt eines Bildes zu geben, was es ermöglich, die
subjektive Qualität
des wiedergegebenen Bildes zu verbessern.
-
Kurzbeschreibung
der Zeichnung
-
1A ist
eine Ansicht zur Erläuterung
eines Unterbandcodierungsverfahrens.
-
1B ist
eine Ansicht zur Erläuterung
eines Unterbandcodierungsverfahrens.
-
2 ist
eine Ansicht zur Erläuterung
eines progressiven Videosendesystems.
-
3 ist
ein Blockschaltplan einer Videocodierungsvorrichtung des Standes
der Technik.
-
4 ist
ein Blockschaltplan einer Videodecodierungsvorrichtung des Standes
der Technik.
-
5 zeigt
eine Folge der Übertragung
von Unterbandbildkoeffizienten gemäß der Videocodierungsvorrichtung
des Standes der Technik.
-
6 ist
ein Ablaufplan zur Erläuterung
des Betriebs einer Videocodierungsvorrichtung des Standes der Technik.
-
7 ist
ein Blockschaltplan einer Videocodierungsvorrichtung in einer Ausführungsform
der vorliegenden Erfindung.
-
8 ist
ein Blockschaltplan einer Videodecodierungsvorrichtung in einer
Ausführungsform
der vorliegenden Erfindung.
-
9 zeigt
ein Hintergrundbeispiel der Zerlegung von Bildkomponenten in Teilbilder.
-
10 zeigt
ein Hintergrundbeispiel einer Folge der Übertragung von Koeffizienten
von Unterbandbildern.
-
11 zeigt
ein weiteres Hintergrundbeispiel einer Folge der Übertragung
von Koeffizienten von Unterbandbildern.
-
12 zeigt
eine beispielhafte Folge von Abtastkoeffizienten in jeweiligen Unterbändern, die
in der Ausführungsform
der vorliegenden Erfindung zu verwenden sind.
-
13 zeigt
ein Hintergrundbeispiel der Zusammenstellung mehrerer Unterbänder zu
Elementen einer Einheit integrierter Komponenten.
-
14 zeigt
ein Hintergrundbeispiel der Verwendung der Koeffizienten jeder Zeile
in jedem Unterband als ein Element einer Einheit integrierter Komponen ten.
-
15 ist
ein Ablaufplan, der eine Prozedur von Operationen einer Videocodierungsvorrichtung in Übereinstimmung
mit der vorliegenden Erfindung zeigt.
-
16 ist
ein Ablaufplan, der eine Prozedur von Operationen einer Videodecodierungsvorrichtung
in Übereinstimmung
mit der vorliegenden Erfindung zeigt.
-
17 zeigt
ein weiteres Hintergrundbeispiel der Zerlegung von Bildkomponenten
in Unterbänder.
-
18 zeigt
eine Beziehung zwischen den Koeffizienten der jeweiligen Komponenten
in einem Hintergrundbeispiel aus 17.
-
19 zeigt
ein Beispiel einer Einheit integrierter Komponenten, die in dem
Hintergrundbeispiel der 17 und 18 verwendet wird.
-
20 zeigt
ein weiteres Beispiel einer Einheit integrierter Komponenten, die
in dem Hintergrundbeispiel der 17 und 18 verwendet wird.
-
21 zeigt
ein Beispiel der Unterbandzerlegung und einer Einheit integrierter
Komponenten, die in der Ausführungsform
der vorliegenden Erfindung verwendet wird.
-
22 zeigt
ein weiteres Beispiel der Unterbandzerlegung und einer Einheit integrierter
Komponenten, die in der Ausführungsform
der vorliegenden Erfindung verwendet wird.
-
Anhand der beigefügten Zeichnung werden nun eine
Videocodierungsvorrichtung und eine Videodecodierungsvorrichtung
gemäß der vorliegenden Erfindung
ausführlich
beschrieben.
-
7 ist
ein Blockschaltplan, der eine Videocodierungsvorrichtung in Übereinstimmung
mit der vorliegenden Erfindung zeigt. Wie in 7 gezeigt ist, enthält die Codierungsvorrichtung
einen Unterband-Zerlegungsabschnitt (ein Unterband-Zerlegungsmittel) 101,
einen Koeffizientencodierungsabschnitt (ein Koeffizientencodierungsmittel) 102 und einen
Abschnitt 103 zum Codieren mit va riabler Länge (ein
Mittel 103 zum Codieren mit variabler Länge), die ähnlich konstruiert sind, wie
jeweils die Abschnitte 2001, 2002 und 2003 aus 3.
-
Das Bezugszeichen 104 in 7 bezeichnet einen Übertragungsreihenfolgeentscheidungs-
und Übertragungsreihenfolgeumordnungsabschnitt
(ein Umordnungsmittel), der eine Einheit integrierter Komponenten
entscheidet, die durch Kombinieren der Luminanz- oder Chrominanzelemente
aus den codierten Koeffizientendaten, die von dem Koeffizientencodierungsabschnitt 102 geliefert
werden, vorbereitet wird, und die codierten Koeffizientendaten der
Unterbänder
ausgehend von den codierten Koeffizientendaten des Unterbands mit
der niedrigsten Auflösung
in einer Sendereihenfolge anordnet. Während die Videocodierungsvorrichtung
des Standes der Technik die codierten Koeffizientendaten nach der
Codierung mit variabler Länge
der Daten in der Sendereihenfolge umordnet, ordnet die Videocodierungsvorrichtung
gemäß der Ausführungsform
der vorliegenden Erfindung die codierten Koeffizientendaten vor
der Codierung mit variabler Länge
der Daten in der Sendereihenfolge um.
-
Dies ermöglicht, die Decodierung mit
variabler Länge
der codierten Koeffizientendaten außer durch das Huffman-Codierungsverfahren
z. B. durch ein arithmetisches Codierungsverfahren durchzuführen. Außerdem ist
es in der vorliegenden Erfindung möglich, die Umordnung der codierten
Koeffizientendaten wie in der Vorrichtung des Standes der Technik nach
der Codierung mit variabler Länge
durchzuführen.
Der Betrieb der Ausführungsform
wird unten mit einem Eingangsbild beschrieben, das aus den drei Komponenten
Y (Luminanz), U (Chrominanz) und V (Chrominanz) aufgebaut ist, was
dasselbe ist, wie es in der Vorrichtung des Standes der Technik
verwendet wird. In dem zunächst
zu beschreibenden Hintergrundbeispiel besitzen diese Komponenten
die gleiche Auflösung,
d. h. die gleichen Bildgrößen.
-
Eine Einheit integrierter Komponenten
kann durch Kombinieren der Elemente Y, U und V aus den koeffizientencodierten
Daten vorbereitet werden. Das folgende Beispiel ist eine Einheit
integrierter Komponenten, die aus den Unterbändern von Y, U und V vorbereitet
wird.
-
9 zeigt
die Koeffizienten von Unterbandbildern, die durch die dreimalige
Ausführung
der Unterbandzerlegung der jeweiligen Bildkomponenten Y, U und V
(Teil (a), (b) bzw. (c) aus 9)
erhalten wurden. Die Bildgrößen der
Kompo nenten Y, U und V sind zueinander gleich. Die 10 bzw. 11 zeigen die
Reihenfolge der Sendung der Unterbandbildkoeffizienten von Y, U
bzw. V (Teil (a), (b) und (c) sowohl von 10 als auch von 11) in 9.
Die Buchstaben Y, U und V mit den Zahlenindizes bezeichnen in den
beiden 10, 11 die Reihenfolge der Sendung
der Unterbänder
der jeweiligen Komponenten.
-
In dem Beispiel ist eine Einheit
integrierter Komponenten aus Unterbändern aufgebaut, die eine Menge
von Unterbändern
mit der gleichen Auflösung der
jeweiligen Komponenten enthält,
d. h.: (Yi, Ui,
Vi), wobei i = 1 bis 10 (die Reihenfolge
der zu übertragenden
Unterbänder)
ist.
-
Die Sendereihenfolge ist wie folgt:
(Y1, U1, V1), (Y2, U2, V2), ..., (Y10, U10, V10).
-
Im Fall von 10 wird ein Koeffizient mit hoher Auflösung in
horizontaler Richtung vor einem Koeffizienten mit hoher Auflösung in
vertikaler Richtung übertragen,
während
im Fall von 11 ein Koeffizient
mit hoher Auflösung
in vertikaler Richtung vor einem Koeffizienten mit hoher Auflösung in
horizontaler Richtung übertragen
wird. Dementsprechend kann die Auflösung des auf der Decodierungsseite
wiedergegebenen Bildes im Fall von 10 zunächst in
horizontaler Richtung verbessert werden, während sie im Fall von 11 zunächst in vertikaler Richtung
verbessert werden kann.
-
Die Verarbeitung der Koeffizienten
in einem Unterband kann in irgendeiner der in 12 gezeigten Reihenfolgen ausgeführt werden.
-
Das Unterband wird horizontal von
links oben nach rechts unten abgetastet (der mit (1) bezeichnete
Teil aus 12) oder wird
vertikal von links oben nach rechts unten abgetastet (Teil (2)
aus 12) oder wird spiralförmig von
der Mitte des Unterbands zu seinem Äußeren abgetastet (Teil (3)
von 12). Wie in jedem
Teil (a) der Teile (1) bis (3) in 12 gezeigt ist, werden die Koeffizienten
in einem Unterband durch eine Abtastung verarbeitet, während, wie
jeweils in jedem der Teile (b) und (c) der Teile (1) bis
(3) gezeigt ist, die Koeffizienten in einem Unterband dadurch
verarbeitet werden, dass zweimal abgetastet wird.
-
In Teil (c) in 12 zeigt jeder Pfeil einen Koeffizienten
oder eine Menge mehrerer (t) Koeffizienten. Eine Menge von (t) Koeffizienten
wird in der durch den Pfeil angegebenen Richtung übertragen, eine
nachfolgende Menge von (t) Koeffizien ten wird nicht übertragen
und eine weitere nachfolgende Menge von (t) Koeffizienten wird in
der durch den Pfeil angegebenen Richtung übertragen. Diese Schritte werden
in dem ersten Abtastverfahren wiederholt. Diejenigen Koeffizienten,
die in dem (als Pfeile mit durchgezogenen Linien gezeigten) ersten Abtastverfahren
nicht übertragen
geblieben sind, werden auf ähnliche
Weise wie in dem ersten Abtastverfahren in dem zweiten Abtastverfahren
(das als Pfeile mit Strichlinien gezeigt ist) übertragen.
-
Wie in den Teilen (4) und
(5) von 12 gezeigt
ist, ist es außerdem
möglich,
die Koeffizienten eines Unterbands dadurch zu verarbeiten, dass
drei- oder mehrmals abgetastet wird. Beispielsweise wird ein horizontales
Intervall und ein vertikales Intervall zwischen den durch die n-te
Abtastung zu verarbeitenden Koeffizienten als dx bzw. dy ausgedrückt. Falls
dx = dy = 1 ist, werden alle Koeffizienten durch eine Rasterabtastung
codiert. Falls dx = dy = 2 ist und die horizontalen und vertikalen
Positionen der codierbaren Koeffizienten als (y, x) bestimmt sind,
codiert die erste Abtastung die Koeffizienten an den Positionen
(0, 0), (0, 2, (0, 4) ... (2, 0), (2, 2), (2, 4) ... (4, 0), (4,
2), (4, 4) ...;
codiert die zweite Abtastung die Koeffizienten
an den Positionen (0, 1), (0, 3), (0, 5) ... (2, 1), (2, 3), (2,
5) ... (4, 1), (4, 3), (4, 5) ...;
codiert die dritte Abtastung
die Koeffizienten an den Positionen (1, 0), (1, 2), (1, 4) ... (3,
0), (3, 2), (3, 4) ... (5, 0), (5, 2), (5, 4) ...;
codiert
die vierte Abtastung die Koeffizienten an den Positionen (1, 1),
(1, 3), (1, 5) ... (3, 1), (3, 3), (3, 5) ... (5, 1), (5, 3), (5,
5). Kurz gesagt, werden durch vier Abtastungen alle Koeffizienten
codiert.
-
Durch Verallgemeinerung dieses Verfahrens als
(dx = DX, dy = DY) codiert die erste Abtastung im Fall von Teil
(1) in 12,
wie in Teil (4) in 12 gezeigt
ist, die Koeffizienten an den Positionen (0, 0), (0, DX), (0, 2*DX)
...;
codiert die zweite Abtastung die Koeffizienten an den Positionen
(0, 1), (0, DX + 1), (0, 2*DX + 1) ...;
codiert die dritte
Abtastung die Koeffizienten an den Positionen (0, 2), (0, DX + 2)
... (0, 2*DX + 2) ...;
codiert die Abtastrunde DX die Koeffizienten
an den Positionen (0, DX – 1),
(0, 2*DX – 1),
(0, 3*DX – 1)
...;
codiert die Abtastrunde (DX + 1) die Koeffizienten an den
Positionen (1, 0) (1, DX), (1, 2*DX) ...;
codiert die Abtastrunde
(DX + 2) die Koeffizienten an den Positionen (1, 1) (1, DX + 1),
(1, 2*DX + 1) ...;
...
codiert die Abtastrunde (DX*DY)
die Koeffizienten an den Positionen (DY – 1, DX – 1) (DY – 1, 2*DX – 1), (DY – 1, 3*DX – 1) ... (2*DY – 1, DX – 1) (2*DY – 1, 2*DX – 1), (2*DY – 1, 3*DX – 1). Kurz
gesagt, werden durch die (DX*DY)-Abtastungen alle Koeffizienten codiert.
Teil (2) in 12 ist
hinsichtlich der vertikalen und horizontalen Richtung umgekehrt
zu Teil (1) in 12.
Die Koeffizienten können
dadurch verarbeitet werden, dass, wie in Teil (5), 12, gezeigt ist, in horizontalen
und vertikalen Intervallen von (dx = DX, dy = DY) abgetastet wird.
-
Im Vergleich zu den Koeffizienten,
die durch Rasterabtastung von links oben eines Vollbilds codiert
werden, können
die Unterbandkoeffizienten, die durch die Abtastung in zwischen
den jeweiligen Koeffizienten vorgesehenen Intervallen codiert werden, ein
Bild wiedergeben, dessen Inhalt in einer früheren Phase der Codierung erkannt
werden kann, wobei dieses Bild durch die Wirkung der allmählichen
Verbesserung der Qualität
des decodierten Bildes einen besseren subjektiven Eindruck vermitteln
kann.
-
Unten wird ein Beispiel einer Einheit
integrierter Komponenten beschrieben, die mehrere Unterbänder enthält, die
in den jeweiligen Komponenten enthalten sind. 13 zeigt eine weitere Sendereihenfolge
der Koeffizienten des Unterbandbilds aus 9. In einem Teil (b) von 13 ist ein Beispiel der Codierung eines
Unterbandbilds in vier Schichten dargestellt. Wie in einem Teil
(a) von 13 gezeigt ist,
bestehen die Blöcke
(Y2, Y3, Y4), (U2, U3, U4) und (V2, V3, V4)
in Teil (b) von 13 jeweils
aus drei Unterbändern
(m = 3).
-
Das heißt, die drei in Teil (a) von 13 gezeigten Unterbänder (1, 2, 3)
entsprechen einer Elementmenge in einer Einheit integrierter Komponenten.
Da diese drei Unterbänder
als ein Element behandelt werden, werden die drei Koeffizienten
mit den gleichen relativen Positionen in den jeweiligen drei Unterbändern, wie
in einem Teil (c) von 13 gezeigt
ist, als eine Menge behandelt.
-
Drei Koeffizienten, die an den gleichen
relativen Positionen in den jeweiligen drei Unterbändern in 13 vorhanden sind, werden
als ein Koeffizient angenommen, d. h. (Koeffizient YHL1,
Koeffizient YLH1, Koeffizient YHH1)
wird durch (Koeffizient Y4) dargestellt.
Die Komponente Y in jeder der in Teil (b) von 13 gezeigten Schichten wird zunächst in
der in 12 gezeigten
Abtastreihenfolge übertragen. Ähnlich wird
nachfolgend die Komponente U übertragen
und wird daraufhin die Komponente V übertragen. Die Koeffizienten
der Unterbandbilder mit den gleichen Auflösungsniveaus in horizontaler,
vertikaler und diagonaler Richtung werden von der Codierungsseite
zusammen gesendet, so dass die Auflösungen eines wiedergegebenen
Bildes auf der Codierungsseite in horizontaler, vertikaler und diagonaler
Richtung gleichzeitig erhöht
werden.
-
Gemäß einem weiteren Verfahren
zur Behandlung dreier Unterbänder
als ein Element wird zunächst
ein Unterband 1 vollständig
gesendet, wird daraufhin ein Unterband 2 vollständig gesendet
und wird schließlich
ein Unterband 3 vollständig
gesendet. Wie in 13 gezeigt
ist, wird das Unterband 1 der Komponente Y in der in 12 gezeigten Abtastreihenfolge
gesendet. Nachfolgend wird das Unterband 2 der Komponente
Y in der gleichen Abtastreihenfolge gesendet und wird daraufhin
das Unterband 3 der Komponente Y in der gleichen Abtastreihenfolge
gesendet. Nachfolgend werden wie für die Komponente Y die Unterbänder 1, 2 und 3 der
Komponente U in der gleichen Abtastreihenfolge einzeln gesendet.
Schließlich
werden wie für
die Komponente Y die Unterbänder 1, 2 und 3 der
Komponenten V in der gleichen Abtastreihenfolge einzeln gesendet.
-
Eine Einheit integrierter Komponenten
enthält
die Elemente (das Unterband 1 der Komponente Y, das Unterband 2 der
Komponente Y, das Unterband 3 der Komponente Y, das Unterband 1 der Komponente
U, das Unterband 2 der Komponente U, das Unterband 3 der
Komponente U, das Unterband 1 der Komponente V, das Unterband 2 der
Komponente V, das Unterband 3 der Komponente V). In diesem
Fall wird die Auflösung
eines auf einer Decodierungsseite wiedergegebenen Bildes in der
beschriebenen Reihenfolge in horizontaler Richtung, vertikaler Richtung
und diagonaler Richtung erhöht.
Die Sendung dieser drei Unterbänder
in der Reihenfolge Unterband 2, Unterband 1 und
Unterband 3 bewirkt auf der Decodierungsseite eine Zunahme
der Auflösung
des Bildes in der beschriebenen Reihenfolge in der horizontalen,
vertikalen und diagonalen Richtung.
-
Wahlweise können mehrere Beispiele des Sendens
von Unterbandkoeffizienten verwendet werden. Falls bekannt ist,
dass ein codierbares Bild in einer angege benen Richtung eine höhere Auflösung besitzt,
werden auf der Codierungsseite zunächst die Koeffizienten eines
Unterbands in der bekannten Richtung mit hoher Auflösung gesendet
und wird daraufhin die Übertragungsreihenfolge
auf der Decodierungsseite umgeordnet, um die Koeffizienten des Unterbandbilds
in der bekannten Richtung mit hoher Auflösung früher wiederzugeben. Dies ermöglicht, die
Qualität
der Bilder in dem Decodierungsverfahren auf der Decodierungsseite
zu erhöhen.
In diesem Fall muss die Decodierungsseite über die Sendereihenfolge informiert
werden, in der die Koeffizienten codiert werden, indem diese Informationen
in den codierten Daten angeordnet werden.
-
Der in 7 gezeigte
Sendereihenfolgeentscheidungs-/Sendereihenfolgeumordnungsabschnitt 104 entscheidet
die integrierten Komponenteneinheiten (im Fall von 9), die aus den Unterbändern (Yi, Ui, Vi)
bestehen sollen, wobei i = 1 bis 10 die Reihenfolge des Sendens
der Unterbänder
angibt, ordnet die Unterbänder,
wie in den 10 und 11 gezeigt ist, in der Reihenfolge
(Y1, U1, V1), (Y2, U2, V2), ..., (Y10, U10, V10) oder,
wie in Teil (b) von 13 gezeigt
ist, in der Reihenfolge (Y1, U1,
V1), (Y2, U2, V2), ..., (Y4, U4, V4)
um und gibt daraufhin die umgeordneten koeffizientencodierten Daten
an den Abschnitt 104 zum Codieren mit variabler Länge aus.
-
Obgleich in dem obenerwähnten Beispiel alle
Koeffizienten in einem Unterband als eine Gruppe behandelt werden,
kann in ihm außerdem
eine Einheit integrierter Komponenten dadurch vorbereitet werden,
dass ein Koeffizient oder mehrere Koeffizienten in einem Unterband
als eine Gruppe behandelt werden. Das folgende Beispiel behandelt
eine Zeile in einem Unterband als eine Gruppe von Koeffizienten.
-
14 zeigt
eine Einheit integrierter Komponenten, die aus horizontalen Zeilen,
einer in jedem der Unterbänder,
besteht, und die wie folgt ausgedrückt ist:
(Yi(y),
Ui(y), Vi(y)), wobei
Yi(y), Ui(y), Vi(y) Einzeilendaten der jeweiligen Unterbänder Y,
U und V sind, i = 1 bis 10 die Reihenfolge der Sendung der Unterbänder angibt
und y jede Zeilennummer in den Unterbändern bezeichnet.
-
In diesem Fall ist die Reihenfolge
der Übertragung
der integrierten Komponenteneinheiten wie folgt:
(Y1(0), U1(0), V1(0)), (Y1(1), U1(1), V1(1)), ...,
(Y2(0), U2(0), V2(0)), (Y2(1), U2(1), V2(1)) ...,
...,
(Y10(0), U10(0), V10(0)), (Y10(1),
U10(1), V10(1)),
....
-
In 14 besteht
eine Einheit integrierter Komponenten aus horizontalen Zeilen, einer
in jedem der Unterbänder,
was der in Teil (a) von Teil (1) der 12 gezeigten Abtastreihenfolge entspricht. Außerdem ist
es ebenfalls möglich,
eine Einheit integrierter Komponenten vorzubereiten, die, wie in
Teil (a) von Teil (2) aus 12 gezeigt
ist, aus vertikalen Zeilen, einer in jedem der Unterbänder, zusammengesetzt
ist. In diesem Fall können
die Komponenten Y, U, V jeweils durch einen Pfeil ausgedrückt werden. Die
Verarbeitung erfolgt an allen Unterbändern in der in 10, 11 oder Teil (b) von 13 gezeigten Reihenfolge.
-
Außerdem ist es möglich, eine
Einheit integrierter Komponenten vorzubereiten, die jeweils aus einem
Koeffizienten in jedem der Unterbänder aufgebaut ist und die
ausgedrückt
wird als: (Yi(y, x), Ui(y,
x), (Vi(y, x)), wobei Yi(x,
y), Ui(x, y), Vi(x,
y) Koeffizienten in den jeweiligen Unterbändern Y, U und V sind, i =
1 bis 10 die Reihenfolge der Übertragung
der Unterbänder
angibt und y eine Position in vertikaler Richtung in einem Unterband
bezeichnet, während
x eine Position in horizontaler Richtung in einem Unterband bezeichnet.
In diesem Fall kann die Sendereihenfolge irgendeine der in den Teilen
(1), (2) und (3) aus 12 gezeigten Reihenfolgen sein. Die Verarbeitung
wird an allen Unterbändern
in der in 10, 11 oder in Teil (b) aus 13 gezeigten Reihenfolge
vorgenommen.
-
15 ist
ein Ablaufplan, der ein Beispiel des Betriebs des Sendereihenfolgeentscheidungs- und
Sendereihenfolgeumordnungsabschnitts 104 aus 7 zeigt. In dem gezeigten
Fall kann die Einheit integrierter Komponenten von den Unterbändern auf
Koeffizienten (eine oder mehrere Gruppen von Koeffizienten) oder
umgekehrt umgestellt werden. Der Abschnitt kann so entworfen sein,
dass er lediglich unter Verwendung einer der zwei Einheiten arbeitet.
-
Dadurch, dass die Videocodierungsvorrichtung
ein aus mehreren Komponenten Y, U und V aufgebautes Eingangsbild
in Unterbandbilder zerlegt und die Unterbandbilder in aufsteigender
Reihenfolge ihrer Auflösung,
beginnend von dem Unterband mit der niedrigsten Auflösung, codiert,
kann sie codierte Daten mit einer hierarchischen Struktur vorbereiten.
-
Im Vergleich zu der herkömmlichen
Vorrichtung, die die Komponenten Y, U und V lediglich gemäß der Abtastzeilenbasis
integriert, kann das obige Hintergrundbeispiel angesichts der Dateneigenschaften
dadurch, dass integrierte Komponenteneinheiten gemäß der unterbandbasierten
und/oder gemäß der koeffizientenbasierten
Integration der Komponenten Y, U und V angewendet werden, eine adaptive
Codierung von Eingangsvideodaten ausführen.
-
Nunmehr anhand von 8 wird im Folgenden ausführlich eine
Videodecodierungsvorrichtung beschrieben, die die vorliegende Erfindung
verkörpert.
Diese Videodecodierungsvorrichtung soll Videodaten decodieren, die
durch die Videocodierungsvorrichtung aus 7 vorbereitet worden sind.
-
Die Videodecodierungsvorrichtung
in 8 umfasst einen Abschnitt
201 zum Decodieren mit variabler Länge (ein Mittel 201 zum
Decodieren mit variabler Länge),
einen Abschnitt 202 zum Zählen decodierter Daten (ein
Mittel 202 zum Zählen
decodierter Daten), einen Decodierungsabschneideabschnitt (ein Decodierungsabschneidemittel 203),
einen Datenfertigstellungsabschnitt (ein Datenfertigstellungsmittel) 205,
einen Koeffizientendecodierungsabschnitt (ein Koeffizientendecodierungsmittel) 206 und einen
Unterbandsynthetisierungsabschnitt (ein Unterbandsynthetisierungsmittel) 207.
Diese Abschnitte besitzen eine ähnliche
Konstruktion wie die Abschnitte eines Abschnitts 2101 zum
Decodieren mit variabler Länge,
eines Abschnitts 2102 zum Zählen decodierter Daten, eines
Decodierungsabschneideabschnitts 2103, eines Datenfertigstellungsabschnitts 2105,
eines Koefiizientendecodierungsabschnitts 2106 bzw. eines
Unterbandsynthetisierungsabschnitts 2107 aus 4.
-
Das Bezugszeichen 204 bezeichnet
in 8 einen Komponentenseparierungsabschnitt
(ein Komponentenseparierungsmittel, Komponentenumordnungsmittel)
zum Separieren koeffizientencodierter Daten, die durch den Übertragungsreihenfolgeentscheidungs-
und Übertragungsreihenfolgeumordnungsabschnitt
der Codierungsvorrichtung umgeordnet wurden, in Daten für die jeweiligen
Komponenten. Der Komponentenseparierungsabschnitt 204 ordnet die
codierten Daten in jeweilige Komponentengruppen Y, U und V, indem
er die von der Decodierungsseite ausgeführte Prozedur umkehrt.
-
Dementsprechend besitzt der Komponentenseparierungsabschnitt 204 einen
(nicht gezeigten) Speicher zum Speichern der jeweiligen Komponenten
Y, U und V. Grundsätzlich
besitzt dieser Speicher die gleiche Kapazität, die der Unterbandzerlegungsabschnitt 101 der
Videocodierungsvorrichtung besitzt. Allerdings kann dieser Abschnitt 204 so
konstruiert sein, dass er eine Einheit integrierter Komponenten
in Koeffizienten für
die jeweiligen Komponentengruppen Y, U und V separiert und die separierten Komponenten
beim Abschluss der Separation der Einheit integrierter Komponenten
an den Koeffizientendecodierungsabschnitt 206 ausgibt.
In diesem Fall kann der Abschnitt ausreichend Speicher besitzen,
um lediglich die größte Einheit
integrierter Komponenten zu speichern.
-
Der Komponentenseparierungsabschnitt 204 kann
ebenfalls so konstruiert sein, dass er in der Weise arbeitet, dass
er die Koeffizienten einer Einheit integrierter Komponenten erfolgreich
separiert und an den Koeffizientendecodierungsabschnitt 206 ausgibt.
In diesem Fall kann der Komponentenseparierungsabschnitt 204 einen
Speicher besitzen, der groß genug
ist, um unabhängig
von der Größe irgendeiner
zu separierenden Einheit integrierter Komponenten mehrere separierte
Koeffizienten zu speichern. Die von dem Komponentenseparierungsabschnitt 204 ausgegebenen
separierten Komponenten werden durch den Koeffizientendecodierungsabschnitt 206 decodiert
und daraufhin in einem (nicht gezeigten) Speicher des Koeffizientendecodierungsabschnitts 206 gespeichert.
In diesem Fall enthält
der Koeffizientendecodierungsabschnitt 206 ein Mittel zum
Umordnen decodierter Daten.
-
Außerdem können die decodierten Koeffizienten
in einen (nicht gezeigten) Speicher geschrieben werden, der die
einzugebenden frequenzabhängigen
Koeffizienten in dem Unterbandsynthetisierungsabschnitt 207 speichert.
-
Wie oben beschrieben wurde, können die durch
den Komponentenseparierungsabschnitt 204 separierten Koeffizienten
in einer Vielzahl von Speichermitteln gespeichert werden. Allerdings
wird zur weiteren Erläuterung
zweckmäßig angenommen, dass
der Komponentenseparierungsabschnitt 204 die integrierten
Komponenteneinheiten dadurch separiert, dass er die separierten
Koeffizienten in seinen Speicher schreibt, der die gleiche Kapazität besitzt,
wie sie der Speicher des Unterbandzerlegungsabschnitts 101 der
Videocodierungsvorrichtung besitzt.
-
Beispielsweise wird eine Einheit
integrierter Komponenten, die aus den Unterbanddaten (Y1,
U1, V1) aufgebaut
ist, jeweils in die separierten Elemente Y1,
U1 und V1 zerlegt.
Die separierten Elemente Y1, U1 und
V1 werden in die entsprechenden Unterbandpositionen
in einem Speicher geschrieben. Nachfolgend wird eine Einheit (Y2, Y2, V2)
in die separierten Elemente (Y2, U2 und V2) zerlegt,
die daraufhin in angegebene Stellen der entsprechenden Unterbänder im
Speicher geschrieben werden, um Y, U und V zu speichern. Diese Verarbeitung
wird an allen Unterbändern
ausgeführt.
-
In diesem Fall ist die Reihenfolge
der Decodierung der Koeffizienten in jedem Unterband die gleiche,
wie sie für
das in 12 gezeigte Verfahren beschrieben
wurde. Beispielsweise hat die Codierungsseite Abtastungen ausgeführt, wie
sie in Teil (1) aus 12 gezeigt
sind, so dass die Decodierungsseite Abtastungen ausführen muss,
wie sie in Teil (1) aus 12 gezeigt
sind. Die Anwendung dieses Abtastverfahrens bewirkt, dass die Auflösung eines
Bildes in dem Decodierungsverfahren von links oben nach oben rechts
in der Reihenfolge der Rasterabtastung zunimmt.
-
Wenn die Koeffizienten, wie es in
Teil (4) oder (5) aus 12 gezeigt ist, in einem besonderen Fall
durch Abtasten mit dem Abstand zwischen ihnen codiert wurden, kann
ein Bild, das decodiert wird, im Vergleich zu dem mittels Raster
abgetasteten Bild leicht in einer früheren Stufe der Decodierung
erkannt werden. Das Auflösungsniveau
des Bildes kann allmählich
verbessert werden, so dass das Bild eine bessere subjektive Bildqualität besitzen
kann.
-
Wenn der Komponentenseparierungsabschnitt 204 eine
Einheit integrierter Komponenten verarbeitet, die aus einer oder
aus mehreren Gruppen (Mengen) von Koeffizienten in Unterbändern aufgebaut
ist, ist sein Betrieb wie folgt:
-
Unter der Annahme, dass eine Zeile
in einem Unterband als eine Gruppe von Koeffizienten betrachtet
wird, wird eine Einheit integrierter Komponenten als (Yi(y),
Ui(y), Vi(y)) ausgedrückt, wobei Yi(y), Ui(y), Vi(y) Einzeilendaten der jeweiligen Unterbänder Y,
U und V sind, i = 1–10
(die Reihenfolge des Sendens der Unterbänder) ist und y eine Position
in vertikaler Richtung in einem Unterband bezeichnet.
-
Um Y, U und V zu speichern, werden
Yi(y), Ui(y), Vi(y) voneinander separiert und in die Positionen <Zeile y> der entsprechenden
Unterbänder
i in dem Speicher geschrieben. Diese Verarbeitung wird in der Reihenfolge
beginnend bei dem Unterband mit der niedrigsten Auflösung und
endend bei dem Unterband mit der höchsten Auflösung an allen Zeilen an den
Unterbändern
ausgeführt.
-
Wenn eine Einheit integrierter Komponenten aus
Koeffizienten aufgebaut ist, von denen jeweils einer aus jedem Unterband
ausgewählt
worden ist, wird sie wie folgt ausgedrückt: (Yi(y,
x), Ui(y, x), Vi(y, x)),
wobei Yi(y, x), Ui(y,
x), Vi(y, x) Einkoeffizientendaten der jeweiligen
Unterbänder
Y, U und V sind, i = 1 – 10
(die Reihenfolge der Sendung der Unterbänder) ist und y eine Position
in vertikaler Richtung in einem Unterband bezeichnet, während x
eine Position in horizontaler Richtung in einem Unterband bezeichnet.
-
Um Y, U und V zu speichern, werden
die Elemente Yi(y, x), Ui(y,
x), Vi(y, x) voneinander separiert und in
die Positionen (y, x) eines Koeffizienten der entsprechenden Unterbänder i in
dem Speicher geschrieben. Diese Verarbeitung wird beginnend bei dem
Unterband mit der niedrigsten Auflösung und endend bei dem Unterband
mit der höchsten
Auflösung
an allen Koeffizienten in den Unterbändern ausgeführt.
-
Wie zuvor anhand von 12 beschrieben worden ist, wendet die
Decodierungsseite auch dann das gleiche Koeffizientenabtastverfahren
an, wie es die Codierungsseite verwendet hat, wenn eine Einheit
integrierter Komponenten durch 1 Zeile oder durch einen Koeffizienten
ausgewählt
wird.
-
Die von dem Komponentenseparierungsabschnitt 204 ausgegebenen
separierten Koeffizienten werden zu jeweiligen Komponentengruppen
Y, U und V kombiniert und daraufhin als jeweilige Gruppen behandelt.
-
16 ist
ein Ablaufplan, der eine beispielhafte Betriebsprozedur des Komponentenseparierungsabschnitts 204 zeigt.
In dem in 16 gezeigten
Fall kann die Einheit integrierter Komponenten von den Unterbändern auf
Koeffizienten (eine oder mehrere Gruppen von Koeffizienten) umgestellt
werden oder umgekehrt. An den Abschnitt 204 kann eine der
beiden integrierten Komponenteneinheiten geliefert werden.
-
Anhand von 8 wird unten der Betrieb des Datenfertigstellungsabschnitts 205 ausführlich beschrieben:
-
In diesem Fall wird eine Einheit
integrierter Komponenten aus Einzeilendaten in einem Unterband aufgebaut.
-
Es wird nun angenommen, dass der
Decodierungsbetrieb, wenn die Daten, beispielsweise Online-Daten
der in 14 gezeigten
Einheit integrierter Komponenten, z. B. (Y1(0),
U1(0), Vi(0)), ...,
(Y3(5), U3(5), V3(5)), decodiert worden sind, durch die Wirkung
des Decodierungsabschneideabschnitts 203 angehalten wurde,
da die Anzahl der Bits der decodierten Daten einen Schwellenwert übersteigt.
In diesem Fall sind die Koeffizienten der Unterbänder 1 und 2 und
die Koeffizienten der ersten Zeile bis fünften Zeile des Unterbands 3 decodiert
worden, während
die verbleibenden Teile keinen Koeffizienten besitzen.
-
Der Datenfertigstellungsabschnitt 205 erzeugt
die Unterbandkoeffizienten dadurch, dass er in die verbleibenden
leeren Teile, wo keine Daten vorhanden sind, 0 einsetzt. Dies ermöglicht,
dass der Koeffizientendecodierungsabschnitt 206 und der
Unterbandsynthetisierungsabschnitt 207 die nachfolgenden
Verarbeitungsschritte normal ausführen. Die leeren Daten können auch
durch einen anderen Wert als 0 ersetzt werden. Die Bereitstellung
des Abschnitts 202 zum Zählen decodierter Daten, des
Decodierungsabschneideabschnitts 203 und des Datenfertigstellungsabschnitts 205 ermöglicht,
dass die Decodierungsseite den Decodierungsbetrieb auf Anforderung
des Anwenders an irgendeiner Position abschneidet.
-
Während
die Anzahl der Bits der decodierten Daten den Schwellenwert nicht übersteigt,
erledigt der Datenfertigstellungsabschnitt 205 nichts.
Dementsprechend kann ein maximal auszudrückender Wert im Fall der Decodierung
aller codierten Daten als der Schwellenwert voreingestellt werden.
Die Ausführungsform
kann ein System aus 8 sein,
in dem in diesem Fall der Abschnitt 202 zum Zählen decodierter
Daten, der Decodierungsabschneideabschnitt 203 und der
Datenfertigstellungsabschnitt 205 weggelassen sind.
-
Die codierten Daten mit der hierarchischen Struktur,
die ein Bild darstellen, das aus mehreren Komponenten Y, U, V aufgebaut
ist, können
auf der Decodierungsseite decodiert werden. Die codierten Daten
mit der hierarchischen Struk tur ermöglichen die progressive Decodierung
der codierten Daten, wodurch die Qualität des gesamten wiedergegebenen
Bildes aufeinander folgend verbessert wird. Im Vergleich zu dem
Verfahren des Standes der Technik, das auf die integrierten Komponenteneinheiten mit
einer Zeile für
jede Komponente beschränkt
ist, kann das obige System eine Vielzahl progressiver Wiedergaben
des codierten Bildes durchführen.
Beispielsweise kann das System ein Verfahren zur gleichmäßigen Verbesserung
der Auflösung
des wiedergegebenen Bildes in horizontaler, vertikaler und diagonaler
Richtung ausführen,
währen
das Verfahren des Standes der Technik lediglich die Bildauflösung in
horizontaler Richtung vor den anderen Richtungen verbessert.
-
Im Folgenden wird ein zweites System,
diesmal zum Codieren und Decodieren eines aus Komponenten mit unterschiedlichen
Größen aufgebauten Bildes,
beschrieben. Das System verwendet die gleiche Konstruktion wie oben
beschrieben, wobei aber der Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 104 (der
Schritt der Ausgabe einer Einheit integrierter Komponenten) anders
ist. Somit werden die gleichen Abschnitte wie in dem obigen System nicht
weiter erläutert.
Im Folgenden wird lediglich der Betrieb des Übertragungsreihenfolgeentscheidungs- und Übertragungsreihenfolgeumordnungsabschnitts 104 beschrieben.
-
Beispielsweise wird ein Format von
4 : 2 : 0 verwendet, in dem die Komponenten U und V eine horizontale
und vertikale Größe besitzen,
die halb so groß wie
die der Komponente Y ist. 17 zeigt
die Ergebnisse der dreimaligen Bandzerlegung sowohl der Komponente
Y, deren Größe Y*X ist,
als auch der Komponenten U und V, deren jeweilige Größe Y/2*X/2
ist. In diesem Fall besitzt jedes der Unterbänder U und V in horizontaler
und vertikaler Richtung die halbe Größe der Komponente Y. Die jeweiligen Komponenten
Y, U und V besitzen die gleiche Anzahl von Unterbändern.
-
Dementsprechend entsteht kein Problem
bei den unterbandbasierten integrierten Einheiten, wenn das gleiche
Abtastverfahren und die gleiche Sendereihenfolge wie im ersten Beispiel
angewendet werden.
-
Allerdings kann es eine Schwierigkeit
mit einer Einheit integrierter Komponenten geben, die aus einem
oder aus mehreren Koeffizienten aufgebaut ist.
-
Die Unterbänder Y, U, V besitzen voneinander
unterschiedliche Größe, so dass
die große
Komponente Y überschüssige Koeffizienten
besitzen kann, falls eine Einheit integrierter Komponenten, wie es
zuvor in dem ersten Beispiel beschrieben worden ist, aus der gleichen
Anzahl von Koeffizienten pro Unterband aufgebaut wird.
-
Somit wird die Anzahl der Koeffizienten
pro Komponente, die in eine Einheit integrierter Komponenten aufzunehmen
sind, gemäß dem Größenverhältnis der
jeweiligen Komponenten eingestellt, falls sich die Größen der
Komponenten voneinander unterscheiden.
-
Ein Teil (1) aus 18 zeigt die Entsprechung
der Koeffizienten der jeweiligen Komponenten für ein Bild in dem Format 4
: 2 : 0, wie es in 17 gezeigt
ist. Da die Komponenten Y, U und V die gleiche Anzahl von Unterbändern pro
Komponente besitzen, ist die Reihenfolge der Übertragung der integrierten
Komponenteneinheiten die gleiche, wie sie in 10 für
das erste Beispiel gezeigt wurde. In diesem Fall ist das Verhältnis der
horizontalen und vertikalen Längen
der Komponenten Y, U und V 2 : 1 : 1, so dass ein Koeffizient jeder
Komponente U oder V 4 Koeffizienten der Komponente Y entspricht.
Dementsprechend wird die Anzahl der Koeffizienten für die Komponenten
Y, U, V, die in eine Einheit integrierter Komponenten aufzunehmen
sind, gemäß dem Verhältnis 4
: 1 : 1 bestimmt.
-
Die auf der Grundlage der Unterbänder der jeweiligen
Komponenten vorbereiteten integrierten Komponenteneinheiten enthalten
die Koeffizienten der Komponenten Y, U und V im Verhältnis 4
: 1 : 1 und werden auf die gleiche Weise wie zuvor für das erste
Beispiel beschrieben verarbeitet.
-
Dementsprechend wird für eine Zeile
pro Unterband eine Einheit integrierter Komponenten vorbereitet,
die, wie in 19 gezeigt
ist, zwei Zeilen Y, eine Zeile U und eine Zeile V enthält, während für eine Koeffizientengruppe
pro Unterband eine Einheit integrierter Komponenten vorbereitet
wird, die, wie in 20 gezeigt
ist, 2*2 Koeffizienten Y, einen Koeffizienten U und einen Koeffizienten
V enthält.
Die Bezugszeichen mit dem Index eins an den Komponentendaten Y,
U und V geben in 19 beispielhaft
die Reihenfolge der Übertragung
der Daten in den jeweiligen integrierten Komponenteneinheiten an.
Die integrierten Komponenteneinheiten für Y, U und V werden für ein Unterband
einzeln verarbeitet.
-
Beim Abschluss der Verarbeitung eines
Unterbands schreitet das Verfahren in der in Teil (1) aus 18 gezeigten Reihenfolge
zur Verarbeitung eines weiteren Unterbands fort. Die Reihenfolge
der Übertragung
der Unterbänder
kann entweder die in 11 gezeigte
oder die in Teil (b) von 13 gezeigte
sein.
-
Dadurch, dass die Anzahl der Datenkomponenten,
die in einer Einheit integrierter Komponenten enthalten sind, gemäß dem Verhältnis der
horizontalen und vertikalen Größe der Komponenten
geändert wird
und die Daten in die entsprechenden Positionen in einem Speicher
geschrieben werden, kann die Videodecodierungsseite bei Komponenten
Y, U und V mit unterschiedlicher Größe die von der Codierungsseite
gesendeten codierten Daten decodieren.
-
Bei der Arbeit mit den unterbandbasierten
integrierten Komponenteneinheiten können in diesem Beispiel das
gleiche Abtastverfahren und die gleiche Übertragungsreihenfolge angewendet
werden, wie sie für
das erste Beispiel beschrieben wurden.
-
Bis auf den Betrieb des Übertragungsreihenfolgeentscheidungs-
und Übertragungsreihenfolgeumordnungsabschnitts 204 (den
Schritt des Separierens einer Einheit integrierter Komponenten in
jeweilige Komponenten und des Schreibens der separierten Daten in
die entsprechenden Unterbänder
in einem Speicher) besitzt das zweite Beispiel eine ähnliche
Konstruktion und Funktion wie das erste Beispiel. Somit wird die
weitere Beschreibung weggelassen.
-
In dem zweiten Beispiel kann den
codierten Daten auch dann eine hierarchische Struktur verliehen
werden, wenn die Komponenten eines Bildes unterschiedliche Größen haben.
Die Decodierungsseite kann die gesamten decodierten Daten decodieren und
außerdem
aus einem Teil der codierten Daten ein gesamtes wiedergegebenes
Bild erhalten.
-
Obgleich das zweite Beispiel lediglich
mit einem Bild beschrieben worden ist, dessen Komponenten das horizontale
und vertikale Größenverhältnis 2
: 1 : 1 haben, können
mit ihm auf ähnliche
Weise wie oben beschrieben andere Größenverhältnisse der Bildkomponenten
behandelt werden.
-
Es wird nun eine Ausführungsform
der vorliegenden Erfindung erläutert.
Sie ist anpassbar an den Fall der Verarbeitung von Bildkomponenten,
die eine unter schiedliche Größe besitzen
und durch den Unterbandzerlegungsabschnitt 101 aus 7 in unterschiedliche Anzahlen
von Zerlegungsniveaus zerlegt werden. Bis auf den Betrieb des Übertragungsreihenfolgeentscheidungs-
und Übertragungsreihenfolgeumordnungsabschnitts 104 (den
Schritt des Ausgebens einer Einheit integrierter Komponenten) ist
diese Ausführungsform
der vorliegenden Erfindung ähnlich
dem ersten Hintergrundbeispiel. Somit werden die gleichen Abschnitte
nicht weiter erläutert.
Im Folgenden wird lediglich der Übertragungsreihenfolgeentscheidungs-
und Übertragungsreihenfolgeumordnungsabschnitt 104 beschrieben.
-
Anhand von 21 wird diese Ausführungsform beispielhaft bei
einem Eingangsbild beschrieben, dessen Komponenten U und V eine
horizontale und vertikale Länge
besitzen, die halb so groß wie
die der Komponente Y ist. Ein mit (1) bezeichneter Teil von 21 zeigt die Ergebnisse
der dreimaligen Zerlegung der Komponente Y bzw. der zweimaligen
Zerlegung der Komponenten U und V. Da sich die Anzahl der Unterbänder von
Y von der von U und V unterscheidet, können in der Ausführungsform
nicht die Übertragungsverfahren
verwenden werden, die für das
erste und für
das zweite Hintergrundbeispiel beschrieben worden sind, wobei somit
das folgende Verfahren zum Übertragen
der Unterbänder
verwendet wird.
-
Zunächst wird eine Einheit integrierter
Komponenten beschrieben, die aus den Unterbändern der jeweiligen Komponenten
Y, U und V aufgebaut ist. In diesem Fall (erstes Beispiel der Ausführungsform)
werden die Kombinationen der Dreikomponenten-Unterbänder Y,
U und V, die wie in Teil (2) aus 21 gezeigt aus sieben der niedrig aufgelösten Unterbänder der
jeweiligen Komponenten Y, U und V vorbereitet worden sind, einzeln
an den Abschnitt 103 aus 7 zum
Codieren mit variabler Länge übertragen,
woraufhin die drei verbleibenden Unterbänder der Komponente Y unabhängig einzeln
an den Abschnitt 103 zum Codieren mit variabler Länge übertragen
werden. Kurz gesagt, sind die jeweiligen auszugebenden integrierten
Komponenteneinheiten jeweils aus den niedrig aufgelösten Unterbändern der
jeweiligen Komponenten Y, U und V, aus null Stücken der hoch aufgelösten Unterbänder der
Komponenten U und V und lediglich aus einem hoch aufgelösten Unterband
der Komponente Y aufgebaut.
-
Dementsprechend wird die Übertragungsreihenfolge
als (Y1, U1, V1), (Y2, U2, V2), ..., (Y7, U7, V7), (Y8), (Y8), (Y10) ausgedrückt. In diesem Fall besitzen die Unterbänder der
jeweiligen Y-, U-, V-Komponente (Yi, Ui, Vi), wobei i =
1 bis 7 die Übertragungsreihenfolge
bezeichnet, die gleichen Größen, so
dass, falls Unterbänder
oder eine oder mehrere Gruppen von Koeffizienten die Einheit integrierter
Komponenten sind, das gleiche Abtastverfahren angewendet werden
kann, wie es in dem ersten Hintergrundbeispiel verwendet worden
ist.
-
Die Unterbänder der Komponenten Y, U und V
werden wie im Teil (b) von 13 gezeigt
zu dreien kombiniert, so dass sie die folgenden Kombinationen bilden:
(Y1, U1, V1),
(Y2, Y3, Y4, U2, U3,
U4, V2, V3, V4), (Y5, Y6, Y7,
U5, U6, U7, V5, V6,
V7), (Y8),(Y9),(Y10),
-
Ein weiteres Beispiel (das zweite
Beispiel der Ausführungsform)
ist in 22 gezeigt. Die
in einem Teil (1) aus 22 gezeigten
Unterbandbilder werden im Ergebnis der dreimaligen Zerlegung der
Komponente Y bzw. der zweimaligen Zerlegung der Komponenten U und
V erhalten. In diesem Fall werden die zu sendenden integrierten
Komponenteneinheiten dadurch gebildet, dass eine Menge von vier
niedrig aufgelösten
Unterbändern
Y, wie in einem Teil (2) von 22 gezeigt
ist, mit zwei niedrig aufgelösten Unterbändern U
und V kombiniert werden und dass die hoch aufgelösten Unterbänder der Komponenten Y, U und
V, wie in einem Teil (3) von 22 gezeigt ist,
einzeln miteinander kombiniert werden.
-
Die Reihenfolge der Übertragung
der Unterbänder
ist wie folgt: (Y1, Y2,
Y3, Y4, U1, V1), (Y5, U2, V2), (Y6, U3, V3),
(Y7, U4, V4), (Y8, U5, V5), (Y9, U6, V6),
(Y10, U7, V7).
-
In dem zweiten Beispiel besitzen
drei Komponenten mit den entsprechenden Unterbändern unterschiedliche Größen, so
dass auf jede Einheit integrierter Komponenten das gleiche Abtastverfahren angewendet
werden kann, wie es in dem zweiten Hintergrundbeispiel verwendet
wird.
-
Die in Teil (3) von 22 gezeigten Unterbänder (Y5, Y6, Y7)
entsprechen einem Unterband der vertikalen Auflösung, einem Unterband der horizontalen
Auflösung
bzw. einem Unterband der diagonalen Auflösung und besitzen die gleichen
Auflösungsniveaus.
Somit kann jede Einheit integrierter Komponenten dadurch vorbereitet
werden, dass die jeweiligen hoch aufgelösten Unterbänder der jeweiligen Komponenten
Y, U und V für
jede Komponente zu dreien kombiniert werden. Dies ist das dritte
Beispiel der Ausführungsform
der Vorbereitung einer Einheit integrierter Komponenten. Ähnlich kann
eine Einheit integrierter Komponenten aus den Kombinationen (Y8, Y9, Y10),
(U2, U3, U4), (U5, U6, U7), (V2, V3, V4),
(V5, V6, V7) vorbereitet werden.
-
In diesem Fall ist die Sendereihenfolge
wie folgt: (Y1, Y2,
Y3, Y4, U1, V1), (Y5, Y6, Y7,
U2, U3, U4, V2, V3,
V4), (Y8, Y9, Y10, U5, U6, U7,
V5, V6, V7).
-
In dem obenbeschriebenen Beispiel
werden die Unterbänder
Y1, Y2, Y3, Y4, U1,
V1 als mehrere niedrig aufgelöste Unterbänder ausgewählt, während das
Größenverhältnis von
Y, U und V (in diesem Beispiel das horizontale und das vertikale
Größenverhältnis von
2 : 1 : 1) beibehalten wird. Außer
der obigen Kombination können
auch Y1, Y2, ...,
Y7, U1, ..., U4, V1, ..., V4 als mehrere der niedrig aufgelösten Unterbänder ausgewählt werden.
-
Ein weiteres, viertes Beispiel, das
eine weitere Art des obenerwähnten
zweiten oder dritten Beispiels ist, ist so, dass, wie in einem Teil
(4) aus 22 gezeigt
ist, die Unterbänder
Y, U, V mit der niedrigsten Auflösung
aus den jeweiligen Gruppen der niedrig aufgelösten Unterbänder Y1,
Y2, ..., Y7, U1, ..., U4, V1 ..., V4, für die jeweiligen
Komponenten entnommen und separiert übertragen werden, woraufhin wie
in dem zweiten oder dritten Beispiel eine Menge der verbleibenden
niedrig aufgelösten
Unterbänder übertragen
werden. In diesem Fall ist die Menge der niedrig aufgelösten Unterbänder, wie
in einem Teil (5) von 22 gezeigt
ist, eine Kombination von sechs Y-Komponenten-Unterbändern, drei
U-Komponenten-Unterbändern und
drei V-Komponenten-Unterbändern.
Nach der Übertragung
aller niedrig aufgelösten
Unterbänder
werden die in einem Teil (6) von 22 gezeigten hoch aufgelösten Unterbänder übertragen.
-
Im Fall der Kombination jeweils eines
Unterbands für
jede Komponente (entsprechend dem zweiten Beispiel) ist die Reihenfolge
der Übertragung der
Unterbänder
wie folgt: (Y1, U1,
V1), (Y2, Y3, Y4, Y5, U2, V2), (Y6, U3, V3),
(Y7, U4, V4), (Y8, U5, V5), (Y9, U6, V6),
(Y10, U7, V7),
-
Im Fall der Kombination der Unterbänder zu dreien
für jede
Komponente (entsprechend dem dritten Beispiel) ist die Reihenfolge
der Übertragung
der Unterbänder
wie folgt: (Y1, U1,
V1), (Y2, Y3, Y4, Y5,
Y6, Y7, U2, U3, U4,
V2, V3, V4), (Y8, Y9, Y10, U5, U6, U7,
V5, V6, V7).
-
Bei Komponenten, deren Unterbandzerlegungsniveaus
nicht kleiner als 4 sind, ist die Menge der Unterbänder, deren
Auflösungsniveaus
höher als das
eines in einem Teil (6) von 22 gezeigten
Unterbands sind, für
die Komponenten Y, U und V gleich. In diesem Fall werden die integrierten
Komponenteneinheiten, die jeweils aus einer Kombination der gleichen
Anzahl von Unterbändern
Y, U, V aufgebaut sind, anschließend gesendet.
-
In den obigen Beispielen der ersten
bis vierten Ausführungsform
ist die Sendereihenfolge der drei Unterbänder, die in horizontaler,
vertikaler und diagonaler Richtung die gleichen Auflösungsniveaus besitzen,
nicht beschränkt.
Mit anderen Worten, für drei
Unterbänder,
die die gleichen Auflösungsniveaus
haben, wie sie in einem Teil (a) von 13 gezeigt
sind, kann die Sendereihenfolge dieser drei Unterbänder nicht
nur Unterband1, Unterband2, Unterband3, sondern beispielsweise auch Unterband2,
Unterband1, Unterband3 sein.
-
In dem ersten Beispiel kann die Videodecodierungsseite
die von der Codierungsseite empfangenen codierten Daten dadurch
decodieren, dass sie die Komponenten in jeder Einheit integrierter
Komponenten in Gruppen der jeweiligen Komponenten Y, U und V separiert,
die separierten Daten in die entsprechenden Unterbandbereiche im
Speicher schreibt und schließlich
die drei Unterbänder
mit der höchsten Auflösung in
den entsprechenden Unterbandbereich des Speichers schreibt.
-
In dem zweiten Beispiel kann die
Videodecodierungsseite die von der Codierungsseite empfangenen codierten
Daten dadurch decodieren, dass sie die Unterbänder in jeder Einheit integrierter
Komponenten dadurch separiert, dass sie das von der Codierungsseite
vorgenommene Verfahren umkehrt und die Unterbänder jeder Komponente in den
entsprechenden Unterbandbereich in dem entsprechenden Speicher schreibt.
In diesem Fall unterscheidet sich die dritte Ausführungsform
von der ersten und von der zweiten Ausführungsform durch die Tatsache,
dass aus mehreren der niedrig aufgelösten Unterbänder durch die Codierungsseite
lediglich die erste Einheit integrierter Komponenten vorbereitet wird,
die vier Unterbänder
Y, ein Unterband U und ein Unterband V enthält.
-
Wie oben beschrieben wurde, kann
die Anzahl der miteinander zu kombinierenden niedrig aufgelösten Unterbänder frei
gewählt
werden. Beispielsweise kann eine Einheit integrierter Komponenten am
Anfang sieben Y-Komponenten-Unterbänder, vier U-Komponenten-Unterbänder und
vier V-Komponenten-Unterbänder enthalten.
-
In dem dritten Beispiel kann jede
Einheit integrierter Komponenten mit dem gleichen Verfahren, wie
es für
das zweite Beispiel beschrieben worden ist, in Unterbänder der
jeweiligen Komponenten Y, U und V zerlegt und in die entsprechenden
Unterbandbereiche (für
die Komponenten Y, U und V) im Speicher geschrieben werden, um sie
zu decodieren. Da die hoch aufgelösten Unterbänder Y, U und V in einer Einheit
integrierter Komponenten auf der Codierungsseite zu dreien kombiniert
worden sind, werden die hoch aufgelösten Unterbänder Y, U und V für jede Komponente
in den entsprechenden Unterbandbereichen zu dreien im Speicher aufgezeichnet,
um sie zu decodieren. Dieses Beispiel unterscheidet sich durch das
obenerwähnte
Merkmal von dem zweiten Beispiel.
-
In dem vierten Beispiel kann die
Videodecodierungsseite die von der Codierungsseite empfangenen codierten
Daten dadurch decodieren, dass sie die Unterbänder in jeder Einheit integrierter
Komponenten auf die gleiche Weise separiert, wie es für die Decodierungsvorrichtung
in dem zweiten oder dritten Beispiel beschrieben worden ist, und
die Unterbänder
jeder Komponente in den entsprechenden Unterbandbereich in dem entsprechenden
Speicher schreibt. Dieses Beispiel unterscheidet sich von dem zweiten
und dritten Beispiel durch die Tatsache, dass zunächst die
Unterbänder
der jeweiligen Komponenten Y, U, V mit der niedrigsten Auflösung in
den entsprechenden Unterbandbereichen (Y, U, V) im Speicher gespeichert
werden, um sie zu decodieren, und daraufhin die von den Unterbändern mit
der niedrigsten Auflösung
verschiedenen niedrig aufgelösten
Unterbänder
in den entsprechenden Bereichen (Y, U, V) im Speicher gespeichert
werden.
-
Die Videodecodierungsvorrichtung
gemäß der Ausführungsform
der vorliegenden Erfindung ist bis auf den Betrieb des Komponentenseparierungsabschnitts 204 (den
Schritt des Separierens jeder Einheit integrierter Komponenten in
die jeweiligen Komponenten und des Schreibens der separierten Daten
in die entsprechenden Bereiche in einem Speicher) ähnlich der
des ersten Hintergrund beispiels. Somit wird die weitere Erläuterung
weggelassen.
-
Bei den integrierten Komponenteneinheiten, die
jeweils aus einer oder aus mehreren Gruppen von Koeffizienten wie
etwa Zeilen anstelle der Unterbänder
für die
jeweiligen Komponenten Y, U und V aufgebaut sind, kann in der Ausführungsform
das gleiche Verfahren angewendet werden, wie es zuvor bei dem gleichen
Fall in dem ersten und zweiten Hintergrundbeispiel beschrieben wurde,
die auf dem gleichen Verfahren beruhen, wie es für die Einheit integrierter Komponenten
beschrieben worden ist, die aus den Unterbändern für die jeweiligen Komponenten
Y, U und V aufgebaut ist.
-
In der Ausführungsform der vorliegenden
Erfindung kann ein Bild, dessen Komponenten unterschiedliche Größen und
unterschiedliche Zerlegungsniveaus besitzen, in der Weise codiert
werden, dass auf der Codierungsseite codierte Daten mit einer hierarchischen
Struktur erhalten werden, während
auf der Decodierungsseite aus den gesamten codierten Daten oder
aus einem Teil der codierten Daten ein gesamtes Bild wiedergegeben
wird.
-
Obgleich die Ausführungsform beispielhaft mit
nur einem Bild mit Komponenten, deren Größenverhältnis 2 : 1 : 1 ist, beschrieben
worden ist, können mit
ihr wie oben beschrieben andere Größenverhältnisse von Bildkomponenten
auf ähnliche
Weise behandelt werden. Beispielsweise kann ein Bild, dessen Komponenten
Y, U und V die gleiche Größe und unterschiedliche
Anzahlen von Unterbändern
besitzen, über
das gleiche Verfahren, wie es oben in der Ausführungsform beschrieben worden
ist, in der Weise codiert werden, dass es eine hierarchische Struktur
besitzt. Außer
der beschriebenen Reihenfolge aus 10 werden
ebenfalls die Sendereihenfolgen angewendet, die den in den 11 bis 13 gezeigten entsprechen.
-
Die Ausführungsform der vorliegenden
Erfindung ist beispielhaft mit der angegebenen Reihenfolge der Übertragung
der Elemente Y, U, V in den integrierten Komponenteneinheiten beschrieben
worden, soll aber nicht auf diese Reihenfolge beschränkt sein.
-
Industrielle
Anwendbarkeit
-
Die vorliegende Erfindung bringt
die folgenden vorteilhaften Wirkungen.
-
Zunächst können die Videocodierungsvorrichtung
und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung
für die
Verarbeitung eines Bildes ausgelegt werden, dessen Luminanz- und
Chrominanzkoeffizienten sich durch die Auflösung voneinander unterscheiden
und die unterschiedliche Unterbandzerlegungsniveaus besitzen, was
gegenüber
dem herkömmlichen
Verfahren, das lediglich auf ein Bild angewendet werden kann, dessen
Komponenten die gleiche Auflösung
und die gleiche Anzahl von Unterbändern besitzen, einen großen Vorteil
schafft. Da viele digitale Bilder üblicherweise in der Weise formatiert
werden, dass sie eine höhere
Auflösung
der Luminanzkomponente als der Chrominanzkomponente besitzen, wobei
allgemein die unterschiedlichen Unterbandzerlegungsniveaus gemäß den Auflösungsniveaus
der Komponenten verwendet werden, ist dieses von der vorliegenden Erfindung
geschaffene Merkmal insbesondere bei der digitalen Bildverarbeitung
sehr wünschenswert.
-
Zweitens können die Videocodierungsvorrichtung
und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung
für die
Verarbeitung eines Bildes ausgelegt werden, dessen Luminanz- und
Chrominanzkomponenten unterschiedliche Auflösungsniveaus und unterschiedliche
Unterbandzerlegungsniveaus besitzen, was einen großen Vorteil gegenüber dem
Verfahren des Standes der Technik schafft, das lediglich auf ein
Bild angewendet werden kann, dessen Komponenten die gleiche Auflösung und
die gleiche Anzahl von Unterbändern
besitzen. Außerdem
schaffen diese Aspekte der vorliegenden Erfindung ein Merkmal, dass
jede Einheit integrierter Komponenten immer das Verhältnis der
Anzahl der jeweiligen in einem Eingangsbild enthaltenen Komponenten
widerspiegelt. Dieses Merkmal beseitigt die Notwendigkeit, redundante
Daten auf der Decodierungsseite zu decodieren, wenn die Menge der Daten
gemäß der Auflösung der
Anzeigeeinheit decodiert wird.
-
Drittens können die Videocodierungsvorrichtung
und die Videodecodierungsvorrichtung gemäß der vorliegenden Erfindung
außer
der obenerwähnten
zweiten vorteilhaften Wirkung zunächst die Unterbänder mit
der niedrigsten Auflösung
der jeweiligen Komponenten An separieren
und senden, um zunächst
die Zusammenfassung eines Bildes anzuzeigen, was es ermöglicht,
die subjektive Qualität
des wiedergegebenen Bildes zu verbessern.