JP2019017086A - ビデオ復号化方法及び装置とビデオ符号化方法及び装置 - Google Patents

Abstract

【課題】スライスの初期量子化パラメータを利用して、並列処理可能なデータ単位の最初の量子化グループの量子化パラメータ予測するビデオ復号化方法を提供する。【解決手段】ビデオ復号化方法は、スライスの量子化パラメータを獲得する段階と、スライスの量子化パラメータを用いて現在の量子化グループの予測量子化パラメータを生成する段階と、現在の量子化グループを含む最大符号化単位内の符号化単位の大きさによって、符号化単位の量子化パラメータを決定するためのシンタックスエレメントを獲得する段階と、スライスの量子化パラメータを用いて次の量子化グループの予測量子化パラメータを生成する段階と、現在の量子化グループの予測量子化パラメータ及びシンタックスエレメントを用いて符号化単位の量子化パラメータを決定する段階と、符号化単位及び次の量子化グループに対して逆量子化を行う段階とを含む。【選択図】図２８

Description

本発明は、ビデオの符号化及び復号化に関する。

一般的に、ＭＰＥＧ（moving picture experts group）、Ｈ．２６Ｘなどのビデオ圧縮標準では、映像データを、予測、変換、量子化及びエントロピー符号化過程を介して圧縮し、ビットストリームを生成する。

予測段階では、映像の空間的相関関係を利用したイントラ予測、または時間的相関関係を利用したインター予測を介して、符号化する映像データの予測映像を形成する。

変換段階では、予測段階で形成された予測映像と原映像との差値である誤差データを、多様な変換技法を利用して、変換領域（transform domain）に変換する。代表的な変換技法の例として、離散コサイン変換（ＤＣＴ：discrete cosine transform）、ウェーブレット変換（wavelet transform）などがある。

量子化段階では、変換段階を経て生成された変換係数を、誤差値及びターゲットビットストリームの大きさによって、適切に損失圧縮させる。損失圧縮に基づいた大多数の標準イメージ及びビデオコーデックは、量子化ステップ（quantization step）による量子化過程及び逆量子化過程を遂行する。量子化過程は、入力値を量子化ステップに分けた後で整数化することによって、量子化された値を得る。量子化過程を介して、情報量が損失圧縮される。全ての損失圧縮技術は、量子化段階を含むので、本来データの完璧な復元が不可能であるが、圧縮率を高めることができる。

本発明が解決しようとする技術的課題は、ビデオデータの並列処理のために、量子化時または逆量子化時に利用される量子化パラメータの予測過程を改善するためのものである。

並列処理可能なデータ単位の最初の量子化グループについてスライスレベルで設定された初期量子化パラメータを利用して、量子化パラメータ予測値を獲得する。

本発明の実施形態によれば、符号化単位の処理順序に係わりなく、最初に量子化または逆量子化されるデータ単位に係わる量子化パラメータ予測値を、上位データ単位の符号化情報に基づいて獲得することができるので、量子化過程または逆量子化過程において、データ単位処理順序によって、一部データ単位の処理が完了するまで、他のデータ単位の処理が遅延されるボトルネック現象を解決することができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による図４の量子化部４４０の具体的な構成を示したブロック図である。 本発明の一実施形態による図４のエントロピー符号化部４５０の具体的な構成を示したブロック図である。 本発明の一実施形態による、 ピクチャを分割するのに利用されるデータ単位であるスライスセグメント、スライス、最大符号化単位を図示する図面である。 発明の一実施形態による、ピクチャを分割するのに利用されるデータ単位であるタイルとスライスセグメントとを図示する図面である。 本発明の一実施形態による、タイル、スライスセグメント、スライス、最大符号化単位の関係を図示する図面である。 本発明の一実施形態による、タイル、スライスセグメント、スライス、最大符号化単位の関係を図示する図面である。 本発明の一実施形態によるＷＰＰ（wavefront parallel processing）について説明するための参照図である。 本発明の一実施形態による、スライスセグメントに含まれた最大符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する過程について説明するための図面である。 本発明の一実施形態による、最大符号化単位に含まれた符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する過程について説明するための図面である。 本発明の一実施形態による、ＰＰＳ（picture parameter set）に付加される量子化パラメータ関連シンタックスを示した図面である。 本発明の一実施形態による、スライスセグメントヘッダに付加される量子化パラメータ関連シンタックスを示した図面である。 本発明の一実施形態による、変換単位情報に付加される量子化パラメータ関連シンタックスを示した図面である。 本発明の一実施形態によるビデオ符号化方法を示したフローチャートである。 本発明の一実施形態による図５のエントロピー復号化部５２０の具体的な構成を示したブロック図である。 本発明の一実施形態による図５の逆量子化部５３０の具体的な構成を示したブロック図である。 本発明の一実施形態によるビデオ復号化方法を示したフローチャートである。

本発明の一実施形態によるビデオ復号化方法は、ビットストリームから、スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの初期値決定のためのシンタックスを獲得する段階と、前記獲得されたシンタックスに基づいて、前記スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの予測のためのスライスレベルの初期量子化パラメータを獲得する段階と、前記スライスレベルの初期量子化パラメータを利用して、前記スライスセグメントに含まれた並列的復号化が可能なデータ単位の最初の量子化グループの量子化パラメータ予測値を獲得する段階と、前記獲得された量子化パラメータ予測値に基づいて、前記最初の量子化グループに適用される量子化パラメータを決定する段階と、前記決定された量子化パラメータに基づいて、前記量子化グループに含まれた符号化単位に係わる逆量子化を行う段階と、を含むことを特徴とする。

本発明の一実施形態によるビデオ復号化装置は、ビットストリームから、現在スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの初期値決定のためのシンタックスを獲得するエントロピー復号化部；及び前記獲得されたシンタックスに基づいて、前記スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの予測のためのスライスレベルの初期量子化パラメータを獲得し、前記スライスレベルの初期量子化パラメータを利用して、前記スライスセグメントに含まれた並列的復号化が可能なデータ単位の最初の量子化グループの量子化パラメータ予測値を獲得し、前記獲得された量子化パラメータ予測値に基づいて、前記最初の量子化グループに適用される量子化パラメータを決定し、前記決定された量子化パラメータに基づいて、前記量子化グループに含まれた符号化単位に係わる逆量子化を行う逆量子化部；を含む。

本発明の一実施形態によるビデオ符号化方法は、スライスセグメントに含まれた符号化単位の量子化に利用された量子化パラメータを獲得する段階と、前記スライスセグメントに含まれた並列的符号化が可能なデータ単位の最初の量子化グループの量子化パラメータを予測するためのスライスレベルの初期量子化パラメータを決定する段階と、前記決定されたスライスレベルの初期量子化パラメータを利用して、前記最初の量子化グループの量子化パラメータ予測値を獲得する段階と、前記決定されたスライスレベルの初期量子化パラメータを示すシンタックス情報を含むビットストリームを生成する段階と、を含む。

本発明の一実施形態によるビデオ符号化装置は、スライスセグメントに含まれた符号化単位を量子化し、前記スライスセグメントに含まれた並列的符号化が可能なデータ単位の最初の量子化グループの量子化パラメータを予測するためのスライスレベルの初期量子化パラメータを決定し、前記決定されたスライスレベルの初期量子化パラメータを利用して、前記並列的符号化が可能なデータ単位の最初の量子化グループの量子化パラメータ予測値を獲得し、前記量子化グループに含まれた符号化単位の量子化に利用された量子化パラメータと、前記量子化パラメータ予測値との差値、及び前記決定されたスライスレベルの初期量子化パラメータを出力する量子化部；及び前記決定されたスライスレベルの初期量子化パラメータを示すシンタックス情報を含むビットストリームを生成するエントロピー符号化部；を含む。

以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatialdomain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度と決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０、１，２，３及び４の深度レベルが存在するので、第１最大深度は４に、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基にして行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別符号化単位に対して、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化のような段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含む。

以下、周波数変換の基盤になるデータ単位は、「変換単位」とされる。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度が０に、変換単位の大きさがＮｘＮであるならば、変換深度が１に、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度は２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率−歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。また、ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャごとにマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。

一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出される。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照し、本発明の一実施形態による、ツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳細に説明する。

図３は、階層的符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以降の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化したりする。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基にして選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータに対して、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれによって予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードはサ、イズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２については、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かように、深度０，１…ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償の作業、及び周波数変換／逆変換の作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎと、を示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８、２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置４００の量子化部４４０及びエントロピー符号化部４５０において、量子化パラメータ（ＱＰ：quantization parameter）を符号化する過程と、図５の映像復号化装置５００のエントロピー復号化部５２０及び逆量子化部４３０において、量子化パラメータを復号化する過程について詳細に説明する。

図１４は、本発明の一実施形態による図４の量子化部４４０の具体的な構成を示したブロック図である。図１４を参照すれば、量子化部４４０は、量子化遂行部１４１０、量子化パラメータ予測部１４２０及び減算部１４３０を含む。

量子化遂行部１４１０は、周波数領域に変換された残差データ（residual data）を量子化する。量子化遂行部１４１０は、入力データを、量子化パラメータによって決定された量子化ステップ（Ｑ＿Step：quantization step）で除した値に基づいて量子化を行うことができる。一例として、量子化遂行部１４１０は、次の数式：Ｑ＿Ｃｏｅｆｆ＝ｓｇｎ（Ｃｏｅｆｆ）＊round［（Ｃｏｅｆｆ）／Ｑ＿Step＋Ｏｆｆｓｅｔ］によって、入力データ（Ｃｏｅｆｆ）に対する量子化を行うことができる。ここで、Ｏｆｆｓｅｔは、オフセット、Ｑ＿Stepは、量子化ステップ、Ｑ＿Ｃｏｅｆｆは、量子化された結果値を示す。round［Ｘ］演算は、実数Ｘほど大きくなく、実数Ｘと最も近い整数を出力する演算を意味する。ｓｇｎ（Ｃｏｅｆｆ）関数は、Ｃｏｅｆｆ値が０より大きい場合、１の値を有し、Ｃｏｅｆｆ値が０より小さい場合、−１の値を有する関数である。そのように、量子化遂行部１４１０は、入力データを量子化ステップ（Ｑ＿Step）で除することにより、量子化を行うことができる。量子化ステップ（Ｑ＿Step）は、量子化パラメータによって決定された値を有することができる。例えば、下記表２のように、量子化パラメータによって、量子化ステップ（Ｑ＿Step）が決定される。

表２を参照すれば、量子化パラメータが６増加するたびに、量子化ステップ（Ｑ＿Step）が２倍ずつ増加する。量子化パラメータを利用した量子化過程、及び量子化パラメータによる量子化ステップ、前述の例に限定されるものではなく、変更可能である。

逆量子化は、量子化過程と反対に、量子化パラメータによって決定される量子化ステップＱ＿Stepを入力データに乗じた値を利用して行われる。一例として、逆量子化は、次の数式：InverseＱ＿Ｃｏｅｆｆ＝ｓｇｎ（Ｑ＿ｃｏｅｆｆ）＊round［Ｑ＿Ｃｏｅｆｆ＊Ｑ＿Step＋Ｏｆｆｓｅｔ］のように、量子化係数（Ｑ＿Ｃｏｅｆｆ）に、量子化ステップ（Ｑ＿Step）を乗じた後、所定のオフセットを加えた値を獲得することによって行われる。

量子化パラメータ予測部１４２０は、現在符号化単位に適用された量子化パラメータの予測値である量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する。前述のように、入力データに係わる量子化及び逆量子化を行うためには、量子化パラメータ情報が必要である。データ量を低減させるために、量子化パラメータ情報として、量子化パラメータと、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）との差分値だけが伝送される。復号化時には、符号化時と同一の方式で、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得し、ビットストリームに含まれた差分値と加算し、量子化パラメータを復元することができる。量子化パラメータ予測部１４２０は、以前に符号化された符号化単位の量子化時に決定された量子化パラメータを利用して行うことができる。特に、本発明の一実施形態による量子化パラメータ予測部１４２０は、所定データ単位の最初に量子化される符号化単位については、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。具体的には、量子化パラメータ予測部１４２０は、スライスセグメントに含まれた並列的符号化が可能なデータ単位の最初の量子化グループの量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を、スライスレベルで設定された初期量子化パラメータ（SliceＱＰ）を利用して予測することができる。量子化グループは、同一の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を共有する少なくとも１つの符号化単位の集合を意味する。量子化グループは、１つの符号化単位で構成され、複数個の符号化単位を含んでもよい。後述するように、並列的符号化が可能なデータ単位は、ウェーブフロント並列処理（ＷＰＰ：wavefront parallel processing）によって、同一行の最大符号化単位を含む最大符号化単位行またはピクチャを、少なくとも１つの列境界及び／または行境界（row boundary）を基準にして分割したタイル（tile）でもある。

また、量子化パラメータ予測部１４２０は、周辺符号化単位で決定された量子化パラメータを利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。具体的な量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する過程については、後述する。

量子化パラメータ予測部１４２０は、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得するための付加情報を、エントロピー符号化部４５０に出力する。

減算部１４３０は、現在符号化単位に適用された量子化パラメータと、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）との差値である差分量子化パラメータ（ΔＱＰ）を出力する。

図１５は、本発明の一実施形態による図４のエントロピー符号化部４５０の具体的な構成を示したブロック図である。

エントロピー符号化部４５０は、ビデオを符号化した結果によって生成されたシンタックスエレメント（syntax element）を算術符号化する。算術符号化方式として、コンテクスト基盤算術符号化方式（ＣＡＢＡＣ：context adaptive binary arithmetic coding）などが利用される。また、エントロピー符号化部４５０は、ビデオ符号化階層（video coding layer）で算術符号化されたビデオデータ、及びビデオ符号化に係わる各種パラメータ情報を、ネットワーク抽象階層（network abstraction layer）によるフォーマットに変換してビットストリームを生成する。

具体的には、図１５を参照すれば、エントロピー符号化部４５０は、プロファイル、レベルなどシーケンス全体に係わる符号化情報を含むＳＰＳ（sequence parameter set）を生成するＳＰＳ生成部１５１０、シーケンスに含まれた各ピクチャに係わる符号化情報を含むＰＰＳ（picture parameter set）を生成するＰＰＳ生成部１５２０、ピクチャに含まれたスライスセグメントの符号化情報を含むスライス情報を生成するスライス情報生成部１５３０、及び変換過程で利用される変換単位に係わる情報を生成する変換単位（ＴＵ：transform unit）情報生成部１５４０などを含む。後述するように、ＰＰＳ生成部１５２０は、ピクチャに含まれた各スライスの初期量子化パラメータ（SliceＱＰ）を獲得するためのピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）をＰＰＳに含める。また、スライス情報生成部１５３０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）をスライスヘッダに含める。

図示された階層構造以外にも、エントロピー符号化部４５０は、符号化単位の情報など他の下位階層のデータ単位に係わる情報をカプセル化（encapsulation）し、ビットストリームとして生成することができる。

前述のように、量子化パラメータ予測部１４２０は、並列的な処理が可能である所定データ単位の最初に量子化される符号化単位（または、量子化グループ）については、スライスレベルで設定された初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。ここで、所定データ単位は、ピクチャ分割方式（picture partitioning schemes）によって、ピクチャを分割したデータ単位として、スライス、スライスセグメント、タイルでもある。

図１６は、本発明の一実施形態による、ピクチャを分割するのに利用されるデータ単位であるスライスセグメント、スライス、最大符号化単位を図示している。図１６を参照すれば、ピクチャは、多数の最大符号化単位（ＬＣＵｓ：largest coding units）に分割される。図１６では、横方向に１１個、縦方向に９個、すなわち、総９９個の最大符号化単位にピクチャが分割された例を図示する。前述の図１ないし図１３のように、各最大符号化単位は、ツリー構造の符号化単位に分割されて符号化／復号化される。

また、ピクチャは、スライス境界によって、少なくとも１つのスライスに分割される。図１６では、スライス境界によって、上段スライスと下段スライスとの２つのスライスに分割された場合を図示している。また、１つのスライスは、少なくとも１つのスライスセグメントに分割される。図１６では、上段スライスがスライスセグメント境界によって、スライスセグメント１６１０，１６２０，１６３０に分割された場合を図示している。また、下段スライスは、１つのスライスセグメント１６４０を含む。

スライスセグメント１６１０，１６２０，１６３０，１６４０は、他のスライスセグメントに含まれた情報を参照するか否かによって、従属的スライスセグメント（dependent slice segment）と独立的スライスセグメント（independent slice segment）とに分類される。従属的スライスセグメントは、スライスセグメントヘッダに含まれた一部シンタックスエレメントが、符号化／復号化の順序上、以前に処理された以前スライスセグメントのシンタックスエレメントを参照して決定されるスライスセグメントである。独立的スライスセグメントは、以前スライスセグメントの情報を参照せずに、スライスセグメントのヘッダにシンタックスエレメントが決定されるスライスセグメントである。

図１７は、発明の一実施形態による、ピクチャを分割するのに利用されるデータ単位であるタイルとスライスセグメントとを図示している。図１７では、１枚のピクチャ１７００が列境界（column boundary）１７０１，１７０３を基準にして、３つのタイルに分割された場合を図示している。ピクチャは、列境界及び／または行境界（row boundary）を基準にして、複数個のタイルに分割される。図１７では、列境界のみを基準にしてピクチャがタイルに分割された場合を図示したが、ピクチャは、行境界のみを基準にしてタイルに分割されたり、あるいは行境界及び列境界いずれも基準にしてタイルに分割されたりもする。また、１つのタイルは、複数個のスライスセグメントを含む。図１７では、タイル＃１が、スライス境界１７０２，１７０４を基準にして、３つのスライスセグメント１７１０，１７２０，１７３０に分割された場合を図示している。

タイルは、列境界及び／または行境界を基準にして分離された最大符号化単位（ＬＣＵｓ）の集合であり、列境界または行境界を超える予測やコンテクスト予測は許容されない独立したデータ処理単位である。すなわち、タイルは、他のタイルの情報を参照しない独立したデータ処理単位であり、各タイルは、並列処理される。列境界及び行境界の位置情報は、ＳＰＳまたはＰＰＳに含まれる。復号化時には、ＳＰＳまたはＰＰＳから、列境界及び行境界の位置情報を獲得し、獲得された列境界及び行境界の位置情報に基づいて、ピクチャを、複数個のタイルに分割した後、分割された各タイルに対する並列的な復号化過程を遂行することができる。

従って、ピクチャ１７００のタイルそれぞれに対する並列的なプロセシングが行われながら、各タイルでは、最大符号化単位別に符号化／復号化が行われる。図１７で、各最大符号化単位に表記されている数字は、タイル内での最大符号化単位のスキャン順序、すなわち、符号化または復号化が処理される順序を示す。

本発明の一実施形態による、ピクチャを分割するのに利用されるデータ単位であるスライスセグメント、スライス、タイル及び最大符号化単位の関係は、次のように定義される。

各スライス及びタイルに対して、所定スキャン順序によって、符号化（復号化）される最大符号化単位は、次の２つの条件ｉ，ｉｉのうち少なくとも１つの条件を満足しなければならない。

（条件ｉ）１つのスライスに含まれる全ての最大符号化単位は、同一タイルに属する。

（条件ｉｉ）１つのタイルに含まれた全ての最大符号化単位は、同一スライスに属する。

また、各スライスセグメント及びタイルに対して、所定スキャン順序によって、符号化（復号化）される最大符号化単位は、次の２つの条件ａ及びｂのうち少なくとも１つの条件を満足しなければならない。

（条件ａ）１つのスライスセグメントに含まれる全ての最大符号化単位は、同一タイルに属する。

（条件ｂ）１つのタイルに含まれる全ての最大符号化単位は、同一スライスセグメントに属する。

かような条件ｉ，ｉｉのうち少なくとも１つの条件、及び条件ａ，ｂのうち少なくとも１つの条件を満足する範囲内で、１枚のピクチャは、スライス、スライスセグメント、タイル及び最大符号化単位を利用して分割される。

図１８Ａ及び図１８Ｂは、本発明の一実施形態による、タイル、スライスセグメント、スライス、最大符号化単位の関係を図示している。

図１８Ａを参照すれば、ピクチャ１８００は、スライスセグメント境界線１８０３，１８０５，１８０７，１８０９によって、５つのスライスセグメント１８１１，１８１３，１８１５，１８１７，１８１９に分割されている。また、１つの独立的スライスセグメント１８１１と、４つの従属的スライスセグメント１８１３，１８１５，１８１７，１８１９とによって、１つのスライスが構成されるので、ピクチャ１８００は、１つのスライスを含んでいる。

また、ピクチャ１８００は、タイル境界１８０１によって、２つのタイルに分割されている。それにより、左側タイルは、３つのスライスセグメント１８１１，１８１３，１８１５から構成され、右側タイルは、２つのスライスセグメント１８１７，１８１９から構成されている。

スライスセグメント１８１１，１８１３，１８１５，１８１７，１８１９、タイル及び最大符号化単位が、前述の条件ａ，ｂのうち少なくとも一つを満足するか否かをということをまず調べる。スライスセグメント１８１１，１８１３，１８１５の最大符号化単位は、いずれも左側タイルに含まれているので、条件ａを満足する。また、スライスセグメント１８１７，１８１９の最大符号化単位は、いずれも右側タイルに含まれているので、やはり条件ａを満足する。

スライス、タイル及び最大符号化単位が、前述の条件ｉ，ｉｉのうち少なくとも一つを満足する否かということを調べる。左側タイルの最大符号化単位は、いずれも１つのスライスに含まれているので、条件ｉｉを順守している。また、右側タイルの最大符号化単位も、いずれも１つのスライスに含まれているので、条件ｉｉを順守している。

図１８Ｂを参照すれば、ピクチャ１８５０は、タイル境界線１８５１によって、２つのタイル、すなわち、左側タイル及び右側タイルに分割されている。また、ピクチャ１８５０は、スライス境界線１８６６，１８６８によって、３つのスライスに分割され、左側タイルは、スライス境界線１８６６を中心に、左側上段スライスと左側下段スライスとに分割され、右側タイルは、１つの右側スライスから構成される。

左側上段スライスは、スライスセグメント境界線１８６３を中心に、１つの独立的スライスセグメント１８６１と、１つの従属的スライスセグメント１８６５とにに分割される。左側下段スライスは、スライスセグメント境界線１８８３を中心に、１つの独立的スライスセグメント１８８１と、１つの従属的スライスセグメント１８８５とにに分割される。右側スライスは、スライスセグメント境界線１８９３を中心に、１つの独立的スライスセグメント１８９１と、１つの従属的スライスセグメント１８９５とに分割される。

スライスセグメント１８６１，１８６５，１８８１，１８８５，１８９１，１８９５、タイル及び最大符号化単位について、条件ａ，ｂのうち少なくとも一つが満足されるか否かということをまず調べる。スライスセグメント１８６１，１８６５の最大符号化単位は、いずれも左側タイルに含まれているので、条件ａを満足する。また、スライスセグメント１８８１，１８８３の最大符号化単位も、いずれも同一の左側タイルに含まれているので、やはり条件ａを満足する。また、スライスセグメント１８９１，１８９３の最大符号化単位は、いずれも同一の右側タイルに含まれているので、やはり条件ａを満足する。

スライス、タイル及び最大符号化単位に係わる条件ｉ，ｉｉのうち少なくとも一つが満足されるか否かということを調べる。左側上段スライスの最大符号化単位は、いずれも左側タイルに含まれているので、条件ｉを満足する。また、左側下段スライスの最大符号化単位も、いずれも左側タイルに含まれているので、やはり条件ｉを満足する。また、右側スライスの最大符号化単位は、いずれも右側タイルに含まれ、右側タイルの最大符号化単位も、いずれも右側スライスに含まれているので、条件ｉを満足する。

図１９は、本発明の一実施形態によるＷＰＰ（wavefront parallel processing）について説明するための参照図である。

ウェーブフロント並列処理（以下、「ＷＰＰ」ともする）は、並列的な符号化／復号化のために、右上側の最大符号化単位の処理が完了した後、最大符号化単位を処理する。具体的には、ＷＰＰは、各行の最初の最大符号化単位（ＬＣＵ）の確率モデルを、上側行の２番目最大符号化単位の処理によって獲得された確率情報を利用して設定する。例えば、図１９を参照すれば、エントロピー符号化部４５０は、２行目（Tread ２）の最初の最大符号化単位１９０２のエントロピー符号化のための確率モデルを、１行目（Tread １）の２番目最大符号化単位１９０１のエントロピー符号化後に獲得された確率モデルを利用して設定する。そのように、エントロピー符号化部４５０は、各行の最大符号化単位をエントロピー符号化するとき、右上側に位置した最大符号化単位の処理によって更新された確率情報を利用することにより、並列的なエントロピー符号化処理が可能である。

また、ＷＰＰによれば、各行の最初の最大符号化単位は、上側行の２番目最大符号化単位に係わる処理が完了した後に処理されるために、各行の最大符号化単位は、上側行に位置した最大符号化単位を利用して、動き予測情報、例えば、予測動きベクトル情報を獲得することもできる。従って、図１９に図示された最初の行〜４行目（Tread １ないしTread ４）に含まれた最大符号化単位は、右上側の最大符号化単位が完了した時点で、それぞれ並列処理される。

ビデオ符号化装置またはビデオ復号化装置のＣＰＵ（central processing unit）またはＧＰＵ（graphics processing unit）のマルチコアそれぞれに割り当てられて並列処理されるデータ単位をスレッド（tread）と定義する。具体的には、ＣＰＵまたはＧＰＵが４個のマルチコアで構成されており、４個のデータ単位の並列処理が可能であると仮定する。かような場合、図１９に図示されているように、スレッド１ないしスレッド４の最大符号化単位それぞれは、４個のマルチコアそれぞれに割り当てられて並列処理される。前述のように、ＷＰＰによれば、Tread Ｎ（Ｎは、整数）の最大符号化単位の処理は、Tread （Ｎ−１）に含まれた右上側最大符号化単位の処理が完了するまで遅延されて処理される。

かようなＷＰＰによれば、エントロピー符号化過程において、各スレッドの最大符号化単位は、右上側最大符号化単位に係わるエントロピー符号化過程が完了した後、エントロピー符号化のための確率モデルを決定することができる。しかし、エントロピー符号化されるシンタックスエレメントにおける量子化パラメータと、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）との差値を示すシンタックス（ｃｕ＿ｑｐ＿delta）は、すぐエントロピー符号化されることがない。なぜならば、量子化パラメータと量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）との差値を獲得するために、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）が獲得されなければならないが、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）は、ラスタースキャン順序などにより、以前に処理される符号化単位で決定された量子化パラメータの値が利用されるからである。具体的には、図１９を参照すれば、従来技術によれば、最大符号化単位１９０３の量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）は、ラスタースキャン順序によって、以前に処理される最大符号化単位１９０５の量子化パラメータとして予測されるか、あるいは同一スレッドの以前処理された最大符号化単位１９０４の量子化過程で決定された量子化パラメータとして予測される。いずれの場合でも、ブロック１９０３のエントロピー符号化過程は、ラスタースキャン順序によって、以前に処理される最大符号化単位１９０５、または同一スレッドの以前最大符号化単位１９０４の符号化過程が完了した後にのみ行われる。そのように以前符号化単位の量子化パラメータに基づいて、量子化パラメータ予測値を獲得する場合、以前符号化単位の処理時まで処理が遅延され、ボトルネック現象（bottle-neck）が生じることがある。従って、以前符号化単位の量子化パラメータに基づいて、量子化パラメータ予測値を獲得する場合、全体的に並列処理の性能が低下する。

同様に、エントロピー復号化過程において、各スレッドの最大符号化単位は、右上側最大符号化単位に係わるエントロピー復号化過程が完了した後、エントロピー復号化される。ＷＰＰによっても、逆量子化過程において、ボトルネック現象が生じることがある。逆量子化のために必要なパラメータである量子化パラメータを獲得するために、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）を獲得する過程が先行されなければならない。前述の例のように、従来技術によれば、最大符号化単位１９０３の量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）は、ラスタースキャン順序によって、以前に処理される最大符号化単位１９０５の逆量子化過程で決定された量子化パラメータの値として予測されるか、あるいは同一スレッドの以前処理された最大符号化単位１９０４の逆量子化過程で決定された量子化パラメータの値として予測される。従って、最大符号化単位１９０３に対する復号化過程は、ラスタースキャン順序によって、以前に処理される最大符号化単位１９０５、または同一スレッドの以前最大符号化単位１９０４の復号化過程が完了した後にのみ行われる。

そのように、最大符号化単位の量子化または逆量子化のための量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）として、以前に処理される最大符号化単位で決定された量子化パラメータ、または同一スレッドの以前最大符号化単位で決定された量子化パラメータを利用する場合、以前の最大符号化単位に係わる処理が完了した後にのみ量子化パラメータの予測値が獲得されるという問題点がある。

従って、本発明の一実施形態によれば、ピクチャを分割したデータ単位のうち最初に量子化されるデータ単位の量子化パラメータ予測子（ＱＰ＿Predictor）として、スライスレベルで決定された初期量子化パラメータ（SliceＱＰ）を利用することにより、データ単位の処理順序に係わりなく、最初に量子化されるデータ単位に係わる量子化／逆量子化処理が可能になる。

図２０は、本発明の一実施形態による、スライスセグメントに含まれた最大符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する過程について説明するための図面である。図２０で、ピクチャ２０００は、スライスセグメント境界を基準にして２個のスライスセグメントに分割されたと仮定する。

量子化遂行部１４１０は、率−歪曲コスト（Ｒ−Ｄ）コストを考慮して、ツリー構造の符号化単位の量子化のための最適の量子化パラメータを決定し、決定された量子化パラメータを利用して、ツリー構造の符号化単位を量子化する一方、量子化パラメータ情報を出力する。

量子化パラメータ予測部１４２０は、各符号化単位の量子化パラメータを予測し、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を出力する。量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）は、現在符号化単位の処理順序、位置などを考慮して、多様な方式で予測される。

一例として、量子化パラメータ予測部１４２０は、スライスセグメントに含まれた並列処理可能なデータ単位の最初に量子化される符号化単位や、タイルに含まれた最初に量子化される符号化単位について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。図２０を参照すれば、上位スライスセグメントに含まれた最初の最大符号化単位２００１に含まれ、最初に量子化される符号化単位について、量子化パラメータ予測部１４２０は、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。同様に、下位スライスセグメントに含まれた最初の最大符号化単位２００４に含まれ、最初に量子化される符号化単位について、量子化パラメータ予測部１４２０は、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。

また、本発明の一実施形態による量子化パラメータ予測部１４２０は、スライスセグメントに含まれた各最大符号化単位行の最初に位置した最大符号化単位に含まれた最初に量子化される符号化単位について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。さらに図２０を参照すれば、量子化パラメータ予測部１４２０は、上位スライスセグメントに含まれた最大符号化単位行の最初に位置した最大符号化単位２００２，２００３に含まれた最初に量子化される符号化単位について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。同様に、量子化パラメータ予測部１４２０は、下位スライスセグメントに含まれた最大符号化単位行の最初に位置した最大符号化単位２００５，２００６，２００７に含まれた最初に量子化される符号化単位について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。

特に、量子化パラメータ予測部１４２０は、ＷＰＰによって、同一行に含まれた最大符号化単位行単位で並列的処理が可能である場合、スライスセグメントに含まれた最大符号化単位行の最初に位置した最大符号化単位に含まれた最初に量子化される符号化単位（量子化グループ）について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を予測させられる。言い替えれば、量子化パラメータ予測部１４２０は、ＷＰＰによる量子化処理時、各最大符号化単位行の最初の最大符号化単位に含まれた最初に量子化される符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を、スライスレベルで設定された初期量子化パラメータ（SliceＱＰ）を利用して、獲得することができる。量子化パラメータ予測部１４２０は、ＷＰＰが利用されない場合には、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、スライスセグメントに含まれた最初の最大符号化単位に含まれた最初に量子化される符号化単位についてのみ量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得し、最初に量子化される符号化単位を除いた残りの符号化単位の量子化パラメータ予測値は、周辺符号化単位の量子化パラメータを利用して、獲得することができる。

また、量子化パラメータ予測部１４２０は、並列的処理が可能な各タイルの最初に量子化された量子化グループについて、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を予測することができる。

図２１を参照すれば、所定スキャン順序によって、スライスセグメントに含まれた最初の最大符号化単位に含まれた最初に量子化される量子化グループは、図面符号２１１０で表示された符号化単位ａ，ｂ，ｃ，ｄを含む。量子化グループａに対する量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）は、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して獲得される。最初の量子化グループ２１１０に含まれた符号化単位ａ，ｂ，ｃ，ｄは、ｃｕ＿ｑｐ＿deltaシンタックスを有することができる最小符号化単位より小さいので、いずれも同一の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を有する。

他の例として、量子化パラメータ予測部１４２０は、最初符号化単位以外に、他の符号化単位については、上側及び左側に隣接した符号化単位の量子化パラメータの平均値に基づいて、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することもできる。例えば、符号化単位ｅ，ｆ，ｇ，ｈ ２１２０の量子化パラメータ予測値は、左側の符号化単位αの量子化パラメータ（ＱＰ＿α）、及び上側の符号化単位の量子化パラメータの平均値を利用して決定される。ただし、符号化単位ｅ，ｆ，ｇ，ｈ ２１２０の上側に位置した符号化単位は、利用可能ではないので、上側に位置した符号化単位の代りに、以前に処理された符号化単位の量子化パラメータを代わりに利用することができる。すなわち、量子化パラメータ予測部１４２０は、符号化単位ｅ，ｆ，ｇ，ｈそれぞれの量子化パラメータ予測値を、次のように獲得することができる。

ＱＰ＿Ｐｒｅｄ＿ｅ＝（ＱＰ＿α＋ＱＰ＿α＋１）＞＞１；
ＱＰ＿Ｐｒｅｄ＿ｆ＝（ＱＰ＿α＋ＱＰ＿ｅ＋１）＞＞１；
ＱＰ＿Ｐｒｅｄ＿ｇ＝（ＱＰ＿α＋ＱＰ＿ｆ＋１）＞＞１；
ＱＰ＿Ｐｒｅｄ＿ｈ＝（ＱＰ＿α＋ＱＰ＿ｇ＋１）＞＞１；
符号化単位ｉ，ｊ，ｋ，ｌ ２１３０の量子化パラメータ予測値は、左側の符号化単位βの量子化パラメータ（ＱＰ＿β）、及び上側の符号化単位γの量子化パラメータ（ＱＰ＿γ）の平均値を利用して決定される。左側の符号化単位βの量子化パラメータ（ＱＰ＿β）、及び上側の符号化単位γの量子化パラメータ（ＱＰ＿γ）がいずれも利用可能であるので、符号化単位ｉ，ｊ，ｋ，ｌ ２１３０は、いずれも（ＱＰ＿β＋ＱＰ＿γ＋１）＞＞１の値を量子化パラメータ予測値として有することができる。

最初に処理される量子化グループ２１１０の上側及び左側に隣接した符号化単位が利用可能ではないので、符号化単位ａ，ｂ，ｃ，ｄの上側及び左側に隣接した符号化単位の量子化パラメータを、それぞれスライスレベルの初期量子化パラメータ（SliceＱＰ）と仮定するならば、最初に量子化される量子化グループ２１１０に含まれたａ，ｂ，ｃ，ｄの量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）も、他の符号化単位と同様に、上側及び左側の符号化単位の量子化パラメータの平均値を介して予測されると解釈することができる。

前述のように、量子化パラメータ予測部１４２０は、スライスセグメントに含まれた並列的処理が可能であるデータ単位の最初の量子化グループについて、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する。以下、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を獲得する過程について説明する。

スライスレベルの初期量子化パラメータ（SliceＱＰ）は、ピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）；及びピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）；を利用して、次の数式：SliceＱＰ＝２６＋ｉｎｉｔ＿ｑｐ＿minus２６＋slice＿ｑｐ＿deltaのように獲得される。ピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）は、ピクチャに含まれた各スライスの最初符号化単位の量子化パラメータの平均値、またはあらかじめ設定された整数値から２６を差し引いた値である。シンタックス（slice＿ｑｐ＿delta）は、スライスに含まれた符号化単位の初期量子化パラメータ（SliceＱＰ）を決定するための調整値に該当し、符号化単位レベルで設定されるｃｕ＿ｑｐ＿deltaによって変更される。ｃｕ＿ｑｐ＿deltaは、符号化単位レベルで、量子化パラメータを変更するための調整値であり、ｃｕ＿ｑｐ＿delta＿enable＿flagが１に設定された場合、ｄｉｆｆ＿ｃｕ＿ｑｐ＿delta＿depthシンタックスによって決定された最小符号化単位サイズ以上の符号化単位は、ｃｕ＿ｑｐ＿deltaを有することができる。一例として、スライスレベルの初期量子化パラメータ（SliceＱＰ）と、各最大符号化単位行の最初に位置した最大符号化単位に含まれた最初に量子化される符号化単位の量子化パラメータ（ＱＰ）との差値を示すシンタックス情報（ｃｕ＿ｑｐ＿delta）は、符号化単位の変換情報を含む変換単位データ集合に含まれる。

図２２ないし図２４は、本発明の一実施形態による、量子化パラメータの予測のために階層構造のデータ単位ヘッダに含まれるシンタックスを示した図面である。

図２２は、本発明の一実施形態による、ＰＰＳに付加される量子化パラメータ関連シンタックスを示した図面である。図２２を参照すれば、ＰＰＳ生成部１５２０は、ピクチャに含まれた各スライスの初期量子化パラメータ（SliceＱＰ）を獲得するための付加情報であるｉｎｉｔ＿ｑｐ＿minus２６シンタックス２２１０をＰＰＳに含める。また、ＰＰＳ生成部１５２０は、符号化単位レベルで、量子化パラメータ値を変更することができるか否かということを示すフラグｃｕ＿ｑｐ＿delta＿enableｄ＿flag ２２２０、及びｃｕ＿ｑｐ＿deltaを有することができる最小符号化単位の大きさを決定するためのシンタックス（ｄｉｆｆ＿ｃｕ＿ｑｐ＿delta＿depth）２２３０をＰＰＳに含める。シンタックス（ｄｉｆｆ＿ｃｕ＿ｑｐ＿delta＿depth）２２３０は、ｃｕ＿ｑｐ＿deltaを有することができる最小符号化単位の大きさの深度を示すことができる。例えば、深度０の最大符号化単位の大きさを６４ｘ６４とするとき、シンタックス（ｄｉｆｆ＿ｃｕ＿ｑｐ＿delta＿depth）２２３０が２の値を有しているならば、深度２の符号化単位、すなわち、１６ｘ１６サイズ以上の符号化単位だけがｃｕ＿ｑｐ＿deltaを有することができる。また、ＰＰＳ生成部１５２０は、スライスセグメントに含まれた各最大符号化単位行に対する並列的なエントロピー符号化が行われたか否かということを示すentropy＿coding＿ｓｙｎｃ＿enableｄ＿flag ２２４０をＰＰＳに含める。entropy＿coding＿ｓｙｎｃ＿enableｄ＿flag ２２４０が１である場合、前述のように、ＷＰＰによって、各最大符号化単位行に対する並列的なエントロピー符号化が行われた場合を示し、entropy＿coding＿ｓｙｎｃ＿enableｄ＿flag ２２４０が０である場合、ＷＰＰによる並列的なエントロピー符号化が行われないということを示す。

前述のように、特に、本発明の一実施形態による量子化パラメータ予測部１４２０は、ＷＰＰが行われる場合、スライスセグメントに含まれた最大符号化単位行の最初に位置した最大符号化単位に含まれた最初に量子化される符号化単位について、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を予測させられる。また、量子化パラメータ予測部１４２０は、並列処理が可能な各タイルの最初に量子化された量子化グループについて、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を予測することができる。

図２３は、本発明の一実施形態による、スライスセグメントヘッダに付加される量子化パラメータ関連シンタックスを示した図面である。図２３を参照すれば、スライス情報生成部１５３０は、スライスセグメントヘッダに、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）をスライスヘッダに含める。

図２４は、本発明の一実施形態による、変換単位情報に付加される量子化パラメータ関連シンタックスを示した図面である。図２４を参照すれば、ＴＵ情報生成部１５４０は、符号化単位レベルにおける量子化パラメータと、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）との差値を示すシンタックス（ｃｕ＿ｑｐ＿delta）のサイズ情報（ｃｕ＿ｑｐ＿delta＿ａｂｓ）２４１０、及び符号（sign）情報（ｃｕ＿ｑｐ＿delta＿sign）２４２０をＴＵ単位情報に含める。

図２５は、本発明の一実施形態によるビデオ符号化方法を示したフローチャートである。図２５を参照すれば、段階２５１０で、量子化遂行部１４１０は、スライスセグメントに含まれた符号化単位の量子化に利用された量子化パラメータを獲得する。

段階２５２０で、量子化パラメータ予測部１４２０は、スライスセグメントに含まれた並列的符号化が可能なデータ単位の最初の量子化グループの量子化パラメータを予測するためのスライスレベルの初期量子化パラメータを決定する。前述のように、並列的符号化が可能なデータ単位は、ウェーブフロント並列処理（Wavefront parallel processing）によって、同一行の最大符号化単位を含む最大符号化単位行や、ピクチャを少なくとも１つの列境界及び／または行境界を基準にして分割したタイルでもある。

段階２５３０で、量子化パラメータ予測部１４２０は、決定されたスライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、最初の量子化グループの量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する。具体的には、量子化パラメータ予測部１４２０は、ＷＰＰによって、スライスセグメントに含まれた各最大符号化単位行に対する並列的なエントロピー符号化が行われた場合、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、各最大符号化単位行の最初に位置した最大符号化単位に含まれた最初に量子化される符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。また、量子化パラメータ予測部１４２０は、並列処理が可能な各タイルの最初に量子化された量子化グループについて、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を予測することができる。

また、量子化パラメータ予測部１４２０は、ＷＰＰによらない場合にも、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、スライスセグメントに含まれた最初の最大符号化単位に含まれた最初に量子化される符号化単位に係わる量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。また、量子化パラメータ予測部１４２０は、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、タイルに含まれた最初に量子化される符号化単位に係わる量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。また、量子化パラメータ予測部１４２０は、符号化単位の上側及び左側に隣接した符号化単位の量子化パラメータの平均値に基づいて、符号化単位に係わる量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。

段階２５４０で、エントロピー符号化部４５０は、決定されたスライスレベルの初期量子化パラメータ（SliceＱＰ）を決定するためのシンタックス情報を、ビットストリームに付加する。前述のように、ＰＰＳ生成部１５２０は、ピクチャに含まれた各スライスの初期量子化パラメータ（SliceＱＰ）を獲得するためのピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）をＰＰＳに含める。また、スライス情報生成部１５３０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）を、スライスヘッダに含める。ＴＵ情報生成部１５４０は、符号化単位レベルにおける量子化パラメータと、量子化パラメータの予測値（ＱＰ＿Ｐｒｅｄ）との差値を示すシンタックス（ｃｕ＿ｑｐ＿delta）のサイズ情報（ｃｕ＿ｑｐ＿delta＿ａｂｓ）２４１０、及び符号（sign）情報（ｃｕ＿ｑｐ＿delta＿sign）２４２０をＴＵ単位情報に含める。

図２６は、本発明の一実施形態による図５のエントロピー復号化部５２０の具体的な構成を示したブロック図である。

エントロピー復号化部５２０は、ビットストリームから、シンタックスエレメント（syntax element）を獲得して算術復号化する。具体的には、図２６を参照すれば、エントロピー復号化部５２０は、プロファイル、レベルなどシーケンス全体に係わる符号化情報を含むＳＰＳを獲得するＳＰＳ獲得部２６１０、シーケンスに含まれた各ピクチャに係わる符号化情報を含むＰＰＳを獲得するＰＰＳ獲得部２６２０、ピクチャに含まれたスライスセグメントの符号化情報を含むスライス情報を獲得するスライス情報獲得部２６３０、及び変換過程で利用される変換単位に係わる情報を獲得する変換単位情報獲得部２６４０などを含む。

エントロピー復号化部５２０は、スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの初期値決定のためのシンタックスを獲得する。具体的には、ＰＰＳ獲得部２６２０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）を獲得する。また、スライス情報獲得部２６３０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）をスライスヘッダから獲得する。また、エントロピー復号化部５２０は、スライスセグメントに含まれた各最大符号化単位行に対する並列的なエントロピー符号化が行われたか否かということを示すシンタックス（entropy＿coding＿ｓｙｎｃ＿enableｄ＿flag）を獲得することができる。entropy＿coding＿ｓｙｎｃ＿enableｄ＿flagが１である場合、前述のように、ＷＰＰによって、各最大符号化単位行に対する並列的なエントロピー復号化が可能であり、entropy＿coding＿ｓｙｎｃ＿enableｄ＿flagが０である場合、ＷＰＰによる並列的なエントロピー復号化が不可能である。

図２７は、本発明の一実施形態による図５の逆量子化部５３０の具体的な構成を示したブロック図である。図２７を参照すれば、逆量子化部５３０は、量子化パラメータ予測部２７１０、加算部２７２０及び逆量子化遂行部２７３０を含む。

量子化パラメータ予測部２７１０は、前述の図１４の量子化パラメータ予測部１４２０と同様に、符号化単位の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。本発明の一実施形態による量子化パラメータ予測部２７１０は、並列的な処理が可能である所定データ単位の最初に逆量子化される符号化単位（量子化グループ）については、スライスレベルで設定される初期量子化パラメータ（SliceＱＰ）を利用して、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得することができる。前述のように、量子化グループは、同一の量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を共有する少なくとも１つの符号化単位の集合を意味する。量子化グループは、１つの符号化単位によって構成され、複数個の符号化単位を含んでもよい。並列的復号化が可能なデータ単位は、ＷＰＰによって、同一行の最大符号化単位を含む最大符号化単位行や、ピクチャを少なくとも１つの列境界及び／または行境界を基準にして分割したタイルでもある。

また、量子化パラメータ予測部２７１０は、ピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）；及びピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）；を利用して、次の数式：SliceＱＰ＝２６＋ｉｎｉｔ＿ｑｐ＿minus２６＋slice＿ｑｐ＿deltaによって、スライスレベルの初期量子化パラメータ（SliceＱＰ）を獲得することができる。また、量子化パラメータ予測部２７１０は、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、現在スライスセグメントに含まれた並列的な処理が可能であるデータ単位の最初の量子化グループの量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する。

加算部２７２０は、符号化単位に適用された量子化パラメータと、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）との差値である差分量子化パラメータ（Ｐ）；及び量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を；加算して量子化パラメータを復元する。

逆量子化遂行部２７３０は、復元された量子化パラメータによって決定された量子化ステップＱ＿Stepを利用して、入力データに係わる逆量子化を行う。前述のように、逆量子化遂行部２７３０は、量子化過程と反対に、量子化パラメータによって決定される量子化ステップＱ＿Stepを入力データに乗じた値を利用して逆量子化を行う。

図２８は、本発明の一実施形態によるビデオ復号化方法を示したフローチャートである。図２８を参照すれば、段階２８１０で、エントロピー復号化部５２０は、ビットストリームから、スライスセグメントに含まれた並列的処理が可能であるデータ単位の最初の量子化グループの逆量子化に利用される量子化パラメータの初期値決定のためのシンタックスを獲得する。前述のように、エントロピー復号化部５２０に含まれたＰＰＳ獲得部２６２０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）を獲得し、スライス情報獲得部２６３０は、ピクチャレベルの初期量子化パラメータを示すシンタックス（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）をスライスヘッダから獲得する。

段階２８２０で、量子化パラメータ予測部２７１０は、獲得されたシンタックスに基づいて、スライスセグメントに含まれた符号化単位の逆量子化に利用される量子化パラメータの予測のためのスライスレベルの初期量子化パラメータ（SliceＱＰ）を獲得する。前述のように、量子化パラメータ予測部２７１０は、ピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）；及びピクチャレベルの初期量子化パラメータ（ｉｎｉｔ＿ｑｐ＿minus２６）と、スライスレベルの初期量子化パラメータ（SliceＱＰ）との差値を示すシンタックス（slice＿ｑｐ＿delta）；を利用して、次の数式：SliceＱＰ＝２６＋ｉｎｉｔ＿ｑｐ＿minus２６＋slice＿ｑｐ＿deltaによって、スライスレベルの初期量子化パラメータ（SliceＱＰ）を獲得することができる。

段階２８３０で、量子化パラメータ予測部２７１０は、スライスレベルの初期量子化パラメータ（SliceＱＰ）を利用して、スライスセグメントに含まれた並列的復号化が可能なデータ単位の最初の量子化グループの量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）を獲得する。

段階２８４０で、加算部２７２０は、符号化単位に適用された量子化パラメータと、量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）との差値である差分量子化パラメータ（Ｐ）；及び量子化パラメータ予測値（ＱＰ＿Ｐｒｅｄ）；を加算して量子化パラメータを決定する。

段階２８５０で、逆量子化遂行部２７３０は、決定された量子化パラメータに基づいて量子化ステップＱ＿Stepを獲得し、量子化ステップＱ＿Stepを利用して、量子化グループに含まれた符号化単位に係わる逆量子化を行う。

なお、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部
５３０ 逆量子化部
２７１０ 量子化パラメータ予測部
２７３０ 逆量子化遂行部

Claims (12)

1. スライスの量子化パラメータを獲得する段階と、
   前記スライスの量子化パラメータを用いて現在の量子化グループの予測量子化パラメータを生成する段階と、
   前記現在の量子化グループを含む最大符号化単位内の符号化単位の大きさによって、前記符号化単位の量子化パラメータを決定するためのシンタックスエレメントを獲得する段階と、
   前記スライスの量子化パラメータを用いて次の量子化グループの予測量子化パラメータを生成する段階と、
   前記現在の量子化グループの予測量子化パラメータ及び前記シンタックスエレメントを用いて前記符号化単位の量子化パラメータを決定する段階と、
   前記符号化単位及び次の量子化グループに対して逆量子化を行う段階と、を含み、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、
   前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、
   前記スライスセグメント内の前記現在データ単位及び前記次のデータ単位を含む複数のデータ単位のそれぞれは同一行の最大符号化単位を含む最大符号化単位の行であり、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを特徴とするビデオ復号化方法。
2. 前記現在の量子化グループは、前記現在の量子化グループの予測量子化パラメータを共有する少なくとも１つの符号化単位の集合であることを特徴とする請求項１に記載のビデオ復号化方法。
3. スライスの量子化パラメータを獲得し、前記スライスの量子化パラメータを用いて現在の量子化グループの予測量子化パラメータを生成し、前記現在の量子化グループを含む最大符号化単位内の符号化単位の大きさによって、前記符号化単位の量子化パラメータを決定するためのシンタックスエレメントを獲得し、前記スライスの量子化パラメータを用いて次の量子化グループの予測量子化パラメータを生成し、前記現在の量子化グループの予測量子化パラメータ及び前記シンタックスエレメントを用いて前記符号化単位の量子化パラメータを決定し、前記符号化単位及び次の量子化グループに対して逆量子化を行うプロセッサを含み、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、
   前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、
   前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは、同一行の最大符号化単位を含む最大符号化単位行であり、
   複数の最大符号化単位行それぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを特徴とするビデオ復号化装置。
4. 前記現在の量子化グループは、前記現在の量子化グループの予測量子化パラメータを共有する少なくとも１つの符号化単位の集合であることを特徴とする請求項３に記載のビデオ復号化装置。
5. スライスに含まれた現在の量子化グループ内の符号化単位及び次の量子化グループに対して量子化を行う段階と、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位のそれぞれは同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するための前記スライスの量子化パラメータを決定する段階と、
   前記スライスの量子化パラメータを用いて前記現在の量子化グループの予測量子化パラメータを生成する段階と、
   前記現在の量子化グループを含む最大符号化単位内の符号化単位の大きさによって、前記符号化単位の量子化パラメータを決定するためのシンタックスエレメント情報を生成する段階と、
   前記決定されたスライスの量子化パラメータを示すシンタックス情報及び前記符号化単位の量子化パラメータを決定するためのシンタックスエレメント情報を含むビットストリームを生成する段階と、を含み、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを特徴とするビデオ符号化方法。
6. スライスに含まれた現在の量子化グループ内の符号化単位及び次の量子化グループに対して量子化を行う量子化部と、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位のそれぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するための前記スライスの量子化パラメータを決定し、前記スライスの量子化パラメータを用いて前記現在の量子化グループの予測量子化パラメータを生成し、前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータを生成し、前記現在の量子化グループを含む最大符号化単位内の符号化単位の大きさによって、前記符号化単位の量子化パラメータを決定するためのシンタックスエレメント情報を生成し、前記決定されたスライスの量子化パラメータを示すシンタックス情報及び前記符号化単位の量子化パラメータを決定するためのシンタックスエレメント情報を含むビットストリームを生成するエントロピー符号化部と、を含み、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを特徴とするビデオ符号化装置。
7. 現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するためのスライスの量子化パラメータを示すシンタックス情報と、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位のそれぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの予測量子化パラメータと前記現在の量子化グループに含まれた符号化単位の量子化パラメータとの差を示すシンタックスエレメント情報と、を含み、
   前記スライスの量子化パラメータを用いて前記現在の量子化グループの予測量子化パラメータが生成され、
   前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータが生成され、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを含み、
   前記現在の量子化グループの予測量子化パラメータ及び前記符号化単位の量子化パラメータ間の差を示す情報は、前記符号化単位の大きさによって生成されることを特徴とするビットストリームを保存するコンピュータで読取り可能な記録媒体。
8. スライスに含まれた現在の量子化グループ及び次の量子化グループに対して量子化を行う段階と、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは同一行の最大符号化単位を含む最大符号化単位行であり、前記現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するための前記スライスの量子化パラメータを決定する段階と、
   前記スライスの量子化パラメータを用いて前記現在の量子化グループの予測量子化パラメータを生成する段階と、
   前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータを生成する段階と、
   前記決定されたスライスの量子化パラメータを示すシンタックスエレメント情報を含むビットストリームを生成する段階と、を含み、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであり、
   周辺ブロックの利用可能性によって、前記周辺ブロックの量子化パラメータを用いて前記現在データ単位の最初の量子化グループ以降の一量子化グループの予測量子化パラメータが生成されることを特徴とするビデオ符号化方法。
9. スライスに含まれた現在の量子化グループ及び次の量子化グループに対して量子化を行う量子化部と、
   前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するための前記スライスの量子化パラメータを決定し、前記スライスの量子化パラメータを用いて前記現在の量子化グループの予測量子化パラメータを生成し、前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータを生成し、前記決定されたスライスの量子化パラメータを示すシンタックスエレメント情報を含むビットストリームを生成するエントロピー符号化部と、を含み、
   複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであり、
   周辺ブロックの利用可能性によって、前記周辺ブロックの量子化パラメータを用いて前記現在データ単位の最初の量子化グループ以降の一量子化グループの予測量子化パラメータが生成されることを特徴とするビデオ符号化装置。
10. 現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するためのスライスの量子化パラメータを示すシンタックスエレメント情報と、
    前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの予測量子化パラメータ及び前記現在の量子化グループに含まれた符号化単位の量子化に用いられた量子化パラメータ間の差を示すシンタックスエレメント情報と、を含み、
    前記スライスの量子化パラメータを用いて、前記現在の量子化グループの予測量子化パラメータが生成され、
    前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータが生成され、
    複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを含み、
    周辺ブロックの利用可能性によって、前記周辺ブロックの量子化パラメータを用いて、前記現在データ単位の最初の量子化グループ以降の一量子化グループの予測量子化パラメータが生成されることを特徴とするビットストリームを保存するコンピュータで読み取り可能な記録媒体。
11. 現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するためのスライスの量子化パラメータを示すシンタックスエレメント情報と、
    前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの予測量子化パラメータ及び前記現在の量子化グループに含まれた符号化単位の量子化に用いられた量子化パラメータ間の差を示すシンタックスエレメント情報と、を含み、
    前記スライスの量子化パラメータを用いて、前記現在の量子化グループの予測量子化パラメータが生成され、
    前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータが生成され、
    複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを含み、
    前記現在の量子化グループの予測量子化パラメータ及び前記符号化単位の量子化パラメータ間の差を示すシンタックスエレメント情報は、前記符号化単位の大きさによって生成され、
    周辺ブロックの利用可能性によって、前記周辺ブロックの量子化パラメータを用いて、前記現在データ単位の最初の量子化グループ以降の一量子化グループの予測量子化パラメータが生成されることを特徴とするビットストリームを保存するコンピュータで読み取り可能な記録媒体。
12. 現在の量子化グループの量子化パラメータ及び次の量子化グループの量子化パラメータを予測するためのスライスの量子化パラメータを示すシンタックスエレメント情報と、
    前記現在の量子化グループは、前記スライス内のスライスセグメントに含まれた現在データ単位の最初の量子化グループであり、前記次の量子化グループは、前記スライスセグメントに含まれた次のデータ単位の最初の量子化グループであり、前記スライスセグメント内の現在データ単位及び前記次のデータ単位を含む複数のデータ単位それぞれは、同一行の最大符号化単位を含む最大符号化単位の行であり、前記現在の量子化グループの予測量子化パラメータ及び前記現在の量子化グループに含まれた符号化単位の量子化に用いられた量子化パラメータ間の差を示すシンタックスエレメント情報と、を含み、
    前記スライスの量子化パラメータを用いて、前記現在の量子化グループの予測量子化パラメータが生成され、
    前記スライスの量子化パラメータを用いて前記次の量子化グループの予測量子化パラメータが生成され、
    複数の最大符号化単位の行のそれぞれの最初の量子化グループの予測量子化パラメータは、前記スライスの量子化パラメータであることを含み、
    周辺ブロックの利用可能性によって、前記周辺ブロックの量子化パラメータを用いて、前記現在データ単位の最初の量子化グループ以降の一量子化グループの予測量子化パラメータが生成され、
    前記周辺ブロックは、前記最初の量子化グループ以降の一量子化グループの左側または上側ブロックであることを特徴とするビットストリームを保存するコンピュータで読み取り可能な記録媒体。