JP2013530658A - ブロック併合を利用したビデオ符号化方法及びその装置、ブロック併合を利用したビデオ復号化方法及びその装置 - Google Patents

Abstract

現在ピクチャ符号化のためのデータ単位及びデータ単位ごとに行われる予測符号化を含む符号化方式を示す符号化モードを決定し、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを決定し、これを基に予測モード情報、併合関連情報及び予測関連情報が決定され、決定された情報を含んでデータ単位の符号化情報を決定するブロック併合を利用したビデオ符号化方法を開示する。

Description

本発明は、予測符号化のためのブロック併合を利用したビデオ符号化／復号化に関する。

ビデオ圧縮技術は、一般的に、現在の映像でブロックを符号化するために、周辺ブロックのうち、最も類似したブロックの予測情報を活用する動き予測／補償方式と、以前映像と現在映像との差分信号を、離散余弦変換（ＤＣＴ）を介して符号化することによって重複するデータを除去し、ビデオデータのサイズを圧縮する技法を利用している。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、マクロブロックを一定サイズのブロックを利用して変換及び逆変換行ってビデオデータを符号化／復号化する。

本発明は、ブロック併合を利用してビデオを符号化する方法及びその装置、ブロック併合を利用してビデオを復号化する方法及びその装置を提供するものである。

本発明の一実施形態によるデータ単位併合を利用したビデオ符号化方法は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決める段階と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを決定する段階と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含む。

一実施形態によるデータ単位の併合を利用したビデオ符号化装置のブロック図である。 一実施形態によるデータ単位の併合を利用したビデオ復号化装置のブロック図である。 関連技術によって、現在マクロブロックに併合される隣接ブロックを図示する図面である。 関連技術によって、現在データ単位の隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を示す図面である。 本発明の一実施形態によって、現在データ単位の隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を示す図面である。 本発明の一実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示する図面である。 本発明の一実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示する図面である。 関連技術によって、現在データ単位の拡張された隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を示す図面である。 本発明の一実施形態によって、現在データ単位の拡張された隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を示す図面である。 本発明の他の実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示する図面である。 本発明の他の実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示する図面である。 本発明の他の実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示する図面である。 一実施形態によって、現在パーティションと併合されない隣接データ単位を図示する図面である。 一実施形態によって、現在パーティションの形態及び位置によって、異なって決定される候補データ単位を図示する図面である。 一実施形態による幾何学的形態のパーティションである現在パーティションと併合されない隣接データ単位を図示する図面である。 一実施形態によって、現在データ単位と併合されるように決定された隣接データ単位の利用例を図示する図面である。 一実施形態によるデータ単位の併合を利用したビデオ符号化方法のフローチャートである。 一実施形態によるデータ単位の併合を利用したビデオ復号化方法のフローチャートである。 一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置のブロック図である。 本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化方法のフローチャートである。 本発明の一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化方法のフローチャートである。

本発明の一実施形態によるデータ単位併合を利用したビデオ符号化方法は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決定する段階と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを決定する段階と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含む。

一実施形態による前記符号化情報決定段階は、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を決定する段階と、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定する段階と、を含んでもよい。

本発明の一実施形態によるデータ単位併合を利用したビデオ復号化方法は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する段階と、前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化する段階と、を含む。

一実施形態による前記抽出及び読み取り段階は、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を抽出して判読する段階と、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の抽出いかんを決定する段階と、を含んでもよい。

本発明の一実施形態によるビデオ符号化装置は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに予測符号化を含む符号化方式と、を示す符号化モードを決定する符号化モード決定部；前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを決定するデータ単位併合決定部；及び前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する符号化情報決定部；を含む。

本発明の一実施形態によるビデオ復号化装置は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出するパージング部及び抽出部；及び前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化するデータ単位併合部及び復号化部；を含む。

本発明は、一実施形態によるデータ単位併合を利用したビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明は、一実施形態によるデータ単位併合を利用したビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、本明細書に記載した本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称することができる。以下、本明細書に記載した本発明の多様な実施形態で、「データ単位」は、ビデオを構成するデータのうち、所定範囲のデータの集合を指称する。また、以下、要素のリストを羅列するときに使用される「少なくとも１つの〜」のような表現は、リストのそれぞれの要素を修飾するのではなく、要素のリスト全体を修飾するのである。

以下、図１ないし図１８を参照し、一実施形態によるデータ単位の併合を利用するビデオの符号化及び復号化を開示する。以下、図１９ないし図３３を参照しつつ、本発明の一実施形態による、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化及び復号化を開示する。

以下、図１ないし図１８を参照し、一実施形態によるデータ単位の併合を利用したビデオ符号化装置及びビデオ復号化装置、そしてビデオ符号化方法及びビデオ復号化装置を開示する。

図１は、一実施形態によるデータ単位の併合を利用したビデオ符号化装置のブロック図を図示している。

一実施形態によるデータ単位の併合を利用したビデオ符号化装置１０は、符号化モード決定部１１、データ単位併合決定部１３及び符号化情報決定部１５を含む。以下、説明の便宜のために、一実施形態によるデータ単位の併合を利用したビデオ符号化装置１０は、「一実施形態によるビデオ符号化装置１０」と縮約して指称する。

一実施形態によるビデオ符号化装置１０は、ビデオデータを入力され、ピクチャごとに、ピクチャ間インター予測、ピクチャ内イントラ予測、変換、量子化及びエントロピー符号化の作業を経て符号化し、符号化されたビデオデータ及び符号化モードに係わる情報が収録された符号化情報を出力する。

一実施形態による符号化モード決定部１１は、現在ピクチャの符号化のためのデータ単位を決定し、データ単位ごとに行われる符号化方式を決定することができる。ビデオ圧縮符号化方式では、ビデオデータのうち、重複する部分を除去することによってデータのサイズを縮小するために、周辺データを利用する予測符号化技法が遂行される。一実施形態による符号化モード決定部１１は、予測符号化のためのデータ単位を正方形ブロック、または正方形ブロック内のパーティションと決定することができる。

一実施形態による符号化モード決定部１１は、データ単位ごとに、インターモード、イントラモード、スキップモードまたはダイレクトモードなどの予測符号化方式を示す予測モードを決定することができる。また、一実施形態による符号化モード決定部１１は、データ単位の予測モードによる予測符号化のために、補助的に必要な予測方向または参照インデックスのような付随事項を決定することができる。

一実施例による符号化モード決定部１１は、予測符号化のための予測モード及び関連付随事項を含んで各種符号化モードを決定し、これによって、ビデオデータを符号化することができる。

一実施形態によるデータ単位併合決定部１３は、符号化モード決定部１１で決定されたデータ単位のうち、インターモードであるデータ単位だけではなく、スキップモードまたはダイレクトモードであるデータ単位についても、少なくとも１つの隣接データ単位との併合いかんを決定することができる。

現在データ単位が隣接データ単位と併合されれば、現在データ単位は、隣接データ単位の動きベクトル情報を共有することができる。現在データ単位の動きベクトル差分情報は、独立して符号化されるが、現在データ単位の補助予測情報は、併合される隣接データ単位の補助予測情報を借用したり参照し、それによって誘導されるので、別途に符号化されない。

一実施形態によるデータ単位併合決定部１３は、現在データ単位に隣接する区域において、現在データ単位と併合されるデータ単位を含む少なくとも１つの候補データ単位群を決定することができる。一実施形態によるデータ単位併合決定部１３は、少なくとも１つの候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を検索することができる。この時区域ごとに、現在データ単位と併合されるデータ単位を含む候補データ単位群が一つずつ決定される。

符号化／復号化システム間にあらかじめ定めた所定規則によって、現在データ単位と隣接する少なくとも１つの区域において、候補データ単位群を決定する方式、または候補データ単位群のうち、１つのデータ単位を決定する方式が設定される。

また、一実施形態によるビデオ符号化装置１０は、現在データ単位と隣接する少なくとも１つの区域で、候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち１つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つを符号化して出力することもできる。

例えば、一実施形態によるデータ単位併合決定部１３は、候補データ単位群のうち、現在データ単位と同一の参照インデックスを有するデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することができる。

他の例として、一実施形態によるデータ単位併合決定部１３は、候補データ単位群のうち、予測モードがインターモードであるデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することもできる。このように選択された候補データ単位のうち、最終的に１つのデータ単位が、現在データ単位と併合される候補データ単位として決定される。

一実施形態によるデータ単位併合決定部１３は、一般的なインターモードの動きベクトル予測方式を利用して、現在データ単位と併合される候補データ単位を決定することができる。具体的には、一般的なインターモードの動きベクトル予測方式によれば、現在データ単位の動きベクトルとして予測される候補ベクトルは、現在データ単位の全ての境界に接する隣接データ単位において、複数個の候補ベクトルが決定される。すなわち、現在データ単位の左側境界に接する隣接データ単位中から一つ、上端境界に接する隣接データ単位中から一つ、及びコーナーに接する境界に接する隣接データ単位中から一つがそれぞれ選択され、３つのデータ単位の動きベクトルのうち一つが、候補ベクトルとして決定される。

一般的なインターモードの動きベクトル予測方式によって、一実施形態によるデータ単位併合決定部１３は、現在データ単位の左側境界に接する全ての隣接データ単位を含む左側候補データ単位群、及び上端境界に接する全ての隣接データ単位を含む上端候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を検索して決定することができる。

また、一実施形態によるデータ単位併合決定部１３は、現在データ単位の左側候補データ単位群と、上端候補データ単位群つに追加し、現在データ単位のコーナーに接する左側上端隣接データ単位、右側上端隣接データ単位及び右側下端隣接データ単位を含むコーナー候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を検索して決定することもできる。

その場合、一実施形態によるデータ単位併合決定部１３は、左側候補データ単位群のうち、１つの候補データ単位を決定する方式、上端候補データ単位群のうち、１つの候補データ単位を決定する方式、そしてコーナー候補データ単位群のうち、１つの候補データ単位を決定する方式は、あらかじめ設定された（implicit）方式に従う。

また、一実施形態によるデータ単位併合決定部１３は、左側候補データ単位群のうち決定された１つの候補データ単位、上端候補データ単位群のうち決定された１つの候補データ単位、コーナー候補データ単位群のうち１つの候補データ単位、すなわち、３つの候補データ単位のうち、最終的に現在データ単位に併合される１つの隣接データ単位を決定する方式も、あらかじめ設定された方式に従う。

例えば、一実施形態によるデータ単位併合決定部１３は、候補データ単位において、予測モードがインターモードであるデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することもできる。他の例として、一実施形態によるデータ単位併合決定部１３は、候補データ単位において、現在データ単位と同一の参照インデックスを有するデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することができる。

一実施形態によるデータ単位併合決定部１３は、１つのデータ単位のさらに正確なインター予測のために分割されたパーティションは、相互隣接しているとしても、併合しないことが望ましい。

現在パーティションの形態及び位置によって、現在パーティションに隣接するデータ単位のうち、アクセスすることができるデータ単位が異なることがあるので、併合される隣接データ単位を含む併合候補群が変更されることもある。従って、一実施形態によるデータ単位併合決定部１３は、現在パーティションの形態及び位置を考慮して、併合される隣接データ単位を検索することができる。

一実施形態による符号化情報決定部１５は、データ単位別に、予測モード情報、併合関連情報及び予測関連情報を決定することができる。一実施形態による符号化情報決定部１５は、符号化モード決定部１１によって決定された符号化情報のうち、予測関連情報を、データ単位併合決定部１３のデータ単位併合によって更新することができる。一実施形態による符号化情報決定部１５は、データ単位併合決定部１３のデータ単位併合によって、併合関連情報を含むように、データ単位の符号化情報を符号化することができる。一実施形態による符号化情報決定部１５は、符号化モード決定部１１によって符号化されたビデオデータ及び符号化情報を出力することができる。

一実施形態による予測関連情報のうち、予測モード情報は、現在データ単位の予測モードが、インターモード、イントラモード、スキップモードまたはダイレクトモードであるかを示す情報である。例えば、予測モード情報は、現在データ単位がスキップモードであるか否かを示すスキップモード情報、ダイレクトモードであるか否かを示すダイレクトモード情報を含んでもよい。

一実施形態による併合関連情報は、データ単位の併合いかんを決定したり、データ単位の併合を行うために必要な情報を含む。例えば、併合関連情報は、現在データ単位が隣接データ単位と併合されるか否かを示す併合情報と、併合されるデータ単位を示す併合インデックス情報とを含んでもよい。一実施形態による符号化情報決定部１５は、「隣接データ単位の予測モード及びパーティションタイプ」と、「現在データ単位と隣接データ単位との併合いかん」との組み合わせに係わるコンテクスト・モデリングを介して、併合情報を符号化することができる。

一実施形態による予測関連情報は、データ単位の予測符号化に必要な補助予測情報及び動き情報をさらに含んでもよい。例えば、前述のように、予測方向、予測のために参照されるデータ単位を示す参照インデックスなどを含み、予測符号化と係わる付随情報を総称する補助予測情報、そして動きベクトルまたは動きベクトル差分情報を含んでもよい。

一実施形態による符号化情報決定部１５は、データ単位の予測モード及びデータ単位の併合可能性の密接な関連性に基づいて、予測モード情報によって、併合関連情報の設定いかんを決定することができる。

まず、スキップモードではないデータ単位についてデータ単位併合が行われる第１実施形態で、一実施形態による符号化情報決定部１５は、現在データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を符号化し、スキップモード情報に基づいて、現在データ単位と隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定することもできる。

具体的に見れば、第１実施形態で、現在データ単位がスキップモードである場合、一実施形態による符号化情報決定部１５は、現在データ単位がスキップモードであることを示すように、スキップモード情報を設定し、現在データ単位の併合情報は省略することができる。

現在データ単位がスキップモードではないならば、一実施形態による符号化情報決定部１５は、スキップモードではないことを示すように、スキップモード情報を設定し、現在データ単位の併合情報を符号化することができる。

一実施形態による符号化情報決定部１５は、併合情報に基づいて、データ単位の動きベクトル差分情報を符号化し、データ単位の補助予測情報の符号化いかんを決定することができる。

すなわち、現在データ単位が隣接データ単位と併合されるならば、符号化情報決定部１５は、現在データ単位が隣接データ単位と併合されることを示すように現在データ単位の併合情報を設定し、現在データ単位の補助予測情報は、符号化しないこともある。一方、現在データ単位が隣接データ単位と併合されないならば、符号化情報決定部１５は、現在データ単位が隣接データ単位と併合されないことを示すように、現在データ単位の併合情報を設定し、現在データ単位の補助予測情報を符号化しなければならない。

現在データ単位が隣接データ単位と併合されるにせよ併合されないにせよ、符号化情報決定部１５は、現在データ単位の動きベクトル差分情報を符号化しなければならない。

また、スキップモードではなく、ダイレクトモードでもないデータ単位について、データ単位併合いかんが決定される第２実施形態で、一実施形態による符号化情報決定部１５は、ダイレクトモードであるデータ単位についても、データ単位の併合いかんを示すための併合関連情報を符号化することができる。

具体的に見れば、第２実施形態で、一実施形態による符号化情報決定部１５は、スキップモードではないデータ単位について、データ単位がスキップモードではないことを示すように、スキップモード情報を設定し、ダイレクトモード情報を符号化することができる。また、一実施形態による符号化情報決定部１５は、ダイレクトモード情報に基づいて、併合情報の符号化いかんを決定することができる。

すなわち、現在データ単位がダイレクトモードである場合、一実施形態による符号化情報決定部１５は、現在データ単位がダイレクトモードであることを示すように、ダイレクトモード情報を設定し、現在データ単位の併合情報は省略することができる。現在データ単位がダイレクトモードではないならば、一実施形態による符号化情報決定部１５は、ダイレクトモードではないことを示すように、ダイレクトモード情報を設定し、現在データ単位の併合情報を符号化することができる。

併合情報が符号化されるならば、併合情報に基づいて、現在データ単位の補助予測情報の符号化いかんが決定され、現在データ単位の動きベクトル差分情報が符号化されることについては、第１実施形態で説明した通りである。

一実施形態によって、現在ピクチャが分割されたデータ単位は、ピクチャ符号化のために、１データ単位である「符号化単位」、予測符号化のための「予測単位」、インター予測のための「パーティション」などを含んでもよい。一実施形態によるデータ単位併合決定部１３は、符号化単位ごとに、隣接データ単位との併合いかんを決定し、一実施形態による符号化情報決定部１５は、符号化単位ごとに、スキップモード情報及び併合情報を決定することができる。また、一実施形態によるデータ単位併合決定部１３は、予測単位ごとに、隣接データ単位との併合いかんを決定し、一実施形態による符号化情報決定部１５は、予測単位ごとに、スキップモード情報及び併合情報を決定することもできる。

スキップモード情報及び併合情報を共に使う場合、スキップモードとデータ併合は、現在データ単位の固有予測情報を符号化しないという点で共通点を有するので、一実施形態によるビデオ符号化装置１０は、スキップモード及びデータ併合による予測方式を区別するのが望ましい。例えば、スキップモードのデータ単位の参照インデックス及び参照方向は、あらかじめ決定された規則によって決定し、隣接データ単位と併合されるデータ単位は、隣接データ単位の動き情報の参照インデックス及び参照方向を借用することができる。

一実施形態による符号化情報決定部１５は、スキップモード情報は、予測単位ごとに符号化し、併合関連情報は、パーティションごとに符号化することもできる。また、一実施形態による符号化情報決定部１５は、併合関連情報及びスキップモード情報を、いずれもデータ単位ごとに符号化することもできる。または、一実施形態による符号化情報決定部１５は、併合関連情報を、あらかじめ設定された所定予測モードのデータ単位についてのみ符号化するように設定することもできる。

一実施形態によるビデオ符号化装置１０は、符号化単位間のデータ単位併合を決定したり、予測単位間のデータ単位併合を決定することができる。また、一実施形態によるビデオ符号化装置１０は、選択的に、スキップモード情報と共に、ダイレクトモード情報を符号化することができる。これによって、一実施形態による符号化情報決定部１５は、データ単位のスキップモード情報に基づいて、データ単位がスキップモードではない場合、データ単位について、ダイレクトモード情報が符号化されるか否かを示すスキップ／ダイレクトモード符号化情報、符号化単位間の併合が決定されるか否かを示す符号化単位併合決定情報、及び予測単位間の併合が決定されるか否かを示す予測単位併合決定情報のうち、少なくとも一つを符号化することができる。

図２は、一実施形態によるデータ単位の併合を利用したビデオ復号化装置のブロック図を図示する。

一実施形態によるデータ単位の併合を利用したビデオ復号化装置２０は、パージング部／抽出部２１、及びデータ単位併合部／復号化部２３を含む。以下、説明の便宜のために、一実施形態によるデータ単位の併合を利用したビデオ復号化装置２０は、「一実施形態によるビデオ復号化装置２０」に縮約して指称する。

一実施形態によるビデオ復号化装置２０は、符号化されたビデオデータのビットストリームを入力され、符号化されたビデオデータ及び符号化方式に係わる情報が収録された符号化情報を抽出し、エントロピ復号化、逆量子化、逆変換、ピクチャ間インター予測／補償の作業を経て復号化してビデオデータを復元する。

一実施形態によるパージング部／抽出部２１は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する。一実施形態によるパージング部／抽出部２１は、予測モード情報として、スキップモード情報、ダイレクトモード情報などを抽出することができる。一実施形態によるパージング部／抽出部２１は、予測関連情報として、参照方向及び参照インデックスなどの補助予測情報、動きベクトル差分情報などを抽出することができる。

一実施形態によるパージング部／抽出部２１は、併合関連情報として、併合情報及び併合インデックス情報などを抽出することができる。一実施形態によるパージング部／抽出部２１は、「隣接データ単位の予測モード及びパーティションタイプ」と「現在データ単位と隣接データ単位との併合いかん」との組み合わせに係わるコンテクスト・モデリングを介して符号化された併合情報を読み取り、現在データ単位と併合される隣接データ単位の予測モード、パーティションタイプを分析することもできる。

まず、スキップモードではないデータ単位について、データ単位併合いかんが決定される第１実施形態で、一実施形態によるパージング部／抽出部２１は、データ単位のスキップモード情報を、受信されたビットストリームから抽出して読み取り、スキップモード情報に基づいて、データ単位の併合情報の抽出いかんを決定することができる。すなわち、スキップモード情報に基づいて、現在データ単位がスキップモードではないことが判読されれば、一実施形態によるパージング部／抽出部２１は、受信されたビットストリームから、現在データ単位の併合情報を抽出することができる。

一実施形態によるパージング部／抽出部２１は、併合情報に基づいて、データ単位の動きベクトル差分情報を抽出し、データ単位のインター補助予測情報の抽出いかんを決定することができる。すなわち、併合情報に基づいて、現在データ単位が隣接データ単位と併合されないと判読されれば、一実施形態によるパージング部／抽出部２１は、受信されたビットストリームから、動きベクトル差分情報を抽出し、データ単位の補助予測情報を抽出することができる。一方、併合情報に基づいて、現在データ単位が隣接データ単位と併合されると判読されれば、一実施形態によるパージング部／抽出部２１は、受信されたビットストリームから、動きベクトル差分情報を抽出するが、データ単位の補助予測情報は、抽出しないこともある。

次に、スキップモードでもなく、ダイレクトモードでもないデータ単位について、データ単位併合いかんが決定される第２実施形態で、一実施形態によるパージング部／抽出部２１は、データ単位の予測モードがスキップモードではない場合、データ単位についてダイレクトモード情報を抽出し、ダイレクトモード情報に基づいて、併合情報の抽出いかんを決定することができる。

すなわち、ダイレクトモードによって、現在データ単位がダイレクトモードであるということが判読されれば、一実施形態によるパージング部／抽出部２１は、受信されたビットストリームから併合情報を抽出しないこともある。一方、ダイレクトモードによって、現在データ単位がダイレクトモードではないことが判読されれば、一実施形態によるパージング部／抽出部２１は、受信されたビットストリームから併合情報を抽出することができる。

一実施形態によるパージング部／抽出部２１は、併合情報に基づいて、データ単位の動きベクトル差分情報を抽出し、補助予測情報の抽出いかんを決定することができることについては、第１実施形態で説明した通りである。

一実施形態によるデータ単位併合部／復号化部２３は、予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを分析する。データ単位併合部／復号化部２３は、符号化情報に基づいてデータ単位を決定し、決定されたデータ単位別に、符号化されたビデオデータを復号化してピクチャを復元することができる。

特に、一実施形態によるデータ単位併合部／復号化部２３は、隣接データ単位と併合されたデータ単位について、隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、符号化情報に基づいて、ビデオデータを復号化することができる。

一実施形態によるパージング部／抽出部２１は、符号化単位ごとに、スキップモード情報及び併合情報を抽出して読み取り、一実施形態によるデータ単位併合部／復号化部２３は、符号化単位ごとに併合情報に基づいて、隣接データ単位との併合いかんを決定することができる。

また、一実施形態によるパージング部／抽出部２１は、予測単位ごとに、スキップモード情報及び併合情報を抽出して読み取り、一実施形態によるデータ単位合／復号化部２３は、予測単位ごとに併合情報に基づいて、隣接データ単位との併合いかんを決定することができる。

一実施形態によるデータ単位併合部／復号化部２３は、パージング部／抽出部２１によって抽出された併合関連情報に基づいて、現在データ単位が隣接データ単位と併合されるか否かを読み取り、隣接データ単位のうち、併合されるデータ単位を検索することができる。

まず、一実施形態によるデータ単位併合部／復号化部２３は、併合関連情報のうち、併合情報に基づいて、現在データ単位が隣接データ単位と併合されるか否かを分析することができる。現在データ単位が隣接データ単位と併合されると判読される場合、一実施形態によるデータ単位併合部／復号化部２３は、併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位に隣接する区域において、現在データ単位と併合されるデータ単位を含む少なくとも１つの候補データ単位群を決定することができる。一実施形態によるデータ単位併合部／復号化部２３は、少なくとも１つの候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を決定することができる。現在データ単位に隣接する少なくとも１つの区域ごとに、現在データ単位の併合のための候補データ単位群が決定される。

一実施形態によるデータ単位併合部／復号化部２３は、符号化／復号化システム間に所定規則によってあらかじめ設定された候補データ単位群を決定する方式、及び候補データ単位群のうち１つのデータ単位を決定する方式のうち、少なくとも一つに基づいて、現在データ単位と併合される１つのデータ単位を決定することができる。

一実施形態によるパージング部／抽出部２１は、現在データ単位と隣接する少なくとも１つの区域において、候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち１つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つを抽出することができる。一実施形態によるデータ単位併合部／復号化部２３は、抽出された候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち１つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つに基づいて、現在データ単位と併合される１つのデータ単位をすることもできる。

例えば、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部／復号化部２３は、第１候補データ単位、第２候補データ単位または第３候補データ単位を決めたら、それぞれ上位隣接データ単位の併合候補群で、現在データ単位と同一の参照インデックスを有する隣接データ単位を検索し、併合される１つのデータ単位として決定することができる。

または、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部／復号化部２３は、第１候補データ単位、第２候補データ単位または第３候補データ単位を決めたら、それぞれ上位隣接データ単位の併合候補群で、予測モードがインターモードである隣接データ単位を検索し、現在データ単位と併合される１つのデータ単位として決定することもできる。

一実施形態によるデータ単位併合部／復号化部２３は、一般的なインターモードの動きベクトル予測方式を利用して、現在データ単位と併合される候補データ単位として決定することができる。具体的には、一実施形態によるデータ単位併合部／復号化部２３は、併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位の左側境界に接する全ての左側隣接データ単位を含む左側候補データ単位群、及び上端境界に接する全ての上端隣接データ単位を含む上端候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を決定することができる。

また、一実施形態によるデータ単位併合部／復号化部２３は、現在データ単位の左側候補データ単位群と、上端候補データ単位群とに追加して、現在データ単位のコーナーに接する左側上端隣接データ単位、右側上端隣接データ単位及び右側下端隣接データ単位を含むコーナー候補データ単位群のうち、現在データ単位と併合される１つのデータ単位を、併合インデックス情報に基づいて、決定することもできる。

具体的に見れば、一実施形態によるデータ単位併合部／復号化部２３は、併合インデックス情報を読み取り、現在データ単位と併合する隣接データ単位が、左側候補データ単位群のうち一つである第１候補データ単位、上端候補データ単位群のうち一つである第２候補データ単位、及びコーナー候補データ単位群のうち一つである第３候補データ単位のうち一つであるかを決定することができる。

また、一実施形態によるデータ単位併合部／復号化部２３は、第１候補データ単位が決定されたならば、左側隣接データ単位のうち一つを、第２候補データ単位が決定されたならば、上端隣接データ単位のうち一つを、あるいは、第３候補データ単位が決定されたならば、コーナーに接する隣接データ単位のうち一つを、現在データ単位と併合される１つのデータ単位として検索して決定することができる。

その場合、左側隣接データ単位、上端隣接データ単位及びコーナーに接する隣接データ単位において、現在データ単位と併合される１つのデータ単位を検索して決定する方式は、あらかじめ設定された方式に従う。例えば、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部／復号化部２３は、候補データ単位のうち、予測モードがインターモードである隣接データ単位を検索し、現在データ単位と併合される１つのデータ単位として決定することもできる。

他の例として、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部／復号化部２３は、候補データ単位のうち、現在データ単位と同一の参照インデックスを有する隣接データ単位を検索し、併合される１つのデータ単位として決定することができる。

一実施形態によるデータ単位併合部／復号化部２３は、１つのデータ単位内のパーティション間には、相互併合しないことが望ましい。一実施形態によるデータ単位併合部／復号化部２３は、現在パーティションの形態及び位置によって、可変的に形成される隣接データ単位の併合候補群において、現在データ単位と併合されるデータ単位を決定することができる。

一実施形態によるパージング部／抽出部２１は、スキップモード情報を予測単位ごとに抽出し、併合関連情報をパーティションごとに抽出することができる。または、一実施形態によるパージング部／抽出部２１は、併合関連情報及びスキップモード情報をデータ単位ごとに抽出することもできる。また、一実施形態によるパージング部／抽出部２１は、所定予測モードのデータ単位についてのみ併合関連情報を抽出することもできる。

一実施形態によるパージング部／抽出部２１は、予測単位に係わる、スキップモード情報、予測単位情報、パーティション情報及び併合情報を順次に抽出することができる。一実施形態によるパーティション情報は、予測単位がパーティションに分割されるか否かということや、パーティションタイプについての情報などを含んでもよい。

一実施形態によるビデオ復号化装置２０は、符号化単位間にデータ単位併合を行ったり、予測単位間にデータ単位併合を行うことによって、ビデオデータを復号化することができる。また、一実施形態によるビデオ復号化装置２０は、選択的に、符号化されたスキップモード情報と共に、ダイレクトモード情報によって復号化することができる。

これによって、一実施形態によるパージング部／抽出部２１は、データ単位のスキップモード情報に基づいて、データ単位がスキップモードではない場合、データ単位について、ダイレクトモード情報が符号化されるか否かを示すスキップ／ダイレクトモード符号化情報、符号化単位の併合が決定されるか否かを示す符号化単位併合決定情報、及び予測単位間の併合が決定されるか否かを示す予測単位併合決定情報のうち、少なくとも一つを抽出することができる。また、一実施形態によるデータ単位併合部／復号化部２３は、抽出された情報に基づいて、スキップモード及びダイレクトモードをいずれも利用して復号化したり、符号化単位または予測単位を基にデータ単位併合されたビデオデータを復号化することができる。

一実施形態によるデータ単位併合部／復号化部２３は、スキップモードのデータ単位の参照インデックス及び参照方向は、あらかじめ決定された規則によって決定し、隣接データ単位と併合されるデータ単位は、隣接データ単位の動き情報の参照インデックス及び参照方向を借用することによって、ビデオデータを復号化することができる。

ビデオ解像度が高くなって、データ量が急増しながら、データ単位のサイズが増大することによって、重複するデータが増加するので、スキップモードまたはダイレクトモードであるデータ単位が多くなる。しかし、既存マクロブロック併合方式は、スキップモード及びダイレクトモードではないインターモードであるマクロブロックについてのみブロック併合いかんを決定し、固定されたサイズ及び固定された位置の隣接マクロブロックと併合されるので、データ単位の併合が制限的に活用されるものではない。

一実施形態によるデータ単位の併合を利用するビデオ符号化装置１０、及び一実施形態によるデータ単位の併合を利用するビデオ復号化装置２０は、多様なサイズ、多様な形態及び多様な予測モードのデータ単位について包括的に、データ単位の併合を行うことができ、多様な位置の隣接データ単位と併合されもする。これによって、多様なデータ単位が、さらに多様な隣接データ単位の予測関連情報を共有することによって、さらに幅広い範囲の周辺情報を参照して重複データが除去されるので、ビデオ符号化効率が向上するのである。

図３は、関連技術によって、現在マクロブロックに併合される隣接ブロックを図示している。

関連技術によるブロック併合によれば、現在マクロブロックと併合される隣接ブロックの併合候補群に含まれるためには、現在マクロブロックより先に符号化されたインターモードの隣接ブロックでなければならない。従って、現在マクロブロックの上端境界及び右側境界に隣接するブロックだけが併合候補群に含まれる。

併合されたブロックが１つの領域を構成することができ、併合されたブロックの領域別に符号化情報及び併合関連情報が符号化される。例えば、ブロック併合が行われるか否かに係わる併合情報、ブロック併合が行われたならば、現在マクロブロックの上端隣接ブロック及び左側隣接ブロックのうちいずれのブロックと併合されるかを示す併合ブロック位置情報などが符号化される。

関連技術によるブロック併合によれば、現在マクロブロックの境界に、複数個のブロックが接していても、現在マクロブロックの左側上端サンプルに接する隣接ブロックだけが、現在マクロブロックと併合されるように選択される。

すなわち、第１現在マクロブロック３１の上端境界に隣接しながら、第１現在マクロブロック３１の左側上端サンプルに接する第１上端隣接ブロック３２、及び第１現在マクロブロック３１の左側境界に隣接しながら、第１マクロブロック３１の左側上端サンプルに接する第２左側隣接ブロック３３のうち一つが、第１現在マクロブロック３１のブロック併合対象に選択される。

同様に、第２現在マクロブロック３５の左側上端サンプルに接する第２上端隣接ブロック３６、及び第２左側隣接ブロック３７のうち一つが、選択的に第２現在マクロブロック３５と併合される。

図４及び図５は、それぞれ関連技術及び本発明の一実施形態によって、現在データ単位の隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を比較している。

図４を参照しつつ、関連技術によるデータ単位の併合について説明すれば、現在データ単位４１の上端境界に、隣接データ単位４２，４３，４４が接しており、左側境界に、隣接データ単位４５，４６，４７，４８が接しているとしても、現在データ単位４１のデータ単位併合対象は、上端隣接データ単位として、データ単位４２、または左側隣接データ単位として、データ単位４５のみで限定される。また、インターモードである隣接データ単位との併合だけが可能であるので、隣接データ単位４２，４５がスキップモードまたはダイレクトモードである場合には、データ単位の併合いかんが全く考慮されない。

図５に図示された一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０のデータ単位併合方式によれば、現在データ単位４１と併合される隣接データ単位の併合候補群は、上端隣接データ単位４２，４３，４４、及び左側隣接データ単位４５，４６，４７，４８をいずれも含んでもよい。このとき、現在データ単位４１がインターモードだけではなく、スキップモードまたはダイレクトモードである場合まで、隣接データ単位との併合いかんが決定される。

例えば、現在データ単位４１の上端隣接データ単位４２，４３，４４を含む上端併合候補群５２のうち一つが、上端併合候補Ａ’として決定される。類似の方式で、現在データ単位４１の左側隣接データ単位４５，４６，４７，４８を含む左側併合候補群５５のうち一つが左側併合候補Ｌ’として決定される。上端併合候補Ａ’及び左側併合候補Ｌ’のうち一つが、最終的に現在データ単位４１と併合される隣接データ単位として決定される。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、あらかじめ設定された方式によって、上端併合候補群５２のうち一つを上端併合候補Ａ’として決定する方式、または左側併合候補群５５のうち一つを左側併合候補Ｌ’として決定することができる。上端併合候補群５２のうち上端併合候補Ａ’を検索したり、左側併合候補群５５のうち左側併合候補Ｌ」を検索するように、あらかじめ設定された方式に係わる情報が別途に符号化されないとしても、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０間にあらかじめ認知されている。

例えば、上端併合候補群５２及び左側併合候補群５５において、現在データ単位４１と同一の参照インデックス情報を有する隣接データ単位が、上端併合候補Ａ’及び左側併合候補Ｌ’として決定される。他の例として、上端併合候補群５２及び左側併合候補群５５において、インターモードであって、現在データ単位４１の左側上端サンプルに最も近接する隣接データ単位が、上端併合候補Ａ’及び左側併合候補Ｌ’として決定される。

同様に、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、あらかじめ設定された方式によって、上端併合候補Ａ’及び左側併合候補Ｌ’のうち一つを、最終的に現在データ単位４１と併合される隣接データ単位として決定する動作も、あらかじめ設定された方式に従う。

図６及び図７は、本発明の一実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示している。

まず、図６は、現在データ単位がスキップモードであるか否かを考慮して、データ単位の併合いかんが決定される第１実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示している。

一実施形態によるビデオ符号化装置１０は、現在データ単位のスキップモード情報「skip＿flag」を符号化する（段階６１）。現在データ単位のスキップモード情報「skip＿flag」は、現在データ単位がスキップモードであるならば、１に、スキップモードでなければ、０に設定される。

現在データ単位がスキップモードであるならば、併合情報「merging＿flag」は、省略される（段階６２）。現在データ単位がスキップモードではないならば、併合情報「merging＿flag」が符号化される（段階６３）。スキップモードである現在データ単位の予測方向及び参照インデックス情報は、あらかじめ設定された規則によって決定される。隣接データ単位と併合される現在データ単位の予測方向及び参照インデックス情報は、隣接データ単位の動きベクトルの参照インデックス及び参照方向を借用することができる。

例えば、現在スライスがＰスライスであるならば、スキップモードであるデータ単位の予測方向は、リスト０方向、Ｂスライスであるならば、双方向に設定され、スキップモードであるデータ単位の参照インデックスは、０に設定される規則があらかじめ設定されていれば、それによって、スキップモードであるデータ単位の予測復号化が可能である。

現在データ単位の併合情報「merging＿flag」は、現在データ単位が隣接データ単位と併合されたならば、１に、併合されないならば、０に設定される。現在データ単位が隣接データ単位と併合されるならば、現在データ単位の予測符号化のための補助予測情報は、隣接データ単位の情報を借用されるか、あるいはそれによって誘導されるので、現在データ単位の予測方向及び参照インデックス情報「Inter direction／Ｒｅｆ index」の符号化は省略される（段階６４）。現在データ単位が隣接データ単位と併合されても、動きベクトル差分情報「ｍｖｄ」は、符号化される（段階６５）。

現在データ単位が隣接データ単位と併合されないならば、現在データ単位の予測方向及び参照インデックス情報「Inter direction／Ｒｅｆ index」が符号化され（段階６６）、動きベクトル差分情報「ｍｖｄ」が符号化される（段階６７）。例えば、現在データ単位の予測方向は、リスト０（List０）方向、リスト１（List１）方向、両（Ｂｉ）方向を含んでもよい。

一実施形態によるビデオ復号化装置２０も、段階６１ないし６７の順序によって、現在データ単位のスキップモード情報を抽出して読み取り、これを基に、併合情報及び予測関連情報を抽出して読み取ることができる。

図７は、現在データ単位がスキップモード及びダイレクトモードであるかを考慮して、データ単位の併合いかんが決定される第２実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示している。

一実施形態によるビデオ符号化装置１０は、現在データ単位のスキップモード情報「skip＿flag」を符号化する（段階７１）。現在データ単位がスキップモードであるならば、併合情報「merging＿flag」の符号化は省略される（段階７２）。

現在データ単位がスキップモードではないならば、ダイレクトモード情報「direct＿flag」が符号化される（段階７３）。現在データ単位のダイレクトモード情報「direct＿flag」は、現在データ単位がダイレクトモードであるならば、１に、ダイレクトモードではないならば、０に設定される。現在データ単位がダイレクトモードであるならば、併合情報「merging＿flag」は、符号化されないこともある（段階７４）。

現在データ単位がダイレクトモードではないならば、併合情報「merging＿flag」が符号化される（段階７５）。現在データ単位が隣接データ単位と併合されるならば、現在データ単位の予測方向及び参照インデックス情報「Inter direction／Ｒｅｆ index」の符号化は省略され（段階７６）、動きベクトル差分情報「ｍｖｄ」が符号化される（段階７７）。現在データ単位が隣接データ単位と併合されないならば、現在データ単位の予測方向及び参照インデックス情報「Inter direction／Ｒｅｆ index」及び動きベクトル差分情報「ｍｖｄ」が符号化される（段階７８，７９）。

一実施形態によるビデオ復号化装置２０も、段階７１ないし７９の順序によって、現在データ単位のスキップモード情報またはダイレクトモード情報を抽出して読み取り、これを基に、併合情報及び予測関連情報を抽出して読み取ることができる。

図８及び図９は、それぞれ関連技術及び本発明の一実施形態によって、現在データ単位の拡張された隣接データ単位において、現在データ単位と併合される１つのデータ単位を選択する方式を比べる。

図８を参照すれば、関連技術によるデータ単位の併合について述べれば、現在データ単位８１のデータ単位併合対象は、現在データ単位８１の左側上端サンプルに接する上端隣接データ単位８２、及び左側隣接データ単位８５だけに限定される。すなわち、現在データ単位８１の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位８９，９１，９３は、現在データ単位８１の併合候補群に含まれるものではない。

図９を参照すれば、後述するデータ単位併合方式は、インターモードの動きベクトル予測方式と類似している。図９に図示された一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０の拡張されたデータ単位併合方式によれば、現在データ単位８１と併合される隣接データ単位の併合候補群は、上端隣接データ単位８２，８３，８４、及び左側隣接データ単位８５，８６，８７，８８だけではなく、現在データ単位８１の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位８９，９１，９３をいずれも含んでもよい。

例えば、現在データ単位８１の上端隣接データ単位８２，８３，８４を含む上端併合候補群９２のうち一つが、上端併合候補Ａ’として決定され、左側隣接データ単位８５，８６，８７，８８を含む左側併合候補群９５のうち一つが、左側併合候補Ｌ’として決定される。また、現在データ単位８１の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位８９，９１，９３を含むコーナー併合候補群９６のうち一つが、コーナー併合候補Ｃ’として決定される。上端併合候補Ａ’、左側併合候補Ｌ’及びコーナー併合候補Ｃ’のうち一つが、最終的に現在データ単位８１と併合される隣接データ単位として決定される。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０が、あらかじめ設定された方式によって、上端併合候補群９２のうち一つを、上端併合候補Ａ’として決定する方式、左側併合候補群９５のうち一つを、左側併合候補Ｌ’として決定する方式、コーナー併合候補群９６のうち一つを、コーナー併合候補Ｃ’として決定する方式と、上端併合候補Ａ’、左側併合候補Ｌ’及びコーナー併合候補Ｃ’のうち一つを最終的に選択する方式は、あらかじめ設定された規則に従うことについては、図５を参照すれば、説明した通りである。

図９を参照すれば、記述された実施形態は、現在データ単位８１と併合される候補データ単位の方向が、上端及び左側だけではなく、コーナーを含むので、併合位置情報は、０または１のフラッグタイプではない、併合インデックスで表現されることが望ましい。

図１０、図１１及び図１２は、多様な実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化／復号化順序を図示している。

図１０を参照すれば、一実施形態によるビデオ符号化装置１０は、予測符号化のためのデータ単位である予測単位ごとに、スキップモード情報及び併合情報を符号化することができる。

段階１０１で、一実施形態によるビデオ符号化装置１０は、予測単位のスキップモード情報「skip＿flag」を符号化し、段階１０２で、スキップモードではない予測単位について併合情報「merging＿flag」を符号化することができる。一実施形態によるビデオ符号化装置１０は、スキップモードではなく、隣接データ単位と併合されない予測単位について固有の予測モード情報「Prediction info」及びパーティション情報「Partition info」を符号化することができる（段階１０３及び１０４）。

従って、一実施形態によるビデオ復号化装置２０は、予測単位ごとに、スキップモード情報及び併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置２０は、スキップモードではなく、隣接データ単位と併合されない予測単位については固有の予測モード情報及びパーティション情報を抽出することができる。

図１１を参照すれば、一実施形態によるビデオ符号化装置１０は、予測単位ごとに、スキップモード情報を符号化し、予測単位が、さらに精密な予測符号化のために分割されたそれぞれのパーティションについて、併合情報を符号化することができる。

段階１１１で、一実施形態によるビデオ符号化装置１０は、予測単位のスキップモード情報「skip＿flag」を符号化し、段階１１２で、スキップモードではない予測単位について、予測モード情報「Prediction info」を符号化し、段階１１３で、パーティション情報「Partition info」を符号化することができる。

一実施形態によるビデオ符号化装置１０は、スキップモードではない予測単位のパーティションごとに、併合情報「merging＿flag」を符号化することができる（段階１１４）。一実施形態によるビデオ符号化装置１０は、スキップモードではない予測単位のパーティションののうち、隣接データ単位と併合されないパーティションについて、固有の動き情報「Motion info」を符号化することができる（段階１１５）。

従って、一実施形態によるビデオ復号化装置２０は、予測単位ごとに、スキップモード情報を抽出して読み取り、パーティションごとに、併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置２０は、スキップモードではなく、隣接データ単位と併合されないパーティションについて、固有の動き情報を抽出することができる。

図１２を参照すれば、一実施形態によるビデオ符号化装置１０は、予測単位ごとに、スキップモード情報を符号化し、所定条件が満足されるとき、それぞれのパーティションについて、併合情報を符号化することができる。

段階１２１で、一実施形態によるビデオ符号化装置１０は、予測単位のスキップモード情報「skip＿flag」を符号化し、段階１２２で、スキップモードではない予測単位について予測モード情報「Prediction info」を符号化し、段階１２３で、パーティション情報「Partition info」を符号化することができる。

一実施形態によるビデオ符号化装置１０は、予測単位のパーティションごとに、所定条件が満足いかんを判断した後（Merging enabled condition?）（段階１２４）、スキップモードではない予測単位のパーティションにおいて、所定条件を満足する（Yes）データ単位についてのみ併合情報「merging＿flag」を符号化することができる（段階１２５）。一実施形態によるビデオ符号化装置１０は、スキップモードではない予測単位のパーティションにおいて、所定条件を満足するが、隣接データ単位と併合されないパーティション及び所定条件を満足することができない（No）パーティションについて、固有の動き情報「Motion info」を符号化することができる（段階１２６）。

一実施形態によって、併合情報を符号化するためのパーティションの所定条件としては、パーティションが所定予測モードである場合を含んでもよい。例えば、スキップモードではないインターモード（non-skip mode）である条件、スキップモードでもなくダイレクトモードではないインターモード（non-skip inter mode and non-direct inter mode）である条件、またはパーティションに分割されないインターモード（non-partitioned inter mode）である条件によって、パーティションの併合情報が符号化される。

具体的には、例えば、一実施形態によるビデオ符号化装置１０は、スキップモードでもなくダイレクトモードでもないインターモードであるデータ単位について、データ単位併合を行う場合、段階１２４で、スキップモードではない予測単位のパーティションが、ダイレクトモードではないインターモードであるか否かが判断される。ダイレクトモードではないパーティションについては、併合情報「merging＿flag」が符号化され（段階１２５）、ダイレクトモードではないが、隣接データ単位と併合されないパーティション及びダイレクトモードであるパーティションについては、固有の動き情報「Motion info」を符号化することができる（段階１２６）。

従って、一実施形態によるビデオ復号化装置２０は、予測単位ごとに、スキップモード情報を抽出して読み取り、パーティションごとに併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置２０は、スキップモードではなく、所定条件を満足するが、隣接データ単位と併合されないパーティション、及び所定条件を満足することができないパーティションについて固有の動き情報を抽出することができる。

図１３は、一実施形態によって、現在パーティションと併合されない隣接データ単位を図示している。

予測符号化のためのデータ単位、すなわち、予測単位は、さらに精密な予測符号化のために、２以上のパーティションに分割される。例えば、第１予測単位１３１は、幅が半分になり、第１パーティション１３２及び第２パーティション１３３に分割される。

第１パーティション１３２及び第２パーティション１３３は、同一の第１予測単位１３１に含まれているとしても、互いに異なる動き特性を有するために分割されたものであるので、第１パーティション１３２及び第２パーティション１３３間に、データ単位併合が行われないことが望ましい。従って、一実施形態によるビデオ符号化装置１０は、第２パーティション１３３について、同一の第１予測単位１３１内の第１パーティション１３２とのデータ単位併合の決定過程を省略することができる。また、第２パーティション１３３のための併合インデックス情報は、左側隣接データ単位を示すインデックスを含む必要がない。

第２予測単位１３５の高さが半分になり、第３パーティション１３６及び第４パーティション１３７に分割された場合にも、第３パーティション１３６及び第４パーティション１３７間に、データ単位の併合が行われてはならないので、第４パーティション１３７について、第３パーティション１３６とのデータ単位併合いかんは、判断される必要がない。また、第４パーティション１３７のための併合インデックス情報は、上端隣接データ単位を示すインデックスを含む必要がない。

図１４は、一実施形態によって、現在パーティションの形態及び位置によって、異なって決定される候補データ単位を図示している。

パーティションの形態及び位置によって、データ単位併合の対象になる隣接データの位置が変わる。例えば、予測単位１４１が、２つのパーティション１４２，１４３に分割される場合、左側パーティション１４２が併合することができる隣接データ単位候補は、左側パーティション１４２の上端境界に隣接するデータ単位１４４、左側境界に隣接するデータ単位１４５及び右側上端コーナーに隣接するデータ単位１４６である。

右側パーティション１４３は、左側境界に左側パーティション１４２が接しているが、左側パーティション１４２及び右側パーティション１４３は、同一の予測単位１４１のパーティションであるので、相互併合されるものではない。従って、右側パーティション１４３が併合することができる隣接データ単位候補は、右側パーティション１４３の上端に隣接するデータ単位１４６、及び右側上端コーナーに隣接するデータ単位１４７である。また、右側パーティション１４３のための併合インデックス情報は、左側上端隣接データ単位を示すインデックスを含まない。

図１５は、一実施形態による幾何学的形態のパーティションである現在パーティションと併合されない隣接データ単位を図示している。

一実施形態によるビデオ符号化装置１０の予測符号化において、予測単位は、垂直または水平の一定方向に分割されるだけではなく、任意の方向に分割され、幾何学的に多様な形態のパーティションに分割されもする。図１５に、任意の方向に分割された予測単位１４８，１５２，１５６，１６０が図示されている。

幾何学的形態のパーティションは、位置及び形態によって、パーティションの上端境界及び左側境界に隣接する隣接データ単位と併合されない。例えば、予測単位１５８の２つのパーティション１４９，１５０において、パーティション１５０は、左側境界に接する隣接データ単位１５１とは併合されるが、上端境界に接する隣接データ単位が、同一の予測単位１５８に属する残りのパーティション１４９であるので、上端隣接データ単位と併合されない。その場合、パーティション１５０のための併合インデックス情報は、上端隣接データ単位であるパーティション１４９を示すインデックスを含まない。

同様に、予測単位１５２の２つのパーティション１５３，１５４において、パーティション１５４は、左側隣接データ単位１５５とは併合されるが、上端隣接データ単位が、同一の予測単位１５２に属する残りのパーティション１５３であるので、上端隣接データ単位と併合されない。

同様に、予測単位１５６の２つのパーティション１５７，１５８において、パーティション１５８は、上端隣接データ単位１５９とは併合されるが、左側隣接データ単位が、同一の予測単位１５６に属する残りのパーティション１５７であるので、左側隣接データ単位と併合されない。

同様に、予測単位１６０の２つのパーティション１６１，１６２において、パーティション１６２は、同一の予測単位１６０に属する残りのパーティション１６１が、上端隣接データ単位でありつつ、左側隣接データ単位であるので、上端隣接データ単位及び左側隣接データ単位と併合されない。

図１３、図１４及び図１５で述べたように、データ単位の形態または位置によって、併合されない隣接データ単位が生じる場合、一実施形態による併合インデックス情報は、併合されない隣接データ単位を示すインデックスを含まないように設定されることが望ましい。

また、一実施形態によるビデオ符号化装置１０は、データ単位の併合により、現在データ単位が拡張し、すでに存在する他のデータ単位と重複させるデータ単位併合は、行わないことが望ましい。

例えば、１つの予測単位が２つのパーティションに分割された場合、２番目のパーティションの所定候補データ単位が、最初のパーティションのような動き情報を有するなら阿波、所定候補データ単位と２番目のパーティションとの併合は許容されない。

例えば、図１３の第１予測単位１３１の第１パーティション１３２、及び第２パーティション１３３において、第２パーティション１３３の上端予測単位が、第１パーティション１３２のような動き情報を有するならば、第１パーティション１３２と、第２パーティション１３３との上端予測単位が、いずれも第２パーティション１３３の候補データ単位群から除外されることが望ましい。第２パーティション１３３が、上端予測単位の動き情報を参照するように、データ単位併合が行われるならば、結局、第１パーティション１３２の動き情報を参照しないのと同一の意味になるからである。

一実施形態による併合情報は、データ単位の併合いかんと共に、隣接データ単位の予測モード及びパーティションタイプを考慮したコンテクスト・モデリングを介して設定される。現在データ単位の隣接データ単位の予測モード及びパーティションタイプと、現在データ単位と隣接データ単位とが併合される場合との組み合わせをコンテクストモデルと解釈することによって、コンテクストモデルのインデックスが併合情報として表現される。

以下、表０は、一実施形態によるコンテクスト・モデリングを介した併合情報を図示している。説明の便宜のために、表０の併合情報は、現在データ単位との併合対象を左側隣接データ単位及び上端隣接データ単位に限定する。

一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮだけではなく、１：ｎまたはｎ：１のように、非対称的である比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎ、幾何学的に多様な形態に分割された幾何学的パーティションタイプなど、任意的形態のパーティションを選択的に含んでもよい。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

表０によれば、現在データ単位の左側隣接データ単位及び上端隣接データ単位が、いずれもイントラモードである場合、データ単位併合が行われないので、現在データ単位の併合情報は、パーティションタイプ別に、コンテクストモデルを区別する必要なしに、インデックス０に割り当てられる。

また、左側隣接データ単位及び上端隣接データ単位が、スキップモードまたはダイレクトモードではないインターモードであり、左側隣接データ単位及び上端隣接データ単位のうち一つだけ現在データ単位と併合される場合、並びに左側隣接データ単位及び上端隣接データ単位がいずれも現在データ単位と併合される場合には、隣接データ単位のパーティションタイプ別に、データ単位の併合いかんの組み合わせによって、併合情報のコンテクストモデルが設定される。その場合、表０の併合情報は、それぞれのコンテクストモデル・インデックス１ないし６のうち一つが割り当てられている。

また、予測モードとして、スキップモード及びダイレクトモードが支援される場合には、左側隣接データ単位及び上端隣接データ単位のうち、少なくとも一つがスキップモードまたはダイレクトモードである場合について、隣接データ単位のパーティションタイプ別に、併合情報のコンテクストモデルが設定され、それぞれの併合情報は、コンテクストモデル・インデックス７ないし９のうち一つに割り当てられる。

従って、一実施形態によるビデオ復号化装置２０は、コンテクスト・モデリングによる併合情報を読み取り、現在データ単位と隣接データ単位との併合いかん、並びに隣接データ単位の予測モード及びパーティションタイプを分析することができる。

一実施形態によるビデオ復号化装置２０は、現在データ単位と併合される隣接データ単位の動き情報を利用して、現在データ単位の動き情報を類推することができる。

これ以外に、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、データ単位併合によって形成された併合されたデータ単位の形態が正四角形であるならば、併合されたデータ単位について変換を行うことができる。

また、一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０で、現在データ単位と併合する隣接データ単位は、イントラ予測方向情報を共有することができる。データ単位併合によって形成された併合されたデータ単位のためのイントラ予測方向に係わる情報は、データ単位別に符号化されたり復号化されるのではなく、合されたデータ単位について一回だけ符号化または復号化される。

図１６は、一実施形態によって、現在データ単位と併合されるように決定された隣接データ単位の利用例を図示している。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０は、現在データ単位１６５と併合される隣接データ単位の境界を拡張し、現在データ単位のパーティション分割に利用することもできる。例えば、現在データ単位１６５が、左側隣接データ単位１６４，１６５，１６６と併合される場合、左側隣接データ単位１６４，１６５，１６６の境界が、現在データ単位１６５まで拡張される。現在データ単位１６５は、左側隣接データ単位１６４，１６５，１６６の拡張された境界によって、パーティション１６７，１６８，１６９に分割される。

図１７は、一実施形態によるデータ単位の併合を利用したビデオ符号化方法のフローチャートを図示している。段階１７１で、現在ピクチャ符号化のためのデータ単位、及びデータ単位ごとに行われる予測符号化を含む符号化方式を示す符号化モードが決定される。

段階１７２で、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんが決定される。データ単位は、予測符号化のための予測単位、及び予測単位の詳細予測符号化のためのパーティションを含んでもよい。

現在データ単位の上端境界に接する全ての上端隣接データ単位、及び左側境界に接する全ての左側隣接データ単位において、現在データ単位と併合されるデータ単位が検索される。また、現在データ単位の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位のうちでも、現在データ単位と併合されるデータ単位が検索されもする。

段階１７３で、データ単位別に、隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報が決定され、予測モード情報、併合関連情報及び予測関連情報を含み、データ単位に係わる符号化情報が符号化される。

スキップモード及びダイレクトモードであるデータ単位についても、データ単位の併合関連情報が符号化される。従って、所定隣接データ単位との併合いかんが決定されるデータ単位については、スキップモード情報またはダイレクトモード情報が符号化された後、併合関連情報が符号化される。併合関連情報は、現在データ単位と隣接データ単位との併合いかんを示す併合情報、及び隣接データ単位を示す併合インデックス情報を含んでもよい。

スキップモード情報と併合関連情報とが、いずれも予測単位について符号化される場合には、スキップモード情報及び併合関連情報が符号化された後、予測単位の予測モード情報及びパーティションタイプ情報が符号化される。

スキップモード情報は、予測単位について符号化され、併合関連情報は、パーティションについて符号化される場合には、予測単位のスキップモード情報、予測モード情報及びパーティションタイプ情報が符号化された後、パーティション別に、併合関連情報が符号化される。

図１８は、一実施形態によるデータ単位の併合を利用したビデオ復号化方法のフローチャートを図示している。段階１８１で、受信されたビットストリームをパージングし、ビットストリームから符号化されたビデオデータ及び符号化情報が抽出され、符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報が抽出される。

一実施形態による併合関連情報は、現在データ単位について、スキップモード情報またはダイレクトモード情報の読み取り結果に基づいて抽出される。例えば、スキップモードではないデータ単位について、併合関連情報が抽出される。または、スキップモード及びダイレクトモードではないインターモードのデータ単位について、併合関連情報が抽出される。併合関連情報から、現在データ単位と隣接データ単位との併合いかんを示す併合情報、及び隣接データ単位を示す併合インデックス情報が判読される。

一実施形態によって、スキップモード情報と併合関連情報とが、いずれも予測単位ごとに抽出される場合には、スキップモード情報及び併合関連情報が抽出された後、予測単位の予測モード情報及びパーティションタイプ情報が抽出される。

一実施形態によってスキップモード情報は、予測単位レベルで抽出され、併合関連情報は、パーティションレベルで抽出される場合には、予測単位のスキップモード情報、予測モード情報及びパーティションタイプ情報が抽出された後、パーティション別に併合関連情報が抽出される。

段階１８２で、予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんが分析される。隣接データ単位と併合されたデータ単位について、隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、符号化情報に基づいて、決定されたデータ単位別に符号化されたビデオデータが復号化される。

併合情報及び併合インデックス情報に基づいて、現在データ単位の上端境界に接する全ての上端隣接データ単位、並びに左側境界に接する全ての左側隣接データ単位において、現在データ単位と併合されるデータ単位が決定される。また、現在データ単位の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位のうちでも、現在データ単位と併合されるデータ単位が決定される。

現在データ単位と併合されたデータ単位の動き関連情報を利用して、現在データ単位の動き関連情報が再構成される。動き関連情報を利用して、現在データ単位の動き補償を介して、現在データ単位が復元されて現在ピクチャが復元される。

以下、図１９ないし図３３を参照し、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置及び方法と、ビデオ復号化装置及び方法とを開示する。

図１９は、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置のブロック図を図示している。

一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横のサイズが２の自乗である正四角形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度に従って深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較、結果符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度に従って階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。一実施形態によって、ビデオ符号化のために行う変換は、周波数変換、直交変換、定数変換などを含んでもよい。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になって、パーティションのサイズは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的である比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じであるサイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度に従って、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位のサイズが２Ｎｘ２Ｎであるならば、変換深度０、変換単位のサイズがＮｘＮであるならば、変換深度１、変換単位のサイズがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度に従って、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図１１及び図１２を参照して詳述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みることになるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位中に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度に従って階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正四角形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれることができる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ 別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

ビデオ符号化装置１００は、類似の予測関連情報を有する相互隣接するデータ単位同士予測関連情報を共有するためにデータ単位併合技法を追加して遂行することができる。ビデオ符号化装置１００の符号化単位決定部１２０が、一実施形態によるビデオ符号化装置１０の符号化モード決定部１１及びデータ併合決定部１３を含み、ビデオ符号化装置１００において出力部１３０が、一実施形態によるビデオ符号化装置１０の符号化情報決定部１５を含む。

それによって、ビデオ符号化装置１００の符号化単位決定部１２０は、ツリー構造による符号化単位、予測単位及びパーティションについて、隣接するデータ単位間のデータ単位併合を行うか否かを決定し、出力部１３０は、符号化単位に係わる符号化情報に併合関連情報を含んで符号化することができる。

一実施形態による符号化単位決定部１２０は、ツリー構造による符号化単位の現在予測単位または現在パーティションの予測モードが、スキップモードまたはダイレクトモードであるとしても、隣接データ単位との予測関連情報を共有するためのデータ単位併合の可能性を分析することができる。

一実施形態による符号化単位決定部１２０は、現在予測単位または現在パーティションと併合される隣接データ単位の候補群に、現在予測単位または現在パーティションの左側境界に隣接する全ての左側隣接データ単位、上端境界に隣接する全ての上端隣接データ単位を含む。

また、一実施形態によるツリー構造による符号化単位に基づいて、現在予測単位または現在パーティションの左側下端コーナーに隣接する左側下端隣接データ単位も、スキャニング順序または復号化順序によって参照される。従って、一実施形態による符号化単位決定部１２０は、現在予測単位または現在パーティションの併合候補群に、全ての左側隣接データ単位、全ての上端隣接データ単位だけではなく、左側上端コーナー、右側上端コーナー及び左側下端コーナーに隣接するデータ単位をさらに含む。

また、現在予測単位または現在パーティションの予測モードに基づいて、データ単位併合可能性が決定されるので、予測モード情報と併合情報との符号化は、互いに密接に関連している。例えば、一実施形態による出力部１３０は、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップ情報、またはダイレクト情報に基づいて、併合関連情報が続けて設定されるように、符号化情報を符号化することができる。

一実施形態によるビデオ符号化装置１００によって構成されたツリー構造による符号化単位は、多様な形態、並びに多様な予測モードの予測単位及びパーティションを含むので、現在予測単位またはパーティションの上端境界及び左側境界には、多様な形態、及び多様な予測モードの予測単位またはパーティションが接することができる。一実施形態による符号化単位決定部１２０は、現在予測単位またはパーティションの上端境界及び左側境界に接する多様な全ての隣接予測単位または隣接パーティションについて、現在データ単位とのデータ単位併合の可能性を検索し、併合対象を決定することができる。

それによって、ツリー構造による符号化単位に基づいて、現在予測単位またはパーティションが、さらに多様なサイズ、形態、位置の隣接データ単位と予測関連情報とを共有することができるので、幅広い範囲の周辺情報を利用して、重複データが除去され、ビデオ符号化効率が向上するのである。

図２０は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置のブロック図を図示している。

一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。

一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１９及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャ符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに、映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、一実施形態による符号化深度及び符号化モードに係わる符号化情報は、現在予測単位または現在パーティションに係わる併合関連情報をさらに含む。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位ののうち、それぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報を含んでツリー構造による変換単位を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないことを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一の符号化モードで復号化する１つのデータ単位と見なされる。

また、ビデオ復号化装置２００は、データ単位併合技法を利用して、現在予測単位または現在パーティションの周辺データ単位の予測関連情報を利用して、現在予測単位またはパーティションを復元することができる。このために、ビデオ復号化装置２００の受信部２１０及び映像データ及び符号化情報抽出部２２０は、一実施形態によるビデオ復号化装置２０のパージング部／抽出部２１を含み、ビデオ復号化装置２００の映像データ復号化部２３０が、一実施形態によるビデオ復号化装置２０のデータ単位併合決定部２３を含む。

一実施形態による映像データ及び符号化情報抽出部２２０は、符号化モードについての情報のうち、予測モード情報及び併合関連情報を抽出することができる。一実施形態による映像データ及び符号化情報抽出部２２０は、予測モード情報及び併合関連情報の密接な関連性に基づいて、符号化モードについての情報のうち、予測モード情報によって、併合関連情報の抽出及び読み取りの可能性を決定することができる。例えば、一実施形態による映像データ及び符号化情報抽出部２２０は、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップモード情報、またはダイレクト情報に基づいて、併合関連情報を続けて抽出することができる。また、併合関連情報として、併合情報及び併合インデックス情報が抽出される。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、符号化深度及び符号化モードについての情報に基づいて、ツリー構造による符号化単位を構成することができ、ツリー構造による符号化単位のうち、それぞれの符号化単位は、多様な形態及び多様な予測モードの予測単位及びパーティションを含んでいる。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、併合関連情報に基づいて、現在予測単位またはパーティションの上端境界及び左側境界に接する多様な隣接予測単位または隣接パーティション全部について、現在データ単位と併合されるか否かを検索し、併合対象を決定することができる。併合された隣接予測単位またはパーティションの予測関連情報を参照し、現在予測単位またはパーティションの予測関連情報が決定されるか、あるいは誘導される。

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる符号化情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

また、ツリー構造による符号化単位に基づいて、多様なサイズ及び形態の隣接データ単位の予測関連情報を共有して符号化されたデータも、密接な関連性に基づいて設定された予測関連情報及び併合関連情報に基づいて、隣接データ単位の予測関連情報を参照して正確に復号化される。

以下、図２１ないし図３１を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図２１は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位のサイズが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１１に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高かったり、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上するのである。

図２２は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうち、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決めなければならない。

図２３は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５に出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決めなければならない。

図２４は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図２５は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じであるサイズの符号化単位で映像を符号化したり復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図２６は、本発明の一実施形態によって、深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図２６に図示されていないが、一実施形態による符号化モードについての情報は、併合関連情報を含み、併合関連情報は、インターモード、イントラモード、スキップモード、ダイレクトモードなどの予測モードについての情報８１０に基づいて設定される。例えば、予測モードについての情報８１０がスキップモードである場合には、併合関連情報が選択的に設定される。予測モードについての情報８１０がスキップモード及びダイレクトモードではないインターモードである場合にだけ、併合関連情報が設定される。

図２７は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的である比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正四角形のデータ単位である。このような反復符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用される。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用し、復号化に利用することができる。

図２８、図２９及び図３０は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０において、一部（１０５２）の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的である比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位のサイズは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることによって周辺符号化単位が参照される。

図３１は、表１の符号化情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図３１を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって０，１，２，３，…などに増加して変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位のサイズが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位のサイズが８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２に設定され、変換単位のサイズが３２ｘ３２より小さいなることがないので、それ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能である最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、以下の式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎTransformSize，
RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能である最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上採択可能である最大変換単位サイズを示すことができる。すなわち、式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeＩｎｄｅｘ）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割された変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうちで小さい値が現在現在符号化単位で可能である最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。

一実施形態による最大変換単位サイズ「RootＴｕSize」は、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、以下の式（２）によって決定される。式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードが予測モードがイントラモードであるならば、「RootＴｕSize」は、下の式（３）によって決定される。「PartitionSize」は、現在パーティション単位のサイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize、PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズにおいて小さい値に設定される。

ただし、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、これに限定されるのではないということに留意しなければならない。

図３２は、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化方法のフローチャートを図示している。

段階１２１０で、ビデオの現在ピクチャが最大符号化単位で区画することができる。段階１２２０で、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が生じる深度を選択して符号化深度として決定し、符号化深度として決定された深度の符号化単位によって構成されたツリー構造による符号化単位が決定される。決定された符号化単位によって符号化された最大符号化単位別映像データが出力される。

段階１２３０で、ツリー構造による符号化単位の予測単位またはパーティションについて、隣接するデータ単位間のデータ単位併合を行うか否かが決定される。併合されるデータ単位間には、予測関連情報が共有される。一実施形態によるツリー構造による符号化単位の現在予測単位または現在パーティションは、予測モードがスキップモードまたはダイレクトモードであるとしても、隣接データ単位との予測関連情報を共有するためのデータ単位併合の必要性が分析される。

段階１２３０で、ツリー構造による符号化単位の符号化モードに係わる情報は、併合情報及び併合インデックス情報を含む併合関連情報を含むように符号化される。ツリー構造による符号化単位に基づいて符号化された最大符号化単位の映像データ及び符号化モードについての情報がビットストリーム形態に出力される。

図３３は、本発明の一実施形態によってツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化方法のフローチャートを図示している。

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階１３２０で、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データが抽出され、符号化深度及び符号化モードについての情報が抽出される。

符号化深度及び符号化モードについての情報のうち、一実施形態による併合関連情報が抽出される。予測モード情報に基づいて、併合関連情報の抽出及び読み取り可能性が決定される。例えば、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップモード情報、またはダイレクト情報に基づいて、併合関連情報が続けて抽出される。また併合関連情報として、併合情報及び併合インデックス情報が抽出される。

段階１３３０で、最大符号化単位の符号化深度及び符号化モードについての情報に基づいて、ツリー構造による符号化単位の予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報などを読み取り、最大符号化単位の映像データの復号化に利用される。

また、併合関連情報に基づいて、現在データ単位に隣接する全ての隣接データ単位のうち、併合対象が検索されてデータ単位の併合が決定される。併合された隣接予測単位またはパーティションの予測関連情報を共有したり、参照して現在予測単位またはパーティションの予測関連情報が類推することによって、現在予測単位及びパーティションの動き予測及び補償が行われる。ツリー構造による符号化単位別動き予測及び補償を含んだ復号化を介して、最大符号化単位の映像データが復元され、現在ピクチャが復元される。

一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置１００、及び一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置２００は、ツリー構造による多様なサイズ、多様な形態及び多様な予測モードの予測モード及びパーティションについて、相互予測関連情報の共有のためのデータ単位の併合可能性が検討されるので、多様な位置の隣接データ単位間に併合されて予測関連情報が共有される。それによって、さらに幅広い範囲の周辺情報を利用して、重複データが除去されるので、映像データの符号化効率が向上するのである。

また、多様な予測モードと併合可能性との密接な関連性を考慮し、予測モード情報と併合関連情報が階層的、連続的に符号化／復号化されるので、符号化情報の符号化効率も向上するのである。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc））のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

Claims (15)

1. 受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する段階と、
   前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化する段階と、を含むことを特徴とするデータ単位併合を利用したビデオ復号化方法。
2. 前記データ単位は、前記ピクチャ符号化のために、前記現在ピクチャを分割することによって獲得される符号化単位、及び前記ピクチャを予測符号化するために前記ピクチャを分割することによって獲得された予測単位のうち、少なくとも一つを含み、
   前記抽出及び読み取り段階は、前記データ単位別に、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を抽出して読み取る段階と、
   前記データ単位別に、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の抽出いかんを決定する段階と、を含み、
   前記復号化段階は、前記符号化単位ごとに、前記併合情報に基づいて、前記隣接データ単位との併合いかんを決定する段階を含むことを特徴とする請求項１に記載のデータ単位併合を利用したビデオ復号化方法。
3. 前記抽出及び読み取り段階は、
   前記併合情報に基づいて、前記データ単位の動きベクトル差分情報を抽出し、前記データ単位の補助予測情報の抽出いかんを決定する段階と、
   前記併合関連情報のうち、前記現在データ単位と併合されるデータ単位を示す併合インデックス情報を抽出する段階と、をさらに含むことを特徴とする請求項２に記載のデータ単位併合を利用したビデオ復号化方法。
4. 前記復号化段階は、
   前記併合関連情報のうち、併合情報に基づいて、現在データ単位が少なくとも１つの隣接データ単位と併合される場合、
   前記併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位に隣接する区域において、前記現在データ単位と併合されるデータ単位を含む少なくとも１つの候補データ単位群を決定する段階と、
   前記少なくとも１つの候補データ単位群のうち、前記現在データ単位と併合される１つのデータ単位を決定する段階と、を含むことを特徴とする請求項１に記載のデータ単位併合を利用したビデオ復号化方法。
5. 前記データ単位が、前記ピクチャのインター予測のために前記予測単位が分割されたデータ単位であるパーティションを含む場合、
   前記抽出及び読み取り段階は、前記予測モード情報のうち、スキップモード情報を予測単位ごとに抽出し、前記予測単位がパーティションに分割される場合、前記併合関連情報を前記パーティションごとに抽出する段階を含み、
   前記抽出及び読み取り段階は、前記予測単位に係わる、前記スキップモード情報、前記予測単位情報、前記パーティション情報及び前記併合情報を順次に抽出する段階と、を含み、
   インター予測のためのデータ単位を分割することによって獲得された隣接するパーティション間には相互併合が行われず、
   前記パーティション情報は、前記予測単位が前記パーティションに分割されるか否か、及びパーティションタイプについての情報を含むことを特徴とする請求項１に記載のデータ単位併合を利用したビデオ復号化方法。
6. 前記抽出及び読み取り段階は、
   ピクチャに係わる符号化過程で、前記ピクチャが所定最大サイズの符号化単位に分割されたそれぞれの最大符号化単位について、深度が深くなるにつれて、前記最大符号化単位が階層的に分割されて縮小された領域別に、少なくとも１つの深度別符号化単位ごとに、イントラ予測及びインター予測、変換及び量子化を行い、最小符号化誤差を発生させる深度である符号化深度が決定され前記最大符号化単位別に、ツリー構造による符号化単位が構成された場合、前記符号化深度の符号化単位ごとに、前記イントラ予測またはインター予測のための予測単位またはパーティションの決定を含んで符号化方式を示す符号化情報及び前記符号化モードによって符号化されたデータを抽出する段階を含み、
   前記データ単位は、前記符号化深度の符号化単位の予測単位またはパーティションであることを特徴とする請求項１に記載のデータ単位併合を利用したビデオ復号化方法。
7. ピクチャ符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決定する段階と、
   前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つによって、少なくとも１つの隣接データ単位との併合いかんを決定する段階と、
   前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含むことを特徴とするデータ単位併合を利用したビデオ符号化方法。
8. 前記データ単位は、前記ピクチャ符号化のために、前記現在ピクチャを分割することによって獲得される符号化単位、及び前記ピクチャを予測符号化するために前記ピクチャを分割することによって獲得された予測単位のうち、少なくとも一つを含み、
   前記符号化情報決定段階は、前記データ単位別に、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を決定する段階と、
   前記データ単位別に、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定する段階と、を含み、
   前記スキップモード情報及び前記併合情報が前記符号化単位ごとに、決定されることを特徴とする請求項７に記載のデータ単位併合を利用したビデオ符号化方法。
9. 前記符号化情報決定段階は、
   前記併合関連情報として、前記現在データ単位に係わる併合情報及び併合されるデータ単位を示す併合インデックス情報を決定する段階と、
   前記併合情報に基づいて、前記データ単位の動きベクトル差分情報を符号化し、前記データ単位の補助予測情報の符号化いかんを決定する段階と、をさらに含むことを特徴とする請求項８に記載のデータ単位併合を利用したビデオ符号化方法。
10. 前記併合いかん決定段階は、
    現在データ単位に隣接する区域において、前記現在データ単位と併合されるデータ単位を含む少なくとも１つの候補データ単位群を決定する段階と、
    前記少なくとも１つの候補データ単位群のうち、前記現在データ単位と併合される１つのデータ単位を検索して決定する段階と、を含むことを特徴とする請求項８に記載のデータ単位併合を利用したビデオ符号化方法。
11. 前記データ単位が、前記現在ピクチャのインター予測のために前記予測単位が分割されたデータ単位であるパーティションをさらに含む場合、
    前記符号化情報決定段階は、
    前記予測モード情報のうち、スキップモード情報を前記予測単位ごとに符号化し、前記予測単位がパーティションに分割される場合、前記併合関連情報を前記パーティションごとに決定する段階と、
    前記予測単位ごとに、前記スキップモード情報、前記予測単位情報、前記パーティション情報及び前記併合情報を順次に符号化する段階と、を含み、
    インター予測のためのデータ単位を分割して獲得された隣接するパーティション間には相互併合を行わず、
    前記パーティション情報は、前記予測単位が前記パーティションに分割されるか否か、及びパーティションタイプについての情報を含むことを特徴とする請求項８に記載のデータ単位併合を利用したビデオ符号化方法。
12. 前記符号化モード決定段階は、
    前記現在ピクチャが所定最大サイズの符号化単位に分割されたそれぞれの最大符号化単位について、深度が深くなるにつれて、前記最大符号化単位が階層的に分割されて縮小された領域別に、少なくとも１つの深度別符号化単位ごとに、イントラ予測及びインター予測、変換及び量子化を行い、最小符号化誤差を発生させる深度である符号化深度を決定し、前記符号化深度の符号化単位ごとに、前記イントラ予測またはインター予測のための予測単位またはパーティションの決定を含んで符号化方式を示す符号化モードを決定し、前記最大符号化単位別に、ツリー構造による符号化単位を決定する段階を含み、
    前記データ単位は、前記符号化深度の符号化単位の予測単位またはパーティションであることを特徴とする請求項７に記載のデータ単位併合を利用したビデオ符号化方法。
13. ビデオ復号化装置において、
    受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出するパージング部及び抽出部と、
    前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも１つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化するデータ単位併合部及び復号化部と、を含むことを特徴とするデータ単位併合を利用したビデオ復号化装置。
14. ビデオ符号化装置において、
    現在ピクチャ符号化のためのデータ単位と、前記データ単位ごとに予測符号化を含む符号化方式と、を示す符号化モードを決定する符号化モード決定部と、
    前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つによって、少なくとも１つの隣接データ単位との併合いかんを決定するデータ単位併合決定部と、
    前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する符号化情報決定部と、を含むことを特徴とするデータ単位併合を利用したビデオ符号化装置。
15. 請求項１ないし７のうちいずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能である記録媒体。

Images