JP2015144470A - ビデオデータを復号化する方法及び装置 - Google Patents

Abstract

【課題】階層的構造の符号化単位の大きさによって変更されるコーディング・ツールの作動モードで遂行される符号化及び復号化のための方法及び装置を提供する。
【解決手段】映像符号化方法は、現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割し２０１０、最大符号化単位ごとに、最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、深度別符号化単位別にコーディング・ツール別作動モードによって符号化して符号化深度を決定し２０２０、符号化深度の符号化単位別に符号化された映像データ、符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する２０３０。
【選択図】図２２

Description

本発明は、ビデオの符号化及び復号化に係わる。

高解像度または高画質ビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

本発明は、階層的構造の符号化単位の大きさによって変更されるコーディング・ツールの作動モードで遂行されるビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を開示するものである。

本発明の一実施形態によるビデオ符号化方法は、現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する段階と、最大符号化単位ごとに、前記最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、深度が深くなるにつれ、前記最大符号化単位が段階的に分割された少なくとも１つの分割領域別に、前記コーディング・ツール別作動モードによって符号化し、最終符号化結果が出力される深度の符号化深度を決定する段階と、前記最大符号化単位ごとに、前記符号化深度の符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する段階と、を含む。符号化単位のためのコーディング・ツールの作動モードは、符号化単位の深度によって決定されてもよい。

一実施形態によるビデオ符号化装置は、映像データの特性によって、さらに符号化効率の高い符号化単位の深度、コーディング・ツール別作動モードを決定し、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報を符号化することができる。また、一実施形態によるビデオ復号化装置は、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報に基づいて、受信されたビットストリームを復号化することによって、符号化されたビデオデータからオリジナル映像を復元することができる。従って、一実施形態によるビデオ符号化装置及びビデオ復号化装置は、高解像度映像または高画質映像などの大容量の映像データを効果的に符号化／復号化することができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態による深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態によるビデオ符号化方法のフローチャートである。 本発明の一実施形態によるビデオ復号化方法のフローチャートである。 一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ符号化装置のブロック図である。 一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ復号化装置のブロック図である。 一実施形態による、符号化単位の大きさ、コーディング・ツール及び作動モードの対応関係を図示する図である。 符号化単位の深度、コーディング・ツール及び作動モードの対応関係の一実施形態であり、符号化単位の深度、インター予測の作動モードの対応関係を図示する図である。 符号化単位の深度、コーディング・ツール及び作動モードの対応関係の一実施形態であり、符号化単位の深度、イントラ予測の作動モードの対応関係を図示する図である。 一実施形態による符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報が挿入されたシーケンスパラメータ・セットのシンタックスを図示する図である。 実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ符号化方法のフローチャートである。 一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ復号化方法のフローチャートである。

本発明の一実施形態によるビデオ符号化方法は、現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する段階と、最大符号化単位ごとに、前記最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、深度が深くなるにつれ、前記最大符号化単位が段階的に分割された少なくとも１つの分割領域別に、前記コーディング・ツール別作動モードによって符号化し、最終符号化結果が出力される深度の符号化深度を決定する段階と、前記最大符号化単位ごとに、前記符号化深度の符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する段階と、を含む。符号化単位のためのコーディング・ツールの作動モードは、符号化単位の深度によって決定されてもよい。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。

深度とは、符号化単位が階層的に分割される段階を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されるのである。本明細書では、高い深度または上位深度から低い深度または下位深度の方向に、「深度が深くなる」と定義する。深度が深くなるにつれ、最大符号化単位の分割回数が増加し、最大符号化単位の分割可能な総回数が「最大深度」に対応する。符号化単位の最大サイズ及び最大深度が事前に設定されていてもよい。

一実施形態による符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報は、前記映像のスライス、フレーム及びフレームシーケンスのうちいずれか１つの単位で事前に符号化されてもよい。

符号化のためのコーディング・ツールは、量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングのうち少なくとも一つを含んでもよい。

一実施形態によって、符号化単位の深度によって作動モードが決定されるコーディング・ツールがイントラ予測である場合、前記作動モードは、イントラ予測方向の個数によって分類される少なくとも一つ以上のイントラ予測モード、または前記深度別符号化単位内の領域の平坦化のためのイントラ予測モード及び境界線保存のためのイントラ予測モードを含んでもよい。

一実施形態によって、符号化単位の深度によって作動モードが決定されるコーディング・ツールがインター予測である場合、前記作動モードは、少なくとも１つの動きベクトル決定技法によるインター予測モードを含んでもよい。一実施形態によって、符号化単位の深度によって作動モードが決定されるコーディング・ツールが変換である場合、前記作動モードは、回転変換のマトリックスに係わるインデックスによって分類される少なくとも１つの変換モードを含んでもよい。一実施形態によって、符号化単位の深度によって作動モードが決定されるコーディング・ツールが量子化である場合、前記作動モードは、量子化パラメータのデルタ値が利用されるか否かによって分類される少なくとも１つの量子化モードを含んでもよい。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージングする段階と、前記ビットストリームから、符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を抽出する段階と、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、前記符号化されたビデオデータを最大符号化単位別で、少なくとも１つの符号化深度別符号化単位ごとに、前記コーディング・ツール別作動モードによって復号化する段階と、を含む。符号化単位のためのコーディング・ツールの作動モードは、符号化単位の深度によって決定されてもよい。

一実施形態による前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報は、前記映像のスライス、フレーム及びフレームシーケンスのうちいずれか１つの単位で抽出されてもよい。

一実施形態によって、符号化単位の深度によって作動モードが決定される符号化のためのコーディング・ツールは、量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングのうち少なくとも一つを含み、前記復号化段階は、前記符号化のためのコーディング・ツールに対応するデコーディング・ツールを遂行することができる。

本発明の一実施形態によるビデオ符号化装置は、現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する最大符号化単位分割部と、前記最大符号化単位ごとに、前記最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、深度が深くなるにつれ、前記最大符号化単位が段階的に分割された少なくとも１つの分割領域別に、前記コーディング・ツール別作動モードによって符号化し、最終符号化結果が出力される深度の符号化深度を決定する符号化深度決定部と、前記最大符号化単位ごとに、前記最終符号化結果の符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する出力部と、を含む。符号化単位のためのコーディング・ツールの作動モードは、符号化単位の深度によって決定されてもよい。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記ビットストリームから、符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を抽出する抽出部と、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、前記符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとに、前記コーディング・ツール別作動モードによって復号化する復号化部と、を含む。符号化単位のためのコーディング・ツールの作動モードは、符号化単位の深度によって決定されてもよい。

本発明の一実施形態によるビデオ復号化方法は、少なくとも１つの最大符号化単位別符号化深度及び符号化モードについての情報、及び前記少なくとも１つの最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、前記符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとに、前記コーディング・ツール別作動モードによって復号化する段階を含む。

本発明は、本発明の一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また本発明は、本発明の一実施形態によるビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図２３を参照しつつ、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。また、羅列される構成要素に先行する「少なくとも１つの」という表現は、構成要素それぞれを修飾するものではなく、羅列された構成要素全体を修飾するものである。一実施形態で「単位」は、文脈上、サイズの単位でもあり、そうではないこともある。図１ないし図１５を参照しつつ、本発明の一実施形態によって、空間的に階層的なデータ単位に基づいたビデオの符号化及びビデオの復号化について述べ、図１６ないし図２３を参照しつつ、本発明の一実施形態による符号化単位の大きさを考慮して変更されるコーディング・ツールの作動モードで遂行されるビデオの符号化及びビデオの復号化について述べる。

後述になる実施形態で、符号化端で、「符号化単位」は、映像データを符号化するデータ単位を意味したり、あるいは復号化端で「符号化単位」は、映像データを復号化するための符号化されたデータ単位を意味する。

以下、図１ないし図１５を参照しつつ、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。

図１は、本発明の一実施形態によるビデオ符号化装置１００のブロック図を図示している。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きいならば、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されるのである。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズ２の二乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力されるのである。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなったり増加するほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されるのである。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されるのである。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが事前に設定されていてもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。従って、決定された符号化深度の符号化単位の符号化された映像データが最終的に出力される。また、符号化深度の符号化単位を、符号化される符号化単位であると見ることができる。

決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択されるのである。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定されてもよい。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立的に決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定されてもよい。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の５つの深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。変換は、直交変換または整数変換の方式によって行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、あらゆる段階にわたって、同じデータ単位が使われ、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、もうそれ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるもうそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティション・タイプは、予測単位の高さまたは幅が対称的割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択されるのである。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさのデータ単位を基に変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含んでもよい。

以下、変換の基盤になるデータ単位は、「変換単位」とする。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位と大きさが同一であるサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、総４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分され、総４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定される。例えば、変換深度の階層的性格によって上、位変換深度の変換単位が４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定されてもよい。

また、符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小さい大きさの変換単位に分割されつつ、領域別に独立して決定されてもよい。従って、一実施形態による符号化単位内で、符号化単位の残差データは、変換深度によって、ツリー構造による変換単位によって区画されてもよい。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティション・タイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照しつつ詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態に出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティション・タイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化するのではなく、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義されてもよい。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位で分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同じ深度の符号化単位ごとに再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されてもよい。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードに係わる符号化情報が設定されてもよい。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されるのである。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのＳＰＳ（sequence parameter set）またはヘッダに挿入されてもよい。

ビデオ符号化装置１００で、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ復号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇するのである。

図２は、本発明の一実施形態によるビデオ復号化装置２００のブロック図を図示している。

一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明した通りである。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダまたはＳＰＳから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる符号化情報を抽出する。抽出された符号化深度及び符号化モードに係わる符号化情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに係わる符号化情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる符号化情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる符号化情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに係わる符号化情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる符号化情報が記録されているならば、同じ符号化深度及び符号化モードに係わる符号化情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推することができる。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティション・タイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。逆変換過程は、直交逆変換または整数逆変換の方式に従ってもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって、逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用し、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、各符号化深度に対応する符号化単位の符号化されたデータを、予測単位のパーティション・タイプ、予測モード及び変換単位サイズ情報を利用して復号化し、現在最大符号化単位の映像データを出力することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位と見なされるのである。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位についての情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。符号化単位の最大単位は、解像度または映像データ量を考慮して決定されてもよい。

従って、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例として、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４,６４ｘ３２,３２ｘ６４,３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２,３２ｘ１６,１６ｘ３２,１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６,１６ｘ８,８ｘ１６,８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８,８ｘ４,４ｘ８,４ｘ４のパーティションに分割されるのである。

第１ビデオデータ３１０については、解像度は、１９２０ｘ１０８０、符号化単位の最大サイズは、６４、最大深度が２に設定されている。第２ビデオデータ３２０については、解像度は、１９２０ｘ１０８０、符号化単位の最大サイズは、６４、最大深度が３に設定されている。第３ビデオデータ３３０については、解像度は、３５２ｘ２８８、符号化単位の最大サイズは、１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、第３ビデオデータ３３０に比べ、解像度の高い第１ビデオデータ３１０及び第２ビデオデータ３２０は、符号化サイズの最大サイズが６４に選択されるのである。

第１ビデオデータ３１０の最大深度が２であるから、第１ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、第３ビデオデータ３３０の最大深度が１であるから、第３ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

第２ビデオデータ３２０の最大深度が３であるから、第２ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能力が向上しうる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用し、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されるのである。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに係わって、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力されるのである。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力されるのである。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定せねばならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。事前に設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、第１符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の第２符号化単位６２０、サイズ１６ｘ１６である深度２の第３符号化単位６３０、サイズ８ｘ８である深度３の第４符号化単位６４０、サイズ４ｘ４である深度４の第５符号化単位６５０が存在する。サイズ４ｘ４である深度４の第６符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の第１符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の第１符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割されるのである。

同様に、深度１のサイズ３２ｘ３２の第２符号化単位６２０の予測単位は、サイズ３２ｘ３２の第２符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されるのである。

同様に、深度２のサイズ１６ｘ１６の第３符号化単位６３０の予測単位は、サイズ１６ｘ１６の第３符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されるのである。

同様に、深度３のサイズ８ｘ８の第４符号化単位６４０の予測単位は、サイズ８ｘ８の第４符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されるのである。

最後に、深度４のサイズ４ｘ４の第５符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のパーティション６５０にのみ設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、第１符号化単位６１０の符号化深度を決定するために、第１符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個を含むデータに対して、深度２の符号化単位は、４個が必要である。従って、同一データの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用してそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプとして選択されるのである。

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で映像を符号化したり復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択されるのである。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、オリジナルとの誤差が最も小さい変換単位が選択されるのである。

図８は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティション・タイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティション・タイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうちいずれか一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティション・タイプについての情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち、いずれか一つで予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つであってもよい。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出して復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含んでもよい。図９では、予測単位が対称的割合で分割されたパーティション９１２，９１４，９１６，９１８だけ例示されているが、前述のように、パーティション・タイプは、これに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティション・タイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われねばならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

パーティション・タイプ９１２，９１４，９１６，９１８による予測符号化を含む符号化誤差が比較され、パーティション・タイプ９１２，９１４，９１６，９１８において、最小符号化誤差が決定される。サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティション・タイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティション・タイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１であるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。

パーティション・タイプのうち、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティション・タイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最も小さいといっても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が、深度ｄ−１に決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定されてもよい。また、最大深度がｄであるから、深度ｄ−１の符号化単位９５２に係わる分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する「最小単位」とすることができる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードが符号化深度の符号化モードとして設定されてもよい。

こういう方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度として決定される。符号化深度、予測単位のパーティション・タイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されねばならないので、符号化深度の分割情報だけ「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位１０１０、予測単位１０６０及び変換単位１０７０の関係を図示している。

符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて、小さいサイズのデータ単位に対して変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるから、符号化深度について、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割される場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティション・タイプで定義され、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。

パーティション・タイプ情報は、予測単位の高さまたは幅が、対称的割合で分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的割合で分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１で分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定されてもよい。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位の大きさは、ＮｘＮ、非対称型パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定されてもよい。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位間でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認されるのである。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、この場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。しかし、これに限定されるものではなく、他の実施形態も可能である。例えば、他の実施形態によれば、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ１３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定されてもよい。

パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、ＴＵ size flagが１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が非対称型パーティション・タイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、ＴＵ size flagが１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１３を参照しつつ説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加し、変換単位が階層的に分割されもする。

この場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

例えば、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例で、現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さくはならないので、それ以上の変換単位分割情報が設定されない。

さらに他の例で、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であって、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」であると定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の式（１）のように定義される。

CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上、採択可能な最大変換単位サイズを示すことができる。すなわち、式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるから、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」であってもよい。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わりもする。

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記式（２）によって決定される。式（２）で、「MaxTransformSize」は、最大変換単位サイズ、「ＰＵＳｉｚｅ」は、現在予測単位サイズを示す。

RootTuSize＝min（MaxTransformSize、ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝min（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないことに留意せねばならない。

図１４は、本発明の一実施形態によるビデオ符号化方法のフローチャートを図示している。

段階１２１０で、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。また、可能な総分割回数を示す最大深度が事前に設定されもする。

段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域ごとに符号化され、少なくとも１つの分割領域別に、最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ、さらに下位深度の符号化単位に分割されるのである。深度別に符号化単位ごとに反復して符号化が行われねばならない。

また、深度別符号化単位ごとに、符号化誤差が最小であるパーティション・タイプ別変換単位が決定されねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、あらゆる深度別符号化単位ごとに符号化誤差が測定されて比較される。

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別最終符号化結果の映像データと、符号化深度及び符号化モードに係わる符号化情報とが出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティション・タイプ情報、予測モード情報及び変換単位サイズ情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データと共に復号化端に伝送される。

図１５は、本発明の一実施形態によるビデオ復号化方法のフローチャートを図示している。

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。

段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データと、最大符号化単位別符号化深度及び符号化モードに係わる符号化情報とが抽出される。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に符号化誤差が最も小さい深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

一実施形態による符号化深度及び符号化モードに係わる符号化情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割されるのである。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することによって、映像の符号化／復号化の効率性が向上しうる。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードに係わる符号化情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送される。

以下、図１６ないし図２３を参照しつつ、一実施形態によって符号化単位の大きさを考慮したコーディング・ツールの作動モードによって行われるビデオ符号化または復号化について説明する。

図１６は、一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ符号化装置のブロック図を図示している。

一実施形態によるビデオ符号化装置１４００は、最大符号化単位分割部１４１０、符号化深度決定部１４２０及び出力部１４３０を含む。

最大符号化単位分割部１４１０は、現在ピクチャを少なくとも１つの最大符号化単位に分割する。

符号化深度決定部１４２０は、最大符号化単位を深度別符号化単位別に符号化する。このとき、符号化深度決定部１４２０は、最大符号化単位に含まれた符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、最大符号化単位の分割領域別に、当該符号化単位の深度によるコーディング・ツール別作動モードによって符号化する。

符号化深度決定部１４２０は、あらゆる深度による符号化単位ごとに符号化し、その符号化結果を比較し、符号化効率が最も高い符号化単位の深度を符号化深度として決定する。最大符号化単位内の領域は、位置ごとに符号化効率が最も高い深度が一定なものではないので、所定分割領域に係わる符号化深度は、他の分割領域とは独立して決定されてもよい。従って、１つの最大符号化単位内に、符号化深度が一つ以上定義されてもよい。

符号化のためのコーディング・ツールは、ビデオ符号化技法の量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングなどを指す。一実施形態によるビデオ符号化装置１４００は、それぞれのコーディング・ツールは、少なくとも１つの作動モードによって遂行することができる。作動モードは、コーディング・ツールを遂行する方式を指す。

例えば、コーディング・ツールがインター予測であるならば、コーディング・ツールのための作動モードは、周辺予測単位の動きベクトルのメディアン値を選択する第１作動モード、周辺予測単位のうち特定位置の予測単位の動きベクトルを選択する第２作動モード、周辺予測単位のうちから現在予測単位の所定テンプレートと最も類似したテンプレートを含む周辺予測単位の動きベクトルを選択する第３作動モードを含んでもよい。

一実施形態によるビデオ符号化装置１４００は、それぞれのコーディング・ツールを、少なくとも１つの作動モードで遂行することができる。また、一実施形態によるビデオ符号化装置１４００は、符号化単位の大きさによって、コーディング・ツールの作動モードを可変的に設定することができる。従って、一実施形態によるビデオ符号化装置１４００は、符号化単位の大きさによって、少なくとも１つのコーディング・ツールの作動モードを可変的に設定することができる。また、符号化単位の深度は、符号化単位の大きさと相応するので、符号化単位のためのコーディング・ツールの作動モードは、符号化単位の大きさによる符号化単位の深度に基づいて決定されてもよい。従って、符号化単位の深度、コーディング・ツール及びその作動モードの対応関係が設定される。同様に、コーディング・ツールが符号化単位の予測単位またはパーティションで遂行されるならば、コーディング・ツールの作動モードは、予測単位またはパーティションのサイズに基づいて決定されてもよい。

一実施形態によるビデオ符号化装置１４００は、符号化単位の深度、コーディング・ツール及び作動モード間の対応関係を、符号化以前に事前に設定することができる。また、一実施形態によるビデオ符号化装置１４００は、最大符号化単位を符号化し、深度別符号化単位ごとに、所定コーディング・ツールについてあらゆる作動モードで符号化した結果、符号化効率が最も高い作動モードを検索することによって、符号化単位の深度、コーディング・ツール及び作動モード間の対応関係を決定することもできる。

一実施形態によるビデオ符号化装置１４００は、所定サイズ以上の深度別符号化単位については、オーバーヘッドビットが発生する作動モードを対応させることができ、所定サイズより小さい深度別符号化単位については、オーバーヘッドビットが発生しない作動モードを対応させるように決定することができる。

一実施形態によるビデオ符号化装置１４００は、符号化単位の深度、コーディング・ツール及び作動モード間の対応関係についての情報を、スライス単位、フレーム単位、ピクチャ単位、ＧＯＰ（group of pictures）単位のうち、いずれか１つの単位ごとに符号化して伝送することができる。または、一実施形態によるビデオ符号化装置１４００は、符号化情報と、符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報とを、シーケンスパラメータ・セット（ＳＰＳ：sequence parameter set）に挿入することができる。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいてイントラ予測を行う場合、イントラ予測に係わる作動モードは、参照される周辺情報の方向を示す予測方向の個数によって分類されるのである。従って、一実施形態によるビデオ符号化装置１４００のイントラ予測に係わる作動モードは、符号化単位の大きさによって変更される予測方向の個数を示すイントラ予測モードを含んでもよい。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいてイントラ予測を行う場合、イントラ予測に係わる作動モードは、映像パターンを考慮して平坦化動作を遂行するか否かによって区別される。従って、一実施形態によるビデオ符号化装置１４００のイントラ予測に係わる作動モードは、符号化単位の大きさによって、符号化単位内の領域の平坦化のためのイントラ予測モード及び境界線保存のためのイントラ予測モードを区別し、イントラ予測を行うか否かを示すことができる。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいてインター予測を行う場合、一つ以上の動きベクトル決定技法を選択的に遂行することができる。従って、一実施形態によるビデオ符号化装置１４００のインター予測に係わる作動モードは、符号化単位の大きさによって選択的に行われる動きベクトル決定技法を示すインター予測モードを含んでもよい。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいて変換を行う場合、映像パターンによって選択的に回転変換技法が利用されてもよい。一実施形態による符号化深度決定部１４２０は、回転変換技法を効率的に遂行するために、変換対象になる所定サイズのデータマトリックスに乗じる回転変換のマトリックスを、メモリに保存しおくことができる。従って、一実施形態によるビデオ符号化装置１４００の変換に係わる作動モードは、符号化単位の大きさによって、対応する回転変換のマトリックスに係わるインデックスを示す変換モードを含んでもよい。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいて量子化を行う場合、現在量子化パラメータ（ＱＰ：quantization parameter）及び所定代表量子化パラメータに係わる差値を示す量子化パラメータのデルタ値（delta ＱＰ）を利用することができる。従って、一実施形態によるビデオ符号化装置１４００の量子化に係わる作動モードは、符号化単位の大きさによって変更される量子化パラメータのデルタ値が利用されるか否かを示す量子化モードを含んでもよい。

一実施形態による符号化深度決定部１４２０が、コーディング・ツールにおいてインターポレーションを行う場合、インターポレーション・フィルタを利用することができる。符号化深度決定部１４２０は、符号化単位の大きさ、予測単位またはパーティションの大きさ及び符号化単位の深度に基づいて、インターポレーション・フィルタのタブの係数または個数を選択的に設定することができる。従って、一実施形態によるビデオ符号化装置１４００のインターポレーション・フィルタリングに係わる作動モードは、符号化単位の大きさまたは深度、予測単位またはパーティションの大きさによって変更されるインターポレーション・フィルタのタブの係数または個数を示すインターポレーションモードを含んでもよい。

一実施形態による出力部１４３０は、最大符号化単位ごとに、符号化深度決定部１４２０から出力された最終符号化結果である符号化されたビデオデータ、最大符号化単位別符号化深度及び符号化モードについての情報を含むビットストリームを出力することができる。符号化されたビデオデータは、最大符号化単位のうち、それぞれの分割領域ごとに決定された符号化深度の符号化単位で符号化されたビデオデータの集合である。

また、前述の深度別符号化単位によるコーディング・ツール別作動モードは、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報の形態に符号化され、ビットストリームに挿入されて出力されるのである。

一実施形態によるビデオ符号化装置１４００は、コーディング・ツールとして、量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングなどを行い、それぞれのコーディング・ツールは、深度別符号化単位によって異なる作動モードで行われる。前述のコーディング・ツール別作動モードは、説明の便宜のために説明した実施形態であるのみ、一実施形態によるビデオ符号化装置１４００の符号化単位の大きさまたは深度、コーディング・ツール及び作動モードの対応関係は、前述の実施形態に限定されるものではない。

図１７は、一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ復号化装置のブロック図を図示している。

一実施形態によるビデオ復号化装置１５００は、受信部１５１０、抽出部１５２０及び復号化部１５３０を含む。

一実施形態による受信部１５１０は、符号化されたビデオを含むビットストリームを受信してパージングする。一実施形態による抽出部１５２０は、受信部１５１０が受信したビットストリームから、符号化されたビデオデータ、符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を抽出する。

符号化されたビデオデータは、映像データを最大符号化単位で区画して符号化したデータであり、最大符号化単位内の映像データは、深度別に段階的に分割されてそれぞれの分割領域ごとに符号化深度による符号化単位で符号化された結果である。符号化情報は、最大符号化単位別符号化深度及び符号化モードについての情報を含んでいる。

例えば、符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報は、最大符号化単位、フレーム単位、フィールド単位、スライス単位及びＧＯＰ単位のうち、いずれか１つの映像データ単位ごとに設定されていてもよい。または、符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報、シーケンスパラメータ・セット（ＳＰＳ）から抽出される。

所定映像データ単位別に定義された符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報によって、当該映像データ単位に含まれる符号化単位の映像データは、コーディング・ツールごとに選択的な作動モードで復号化される。

一実施形態による復号化部１５３０は、抽出部１５２０で抽出された符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとにコーディング・ツール別作動モードによって復号化することができる。符号化単位の大きさによって、少なくとも１つのコーディング・ツールの作動モードは、可変的に設定される。また、符号化単位の深度は、符号化単位の大きさと相応するので、符号化単位のためのコーディング・ツールの作動モードは、符号化単位の大きさによる符号化単位の深度に基づいて決定されてもよい。従って、符号化単位の深度、コーディング・ツール及びその作動モードの対応関係が設定される。同様に、コーディング・ツールが、符号化単位の予測単位またはパーティションで遂行されるならば、コーディング・ツールの作動モードは、予測単位またはパーティションのサイズに基づいて決定されてもよい。

符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、コーディング・ツールについて設定されているとしても、復号化部１５３０は、コーディング・ツールに対応するデコーディング・ツールを遂行することができる。例えば、復号化部１５３０が、符号化単位の深度によって、量子化に係わる作動モードの対応関係についての情報に基づいて、符号化深度の符号化単位のビットストリームを逆量子化せねばならない。

一実施形態による復号化部１５３０が、デコーディング・ツールにおいてイントラ予測を行う場合、符号化単位の深度、イントラ予測及びイントラ予測モードの対応関係についての情報に基づいて、符号化深度の現在符号化単位に係わるイントラ予測を行うことができる。例えば、一実施形態による復号化部１５３０は、符号化単位の深度、イントラ予測及びイントラ予測モードの対応関係についての情報に基づいて、符号化深度の現在符号化単位の大きさに対応するイントラ予測方向の個数による周辺情報を参照し、符号化深度の現在符号化単位についてイントラ予測を行うことができる。

また、一実施形態による復号化部１５３０は、符号化単位の深度、イントラ予測及びイントラ予測モードの対応関係についての情報に基づいて、現在符号化単位の符号化深度によって、平坦化のためのイントラ予測モード及び境界線保存のためのイントラ予測モードを区別し、イントラ予測を行うか否かを決定することができる。

一実施形態による復号化部１５３０が、デコーディング・ツールにおいてインター予測を行う場合、符号化単位の深度、インター予測及びインター予測モードの対応関係についての情報に基づいて、符号化深度の現在符号化単位に係わるインター予測を行うことができる。例えば、一実施形態による復号化部１５３０は、符号化単位の深度、インター予測及びインター予測モードの対応関係についての情報に基づいて、符号化深度に対応する動きベクトル決定技法によって、符号化深度の現在符号化単位に係わるインター予測モードを遂行することができる。

一実施形態による復号化部１５３０が、デコーディング・ツールにおいて逆変換を行う場合、符号化単位の深度、変換及び変換モードの対応関係についての情報に基づいて、選択的に逆回転変換を行うことができる。従って、一実施形態による復号化部１５３０は、符号化単位の深度、変換及び変換モードの対応関係についての情報に基づいて、符号化深度に対応するインデックスの回転変換のマトリックスを利用し、符号化深度の現在符号化単位に係わる逆回転変換を行うことができる。

一実施形態による復号化部１５３０が、デコーディング・ツールにおいて逆量子化を行う場合、符号化単位の深度、量子化及び量子化モードの対応関係についての情報に基づいて、符号化深度に対応する量子化パラメータのデルタ値を利用し、符号化深度の現在符号化単位に係わる逆量子化を行うことができる。

一実施形態によるビデオ復号化装置１５００は、復号化部１５３０で復号化された映像データを利用し、オリジナル映像を復元することができる。復元された映像は、ディスプレイ装置によって再生されたり、記録媒体に保存されるのである。

一実施形態によるビデオ符号化装置１４００及びビデオ復号化装置１５００によれば、映像の特性及びその符号化効率によって、符号化単位の大きさが多様に決定されてもよい。また、高解像度映像または高画質映像などの大容量の映像データを符号化するために、符号化単位、予測単位及び変換単位などのデータ単位の大きさが大きくなる。既存のＨ．２６４標準による階層的構造によるマクロブロックの大きさは、４Ｘ４、８Ｘ８、１６Ｘ１６であるが、一実施形態によるビデオ符号化装置１４００及びビデオ復号化装置１５００は、データ単位の大きさを４Ｘ４、８Ｘ８、１６Ｘ１６、３２Ｘ３２、６４Ｘ６４、１２８Ｘ１２８、さらにそれ以上に拡張することができる。

データ単位が大きくなるほど、含まれる映像データが多くなるので、データ単位別に当該領域の映像特性が多様になる。従って、あらゆる大きさのデータ単位について、一定のコーディング・ツールを利用して符号化することは効果的ではない。

従って、一実施形態によるビデオ符号化装置１４００は、映像データの特性によって、さらに符号化効率の高い符号化単位の深度、コーディング・ツール別作動モードを決定し、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報を符号化し、一実施形態によるビデオ復号化装置１５００は、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報に基づいて、受信されたビットストリームを復号化することによって、符号化されたビデオデータからオリジナル映像を復元することができる。

従って、一実施形態によるビデオ符号化装置１４００及びビデオ復号化装置１５００は、高解像度映像または高画質映像などの大容量の映像データを効果的に符号化／復号化することができる。

図１８は、一実施形態による、符号化単位の大きさ、コーディング・ツール及び作動モードの対応関係を図示している。

一実施形態によるビデオ符号化装置１４００、または一実施形態によるビデオ復号化装置１５００の符号化単位の大きさとして、４Ｘ４サイズの符号化単位１６１０、８Ｘ８サイズの符号化単位１６２０、１６Ｘ１６サイズの符号化単位１６３０、３２Ｘ３２サイズの符号化単位１６４０、６４Ｘ６４サイズの符号化単位１６５０が利用される。最大符号化単位が、６４Ｘ６４サイズの符号化単位１６５０である場合、６４Ｘ６４サイズの符号化単位１６５０の深度は、０、３２Ｘ３２サイズの符号化単位１６４０の深度は、１、１６Ｘ１６サイズの符号化単位１６３０の深度は、２、８Ｘ８サイズの符号化単位１６２０の深度は、３、４Ｘ４サイズの符号化単位１６１０の深度は、４である。

一実施形態によるビデオ符号化装置１４００は、符号化単位の深度によって、適応的にコーディング・ツールの作動モードを決定することができる。例えば、第１コーディング・ツールＴＯＯＬ１を、第１作動モードＴＯＯＬ１−１、第２作動モードＴＯＯＬ１−２及び第３作動モードＴＯＯＬ１−３で遂行することができる場合、一実施形態によるビデオ符号化装置１４００は、４Ｘ４サイズの符号化単位１６１０、８Ｘ８サイズの符号化単位１６２０に対して、第１コーディング・ツールを、第１作動モード１６６０で遂行し、１６Ｘ１６サイズの符号化単位１６３０、３２Ｘ３２サイズの符号化単位１６４０に対して、第１コーディング・ツールを、第２作動モード１６６２で遂行し、６４Ｘ６４サイズの符号化単位１６５０に対して、第１コーディング・ツールを、第３作動モード１６６４で遂行することができる。

符号化単位の深度、コーディング・ツール及び作動モードの対応関係は、現在符号化単位の符号化する過程で、当該コーディング・ツールのあらゆる作動モードで符号化し、最も符号化効率が高い結果が生じる作動モードを検索することによって、決定することができる。また、符号化単位の深度、コーディング・ツール及び作動モードの対応関係は、符号化するシステムの性能、ユーザ要求または開発環境などによって事前に設定されもする。

最大符号化単位の大きさは、所定データについて一定に定義されて設定されているので、符号化単位の大きさは、当該符号化単位の深度に相応する。従って、符号化単位の大きさに適応的なコーディング・ツール及び作動モードの対応関係は、符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報で符号化されてもよい。

符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報は、符号化単位の深度別に、それぞれのコーディング・ツールごとに行われる最適の作動モードについての情報を示すことができる。

表２によれば、深度４，３，２，１，０の符号化単位について、第１コーディング・ツール及び第２コーディング・ツールの作動モードが可変的に適応される。かような符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報は、シーケンス、ＧＯＰ、ピクチャ、フレーム、スライスなどの単位で符号化されて伝送される。

以下、符号化単位の深度によるコーディング・ツール別作動モードの対応関係の具体的な実施形態について説明する。

図１９は、符号化単位の深度、コーディング・ツール及び作動モードの対応関係の一実施形態であり、符号化単位の深度、インター予測の作動モードの対応関係を図示している。

一実施形態によるビデオ符号化装置１４００は、インター予測を行う場合、一つ以上の動きベクトル決定方式を利用することができる。従って、コーディング・ツールにおいて、インター予測に係わる作動モードは、動きベクトル決定方式によって分類されるのである。

例えば、インター予測に係わる第１作動モードは、現在符号化単位１７００の予測された動きベクトルＭＶＰであり、周辺符号化単位Ａ，Ｂ，Ｃ １７１０，１７２０，１７３０の動きベクトルｍｖｐＡ，ｍｖｐＢ，ｍｖｐＣのメディアン値を採択する方式である。

ＭＶＰ＝median（ｍｖｐＡ，ｍｖｐＢ，ｍｖｐＣ） （４）
第１作動モードによる場合、演算負担が少なく、オーバーヘッドビットが不要である。従って、小さい深度別符号化単位について、第１作動モードでインター予測が行われても、演算または伝送ビットの側面での負担が大きくない。

インター予測に係わる第２作動モードは、周辺符号化単位Ａ，Ｂ，Ｃ １７１０，１７２０，１７３０の動きベクトルのうち、現在符号化単位１７００の予測された動きベクトルとして選択された周辺符号化単位の動きベクトルのインデックスを直接表示する方式である。

例えば、一実施形態によるビデオ符号化装置１４００が、現在符号化単位１７００に係わるインター予測を行った結果、周辺符号化単位Ａ １７１０の動きベクトルｍｖｐＡが、現在符号化単位１７００の最適の予測動きベクトルとして採択され、ｍｖｐＡのインデックスを符号化する。従って、符号化端では、予測動きベクトルを示すインデックスによるオーバーヘッドは発生するが、復号化端では、第２作動モードによるインター予測によって生じる演算負担が小さいことが特徴である。

インター予測に係わる第３作動モードは、現在符号化単位の所定位置のピクセル１７０５と、周辺符号化単位Ａ，Ｂ，Ｃ １７１０，１７２０，１７３０の所定位置のピクセル１７１５，１７２５，１７３５とを比較し、歪曲が最も少ないピクセルが検出され、当該ピクセルが含まれた周辺符号化単位の動きベクトルが、現在符号化単位１７００の予測動きベクトルとして採択になる方式である。

従って、復号化端で歪曲が最も少ないピクセルを検出するための演算負担量が増加するが、符号化端では、伝送ビットに係わるオーバーヘッドが発生しない。特に、特定映像パターンを含む映像シーケンスについては、周辺符号化単位の動きベクトルのメディアン値を利用する場合より、正確な予測結果が算出される。

一実施形態によるビデオ符号化装置１４００は、符号化単位の深度によって設定されるインター予測の第１作動モード、第２作動モード及び第３作動モードの対応関係についての情報を符号化することができる。また、一実施形態によるビデオ復号化装置１５００は、受信されたビットストリームから、符号化単位の深度によって設定されるインター予測の第１作動モード、第２作動モード及び第３作動モードの対応関係を示す情報を抽出し、符号化深度の現在符号化単位の動き補償及びインター予測と関連したデコーディング・ツールを遂行するのに利用し、映像データを復号化することができる。

一実施形態によるビデオ符号化装置１４００が、符号化単位の大きさまたは深度によって、インター予測の作動モードを決定するために、伝送ビットにオーバーヘッドが発生するか否かを考慮する。小さい符号化単位を符号化する場合、付加的なオーバーヘッドの発生は、符号化効率を急低下させることがある。これに比べ、大きい符号化単位の符号化結果に付加的なオーバーヘッドが発生するのは、符号化効率に大きく悪影響を及ぼさない。

従って、小さい符号化単位について、伝送ビットに対して付加的なオーバーヘッドを発生させないインター予測の第３作動モードが対応するのが効率的である。このような観点から、符号化単位の大きさによるインター予測の作動モードの対応関係の一例は、表３の通りである。

図２０は、符号化単位の深度、コーディング・ツール及び作動モードの対応関係の一実施形態であり、符号化単位の深度、イントラ予測の作動モードの対応関係を図示している。

一実施形態によるビデオ符号化装置１４００は、イントラ予測は現在符号化単位１８００周辺の復元されたピクセル１８１０を利用した方向性エクストラ・ポレーション（directional extrapolation）を利用することができる。例えば、イントラ予測方向は、ｔａｎ^−１（ｄｘ，ｄｙ）と定義され、複数個の（ｄｘ，ｄｙ）パラメータによって、イントラ予測方向は、多様な方向性を有することができる。

現在符号化単位内部の予測しようとする現在ピクセル１８２０を中心に、（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線上に位置した周辺ピクセル１８３０を、現在ピクセル１８２０の予測子として利用することができる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在符号化単位の上側及び左側の以前符号化単位のピクセルであることが望ましい。

一実施形態によるビデオ符号化装置１４００は、イントラ予測を行う場合、符号化単位の大きさによって、イントラ予測方向の個数を調節することができる。従って、コーディング・ツールにおいてイントラ予測に係わる作動モードは、イントラ予測方向の個数によって分類されるのである。

イントラ予測方向の適正個数は、符号化単位の大きさ及び符号化単位の階層的構造によって異なるように設定される。また、イントラ予測モードを示すためのオーバーヘッドビットは、小さい符号化単位については、符号化効率を低下させる要因になるが、大きい符号化単位の符号化効率については、大きい影響を及ぼさない。

従って、一実施形態によるビデオ符号化装置１４００は、符号化単位の深度によるイントラ予測方向個数を示す作動モードの対応関係についての情報を符号化することができる。また、一実施形態によるビデオ復号化装置１５００は、受信されたビットストリームから、符号化単位の深度によってイントラ予測方向個数を示す作動モードの対応関係についての情報を抽出し、符号化深度の現在符号化単位のイントラ予測と関連したデコーディング・ツールを遂行するのに利用し、映像データを復号化することができる。

一実施形態によるビデオ符号化装置１４００が、符号化単位の大きさまたは深度によって、イントラ予測の作動モードを決定するために、現在符号化単位の映像パターンを考慮する。ディテール成分が含まれた映像については、線形的にエクストラポレーションによるイントラ予測が望ましいので、イントラ予測方向の個数がさらに多く必要である。また、平坦な領域については、イントラ予測方向の個数が相対的に少ない。平坦な領域については、周辺の復元されたピクセルのインターポレーションによるプレーンモード（plain mode）または双線形モード（bi-linear mode）などが利用されもする。

大きい符号化単位は、平坦な領域で生成されるので、大きい符号化単位に係わるイントラ予測モードでは、予測方向の個数が少ないことが望ましい。また、小さい符号化単位は、ディテール成分が含まれた領域で生成される確率が高いので、小さい符号化単位に係わるイントラ予測モードでは、予測方向の個数が相対的に多いことが望ましい。従って、符号化単位の大きさによるイントラ予測モードの対応関係は、符号化単位の大きさによるイントラ予測方向の個数の対応関係と解釈することができ、このような観点で、符号化単位の大きさによるイントラ予測モードの対応関係の一例は、表４の通りである。

大きい符号化単位には、多様な方向の映像パターンを含むことができるので、この場合、線形的エクストラポレーションによるイントラ予測が利用されることが望ましい。このような場合の符号化単位の大きさによるイントラ予測モードの対応関係は、表５のように設定される。

本発明の一実施形態によれば、符号化単位の大きさによって多様に設定されたイントラ予測モードに従って予測符号化を行うことによって、映像の特性によって、さらに効率的な圧縮を可能にする。

一実施形態によるビデオ符号化装置１４００によって、符号化単位の深度に従って多様に設定されたイントラ予測モードを適用して出力される予測符号化単位は、イントラ予測モードによって一定の方向性を有する。かような予測符号化単位内部の方向性は、符号化される現在符号化単位のピクセルが一定の方向性を有する場合には、予測効率が向上しうるが、現在符号化単位のピクセルが方向性を有さない場合には、予測効率が落ちることがある。従って、イントラ予測を介して生成された予測符号化単位に係わる後処理動作として、予測符号化単位内部の各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、予測符号化単位内部の各ピクセルのピクセル値が変更されて新しい予測符号化単位が生成されることによって、映像の予測効率が向上しうる。

例えば、平坦な領域については、イントラ予測を介して生成された予測符号化単位について、平坦化効果のある後処理動作が効果的である。また、ディテール成分が含まれた領域については、ディテール成分を保存するための後処理動作が望ましい。

従って、一実施形態によるビデオ符号化装置１４００は、符号化単位の深度によって、イントラ予測符号化単位に係わる後処理動作の遂行いかんを示す作動モードの対応関係についての情報を符号化することができる。また、一実施形態によるビデオ復号化装置１５００は、受信されたビットストリームから符号化単位の深度によって、イントラ予測符号化単位に係わる後処理動作の遂行いかんを示す作動モードの対応関係についての情報を抽出し、符号化深度の現在符号化単位のイントラ予測と関連したデコーディング・ツールを遂行するのに利用し、映像データを復号化することができる。

一実施形態によるビデオ符号化装置１４００は、イントラ予測符号化単位に係わる後処理動作の遂行いかんを示す作動モードとして、平坦な領域については、平坦化効果のある後処理動作を遂行するイントラ予測モード、ディテール成分が含まれた領域については、平坦化効果のある後処理動作を遂行しないイントラ予測モードを採択することができる。

平坦な領域で、大きい符号化単位が決定される可能性が高く、ディテール成分の多い領域で、小さい符号化単位が決定される可能性が高い。従って、一実施形態によるビデオ符号化装置１４００は、大きい符号化単位については、平坦化効果のある後処理動作を遂行するイントラ予測モード、小さい符号化単位については、平坦化効果のある後処理動作を遂行しないイントラ予測モードを採択することができる。

従って、符号化単位の深度によるイントラ予測符号化単位に係わる後処理動作の遂行いかんを示す作動モードの対応関係は、符号化単位の大きさによる後処理動作の遂行いかんの対応関係と解釈することができ、かような観点から、符号化単位の大きさによるイントラ予測の作動モードの対応関係の一例は、表６の通りである。

一実施形態によるビデオ符号化装置１４００が、コーディング・ツールにおいて変換を行う場合、映像パターンによって選択的に回転変換技法が利用される。回転変換技法の効率的な演算のために、回転変換のためのデータマトリックスをメモリに保存しておくことができる。一実施形態によるビデオ符号化装置１４００が回転変換を行う場合、または一実施形態によるビデオ復号化装置１５００が逆回転変換を行う場合、演算のために必要な回転変換データを示すインデックスを利用し、メモリから当該データを呼び出すことができる。かような回転変換データは、符号化単位または変換単位の大きさまたはシーケンスタイプによって設定されている。

従って、一実施形態によるビデオ符号化装置１４００は、変換に係わる作動モードとして、符号化単位の深度によって、対応する回転変換のマトリックスに係わるインデックスが示す変換モードを設定することができる。一実施形態によるビデオ符号化装置１４００は、符号化単位の大きさによって、回転変換のためのマトリックスインデックスを示す変換モードの対応関係についての情報を符号化することができる。

また、一実施形態によるビデオ復号化装置１５００は、受信されたビットストリームから、符号化単位の深度によって、回転変換のためのマトリックスインデックスを示す変換モードの対応関係についての情報を抽出し、符号化深度の現在符号化単位の逆回転変換を行うのに利用し、映像データを復号化することができる。

従って、符号化単位の深度による回転変換及び作動モードの対応関係は、符号化単位の大きさによる回転変換マトリックスのインデックスの対応関係と解釈することができ、かような観点から、符号化単位の大きさによる回転変換の作動モードの対応関係の一例は、表７の通りである。

一実施形態によるビデオ符号化装置１４００が、コーディング・ツールにおいて量子化を行う場合、所定代表量子化パラメータ（ＱＰ）に係わる差値を示す量子化パラメータのデルタ値を利用することができる。量子化パラメータのデルタ値は、符号化単位の大きさによって変更される。従って、一実施形態によるビデオ符号化装置１４００の量子化に係わる作動モードは、符号化単位の大きさによって変更される量子化パラメータのデルタ値が利用されるか否かを示す量子化モードを含んでもよい。

従って、一実施形態によるビデオ符号化装置１４００は、量子化に係わる作動モードとして、符号化単位の大きさによって対応する量子化パラメータのデルタ値が利用されるか否かを示す量子化モードを設定することができる。一実施形態によるビデオ符号化装置１４００は、符号化単位の深度によって、量子化パラメータのデルタ値が利用されるか否かを示す量子化モードの対応関係についての情報を符号化することができる。

また、一実施形態によるビデオ復号化装置１５００は、受信されたビットストリームから、符号化単位の深度によって、量子化パラメータのデルタ値が利用されるか否かを示す量子化モードの対応関係についての情報を抽出し、符号化深度の現在符号化単位の逆量子化を行うのに利用し、映像データを復号化することができる。

従って、符号化単位の深度による量子化及び作動モードの対応関係は、符号化単位の大きさによる量子化パラメータのデルタ値が利用されるか否かの対応関係と解釈することができ、かような観点から、符号化単位の大きさによる量子化の作動モードの対応関係の一例は、表８の通りである。

図２１は、一実施形態による符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報が挿入されたシーケンスパラメータ・セットのシンタックスを図示している。

sequence＿parameter＿setは、現在スライスに係わるシーケンスパラメータ・セット１９００のシンタックスを示す。一実施形態による符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報が、スライスに係わるシーケンスパラメータ・セット１９００のシンタックスに挿入されている一例について説明する。

picture＿widthは、入力映像の幅、picture＿heightは、入力映像の高さを示すシンタックスであり、max＿coding＿unit＿sizeは、最大符号化単位の大きさ、max＿coding＿unit＿depthは、最大深度を示すシンタックスである。

一実施形態では、スライスに係わるシーケンスパラメータの例として、符号化単位別独立的復号化動作の利用可能性（use＿independent＿ｃｕ＿decode＿flag）、符号化単位別独立的パージング動作の利用可能性（use＿independent＿ｃｕ＿parse＿flag）、動きベクトル正確性制御動作の利用可能性（use＿ｍｖ＿accuracy＿control＿flag）、任意的方向性イントラ予測動作の利用可能性（use＿arbitrary＿direction＿intra＿flag）、変換上の予測符号化／復号化動作の利用可能性（use＿frequency＿domain＿prediction＿flag）、回転変換動作の利用可能性（use＿rotational＿transform＿flag）、ツリー・シグニフィカントマップを利用した符号化／復号化の利用可能性（use＿tree＿significant＿map＿flag）、マルチパラメータを利用したイントラ予測符号化動作の利用可能性（use＿multi＿parameter＿intra＿prediction＿flag）、改善された動きベクトル予測符号化動作の利用可能性（use＿advanced＿motion＿vector＿prediction＿flag）、適応的ループ・フィルタリング動作の利用可能性（use＿adaptive＿loop＿filter＿flag）、クワッドツリー構造の適応的ループ・フィルタリング動作の利用可能性（use＿quadtree＿adaptive＿loop＿filter＿flag）、量子化パラメータのデルタ値の利用可能性（use＿delta＿qp＿flag）、ランダムノイズ生成動作の利用可能性（use＿random＿noise＿generation＿flag）、非対称的形態に分割される予測単位による動き予測動作の利用可能性（use＿asymmetric＿motion＿partition＿flag）を示すシンタックスが利用される。前述の動作の利用可能性を示すシンタックスは、現在スライスの符号化／復号化過程で、当該動作が利用されるか否かを設定し、効率的な符号化／復号化が可能になる。

特に、適応的ループ・フィルタリング動作の利用可能性（use＿adaptive＿loop＿filter＿flag）及びクワッドツリー構造の適応的ループ・フィルタリング動作の利用可能性（use＿quadtree＿adaptive＿loop＿filter＿flag）によって、適応的ループフィルタのフィルタ長（ａｌｆ＿filter＿length）、適応的ループフィルタ・タイプ（ａｌｆ＿filter＿type）、適応的ループフィルタ係数の量子化のための基準値（ａｌｆ＿ｑｂｉｔｓ）、適応的ループ・フィルタリングでのカラー成分の個数（ａｌｆ＿ｎｕｍ＿color）がシーケンスパラメータ・セット１９００で設定される。

一実施形態によるビデオ符号化装置１４００及び一実施形態によるビデオ復号化装置１５００で利用される符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報は、符号化単位の深度（ｕｉDepth）によって、対応するインター予測の作動モード（ｍｖｐ＿mode［ｕｉDepth］）及びツリー・シグニフィカントマップのうち、シグニフィカントマップの種類を示す作動モード（significant＿map＿mode［ｕｉDepth］）を含んでもよい。すなわち、一実施形態による符号化単位の深度による、インター予測及び当該作動モードの対応関係、またはツリー・シグニフィカントマップを利用した符号化／復号化及び当該作動モードの対応関係が、シーケンスパラメータ・セット１９００で設定される。

入力サンプルのビット深度（input＿sample＿bit＿depth）及び内部サンプルのビット深度（internal＿sample＿bit＿depth）も、シーケンスパラメータ・セット１９００で設定される。

一実施形態によるビデオ符号化装置１４００及び一実施形態によるビデオ復号化装置１５００によって符号化／復号化される符号化単位の深度、コーディング・ツール及び作動モードの対応関係についての情報は、図２１で図示されたシーケンスパラメータ・セット１９００に挿入された実施形態に限定されるものではなく、最大符号化単位、スライス、フレーム、ピクチャ、ＧＯＰなどの単位で設定されて符号化／復号化される。

図２２は、一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ符号化方法のフローチャートを図示している。

段階２０１０で、現在ピクチャが最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割される。

段階２０２０で、最大符号化単位ごとに、最大符号化単位の少なくとも１つの符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、深度別符号化単位別に、コーディング・ツール別作動モードによって符号化し、符号化深度が決定される。階層的深度による深度別符号化単位によって符号化深度が決定されるので、最大符号化単位は、一つ以上の符号化深度の符号化単位を含む。

符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、映像のスライス、フレーム、ＧＯＰ及びフレームシーケンスのうち、いずれか１つの単位で、事前に設定される。また、符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、最大符号化単位の符号化において、深度別符号化単位について、コーディング・ツール別に少なくとも１つの作動モードで符号化した結果を比較し、符号化効率が最も高い作動モードを選択することによって決定することができる。または、所定サイズ以下の深度別符号化単位については、符号化されたデータストリームに挿入されるオーバーヘッドビットが発生しない作動モードを対応させ、所定サイズより大きい深度別符号化単位については、オーバーヘッドビットが発生する作動モードを対応させるように、符号化単位の大きさによるコーディング・ツール別作動モードの対応関係が決定されもする。

段階２０３０で、最大符号化単位ごとに、符号化深度の符号化されたビデオデータ、符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームが出力される。符号化情報は、最大符号化単位別符号化深度及び符号化モードについての情報を含んでもよい。符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報は、映像のスライス、フレーム、ＧＯＰ及びフレームシーケンスのうち、いずれか１つのデータ単位ごとに挿入される。

図２３は、一実施形態による、符号化単位の大きさを考慮したコーディング・ツールによるビデオ復号化方法のフローチャートを図示している。

段階２１１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。

段階２１２０で、ビットストリームから、符号化されたビデオデータ、符号化情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報が抽出される。符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報は、ビットストリームに映像の最大符号化単位、スライス、フレーム、ＧＯＰ及びフレームシーケンスのうち、いずれか１つの単位で抽出されてもよい。

段階２１３０で、符号化情報及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとに、コーディング・ツール別作動モードによって復号化される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）及び光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。また、ビデオ符号化装置１００，１４００、ビデオ復号化装置２００，１５００、映像符号化部４００及び映像復号化部５００の一つ以上の構成要素は、コンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムを実行するプロセッサまたはマイクロプロセッサを含んでもよい。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。よって、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
以下、具体的な実施形態を例示的に列挙する。
（付記１）
ビデオデータの現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する段階と、
前記最大符号化単位ごとに、前記最大符号化単位の少なくとも１つの符号化単位の深度によって決定されるコーディング・ツール別作動モードの対応関係に基づいて、深度が深くなるにつれ、前記最大符号化単位が段階的に分割された少なくとも１つの分割領域別に、前記コーディング・ツール別作動モードによって符号化し、最終符号化結果が出力される深度の符号化深度を決定する段階と、
前記最大符号化単位ごとに、前記符号化深度の符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する段階と、を含むことを特徴とするビデオ符号化方法。
（付記２）
前記符号化のためのコーディング・ツールは、量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングのうち少なくとも一つを含み、
それぞれのコーディング・ツールは、少なくとも１つの作動モードで行われることを特徴とする付記１に記載のビデオ符号化方法。
（付記３）
前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、前記映像のスライス、フレーム及びフレームシーケンスのうちいずれか１つの単位で事前に設定されることを特徴とする付記１に記載のビデオ符号化方法。
（付記４）
前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、前記最大符号化単位の符号化において、前記深度別符号化単位に係わる前記コーディング・ツール別に前記少なくとも１つの作動モードで符号化した結果を比較し、符号化効率が最も高い作動モードを選択することによって決定されることを特徴とする付記１に記載のビデオ符号化方法。
（付記５）
所定サイズ以下の深度別符号化単位については、符号化されたデータストリームに挿入されるオーバーヘッドビットが発生しない作動モードを対応させ、前記所定サイズより大きい深度別符号化単位については、オーバーヘッドビットが発生する作動モードを対応させるように、前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係が決定されることを特徴とする付記１に記載のビデオ符号化方法。
（付記６）
前記それぞれの分割領域の符号化深度は、同一最大符号化単位内の他の分割領域とは独立して決定されることを特徴とする付記１に記載のビデオ符号化方法。
（付記７）
符号化されたビデオに係わるビットストリームを受信してパージングする段階と、
前記ビットストリームから、符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、及び符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を抽出する段階と、
前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によって決定されるコーディング・ツール別作動モードの対応関係に基づいて、前記符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとに、前記コーディング・ツール別作動モードによって復号化する段階と、を含むことを特徴とするビデオ復号化方法。
（付記８）
前記符号化のためのコーディング・ツールは、量子化、変換、イントラ予測、インター予測、動き補償、エントロピ符号化及びループ・フィルタリングのうち少なくとも一つを含み、それぞれのコーディング・ツールは、少なくとも１つの作動モードで遂行され、
前記復号化段階は、前記符号化のためのコーディング・ツールに対応するデコーディング・ツールを遂行することを特徴とする付記７に記載のビデオ復号化方法。
（付記９）
前記符号化単位の大きさによるコーディング・ツール別作動モードの対応関係は、前記映像のスライス、フレーム及びフレームシーケンスのうちいずれか１つの単位で事前に設定されていることを特徴とする付記７に記載のビデオ復号化方法。
（付記１０）
前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係は、前記ビットストリームの符号化において、前記最大符号化単位の深度別符号化単位に係わる前記コーディング・ツール別に、前記少なくとも１つの作動モードで符号化した結果を比較し、符号化効率が最も高い作動モードを選択することによって決定されたことを特徴とする付記７に記載のビデオ復号化方法。
（付記１１）
所定サイズ以下の深度別符号化単位については、符号化されたデータストリームに挿入されるオーバーヘッドビットが発生しない作動モードを対応させ、前記所定サイズより大きい深度別符号化単位については、オーバーヘッドビットが発生する作動モードを対応させるように、前記ビットストリームの符号化において、前記符号化単位の大きさによるコーディング・ツール別作動モードの対応関係が決定されたことを特徴とする付記７に記載のビデオ復号化方法。
（付記１２）
現在ピクチャを、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する最大符号化単位分割部と、
前記最大符号化単位ごとに、前記最大符号化単位の少なくとも１つの符号化単位の深度によって決定されるコーディング・ツール別作動モードの対応関係に基づいて、深度が深くなるにつれ、前記最大符号化単位が段階的に分割された少なくとも１つの分割領域別に、前記コーディング・ツール別作動モードによって符号化し、最終符号化結果が出力される深度の符号化深度を決定する符号化深度決定部と、
前記最大符号化単位ごとに、前記最終符号化結果の符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係についての情報を含むビットストリームを出力する出力部と、を含むことを特徴とするビデオ符号化装置。
（付記１３）
符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、
前記ビットストリームから、符号化されたビデオデータ、前記最大符号化単位別符号化深度及び符号化モードについての情報及び符号化単位の深度によって決定されるコーディング・ツール別作動モードの対応関係についての情報を抽出する抽出部と、
前記最大符号化単位別符号化深度及び符号化モードについての情報、並びに前記符号化単位の深度によるコーディング・ツール別作動モードの対応関係に基づいて、前記符号化されたビデオデータを最大符号化単位別に、少なくとも１つの符号化深度別符号化単位ごとに、前記コーディング・ツール別作動モードによって復号化する復号化部と、を含むことを特徴とするビデオ復号化装置。
（付記１４）
付記１に記載のビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
（付記１５）
付記７に記載のビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Claims (4)

1. 映像復号化方法において、
   符号化単位の分割情報を、ビットストリームから獲得する段階と、
   前記分割情報に基づいて、映像を多数の深度の一つ以上の符号化単位で分割する段階と、
   量子化パラメータのデルタ値が獲得される符号化単位の深度を示す量子化モードを前記ビットストリームから獲得する段階と、
   前記量子化モードに基づいて前記量子化パラメータのデルタ値が獲得される符号化単位の深度を決定する段階と、
   現在符号化単位の深度が前記決定された符号化単位の深度に該当する場合、前記量子化パラメータのデルタ値を前記ビットストリームから獲得する段階と、
   前記量子化パラメータのデルタ値を用いて、前記現在符号化単位に含まれた一つ以上の変換単位に対して逆量子化及び逆変換を行う段階とを含み、
   映像は複数の最大符号化単位で分割され、前記最大符号化単位は前記分割情報によって一つ以上の深度の符号化単位で階層的に分割され、
   前記一つ以上の深度のうち現在深度の符号化単位に対して、前記分割情報が分割を示す場合、前記現在深度の符号化単位は隣接符号化単位と独立して正方形の４つの下位深度の符号化単位で分割され、
   前記現在深度の符号化単位に対して前記分割情報が非分割を示す場合、前記一つ以上の変換単位が前記現在深度の符号化単位から獲得されることを特徴とする映像復号化方法。
2. 前記符号化単位のサイズは、前記符号化単位の深度によって変わることを特徴とする請求項１に記載の映像復号化方法。
3. 前記量子化モードは、現在ピクチャ、現在スライス及び現在シーケンスのうち一つのためのヘッダから獲得されることを特徴とする請求項１に記載の映像復号化方法。
4. 映像復号化装置において、
   符号化単位の分割情報をビットストリームから獲得し、前記分割情報に基づいて映像を多数の深度の一つ以上の符号化単位で分割するプロセッサを備え、
   前記プロセッサは、量子化パラメータのデルタ値が獲得される符号化単位の深度を示す量子化モードを前記ビットストリームから獲得し、前記量子化モードに基づいて前記量子化パラメータのデルタ値が獲得される符号化単位の深度を決定し、現在符号化単位の深度が前記決定された符号化単位の深度に該当する場合、前記量子化パラメータのデルタ値を前記ビットストリームから獲得して、前記量子化パラメータのデルタ値を用いて前記現在符号化単位に含まれた一つ以上の変換単位に対して逆量子化及び逆変換を行い、
   映像は複数の最大符号化単位で分割され、前記最大符号化単位は前記分割情報によって一つ以上の深度の符号化単位で階層的に分割され、
   前記一つ以上の深度のうち現在深度の符号化単位に対して、前記分割情報が分割を示す場合、前記現在深度の符号化単位は隣接符号化単位と独立して正方形の４つの下位深度の符号化単位で分割され、
   前記現在深度の符号化単位に対して、前記分割情報が非分割を示す場合、一つ以上の変換単位が前記現在深度の符号化単位から獲得されることを特徴とする映像復号化装置。

Images