JP2017533669A - 動きベクトル符号化方法、動きベクトル復号方法、及びその装置 - Google Patents

Abstract

現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、予測動きベクトル候補を使用し、現在ブロックの予測動きベクトル、現在ブロックの動きベクトル、及び現在ブロックの動きベクトル解像度を決定する予測部；及び現在ブロックの予測動きベクトルを示す情報、現在ブロックの動きベクトルと、現在ブロックの予測動きベクトルとの残差動きベクトル、及び現在ブロックの動きベクトル解像度を示す情報を符号化する符号化部；を含み、所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含むことを特徴とする動きベクトル符号化装置である。

Description

本発明は、ビデオ符号化方法及びビデオ復号方法に係り、さらに具体的には、ビデオ映像の動きベクトルを予測して符号化する方法及びその装置、ビデオ映像の動きベクトルを予測して復号する方法及びその装置に関する。

Ｈ．２６４ ＡＶＣ（advanced video coding）及びＨＥＶＣ（high efficiency video coding）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した、以前に符号化されたブロック、または以前に符号化されたピクチャ内の同一位置にあるブロックの動きベクトルを、現在ブロックの予測動きベクトル（motion vector prediction）として使用することができる。

ビデオ符号化方法、ビデオ復号方法では、映像を符号化するために、１つのピクチャをマクロブロックに分割し、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、それぞれのマクロブロックを予測符号化することができる。

該インター予測は、ピクチャ間の時間的な重複性を除去して映像を圧縮する方法であり、動き推定符号化が代表的な例である。該動き推定符号化は、少なくとも１つの参照ピクチャを利用して、現在ピクチャのブロックをそれぞれ予測する。所定の評価関数を利用して、現在ブロックと最も類似した参照ブロックを所定の検索範囲で検索する。

現在ブロックを参照ブロックに基づいて予測し、現在ブロックから、予測結果として生成された予測ブロックを減算して生成された残差ブロックを符号化する。このとき、予測をさらに正確に行うために、参照ピクチャの検索範囲に対して補間を行い、画素単位（integer pel unit）より小さいピクセル単位の副画素を生成し、生成された副画素に基づいてインター予測を行うことができる。

一実施形態による、動きベクトル復号装置及び動きベクトル符号化装置及びその方法は、最適の予測動きベクトル、及び動きベクトルの解像度を決定し、効率的に映像を符号化または復号して装置の複雑度を低くすることができる。

一方、本発明の技術的課題及び効果は、以上で言及した特徴に制限されるものではなく、言及されていなかったり異なったりする他の技術的課題は、以下の記載から当該技術分野の当業者に明確に理解されるであろう。

一実施形態による動きベクトル符号化装置のブロック図である。 一実施形態による動きベクトル符号化方法のフローチャートである。 一実施形態による動きベクトル復号装置のブロック図である。 一実施形態による動きベクトル復号方法のフローチャートである。 多様な解像度に基づいて動き補償を行うための補間を示す図面である。 １／４画素，１／２画素，１画素及び２画素単位の動きベクトル解像度を示す図面である。 予測動きベクトル候補を獲得するための現在ブロックの候補ブロックを示す図面である。 一実施形態による予測動きベクトル候補の生成過程を示す図面である。 一実施形態による、符号化単位及び予測単位を示す図面である。 図５Ｂは適応的に決定された動きベクトル解像度を伝送するための一実施形態によるprediction＿unitシンタックスの一部を示す図面である。 適応的に決定された動きベクトル解像度を伝送するための他の実施形態によるprediction＿unitシンタックスの一部を示す図面である。 適応的に決定された動きベクトル解像度を伝送するための他の実施形態によるprediction＿unitシンタックスの一部を示す図面である。 複数の解像度を使用してマージ候補リストを構成する一実施形態を示す図面である。 複数の解像度を使用してマージ候補リストを構成する他の実施形態を示す図面である。 解像度が異なる２つの動きベクトルが示す画素を示す図面である。 ４倍に拡大したピクチャを構成する画素と、互いに異なる解像度の動きベクトルとを示す図面である。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図を図示する図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図を図示する図面である。 一実施形態による符号化単位の概念を図示する図面である。 一実施形態による、符号化単位に基づいたビデオ符号化部のブロック図を図示する図面である。 一実施形態による、符号化単位に基づいたビデオ復号部のブロック図を図示する図面である。 一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による符号化情報を図示する図面である。 一実施形態による深度別符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 該携帯電話の内部構造を図示する図面である。 一実施形態による通信システムが適用されたデジタル放送システムを図示する図面である。 一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

一実施形態による動きベクトルの符号化装置において、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補を使用し、前記現在ブロックの予測動きベクトル、前記現在ブロックの動きベクトル、及び前記現在ブロックの動きベクトル解像度を決定する予測部、及び前記現在ブロックの予測動きベクトルを示す情報、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を符号化する符号化部を含み、前記所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含むことを特徴とする。

前記予測部は、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれた候補ブロックのうち互いに異なる候補ブロックから獲得されることを特徴とする。

前記予測部は、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、互いに異なる個数の予測動きベクトル候補を含むことを特徴とする。

前記符号化部は、前記現在ブロックの動きベクトルの解像度の画素単位が最小動きベクトル解像度の画素単位より大きい場合、前記残差動きベクトルを、前記現在ブロックの動きベクトルの解像度によってダウンスケーリング（down-scaling）して符号化することを特徴とする。

前記現在ブロックが、映像を構成する現在符号化単位であり、符号化単位別に動きベクトル解像度が同一に決定され、前記現在符号化単位内にＡＭＶＰ（advanced motion vector prediction）モードと予測された予測単位が存在すれば、前記符号化部は、前記現在ブロックの動きベクトル解像度を示す情報として、前記ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回符号化することを特徴とする。

前記現在ブロックが、映像を構成する現在符号化単位であり、予測単位別に動きベクトル解像度が同一に決定され、前記現在符号化単位内にＡＭＶＰモードと予測された予測単位が存在すれば、前記符号化部は、前記現在ブロックの動きベクトル解像度を示す情報として、前記現在ブロック内に存在するＡＭＶＰモードと予測された予測単位別に、動きベクトル解像度を示す情報を符号化することを特徴とする。

一実施形態による動きベクトルの符号化装置において、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補を使用し、前記現在ブロックの予測動きベクトル、前記現在ブロックの動きベクトル、及び前記現在ブロックの動きベクトル解像度を決定する予測部、及び前記現在ブロックの予測動きベクトルを示す情報、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を符号化する符号化部を含み、前記予測部は、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれる候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする。

一実施形態による動きベクトルの符号化装置において、現在ブロックに係わる少なくとも１つのマージ候補を含むマージ候補リスト（merge candidate list）を生成し、前記マージ候補リストに含まれたマージ候補のうち１つの候補の動きベクトルを利用し、前記現在ブロックの動きベクトルを決定して符号化し、前記マージ候補リストは、前記マージ候補リストに含まれた候補の動きベクトルを、所定の複数動きベクトル解像度によってダウンスケーリングした動きベクトルを含むことを特徴とする。

前記ダウンスケーリングは、前記最小動きベクトル解像度の動きベクトルが示す画素の代わりに、前記最小動きベクトル解像度の動きベクトルが示す画素の周辺に位置した画素のうちいずれか１つの画素を、前記現在ブロックの動きベクトルの解像度に基づいて選択し、前記選択された画素を示すように調整することを特徴とする。

一実施形態による動きベクトルの復号装置において、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを示す情報を獲得し、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を獲得する獲得部、並びに前記残差動きベクトル、前記現在ブロックの予測動きベクトルを示す情報、及び前記現在ブロックの動きベクトル解像度情報に基づいて、前記現在ブロックの動きベクトルを復元する復号部を含み、前記所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含むことを特徴とする。

前記所定の複数動きベクトル解像度の予測動きベクトル候補は、第１動きベクトル解像度の１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合、及び第２動きベクトル解像度の１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を含み、前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれる候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする。

前記復号部は、前記現在ブロックの動きベクトルの解像度の画素単位が最小動きベクトル解像度の画素単位より大きい場合、前記残差動きベクトルを、前記最小動きベクトル解像度によってアップスケーリング（up-scaling）して復元することを特徴とする。

前記現在ブロックが、映像を構成する現在符号化単位であり、符号化単位別に動きベクトル解像度が同一に決定され、前記現在符号化単位内にＡＭＶＰモードと予測された予測単位が存在すれば、前記獲得部は、前記ビットストリームから、前記現在ブロックの動きベクトル解像度を示す情報として、前記ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回獲得することを特徴とする。

一実施形態による動きベクトルの復号装置において、現在ブロックに係わる少なくとも１つのマージ候補を含むマージ候補リストを生成し、前記マージ候補リストに含まれたマージ候補のうち１つの候補の動きベクトルを利用し、前記現在ブロックの動きベクトルを決定して復号し、前記マージ候補リストは、前記マージ候補リストに含まれた候補の動きベクトルを、所定の複数動きベクトル解像度によってダウンスケーリングした動きベクトルを含むことを特徴とする。

一実施形態による動きベクトルの復号装置において、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを示す情報を獲得し、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を獲得する獲得部、並びに前記残差動きベクトル、前記現在ブロックの予測動きベクトルを示す情報、及び前記現在ブロックの動きベクトル解像度情報に基づいて、前記現在ブロックの動きベクトルを復元する復号部を含み、前記所定の複数動きベクトル解像度の予測動きベクトル候補は、第１動きベクトル解像度の１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合、及び第２動きベクトル解像度の１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を含み、前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれた候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする。

一実施形態による前記動きベクトル復号方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体が提供される。

以下、図１Ａないし図７Ｂを参照し、一実施形態による、ビデオ符号化装置及びビデオ復号装置、並びにその方法のための動きベクトル解像度の符号化装置、復号装置、及びその方法が提案される。以下、ビデオ符号化装置及びその方法は、それぞれ後述する動きベクトル符号化装置及び動きベクトル符号化方法を含んでもよい。また、ビデオ復号装置及びその方法は、それぞれ後述する動きベクトル復号装置及び動きベクトル復号方法を含んでもよい。

また、図８ないし図２０を参照し、先に提案したビデオ符号化方法及びビデオ復号方法に適用可能な一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。また、図２１ないし図２７を参照し、先に提案したビデオ符号化方法、ビデオ復号方法が適用可能な一実施形態が開示される。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。

以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。

以下、「現在ブロック（current block）」は、符号化または復号する現在映像の符号化単位、または予測単位のブロックを意味する。

明細書全体において、ある部分がある構成要素を「含む」としたり、ある構成要素において、「構成」されるとしたりするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」は、ある役割を行うことができる。しかし、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されもするが、それ以上のプロセッサを再生させるように構成されもする。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」のうちから提供される機能は、さらに少数のの構成要素及び「部」に結合されたり、さらなる構成要素及び「部」にさらに分離される。

まず、図１Ａないし図７Ｂを参照し、一実施形態よる、ビデオを符号化するための動きベクトルの符号化装置及びその方法、並びにビデオを復号するための動きベクトルの復号装置及びその方法が開示される。

図１Ａは、一実施形態による動きベクトル符号化装置１０のブロック図を示す。

ビデオ符号化においてインター予測は、現在映像と、他の映像との類似性を使用する予測方法を意味する。現在映像より先に復元された参照映像のうち、現在映像の現在領域と類似した参照領域が検出され、現在領域と参照領域との座標上の距離が動きベクトルでもって表現され、現在領域と参照領域とのピクセル値の差が残差（residual）データと表現される。従って、現在領域に対するインター予測によって、現在領域の映像情報を直接出力する代りに、参照映像を示すインデックス、動きベクトル及び残差データを出力し、符号化／復号の効率を向上させることができる。

一実施形態による動きベクトル符号化装置１０は、ビデオの各映像のブロック別に、インター予測を行うために使用される動きベクトルを符号化することができる。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図８ないし図２０を参照して後述する。

動きベクトル符号化装置１０は、予測部１１及び符号化部１３を含んでもよい。

一実施形態による動きベクトル符号化装置１０は、ビデオそれぞれの映像ブロック別に、インター予測のための動きベクトルの符号化を行うことができる。

動きベクトル符号化装置１０は、動きベクトル予測（motion vector prediction）、ブロック併合（ＰＵ merging）またはＡＭＶＰ（advanced motion vector prediction）のために、現在ブロックと異なるブロックの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。

一実施形態による動きベクトル符号化装置１０は、現在ブロックに、時間的または空間的に隣接する他のブロックの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。動きベクトル符号化装置１０は、現在ブロックの動きベクトルの参照対象にもなる候補ブロックの動きベクトルを含む予測候補を決定することができる。動きベクトル符号化装置１０は、予測候補のうちから選択された１つの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。

一実施形態による動きベクトル符号化装置１０は、符号化単位（coding unit)から分割される予測の基本になる単位である予測単位（prediction unit）に分割し、動き推定（motion estimation）を介して、現在ピクチャと隣接した参照ピクチャにおいて、現在符号化単位と最も類似した予測ブロックを検索し、現在ブロックと予測ブロックとの動き情報を示す動きパラメータ（motion parameter）を決定することができる。

一実施形態による予測単位は、符号化単位から分割が始まり、四分木形態に分割されずに１回だけ分割される。例えば、１つの符号化単位が複数個の予測単位に分割され、分割によって生成された予測単位は、さらに追加して分割されない。

動きベクトル符号化装置１０は、動き推定のために、参照ピクチャの解像度を横方向に最大ｎ倍（ｎは整数）まで、縦方向に最大ｎ倍拡大し、１／ｎ画素位置の正確度で、現在ブロックの動きベクトルを決定することができる。その場合、ｎを、ピクチャの最小動きベクトル解像度という。

例えば、最小動きベクトル解像度の画素単位が１／４画素である場合、動きベクトル符号化装置１０は、ピクチャの解像度を縦横方向に４倍拡大し、最大１／４画素位置の正確度の動きベクトルを決定することができる。ただし、映像の特性によって、１／４画素単位で動きベクトルを決定するのが十分ではない場合もあり、反対に、１／４画素単位で動きベクトルを決定するのが、１／２画素位置の動きベクトルを決定するより非効率的でもある。従って、一実施形態による動きベクトル符号化装置１０は、現在ブロックの動きベクトルの解像度を適応的に決定し、決定された予測動きベクトル、実際動きベクトル、動きベクトル解像度を符号化することができる。

一実施形態による予測部１１は、動きベクトル予測候補のうち一つを使用し、現在ブロックのインター予測のための最適の動きベクトルを決定することができる。

予測部１１は、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、予測動きベクトル候補を使用し、現在ブロックの予測動きベクトル、現在ブロックの動きベクトル、及び現在ブロックの動きベクトル解像度を決定することができる。空間的候補ブロックは、現在ブロックと空間的に隣接した周辺ブロックを少なくとも一つ含んでもよい。また、時間的候補ブロックは、現在ブロックのＰＯＣ（picture order count）と異なるＰＯＣを有する参照ピクチャ内において、現在ブロックと同一のところに位置したブロックと、該同一位置のブロックと空間的に隣接した周辺ブロックとを少なくとも一つ含んでもよい。一実施形態による予測部１１は、少なくとも１つの予測動きベクトル候補をそのままコピーするか、組み合わせるか、あるいは変形し、現在ブロックの動きベクトルを決定することができる。

予測部１１は、予測動きベクトル候補を使用し、現在ブロックの予測動きベクトル、現在ブロックの動きベクトル、及び現在ブロックの動きベクトル解像度を決定することができる。所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含んでもよい。すなわち、所定の複数動きベクトル解像度は、２画素単位、３画素単位、４画素単位などの解像度を含んでもよい。しかし、所定の複数動きベクトル解像度は、必ずしも１画素単位以上の解像度を含むものではなく、１画素単位以下の解像度だけでも構成される。

予測部１１は、予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合（set）を使用し、第１動きベクトル解像度の画素単位に参照ブロックを探索し、予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索することができる。第１動きベクトル解像度と第２動きベクトル解像度は、互いに異なる解像度でもある。第１予測動きベクトル候補集合と第２予測動きベクトル候補集合は、空間的候補ブロック及び時間的候補ブロックに含まれた候補ブロックのうち互いに異なる候補ブロックから獲得される。第１予測動きベクトル候補集合と第２予測動きベクトル候補集合は、互いに異なる個数の予測動きベクトル候補を含んでもよい。

予測部１１が所定の複数動きベクトル解像度の予測動きベクトル候補を使用し、現在ブロックの予測動きベクトル、現在ブロックの動きベクトル、及び現在ブロックの動きベクトル解像度を決定する方法は、図４Ｂを参照して後述する。

符号化部１３は、現在ブロックの予測動きベクトルを示す情報、現在ブロックの動きベクトルと、現在ブロックの予測動きベクトルとの残差動きベクトル、及び現在ブロックの動きベクトル解像度を示す情報を符号化することができる。符号化部１３は、実際動きベクトルと予測動きベクトルとの残差動きベクトルを使用し、さらに少ないビットを使用し、現在ブロックの動きベクトルを符号化することができるので、映像符号化の圧縮率を向上させることができる。符号化部１３は、後述するように、現在ブロックの動きベクトル解像度を示すインデックスを符号化することができる。また、符号化部１３は、最小動きベクトル解像度と、現在ブロックの動きベクトル解像度との差に基づいて、残差動きベクトルをダウンスケーリング（down-scaling）し、符号化することができる。

図１Ｂは、一実施形態による動きベクトル符号化方法のフローチャートを示す。

段階１２において、一実施形態による動きベクトル符号化装置１０は、現在ブロックの空間的候補ブロック及び時間的候補ブロックの動きベクトルを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得することができる。所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含んでもよい。

段階１４において、一実施形態による動きベクトル符号化装置１０は、段階１２で獲得した予測動きベクトル候補を使用し、現在ブロックの予測動きベクトル、現在ブロックの動きベクトル、及び現在ブロックの動きベクトル解像度を決定することができる。

段階１６において、一実施形態による動きベクトル符号化装置１０は、段階１４で決定された、予測動きベクトルを示す情報、現在ブロックの動きベクトルと、現在ブロックの予測動きベクトルとの残差動きベクトル、及び現在ブロックの動きベクトル解像度を示す情報を符号化することができる。

図２Ａは、一実施形態による動きベクトル復号装置のブロック図を示す。

動きベクトル復号装置２０は、受信されたビットストリームをパージングし、現在ブロックのインター予測を行うための動きベクトルを決定することができる。

獲得部２１は、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得することができる。空間的候補ブロックは、現在ブロックと空間的に隣接した周辺ブロックを少なくとも一つ含んでもよい。また、時間的候補ブロックは、現在ブロックのＰＯＣと異なるＰＯＣを有する参照ピクチャ内において、現在ブロックと同一のところに位置したブロックと、該同一位置のブロックと空間的に隣接した周辺ブロックとを少なくとも一つ含んでもよい。所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含んでもよい。すなわち、所定の複数動きベクトル解像度は、２画素単位、３画素単位、４画素単位などの解像度を含んでもよい。しかし、所定の複数動きベクトル解像度は、必ずしも１画素単位以上の解像度を含むものではなく、１画素単位以下の解像度だけでも構成される。

所定の複数動きベクトル解像度の予測動きベクトル候補は、第１動きベクトル解像度の１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合（set）、及び第２動きベクトル解像度の１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を含んでもよい。第１動きベクトル解像度と第２動きベクトル解像度は、互いに異なる解像度である。第１予測動きベクトル候補集合と第２予測動きベクトル候補集合は、空間的候補ブロック及び時間的候補ブロックに含まれる候補ブロックのうち互いに異なる候補ブロックから獲得される。また、第１予測動きベクトル候補集合と第２予測動きベクトル候補集合は、互いに異なる個数の予測動きベクトル候補を含んでもよい。

獲得部２１は、受信されたビットストリームから、予測動きベクトル候補のうち現在ブロックの予測動きベクトルを示す情報を獲得し、現在ブロックの動きベクトルと、現在ブロックの予測動きベクトルとの残差動きベクトル、及び現在ブロックの動きベクトル解像度に係わる情報を獲得することができる。

復号部２３は、獲得部２１で獲得した残差動きベクトル、現在ブロックの予測動きベクトルを示す情報、及び現在ブロックの動きベクトル解像度情報に基づいて、現在ブロックの動きベクトルを復元することができる。復号部２３は、最小動きベクトル解像度と、現在ブロックの動きベクトル解像度との差に基づいて、受信された残差動きベクトルに係わるデータをアップスケーリングして復元することができる。

図５Ａないし５Ｄを参照し、多様な実施形態による動きベクトル復号装置２０が、受信されたビットストリームをパージングし、現在ブロックに係わる動きベクトル解像度を獲得する方法が後述される。

図２Ｂは、一実施形態による動きベクトル復号方法のフローチャートを示す。

段階２２において、一実施形態による動きベクトル復号装置２０は、現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得することができる。

段階２４において、一実施形態による動きベクトル復号装置２０は、ビットストリームから、予測動きベクトル候補のうち現在ブロックの予測動きベクトルを示す情報を獲得し、現在ブロックの動きベクトルと、現在ブロックの予測動きベクトルとの残差動きベクトル、及び現在ブロックの動きベクトル解像度を示す情報を獲得することができる。所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含んでもよい。

段階２６において、一実施形態による動きベクトル復号装置２０は、段階２４で獲得した残差動きベクトル、現在ブロックの予測動きベクトルを示す情報、及び現在ブロックの動きベクトル解像度情報に基づいて、現在ブロックの動きベクトルを復元することができる。

図３Ａは、多様な解像度に基づいて動き補償を行うための補間を示す。

動きベクトル符号化装置１０は、現在ブロックをインター予測するための所定の複数動きベクトルの解像度の動きベクトルを決定することができる。所定の複数動きベクトルの解像度は、２ｋ画素単位（ｋは整数）の解像度を含んでもよい。もしｋが０より大きい場合には、動きベクトルは、参照映像内の一部画素だけ示すことができ、ｋが０より小さい場合には、ｎタップ（ｎは整数）のＦＩＲフィルタ（finite impulse response filter）を利用して補間を行い、副画素単位の画素を生成し、生成された副画素単位の画素を示すことができる。例えば、動きベクトル符号化装置１０は、最小動きベクトル解像度を１／４画素単位と決定し、所定の複数動きベクトルの解像度を１／４，１／２，１及び２画素単位と決定することができる。

例えば、ｎタップＦＩＲフィルタを利用して補間を行い、１／２画素単位の副画素（ａないしｌ）を生成することができる。縦方向の１／２副画素について述べれば、整数画素単位のＡ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６を利用して補間を行い、副画素ａを生成し、整数画素単位のＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５及びＢ６を利用して補間を行い、副画素ｂを生成することができる。同一方法で、副画素ｃ，ｄ，ｅ及びｆを生成することができる。

横方向の副画素の画素値は、次のように計算される。例えば、ａ＝（Ａ１−５×Ａ２＋２０×Ａ３＋２０×Ａ４−５×Ａ５＋Ａ６）／３２、ｂ＝（Ｂ１−５×Ｂ２＋２０×Ｂ３＋２０×Ｂ４−５×Ｂ５＋Ｂ６）／３２のように計算される。副画素ｃ，ｄ，ｅ及びｆの画素値も、同一方法によって計算される。

横方向の副画素と同様に、縦方向の副画素も、６タップＦＩＲフィルタを利用して補間を行い、生成することができる。Ａ１、Ｂ１、Ｃ１、Ｄ１、Ｅ１及びＦ１を利用して副画素ｇを生成し、Ａ２、Ｂ２、Ｃ２、Ｄ２、Ｅ２及びＦ２を利用し、副画素ｈを生成することができる。

縦方向の副画素の画素値も、横方向の副画素の画素値と同一の方法によって計算される。例えば、ｇ＝（Ａ１−５×Ｂ１＋２０×Ｃ１＋２０×Ｄ１−５×Ｅ１＋Ｆ１）／３２のように計算することができる。

対角方向の１／２画素単位副画素ｍは、他の１／２画素単位副画素を利用して補間される。言い換えれば、副画素ｍの画素値は、ｍ＝（ａ−５×ｂ＋２０×ｃ＋２０×ｄ−５×ｅ＋ｆ）／３２のように計算される。

１／２画素単位の副画素を生成すれば、整数画素単位の画素と、１／２画素単位の副画素とを利用し、１／４画素単位の副画素を生成することができる。隣接した２個画素を利用して補間を行い、１／４画素単位の副画素を生成することができる。または、１／４画素単位の副画素は１／２画素単位の副画素値を利用せず、整数画素単位の画素値に直接補間フィルタを適用して生成される。

前述の補間フィルタは、６タップフィルタを例として挙げて記載したが、動きベクトル符号化装置１０は、他のタップ数を有するフィルタを使用し、ピクチャを補間することができる。例えば、補間フィルタは、４タップ、７タップ、８タップ、１２タップフィルタを含んでもよい。

図３Ａに図示されているように、参照ピクチャに対して補間を行い、１／２画素単位の副画素、及び１／４画素単位の副画素が生成されれば、補間された参照ピクチャと、現在ブロックと比較し、ＳＡＤ（sum of absolute difference）または率・歪曲（rate-distortion）コストが最小であるブロックを１／４画素単位に探索し、１／４画素単位の解像度を有する動きベクトルが決定される。

図３Ｂは、最小動きベクトル解像度が１／４画素単位である場合、１／４画素、１／２画素、１画素及び２画素単位の動きベクトル解像度を示す。図３Ｂの（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ座標（０，０）を基準に、１／４画素、１／２画素、１画素及び２画素単位の解像度の動きベクトルが示すことができる画素の座標（黒色四角形で表示）を示す。

一実施形態による動きベクトル符号化装置１０は、副画素単位で動き補償を行うために、整数画素位置で決定された動きベクトルを基準に、副画素単位に基づいて、参照ピクチャ内で、現在ブロックと類似したブロックを検索することができる。

例えば、動きベクトル符号化装置１０は、整数画素位置で動きベクトルを決定し、参照ピクチャの解像度を２倍に拡大し、整数画素位置で決定された動きベクトルを基準に、（−１，−１）〜（１，１）範囲で最も類似した予測ブロックを検索することができる。次に、さらに解像度を２倍に拡大し、４倍の解像度で、１／２画素位置の動きベクトルを基準に、（−１，−１）〜（１，１）範囲で最も類似した予測ブロックを検索することにより、最終的な１／４画素の解像度での動きベクトルを決定することができる。

例えば、整数画素位置の動きベクトルが、座標（０，０）を基準に、（−４，−３）である場合、１／２画素の解像度においては、動きベクトルが（−８，−６）になり、もし（０，−１）ほど動くなら、１／２画素の解像度の動きベクトルは、最終的に（−８，−７）と決定される。また、１／４画素の解像度での動きベクトルは、（−１６，−１４）に変更され、さらに（−１，０）ほど動くなら、１／４画素の解像度の最終的な動きベクトルは、（−１７，−１４）に決定される。

一実施形態による動きベクトル符号化装置１０は、１画素単位より大きい画素単位で動き補償を行うために、整数画素位置で決定された動きベクトルを基準に、１画素位置より大きい画素位置に基づいて、参照ピクチャ内で、現在ブロックと類似したブロックを検索することができる。以下、１画素位置より大きい画素位置（例えば、２画素、３画素、４画素）をスーパー画素（super pixel）という。

例えば、整数画素位置の動きベクトルが、座標（０，０）を基準に、（−４，−８）である場合、２画素の解像度においては、動きベクトルが（−２，−４）と決定される。１／４画素単位の動きベクトルを符号化するためには、整数画素単位の動きベクトルに比べ、多くのビットが消耗されるが、１／４画素単位の正確なインター予測を行うことができ、残差ブロック符号化に消耗されるビット数を減らすことができる。

しかし、１／４画素単位よりさらに小さい画素単位、例えば、１／８画素単位で補間を行い、副画素を生成し、それに基づいて１／８画素単位の動きベクトルを推定すれば、動きベクトルの符号化に過度に多くのビットが消耗され、むしろ符号化の圧縮率が低下する。

また、映像に多くのノイズが存在するか、あるいはテクスチャが少ないときには、解像度をスーパー画素単位で設定して動き推定を行い、符号化の圧縮率を向上させることができる。

図４Ａは、予測動きベクトル候補を獲得するための現在ブロックの候補ブロックを示す。

予測部１１は、符号化される現在ブロックの参照ピクチャに対して、現在ブロックに係わる動き予測を行うために、現在ブロックの１以上の予測動きベクトルの候補を獲得することができる。予測部１１は、予測動きベクトルの候補を獲得するために、現在ブロックの空間的候補ブロックと時間的候補ブロックとのうち少なくとも一つを獲得することができる。

現在ブロックが、異なるＰＯＣを有する参照フレームを参照して予測された場合、予測部１１は、現在ブロックの周辺に位置したブロック、現在ブロックと時間的に異なる（異なるＰＯＣの）参照フレームに属した同一位置ブロック（co-located block）、及び該同一位置ブロックの周辺ブロックを使用し、予測動きベクトル候補を獲得することができる。

例えば、空間的候補ブロックは、現在ブロック４１０の隣接ブロックである左側ブロックＡ_１ ４１１、上端ブロックＢ_１ ４１２、左側上端ブロックＢ_２ ４１３、右側上端ブロックＢ_０ ４１４及び左側下端ブロックＡ_０ ４２５のうち少なくとも一つを含んでもよい。時間的候補ブロックは、現在ブロックと異なるＰＯＣを有する参照フレームに属した同一位置ブロック４３０、及び同一位置ブロック４３０の隣接ブロックＨ ４３１のうち少なくとも一つを含んでもよい。動きベクトル符号化装置１０は、時間的候補ブロック及び空間的候補ブロックの動きベクトルを、予測動きベクトル候補として獲得することができる。

予測部１１は、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得することができる。各予測動きベクトル候補は、互いに異なる解像度を有することができる。すなわち、予測部１１は、予測動きベクトル候補のうち第１予測動きベクトル候補を使用し、第１動きベクトル解像度の画素単位に参照ブロックを探索し、第２予測動きベクトル候補を使用し、第２動きベクトル解像度の画素単位に参照ブロックを探索することができる。第１予測動きベクトル候補と第２予測動きベクトル候補は、空間的候補ブロック及び時間的候補ブロックに属するブロックのうち互いに異なるブロックを使用して獲得される。

予測部１１は、動きベクトルの解像度によって、候補ブロックの集合（すなわち、予測動きベクトル候補の集合）の個数及び種類を異なるように決定することができる。

例えば、最小動きベクトル解像度が１／４画素であり、所定の複数動きベクトル解像度として、１／４画素，１／２画素，１画素及び２画素単位を使用する場合、予測部１１は、各解像度ごとに、所定個数の予測動きベクトル候補を生成することができる。各解像度の予測動きベクトル候補は、互いに異なる候補ブロックの動きベクトルでもある。予測部１１は、各解像度ごとに互いに異なる候補ブロックを使用し、予測動きベクトル候補を獲得することにより、最適の参照ブロックを検索することができる確率を高め、率・歪曲コストを低下させることにより、符号化効率を向上させることができる。

現在ブロックの動きベクトルを決定するために、予測部１１は、各予測動きベクトル候補を利用し、参照ピクチャ内の探索開始位置と決定し、各予測動きベクトル候補の解像度に基づいて、最適の参照ブロックを探索することができる。すなわち、現在ブロックの予測動きベクトル候補が獲得されれば、動きベクトル符号化装置１０は、各予測動きベクトル候補に該当する所定解像度の画素単位に参照ブロックを探索し、現在ブロックの動きベクトルと各予測動きベクトルとの差値に基づいた率・歪曲コストを比較し、最小コストを有する予測動きベクトルを決定することができる。

符号化部１３は、決定された１つの予測動きベクトルと、現在ブロックの実際動きベクトルとの差ベクトルである残差動きベクトル、及び現在ブロックのインター予測のために使われた動きベクトル解像度を示す情報を符号化することができる。

符号化部１３は、残差動きベクトルを、数式（１）のように決定して符号化することができる。ＭＶｘは、現在ブロックの実際動きベクトルのｘ成分であり、ＭＶｙは、現在ブロックの実際動きベクトルのｙ成分である。ｐＭＶｘは、現在ブロックの予測動きベクトルのｘ成分であり、ｐＭＶｙは、現在ブロックの予測動きベクトルのｙ成分である。ＭＶＤｘは、現在ブロックの残差動きベクトルのｘ成分であり、ＭＶＤｙは、現在ブロックの残差動きベクトルのｙ成分である。

ＭＶＤｘ＝ＭＶｘ−ｐＭＶｘ
ＭＶＤｙ＝ＭＶｙ−ｐＭＶｙ （１）
復号部２３は、ビットストリームから獲得された予測動きベクトルを示す情報と、残差動きベクトルとを使用し、現在ブロックの動きベクトルを復元することができる。復号部２３は、数式（２）のように、予測動きベクトルと残差動きベクトルとを合算することにより、最終動きベクトルを決定することができる。

ＭＶｘ＝ｐＭＶｘ＋ＭＶＤｘ
ＭＶｙ＝ｐＭＣｙ＋ＭＶＤｙ （２）
動きベクトル符号化装置１０は、最小動きベクトル解像度が副画素単位であるならば、予測動きベクトルと実際の動きベクトルとに整数値を乗じ、整数値で動きベクトルを示すことができる。もし座標（０，０）で出発した１／４画素単位の解像度の予測動きベクトルが、座標が１／２，３／２）を示し、最小動きベクトル解像度が、１／４画素単位であるならば、動きベクトル符号化装置１０は、予測動きベクトルに整数４を乗じた値であるベクトル（２，６）を予測動きベクトルとして符号化することができる。もし最小動きベクトル解像度が１／８画素単位であるならば、予測動きベクトルに整数８を乗じ、ベクトル（４，１２）を予測動きベクトルとして符号化することができる。

図４Ｂは、一実施形態による予測動きベクトル候補の生成過程を示す。

前述のところのように、予測部１１は、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得することができる。

例えば、最小動きベクトル解像度が１／４画素であり、所定の複数動きベクトル解像度が、１／４画素、１／２画素、１画素及び２画素を含む場合、予測部１１は、各解像度ごとに、所定個数の予測動きベクトル候補を生成することができる。予測部１１は、所定の複数動きベクトル解像度によって、予測動きベクトル候補の集合４６０，４７０，４８０，４９０をそれぞれ異なるように構成することができる。各集合４６０，４７０，４９０，４９０は、互いに異なる候補ブロックから持ってきた予測動きベクトルを含んでもよく、互いに異なる個数の予測動きベクトルを含んでもよい。予測部１１は、各解像度ごとに、互いに異なる候補ブロックを使用することにより、最適の予測ブロックを検索することができる確率を高め、率・歪曲コストを低下させることにより、符号化効率を向上させることができる。

１／４画素単位の解像度の予測動きベクトル候補４６０は、２つの互いに異なる時間的または空間的な候補ブロックから決定される。例えば、予測部１１は、現在ブロックの左側ブロック４１１の動きベクトルと、上端ブロック４１２の動きベクトルとを１／４画素の予測動きベクトル候補４６０として獲得し、各予測動きベクトル候補別に最適の動きベクトルを探索することができる。すなわち、予測部１１は、現在ブロックの左側ブロック４１１の動きベクトルを利用して探索開始位置を決定し、１／４画素単位に参照ブロックを探索し、最適の予測動きベクトルと、参照ブロックとを決定することができる。また、予測部１１は、上端ブロック４１２の動きベクトルを利用して探索開始位置を決定し、１／４画素単位に参照ブロックを探索し、他の最適の予測動きベクトルと参照ブロックとを決定することができる。

１／２画素単位の解像度の予測動きベクトル候補４７０は、１つの時間的または空間的な候補ブロックから決定される。１／２画素単位の解像度の予測動きベクトル候補は、１／４画素単位の解像度の予測動きベクトル候補と異なる予測動きベクトルでもある。例えば、予測部１１は、現在ブロックの右側上端ブロック４１４の動きベクトルを、１／２画素の予測動きベクトル候補４７０として獲得することができる。すなわち、予測部１１は、右側上端ブロック４１４の動きベクトルを利用して探索開始位置を決定し、１／２画素単位に参照ブロックを探索し、他の最適の予測動きベクトルと参照ブロックとを決定することができる。

１画素単位の解像度の予測動きベクトル候補４８０は、１つの時間的または空間的な候補ブロックから決定される。１画素単位の解像度の予測動きベクトルは、１／４画素単位の解像度と１／２画素単位との解像度において使用した予測動きベクトル４６０，４７０と異なる予測動きベクトルでもある。例えば、予測部１１は、時間的候補ブロック４３０の動きベクトルを、１画素の予測動きベクトル候補４８０として決定することができる。すなわち、予測部１１は、時間的候補ブロック４３０の動きベクトルを利用して探索開始位置を決定し、１画素単位に参照ブロックを探索し、他の最適の予測動きベクトルと参照ブロックとを決定することができる。

２画素単位の解像度の予測動きベクトル候補４９０は、１つの時間的または空間的な候補ブロックから決定される。２画素単位の解像度の予測動きベクトルは、他の解像度において使用した予測動きベクトルと異なる予測動きベクトルでもある。例えば、予測部１１は、左側下端ブロック４２５の動きベクトルを２画素の予測動きベクトル４９０として決定することができる。すなわち、予測部１１は、左側下端ブロック４２５の動きベクトルを利用して探索開始位置を決定し、２画素単位に参照ブロックを探索し、他の最適の予測動きベクトルと参照ブロックとを決定することができる。

予測部１１は、現在ブロックの動きベクトルと、各予測動きベクトルとに基づいた率・歪曲コストを比較し、最終的に現在ブロックの動きベクトル、１つの予測動きベクトル、及び１つの動きベクトル解像度４９５を決定することができる。

動きベクトル符号化装置１０は、現在ブロックの動きベクトルの解像度の画素単位が最小動きベクトル解像度の画素単位より大きい場合、残差動きベクトルを、前記現在ブロックの動きベクトルの解像度によってダウンスケーリングし、符号化することができる。また、動きベクトル復号装置２０は、現在ブロックの動きベクトルの解像度の画素単位が最小動きベクトル解像度の画素単位より大きい場合、残差動きベクトルを、前記最小動きベクトル解像度によってアップスケーリングし、復元することができる。

符号化部１３は、最小動きベクトル解像度が１／４画素単位であり、現在ブロックの動きベクトル解像度が１／２画素単位の解像度と決定される場合、残差動きベクトルの大きさを小さくするために、決定された実際動きベクトルと予測動きベクトルとを１／２画素単位に調整することにより、残差動きベクトルを計算することができる。

符号化部１３は、実際動きベクトルと予測動きベクトルとの大きさを半分に減少させ、残差動きベクトルの大きさも半分に減少させることができる。すなわち、最小動きベクトル解像度が１／４画素単位である場合、４で乗じて表現された予測動きベクトル（ＭＶｘ，ＭＶｙ）をさらに２で割り、予測動きベクトルを表現することができる。例えば、最小動きベクトル解像度が、１／４画素単位であり、予測動きベクトルが（−２４，−１６）である場合、１／２画素単位の解像度の動きベクトルは、（−１２，−８）になり、２画素単位の解像度の動きベクトルは、（−３，−２）になる。下記数式（３）は、ビットシフト（bit shift）演算を使用し、実際動きベクトル（ＭＶｘ，ＭＶｙ）と予測動きベクトル（ｐＭＶｘ，ｐＭＣｙ）との大きさを半分に減少させる過程を示す。

ＭＶＤｘ＝（ＭＶｘ）＞＞１−（ｐＭＶｘ）＞＞１
ＭＶＤｙ＝（ＭＶｙ）＞＞１−（ｐＭＣｙ）＞＞１ （３）
復号部２３は、最終的に決定された予測動きベクトル（ｐＭＶｘ，ｐＭＣｙ）に、受信された残差動きベクトル（ＭＶＤｘ，ＭＶＤｙ）を合算することにより、数式（４）のように、現在ブロックに係わる最終動きベクトル（ＭＶｘ，ＭＶｙ）を決定することができる。復号部２３は、数式（４）のように獲得された予測動きベクトルと、残差動きベクトルとをビットシフト演算を使用してアップスケーリングし、現在ブロックに係わる動きベクトルを復元することができる。

ＭＶｘ＝（ｐＭＶｘ）＜＜１＋（ＭＶＤｘ）＜＜１
ＭＶｙ＝（ｐＭＣｙ）＜＜１＋（ＭＶＤｙ）＜＜１ （４）
一実施形態による符号化部１３は、もし最小動きベクトル解像度が１／２ｎ画素であり、現在ブロックに対して、２ｋ画素単位の解像度の動きベクトルが決定される場合、以下のような数式（５）を使用し、残差動きベクトルを決定することができる。

ＭＶＤｘ＝（ＭＶｘ）＞＞（ｋ＋ｎ）−（ｐＭＶｘ）＞＞（ｋ＋ｎ）
ＭＶＤｙ＝（ＭＶｙ）＞＞（ｋ＋ｎ）−（ｐＭＣｙ）＞＞（ｋ＋ｎ） （５）
復号部２３は、最終的に決定された予測動きベクトルに、受信された残差動きベクトルを合算することにより、数式（６）のように、現在ブロックの最終動きベクトルを決定することができる。

ＭＶｘ＝（ｐＭＶｘ）＜＜（ｋ＋ｎ）＋（ＭＶＤｘ）＜＜（ｋ＋ｎ）
ＭＶｙ＝（ｐＭＣｙ）＜＜（ｋ＋ｎ）＋（ＭＶＤｙ）＜＜（ｋ＋ｎ） （６）
残差動きベクトルの大きさが減少すれば、残差動きベクトルを表現するビット数が減少し、符号化効率が向上する。

図３Ａ及び図３Ｂを参照して説明したように、２ｋ画素単位の動きベクトルにおいて、ｋが０より小さい場合、参照ピクチャは、整数ではない位置のピクセルを生成するために補間を行う。反対に、ｋが０より大きい動きベクトルである場合、参照ピクチャにおいて、全ての画素ではない２ｋ倍数の位置に存在する画素だけ探索する。従って、復号部２３は、現在ブロックの動きベクトル解像度が１画素単位より大きいか、あるいはそれと同じ場合、復号する現在ブロックの動きベクトルの解像度によって、参照ピクチャの補間遂行を省略することができる。

図５Ａは、一実施形態による、符号化単位及び予測単位を示す。

現在ブロックが、映像を構成する現在符号化単位であり、符号化単位別に、インター予測のための動きベクトル解像度が同一に決定され、現在符号化単位内に、ＡＭＶＰモードと予測された予測単位が１以上存在すれば、符号化部１３は、現在ブロックの動きベクトル解像度を示す情報として、ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回だけ符号化し、動きベクトル復号装置２０に伝送することができる。獲得部２１は、ビットストリームから、現在ブロックの動きベクトル解像度を示す情報として、ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回だけ獲得することができる。

図５Ｂは、適応的に決定された動きベクトル解像度を伝送するための一実施形態によるprediction＿unitシンタックスの一部を示す。図５Ｂは、一実施形態による動きベクトル復号装置２０が、現在ブロックの動きベクトル解像度を示す情報を獲得する動作を定義するシンタックスである。

例えば、図５Ａに図示されているように、現在符号化単位５６０が、２Ｎｘ２Ｎサイズであり、予測単位５６３が、符号化単位５６０と同一サイズ（２Ｎｘ２Ｎ）であり、ＡＭＶＰモードを使用して予測された場合、符号化部１３は、現在符号化単位５６０に対して、符号化単位５６０の動きベクトル解像度を示す情報を１回符号化し、獲得部２１は、符号化単位５６０の動きベクトル解像度を示す情報を、ビットストリームから１回獲得することができる。

現在符号化単位５７０の大きさが２Ｎｘ２Ｎであり、２ＮｘＮサイズの２つの予測単位５７３，５７７に分割された場合、予測単位５７３は、マージモードと予測されたので、符号化部１３は、予測単位５７３に係わる動きベクトル解像度を示す情報を伝送せず、予測単位５７７は、ＡＭＶＰモードと予測されたので、符号化部１３は、予測単位５７３に係わる動きベクトル解像度を示す情報を１回伝送し、獲得部２１は、予測単位５７７に係わる動きベクトル解像度を示す情報をビットストリームから１回獲得することができる。すなわち、符号化部１３は、現在符号化単位５７０の動きベクトル解像度を示す情報として、予測単位５７７に係わる動きベクトル解像度を示す情報を１回伝送し、復号部２３は、現在符号化単位５７０の動きベクトル解像度を示す情報として、予測単位５７７に係わる動きベクトル解像度を示す情報を１回受信することができる。動きベクトル解像度を示す情報は、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」のように、所定の複数動きベクトルのうちいずれか一つを示すインデックスの形態にもなる。

図５Ｂのシンタックスを参照すれば、現在符号化単位に対して、動きベクトル解像度が抽出されたか否かということを示す情報である「parsedMVResolution ５１０」と、現在符号化単位の動きベクトル解像度を示す情報である「ｍｖ＿resolution＿ｉｄｘ ５１２」との初期値をそれぞれ０に設定することができる。まず、予測単位５７３の場合、マージモードと予測されたので、条件５１３を満足しないので、獲得部２１は、現在予測単位の動きベクトル解像度を示す情報「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を受信しない。

予測単位５７７の場合、ＡＭＶＰモードと予測されたので、条件５１３を満足し、「parsedMVResolution」が０の値であるので、条件５１４を満足し、獲得部２１は、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］５１６」を受信することができる。「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を受信したので、「parsedMVResolution」を１に設定する（５１８）。「ｍｖ＿resolution＿ｉｄｘ」に受信した「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を保存する（５２０）。

現在符号化単位５８０の大きさが２Ｎｘ２Ｎであり、２ＮｘＮサイズの２つの予測単位５８３，５８７に分割されたし予測単位５８３と、予測単位５８７とがいずれもＡＭＶＰモードと予測された場合、符号化部１３は、現在符号化単位５８０の動きベクトル解像度を示す情報を１回符号化して伝送し、獲得部２１は、符号化単位５８０の動きベクトル解像度を示す情報をビットストリームから１回受信することができる。

図５Ｂのシンタックスを参照すれば、予測単位５８３の場合、条件５１３を満足し、「parsedMVResolution」が０の値であるので、条件５１４を満足し、獲得部２１は、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］５１６」を獲得することができる。復号部２３は、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を獲得したので、「parsedMVResolution」を１に設定し（５１８）、「ｍｖ＿resolution＿ｉｄｘ」に獲得した「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を保存する（５２０）。ただし、予測単位５８７の場合、すでに「parsedMVResolution」が１の値を有するので、条件文５１４を満足することができないので、獲得部２１は、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］５１６」を獲得しない。すなわち、獲得部２１は、現在符号化単位５８０に係わる動きベクトル解像度を示す情報を、予測単位５８３からすでに受信したので、予測単位５８７からは、動きベクトル解像度を示す情報（予測単位５８３の動きベクトル解像度と同じ）を獲得する必要がない。

現在符号化単位５９０の大きさが２Ｎｘ２Ｎであり、２ＮｘＮサイズの２つの予測単位５９３，５９７に分割され、予測単位５９３と予測単位５９７とがいずれもマージモードと予測された場合には、条件文５１３を満足しないので、獲得部２１は、現在符号化単位５９０に対して、動きベクトル解像度を示す情報を獲得しない。

他の実施形態による符号化部１３は、現在ブロックが、映像を構成する現在符号化単位であり、予測単位別に、インター予測のための動きベクトル解像度が同一に決定され、現在符号化単位内に、ＡＭＶＰモードと予測された予測単位が１以上存在すれば、符号化部１３は、現在ブロックの動きベクトル解像度を示す情報として、現在ブロック内に存在するＡＭＶＰモードと予測された予測単位別に、動きベクトル解像度を示す情報を、動きベクトル復号装置２０に伝送することができる。獲得部２１は、ビットストリームから、現在ブロックの動きベクトル解像度を示す情報として、現在ブロック内に存在する各予測単位別に、動きベクトル解像度を示す情報を獲得することができる。

図５Ｃは、適応的に決定された動きベクトル解像度を伝送するための他の実施形態によるprediction＿unitシンタックスの一部を示す。図５Ｃは、他の実施形態による動きベクトル復号装置２０が、現在ブロックの動きベクトル解像度を示す情報を獲得する動作を定義するシンタックスである。

図５Ｃのシンタックスが、図５Ｂのシンタックスと異なるところは、現在符号化単位に対して、動きベクトル解像度が抽出されたか否かということを示す「parsedMVResolution ５１０」が存在しないので、獲得部２１は、現在符号化単位内に存在する予測単位別に、動きベクトル解像度を示す情報「ｃｕ＿resolution＿ｉｄｘ［ｘ０，ｙ０］」を獲得する（５２４）というところである。

例えば、図５Ａを再び参照すれば、現在符号化単位５８０の大きさが２Ｎｘ２Ｎであり、２ＮｘＮサイズの２つの予測単位５８３，５８７に分割され、予測単位５８３と予測単位５８７は、いずれもＡＭＶＰモードと予測され、予測単位５８３の動きベクトル解像度が１／４画素であり、予測単位５８７の動きベクトル解像度が２画素である場合、獲得部２１は、１つの符号化単位５８０に対して、２つの動きベクトル解像度（すなわち、予測単位５８３）の動きベクトル解像度１／２と、予測単位５８７の動きベクトル解像度１／４よを示す情報を獲得する（５２４）。

他の実施形態による符号化部１３は、予測単位の予測モードに係わりなく、現在予測単位に対して適応的に動きベクトル解像度を決定する場合、動きベクトル解像度を示す情報を予測モードと係わりなく、予測単位別に符号化して伝送し、獲得部１１は、動きベクトル解像度を示す情報を、ビットストリームから予測モードと係わりなく、予測単位別に獲得することができる。

図５Ｄは、適応的に決定された動きベクトル解像度を伝送するための他の実施形態によるprediction＿unitシンタックスの一部を示す。図５Ｄは、他の実施形態による動きベクトル復号装置２０が、現在ブロックの動きベクトル解像度を示す情報を獲得する動作を定義するシンタックスである。

図５Ｂ及び図５Ｃで説明したシンタックスは、適応的動きベクトル解像度決定方法が、予測モードがＡＭＶＰモードである場合に限って適用されると仮定したが、図５Ｄは、適応的動きベクトル解像度決定方法が予測モードと係わりなく適用される場合を仮定したシンタックスの例である。図５Ｄのシンタックスを参照すれば、獲得部２１は、予測単位の予測モードと係わりなく、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」を、予測単位別に受信する（５３４）。

図５Ｂないし図５Ｄを参照して説明した動きベクトル解像度を示すインデックス「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」は、単項（unary）または固定長（fixed length）に符号化されて伝送される。また、２個の動きベクトル解像度だけ使用する場合、「ｃｕ＿resolution＿ｉｄｘ［ｘ０］［ｙ０］」は、フラグ形式のデータでもある。

動きベクトル符号化装置１０は、符号化に使用される所定の複数動きベクトル解像度を、スライス単位またはブロック単位で適応的に構成することができる。また、動きベクトル復号装置１０は、復号に使用される所定の複数動きベクトル解像度を、スライス単位またはブロック単位で適応的に構成することができる。スライス単位またはブロック単位で適応的に構成される所定の複数動きベクトル解像度を、動きベクトル解像度候補群とすることができる。すなわち、動きベクトル符号化装置１０と、動きベクトル復呼号装置２０は、すでに符号化または復号された周辺ブロックの情報に基づいて、現在ブロックの動きベクトル候補群の種類及び個数を異なるように構成することができる。

例えば、動きベクトル符号化装置１０または動きベクトル復号装置２０は、最小動きベクトル解像度が１／４画素単位である場合、全ての映像に同一に固定された動きベクトル解像度候補群として、１／４画素，１／２画素，１画素及び２画素単位の解像度を使用することができる。動きベクトル符号化装置１０または動きベクトル復号装置２０は、全ての映像に同一に固定された動きベクトル解像度候補群を使用する代わりに、すでに符号化された周辺ブロックの動きベクトル解像度が小さい場合には、現在ブロックの動きベクトル解像度候補群として、１／８画素，１／４画素及び１／２画素単位を使用し、周辺ブロックの動きベクトル解像度が大きい場合には、現在ブロックの動きベクトル解像度候補群として、１／２画素，１画素、及び２画素単位を使用することができる。動きベクトル符号化装置１０または動きベクトル復号装置２０は、動きベクトルの大きさ及び他の情報に基づいて、スライス単位またはブロック単位で、動きベクトル解像度候補群の種類及び数を異なるように構成することもできる。

動きベクトル解像度候補群を構成する解像度の種類及び個数は、動きベクトル符号化装置１０及び動きベクトル復号装置２０が常に全く同じように設定して使用するか、あるいは周辺ブロックの情報、及びそれ以外の情報に基づいて、同一方法で類推することができる。または、動きベクトル符号化装置１０で使用した動きベクトル解像度候補群に係わる情報をビットストリームに符号化し、明確に動きベクトル復号装置２０に伝送することができる。

図６Ａは、複数の解像度を使用し、マージ候補リストを構成する一実施形態を示す。

動きベクトル符号化装置１０は、予測単位別に伝送される動き情報に係わるデータ量を減らすために、空間的（spatial）／時間的（temporal）周辺ブロックの動き情報に基づいて、現在ブロックの動き情報として設定するマージ（merge）モードを利用することができる。動きベクトル符号化装置１０は、動き情報を予測するためのマージ候補リストを、符号化装置及び復号装置で同一に構成し、リスト内の候補選択情報を復号装置に伝送することにより、動き関連データの量を効果的に減らすことができる。

動きベクトル復号装置２０は、現在ブロックが、マージモードを使用して予測する予測単位が存在する場合、動きベクトル符号化装置１０と同一方法で、現在ブロックに係わるマージ候補リストを構成し、ビットストリームから、リスト内の候補選択情報を獲得し、現在ブロックの動きベクトルを復号することができる。

マージ候補リストは、空間的周辺ブロックの動き情報を基盤とした空間的候補、時間的周辺ブロックの動き情報を基盤とした時間的候補を含んでもよい。動きベクトル符号化装置１０と動きベクトル復号装置２０は、所定の順序によって、所定の複数動きベクトル解像度の空間的候補、時間的候補を、マージ候補リスト（merge candidate list）に含めることができる。

図３Ａないし図４Ｂを参照して説明した動きベクトル解像度決定方法は、現在ブロックの予測単位が、ＡＭＶＰモードを使用して符号化される場合に限って適用されず、残差動きベクトルを伝送せずに、予測動きベクトル候補のうち１つの予測動きベクトルを最終動きベクトルとしてすぐに使用する予測モード（例えば、マージモード）を使用する場合にも適用される。

すなわち、動きベクトル符号化装置１０と動きベクトル復号装置２０は、予測動きベクトル候補を、所定の複数動きベクトル解像度に適するように調整し、調整された予測動きベクトル候補を、現在ブロックの動きベクトルとして決定することができる。すなわち、マージ候補リスト内に含まれた候補ブロックの動きベクトルは、最小動きベクトル解像度の動きベクトルを、所定の複数動きベクトル解像度によって、ダウンスケーリングした動きベクトルを含んでもよい。ダウンスケーリングの方法は、図７Ａ及び図７Ｂを参照して後述する。

例えば、最小動きベクトル解像度が１／４画素であり、所定の複数動きベクトル解像度候補が１／４画素、１／２画素、１画素及び２画素であり、マージ候補リストが、（Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２，同一位置（co-located）ブロック）で構成されていると仮定する。動きベクトル復号装置２０の獲得部２１は、図６Ａのように、１／４解像度での予測動きベクトル候補を構成し、１／４解像度の予測動きベクトルを、１／２画素、１画素及び２画素の解像度に調整し、解像度の順序によって、順次に複数の解像度のマージ候補リストを獲得することができる。

図６Ｂは、複数の解像度を使用して、マージ候補リストを構成する他の実施形態を示す。

動きベクトル符号化装置１０と動きベクトル復号装置２０は、図６Ｂのように、１／４画素単位の解像度での予測動きベクトル候補を構成し、１／４画素単位の解像度の各予測動きベクトル候補を、１／２画素、１画素及び２画素単位の解像度に調整し、予測動きベクトル候補の順序によって、順次にマージ候補リストを獲得することもできる。

動きベクトル復号装置２０は、現在ブロックがマージモードを使用して予測する予測単位が存在する場合、獲得部２１が獲得した複数の解像度のマージ候補リストと、ビットストリームから獲得したマージ候補インデックスに係わる情報とに基づいて、現在ブロックに係わる動きベクトルを決定することができる。

図７Ａは、解像度が異なる２つの動きベクトルが示す画素を示す。

動きベクトル符号化装置１０は、高解像度の動きベクトルを、対応する低解像度動きベクトルに調整する（adjust）ために、高解像度の既存の動きベクトルが示す画素の代わりに、周辺の画素を示すように、動きベクトルを調整することができる。周辺の画素のうちいずれか１つの画素を選択するのが、ラウンディング（rounding）である。

例えば、座標（０，０）を基準に、（１９，２７）を示す１／４画素の解像度の動きベクトルを、１画素単位の解像度の動きベクトルに調整するために、１／４画素の解像度の動きベクトル（１９，２７）を整数４で割り、除算の過程でラウンディングが発生する。説明の便宜のために、以下、各解像度の動きベクトルは、座標（０，０）から出発し、座標（ｘ，ｙ）（ｘ、ｙは、整数）を示すと仮定する。

図７Ａを参照すれば、最小動きベクトルの解像度が１／４画素単位であり、１／４画素単位の解像度の動きベクトル７１５を１画素単位の解像度の動きベクトルに調整するために、１／４画素動きベクトル７１５が示す画素７１０周辺の４個の整数画素７２０，７３０，７４０，７５０が対応する１画素動きベクトル７２５，７３５，７４５，７５５が示す候補画素にもなる。すなわち、座標７１０の値が（１９，２７）であるならば、座標１０２０は、（７，２４）になり、座標７３０は、（１６，２８）になり、座標７４０は、（２０，２８）になり、座標７５０は、（２０，２４）にもなる。

一実施形態による動きベクトル符号化装置１０は、１／４画素単位の解像度の動きベクトル７１０を、対応する１画素単位解像度の動きベクトルに調整するとき、右側上端の整数画素７４０を示すように決定することができる。すなわち、１／４画素単位の解像度の動きベクトルが、座標（０，０）を出発し、座標（１９，２７）を指し示すならば、対応する１画素単位の解像度の動きベクトルは、座標（０，０）を出発し、座標（２０，２８）を指し示し、最終的な１画素単位の解像度の動きベクトルは、（５，７）にもなる。

一実施形態による動きベクトル符号化装置１０は、高解像度動きベクトルを低解像度動きベクトルに調整するとき、調整された低解像度動きベクトルは、常に高解像度動きベクトルが示す画素の右側上端を指し示すようにする。他の実施形態による動きベクトル符号化装置１０は、調整された低解像度動きベクトルは、常に高解像度動きベクトルが指し示す画素の左側上端、左側下端または右側下端の画素を指し示すようにする。

動きベクトル符号化装置１０は、高解像度動きベクトルを、現在ブロックの動きベクトルの解像度によって、高解像度動きベクトルが指し示す画素の周辺に位置した左側上端、右側上端、左側下端、右側下端の４個の画素のうち、対応する低解像度動きベクトルが指し示す画素を異なって選択することができる。

例えば、図７Ｂを参照すれば、１／２画素の動きベクトルは、１／４画素動きベクトルが指し示す画素１０６０の左側上端の画素１０８０を指し示し、１画素の動きベクトルは、１／４画素動きベクトルが指し示す画素の右側上端の画素１０７０を指し示し、２画素の動きベクトルは、１／４画素動きベクトルが指し示す画素の右側下端の画素１０９０を指し示すように調整することができる。

動きベクトル符号化装置１０は、既存の高解像度の動きベクトルが指し示す画素の代わりに、周辺画素のうちいずれか１つの画素を指し示すようにするとき、解像度、１／４画素の動きベクトル候補、周辺ブロックの情報、符号化情報、任意のパターンのうち少なくとも一つに基づいて指し示す画素の位置を決定することができる。

一方、説明の便宜のために、図３Ａないし図７Ｂでは、それぞれ動きベクトル符号化装置１０が遂行する動作についてのみ説明し、動きベクトル復号装置２０での動作は、省略するか、あるいは動きベクトル復号装置２０が遂行する動作についてのみ説明し、動きベクトル符号化装置１０での動作を省略したが、各動きベクトル符号化装置１０及び動きベクトル復号装置２０においても、各動きベクトル復号装置２０及び動きベクトル符号化装置１０と対応する動作が遂行されるということは、本実施形態が属する技術分野の通常の技術者であるならば、容易に理解することができるであろう。

以下、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号方法及びその装置が開示される。図１Ａないし図７Ｂを参照して説明した動きベクトル符号化装置１０は、ビデオ符号化装置８００に含まれてもよい。すなわち、動きベクトル符号化装置１０は、ビデオ符号化装置８００が符号化する映像のインター予測を行うための予測動きベクトルを示す情報、残差動きベクトル、動きベクトル解像度を示す情報を、図１Ａないし図７Ｂを参照して説明した方法によって符号化することができる。

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置８００のブロック図を図示する。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、符号化単位決定部８２０及び出力部８３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、「ビデオ符号化装置８００」と縮約して指称する。

符号化単位決定部８２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部８２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部８２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、最終深度として決定する。決定された最終深度及び最大符号化単位別映像データは、出力部８３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。

最大符号化単位の大きさ、は深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部８２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による、「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置８００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置８００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と称する。該予測単位が分割されたパーティションは、該予測単位、並びに該予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。該パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、該予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置８００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態による、ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部８２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１７ないし図１９を参照して詳細に説明する。

符号化単位決定部８２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部８３０は、符号化単位決定部８２０で決定された少なくとも１つの深度に基づいて符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。

最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データに対して、深度及び分割情報が設定される。

従って、一実施形態による出力部８３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部８３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部８３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置８００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、ビデオ符号化装置８００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図９は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置９００のブロック図を図示する。

図２Ａないし図７Ｂを参照して説明した動きベクトル復号装置２０は、ビデオ復号装置９００に含まれてもよい。すなわち、動きベクトル復号装置２０は、ビデオ復号装置９００が復号する映像のインター予測を行うための予測動きベクトルを示す情報、残差動きベクトル、動きベクトル解像度を示す情報を、符号化されたビデオに係わるビットストリームを受信してパージングし、パージングされた情報に基づいて、動きベクトルを復元することができる。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、受信部９１０、映像データ及び符号化情報抽出部９２０、並びに映像データ復号部９３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、「ビデオ復号装置９００」と縮約して指称する。

一実施形態によるビデオ復号装置９００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図８及びビデオ符号化装置８００を参照して説明したところと同一である。

受信部９１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部９３０に出力する。映像データ及び符号化情報抽出部９２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部９３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部９３０に、最大符号化単位ごとに映像データを復号させる。

最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部９２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置８００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された深度及び分割情報である。従って、ビデオ復号装置９００は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。

一実施形態による、深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部９２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているのであるならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号部９３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部９３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程はイ、ントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号部９３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号部９３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号部９３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号部９３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位大きさ情報を利用して復号することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部９３０によって、同一符号化モードによって復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が遂行される。

図１０は、一実施形態による符号化単位の概念を図示する。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ１０１０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、２に設定されている。ビデオデータ１０２０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、３に設定されている。ビデオデータ１０３０については、解像度は、３５２ｘ２８８に設定され、符号化単位の最大サイズは、１６に設定され、最大深度は、１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ１０３０に比べ、解像度が高いビデオデータ１０１０，１０２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ１０１０の最大深度が２であるので、ビデオデータ１０１０の符号化単位１０１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ１０３０の最大深度が１であるので、ビデオデータ１０３０の符号化単位１０３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ１０２０の最大深度が３であるので、ビデオデータ１０２０の符号化単位１０２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図１１は、一実施形態による、符号化単位に基づいたビデオ符号化部１１００のブロック図を図示する。

一実施形態によるビデオ符号化部１１００は、ビデオ符号化装置８００のピクチャ符号化部１５２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部１１２０は、現在映像１１０５のうちイントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部１１１５は、インターモードの符号化単位に対して、予測単位別に、現在映像１１０５、及び復元ピクチャバッファ１１１０で獲得された参照映像を利用して、インター予測を行う。現在映像１１０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。そのとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われる。

イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データを、現在映像１１０５のエンコーディングされる符号化単位に係わるデータから除くことにより、レジデュデータを生成し、該レジデュデータは、変換部１１２５及び量子化部１１３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部１１４５、逆変換部１１５０を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部１１５５及びＳＡＯ遂行部１１６０を経て、復元映像として生成される。生成された復元映像は、復元ピクチュアバッファ１１１０に保存される。復元ピクチャバッファ１１１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部１１２５及び量子化部１１３０において量子化された変換係数は、エントロピー符号化部１１３５を経て、ビットストリーム１１４０として出力される。

一実施形態によるビデオ符号化部１１００が、ビデオ符号化装置８００に適用されるために、ビデオ符号化部１１００の構成要素であるインター予測部１１１５、イントラ予測部１１２０、変換部１１２５、量子化部１１３０、エントロピー符号化部１１３５、逆量子化部１１４５、逆変換部１１５０、デブロッキング部１１５５及びＳＡＯ遂行部１１６０が、最大符号化単位ごとにツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。

特に、イントラ予測部１１２０及びインター予測部１１１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部１１２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。

図１２は、一実施形態による、符号化単位に基づいたビデオ復号部１２００のブロック図を図示する。

エントロピー復号部１２１５は、ビットストリーム１２０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部１２２０及び逆変換部１２２５は、量子化された変換係数からレジデュデータを復元する。

イントラ予測部１２４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部１２３５は、現在映像のうちインターモードの符号化単位に対して、予測単位別に復元ピクチャバッファ１２３０で獲得された参照映像を利用してインター予測を行う。

イントラ予測部１２４０またはインター予測部１２３５を経た各モードの符号化単位に係わる予測データと、レジデュデータとが加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部１２４５及びＳＡＯ遂行部１２５０を経て、復元映像１２６０として出力される。また、復元ピクチュアバッファ１２３０に保存された復元映像は、参照映像として出力される。

ビデオ復号装置９００のピクチャ復号部９３０で映像データを復号するために、一実施形態によるビデオ復号部１２００のエントロピー復号部１２１５後の段階別作業が遂行される。

ビデオ復号部１２００が、一実施形態によるビデオ復号装置９００に適用されるために、ビデオ復号部１２００の構成要素であるエントロピー復号部１２１５、逆量子化部１２２０、逆変換部１２２５、イントラ予測部１２４０、インター予測部１２３５、デブロッキング部１２４５及びＳＡＯ遂行部１２５０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。

特に、イントラ予測部１２４０及びインター予測部１２３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部１２２５は、符号化単位ごとに、四分木構造による変換単位の分割いかんを決定することができる。

図１３は、一実施形態による、深度別符号化単位及びパーティションを図示する。

一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造１３００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、該最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による、符号化単位の階層構造１３００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造１３００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位１３１０は、符号化単位の階層構造１３００のうち最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位１３２０、サイズ１６ｘ１６である深度２の符号化単位１３３０、サイズ８ｘ８である深度３の符号化単位１３４０が存在する。サイズ８ｘ８である深度３の符号化単位１３４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位１３１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位１３１０に含まれるサイズ６４ｘ６４のパーティション１３１０、サイズ６４ｘ３２のパーティション１３１２、サイズ３２ｘ６４のパーティション１３１４、サイズ３２ｘ３２のパーティション１３１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位１３２０の予測単位は、サイズ３２ｘ３２の符号化単位１３２０に含まれるサイズ３２ｘ３２のパーティション１３２０、サイズ３２ｘ１６のパーティション１３２２、サイズ１６ｘ３２のパーティション１３２４、サイズ１６ｘ１６のパーティション１３２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位１３３０の予測単位は、サイズ１６ｘ１６の符号化単位１３３０に含まれるサイズ１６ｘ１６のパーティション１３３０、サイズ１６ｘ８のパーティション１３３２、サイズ８ｘ１６のパーティション１３３４、サイズ８ｘ８のパーティション１３３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位１３４０の予測単位は、サイズ８ｘ８の符号化単位１３４０に含まれるサイズ８ｘ８のパーティション１３４０、サイズ８ｘ４のパーティション１３４２、サイズ４ｘ８のパーティション１３４４、サイズ４ｘ４のパーティション１３４６に分割される。

一実施形態によるビデオ符号化装置８００の符号化単位決定部８２０は、最大符号化単位１３１０の深度を決定するために、最大符号化単位１３１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造１３００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造１３００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位１３１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位１３１０の深度及びパーティションモードに選択される。

図１４は、一実施形態による、符号化単位及び変換単位の関係を図示する。

一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化するか、あるいは復号する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００において、現在符号化単位１４１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位１４２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位１４１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１５は、一実施形態による符号化情報を図示する。

一実施形態によるビデオ符号化装置８００の出力部８３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を符号化して伝送することができる。

パーティションモードに係わる情報１５００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６、サイズＮｘＮのパーティション１５０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報１５００は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６及びサイズＮｘＮのパーティション１５０８のうち一つを示すように設定される。

予測モードに係わる情報１５１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報１５１０を介して、パーティションモードに係わる情報１５００が示すパーティションが、イントラモード１５１２、インターモード１５１４及びスキップモード１５１６のうち一つで予測符号化が行われるということが設定される。

また、変換単位サイズに係わる情報１５２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということをを示す。例えば、変換単位は、第１イントラ変換単位サイズ１５２２、第２イントラ変換単位サイズ１５２４、第１インター変換単位サイズ１５２６、第２インター変換単位サイズ１５２８のうち一つである。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部１６１０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を抽出して復号に利用することができる。

図１６は、一実施形態による深度別符号化単位を図示する。

深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位１６００の予測符号化のための予測単位１６１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション１６１２，１６１４，１６１６，１６１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われる。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード１６１２，１６１４，１６１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティションモード１６１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し１６２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位１６３０に対して反復的に符号化を行い、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位１６３０の予測符号化のための予測単位１６４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード１６４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード１６４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード１６４６、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し１６５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位１６６０に対して反復的に符号化を行い、最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され１６７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位１６８０の予測符号化のための予測単位１６９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８を含んでもよい。

パーティションモードのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位１６００に係わる深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位１６５２に対して、分割情報は設定されない。

データ単位１６９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置８００は、符号化単位１６００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、深度を決定し、当該パーティションモード及び予測モードが、深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し誤差が最小である深度が選択されて深度で決定される。深度、及び予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部９２０は、符号化単位１６００に係わる深度、及び予測単位に係わる情報を抽出し、符号化単位１６１２の復号に利用することができる。一実施形態によるビデオ復号装置９００は、深度別分割情報を利用して、分割情報が「０」である深度を深度として把握し、当該深度に係わる分割情報を利用して復号に利用することができる。

図１７、図１８及び図１９は、一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する。

符号化単位１７１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置８００が決定した深度別符号化単位である。予測単位１７６０は、符号化単位１７１０のうちそれぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１７７０は、それぞれの深度別符号化単位の変換単位である。

深度別符号化単位１７１０は、最大符号化単位の深度が０であるとすれば、符号化単位１７１２，１０５４は、深度が１であり、符号化単位１７１４，１７１６，１７１８，１７２８，１７５０，１７５２は、深度が２であり、符号化単位１７２０，１７２２，１７２４，１７２６，１７３０，１７３２，１７４８は、深度が３であり、符号化単位１７４０，１７４２，１７４４，１７４６は、深度が４である。

予測単位１７６０において、一部パーティション１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、符号化単位が分割された形態である。すなわち、パーティション１７１４，１７２２，１７５０，１７５４は、２ＮｘＮのパーティションモードであり、パーティション１７１６，１７４８，１７５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１７３２は、ＮｘＮのパーティションモードである。深度別符号化単位１７１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１７７０において、一部変換単位１７５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で変換または逆変換が行われる。また、変換単位１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、予測単位１７６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置８００、及び一実施形態に他のビデオ復号装置９００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行われる。

それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。該符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００で設定することができる一例を示す。

一実施形態によるビデオ符号化装置８００の出力部８３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置９００の符号化情報抽出部９２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。

パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態による、ツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図２０は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。

最大符号化単位２０００は、深度の符号化単位２００２，２００４，２００６，２０１２，２０１４，２０１６，２０１８を含む。そのうち１つの符号化単位２０１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位２０１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６，ＮｘＮ ２０２８，２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４、ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。

例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６及びＮｘＮ ２０２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位２０４４が設定される。

パーティションモード情報が非対称形パーティションモード２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４、ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位２０５４が設定される。

図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加させ、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置８００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置９００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を、「MaxTransformSizeIndex」と定義し、最小変換単位サイズを、「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを、「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（I）のように定義される。

CurrMinTuSize
＝ｍａｘ（MinTransformSize, RootTuSize／（２＾MaxTransformSizeIndex）） （I）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（I）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（II）によって決定される。数式（II）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（MaxTransformSize, PUSize） （II）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードが予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（III）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（MaxTransformSize, PartitionSize） （III）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。

図８ないし図２０を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１Ａないし図２０を参照して説明したビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と呼ぶ。また、先に図１Ａないし図２０を参照して説明したビデオ復号方法及び／またはビデオ復号方法は、「本発明のビデオ復号方法」と呼ぶ。

また、先に図１Ａないし図２０を参照して説明したビデオ符号化装置、ビデオ符号化装置８００、またはビデオ符号化部１１００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と呼ぶ。また、先に図１Ａないし図２０を参照して説明したビデオ復号装置９００、またはビデオ復号部１２００で構成されたビデオ復号装置は、「本発明のビデオ復号装置」と呼ぶ。

一実施形態による、プログラムが保存されるコンピュータで判読可能な記録媒体がディスク２１０００である実施形態について以下で詳細に説明する。

図２１は、一実施形態による、プログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（Blu-ray（登録商標））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態による、プログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。

図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示する。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、該プログラムがコンピュータシステム２６７００に伝送される。

図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。

図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示する。通信システムのサービス領域は、所定サイズのセルに分割され、各セルにベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、カメラ１２６００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経てインターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２３に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（global system for mobile communications（登録商標））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００にも伝送される。

カメラ１２６００によって撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

該ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

該クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号して再生させ、個人放送（personal broadcasting）を可能にする。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本発明のビデオ符号化装置及びビデオ復号装置が適用される。

図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

図２４は、一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示する。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して相当部分の機能を変更するか、あるいは拡張することができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されるか、電子メール（Ｅ−mail）でもって受信されるか、あるいは他の形態で獲得されたビデオや静止映像のように、符号化されるか、あるいは復号されたデータを保存するための記録媒体１２５７０と、記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０と、を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２５は、携帯電話１２５００の内部構造を図示する。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）含む。

携帯電話１２５００が、外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、ビデオ符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

データ通信モードで、映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換して、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して、送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。

データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号部１２６９０の構造は、前述の本発明のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述の本発明のビデオ復号方法を利用し、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。

それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号装置のみを含む受信端末機でもある。

本発明の通信システムは、図２５を参照して説明した構造に限定されるものではない。例えば、図２６は、一実施形態による通信システムが適用されたデジタル放送システムを図示する。

図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号装置を利用し、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に述べれば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ受信機１２８１０、セットトップボックス（set-topbox）１２８７０、または他のデバイスによって復号されて再生される。

再生装置１２８３０において、本発明のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代りに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号装置が搭載されもする。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によってハードディスクに映像信号が保存される。他の例として、該ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。

図２７は、一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４０００、ユーザＤＢ １４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。

該クラウドコンピューティングシステムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピュータ環境で、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望程度選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ １４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散されている多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報と、を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リスト、再生中の動画リスト、再生中動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に、所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号し、ビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。該動画が、それ以前に再生中であったのなら、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００がユーザ端末機に、当該動画を最初フレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００がユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。

図１Ａないし図２０を参照して説明したビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される一実施形態について、図２１ないし図２７で説明した。しかし、図１Ａないし図２０を参照して説明したビデオ符号化方法及びビデオ復号方法が、記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現されたりする一実施形態は、図２１ないし図２７の実施形態に限定されるものではない。

本発明による方法、プロセス、装置、製品及び／またはシステムは、簡単であり、コスト的に効果的であり、複雑ではないく、かつ非常に多様で正確である。また、本発明による、プロセス、装置、製品及びシステムに、周知の構成要素を適用することにより、即座に利用することができるが、効率的で経済的な製造、応用及び活用を具現することができる。本発明の他の重要な側面は、コスト低減、システム単純化、性能上昇を要求する現趨勢に符合するものである。かような本発明の実施形態に見ることができる有用な様相は、結果として、少なくとも現技術のレベルを高くするであろう。

本発明は、特定の最上の実施形態に係わって説明したが、それら以外に、本発明に、代替、変形及び修正が適用された発明は、前述の説明に照らし、当業者に明白であろう。すなわち、特許請求の範囲は、そのような全ての代替、変形及び修正がなされた発明を含むように解釈する。従って、該明細書及び図面で説明した全ての内容は、例示的であって非制限的な意味に解釈されなければならない。本発明による方法、プロセス、装置、製品及び／またはシステムは、簡単であり、コスト的に効果的であり、複雑ではないので、非常に多様であって正確である。また、本発明による、プロセス、装置、製品及びシステムに、周知の構成要素を適用することにより、即座に利用することができ、効率的で経済的な製造、応用及び活用を具現することができる。本発明の他の重要な側面は、コスト低減、システム単純化、性能上昇を要求する現趨勢に符合するというのである。かような本発明の実施形態に見ることができる有用な様相は、結果的に、少なくとも現技術のレベルを高めることができるであろう。

本発明は、特定の最上の実施形態に係わって説明しが、それら以外に、本発明に代替、変形及び修正が適用された発明は、前述の説明に照らし、当業者に明白であろう。すなわち、特許請求の範囲は、そのような全ての代替、変形及び修正がなされた発明を含むように解釈するのである。従って、該明細書及び図面で説明した全ての内容は、例示的であって非制限的な意味に解釈されなければならない。

Claims (15)

1. 動きベクトルの符号化装置において、
   現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補を使用し、前記現在ブロックの予測動きベクトル、前記現在ブロックの動きベクトル、及び前記現在ブロックの動きベクトル解像度を決定する予測部と、
   前記現在ブロックの予測動きベクトルを示す情報、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を符号化する符号化部と、を含み、
   前記所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含むことを特徴とする装置。
2. 前記予測部は、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、
   前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれた候補ブロックのうち互いに異なる候補ブロックから獲得されることを特徴とする請求項１に記載の装置。
3. 前記予測部は、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、
   前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、互いに異なる個数の予測動きベクトル候補を含むことを特徴とする請求項１に記載の装置。
4. 前記符号化部は、
   前記現在ブロックの動きベクトルの解像度の画素単位が、最小動きベクトル解像度の画素単位より大きい場合、前記残差動きベクトルを、前記現在ブロックの動きベクトルの解像度によってダウンスケーリングして符号化することを特徴とする請求項１に記載の装置。
5. 前記現在ブロックが、映像を構成する現在符号化単位であり、符号化単位別に動きベクトル解像度が同一に決定され、前記現在符号化単位内にＡＭＶＰ（advanced motion vector prediction）モードと予測された予測単位が存在すれば、
   前記符号化部は、前記現在ブロックの動きベクトル解像度を示す情報として、前記ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回符号化することを特徴とする請求項１に記載の装置。
6. 前記現在ブロックが、映像を構成する現在符号化単位であり、予測単位別に動きベクトル解像度が同一に決定され、前記現在符号化単位内にＡＭＶＰモードと予測された予測単位が存在すれば、
   前記符号化部は、前記現在ブロックの動きベクトル解像度を示す情報として、前記現在ブロック内に存在するＡＭＶＰモードと予測された予測単位別に、動きベクトル解像度を示す情報を符号化することを特徴とする請求項１に記載の装置。
7. 動きベクトルの符号化装置において、
   現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補を使用し、前記現在ブロックの予測動きベクトル、前記現在ブロックの動きベクトル、及び前記現在ブロックの動きベクトル解像度を決定する予測部と、
   前記現在ブロックの予測動きベクトルを示す情報、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を符号化する符号化部と、を含み、
   前記予測部は、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合を使用し、前記第１動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記予測動きベクトル候補のうちから選択された１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を使用し、前記第２動きベクトル解像度の画素単位に参照ブロックを探索し、
   前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、
   前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれる候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする装置。
8. 動きベクトルの符号化装置において、
   現在ブロックに係わる少なくとも１つのマージ候補を含むマージ候補リストを生成し、前記マージ候補リストに含まれたマージ候補のうち１つの候補の動きベクトルを利用し、前記現在ブロックの動きベクトルを決定して符号化し、
   前記マージ候補リストは、前記マージ候補リストに含まれた候補の動きベクトルを、所定の複数動きベクトル解像度によってダウンスケーリングした動きベクトルを含むことを特徴とする装置。
9. 前記ダウンスケーリングは、
   前記最小動きベクトル解像度の動きベクトルが示す画素の代わりに、前記最小動きベクトル解像度の動きベクトルが示す画素の周辺に位置した画素のうちいずれか１つの画素を、前記現在ブロックの動きベクトルの解像度に基づいて選択し、前記選択された画素を示すように調整することを特徴とする請求項８に記載の装置。
10. 動きベクトルの復号装置において、
    現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを示す情報を獲得し、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を獲得する獲得部と、
    前記残差動きベクトル、前記現在ブロックの予測動きベクトルを示す情報、及び前記現在ブロックの動きベクトル解像度情報に基づいて、前記現在ブロックの動きベクトルを復元する復号部と、を含み、
    前記所定の複数動きベクトル解像度は、１画素単位の解像度より大きい画素単位の解像度を含むことを特徴とする装置。
11. 前記所定の複数動きベクトル解像度の予測動きベクトル候補は、
    第１動きベクトル解像度の１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合、及び第２動きベクトル解像度の１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を含み、
    前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、
    前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれる候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする請求項１０に記載の装置。
12. 前記復号部は、
    前記現在ブロックの動きベクトルの解像度の画素単位が、最小動きベクトル解像度の画素単位より大きい場合、前記残差動きベクトルを、前記最小動きベクトル解像度によってアップスケーリングして復元することを特徴とする請求項１０に記載の装置。
13. 前記現在ブロックが、映像を構成する現在符号化単位であり、符号化単位別に、動きベクトル解像度が同一に決定され、前記現在符号化単位内に、ＡＭＶＰ（advanced motion vector prediction）モードと予測された予測単位が存在すれば、
    前記獲得部は、前記ビットストリームから、前記現在ブロックの動きベクトル解像度を示す情報として、前記ＡＭＶＰモードと予測された予測単位の動きベクトル解像度を示す情報を１回獲得することを特徴とする請求項１０に記載の装置。
14. 動きベクトルの復号装置において、
    現在ブロックに係わる少なくとも１つのマージ候補を含むマージ候補リストを生成し、前記マージ候補リストに含まれたマージ候補のうち１つの候補の動きベクトルを利用し、前記現在ブロックの動きベクトルを決定して復号し、
    前記マージ候補リストは、前記マージ候補リストに含まれた候補の動きベクトルを、所定の複数動きベクトル解像度によってダウンスケーリングした動きベクトルを含むことを特徴とする装置。
15. 動きベクトルの復号装置において、
    現在ブロックの空間的候補ブロック及び時間的候補ブロックを使用し、所定の複数動きベクトル解像度の予測動きベクトル候補を獲得し、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを示す情報を獲得し、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの残差動きベクトル、及び前記現在ブロックの動きベクトル解像度を示す情報を獲得する獲得部と、
    前記残差動きベクトル、前記現在ブロックの予測動きベクトルを示す情報、及び前記現在ブロックの動きベクトル解像度情報に基づいて、前記現在ブロックの動きベクトルを復元する復号部と、を含み、
    前記所定の複数動きベクトル解像度の予測動きベクトル候補は、
    第１動きベクトル解像度の１以上の予測動きベクトル候補を含む第１予測動きベクトル候補の集合、及び第２動きベクトル解像度の１以上の予測動きベクトル候補を含む第２予測動きベクトル候補の集合を含み、
    前記第１動きベクトル解像度と、前記第２動きベクトル解像度は、互いに異なる解像度であり、
    前記第１予測動きベクトル候補集合と、前記第２予測動きベクトル候補集合は、前記空間的候補ブロック及び時間的候補ブロックに含まれた候補ブロックのうち互いに異なる候補ブロックから獲得されるか、あるいは互いに異なる個数の予測動きベクトル候補を含むことを特徴とする装置。