JP2014511645A - 映像の符号化方法及びその装置、その復号化方法及びその装置 - Google Patents

Abstract

動き予測された現在予測単位の動き情報を符号化する方法及びその装置、復号化する方法及びその装置に係り、該映像符号化方法は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び第１参照ピクチャリストに含まれた参照ピクチャと、第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得し、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数に基づいて、現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックスを符号化する。

Description

本発明は、静止映像及び動画の符号化、復号化の方法及びその装置に係り、さらに具体的には、現在予測単位の動き情報を効率的に符号化する方法及びその装置、復号化する方法及びその装置に係わる。

ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のようなコーデックでは、動き予測時、現在ブロックの動き方向を示す予測モード情報及び現在ブロックの動き予測に利用される参照ピクチャ情報を、別途のシンタックスを利用して符号化する。

本発明が解決しようとする技術的課題は、現在予測単位の動き予測モード情報及び動き予測に利用された参照ピクチャ情報を、１つのシンタックスを介して効率的に符号化する方法及びその装置、その復号化する方法及びその装置を提供するものである。

本発明の実施形態は、１つの参照シンタックスを介して、動き予測モード及び参照ピクチャ情報を符号化する方法及びその装置を提供する。

本発明によれば、１つの参照シンタックスを利用して、現在予測単位に利用された予測方向（予測モード）の情報及び参照ピクチャ情報を、効率的に符号化することができるので、映像の圧縮効率が向上する。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、Ｂピクチャ内の予測単位が参照する参照ピクチャの一例を示した図面である。 本発明の一実施形態による、参照ピクチャに割り当てられる参照ピクチャ・インデックスの一例を示す図面である。 本発明の一実施形態による、参照ピクチャに割り当てられる参照ピクチャ・インデックスの一例を示す図面である。 本発明の一実施形態による、参照ピクチャに割り当てられる参照ピクチャ・インデックスの一例を示す図面である。 本発明の一実施形態による、単方向予測に利用される結合参照ピクチャリストを示す図面である。 本発明の一実施形態による、単方向予測に利用される結合参照ピクチャリストを示す図面である。 本発明の一実施形態による、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数に基づいて、単方向及び双方向の動き予測モード及び参照ピクチャを示す参照シンタックス値（Value）を割り当てるテーブルである。 本発明の一実施形態による、参照シンタックス情報を二進化する過程の一例を示す図面である。 本発明の一実施形態による映像符号化方法を示したフローチャートである。 本発明の一実施形態による映像復号化方法を示したフローチャートである。

本発明の一実施形態による映像の符号化方法は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得する段階；前記結合参照リストに含まれた参照ピクチャを利用して、現在予測単位に係わる単方向動き予測を行う単方向動き予測モード、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用して、前記現在予測単位に係わる双方向動き予測を行う双方向動き予測モードのうち一つを利用して、前記現在予測単位を符号化する段階；及び前記単方向動き予測モードの場合の数、及び前記双方向動き予測モードの場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックスを符号化する段階；を含むことを特徴とする。

本発明の一実施形態による映像符号化装置は、第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストに含まれた参照ピクチャを利用して、前記現在予測単位に係わる単方向動き予測を行う単方向動き予測モード、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用して、前記現在予測単位に係わる双方向動き予測を行う双方向動き予測モードのうち一つを利用して、前記現在予測単位を予測する動き予測部；及び前記単方向動き予測モードの場合の数、及び前記双方向動き予測モードの場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックスを符号化するエントロピ符号化部；を含むことを特徴とする。

本発明の一実施形態による映像の復号化方法は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得する段階；前記結合参照リストに含まれた参照ピクチャを利用する単方向動き予測モードの可能な場合の数、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用する双方向動き予測モードの可能な場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャによる参照シンタックスの値を決定する段階；ビットストリームから、前記現在予測単位の参照シンタックスを獲得する段階；前記獲得された参照シンタックスの値を利用して、前記現在予測単位の動き予測モード及び参照ピクチャを決定する段階；及び前記決定された動き予測モード及び参照ピクチャを利用して、前記現在予測単位に係わる動き補償を行う段階；を含むことを特徴とする。

本発明の一実施形態による映像の復号化装置は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得し、前記結合参照リストに含まれた参照ピクチャを利用する単方向動き予測モードの可能な場合の数、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用する双方向動き予測モードの可能な場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャによる参照シンタックスの値を決定し、ビットストリームから獲得された前記現在予測単位の参照シンタックスの値を利用して、前記現在予測単位の動き予測モード及び参照ピクチャを決定するエントロピ復号化部；及び前記決定された動き予測モード及び参照ピクチャを利用して、前記現在予測単位に係わる動き補償を行う動き補償部；を含むことを特徴とする。

以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されてもよい。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の自乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されもする。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが事前に設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換が遂行される。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピ符号化などの段階を経るが、全ての段階にわたって同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、さらに理想的な分割されない符号化単位を基に、予測符号化が行われてもよい。以下、予測符号化の基になる、さらに理想的な分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮでもある。一実施形態によるパーティション・タイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。

以下、周波数変換の基になるデータ単位は、「変換単位」と呼ぶことにする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定されてもよい。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティション・タイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティション・タイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されてもよい。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されてもよい。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われてもよい。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なりもするので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれもする最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ別、スライス別またはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダに挿入されてもよい。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高かったり、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。そのために、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位により、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０に、最大符号化単位ごとに、映像データを復号化させることができる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定されてもよく、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであれば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティション・タイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって、周波数逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティション・タイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０により、同一の符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割されてもよく、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割されてもよい。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割され、深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割され、深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割され、深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位について、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されてもよい。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されてもよい。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されてもよい。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比べて、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化するか復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに対する情報８２０を符号化して伝送することができる。

パーティション・タイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティション・タイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティション・タイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、変換単位を基に周波数変換を行うか否かを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティション・タイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティション・タイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションのそれぞれごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われてもよい。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０ ９１２、２Ｎ＿０ｘＮ＿０ ９１４及びＮ＿０ｘ２Ｎ＿０ ９１６のパーティション・タイプのうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１サイズのパーティション・タイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定されてもよい。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。

パーティション・タイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティション・タイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２については、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比べて、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードが、符号化深度の符号化モードに設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比べて、誤差が最小である深度が選択されて符号化深度に決定される。符号化深度、予測単位のパーティション・タイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、それと同じである。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比べてみれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

そのために、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティション・タイプで定義され、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。

パーティション・タイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が、分割された大きさの変換単位に設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用されもする。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が、非対称形パーティション・タイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置１００の動き予測部４２０、動き補償部４２５及び図５の映像復号化装置２００の動き補償部５５０で行われる動き予測及び補償過程、並びに図４のエントロピ符号化部４５０及び図５のエントロピ復号化部５２０で行われる動き予測情報の符号化及び復号化過程について具体的に説明する。以下の説明で、前述の予測単位は、ブロックと呼びもする。

動き予測部４２０は、Ｐスライス内に含まれた予測単位に係わる単方向予測（uni-direction prediction）を行って予測値を生成する。また、動き予測部４２０は、Ｂスライス内に含まれた予測単位を単方向予測またはリスト０（list ０）とリスト１（list １）との２つのリストに含まれた参照ピクチャを利用した双方向予測（bi-directional prediction）を行うことによって予測値を生成する。従来、ＭＰＥＧ−２で行われる双方向予測は、現在ピクチャの直前に出る参照ピクチャ１枚と、現在ピクチャの直後に出る参照ピクチャ１枚とに参照ピクチャが制限されるが、本発明の実施形態による動き予測部４２０で行われる双方向予測モードは、現在ピクチャ前後の参照ピクチャに制限されず、任意の２枚の参照ピクチャを使用することができ、双予測モード（bi-predictive mode）と呼ばれもする。

現在予測単位の動き予測モードは、結合参照リストに含まれた参照ピクチャを参照し、現在予測単位に係わる単方向動き予測を行って獲得された予測値を符号化した結果と、第１参照ピクチャリスト（List ０）に含まれた第１参照ピクチャ（Ｌ０ピクチャ）、及び第２参照ピクチャリスト（List １）に含まれた第２参照ピクチャ（Ｌ１ピクチャ）を利用して、現在予測単位に係わる双方向動き予測を行って獲得された予測値を符号化した結果のコストを比較し、さらに小さいコストを有する予測モードを、現在予測単位の最終的な予測モードに決定することができる。コスト比較時には、率・歪曲（rate-distortion）に基づいて、さらに効率的な予測モードを決定することができる。

図１４は、本発明の一実施形態によるＢピクチャ内の予測単位が参照する参照ピクチャの一例を示した図面である。図１４を参照すれば、参照ピクチャＡ １４３０及び参照ピクチャＢ １４２０は、現在ピクチャ１４１０より、ＰＯＣ（picture order count）が先行する順方向ピクチャ（forward picture）であり、参照ピクチャＣ １４４０及び参照ピクチャＤ １４５０は、現在ピクチャ１４１０よりＰＯＣが遅れる逆方向ピクチャ（backward picture）である。

現在ピクチャ１４１０がＢピクチャである場合、現在ピクチャ１４１０内の予測単位は、イントラ予測モード、単方向予測モード、双方向予測モード及び直接予測モードのうち１つの予測モードに基づいて符号化される。イントラ予測モードで、現在予測単位は、周辺ピクセルの値を利用して予測される。単方向予測モードで、現在予測単位は、第１参照ピクチャリスト（List ０）と、第２参照ピクチャリスト（List １）とを結合した結合参照ピクチャリスト内の１枚の参照ピクチャを利用して予測される。双方向予測モードで、現在予測単位は、第１参照ピクチャリスト（List ０）の第１参照ピクチャと、第２参照ピクチャリスト（List １）の第２参照ピクチャとの全２枚の参照ピクチャを利用して予測される。直接予測モードは、現在予測単位の周辺予測単位の動きベクトルを利用して生成された予測動きベクトルを、現在予測単位の動きベクトルとして利用するモードであり、直接予測モードは、予測モード情報及び残差情報だけが符号化情報として符号化される。

単方向予測または双方向予測が行われるＢピクチャ内の予測単位は、ｉ）同じ方向の２枚の互いに異なる参照ピクチャを参照する予測単位、ｉｉ）他の方向の２枚の互いに異なる参照ピクチャを参照する予測単位、ｉｉｉ）同一の参照ピクチャを２回参照する予測単位、及びｉｖ）任意の参照ピクチャを１枚だけ参照する予測単位に分類されてもよい。ｉ）〜ｉｉｉ）の場合２枚の参照ピクチャを利用して双方向予測される予測単位に該当し、ｉｖ）の場合、１枚の参照ピクチャを利用して単方向予測される予測単位に該当する。

ｉ）の例として、予測単位１４１１は、現在ピクチャ１４１０以前の参照ピクチャＡ １４３０の対応ブロック１４３１、及び参照ピクチャＢ １４２０の対応ブロック１４２１の平均値を利用して予測される。ｉｉ）の例として、予測単位１４１３は、参照ピクチャＢ １４２０の対応ブロック（１４２３）及び参照ピクチャＣ １４４０の対応ブロック１４４１の平均値を利用して予測される。ｉｉｉ）の例として、予測単位１４１４は、参照ピクチャＡ １４３０の対応ブロック１４３２，１４３３の平均値を利用して予測される。ｉｖ）の例として、予測単位１４１５は、参照ピクチャＤ １４５０の対応ブロック１４５１を利用して予測される。

このように、本発明の一実施形態による動き予測部４２０は、予測単位別に、複数枚の参照ピクチャを利用してインター予測を行い、予測単位の予測値を生成する。復号化側で、予測単位の予測値を生成するように、各予測単位ごとに、いかなるピクチャを参照しているかに係わる参照ピクチャ情報及び予測方向、すなわち、予測モード情報が伝送されなければならない。

図１５Ａないし図１５Ｃは、本発明の一実施形態による、参照ピクチャに割り当てられる参照ピクチャ・インデックスの一例を示している。

動き予測部４２０は、双方向予測される予測単位の参照ピクチャとして、第１参照ピクチャリスト（List ０）内の第１参照ピクチャと、第２参照ピクチャリスト（List １）内の第２参照ピクチャの２枚の参照ピクチャを利用する。第１参照ピクチャリスト（List ０）内の各参照ピクチャを示すための参照ピクチャ・インデックス（Ｌ０＿ｉｄｘ）を割り当てるために、図１５Ａに図示されたように、順方向ピクチャ１５２０のうち、現在ピクチャ１５１０に近いほど小さい参照ピクチャ・インデックスが割り当てられ、その次の順序として、逆方向ピクチャ１５３０のうち、現在ピクチャ１５１０に近いほど小さい参照ピクチャ・インデックスが割り当てられる。第２参照ピクチャリスト（List １）内の各参照ピクチャを示すための参照ピクチャ・インデックス（Ｌ１＿ｉｄｘ）を割り当てるために、図１５Ａに図示されたように、逆方向ピクチャ１５３０のうち、現在ピクチャ１５１０に近いほど小さい参照ピクチャ・インデックスが割り当てられ、その次の順序として、順方向ピクチャ１５２０のうち、現在ピクチャ１５１０に近いほど小さい参照ピクチャ・インデックスが割り当てられる。

図１５Ｂを参照すれば、第１参照ピクチャリスト（List ０）では、最も最近の過去ピクチャから、それ以前のピクチャの順序で、参照ピクチャ・インデックスが割り当てられ、その次に最も近い将来ピクチャから、その後のピクチャの順序で、参照ピクチャ・インデックスが割り当てられる。図１５Ｃを参照すれば、第２参照ピクチャリスト（List １）では、第１参照ピクチャリスト（List ０）と反対に、最も近い将来ピクチャから、その後のピクチャ順序で、参照ピクチャ・インデックスが割り当てられ、その次に最も最近の過去ピクチャから、それ以前のピクチャの順序で、参照ピクチャ・インデックスが割り当てられる。

後述するように、本発明の一実施形態によるエントロピ符号化部４５０は、第１参照ピクチャリスト（List ０）内の第１参照ピクチャを示す第１参照ピクチャ・インデックス（Ｌ０＿ｉｄｘ）、及び第２参照ピクチャリスト（List １）内の第２参照ピクチャを示す第２参照ピクチャ・インデックス（Ｌ１＿ｉｄｘ）をそのまま符号化するのではなく、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数に基づいて、現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックス（Ｒｅｆ Syntax）を符号化する。

動き予測部４２０で、単方向予測された予測単位の参照ピクチャ情報も、復号化側に伝送されなければならない。単方向予測に利用された参照ピクチャを示す参照ピクチャ情報は、第１参照ピクチャリスト（List ０）と、第２参照ピクチャリスト（List １）とを結合した結合参照ピクチャリスト内の参照ピクチャに割り当てられた参照シンタックスを利用して伝送される。

図１６Ａ及び図１６Ｂは、本発明の一実施形態による、単方向予測に利用される結合参照ピクチャリストを示す図面である。

エントロピ符号化部４５０は、双方向予測に利用される第１参照ピクチャリスト（List ０）と、第２参照ピクチャリスト（List １）を結合した結合参照ピクチャリストを生成し、結合参照ピクチャリストに含まれた各参照ピクチャに、参照シンタックス（Ｒｅｆ Syntax）を割り当てた後、割り当てられた参照シンタックスを利用して、単方向予測モード情報、及び単方向予測モードに利用された参照ピクチャに係わる情報を符号化することができる。

例えば、図１６Ａを参照すれば、エントロピ符号化部４５０は、第１参照ピクチャリスト（List ０）１６１０と、第２参照ピクチャリスト（List １）１６２０との参照ピクチャを、図示された矢印順に順次にスキャンしながら、新しくスキャンされる参照ピクチャは、結合参照ピクチャリストに含め、以前にスキャンされた参照ピクチャは、結合参照ピクチャリストに含めないことにより、結合参照ピクチャリスト１６３０を生成することができる。結合参照ピクチャリスト１６３０で、以前にスキャンされた第１参照ピクチャリスト（List ０）１６１０の参照ピクチャ（Ｒｅｆ ４）１６１１、及び第２参照ピクチャリスト（List １）１６２０の参照ピクチャ（Ｒｅｆ ２）１６２１は、以前にスキャンされた参照ピクチャと重複するので、結合参照ピクチャリスト１６３０に新しく付加しない。そして、エントロピ符号化部４５０は、現在予測単位が、結合参照ピクチャリスト上の参照ピクチャを利用して単方向予測された場合、単方向予測に利用された参照ピクチャに割り当てられた参照シンタックス情報を、現在予測単位の動き予測情報として符号化する。例えば、現在予測単位が、Ｒｅｆ ４を参照して単方向予測された場合、エントロピ符号化部４５０は、現在予測単位の予測モード及び参照ピクチャ情報として１の値を有する参照シンタックス（Ｒｅｆ Syntax）を符号化する。復号化側では、１の値を有する参照シンタックス（Ｒｅｆ Syntax）を受信した場合、現在予測単位がＲｅｆ ４を参照し、単方向予測されたことを決定することができる。

結合参照ピクチャリストは、前述の図１６Ａのような方式で生成される以外に、第１参照ピクチャリストと、第２参照ピクチャリストとの重複する参照ピクチャを除き、互いに異なる参照ピクチャのみを含む多様な方式で生成されてもよい。例えば、図１６Ｂを参照すれば、エントロピ符号化部４５０は、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の参照ピクチャを順次にスキャンした参照ピクチャリスト１６４０で重複した参照ピクチャ１６４１，１６４２を除去することにより、結合参照ピクチャリスト１６５０を生成することができる。結合参照ピクチャリストを生成する方式は、符号化側と復号化側とで同一に事前に設定されることが望ましい。多様な方式で、複数個の結合参照ピクチャリストを生成する場合、結合参照ピクチャリストを生成する方式ごとに、所定のインデックスを割り当て、符号化側から、結合参照リスト生成時に利用された生成方式のインデックスを別途に復号化側に伝送することもできる。符号化側と復号化側とで結合参照ピクチャリストを生成する方式が既設定である場合、かような結合参照ピクチャリストを生成する方式に係わるインデックスの伝送は、不要である。

本発明の一実施形態によるエントロピ符号化部４５０は、かような単方向予測モード、双方向予測モード、及び各予測モードによる参照ピクチャの情報を、１つの参照シンタックス（Ｒｅｆ Syntax）を利用して符号化する。

前述のように、現在予測単位が、結合参照ピクチャリスト上の参照ピクチャを利用して、単方向予測された場合、エントロピ符号化部４５０は、単方向予測に利用された参照ピクチャに割り当てられた参照シンタックス情報を、現在予測単位の動き予測情報として符号化する。すなわち、前述の図１６Ａの例で、参照シンタックス（Ｒｅｆ Syntax）が０の値を有する場合、現在予測単位は、Ｒｅｆ ２を参照して単方向予測され、参照シンタックス（Ｒｅｆ Syntax）が１の値を有する場合、現在予測単位は、Ｒｅｆ ４を参照して単方向予測され、参照シンタックス（Ｒｅｆ Syntax）が２の値を有する場合、現在予測単位は、Ｒｅｆ １を参照して単方向予測され、参照シンタックス（Ｒｅｆ Syntax）が３の値を有する場合、現在予測単位は、Ｒｅｆ ５を参照して単方向予測されたことを示す。

単方向予測モードと区別されながら、双方向予測モード及び双方向予測モードに利用された２枚の参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）に係わる情報を、１つの参照シンタックス（Ｒｅｆ Syntax）を介して符号化するために、エントロピ符号化部４５０は、単方向動き予測モードの場合の数、及び前記双方向動き予測モードの場合の数に基づいて、双方向予測モードで利用可能な参照ピクチャの組み合わせごとに、参照シンタックス値を割り当て、現在予測単位の双方向予測に利用された参照ピクチャの組み合わせに割り当てられた参照シンタックス値を、動き予測情報として符号化する。

図１７は、本発明の一実施形態による、単方向動き予測モードの場合の数、及び前記双方向動き予測モードの場合の数に基づいて、単方向及び双方向の動き予測モード及び参照ピクチャを示す参照シンタックス値（Value）を割り当てるテーブルである。

図１７を参照すれば、ＭａｘＶａｌは、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数を合わせた値（ＭａｘValue）に基づいて決定された値である。ＭａｘＶａｌは、参照シンタックス値（Value）の最大値を示すものであり、ＭａｘＶａｌ＝ＭａｘValue−１の値を有する。

前述のように、単方向動き予測モードの場合、結合参照ピクチャリストのうちいずれの参照ピクチャを参照するかによって、場合の数が分類されるので、単方向動き予測モードの場合の数は、結局、結合参照ピクチャリスト内の参照ピクチャの枚数（ＮｕｍＯｆＲｅｃ＿ＬＣ）によって決定される。

第１参照ピクチャリストに含まれた参照ピクチャの枚数を、ＮｕｍＯｆＲｅｆ＿Ｌ０、第２参照ピクチャリストに含まれた参照ピクチャの枚数を、ＮｕｍＯｆＲｅｆ＿Ｌ１、第１参照ピクチャリストと、第２参照ピクチャリストとに重複して含まれた参照ピクチャの枚数を、ＮｕｍＯｆRedundancyとするとき、結合参照ピクチャリスト内に含まれた参照ピクチャの枚数（ＮｕｍＯｆＲｅｃ＿ＬＣ）は、ＮｕｍＯｆＲｅｆ＿Ｌ０＋ＮｕｍＯｆＲｅｆ＿Ｌ１−ＮｕｍＯｆRedundancy枚の互いに重複しない参照ピクチャを含む。

一方、単方向動き予測モードの発生可能な全ての場合ごとに、参照シンタックスを設定する代わりに、最大ＭａｘCombinedＲｅｆＮｕｍ個の場合にのみ、図１７に図示されたような参照シンタックスを割り当て、ＭａｘCombinedＲｅｆＮｕｍ個の場合を超える場合には、別途に処理される。例えば、ＭａｘCombinedＲｅｆＮｕｍが４であると仮定すれば、エントロピ符号化部４５０は、結合参照ピクチャリストに含まれた最初の参照ピクチャから４枚目の参照ピクチャまでの参照ピクチャにのみ参照シンタックスを割り当て、単方向予測される現在予測単位の参照ピクチャが、結合参照ピクチャリスト上の参照ピクチャに含まれた場合、割り当てられた参照シンタックスを利用して、現在予測単位の単方向予測モード及び利用される参照ピクチャを示す１つの参照シンタックスを決定して符号化する。もし現在予測単位が参照する参照ピクチャが、参照シンタックス割り当てテーブルに、事前に規定された場合ではない場合には、参照シンタックス値をＭａｘValue値に符号化することができる。言い替えれば、参照シンタックス値がＭａｘValueを有する場合は、図１７に図示されたような予測モード及び参照ピクチャによる場合から外れる例外的な場合であり、その場合、別途に例外処理を行う。例外処理される場合の現在予測単位については、別途に予測モード及び参照ピクチャ情報が符号化されてもよい。

このように、参照シンタックス割り当てテーブルによって既設定の結合参照ピクチャリスト上の参照ピクチャの最大枚数がＭａｘCombinedＲｅｆＮｕｍ以下に制限される場合、結合参照ピクチャリスト内に含まれた参照ピクチャの枚数（ＮｕｍＯｆＲｅｃ＿ＬＣ）は、ｍｉｎ（ＭａｘCombinedＲｅｆＮｕｍ，ＮｕｍＯｆＲｅｆ＿Ｌ０＋ＮｕｍＯｆＲｅｆ＿Ｌ１−ＮｕｍＯｆRedundancy）の値を有する。もし参照シンタックス割り当てテーブルによって既設定の第１参照ピクチャリスト及び第２参照ピクチャリストに含まれる参照ピクチャの枚数が、所定枚数ｎ（ｎは整数）に制限される場合、ＮｕｍＯｆＲｅｆ＿Ｌ０は、ｍｉｎ（ｎ，ＮｕｍＯｆＲｅｆ＿Ｌ０）、ＮｕｍＯｆＲｅｆ＿Ｌ１は、ｍｉｎ（ｎ，ＮｕｍＯｆＲｅｆ＿Ｌ１）の値を有するように調整される。

双方向動き予測モードの場合の数は、第１参照ピクチャリスト（List ０）の参照ピクチャのうち、いかなるピクチャを第１参照ピクチャとして利用して、第２参照ピクチャリスト（List １）の参照ピクチャのうち、いかなるピクチャを第２参照ピクチャとして利用したかによって分類されるので、結局、双方向動き予測モードの場合の数は、ＮｕｍＯｆＲｅｆ＿Ｌ０＊ＮｕｍＯｆＲｅｆ＿Ｌ１の値を有する。例えば、第１参照ピクチャリスト（List ０）に２枚の参照ピクチャ、第２参照ピクチャリスト（List １）に２枚の参照ピクチャを含む場合、双方向動き予測モードの場合の数は、２＊２、すなわち、全４個の場合に分類される。

結局、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数を合わせた全ての場合の数（ＭａｘValue）は、次の数式：ＭａｘValue＝ＮｕｍＯｆＲｅｆ＿ＬＣ＋ＮｕｍＯｆＲｅｆ＿Ｌ０＊ＮｕｍＯｆＲｅｆ＿Ｌ１の値を有する。

従って、エントロピ符号化部４５０は、単方向動き予測モードで利用される参照ピクチャ、及び双方向動き予測モードで利用される参照ピクチャの組み合わせに、０から（ＭａｘValue−１）の値のうち１つの値を割り当て、割り当てられた値を参照シンタックスの値（Value）として符号化することにより、動き予測モードに係わる情報、及び利用された参照ピクチャ情報を１つの参照シンタックスとして符号化することができる。

以下、図１７を参照し、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）に含まれた参照ピクチャの枚数、並びに結合参照ピクチャリストの個数によって、適応的に参照シンタックスを決定する過程について具体的に説明する。以下の説明で、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）に含まれる参照ピクチャの最大枚数は、それぞれ２枚に制限されると仮定する。また、図１７で、動き予測モード（ＩｎｔｅｒＤｉｒ）は、動き予測方向を示すものであり、ＬＣは、結合参照ピクチャリストを利用する単方向動き予測モード、ＢＩは、第１参照ピクチャリスト（List ０）の第１参照ピクチャ（Ｌ０ピクチャ）、及び第２参照ピクチャリスト（List １）の第２参照ピクチャ（Ｌ１ピクチャ）を利用する双方向動き予測モードを示す。また、図１７で、参照ピクチャ・インデックス（Ｒｅｆ Ｉｄｘ）は、単方向動き予測モードまたは双方向動き予測モードで利用される参照ピクチャを示すものであり、単方向動き予測モード（ＬＣ）でのＲｅｆＩｄｘは、図１６Ａで説明した参照シンタックス（Ｒｅｆ Syntax）のように、結合参照ピクチャリスト上の参照ピクチャを示す値である。双方向動き予測モード（ＢＩ）でのＲｅｆＩｄｘである（ｘ，ｙ）（ｘ，ｙは、０または１）の場合、ｘの値は、第１参照ピクチャリスト（List ０）の第１参照ピクチャ（Ｌ０ピクチャ）の参照ピクチャ・インデックスを、ｙの値は、第２参照ピクチャリスト（List １）の第２参照ピクチャ（Ｌ１ピクチャ）の参照ピクチャ・インデックスを示す。例えば、（Ｒｅｆ Ｉｄｘ）＝（０，０）である場合、第１参照ピクチャリスト（List ０）のＲｅｆｉｄｘ＝０の値を有する第１参照ピクチャ（Ｌ０ピクチャ）、及び第２参照ピクチャリスト（List １）のＲｅｆｉｄｘ＝０の値を有する第２参照ピクチャ（Ｌ１ピクチャ）を利用する双方向動き予測モードを示す。

ａ）ＭａｘＶａｌ＝１である場合（図面符号１７１０の場合）
もし第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）がそれぞれ１枚の参照ピクチャのみを含み（Ｌ０＝１，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャが同一である場合、Ｌ０ピクチャ及びＬ１ピクチャが同一であるので、結合参照ピクチャリストには、１枚の参照ピクチャだけが含まれるので、単方向動き予測は、１枚の参照ピクチャのみを利用して、予測される１種の場合のみが存在し、双方向動き予測は、１枚の同一の参照ピクチャ（Ｌ０，Ｌ１）を２回参照し、予測される１種の場合のみが存在する。

従って、エントロピ符号化部１４１０は、単方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として０を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として１を割り当て、現在予測単位に適用された予測モードによって、０または１の値を現在予測単位の動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）がそれぞれ１枚の参照ピクチャのみを含み（Ｌ０＝１，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャが同一である場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、Ｌ０ピクチャ（またはＬ１ピクチャ）を利用して単方向動き予測を行い、１を受信すれば、Ｌ０ピクチャ（またはＬ１ピクチャ）を２回参照して双方向動き予測を行う。

ｂ）ＭａｘＶａｌ＝２である場合（図面符号１７２０の場合）
もし第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）がそれぞれ１枚の参照ピクチャのみを含み（Ｌ０＝１，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャが同一ではない場合、結合参照ピクチャリストには、全２枚の参照ピクチャが含まれるので、単方向動き予測は、２枚の参照ピクチャを利用する２種の場合が存在する。双方向動き予測は、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する１種の場合のみが存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０または１の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として２の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし２の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）がそれぞれ１枚の参照ピクチャのみを含み（Ｌ０＝１，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャが同一ではない場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行う。また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として２を受信した場合、Ｌ０ピクチャ及びＬ１ピクチャを参照して双方向動き予測を行う。

ｃ）ＭａｘＶａｌ＝３である場合（図面符号１７３０の場合）
もし第１参照ピクチャリスト（List ０）は、２枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、１枚の参照ピクチャのみを含み（Ｌ０＝２，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚のピクチャが重複する場合には、結合参照ピクチャリストには、全２枚の参照ピクチャが含まれる。従って、単方向動き予測は、２枚の参照ピクチャを利用する２種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、２種の場合（（０，０）、（１，０））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０または１の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として２または３の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし３の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）は、２枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、１枚の参照ピクチャのみを含み（Ｌ０＝２，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚のピクチャが重複する場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行う。また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として２を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照インデックスの参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の１枚の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の２番目の参照インデックスの参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の１枚の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｄ）ＭａｘＶａｌ＝３である場合（図面符号１７４０の場合）
もし第１参照ピクチャリスト（List ０）は、１枚の参照ピクチャのみを含み、第２参照ピクチャリスト（List １）は、２枚の参照ピクチャを含み（Ｌ０＝１，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚のピクチャが重複する場合には、結合参照ピクチャリストには、全２枚の参照ピクチャが含まれる。従って、単方向動き予測は、２枚の参照ピクチャを利用する２種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、２種の場合（（０，０），（０，１））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０または１の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として２または３の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし３の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）は、１枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、２枚の参照ピクチャを含み（Ｌ０＝１，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚のピクチャが重複する場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行う。また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として２を受信した場合、第１参照ピクチャリスト（List ０）内の１枚の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の１枚の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｅ）ＭａｘＶａｌ＝５の場合（図面符号１７５０の場合）
もし第１参照ピクチャリスト（List ０）は、２枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、１枚の参照ピクチャのみを含み（Ｌ０＝２，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャのうち重複するピクチャが存在しない場合、結合参照ピクチャリストには、総３枚の参照ピクチャが含まれる。従って、単方向動き予測は、３枚の参照ピクチャを利用する３種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、２種の場合（（０，０），（１，０））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０ないし２の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として３または４の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし４の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）は、２枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、１枚の参照ピクチャのみを含み（Ｌ０＝２，Ｌ１＝１）、Ｌ０ピクチャ及びＬ１ピクチャのうち重複するピクチャが存在しない場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として２を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち３枚目の参照ピクチャを利用して、単方向動き予測を行う。

また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照インデックスの参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の１枚の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として４を受信した場合、第１参照ピクチャリスト（List ０）内の２番目の参照インデックスの参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の１枚の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｆ）ＭａｘＶａｌ＝４である場合（図面符号１７６０の場合）
もし第１参照ピクチャリスト（List ０）は、１枚の参照ピクチャのみを含み、第２参照ピクチャリスト（List １）は、２枚の参照ピクチャを含み（Ｌ０＝１，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち重複するピクチャが存在しない場合、結合参照ピクチャリストには、総３枚の参照ピクチャが含まれる。従って、単方向動き予測は、３枚の参照ピクチャを利用する３種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、２種の場合（（０，０），（０，１））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０ないし２の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として３または４の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし４の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）は、１枚の参照ピクチャを含み、第２参照ピクチャリスト（List １）は、２枚の参照ピクチャを含み（Ｌ０＝１，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち重複するピクチャが存在しない場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち３枚目の参照ピクチャを利用して、単方向動き予測を行う。

また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の１枚の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として４を受信した場合、第１参照ピクチャリスト（List ０）内の１枚の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｇ）ＭａｘＶａｌ＝５である場合（図面符号１７７０の場合）
もし第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち２枚の参照ピクチャが重複する場合、結合参照ピクチャリストには、全２枚の参照ピクチャが含まれる。従って、単方向動き予測は、２枚の参照ピクチャを利用する２種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、４種の場合（（０，０），（０，１），（１，０），（１，１））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０または１の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として２ないし５の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし５の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち２枚の参照ピクチャが重複する場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた２枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行う。

また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として２を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として４を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として５を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｈ）ＭａｘＶａｌ＝６である場合（図面符号１７８０の場合）
もし第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚の参照ピクチャが重複する場合、結合参照ピクチャリストには、総３枚の参照ピクチャが含まれる。従って、単方向動き予測は、３枚の参照ピクチャを利用する３種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、４種の場合（（０，０），（０，１），（１，０），（１，１））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０ないし２の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として３ないし６の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし６の値のうち１つの値を動き情報として符号化する。

復号化側では、１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャのうち１枚の参照ピクチャが重複する場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として２を受信すれば、結合参照ピクチャリストに含まれた３枚の参照ピクチャのうち３枚目の参照ピクチャを利用して、単方向動き予測を行う。

また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として３を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として４を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として５を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として６を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

ｉ）ＭａｘＶａｌ＝７である場合（図面符号１７９０の場合）
もし第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャに重複するピクチャが存在しない場合、結合参照ピクチャリストには、総４枚の参照ピクチャが含まれる。従って、単方向動き予測は、４枚の参照ピクチャを利用する４種の場合が存在する。双方向動き予測時、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）の各参照ピクチャ（Ｌ０ピクチャ及びＬ１ピクチャ）を参照する場合の数は、４種の場合（（０，０），（０，１），（１，０），（１，１））が存在する。

従って、エントロピ符号化部１４１０は、現在ピクチャの予測単位の単方向動き予測時、いかなる参照ピクチャが利用されたかによって、参照シンタックス（Ｒｅｆ Syntax）の値として０ないし３の値を割り当て、両方向動き予測される場合、参照シンタックス（Ｒｅｆ Syntax）の値として４ないし７の値を割り当て、現在予測単位に適用された予測モード及び参照ピクチャによって、０ないし７の値のうち１つの値を動き情報として符号化する。

復号化側では、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）が２枚の参照ピクチャを含み（Ｌ０＝２，Ｌ１＝２）、Ｌ０ピクチャ及びＬ１ピクチャに重複するピクチャが存在しない場合、参照シンタックス（Ｒｅｆ Syntax）値として０を受信すれば、結合参照ピクチャリストに含まれた４枚の参照ピクチャのうち最初の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として１を受信すれば、結合参照ピクチャリストに含まれた４枚の参照ピクチャのうち２枚目の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として２を受信すれば、結合参照ピクチャリストに含まれた４枚の参照ピクチャのうち３枚目の参照ピクチャを利用して、単方向動き予測を行い、参照シンタックス（Ｒｅｆ Syntax）値として３を受信すれば、結合参照ピクチャリストに含まれた４枚の参照ピクチャのうち４枚目の参照ピクチャを利用して、単方向動き予測を行う。

また、復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として４を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として５を受信した場合、第１参照ピクチャリスト（List ０）内の最初の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として６を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の最初の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。復号化側では、参照シンタックス（Ｒｅｆ Syntax）値として７を受信した場合、第１参照ピクチャリスト（List ０）内の２枚目の参照ピクチャをＬ０ピクチャとして決定し、第２参照ピクチャリスト（List １）内の２枚目の参照ピクチャをＬ１ピクチャとして決定した後、双方向動き予測を行う。

このように、エントロピ符号化部４５０は、単方向動き予測モードで利用可能な参照ピクチャ、及び前記双方向動き予測モードで利用可能な参照ピクチャの組み合わせごとに、０から（ＭａｘValue−１）の値のうち一つを参照シンタックスの値として割り当て、現在予測単位に適用された動き予測モード及び参照ピクチャによって対応する参照シンタックスの値を符号化することにより、１つの参照シンタックスとして、現在予測単位の動き予測モード及び参照ピクチャ情報を符号化することができる。

すなわち、エントロピ符号化部４５０は、結合参照ピクチャリスト内の参照ピクチャの枚数ＮｕｍＯｆＲｅｆ＿ＬＣに基づいて、単方向動き予測される現在予測単位の予測モード情報及び参照ピクチャの情報として利用される結合参照ピクチャリスト内の参照ピクチャ・インデックスによって、０から（ＮｕｍＯｆＲｅｆ＿ＬＣ−１）の値を割り当て、現在予測単位の動き情報を符号化することができる。また、エントロピ符号化部４５０は、双方向動き予測される現在予測単位の予測モード情報及び参照ピクチャの情報として、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）のうちいずれの第１参照ピクチャ及び第２参照ピクチャを利用するかによって、ＮｕｍＯｆＲｅｆ＿ＬＣから（ＭａｘValue−１）の値を割り当て、現在予測単位の動き情報を符号化することができる。

また、エントロピ符号化部４５０は、参照シンタックス（Ｒｅｆ Syntax）がＭａｘValue値を有する場合、既設定の参照シンタックスを利用して、動き予測モード及び参照ピクチャを示す場合ではない例外的な場合を示すと設定することができる。

エントロピ符号化部４５０は、参照シンタックス（Ｒｅｆ Syntax）を切削型単項二進符号化（truncated unary binarization）を介して二進化し、ビットストリームを生成することができる。

図１８は、本発明の一実施形態によって、参照シンタックス情報を二進化する過程の一例を示している。図１８を参照すれば、エントロピ符号化部４５０は、参照シンタックス（Ｒｅｆ Syntax）を符号化するとき、切削型単項二進符号化を利用して、参照シンタックスの値を二進化することができる。すなわち、エントロピ符号化部４５０は、図１７に図示されたような参照シンタックスの値（Value）に対応する１と、それに続く１つの０とを出力することにより、参照シンタックスを二進化する。もし図１７に図示されたような参照シンタックス割り当てテーブルによって、事前に規定された場合ではない場合、エントロピ符号化部４５０は、（ＭａｘValue−１）個の１で構成された二進ビット列を出力することにより、事前に規定された場合ではない例外的な場合であるということを示すことができる。例えば、参照シンタックスを利用して、既設定の単方向動き予測モード及び双方向動き予測モードの全場合の数（ＭａｘValue）が７であり、現在予測単位が、事前に参照シンタックスによって設定された場合のうち一つに該当する場合、エントロピ符号化部４５０は、現在予測単位に対応する参照シンタックスの値（Value）によって、図１８に図示されたように連続的な１と、それに続く１つの０とから構成された二進ビット列を出力する。エントロピ符号化部４５０は、参照シンタックス（Ｒｅｆ Syntax）が７の値を有する場合を既設定の単方向動き予測モードの参照ピクチャ、及び双方向動き予測モードの参照ピクチャの組み合わせを利用する場合ではない例外的な場合を示す場合として設定し、かような例外処理情報を示す「１１１１１１１」を出力する。

図１９は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図１９を参照すれば、段階１９１０で、エントロピ符号化部４５０は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び第１参照ピクチャリストに含まれた参照ピクチャと、第２参照ピクチャリストに含まれた参照ピクチャとを結合した結合参照ピクチャリストを獲得する。前述のように、第１参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ０、第２参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ１、第１参照ピクチャリストと、第２参照ピクチャリストとに重複して含まれた参照ピクチャの枚数をＮｕｍＯｆRedundancyとするとき、結合参照ピクチャリストは、ＮｕｍＯｆＲｅｆ＿Ｌ０＋ＮｕｍＯｆＲｅｆ＿Ｌ１−ＮｕｍＯｆRedundancy枚の互いに重複しない参照ピクチャを含むことになる。

段階１９２０で、動き予測部４２０は、結合参照リストに含まれた参照ピクチャを利用して、現在予測単位に係わる単方向動き予測；及び第１参照ピクチャリストと、第２参照ピクチャリストとを利用して現在予測単位に係わる双方向動き予測；を行い、さらに小さいコストを有する動き予測モードを、現在予測単位の予測モードに決定する。

段階１９３０で、エントロピ符号化部４５０は、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数に基づいて、現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックスを符号化する。エントロピ符号化部４５０は、結合参照ピクチャリスト内の参照ピクチャの枚数ＮｕｍＯｆＲｅｆ＿ＬＣに基づいて、単方向動き予測される現在予測単位の予測モード情報及び参照ピクチャの情報として利用される結合参照ピクチャリスト内の参照ピクチャ・インデックスによって、０から（ＮｕｍＯｆＲｅｆ＿ＬＣ−１）の値を割り当て、現在予測単位の動き情報を符号化することができる。また、エントロピ符号化部４５０は、双方向動き予測される現在予測単位の予測モード情報及び参照ピクチャの情報として、第１参照ピクチャリスト（List ０）、及び第２参照ピクチャリスト（List １）のうちいずれの第１参照ピクチャ及び第２参照ピクチャを利用するかによって、ＮｕｍＯｆＲｅｆ＿ＬＣから（ＭａｘValue−１）の値を割り当て、現在予測単位の動き情報を符号化することができる。また、エントロピ符号化部４５０は、参照シンタックス（Ｒｅｆ Syntax）がＭａｘValue値を有する場合、既設定の単方向動き予測モードの場合、及び双方向動き予測モードの場合に含まれない例外的な場合を示す場合として設定して符号化することができる。

復号化過程で、図５のエントロピ復号化部５２０は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、第２参照ピクチャリストに含まれた参照ピクチャとを結合した結合参照ピクチャリストを獲得し、結合参照リストに含まれた参照ピクチャを利用する単方向動き予測モードの可能な場合の数、及び第１参照ピクチャリストと、第２参照ピクチャリストとを利用する双方向動き予測モードの可能な場合の数に基づいて、現在予測単位の符号化に利用された動き予測モード及び参照ピクチャによる参照シンタックスの値を決定する。

具体的には、エントロピ復号化部５２０は、前述のエントロピ符号化部４５０と同一に、単方向動き予測モードの場合の数、及び双方向動き予測モードの場合の数を合わせた全ての場合の数ＭａｘValueを次の数式：ＭａｘValue＝ＮｕｍＯｆＲｅｆ＿ＬＣ＋ＮｕｍＯｆＲｅｆ＿Ｌ０＊ＮｕｍＯｆＲｅｆ＿Ｌ１によって計算した後、参照シンタックス（Ｒｅｆ Syntax）が、０から（ＮｕｍＯｆＲｅｆ＿ＬＣ−１）の値を有する場合には、ＮｕｍＯｆＲｅｆ＿ＬＣ個の結合参照ピクチャリストのうち１枚の参照ピクチャを参照して、単方向動き予測される場合を示し、参照シンタックスが、ＮｕｍＯｆＲｅｆ＿ＬＣから（ＭａｘValue−１）の値を有する場合には、第１参照ピクチャリストの第１参照ピクチャと、第２参照ピクチャリストの第２参照ピクチャとの組み合わせによる２枚の参照ピクチャを利用する双方向動き予測モードに決定する。前述のように、現在予測単位が、単方向動き予測モード及び双方向動き予測モードのうちいずれの予測モードによって予測されたかということと、利用される参照ピクチャの情報は、参照シンタックス値自体から決定される。

動き補償部５６０は、エントロピ復号化部５２０で獲得された現在予測単位の参照シンタックスから決定された予測モード情報及び参照ピクチャを利用して、現在予測単位に係わる単方向動き補償及び双方向動き補償を行い、現在予測単位の予測値を生成する。

図２０は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図２０を参照すれば、段階２０１０で、エントロピ復号化部５２０は、第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得する。段階２０２０で、エントロピ復号化部５２０は、結合参照リストに含まれた参照ピクチャを利用する単方向動き予測モードの可能な場合の数、及び第１参照ピクチャリストと、第２参照ピクチャリストとを利用する双方向動き予測モードの可能な場合の数に基づいて、現在予測単位の符号化に利用された動き予測モード及び参照ピクチャによる参照シンタックスの値を決定する。

段階２０３０で、エントロピ復号化部５２０は、ビットストリームから、現在予測単位の参照シンタックスを獲得する。前述のように、参照シンタックスは、切削型単項二進符号化を介して符号化され、予測モードの全ての可能な場合の数（ＭａｘValue）に基づいて、現在参照シンタックスが、図１７に図示された予測モードの場合の数のうちいかなる場合を示すか決定される。

段階２０４０で、エントロピ復号化部５２０は、参照シンタックスの値を利用して、前記現在予測単位の動き予測モード及び参照ピクチャを決定し、段階２０５０で、動き補償部５６０は、決定された動き予測モード及び参照ピクチャを利用して、現在予測単位に係わる動き補償を行い、現在予測単位の予測値を生成する。

本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードとして保存されて実行されもする。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (15)

1. 映像の符号化方法において、
   第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得する段階と、
   前記結合参照リストに含まれた参照ピクチャを利用して、現在予測単位に係わる単方向動き予測を行う単方向動き予測モード、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用して、前記現在予測単位に係わる双方向動き予測を行う双方向動き予測モードのうち一つを利用して、前記現在予測単位を符号化する段階と、
   前記単方向動き予測モードの場合の数、及び前記双方向動き予測モードの場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャを示す１つの参照シンタックスを符号化する段階と、を含むことを特徴とする映像の符号化方法。
2. 前記参照シンタックスを符号化する段階は、
   前記単方向動き予測モードで利用可能な参照ピクチャ、及び前記双方向動き予測モードで利用可能な参照ピクチャの組み合わせごとに、互いに異なる値を有する参照シンタックスを割り当て、前記現在予測単位の動き予測モード、及び前記現在予測単位の動き予測に利用される参照ピクチャに対応する参照シンタックスの値を符号化することを特徴とする請求項１に記載の映像の符号化方法。
3. 前記結合参照リストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿ＬＣ、前記第１参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ０、前記第２参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ１、前記現在予測単位に対して、単方向動き予測及び双方向動き予測が行われる全ての場合の数をＭａｘValueとするとき、前記全ての場合の数ＭａｘValueは、次の数式：ＭａｘValue＝ＮｕｍＯｆＲｅｆ＿ＬＣ＋ＮｕｍＯｆＲｅｆ＿Ｌ０＊ＮｕｍＯｆＲｅｆ＿Ｌ１の値を有し、
   前記単方向動き予測モードで利用可能な参照ピクチャ、及び前記双方向動き予測モードで利用可能な参照ピクチャの組み合わせごとに、０から（ＭａｘValue−１）の値のうち一つが、前記参照シンタックスの値として割り当てられることを特徴とする請求項２に記載の映像の符号化方法。
4. 前記第１参照ピクチャリストと、前記第２参照ピクチャリストとに重複して含まれた参照ピクチャの枚数をＮｕｍＯｆRedundancyとするとき、前記結合参照ピクチャリストは、ＮｕｍＯｆＲｅｆ＿Ｌ０＋ＮｕｍＯｆＲｅｆ＿Ｌ１−ＮｕｍＯｆRedundancy枚の互いに重複しない参照ピクチャを含むことを特徴とする請求項３に記載の映像の符号化方法。
5. 前記現在予測単位が単方向動き予測された場合、前記現在予測単位が参照する前記結合参照ピクチャリストの参照ピクチャによって、０から（ＮｕｍＯｆＲｅｆ＿ＬＣ−１）の値が、前記現在予測単位の参照シンタックスとして符号化されることを特徴とする請求項３に記載の映像の符号化方法。
6. 前記現在予測単位が双方向動き予測された場合、前記現在予測単位が参照する第１参照ピクチャリストの第１参照ピクチャと、前記第２参照ピクチャリストの第２参照ピクチャとの組み合わせによって、ＮｕｍＯｆＲｅｆ＿ＬＣから（ＭａｘValue−１）の値が、前記現在予測単位の参照シンタックスとして符号化されることを特徴とする請求項３に記載の映像の符号化方法。
7. 前記参照シンタックスがＭａｘValueの値を有する場合、既設定の前記単方向動き予測モードの参照ピクチャ、及び前記双方向動き予測モードの参照ピクチャの組み合わせを利用しない例外的な場合を示すことを特徴とする請求項３に記載の映像の符号化方法。
8. 映像の復号化方法において、
   第１参照ピクチャリスト、第２参照ピクチャリスト、及び前記第１参照ピクチャリストに含まれた参照ピクチャと、前記第２参照ピクチャリストに含まれた参照ピクチャと、を結合した結合参照ピクチャリストを獲得する段階と、
   前記結合参照リストに含まれた参照ピクチャを利用する単方向動き予測モードの可能な場合の数、及び前記第１参照ピクチャリストと、前記第２参照ピクチャリストとを利用する双方向動き予測モードの可能な場合の数に基づいて、前記現在予測単位の符号化に利用された動き予測モード及び参照ピクチャによる参照シンタックスの値を決定する段階と、
   ビットストリームから、前記現在予測単位の参照シンタックスを獲得する段階と、
   前記獲得された参照シンタックスの値を利用して、前記現在予測単位の動き予測モード及び参照ピクチャを決定する段階と、
   前記決定された動き予測モード及び参照ピクチャを利用して、前記現在予測単位に係わる動き補償を行う段階と、を含むことを特徴とする映像の復号化方法。
9. 前記第１参照ピクチャリストは、前記現在ピクチャに最も近い順方向参照ピクチャから、それ以前の参照ピクチャ順序で、参照ピクチャ・インデックスが割り当てられ、前記第２参照ピクチャリストは、前記現在ピクチャに最も近い逆方向参照ピクチャから、その後の参照ピクチャ順序で、参照ピクチャ・インデックスが割り当てられることを特徴とする請求項８に記載の映像の復号化方法。
10. 前記参照シンタックスは、
    前記単方向動き予測モードで利用可能な参照ピクチャ、及び前記双方向動き予測モードで利用可能な参照ピクチャの組み合わせごとに割り当てられた値を有することを特徴とする請求項８に記載の映像の復号化方法。
11. 前記結合参照リストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿ＬＣ、前記第１参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ０、前記第２参照ピクチャリストに含まれた参照ピクチャの枚数をＮｕｍＯｆＲｅｆ＿Ｌ１、前記現在予測単位に対して、単方向動き予測及び双方向動き予測が行われる全ての場合の数をＭａｘValueとするとき、前記全ての場合の数ＭａｘValueは、次の数式：ＭａｘValue＝ＮｕｍＯｆＲｅｆ＿ＬＣ＋ＮｕｍＯｆＲｅｆ＿Ｌ０＊ＮｕｍＯｆＲｅｆ＿Ｌ１の値を有し、
    前記単方向動き予測モードで利用可能な参照ピクチャ、及び前記双方向動き予測モードで利用可能な参照ピクチャの組み合わせごとに、０から（ＭａｘValue−１）の値のうち一つが、前記参照シンタックスの値として割り当てられることを特徴とする請求項１０に記載の映像の復号化方法。
12. 前記第１参照ピクチャリストと、前記第２参照ピクチャリストとに重複して含まれた参照ピクチャの枚数をＮｕｍＯｆRedundancyとするとき、前記結合参照ピクチャリストは、ＮｕｍＯｆＲｅｆ＿Ｌ０＋ＮｕｍＯｆＲｅｆ＿Ｌ１−ＮｕｍＯｆRedundancy個の互いに重複しない参照ピクチャを含むことを特徴とする請求項１１に記載の映像の復号化方法。
13. 前記現在予測単位が単方向動き予測された場合、前記現在予測単位が参照する前記結合参照ピクチャリストの参照ピクチャによって、０から（ＮｕｍＯｆＲｅｆ＿ＬＣ−１）の値が、前記現在予測単位の参照シンタックスとして復号化されることを特徴とする請求項１１に記載の映像の復号化方法。
14. 前記現在予測単位が双方向動き予測された場合、前記現在予測単位が参照する第１参照ピクチャリストの第１参照ピクチャと、前記第２参照ピクチャリストの第２参照ピクチャとの組み合わせによって、ＮｕｍＯｆＲｅｆ＿ＬＣから（ＭａｘValue−１）の値が、前記現在予測単位の参照シンタックスとして復号化されることを特徴とする請求項１１に記載の映像の復号化方法。
15. 前記参照シンタックスがＭａｘValueの値を有する場合、既設定の前記単方向動き予測モードの参照ピクチャ、及び前記双方向動き予測モードの参照ピクチャの組み合わせを利用しない例外的な場合を示すことを特徴とする請求項１１に記載の映像の復号化方法。

Images