JP2014520453A - 動き情報の符号化方法及びその装置、その復号化方法及びその装置 - Google Patents

Abstract

動き情報の符号化、復号化方法及びその装置に係り、該動き情報符号化方法は、現在予測単位と時空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得し、動き情報候補に含まれた動き情報の個数が、所定個数ｎより少ない場合、動き情報候補に含まれた動き情報の個数が、所定個数ｎになるように、代案的動き情報を動き情報候補に付加し、ｎ個の動き情報候補のうち、現在予測単位に係わる動き情報を決定し、決定された動き情報を示すインデックス情報を、現在予測単位の動き情報として符号化する。

Description

本発明は、ビデオの符号化、復号化方法及びその装置に係り、さらに具体的には、現在予測単位の動き情報を効率的に符号化する方法及びその装置、復号化する方法及びその装置に関する。

最近、高解像度（high definition）ビデオ・コンテンツが増加するにつれ、ＭＰＥＧ（moving picture experts group）−４Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような既存のビデオコーデックスに比べ、さらに高いコーディング効率を有するビデオコーデックスの必要性が高まっている。

動き補償は、ビデオ信号で、時間的リダンダンシー（重複性）を除去するための技術として、原ビデオ信号と、動きベクトルが示す参照信号との差値である残差信号を伝送することにより、ビデオコーディングで圧縮効率を向上させる。一般的に、動き補償を利用した各ブロックに対する符号化結果として、各ブロックの動きベクトルと残差値とがデコーダ側に伝送される。各ブロックの動きベクトルは、符号化されたビットストリームで相当な部分を占めるので、圧縮効率を向上させるために、各ブロックに割り当てられた動きベクトルに係わる情報を減らす必要がある。

動きベクトルの符号化による伝送オーバーヘッドを減少させるために、従来、ＭＰＥＧ−２コーデックスでは、以前ブロックの動きベクトルを、現在ブロックの予測動きベクトルとして利用して、ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのようなコーデックスでは、現在ブロックの左側、上側及び右上側に隣接した以前の符号化されたブロックの動きベクトル中央値（median）を、現在ブロックの予測動きベクトル（motion vector predictor）として利用する。

本発明が解決しようとする技術的課題は、予測単位の動き情報を効率的に符号化する方法及びその装置を提供することである。

現在予測単位と、時間的または空間的に関連した予測単位が有する動き情報を利用して、固定された所定個数を有する動き情報候補を生成する。

本発明によれば、固定された個数の動き情報候補を利用することにより、動き情報を周辺情報に基づいて決定する方式や、別途に動き補を伝送する方式に比べ、独立した処理が可能であり、エラー発生時にも、動き情報候補の個数は固定されているので、パージング（parsing）段階でのエラーロバスト性（error robustness）が増強される。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による動き情報符号化装置の構成を示したブロック図である。 本発明の他の実施形態による動き情報符号化装置の構成を示したブロック図である。 図１４Ａの予測動きベクトル候補生成部の具体的な構成を示したブロック図である。 本発明の一実施形態による、現在予測単位の予測動きベクトル獲得に利用される周辺予測単位を図示する図面である。 本発明の一実施形態による、スケーリングされた空間的予測動きベクトル候補を決定する過程を説明するための参照図である。 本発明の一実施形態による、周辺予測単位の動きベクトルをスケーリングし、現在予測単位の予測動きベクトル候補を生成する方式を説明するための参照図である。 本発明の一実施形態による、時間的予測動きベクトルを生成する過程を説明するための参照図である。 本発明の一実施形態による、現在予測単位の予測動きベクトルを示すインデックス情報の一例を示した図面である。 本発明の一実施形態による、現在予測単位の予測動きベクトルを示すインデックス情報の一例を示した図面である。 本発明の一実施形態による、併合候補から除去される周辺予測単位について説明するための参照図である。 本発明の一実施形態による、併合候補から除去される周辺予測単位について説明するための参照図である。 本発明の一実施形態による、併合候補に含まれた動き情報のリダンダンシーを除去する過程について説明するための参照図である。 本発明の一実施形態による、代案的併合候補を併合候補に付加する過程について説明するための参照図である。 本発明の一実施形態による、代案的併合候補を併合候補に付加する過程について説明するための参照図である。 本発明の一実施形態による、代案的併合候補を併合候補に付加する過程について説明するための参照図である。 本発明の一実施形態による動き情報符号化方法のフローチャートである。 本発明の一実施形態による動き情報復号化装置の構成を示したブロック図である。 本発明の一実施形態による動き情報復号化装置の構成を示したブロック図である。 本発明の一実施形態による動きベクトル復号化方法を示したフローチャートである。

本発明の一実施形態による動き情報の符号化方法は、現在予測単位に対する動き予測を行い、前記現在予測単位に係わる動き情報を獲得する段階と、前記現在予測単位と、時間的または空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得する段階と、前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する段階と、前記ｎ個の動き情報候補のうち、前記現在予測単位に係わる動き情報を決定する段階と、前記動き情報を示すインデックス情報を、前記現在予測単位の動き情報として符号化する段階と、を含むことを特徴とする。

本発明の一実施形態による動き情報の符号化装置は、現在予測単位と、時間的または空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得し、前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する動き情報候補生成部；及び前記ｎ個の動き情報候補のうち、前記現在予測単位に係わる動き情報を決定し、前記動き情報を示すインデックス情報を、前記現在予測単位の動き情報として符号化する動き情報符号化部；を含むことを特徴とする。

本発明の一実施形態による動き情報の復号化方法は、現在予測単位と、時間的または空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得する段階と、前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する段階と、ビットストリームから前記動き情報候補のうち、１つの動き情報を示すインデックスを獲得する段階と、前記獲得されたインデックスが示す動き情報を利用して、前記現在予測単位の動き情報を獲得する段階と、を含むことを特徴とする。

本発明の一実施形態による動き情報の復号化装置は、現在予測単位と、時間的または空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得し、前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する動き情報候補生成部；ビットストリームから、前記動き情報候補のうち、１つの動き情報を示すインデックスを獲得するエントロピ復号化部；及び前記獲得されたインデックスが示す動き情報を利用して、前記現在予測単位の動き情報を獲得する動き情報復号化部；を含むことを特徴とする。

以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが８より大きい２の自乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度、及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なっても決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されもする。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されもする。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピ符号化などの段階を経るが、全ての段階にわたって同一のデータ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位として分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいは同サイズのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含んでもよい。

以下、周波数変換の基になるデータ単位を、「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も再帰的に（recursively）さらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションで分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度に符号化せず、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されもする。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存メクロブロック単位に符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位であると決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像であるとしても、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズは、相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上するのである。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のおいて、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位において、それぞれの符号化単位内の変換単位の大きさを決定しければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとにツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータに対し、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を、深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位で、映像を符号化したり復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による、深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに,パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれか一つで予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（９７０）になって深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションに比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるかいかんを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位は、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで、２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置１００の動き予測部４２０、動き補償部４２５及び、図５の映像復号化装置２００の動き補償部５５０で行われる動き予測及び補償過程；図４のエントロピ符号化部４５０、及び図５のエントロピ復号化部５２０で行われる動き情報の符号化及び復号化の過程；について具体的に説明する。図１ないし図１３を参照し、前述のように、予測単位は、符号化単位の予測符号化のためのデータ単位であり、以下の説明で予測単位は、予測単位自体を意味するか、あるいは予測単位を分割するパーティションを示すことができる。

前述のように、予測単位は、イントラ予測モード、インタ予測モード及びスキップモードなどの多様な予測モードを介して符号化される。

インタ予測モードで、現在予測単位は、単方向予測（uni-direction prediction）または双方向予測（bi-directional prediction）を介して予測される。具体的には、Ｐスライス内に含まれた予測単位は、参照ピクチャリストｌｉｓｔ ０に含まれた参照ピクチャＬ０ picture、または参照ピクチャリストｌｉｓｔ １に含まれた参照ピクチャＬ１ pictureのうちいずれか１つのみを利用する単方向予測を介して予測される。参照ピクチャリストｌｉｓｔ ０に含まれた参照ピクチャＬ０ pictureを利用する予測方式を「ＬＯ予測」といい、参照ピクチャリストｌｉｓｔ １に含まれた参照ピクチャＬ１ pictureを利用する場合、「Ｌ１予測」という。参照ピクチャリストｌｉｓｔ ０では、最も最近の過去ピクチャから、それ以前のピクチャの順序で、参照ピクチャ・インデックスが割り当てられ、その次に最も近い将来ピクチャから、その後のピクチャの順序で、参照ピクチャ・インデックスが割り当てられる。参照ピクチャリストｌｉｓｔ １では、参照ピクチャリストｌｉｓｔ ０と反対に、最も近い将来ピクチャから、その後のピクチャの順序で参照ピクチャ・インデックスが割り当てられ、その次に最も最近の過去ピクチャから、それ以前ピクチャの順序で、参照ピクチャ・インデックスが割り当てられる。

Ｂスライス内に含まれた予測単位は、単方向予測、または参照ピクチャリストｌｉｓｔ ０に含まれた参照ピクチャＬ０ picture、並びに参照ピクチャリストｌｉｓｔ １に含まれた参照ピクチャＬ１ pictureの平均値を利用する双方向予測を介して予測される。動き予測部４２０で遂行される双方向予測モードは、現在ピクチャ前後の参照ピクチャに制限されず、で任意の２枚の参照ピクチャを使用することができ、双予測モード（bi-predictive mode）とも呼ばれる。

各予測モードによって獲得された予測値を符号化したコストが比較され、最小のコストを有する予測モードが、現在予測単位の最終的な予測モードとして決定される。コスト比較時には、率・歪曲（rate-distortion）に基づいて、現在予測単位に適用される最終予測モードが決定される。

復号化側でインター予測される予測単位の予測値を生成するように、インター予測される予測単位ごとに、いかなるピクチャを参照しているかに係わる参照ピクチャ情報、動きベクトル情報、及び予測方向のような動き情報が伝送されなければならない。

本発明の実施形態によれば、動き情報の符号化方式は、１）予測単位の予測動きベクトル・インデックス、予測動きベクトルと原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報をそれぞれ符号化して伝送する第１動き情報符号化モード（ＡＭＶＰ：advanced motion vector prediction）モード）、及び２）周辺予測単位の動き情報をそのまま現在予測単位の動き情報として利用する併合（merge）モードであり、併合モードに該当するか否かを示すフラグ（merge flag）、及び動き情報を持ってくる周辺予測単位候補のうち一つを示すフラグ（merge index）を予測単位の動き情報として符号化する第２動き情報符号化モード（「併合モード」）の２つののうちいずれか一つを利用することができる。ＡＭＶＰモード及び併合モードのうちいずれのモードによって予測単位の動き情報を符号化するかということは、各モードによって生じるＲＤコストを比較し、さらに小コストを有するモードを選択することができる。

符号化側では、現在予測単位の動き情報をＡＭＶＰモードを介して符号化する場合、併合モードに該当するか否かを示すフラグ（merge flag）を０に設定し、予測単位の予測動きベクトル・インデックス、予測動きベクトルと原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を符号化して復号化側に伝送する。復号化側では、併合モードに該当するか否かを示すフラグ（merge flag）が０に設定された場合、現在予測単位の動き情報がＡＭＶＰモードで符号化されたものであると判断し、ビットストリームから、現在予測単位の予測動きベクトル・インデックス、予測動きベクトルと原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を獲得する。

また、符号化側では、現在予測単位の動き情報を、併合モードを介して符号化する場合、併合モードいかんを示すフラグ（merge flag）を１に設定し、併合モードいかんを示すフラグ（merge flag）、及び動き情報を持ってくる併合予測単位候補のうち一つを示すフラグ（merge index）を復号化側に伝送する。復号化側では、併合モードいかんを示すフラグ（merge flag）が１に設定された場合、現在予測単位の動き情報が併合モードで符号化されたものであると判断し、ビットストリームから動き情報を持ってくる併合候補のうち一つを示すインデックス（merge index）を獲得し、merge indexを利用して決定された併合候補の動き情報、すなわち、周辺予測単位の動きベクトル、参照ピクチャ情報及び予測方向情報をそのまま現在予測単位の動き情報として利用する。

本発明の実施形態による動き情報符号化、復号化方法及びその装置では、現在予測単位と時空間的に関連した予測単位の動き情報を利用して獲得された基本（default）動き情報を利用して、現在予測単位の動き情報候補を生成し、もし基本動き情報が、既定の所定個数ｎ（ｎは、整数）より少ない場合、基本動き情報を変更したり、あるいは既定の動き情報を動き情報候補に付加することにより、ｎ個の動き情報を生成し、現在予測単位に適用された動き情報を示すインデックスを、現在予測単位の動き情報として、符号化したり復号化することを特徴とする。

本発明について説明するにあたり、動き情報のうち動きベクトル情報を符号化する場合を中心に説明するが、本発明による思想は、それに限定されるものではなく、動きベクトル以外に、参照ピクチャ情報、予測方向情報のような他の動き情報を符号化する場合にも適用されもする。

以下、本発明の実施形態による、予測単位の動き情報を符号化する方法及びその装置と、予測単位の動き情報を復号化する方法及びその装置とについて具体的に説明する。

Ｉ．ＡＭＶＰモードによる動き情報の符号化
図１４Ａは、本発明の一実施形態による動き情報符号化装置の構成を示したブロック図である。図１４Ａを参照すれば、動き情報符号化装置１４００は、予測動きベクトル候補生成部１４１０及び動きベクトル符号化部１４２０を含む。図１４Ａの動き情報符号化装置１４００は、図４のビデオ符号化装置４００に含まれる。例えば、図４の動き予測部４２０は、図１４Ａの予測動きベクトル候補生成部１４１０の機能を遂行することができ、エントロピ復号化部４５０は、図１４Ａの動きベクトル符号化部１４２０の機能を遂行することができる。それに限定されるものではなく、図４に図示されたビデオ符号化装置４００の他の構成要素や、図示されていない制御部などによって、図１４Ａの動き情報符号化装置１４００で遂行される機能が遂行される。予測動きベクトル候補生成部１４１０は、現在予測単位の周辺予測単位が有する動きベクトルを利用して、予測動きベクトル候補を獲得する。特に、本発明の一実施形態による予測動きベクトル候補生成部１４１０は、現在予測単位の位置や、周辺予測単位の動き情報のような外部条件に係わりなく、常に固定された個数ｎ（ｎは、整数）個の予測動きベクトル候補を生成する。もし予測動きベクトル候補に含まれた動きベクトルの個数が、所定個数ｎ（ｎは、整数）より少ない場合、予測動きベクトル候補生成部４１０は、予測動きベクトル候補に含まれた動きベクトルの個数がｎになるように、現在予測単位と時間的に関連した予測単位、及び空間的に関連した予測単位が有する基本予測動きベクトルを変更したり、ゼロベクトルを含む代案的予測動きベクトルを、予測動きベクトル候補に付加することにより、全体ｎ個の予測動きベクトル候補を生成する。予測動きベクトル候補の生成過程については、後述する。

動きベクトル符号化部１４２０は、ｎ個の予測動きベクトル候補のうち、現在予測単位に係わる動きベクトルの予測動きベクトルを決定し、予測動きベクトルを示すインデックス情報を、現在予測単位の動きベクトル情報として符号化する。具体的には、動きベクトル符号化部１４２０は、ｎ個の予測動きベクトル候補それぞれに、０から（ｎ−１）までの予測動きベクトル・インデックスを割り当て、現在予測単位の予測動きベクトルに対応する予測動きベクトル・インデックスを、現在予測単位の動きベクトル情報として符号化する。例えば、ｎ＝２、すなわち、現在予測単位の予測動きベクトル候補が２個に固定された場合、Ｌ０方向またはＬ１方向それぞれに対して予測動きベクトル候補生成部１４１０で生成された２個の予測動きベクトル候補を、それぞれＭＶＬＸ＿Ｃａｎｄ０，ＭＶＬＸ＿Ｃａｎｄ１（Ｘは、０または１）であるとすれば、動きベクトル符号化部１４２０は、ＭＶＬＸ＿Ｃａｎｄ０を示す予測動きベクトル・インデックスを０、ＭＶＬＸ＿Ｃａｎｄ１を示す予測動きベクトル・インデックスを１に設定し、現在予測単位に係わる符号化結果によって、最小コストを有する予測動きベクトルに対応するインデックスを、現在予測単位の動きベクトル情報として符号化する。このように、ｎ＝２である場合、１ビットの予測動きベクトル・インデックスを介して、現在予測単位の動きベクトル情報を符号化することができる。

動きベクトル符号化部１４２０は、予測動きベクトル・インデックス以外に、現在予測単位の原動きベクトルと予測動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を符号化してビットストリームに付加する。

そのように、符号化側で、所定規則によって、固定された個数の予測動きベクトル候補を獲得し、予測動きベクトル候補のうち１つの予測動きベクトルを示すインデックス情報を伝送する場合、復号化側では、符号化側と同一の規則によって、固定された個数の予測動きベクトル候補を生成し、伝送されたインデックス情報を利用して、現在予測単位の予測動きベクトルを決定することができる。また、復号化側では、ビットストリームから、原動きベクトルと予測動きベクトルとの差値を獲得し、予測動きベクトル・インデックスが示す予測動きベクトルと差値とを加算し、現在予測単位の動きベクトルを復元することができる。また、復号化側では、復元された動きベクトル、ビットストリームから獲得された参照ピクチャ情報及び予測方向情報（Ｌ０方向、Ｌ１方向）を利用して、現在予測単位の予測値を生成することができる。

以下、ＡＭＶＰモードで、予測動きベクトル候補を生成する過程について、具体的に説明する。

図１５は、図１４Ａの予測動きベクトル候補生成部１４１０の具体的な構成を示したブロック図である。図１５を参照すれば、予測動きベクトル候補生成部１４１０は、空間的予測動きベクトル候補生成部１５１０、時間的予測動きベクトル候補生成部１５２０、重複除去部１５３０及び最終予測動きベクトル候補生成部１５４０を含む。

空間的予測動きベクトル候補生成部１５１０は、現在予測単位と空間的に関連した予測単位の動き情報を利用して、予測動きベクトル候補を生成する。具体的には、空間的予測動きベクトル候補生成部１５１０は、現在予測単位の左側に位置した周辺予測単位を、所定順序によって順次に検索し、第１空間的予測動きベクトル候補を獲得する第１空間的予測動きベクトル候補生成部１５１１、及び現在予測単位の上側に位置した周辺予測単位を、所定順序によって順次に検索し、第２空間的予測動きベクトル候補を獲得する第２空間的予測動きベクトル候補生成部１５１２を含む。

図１６は、本発明の一実施形態によって、現在予測単位の予測動きベクトルを獲得するのに利用される周辺予測単位を図示している。図１６を参照すれば、空間的予測動きベクトル候補生成部１５１０は、現在予測単位１６１０の左側に位置した周辺予測単位のうち、現在予測単位１６１０の左下側（left-bottom）に位置した周辺予測単位（Ａ０）１６２１、及び左下側に位置した周辺予測単位（Ａ０）１６２１の上側に位置した（left-down）周辺予測単位（Ａ１）１６２２が有する動きベクトルのうち、利用可能な動きベクトルを、第１空間的予測動きベクトル候補として決定する。また、空間的予測動きベクトル候補生成部１５１０は、現在予測単位１６１０の上側に位置した周辺予測単位のうち、現在予測単位１６１０の右上側（above-right）に位置した周辺予測単位（Ｂ０）１６３１、右上側に位置した周辺予測単位（Ｂ０）１６３１の左側に位置した周辺予測単位（Ｂ１）１６３２、及び現在予測単位１６１０の左上側（above-left）に位置した周辺予測単位（Ｂ２）１６３３が有する動きベクトルのうち、利用可能な動きベクトルを、第２空間的予測動きベクトル候補として決定する。

具体的には、第１空間的予測動きベクトル候補生成部１５１１は、Ａ０ １６２１及びＡ１ １６２２の動きベクトルの利用可能性いかんを順次にチェックし、利用可能な動きベクトルを有すると検索された周辺予測単位の動きベクトルを、第１空間的予測動きベクトル候補として決定する。ここで、動きベクトルの利用可能性とは、周辺予測単位が、現在予測単位と同一の参照ピクチャリスト内の同一の参照ピクチャを示す動きベクトルを有するか否かということを示す。例えば、現在予測単位１６１０の動きベクトルが、Ｌ０リスト内のＲ０参照インデックスを有する参照ピクチャＬ０Ｒ０ pictureを示す動きベクトルとするとき、Ａ０ １６２１は、イントラ予測された予測単位であるか、現在予測単位１６１０と異なる参照ピクチャリストに含まれた参照ピクチャを示す動きベクトルを有したり、あるいは同一の参照ピクチャリストの他の参照ピクチャを示す動きベクトルを有する場合には、Ａ０ １６２１は、利用可能な動きベクトルを有さないと判断される。もしＡ１ １６２２が、現在予測単位１６１０と同一の参照ピクチャリスト内の同一の参照ピクチャを示す動きベクトルを有する場合、Ａ１ １６２２の動きベクトルは、第１空間的予測動きベクトル候補として決定される。

同様に、第２空間的予測動きベクトル候補生成部１５１２は、Ｂ０ １６３１、Ｂ１ １６３２及びＢ２ １６３３の動きベクトルの利用可能性いかんを順次にチェックし、現在予測単位１６１０と同一の参照ピクチャリスト内の同一の参照ピクチャを示す周辺予測単位の動きベクトルを、第２空間的予測動きベクトル候補として決定する。

周辺予測単位のうち、利用可能な動きベクトルを有する周辺予測単位が存在しない場合には、同一の参照ピクチャリストの他の参照ピクチャを示す周辺予測単位の動きベクトル、または他の参照ピクチャリストに含まれた参照ピクチャを示す周辺予測単位の動きベクトルをスケーリングし、現在予測単位の予測動きベクトル候補として利用することができる。

図１７は、本発明の一実施形態による、スケーリングされた空間的予測動きベクトル候補を決定する過程について説明するための参照図である。図１７を参照すれば、現在予測符号化単位１７３０の動きベクトルＭＶＬ０＿ｃｕｒは、Ｌ０リスト内のＲ０参照インデックスを有する参照ピクチャであるＬ０Ｒ０ピクチャ１７２０を示し、Ａ０ １７３５は、イントラ予測された予測単位、Ａ１ １７３６は、Ｌ１リスト内のＲ０参照インデックスを有する参照ピクチャであるＬ１Ｒ０ピクチャ１７４０を示す動きベクトルｍｖＬ１＿Ａ１を有し、Ｂ０ １７３２は、イントラ予測された予測単位、Ｂ１ １７３３は、Ｌ１リスト内のＲ１参照インデックスを有する参照ピクチャであるＬ１Ｒ１ピクチャ１７５０を示す動きベクトルｍｖＬ１＿Ｂ１を有し、Ｂ２ １７３４は、Ｌ０リスト内のＲ１参照インデックスを有する参照ピクチャであるＬ０Ｒ１ピクチャ１７１０を示す動きベクトルｍｖＬ０＿Ｂ２を有する。図１７で、現在予測単位（ＰＵ）１７３１の周辺予測単位のうち、いかなる予測単位も、現在予測単位１７３１の動きベクトルｍｖＬ０＿ｃｕｒと同様に、Ｌ０Ｒ０ピクチャ１７２０を有する動きベクトルを有さない。

このように、周辺予測単位のうち、現在予測単位１７３１の動きベクトルが示す参照ピクチャと同一の参照ピクチャを示す動きベクトルを有する周辺予測単位が存在しない場合、空間的予測動きベクトル候補生成部１５１０は、周辺予測単位のうち、インター予測される予測単位の動きベクトルが示す参照ピクチャと、現在予測単位の動きベクトルが示す参照ピクチャとの時間的距離に基づいて、前記インター予測される予測単位の動きベクトルをスケーリングし、スケーリングされた動きベクトルを、予測動きベクトル候補に付加することができる。すなわち、空間的予測動きベクトル候補生成部１５１０は、周辺予測単位の動きベクトルのうち、現在予測単位１７３１と同一の参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャを示す周辺予測単位の動きベクトルを、予測動きベクトル候補に付加したり、あるいは現在予測単位１７３１と同一の参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャを示す周辺予測単位の動きベクトルも存在しない場合には、現在予測単位１７３１０と異なる参照ピクチャリスト内の参照ピクチャを示す周辺予測単位の動きベクトルを、予測動きベクトル候補に付加することができる。

例えば、空間的予測動きベクトル候補生成部１５１０は、イントラ予測されたＡ０ １７３５予測単位は除外し、Ａ１ １７３６の動きベクトルｍｖＬ１＿Ａ１を、現在ピクチャ１７３０と、現在予測単位１７３１の動きベクトルｍｖＬ０＿ｃｕｒが示すＬ０Ｒ０ピクチャ１７２０との時間的距離；及び現在ピクチャ１７３０と、Ａ１ １７３６の動きベクトルｍｖＬ１＿Ａ１が示すＬ１Ｒ０ピクチャ１７４０との時間的距離；を考慮してスケーリングし、スケーリングされた動きベクトルｍｖＬ１＿Ａ１’を、第１空間的予測動きベクトル候補として決定することができる。

また、空間的予測動きベクトル候補生成部１５１０は、第２空間的予測動きベクトル候補として、他の参照ピクチャリスト内の参照ピクチャであるＬ１Ｒ１ピクチャ１７５０を示すＢ１ １７３３の動きベクトルｍｖＬ１＿Ｂ１の代わりに、現在予測単位１７３１の動きベクトルｍｖＬ０＿ｃｕｒと同一の参照ピクチャリスト内の他の参照インデックスを有する参照ピクチャであるＬ０Ｒ１ピクチャ１７１０を示すＢ２ １７３４の動きベクトルｍｖＬ０＿Ｂ２をスケーリングし、第２空間的予測動きベクトル候補として決定する。すなわち、空間的予測動きベクトル候補生成部１５１０は、スケーリングする周辺予測単位の動きベクトルを決定するとき、現在予測単位の動きベクトルと同一の参照ピクチャリストに含まれた参照ピクチャを示す周辺予測単位の動きベクトルをまず決定した後、同一の参照ピクチャリストに含まれた参照ピクチャを示す周辺予測単位の動きベクトルが存在しない場合には、他の参照ピクチャリストに含まれた参照ピクチャを示す周辺予測単位の動きベクトルを、スケーリングする動きベクトルとして決定する。空間的予測動きベクトル候補生成部１５１０は、Ｂ２ １７３４の動きベクトルｍｖＬ０＿Ｂ２を、現在ピクチャ１７３０と、現在予測単位１７３１の動きベクトルｍｖＬ０＿ｃｕｒが示すＬ０Ｒ０ピクチャ１７２０との時間的距離；及び現在ピクチャ１７３０と、Ｂ２ １７３４の動きベクトルｍｖＬ０＿Ｂ２が示すＬ０Ｒ１ピクチャ１７１０との時間的距離；を考慮してスケーリングし、スケーリングされた動きベクトルｍｖＬ０＿Ｂ２’を、第２空間的予測動きベクトル候補として決定することができる。

一方、そのようなスケーリングされた動きベクトルを、空間的予測動きベクトル候補に含めるか否かということは、特定条件を考慮して決定される。例えば、空間的予測動きベクトル候補生成部１５１０は、現在予測単位の左側に隣接した周辺予測単位（Ａ０及びＡ１）のうちいずれか一つがイントラ予測された場合にのみ、Ｂ０、Ｂ１及びＢ２のうちインター予測された予測単位の動きベクトルをスケーリングし、第２空間的予測動きベクトル候補に含める。言い替えれば、スケーリングされた動きベクトルを、空間的予測動きベクトル候補に含めるか否かということは、既設定の特定条件を満足させるか否かによって選択的に行われる。特定条件は、設計可能な事項であり、前述の例に限定されるものではなく、多様な方式で設定される。

図１８は、本発明の一実施形態によって、周辺予測単位の動きベクトルをスケーリングし、現在予測単位の予測動きベクトル候補を生成する方式について説明するための参照図である。

前述のように、現在予測単位の周辺予測単位のうち、現在予測単位と同一の動きベクトル、すなわち、同一参照ピクチャリスト内に存在する同一参照インデックスを有する参照ピクチャを示す動きベクトルが存在しない場合、同一参照ピクチャリスト内の他の参照ピクチャを参照する周辺予測単位（図１８で、Ｂｎ予測単位）の動きベクトルＭＶ（Ｂｎ）をスケーリングしたり、あるいは他の参照ピクチャリスト内の参照ピクチャを参照する周辺予測単位（図１８で、Ａｎ予測単位）の動きベクトルＭＶ（Ａｎ）をスケーリングし、現在予測単位の予測動きベクトル候補に付加することができる。具体的には、現在ピクチャと、現在予測単位の動きベクトルＭＶＬ０＿ｃｕｒが示す参照ピクチャ（Ｌ０Ｒ０ピクチャ）との時間的距離をｄ（ｃｕｒ）とし、現在ピクチャと、Ｂｎ予測単位の動きベクトルＭＶ（Ｂｎ）が示す参照ピクチャ（Ｌ０Ｒ１ピクチャ）との時間的距離をｄ（Ｂｎ）とすれば、Ｂｎ予測単位の動きベクトルＭＶ（Ｂｎ）は、次の数式：ＭＶ（Ｂｎ）’＝ＭＶ（Ｂｎ）＊｛ｄ（ｃｕｒ）／ｄ（Ｂｎ）｝のようにスケーリングされ、スケーリングされた動きベクトルＭＶ（Ｂｎ）’は、現在予測単位の予測動きベクトル候補に付加される。同様に、現在ピクチャと、Ａｎ予測単位の動きベクトルＭＶ（Ａｎ）が示す参照ピクチャ（Ｌ１Ｒ１ピクチャ）との時間的距離をｄ（Ａｎ）とすれば、Ａｎ予測単位の動きベクトルＭＶ（Ａｎ）は、次の数式：ＭＶ（Ａｎ）’＝ＭＶ（Ａｎ）＊｛ｄ（ｃｕｒ）／ｄ（Ａｎ）｝のようにスケーリングされ、スケーリングされた動きベクトルＭＶ（Ａｎ）’は、現在予測単位の予測動きベクトル候補に付加される。

再び図１５を参照すれば、重複除去部１５３０は、第１空間的予測動きベクトル候補と、第２空間的予測動きベクトル候補との同一性いかんを判断し、第１空間的予測動きベクトル候補と、第２空間的予測動きベクトル候補とが同一である場合、重複する第２空間的予測動きベクトル候補を、予測動きベクトル候補から除去することにより、第１空間的予測動きベクトルのみを予測動きベクトル候補に含め、第１空間的予測動きベクトル候補と、第２空間的予測動きベクトル候補とが同一ではない場合には、第１空間的予測動きベクトル候補と、第２空間的予測動きベクトル候補とをいずれも予測動きベクトル候補として維持する。

時間的予測動きベクトル候補生成部１５２０は、現在予測単位と時間的に関連した予測単位、すなわち、以前に符号化された以前ピクチャの予測単位のうち、現在予測単位の位置を基準に、関連した（collocated）予測単位の動きベクトルを利用して生成された時間的予測動きベクトルを、予測動きベクトル候補に付加する。

図１９は、本発明の一実施形態による時間的予測動きベクトルを生成する過程について説明するための参照図である。

図１５及び図１９を参照すれば、時間的予測動きベクトル候補生成部１５２０は、現在ピクチャ１９１０以前に符号化された参照ピクチャ１９２０の予測単位のうち、現在予測単位１９１１と同一の位置の参照ピクチャ１９２０の予測単位１９２１の右側下端に位置した予測単位１９２４が有する動きベクトルをスケーリングし、時間的予測動きベクトルを生成し、生成された時間的予測動きベクトルを、予測動きベクトル候補に付加する。時間的予測動きベクトルのスケーリング過程は、前述の図１８のように、右側下端の予測単位１９２４の動きベクトルが示す参照ピクチャと、現在予測単位の動きベクトルが示す参照ピクチャとの時間的距離に基づいて行われる。

もし右側下端に位置した予測単位１９２４がイントラ予測され、動きベクトルが利用可能ではない場合、時間的予測動きベクトル候補生成部１５２０は、現在予測単位１９１１の中心位置のポイントＣ １９１２と同一位置の参照ピクチャ１９２０のポイントＣ’１９２２を含む予測単位１９２１の動きベクトルをスケーリングし、時間的予測動きベクトルを生成することができる。

重複除去部１５３０を介してリダンダンシー（重複性）が除去された予測動きベクトル候補に含まれた予測動きベクトルの個数は、固定されたｎ個に至らないことがある。前述の例で、現在予測単位の上側または左側に隣接した周辺予測単位がいずれもイントラ予測された場合、空間的予測動きベクトル候補生成部１５１０及び時間的予測動き候補生成部１５２０を介してｎ個未満の予測動きベクトル候補だけが生成される。

最終予測動きベクトル候補生成部１５４０は、重複が除去された予測動きベクトル候補に含まれた動きベクトルの個数が、あらかじめ固定されたｎ個より少ない場合、予測動きベクトル候補に含まれた動きベクトルの個数がｎ個になるまで、既定の成分値を有する所定動きベクトルを、予測動きベクトル候補に付加したり、あるいは基本予測動きベクトルの値を変更した予測動きベクトルを、予測動きベクトル候補に付加する。ここで所定動きベクトルは、各成分値が０である値を有するゼロベクトルであることが望ましい。例えば、ｎ＝２とし、時空間的予測動きベクトルのリダンダンシーを除去した予測動きベクトル候補が、ただ１個の予測動きベクトル候補のみを有する場合、最終予測動きベクトル候補生成部１５４０は、（０，０）のゼロベクトルを予測動きベクトル候補に付加する。

図２０Ａ及び図２０Ｂは、本発明の一実施形態によって、現在予測単位の予測動きベクトルを示すインデックス情報の一例を示した図面である。図２０Ａ及び図２０Ｂで、ｎ＝２、すなわち、予測動きベクトル候補に含まれなければならない予測動きベクトルの個数が２個である場合、予測動きベクトル候補に含まれた予測動きベクトルごとに設定されるインデックス（ＡＭＶＰ＿ｉｄｘ）を示したものである。

図２０Ａでは、現在予測単位の予測動きベクトルとして、Ｌ０方向の予測動きベクトル候補に設定されたインデックスを示し、図２０Ｂでは、Ｌ１方向の予測動きベクトル候補に設定されたインデックスを示す。図示されているように、ｎ＝２である場合、予測動きベクトル候補ｍｖＬＸ＿Ｃａｎｄ０，ｍｖＬＸ＿Ｃａｎｄ１（Ｘは、０または１）それぞれに対して、０ないし１の予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）が割り当てられ、現在予測単位の予測動きベクトルに割り当てられたインデックスが、現在予測単位の動きベクトル情報として符号化される。

予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）は、現在予測単位と時空間的に関連した予測単位が有する動きベクトルを利用して獲得された予測動きベクトル候補には、小さな値（value）を割り当て、基本予測動きベクトル候補を変更したり、あるいはゼロベクトルのように、全体予測動きベクトル候補の個数がｎ個になるように付加した代案的予測動きベクトルには、時空間的予測動きベクトル候補に割り当てられたインデックスの次の値を有するインデックスを割り当てることが望ましい。また、予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）は、切削型単項二進符号化（truncated unary binarization）を介して符号化される。

このように、ＡＭＶＰモードでは、固定されたｎ個の予測動きベクトル候補を生成し、ｎ個の予測動きベクトル候補ごとに、０から（ｎ−１）までの予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）を割り当て、現在予測単位の動きベクトル情報として、現在予測単位の動きベクトルの予測に利用された予測動きベクトル候補を示す予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）、予測動きベクトルと、原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報が符号化されて復号化側に伝送される。

ＩＩ．併合モードによる動き情報の符号化
併合モードは、現在予測単位の動き情報を、併合候補に含まれた予測単位の動き情報を利用して符号化するモードであり、併合モードいかんを示すフラグ（merge flag）、及び動き情報を持ってくる併合候補のうち一つを示すインデックス（merge index）を復号化側に伝送する。

図１４Ｂは、本発明の他の実施形態による動き情報符号化装置の構成を示したブロック図である。図１４Ｂを参照すれば、動き情報符号化装置１４５０は、併合候補生成部１４６０及び動き情報符号化部１４７０を含む。

併合候補生成部１４６０は、まず、現在予測単位の周辺予測単位を検索し、各周辺予測単位が有する動き情報を利用して、併合候補を生成する。検索される時空間的に関連した周辺予測単位は、前述のＡＭＶＰモードで、予測動きベクトル候補を生成するために検索される予測単位と類似している。ただし、併合モードにおいて、空間的に関連した周辺予測単位の検索順序において、ＡＭＶＰモードと若干の違いがある。具体的には、図１４Ｂ及び図１６を参照すれば、併合候補生成部１４６０は、Ａ１ １６２２→Ｂ１ １６３２→Ｂ０ １６３１→Ａ０ １６２１→Ｂ２ １６３３の順序で、周辺予測単位を検索し、各周辺予測単位の動き情報を併合候補に含めるか否かをチェックする。併合候補生成部１４６０は、前記順序で各予測単位を検索し、他のパーティションに含まれた予測単位を除去したり、あるいは重複する動き情報を有する予測単位を除去し、残っている予測単位の動き情報を利用して併合候補を生成する。特に、併合候補生成部１４６０は、常に固定された個数ｎ（ｎは、整数）個の併合候補を生成する。もし併合候補に含まれた動き情報の個数が、所定個数ｎより少ない場合、併合候補生成部１４６０は、併合候補に含まれた動き情報の個数がｎになるように、代案的併合候補を併合候補に付加することにより、全体ｎ個の併合候補を生成する。後述のように、代案的併合候補は、時間的予測動きベクトルの生成に利用される予測単位の動き情報、またはゼロベクトルを利用した動き情報が利用される。

動き情報符号化部１４７０は、ｎ個の併合候補のうち、現在予測単位の動き情報として利用する併合候補を決定し、決定された併合候補を示すインデックス（merge index）、及び併合モードを示すフラグ（merge flag）を符号化する。

図２１Ａ及び図２１Ｂは、本発明の一実施形態によって、併合候補から除去される周辺予測単位について説明するための参照図である。

図２１Ａを参照すれば、ＰＵ０ ２１１０及びＰＵ１ ２１２０は、１つの符号化単位２１００に含まれた予測単位であると仮定する。ＰＵ１ ２１２０は、符号化単位２１００の最初予測単位ではないので、ＰＵ１ ２１２０の併合候補生成時には、ＰＵ０ ２１１０に含まれた予測単位であるＡ１ ２１１５の動き情報は、併合候補から除外される。Ａ１ ２１１５を除外した残りの周辺予測単位Ｂ１，Ｂ０，Ａ０，Ｂ２の動き情報は、併合候補に含まれる。周辺予測単位Ｂ１，Ｂ０，Ａ０，Ｂ２において、動き情報を有さない予測単位は、併合候補から除外される。

同様に、図２１Ｂを参照すれば、ＰＵ０ ２１４０及びＰＵ１ ２１５０は、１つの符号化単位２１３０に含まれた予測単位であると仮定する。ＰＵ１ ２１５０は、符号化単位２１３０の最初の予測単位ではないので、ＰＵ１ ２１５０の併合候補生成時には、ＰＵ０ ２１４０に含まれた予測単位であるＢ１の動き情報は、併合候補から除外され、残りの周辺予測単位Ａ１，Ｂ０，Ａ０，Ｂ２の動き情報が併合候補に含まれる。

併合候補生成部１４６０は、現在予測単位を基準に、Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２の動き情報利用可能性、他のパーティションに含まれるか否かということなどを基準に、併合候補を生成した後、併合候補に含まれた候補に存在する動き情報のリダンダンシーを除去する。

図２２は、本発明の一実施形態によって、併合候補に含まれた動き情報のリダンダンシーを除去する過程について説明するための参照図である。

図１６及び図２２を参照すれば、併合候補生成部１４６０は、まず第一に検索されるＡ１予測単位の動き情報が併合候補に含まれた場合、Ａ１予測単位の動き情報は、併合候補にそのまま維持する。併合候補生成部１４６０は、図示された矢印方向に沿って、動き情報のリダンダンシーをチェックする。例えば、併合候補生成部１４６０は、Ｂ１予測単位の動き情報と、Ａ１予測単位の動き情報とを比較し、両者が重複する場合、Ｂ１予測単位の動き情報を併合候補から除去する。また、併合候補生成部１４６０は、Ｂ１予測単位の動き情報と、Ａ１予測単位の動き情報とを比較し、重複する場合、Ｂ１予測単位の動き情報を併合候補から除去する。同様に、併合候補生成部１４６０は、Ｂ０予測単位が、Ｂ１予測単位と同一の動き情報を含む場合、Ｂ０予測単位の動き情報を併合候補から除去し、Ａ０予測単位が、Ａ１予測単位と同一の動き情報を有する場合、Ａ０予測単位の動き情報を併合候補から除去し、Ｂ２予測単位が、Ｂ１予測単位またはＡ１予測単位のうちいずれか一つと同一の動き情報を有する場合、Ｂ２予測単位の動き情報を、併合候補から除去することにより、併合候補に存在する動き情報のリダンダンシーを除去する。

また、併合候補生成部１４６０は、前述の図１９に図示されているように、ＡＭＶＰモードで、時間的予測動きベクトル候補を生成するのに利用される予測単位１９２１，１９２４の動き情報を併合候補に含めることができる。

併合候補生成部１４６０は、周辺予測単位または時間的予測動きベクトル候補を生成するのに利用された予測単位の動き情報を含む併合候補の個数が、固定されたｎ個を超える場合、前側からｎ個の併合候補を選択することができる。併合候補生成部１４６０は、併合候補の個数が、固定されたｎ個未満である場合、代案的併合候補を併合候補に付加する。

図２３ないし図２５は、本発明の一実施形態によって、代案的併合候補を併合候補に付加する過程について説明するための参照図である。

図２３を参照すれば、周辺予測単位の動き情報、または時間的予測動きベクトルの決定に利用される予測単位の動き情報などを介して生成された原併合候補は、参照番号２３００のようであると仮定する。Ｂスライスの双予測される予測単位の動き情報の符号化のために、併合候補生成部１４６０は、原併合候補に含まれた動き情報２３１１，２３１２を結合し、双予測される動き情報２３１３を、新たに原併合候補２３００に付加することにより、更新された併合候補２３１０を生成することができる。もし現在予測単位が、参照ピクチャリストｌｉｓｔ ０内のｒｅｆ０の参照インデックスを有する参照ピクチャ、及び参照ピクチャリストｌｉｓｔ １内のｒｅｆ０の参照インデックスを有する参照ピクチャを利用して双予測された場合、そのような現在予測単位の動き情報として、Ｍｅｒｇｅ＿ｉｄｘ＝３の値を符号化すればよい。復号化側では、符号化側と同一の方式で、併合候補を生成して更新した後、ビットストリームに含まれたmerge index情報を利用して、現在予測単位の動き情報を決定し、決定された動き情報を利用して、現在予測単位の予測値を生成することができる。

図２４を参照すれば、周辺予測単位の動き情報、または時間的予測動きベクトルの決定に利用される予測単位の動き情報などを介して生成された原併合候補は、参照番号２４００のようであると仮定する。Ｂスライスの双予測される予測単位の動き情報の符号化のために、併合候補生成部１４６０は、原併合候補に含まれた動き情報２４１１，２４１２をスケーリングし、双予測される動き情報２４１３，２４１４を、新たに原併合候補２４００に付加することにより、更新された併合候補２４１０を生成することができる。例えば、併合候補生成部１４６０は、Ｍｅｒｇｅ＿ｉｄｘ＝０に該当する動き情報２４１１に含まれた動きベクトルｍｖＬ０＿Ａをスケーリングし、他の参照ピクチャリスト内に含まれた同一の参照インデックスを有する参照ピクチャ（Ｌ１Ｒ１）を示す動き情報２４１３を生成することができる。

図２５を参照すれば、周辺予測単位の動き情報、または時間的予測動きベクトルの決定に利用される予測単位の動き情報などを介して生成された原併合候補は、参照番号２５００のようであると仮定する。Ｂスライスの双予測される予測単位の動き情報の符号化のために、併合候補生成部１４６０は、原併合候補に含まれた動き情報の参照ピクチャ情報は、そのまま維持したまま、ゼロベクトルを有する動き情報２５１１，２５１２を、新たに原併合候補２５００に付加することにより、更新された併合候補２５１０を生成することができる。

このように、併合候補生成部１４６０は、原併合候補に含まれた動き情報を結合したり、動きベクトルをスケーリングしたり、あるいはゼロベクトルを有する動き情報を付加することにより、併合候補に含まれた動き情報がｎ個になるようにする。

このように、ｎ個の動き情報が含まれた併合候補が生成されれば、動き情報符号化部１４７０は、ｎ個の動き情報ごとに、０から（ｎ−１）までの併合インデックス（merge index）を設定し、現在予測単位の符号化に利用される動き情報を示す併合インデックス（merge index）、及び併合モードの適用いかんを示すフラグ（merge flag）を現在予測単位の動き情報として符号化する。

図２６は、本発明の一実施形態による動き情報符号化方法のフローチャートである。図２６を参照すれば、段階２６１０で、動き予測部４２０は、現在予測単位に係わる動き予測を行い、現在予測単位に係わる動きベクトルを獲得する。

段階２６２０で、予測動きベクトル候補生成部１４１０は、現在予測単位と時間的に関連した予測単位、及び空間的に関連した予測単位が有する動きベクトルを利用して、予測動きベクトル候補を獲得する。前述の図１６に図示されているように、予測動きベクトル候補生成部１４１０は、左側に隣接した予測単位Ａ０，Ａ１、及び上側に隣接した予測単位Ｂ０，Ｂ１，Ｂ２の動きベクトルの利用可能性をチェックし、利用可能な周辺予測単位の動きベクトルを、予測動きベクトル候補に含める。前述のように、利用可能な周辺予測単位の動きベクトルが存在しない場合、インター予測された周辺予測単位の動きベクトルをスケーリングした動きベクトルを、予測動きベクトル候補に含めることができる。

段階２６３０で、予測動きベクトル候補生成部１４１０は、予測動きベクトル候補に含まれた動きベクトルの個数が、所定個数ｎ（ｎは、整数）より少ない場合、予測動きベクトル候補に含まれた動きベクトルの個数がｎになるように、代案的予測動きベクトルを、予測動きベクトル候補に付加する。前述のように、代案的予測動きベクトルとして、基本予測動きベクトルを変更した動きベクトルまたはゼロベクトルを利用することができる。

段階２６４０で、動きベクトル符号化部１４２０は、ｎ個の予測動きベクトル候補のうち、現在予測単位に係わる動きベクトルの予測動きベクトルを決定し、段階２６５０で、動きベクトル符号化部１４２０は、予測動きベクトルを示すインデックス情報（ＡＭＶＰ＿ｉｄｘ）を、現在予測単位の動きベクトル情報として符号化する。さらに、ＡＭＶＰモードでは、予測動きベクトルを示すインデックス情報（ＡＭＶＰ＿ｉｄｘ）以外に、予測動きベクトルと、現在予測単位の実際動きベクトルとの差値、参照ピクチャ情報及び予測方向に係わる情報が伝送される。

一方、図１４Ａの動き情報符号化装置１４００の予測動き候補生成部１４１０は、複雑度を低減させるために、代案的予測動きベクトルを候補群に含めるとき、リダンダンシーチェックを減少させることができる。

また、前述の本発明の一実施形態では、符号化側と復号化側とで、あらかじめ固定されたｎ個の予測動き候補を利用する場合を仮定したが、それに限定されるものではなく、予測動き候補の個数は、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）またはスライスヘッダに付加されて伝送される。また、予測動き候補の個数は、現在予測単位に、以前に処理された周辺予測単位のうち、インター予測されて動きベクトルを有する予測単位の個数（Ａ）を利用して適応的に決定されるか、あるいはＡと、あらかじめ固定されたｎとの値のうち小さい値になるように設定される。

ＩＩＩ．ＡＭＶＰモードでの動き情報の復号化
前述のように、現在予測単位の動き情報が、ＡＭＶＰモードを介して符号化された場合、併合モードに該当するか否かを示すフラグ（merge flag）は、０に設定される。復号化側では、併合モードに該当するか否かを示すフラグ（merge flag）が０に設定された場合、現在予測単位の動き情報が、ＡＭＶＰモードで符号化されたと判断し、ビットストリームから、現在予測単位の予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）、予測動きベクトルと原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を獲得する。

図２７Ａは、本発明の一実施形態による動きベクトル復号化装置の構成を示したブロック図である。図２７Ａを参照すれば、動きベクトル復号化装置２７００は、エントロピ復号化部２７１０、予測動きベクトル候補生成部２７２０及び動きベクトル復号化部２７３０を含む。

エントロピ復号化部２７１０は、ビットストリームから、現在予測単位の予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）、予測動きベクトルと原動きベクトルとの差値、参照ピクチャ情報及び予測方向情報を獲得する。

予測動きベクトル候補生成部２７２０は、前述の図１４Ａの予測動きベクトル候補生成部１４１０と同一に、現在予測単位の周辺予測単位が有する動きベクトルを利用して、予測動きベクトル候補を獲得し、予測動きベクトル候補に含まれた動きベクトルの個数が、所定個数ｎ（ｎは、整数）より少ない場合、予測動きベクトル候補に含まれた動きベクトルの個数がｎになるように、代案的予測動きベクトルを予測動きベクトル候補に付加する。

動きベクトル復号化部２７３０は、ビットストリームから獲得された現在予測単位の予測動きベクトル・インデックス（ＡＭＶＰ＿ｉｄｘ）を利用して、予測動きベクトル候補生成部２７２０で生成された予測動きベクトル候補のうち、１つの予測動きベクトルを獲得する。そして、動きベクトル復号化部２７３０は、ビットストリームから獲得された予測動きベクトルと原動きベクトルとの差値を、予測動きベクトルと加算し、現在予測単位の動きベクトルを復元する。

ＩＶ．併合モードでの動き情報の復号化
前述のように、現在予測単位の動き情報が、周辺予測単位の動き情報を、そのまま現在予測単位の動き情報として利用する併合（merge）モードとして符号化された場合、符号化側では併合モードいかんを示すフラグ（merge flag）を１に設定し、併合モードいかんを示すフラグ（merge flag）、及び動き情報を持ってくる併合候補のうち一つを示すインデックス（merge index）を復号化側に伝送する。復号化側では、併合モードいかんを示すフラグ（merge flag）が１に設定された場合、現在予測単位の動き情報が併合モードで符号化されたと判断し、ビットストリームから、動き情報を持ってくる併合候補のうち一つを示すインデックス（merge index）を獲得し、merge indexを利用して決定された併合候補の動き情報、すなわち、周辺予測単位の動きベクトル、参照ピクチャ情報及び予測方向情報を、現在予測単位の動き情報として利用する。

図２７Ｂは、本発明の一実施形態による動き情報復号化装置の構成を示したブロック図である。図２７Ｂを参照すれば、動き情報復号化装置２７５０は、エントロピ復号化部（２７６０）、併合候補生成部２７７０及び動きベクトル復号化部２７８０を含む。

エントロピ復号化部２７６０は、ビットストリームから、併合モードいかんを示すフラグ（merge flag）、及び動き情報を持ってくる併合候補のうち一つを示すインデックス（merge index）を獲得する。

予測動きベクトル候補生成部２７２０は、前述の図１４Ｂの併合候補生成部１４６０と同一に、現在予測単位の周辺予測単位を検索し、各周辺予測単位が有する動き情報、視覚的予測動きベクトルの決定に利用される予測単位の動き情報、原併合候補に含まれた動き情報を結合したり、動きベクトルをスケーリングしたり、あるいはゼロベクトルを有する動き情報を付加することにより、ｎ個の動き情報を含む併合候補を生成する。

動き情報復号化部２７８０は、ｎ個の動き情報が含まれた併合候補が生成されれば、ビットストリームから獲得された併合候補のうち一つを示すインデックス（merge index）が示す併合候補の動き情報を利用して、現在予測単位の動き情報を設定する。併合モードの場合、ＡＭＶＰモードと異なり、併合候補に含まれた動きベクトルがそのまま現在予測単位の動きベクトルに利用される。

図２８は、本発明の一実施形態による動きベクトル復号化方法を示したフローチャートである。図２８を参照すれば、段階２８１０で、予測動きベクトル候補生成部２７２０は、現在予測単位と時間的に関連した予測単位、及び空間的に関連した予測単位が有する動きベクトルを利用して、予測動きベクトル候補を獲得する。前述のように、予測動きベクトル候補生成部２７２０は、図１４の予測動きベクトル候補生成部１４１０と同一の方式で、予測動きベクトル候補を生成する。
段階２８２０で、予測動きベクトル候補生成部２７２０は、予測動きベクトル候補に含まれた動きベクトルの個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記予測動きベクトル候補に含まれた動きベクトルの個数が、前記所定個数ｎになるように、代案的予測動きベクトルを、前記予測動きベクトル候補に付加する。前述のように、あらかじめ固定されたｎ個の予測動きベクトル候補の生成は、予測動きベクトル候補を示すインデックス（ＡＭＶＰ＿ｉｄｘ）が変更されず、周辺情報なしに独立した処理を可能にするためのものである。

段階２８３０で、エントロピ復号化部２７１０は、ビットストリームから、予測動きベクトル候補のうち、現在予測単位に適用された予測動きベクトルを示すインデックスを獲得する。

段階２８４０で、動きベクトル復号化部２７３０は、獲得されたインデックスが示す予測動きベクトルを利用して、現在予測単位の動きベクトルを復元する。具体的には、動きベクトル復号化部２７３０は、ビットストリームに含まれた予測動きベクトル候補を示すインデックス（ＡＭＶＰ＿ｉｄｘ）を利用して決定された予測動きベクトルと、ビットストリームに含まれた予測動きベクトルと、原動きベクトルとの差値を加算し、現在予測単位の動きベクトルを復元する。前述のように、ＡＭＶＰモードでは、そのような動きベクトルについての情報以外に、ビットストリームに、参照ピクチャ情報及び予測方向についての情報がさらに含まれている。併合モードでは、併合候補に含まれた動き情報をそのまま利用して、現在予測単位の動き情報が復元される。

本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードに保存されて実行される。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないものである。

Claims (15)

1. 動き情報の符号化方法において、
   現在予測単位に係わる動き予測を行い、前記現在予測単位に係わる動き情報を獲得する段階と、
   前記現在予測単位と時間的に関連した予測単位及び空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得する段階と、
   前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する段階と、
   前記ｎ個の動き情報候補のうち、前記現在予測単位に係わる動き情報を決定する段階と、
   前記動き情報を示すインデックス情報を、前記現在予測単位の動き情報として符号化する段階と、を含むことを特徴とする動き情報の符号化方法。
2. 前記現在予測単位に空間的に関連した周辺予測単位は、前記現在予測単位の左下側に位置した周辺予測単位（Ａ０）、及び前記左下側に位置した周辺予測単位（Ａ０）の上側に位置した周辺予測単位（Ａ１）と、
   前記現在予測単位の右上側に位置した周辺予測単位（Ｂ０）、前記右上側に位置した周辺予測単位（Ｂ０）の左側に位置した周辺予測単位（Ｂ１）、及び前記現在予測単位の左上側に位置した周辺予測単位（Ｂ２）と、を含むことを特徴とする請求項１に記載の動き情報の符号化方法。
3. 前記代案的動き情報は、
   既定の成分値を有する所定動きベクトルを含むことを特徴とする請求項１に記載の動き情報の符号化方法。
4. 前記代案的動き情報は、前記獲得された時間的に関連した予測単位または空間的に関連した予測単位が有する動き情報を変更して生成されることを特徴とする請求項１に記載の動き情報の符号化方法。
5. 前記代案的動き情報は、
   前記時間的に関連した予測単位または空間的に関連した予測単位が有する動きベクトルをスケーリングした動きベクトルを含むことを特徴とする請求項１に記載の動き情報の符号化方法。
6. 前記符号化する段階は、
   前記ｎ個の動き情報候補それぞれに対して、０から（ｎ−１）までのインデックスを割り当てる段階と、
   前記現在予測単位の動き情報に利用される動き情報に割り当てられたインデックスを、前記現在予測単位の動き情報として符号化する段階と、を含むことを特徴とする請求項１に記載の動き情報の符号化方法。
7. 前記動き情報候補に含まれた動き情報の個数であるｎを、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）及びスライスヘッダのうち少なくとも一つに付加することを特徴とする請求項１に記載の動き情報の符号化方法。
8. 動きベクトルの復号化方法において、
   現在予測単位と時間的に関連した予測単位及び空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得する段階と、
   前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する段階と、
   ビットストリームから、前記動き情報候補のうち、１つの動き情報を示すインデックスを獲得する段階と、
   前記獲得されたインデックスが示す動き情報を利用して、前記現在予測単位の動き情報を獲得する段階と、を含むことを特徴とする動き情報の復号化方法。
9. 前記現在予測単位に空間的に関連した予測単位は、前記現在予測単位の左下側に位置した周辺予測単位（Ａ０）、及び前記左下側に位置した周辺予測単位（Ａ０）の上側に位置した周辺予測単位（Ａ１）と、
   前記現在予測単位の右上側に位置した周辺予測単位（Ｂ０）、前記右上側に位置した周辺予測単位（Ｂ０）の左側に位置した周辺予測単位（Ｂ１）、及び前記現在予測単位の左上側に位置した周辺予測単位（Ｂ２）と、を含むことを特徴とする請求項８に記載の動き情報の復号化方法。
10. 前記代案的予測動きベクトルは、
    既定の成分値を有する所定動きベクトルを含むことを特徴とする請求項８に記載の動き情報の復号化方法。
11. 前記代案的動き情報は、前記獲得された時間的に関連した予測単位または空間的に関連した予測単位が有する動き情報を変更して生成されることを特徴とする請求項８に記載の動き情報の復号化方法。
12. 前記代案的動き情報は、
    前記時間的に関連した予測単位及び空間的に関連した予測単位が有する動きベクトルをスケーリングした動きベクトルを含むことを特徴とする請求項８に記載の動き情報の復号化方法。
13. 前記現在予測単位の動き情報を獲得する段階は、
    前記ｎ個の動き情報候補それぞれに対して、０から（ｎ−１）まで割り当てられたインデックスと、前記獲得された現在予測単位の動き情報のインデックスと、を利用して、前記動き情報候補のうち、前記現在予測単位の動き情報を獲得することを特徴とする請求項８に記載の動き情報の復号化方法。
14. 前記動き情報候補に含まれた動き情報の個数であるｎは、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）及びスライスヘッダのうち少なくとも一つに含まれることを特徴とする請求項８に記載の動き情報の復号化方法。
15. 動き情報の復号化装置において、
    現在予測単位と時間的に関連した予測単位及び空間的に関連した予測単位が有する動き情報を利用して、動き情報候補を獲得し、前記動き情報候補に含まれた動き情報の個数が、所定個数ｎ（ｎは、整数）より少ない場合、前記動き情報候補に含まれた動き情報の個数が、前記所定個数ｎになるように、代案的動き情報を、前記動き情報候補に付加する動き情報候補生成部と、
    ビットストリームから、前記動き情報候補のうち、１つの動き情報を示すインデックスを獲得するエントロピ復号化部と、
    前記獲得されたインデックスが示す動き情報を利用して、前記現在予測単位の動き情報を獲得する動き情報復号化部と、を含むことを特徴とする動き情報の復号化装置。

Images