JP2013530660A - 動きベクトルの符号化方法及びその装置、並びに該ベクトルの復号化方法及びその装置 - Google Patents

Abstract

動きベクトルの符号化方法及びその装置、復号化方法及びその装置が開示され、該動きベクトルの符号化方法は、現在ブロックに係わる動き予測を行い、第１参照ピクチャで現在ブロックの動きベクトルを生成し、現在ブロック以前に符号化された周辺ブロックのうち、第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成し、周辺ブロックのうち、第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成し、予測動きベクトルと、現在ブロックの動きベクトルとの差値を、現在ブロックの動きベクトル情報として符号化する。

Description

本発明は、静止映像及び動画の符号化、復号化の方法及びその装置に係り、さらに具体的には、現在ブロックの動きベクトルを予測して符号化する方法及びその装置、復号化する方法及びその装置に関する。

ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを利用する。現在ブロックに、左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値（median）を現在ブロックの予測動きベクトル（motion vector predictor）として利用する。

現在ブロックの動きベクトル予測子を生成する多様な方式を提供する必要がある。

本発明の実施形態で、動きベクトルを符号化及び復号化する方法及びその装置が提供される。

本発明の実施形態によれば、多様な動きベクトル予測子が提供され、映像圧縮効率が向上する。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による動きベクトルの符号化装置の構成を示したブロック図である。 本発明の一実施形態による予測動きベクトル候補を図示する図面である。 本発明の一実施形態による予測動きベクトル候補を図示する図面である。 本発明の一実施形態による、現在ブロックに隣接した多様なサイズのブロックを図示する図面である。 本発明の一実施形態による、現在ブロックに隣接した多様なサイズのブロックを図示する図面である。 本発明の一実施形態による、現在ブロックに隣接した多様なサイズのブロックを図示する図面である。 本発明の一実施形態による動きベクトルの符号化方法を示したフローチャートである。 本発明の一実施形態による予測動きベクトル生成過程を具体的に示したフローチャートである。 本発明の一実施形態による予測動きベクトル決定過程を具体的に説明するための参照図である。 本発明の一実施形態による予測動きベクトル決定過程を具体的に説明するための参照図である。 本発明の一実施形態による予測動きベクトル決定過程を具体的に説明するための参照図である。 本発明の他の実施形態による予測動きベクトル候補を生成する過程を説明するための参照図である。 本発明の他の実施形態による予測動きベクトル候補を生成する過程を説明するための参照図である。 本発明の他の実施形態による予測動きベクトル候補を生成する過程を説明するための参照図である。 本発明のさらに他の実施形態による暗示モードの予測動きベクトルを生成する方法を図示する図面である。 本発明の一実施形態による動きベクトルの復号化装置を示したブロック図である。 本発明の一実施形態による動きベクトル復号化方法を示したフローチャートである。

本発明の一実施形態による動きベクトルの符号化方法は、現在ブロックに係わる動き予測を行い、第１参照ピクチャで、前記現在ブロックと対応する領域を示す前記現在ブロックの動きベクトルを生成する段階と、前記現在ブロック以前に符号化された周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成する段階と、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、前記予測動きベクトルを生成する段階と、前記予測動きベクトルと、前記現在ブロックの動きベクトルとの差値を、前記現在ブロックの動きベクトル情報として符号化する段階と、を含む。

本発明の一実施形態による動きベクトルの復号化方法は、ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報を復号化する段階と、前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差値を復号化する段階と、前記復号化された現在ブロックの予測動きベクトルに係わる情報に基づいて、前記現在ブロックの予測動きベクトルを生成する段階と、前記予測動きベクトル及び前記差値に基づいて、前記現在ブロックの動きベクトルを復元する段階と、を含み、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックと同一な第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであり、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであることを特徴とする。

本発明の一実施形態による動きベクトルの符号化装置は、現在ブロックに係わる動き予測を行い、第１参照ピクチャで、前記現在ブロックと対応する領域を示す前記現在ブロックの動きベクトルを生成する動き予測部；及び前記現在ブロック以前に符号化された周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成し、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、前記予測動きベクトルを生成し、前記予測動きベクトルと、前記現在ブロックの動きベクトルとの差値を、前記現在ブロックの動きベクトル情報として符号化する動きベクトル符号化部；を含む。

本発明の一実施形態による動きベクトルの復号化装置は、ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報、及び前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差値を復号化する動きベクトル復号化部；及び前記復号化された現在ブロックの予測動きベクトルに係わる情報に基づいて、前記現在ブロックの予測動きベクトルを生成し、前記予測動きベクトル及び前記差値に基づいて、前記現在ブロックの動きベクトルを復元する動き補償部；を含み、前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックと同一な第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであり、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであることを特徴とする。

前記技術的課題を解決するために、本発明の一実施形態は、前記動きベクトルの符号化、復号化の方法を遂行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区切ることができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の自乗である正四角形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位のサイズは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されもする。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されもする。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されもする。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について予測符号化、及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって同一データ単位が使われ、段階別にデータ単位が変更される。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含みもする。

予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち、少なくとも一つである。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じサイズのデータ単位を基に変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位、及びインタモードのためのデータ単位を含んでもよい。

以下、変換の基になるデータ単位は、「変換単位」とも呼ぶ。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２である、ならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度に符号化せず、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位に符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、て符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決まらなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されもする。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インタモードの推定方向についての情報、インタモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入されもする。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するとしたならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も、多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１、及びビデオ符号化装置１００を参照して説明した通りである。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定されもし、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式に従ってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないことを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上するのである。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの現在フレーム４０５及び参照フレーム４９５を利用して、インタ推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決めなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インタモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに変換単位の大きさを決めなければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６）に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最も小さい符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じサイズの符号化単位で映像を符号化したり復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００の示すパーティションが、イントラモード８１２、インタモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割して（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割して（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報は、設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かように深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０、１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０において、一部（１０５２）の映像データについては、符号化単位に比べて、小サイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インタモード及びスキップモードのうち、一つで示すことができる。イントラモード及びインタモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インタモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ＮＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による映像符号化装置１００の動き予測部４２０、動き補償部４２５、及び図５の映像復号化装置２００の動き補償部５５０で行われる動き予測及び補償過程について具体的に説明する。以下の説明で、前述の予測単位は、ブロックと呼びもする。

図１４は、本発明の一実施形態による動きベクトルの符号化装置の構成を示したブロック図である。図１４の動きベクトル符号化装置１４００は、図４の動き予測部４２０及びエントロピ符号化部４５０のような動きベクトルの符号化と係わる構成要素を図示したものであり、図４のエントロピ符号化部４５０は、図１４の動きベクトル符号化部１４２０で行われる動作を行うことができる。

図１４を参照すれば、本発明の一実施形態による動きベクトル符号化装置１４００は、動き予測部１４１０及び動きベクトル符号化部１４２０を含む。

動き予測部１４１０は、現在ブロックに係わる動き予測を行い、第１参照ピクチャで、現在ブロックと対応する領域を示す現在ブロックの動きベクトルを生成する。

一般的に、あるブロックの動きベクトルは、周辺ブロックの動きベクトルと密接な相関関係を有する。従って、周辺ブロックの動きベクトルから、現在ブロックの動きベクトルを予測し、周辺ブロックの動きベクトル、及び現在ブロックの差分ベクトルのみを符号化することによって、符号化しなければならないビット量を減らすことができる。従って、動きベクトル符号化部１４２０は、現在ブロックの動きベクトル情報を符号化するために、周辺ブロックの動きベクトル情報を利用して予測動きベクトルを生成し、予測動きベクトルと、現在ブロックの動きベクトルとの差値のみ現在ブロックの動きベクトル情報として符号化する。具体的には、動きベクトル符号化部１４２０は、現在ブロック以前に符号化された周辺ブロックのうち、現在ブロックが参照した第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成し、周辺ブロックのうち、第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合には、第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成した後、生成された予測動きベクトルと、現在ブロックの動きベクトルとの差値を現在ブロックの動きベクトル情報として符号化する。前述のように、従来技術による映像符号化装置では、現在ブロックの左側、上側及び右上端に隣接した周辺ブロックの動きベクトルの中央値（median）を、現在ブロックの動きベクトルとして利用した。しかし、本発明の一実施形態による動きベクトル符号化装置１４００は、このような中央値以外に、多様な方式で、周辺ブロックから予測動きベクトル候補グループを生成し、このような予測動きベクトル候補グループのうち、選択された予測動きベクトルを活用して、現在ブロックの動きベクトルの符号化に利用することによって、映像特性に従って映像の圧縮効率の向上を可能にする。

以下、動きベクトル符号化部１４２０で行われる予測動きベクトルの生成方式について具体的に説明する。

図１５Ａ及び図１５Ｂは、本発明の一実施形態による予測動きベクトル候補を図示している。

図１５Ａを参照すれば、動きベクトル符号化部１４２０は、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルのうち一つを、現在ブロックの予測動きベクトルとして利用することができる。現在ブロックの上部に隣接したブロックのうち、最も左側のａ０ブロック１５０１、左側に隣接した最も上部のｂ０ブロック１５０２、右側上部に隣接したｃブロック１５０３、左側上部に隣接したｄブロック１５０５、及び左側下部に隣接したｅブロック１５０４を、いずれも現在ブロックの予測動きベクトルとして利用することができる。本発明によれば、ビデオの符号化方法及び復号化方法は、深度によって区分される多様なサイズの符号化単位を基に、符号化及び復号化が行われるので、左側下部に隣接したｅブロック１５０４の動きベクトルも、現在ブロックの予測動きベクトルとして利用することができる。前述の図１０を参照すれば、現在ブロックが符号化単位１０２０であるとき、現在ブロック１０２０の上部、左側上部、右側上部、左側及び左側下部の符号化単位１０１４，１０１６，１０１８及び１０２２は、現在ブロック１０２０以前に符号化される。すなわち、左側の符号化単位１０１８は、現在ブロックが含まれた符号化単位１０２０より先に符号化されるので、符号化単位１０１８がさらに深い深度を有する符号化単位に符号化される場合を考慮すれば、現在ブロックの左側下部に隣接したブロックの動きベクトルも、現在ブロックの予測動きベクトルとして利用することができる。

図１５Ｂを参照すれば、現在ブロックの隣接した全てのブロックの動きベクトルを考慮して、現在ブロックの予測動きベクトルとして利用することができる。言い換えれば、上部に隣接したブロック１５１０のうち、最も左側のａ０ブロックだけではなく、上部に隣接した全てのブロックａ０ないしａＮの動きベクトルを、現在ブロックの予測動きベクトルとして利用することができ、左側に隣接したブロック１５２０のうち、最も上部のｂ０ブロックだけではなく、左側に隣接した全てのブロックｂ０ないしｂｎの動きベクトルを、現在ブロックの予測動きベクトルとして利用することができる。
また、隣接したブロックの動きベクトルの中央値を予測動きベクトルとして利用することができる。言い換えれば、median ｍｖ＿ａ０，ｍｖ＿ｂ０，ｍｖ＿ｃを、現在ブロックの予測動きベクトルとして利用することができる。ここで、ｍｖ＿ａ０は、ａ０ブロックの動きベクトルであり、ｍｖ＿ｂ０は、ｂ０ブロックの動きベクトルであり、ｍｖ＿ｃは、ｃブロックの動きベクトルである。

ただし、現在ブロックの大きさ及び隣接したブロックの大きさによって、現在ブロックの予測動きベクトル候補を制限することができる。これについては、図１５Ｃないし１５Ｅを参照して詳細に説明する。

図１５Ｃないし１５Ｅは、本発明の一実施形態による現在ブロックに隣接した多様なサイズのブロックを図示している。

前述のように、本発明による映像符号化方法及び映像復号化方法は、深度によって決定される多様なサイズの符号化単位及び予測単位を利用して映像を符号化する。従って、現在ブロックに隣接したブロックの大きさも多様であり、現在ブロックの大きさと、一部隣接したブロックとが大きく異なれば、サイズが異なる一部隣接したブロックの動きベクトルは、現在ブロックの予測動きベクトルとして利用しないこともある。

図１５Ｃを参照すれば、現在ブロック１０１０の上部に隣接したブロック１０１４ないし１０１８は、現在ブロック１０１０の大きさより小さいブロックである。現在ブロック１０１０とサイズが等しいサイズの隣接したブロック１０１２の動きベクトルが、現在ブロック１０１０の動きベクトルと同一であるか、あるいは類似している可能性が高いので、動きベクトル符号化部１４２０は、同一サイズの隣接したブロック１０１２の動きベクトルのみを予測動きベクトルとして利用することができる。

サイズが同一ではないとしても、所定サイズ以上の隣接したブロックの動きベクトルだけ予測動きベクトルとして利用することができる。例えば、現在ブロック１０１０の大きさと比べて、１／４サイズ以上のブロック１０１２及び１０１８の動きベクトルのみを予測動きベクトルとして利用することができる。

図１５Ｄを参照すれば、現在ブロック１０２０の左側に隣接したブロック１０２２の大きさは、現在ブロックの大きさの１６倍であり、著しいサイズの違いが存在すると仮定する。著しいサイズの違いによって、左側に隣接したブロック１０２２の動きベクトルが、現在ブロック１０２０の動きベクトルと同一であるか、あるいは類似している可能性が低い。従って、左側に隣接したブロック１０２２の動きベクトルは、現在ブロック１０２０の予測動きベクトルとして利用せず、上部に隣接したブロック１０２４及び右側上部に隣接したブロック１０２６の動きベクトルだけ利用することができる。

図１５Ｅを参照すれば、現在ブロック１０３０の大きさが、隣接した全てのブロック１０３１ないし１０３７の大きさより大きい。このとき、隣接した全てのブロック１０３１ないし１０３７の動きベクトルを、いずれも現在ブロック１０３０の予測動きベクトルとして利用すれば、現在ブロック１０３０の予測動きベクトル候補の個数が過度に多い。現在ブロック１０３０と、隣接したブロック１０３１ないし１０３７とのサイズ差が大きいほど、予測動きベクトル候補の個数はさらに多くなる。従って、本発明の一実施形態による動きベクトル符号化部１４２０は、隣接したブロックのうち一部ブロックの動きベクトルは、現在ブロック１０３０の予測動きベクトルとして利用しない。

例えば、図１５Ｅに図示された実施形態で、左側下部に隣接したブロック１０３１、及び右側上部に隣接したブロック１０３７の動きベクトルは、現在ブロック１０３０の予測動きベクトルとして利用しないこともある。すなわち、現在ブロック１０３０の大きさが所定サイズ以上であるならば、隣接したブロックのうち、特定方向に隣接したブロックの動きベクトルは、現在ブロック１０３０の予測動きベクトルとして利用しない。

一方、動きベクトル符号化部１４２０は、現在ブロックの大きさ及び隣接したブロックの大きさによって、現在ブロックの予測動きベクトル候補を制限し、予測動きベクトル候補を生成する代わりに、現在ブロックが参照する第１参照ピクチャと同一な参照ピクチャを利用するか否か、第１参照ピクチャと同一なリスト方向に位置した参照ピクチャを利用するか否か、及び第１参照ピクチャと異なるリスト方向に位置した参照ピクチャを利用する動きブロックであるか否かに従って、周辺ブロックから予測動きベクトルを生成することができる。

図１６は、本発明の一実施形態による動きベクトルの符号化方法を示したフローチャートである。本発明の一実施形態による動きベクトル符号化部１４２０は、予測動きベクトル候補を生成するとき、現在ブロックが参照する第１参照ピクチャと同一な参照ピクチャを利用する周辺ブロックの動きベクトルを利用したり、かような第１参照ピクチャと同一な参照ピクチャを利用する周辺ブロックが存在しない場合、第１参照ピクチャの方向と同一な方向に位置した他の参照ピクチャを利用する周辺ブロックの動きベクトルを利用したり、かような第１参照ピクチャの方向と同一な方向に位置した他の参照ピクチャを利用する周辺ブロックも存在しない場合には、第１参照ピクチャと異なるリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルを利用して、予測動きベクトル候補を生成することができる。

図１６を参照すれば、段階１６１０で、動き予測部１４１０は、現在ブロックに係わる動き予測を行い、第１参照ピクチャで、現在ブロックと対応する領域を示す現在ブロックの動きベクトルを生成する。

段階１６２０で、動きベクトル符号化部１４２０は、現在ブロック以前に符号化された周辺ブロックのうち、第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成し、周辺ブロックのうち、第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成する。

段階１６３０で、動きベクトル符号化部１４２０は、予測動きベクトルと、現在ブロックの動きベクトルとの差値を、現在ブロックの動きベクトル情報として符号化する。

図１７は、本発明の一実施形態による予測動きベクトル生成過程を、さらに具体的に示したフローチャートである。図１７を参照すれば、段階１７１０で、動きベクトル符号化部１４２０は、所定スキャン順序によって、現在ブロックの周辺ブロックの動き情報を抽出する。周辺ブロックの動き情報は、周辺ブロックが参照する参照ピクチャ情報ｒｅｆ index＿Ｎ、及び周辺ブロックの動きベクトル情報である。動きベクトル符号化部１４２０は、現在ブロックの左側に隣接したブロックで、第１予測動きベクトル、現在ブロックの上側に隣接したブロックで、第２予測動きベクトル、現在ブロックのコーナーに位置したブロックで、第３予測動きベクトルを選択するが、かような第１予測動きベクトルないし３予測動きベクトルを選択するために、現在ブロックの上側、左側及びコーナーに位置した各ブロックの参照ピクチャと、現在ブロックが参照する参照ピクチャとの情報を比較する。前述の図１５Ｂを参照すれば、所定スキャン順序では、現在ブロックの左側に隣接したブロック１５２０の場合、上から下側、すなわち、ｂ０からｂｎの順序で周辺ブロックを順次にスキャンし、現在ブロックの上側に隣接したブロック１５１０の場合、左側から右側、すなわち、ａ０からａｎの順序で周辺ブロックを順次にスキャンする。現在ブロックのコーナーに位置したブロック１５３１，１５３２，１５３３の場合、ブロックｃ１５３１、ブロックｄ１５３３及びブロックｅ１５３２の順序でスキャンされる。かようなスキャン順序は、前述のところに限定されるものではなく、変更可能である。

段階１７２０で、動きベクトル符号化部１４２０は、現在ブロックが参照する参照ピクチャ情報ｒｅｆ index＿ｃｕｒと、スキャンされた周辺ブロックの参照ピクチャ情報ｒｅｆ index＿Ｎとを比べ、周辺ブロックの参照ピクチャが、現在ブロックが参照する参照ピクチャ、すなわち、第１参照ピクチャと同一であるか否かを判断する。段階１７３０で、段階１７２０の判断結果、現在スキャンされた周辺ブロックの参照ピクチャが、現在ブロックが参照する第１参照ピクチャである場合には、当該周辺ブロックの動きベクトルを、予測動きベクトルに決定する。かような決定過程は、現在ブロックの上側に位置したブロック１５１０、左側に位置したブロック１５２０、及びコーナーに位置したブロック１５３１，１５３２，１５３３のグループ別に行われ、第１予測動きベクトルないし第３予測動きベクトルを生成する。

段階１７４０で、段階１７２０の判断過程が、現在ブロックの上側に位置したブロック１５１０、左側に位置したブロック１５２０、及びコーナーに位置したブロック１５３１，１５３２，１５３３のグループ別に全ての周辺ブロックについて行われたか否かが判断される。もし現在ブロックの上側に位置したブロック１５１０、左側に位置したブロック１５２０、及びコーナーに位置したブロック１５３１，１５３２，１５３３のうちいずれか１つのグループに、現在ブロックが参照する第１参照ピクチャと同一な参照ピクチャを参照する周辺ブロックが存在しない場合には、段階１７５０で、現在ブロックが参照する第１参照ピクチャと同一ではないが、現在ブロックのリスト方向に位置する他の参照ピクチャを参照する周辺ブロックが存在するか否かを判断する。ここで、リスト方向とは、現在ピクチャより先行する以前ピクチャを参照するＬ０方向、及び現在ピクチャより後になる次のピクチャを参照するＬ１方向を意味する。

段階１７６０で、段階１７５０の判断結果、周辺ブロックの参照ピクチャが、現在ブロックが参照する第１参照ピクチャと同一ではないが、現在ブロックのリスト方向に位置した他の参照ピクチャを参照するとしたならば、当該周辺ブロックの動きベクトルを、予測動きベクトルに決定する。段階１７７０で、段階１７５０の判断過程が、現在ブロックの上側に位置したブロック１５１０、左側に位置したブロック１５２０、及びコーナーに位置したブロック１５３１，１５３２，１５３３の全ての周辺ブロックについて行われたか否かが判断される。もし現在ブロックの上側に位置したブロック１５１０、左側に位置したブロック１５２０、及びコーナーに位置したブロック１５３１，１５３２，１５３３のグループのうち、いずれか１つのグループに、現在ブロックが参照する第１参照ピクチャと同一ではないが、現在ブロックのリスト方向に位置した他の参照ピクチャを参照する周辺ブロックが存在しない場合には、段階１７８０で、現在ブロックが参照する第１参照ピクチャと異なるリスト方向に位置する他の参照ピクチャを参照する周辺ブロックの動きベクトルを、現在ブロックの予測動きベクトルに決定する。

すなわち、本発明の一実施形態による動きベクトルの符号化方法及びその装置では、現在ブロックの左側に位置した周辺ブロックから、第１予測動きベクトル、上側に位置した周辺ブロックから、第２予測動きベクトル、及びコーナーに位置した周辺ブロックから、第３予測動きベクトルを生成するが、このとき、ｉ）現在ブロックが参照する第１参照ピクチャを参照する周辺ブロックの動きベクトル、ｉｉ）現在ブロックの参照ピクチャと同一なリスト方向に存在する第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトル、ｉｉｉ）現在ピクチャと異なるリスト方向に存在する他の参照ピクチャを参照する周辺ブロックの動きベクトル順序で周辺ブロックを検索して検索された周辺ブロックの動きベクトルを、現在ブロックの予測動きベクトル候補に決定する。

図１８Ａないし図１８Ｃは、本発明の一実施形態による予測動きベクトル決定過程について具体的に説明するための参照図である。

図１８Ａは、現在ブロックが参照する第１参照ピクチャ１８１０を参照する周辺ブロックが存在する場合、予測動きベクトルを生成する過程について説明するためのものである。図１８Ａを参照すれば、前述のように、動きベクトル符号化部１４２０は、現在ブロック１８０の左側に位置したブロック１８４，１８５から、第１予測動きベクトルを生成し、上側に位置したブロック１８１，１８２，１８３から、第２予測動きベクトルを生成し、図示されていないコーナーに位置したブロックから、第３予測動きベクトルを生成する。一例で、上側に位置したブロック１８１，１８２，１８３から、第２予測動きベクトルを生成する過程を中心に説明する。かような第２予測動きベクトルを生成する過程は、第１予測動きベクトル及び第３予測動きベクトルを生成するときも、類似して適用される。

現在ピクチャ１８００の現在ブロック１８０が参照するピクチャ１８１０を、第１参照ピクチャとすれば、動き予測符号化部１４２０は、上側に位置したブロック１８１，１８２，１８３を、左側から右側の順序でスキャンしながら、上側に位置したブロック１８１，１８２，１８３が参照する参照ピクチャと、現在ブロック１８０の第１参照ピクチャ１８１０とが同一であるか否かを判断する。図１８Ａで、上側に位置したブロック１８１，１８２，１８３のうち、周辺ブロック１８１は、現在ピクチャ１８００より後になる参照ピクチャ１８３０を参照し、周辺ブロック１８２は、現在ブロック１８０と同一な第１参照ピクチャ１８１０の領域１８１６を介して予測される動きブロックであり、周辺ブロック１８３は、イントラ予測されたブロックであると仮定する。かような場合、動き予測符号化部１４２０は、現在ブロック１８０と同一な第１参照ピクチャ１８１０を参照する最初に有効な周辺ブロック１８２の動きベクトルｍｖ＿１８２を、第２予測動きベクトルに決定する。このように、周辺ブロックが、現在ピクチャと同一な第１参照ピクチャを参照する場合、選択された周辺ブロックの動きベクトルｍｖ＿１８２は、現在ブロック１８０の動きベクトルｍｖ＿ｃｕｒと、時間的距離が同一であるために、別途のスケーリングが不要である。ただし、前述の図１５Ｃないし図１５Ｅのように、動き予測符号化部１４２０は、選択された周辺ブロック１８２の大きさが、現在ブロック１８０に比べて、所定臨界値以下の大きさを有する場合には、周辺ブロック１８２の動きベクトルｍｖ＿１８２を、第２予測動きベクトルで選択しないこともある。もし図１８Ａに図示されたような現在ブロック１８０が参照する第１参照ピクチャ１８１０を参照する周辺ブロックが存在しない場合、次の図１８Ｂで説明する判断過程のように、予測動きベクトルを生成する過程を遂行する。

図１８Ｂは、現在ブロックが参照する第１参照ピクチャ１８１０を参照する周辺ブロックが存在しないが、第１参照ピクチャ１８１０のようなリスト方向に位置した他の参照ピクチャを参照する周辺ブロックが存在する場合、予測動きベクトルを生成する過程について説明するためのものである。

図１８Ｂを参照すれば、上側に位置したブロック１８１，１８２，１８３のうち、周辺ブロック１８１，１８２は、現在ピクチャ１８００より後になる参照ピクチャ１８３０を参照し、周辺ブロック１８３は、現在ブロック１８０と同一な第１参照ピクチャ１８１０ではないが、第１参照ピクチャ１８１０と同一なリスト方向、すなわち、現在ピクチャ１８００に比べて時間的に先行するピクチャ１８２０を介して予測される動きブロックであると仮定する。かような場合、動き予測符号化部１４２０は、第１参照ピクチャ１８１０と同一なリスト方向の参照ピクチャ１８２０を参照する最初に有効な周辺ブロック１８３の動きベクトルｍｖ＿１８３を、第２予測動きベクトルに決定する。このように、周辺ブロックが、第１参照ピクチャ１８１０ではない同一リスト方向の参照ピクチャ１８２０を参照する場合、第１参照ピクチャ１８１０と異なる参照ピクチャ１８２０の時間的距離が異なるので、選択された周辺ブロック１８３の動きベクトルｍｖ＿１８３は、現在ピクチャ１８００と、第１参照ピクチャ１８１０との時間的距離ｔ１、及び現在ピクチャ１８００と、他の参照ピクチャ１８２０との時間的距離ｔ２を考慮してスケーリングされる。具体的には、動きベクトル符号化部１４２０は、周辺ブロック１８３の動きベクトルｍｖ＿１８３に、（ｔ１／ｔ２）値を乗じてスケーリングを行い、ｍｖ＿１８３＊（ｔ１／ｔ２）を第２予測動きベクトルに決定する。言い替えれば、現在ピクチャ１８００のＰＯＣ（picture order count）をＣｕｒｒＰＯＣ、現在ブロックが参照する参照ピクチャのＰＯＣをＣｕｒｒＲｅｆＰＯＣ、現在ブロックの周辺ブロックが参照する参照ピクチャのＰＯＣをＮｅｉｇｈＲｅｆＰＯＣとすれば、次の数式：Scale＝（ＣｕｒｒＰＯＣ−ＣｕｒｒＲｅｆＰＯＣ）／（ＣｕｒｒＰＯＣ−ＮｅｉｇｈＲｅｆＰＯＣ）のようにスケーリング値（scale）を計算し、決定された動きベクトルに、前記スケーリング値（scale）を乗じてスケーリングを行う。

もし現在ブロック１８０が参照する第１参照ピクチャ１８１０と同一なリスト方向に位置する他の参照ピクチャを参照する周辺ブロックまでも存在しない場合、次の図１８Ｃで説明する判断過程のように、予測動きベクトルを生成する過程を遂行する。

図１８Ｃは、現在ブロックが参照する第１参照ピクチャ１８１０のような、リスト方向に位置した他の参照ピクチャを参照する周辺ブロックが存在しない場合、予測動きベクトルを生成する過程について説明するためのものである。

図１８Ｃを参照すれば、現在ブロック１８０は、現在ピクチャ１８００より後になる次のピクチャ１８３０を参照し、上側に位置したブロック１８１，１８２，１８３のうち周辺ブロック１８１は、イントラ予測されたブロック、周辺ブロック１８２は、現在ピクチャ１８００より先行する参照ピクチャ１８１０を参照し、周辺ブロック１８３は、現在ピクチャ１８００より先行する参照ピクチャ１８２０を参照する動きブロックであると仮定する。すなわち、図１８Ｃでは、現在ブロック１８０の上側ブロックのうち、現在ブロックが参照する第１参照ピクチャ１８３０を参照する周辺ブロックも存在せず、現在ピクチャ１８００より後になるピクチャを参照ピクチャとして利用する周辺ブロックも存在しない場合を図示したものである。かような場合、動き予測符号化部１４２０は、上側ブロック１８１，１８２，１８３のうち、第１参照ピクチャ１８１０と異なるリスト方向、すなわち、現在ピクチャ１８００に比べて先行する参照ピクチャ１８１０を参照する最初に有効な周辺ブロック１８２の動きベクトルｍｖ＿１８２を、第２予測動きベクトルに決定する。周辺ブロックが、第１参照ピクチャ１８３０ではない他のリスト方向の参照ピクチャ１８１０を参照する場合、第１参照ピクチャ１８３０と異なる参照ピクチャ１８１０の時間的距離が異なるので、選択された周辺ブロック１８２の動きベクトルｍｖ＿１８２は、現在ピクチャ１８００と、第１参照ピクチャ１８３０との時間的距離ｔ３、及び現在ピクチャ１８００と、他の参照ピクチャ１８１０との時間的距離ｔ４、並びにリスト方向を考慮してスケーリングされる。具体的には、動きベクトル符号化部１４２０は、周辺ブロック１８２の動きベクトルｍｖ＿１８２に、−（ｔ３／ｔ４）値を乗じてスケーリングを行い、−（ｍｖ＿１８２＊（ｔ３／ｔ４））を第２予測動きベクトルに決定する。

動きベクトル符号化部１４２０は、前述の図１８Ａないし図１８Ｃのような過程を、現在ブロックの左側及びコーナーに位置したブロックのグループ別に遂行し、第１予測動きベクトル及び第３予測動きベクトルを決定する。第１予測動きベクトルないし第３予測動きベクトルが決定されれば、動きベクトル符号化部１４２０は、第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルの中央値（median value）を予測動きベクトル候補にさらに含めることができる。もし第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルがいずれも存在しない場合、動きベクトル符号化部１４２０は、中央値に０ベクトルを設定する。もし第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルのうち、一つだけ存在する場合、動きベクトル符号化部１４２０は、存在する当該予測動きベクトルを中央値に設定する。第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルのうち、２個だけ存在する場合、動きベクトル符号化部１４２０は、存在しない予測動きベクトルを０ベクトルに設定し、ｘ軸及びｙ軸の成分別に中央値を計算し、計算された中央値を予測動きベクトル候補に含めることができる。

一方、動きベクトル符号化部１４２０は、周辺ブロックの動きベクトルの中央値を予測動きベクトル候補に決定するとき、同一類型の動きベクトルのみを利用して、中央値を計算することができる。すなわち、動きベクトル符号化部１４２０は、現在ブロックの周辺ブロックの動きベクトルのうち、現在ブロックと同一な第１参照ピクチャを参照する動きベクトルのみを利用して、第１予測動きベクトルないし第３予測動きベクトルを決定し、かような第１予測動きベクトルないし第３予測動きベクトルの中央値を、現在ブロックの予測動きベクトル候補に含めることができる。

また、動きベクトル符号化部１４２０は、前述のように、現在ブロックの周辺ブロックのうち、現在ブロックと同一な参照ピクチャを参照しないが、同一リスト方向を参照する周辺ブロックの動きベクトルや、同一リスト方向ではないが、他のリスト方向の参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、第１予測動きベクトルないし第３予測動きベクトルを決定し、かような第１予測動きベクトルないし第３予測動きベクトルの中央値を、現在ブロックの予測動きベクトル候補に含めることができる。このとき、動きベクトル符号化部１４２０は、現在ブロックの周辺ブロックに決定された第１予測動きベクトルないし第３予測動きベクトルが、いずれも現在ブロックと異なる参照ピクチャを参照する場合にのみ、第１予測動きベクトルないし第３予測動きベクトルの中央値を、予測動きベクトル候補に含めることができる。

図１９Ａないし図１９Ｃは、本発明の他の実施形態による予測動きベクトル候補を生成する過程について説明するための参照図である。

図１９Ａは、Ｂピクチャ（bi-directional predictive picture）の予測動きベクトルを計算する方法を図示している。現在ブロックを含む現在ピクチャが、双方向予測を行うＢピクチャである場合、時間的距離（tempoal distance）に基づいて生成された動きベクトルが、予測動きベクトル候補であってもよい。

現在ピクチャ１９１０の現在ブロック１９００の予測動きベクトルｍｖ＿temporalは、時間的に先行するピクチャ１９１２の同一位置（colocated）のブロック１９２０の動きベクトルを利用して生成される。例えば、現在ブロック１９００と同一な位置のブロック１９２０の動きベクトルｍｖ＿ｃｏｌＡが、現在ピクチャ１９１０の時間的に後になるピクチャ１９１４の検索されたブロック１９２２について生成されれば、現在ブロック１９００の予測動きベクトル候補であるｍｖ＿Ｌ０Ａ及びｍｖ＿Ｌ１Ａは、次のように生成される。

ｍｖ＿Ｌ１Ａ＝（ｔ５／ｔ６）ｘｍｖ＿ｃｏｌＡ
ｍｖ＿Ｌ０Ａ＝ｍｖ＿Ｌ１Ａ−ｍｖ＿ｃｏｌＡ
ここで、ｍｖ＿Ｌ０Ａは、時間的に先行するピクチャ１９１２に係わる現在ブロック１９００の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ａは、時間的に後になるピクチャ１９１４に係わる現在ブロック１９００の予測動きベクトルを意味する。

図１９Ａに図示された実施形態では、Ｂピクチャである現在ピクチャ１９１０が、時間的に先行するピクチャ１９１２と、時間的に後になるピクチャ１９１４との間に存在する。このとき、同一位置のブロック１９２０の動きベクトルｍｖ＿ｃｏｌＡが、現在ピクチャ１９１０の時間的に後になるピクチャ１９１４について生成されれば、ｍｖ＿Ｌ１Ａに基づいて、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。言い換えれば、ｍｖ＿ｃｏｌＡが、図１９Ａに図示された方向と反対方向の動きベクトルである場合、すなわち、時間的に先行するピクチャ１９１２以前の他のピクチャについて生成された場合より、ｍｖ＿ｃｏｌＡが、図１９Ａに図示された方向の動きベクトルである場合、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。

従って、現在ブロック１９００から、同一位置のブロック１９２０での方向が、List ０方向であるならば、同一位置のブロック１９２０の動きベクトルｍｖ＿ｃｏｌＡは、List １方向であってこそ、図１９Ａに図示されたように、現在ピクチャ１９１０が先行するピクチャ１９１２と、後になるピクチャ１９１４との間に存在する可能性が高くなり、ｍｖ＿ｃｏｌＡに基づいて、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。

また、図１９Ａに図示されたピクチャ１９１０ないし１９１４は、経時的に配列されているので、ＰＯＣ（picture order count）に基づいて、現在ブロックの予測動きベクトルｍｖ＿temporalを生成することができる。現在ブロックが参照するピクチャが、図１９Ａのピクチャ１９１２及び１９１４ではない他のピクチャであってもよいので、ＰＯＣに基づいて、現在ブロックの予測動きベクトルを生成する。

例えば、現在ピクチャのＰＯＣがＣｕｒｒＰＯＣであり、現在ピクチャが参照するピクチャのＰＯＣがＣｕｒｒＲｅｆＰＯＣであるならば、現在ブロックの予測動きベクトルは、次のように生成される。

Scale＝（ＣｕｒｒＰＯＣ−ＣｕｒｒＲｅｆＰＯＣ）／（ＣｏｌＰＯＣ−ＣｏｌＲｅｆＰＯＣ）
ｍｖ＿temporal＝Scale＊ｍｖ＿ｃｏｌＡ
ここで、ＣｏｌＰＯＣは、同一位置のブロック１９２０が含まれている時間的に先行するピクチャ１９１２のＰＯＣであり、ＣｏｌＲｅｆＰＯＣは、同一位置のブロック１９２０が参照するブロック１９２２が含まれている時間的に後になるピクチャ１９１４のＰＯＣである。

図１９Ｂは、本発明の他の実施形態によるＢピクチャの予測動きベクトルを生成する方法を図示している。図１９Ａに図示された方法と比較すれば、時間的に後になるピクチャ１９１４に、現在ブロック１９００と同一な位置のブロックが存在するという点が異なる。

図１９Ｂを参照すれば、現在ピクチャ１９１０の現在ブロック１９００の予測動きベクトルは、時間的に後になるピクチャ１９１４の同一位置（colocated）のブロック１９３０の動きベクトルを利用して生成される。例えば、現在ブロック１９００と同一な位置のブロック１９３０の動きベクトルｍｖ＿ｃｏｌＢが、現在ピクチャ１９１０の時間的に先行するピクチャ１９１２の検索されたブロック１９３２について生成されれば、現在ブロック１９００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｂ及びｍｖ＿Ｌ１Ｂは、後のように生成される。

ｍｖ＿Ｌ０Ｂ＝（ｔ７／ｔ８）ｘｍｖ＿ｃｏｌＢ
ｍｖ＿Ｌ１Ｂ＝ｍｖ＿Ｌ０Ｂ−ｍｖ＿ｃｏｌＢ
ここで、ｍｖ＿Ｌ０Ｂは、時間的に先行するピクチャ１９１２に係わる現在ブロック１９１０の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ｂは、時間的に後になるピクチャ１９１４に係わる現在ブロック１９００の予測動きベクトルを意味する。

図１９Ａと同様に、図１９Ｂに図示された実施形態でも、Ｂピクチャである現在ピクチャ１９１０が、時間的に先行するピクチャ１９１２と、時間的に後になるピクチャ１９１４との間に存在する。従って、同一位置のブロック１９３０の動きベクトルｍｖ＿ｃｏｌＢが、時間的に先行するピクチャ１９１２について生成されれば、ｍｖ＿Ｌ０Ｂに基づいて、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。言い換えれば、ｍｖ＿ｃｏｌＢが、図１９Ｂに図示された方向と反対方向の動きベクトルである場合、すなわち、時間的に後になるピクチャ１９１４後の他のピクチャについて生成された場合より、ｍｖ＿ｃｏｌＢが、図１９Ｂに図示された方向の動きベクトルである場合、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。

従って、現在ブロック１９１０から、同一位置のブロック１９３０への方向が、List １方向であるならば、同一位置のブロック１９３０の動きベクトルｍｖ＿ｃｏｌＢは、List ０方向であってこそ、図１９Ｂに図示されたように、現在ピクチャ１９１０が先行するピクチャ１９１２と、後になるピクチャ１９１４との間に存在する可能性が高くなり、ｍｖ＿ｃｏｌＢに基づいて、現在ブロック１９００の動きベクトルをさらに正確に予測することができる。

また、現在ブロックの参照するピクチャが、図１９Ｂのピクチャ１９１２及び１９１４ではない他のピクチャであってもよいので、ＰＯＣに基づいて、現在ブロックの予測動きベクトルを生成する。例えば、現在ピクチャのＰＯＣがＣｕｒｒＰＯＣであり、現在ピクチャが参照するピクチャのＰＯＣがＣｕｒｒＲｅｆＰＯＣであるならば、現在ブロックの予測動きベクトルは、次のように生成される。

Scale＝（ＣｕｒｒＰＯＣ−ＣｕｒｒＲｅｆＰＯＣ）／（ＣｏｌＰＯＣ−ＣｏｌＲｅｆＰＯＣ）
ｍｖ＿temporal＝Scale＊ｍｖ＿ｃｏｌＢ
ここで、ＣｏｌＰＯＣは、同一位置のブロック１９３０が含まれている時間的に後になるピクチャ１９１４のＰＯＣであり、ＣｏｌＲｅｆＰＯＣは、同一位置のブロック１９３０が参照するブロック１９３２が含まれている時間的に先行するピクチャ１９１２のＰＯＣである。

動きベクトル符号化部１４２０が、Ｂピクチャの現在ブロック１９００の予測動きベクトルを生成するにおいて、図１９Ａに図示された方法、及び図１９Ｂに図示された方法のうち、一つを利用することができる。言い換えれば、現在ブロック１９００と同一な位置のブロック１９２０または１９３０の動きベクトルと、時間的距離とを利用して予測動きベクトルを生成するので、同一位置のブロック１９２０及び１９３０の動きベクトルが必ず存在してこそ、図１９Ａ及び図１９Ｂに図示された方法を利用して、予測動きベクトルを生成することができる。従って、本発明による動きベクトル符号化部１４２０は、同一位置のブロック１９２０及び１９３０のうち、当該ブロックに係わる動きベクトルが存在するブロックのみを利用して、現在ブロック１９００の予測動きベクトルを生成する。

例えば、時間的に先行するピクチャ１９１２の同一位置のブロック１９２０が、インタ予測ではないイントラ予測を利用して符号化された場合、当該ブロック１９２０の動きベクトルが存在しないので、図１９Ａに図示されたような予測動きベクトルを生成する方法を利用して、現在ブロック１９００の予測動きベクトルを生成することはできない。

図１９Ａ及び図１９Ｂに図示されたように、動きベクトル符号化部１４２０が、Ｂピクチャの現在ブロック１９００の予測動きベクトルを生成するとき、時間的に先行するピクチャ１９１２の同一位置のブロック１９２０、及び時間的に後になるピクチャ１９１４の同一位置のブロック１９３０をいずれも利用することができる。従って、動きベクトルを復号化する側では、動きベクトル符号化部１４２０が、複数の同一位置のブロック１９２０及び１９３０のうちいずれかのブロックを利用して、予測動きベクトルｍｖ＿temporalを生成したことを知ってこそ、予測動きベクトルを復号化することができる。

このために、動きベクトル符号化部１４２０は、複数の同一位置のブロック１９２０及び１９３０のうちいずれのブロックを予測動きベクトルの生成に利用するかを特定するための情報を符号化し、ブロックヘッダまたはスライスヘッダに挿入することができる。

図１９Ｃは、本発明の一実施形態によるＰピクチャ（predictive picture）の予測動きベクトルを生成する方法を図示している。図１９Ｃを参照すれば、現在ピクチャ１９１０の現在ブロック１９００の予測動きベクトルは、時間的に先行するピクチャ１９１２の同一位置（colocated）のブロック１９４０の動きベクトルを利用して生成される。例えば、現在ブロック１９００と同一な位置のブロック１９４０の動きベクトルｍｖ＿ｃｏｌＣが、他の時間的に先行するピクチャ１９１６の検索されたブロック１９４２について生成されれば、現在ブロック１９００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｃは、次のように生成される。

ｍｖ＿Ｌ０Ｃ＝（ｔ１０／ｔ９）ｘｍｖ＿ｃｏｌＣ
図１９Ａ及び図１９Ｂと係わって説明したように、ＰＯＣに基づいて、ｍｖ＿Ｌ０Ｃを生成することもできる。現在ピクチャ１９１０のＰＯＣ、現在ピクチャ１９１０が参照するピクチャのＰＯＣ、時間的に先行するピクチャ１９１２のＰＯＣ、及び他の時間的に先行するピクチャ１９１６のＰＯＣに基づいて、ｍｖ＿Ｌ０Ｃを生成することができる。

現在ピクチャ１９１０がＰピクチャであるので、現在ブロック１９００の予測動きベクトル候補は、図１９Ａ及び図１９Ｂと異なって一つだけ生成される。

整理すれば、動き予測符号化部１４２０によって生成される予測動きベクトル候補の集合Ｃは、次の通りである。

Ｃ＝｛median（ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’，ｍｖ＿temporal｝
ここで、ｍｖ＿ａ’は、前述の図１６ないし図１８によって、現在ブロックの左側ブロックから最初に有効な周辺ブロックの動きベクトルである第１予測動きベクトル、ｍｖ＿ｂ’は、現在ブロックの上側ブロックから最初に有効な周辺ブロックの動きベクトルである第２予測動きベクトル、ｍｖ＿ｃ’は、現在ブロックのコーナーに位置したブロックから有効な周辺ブロックの動きベクトルである第３予測動きベクトルを意味する。このとき、周辺ブロックの有効性いかんは、ｉ）現在ブロックが参照する第１参照ピクチャを参照するか否か、ｉｉ）現在ブロックの参照ピクチャと同一なリスト方向に存在する第１参照ピクチャと異なる参照ピクチャを参照するか否か、ｉｉｉ）現在ピクチャと異なるリスト方向に存在する他の参照ピクチャを参照するか否かを順に判断し、かような条件を満足する最初にスキャンされた周辺ブロックの動きベクトルを、予測動きベクトル候補に決定する。また、median（）は、中央値を意味し、ｍｖ＿temporalは、図１９Ａないし図１９Ｃと係わって説明した時間的距離を利用して生成された予測動きベクトル候補を意味する。前述のように、動きベクトル符号化部１４２０は、周辺ブロックの動きベクトルの中央値を、予測動きベクトル候補に決定するとき、同一類型の動きベクトルのみを利用して、中央値を計算することができる。すなわち、動きベクトル符号化部１４２０は、現在ブロックの周辺ブロックの動きベクトルのうち、現在ブロックと同一な第１参照ピクチャを参照する動きベクトルのみを利用して、第１予測動きベクトルないし第３予測動きベクトルを決定し、かような第１予測動きベクトルないし第３予測動きベクトルの中央値を、現在ブロックの予測動きベクトル候補に含めることができる。また、動きベクトル符号化部１４２０は、前述のように、現在ブロックの周辺ブロックのうち、現在ブロックと同一な参照ピクチャを参照しないが、同一リスト方向を参照する周辺ブロックの動きベクトルや、同一リスト方向ではないが、他のリスト方向の参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、第１予測動きベクトルないし第３予測動きベクトルを決定し、かような第１予測動きベクトルないし第３予測動きベクトルの中央値を、現在ブロックの予測動きベクトル候補に含めることができる。このとき、動きベクトル符号化部１４２０は、現在ブロックの周辺ブロックに決定された第１予測動きベクトルないし第３予測動きベクトルが、いずれも現在ブロックと異なる参照ピクチャを参照する場合にのみ、第１予測動きベクトルないし第３予測動きベクトルの中央値を、予測動きベクトル候補に含めることができる。動きベクトル符号化部１４２０は、予測動きベクトル候補の集合Ｃの元素のうち、実際にいかなる予測動きベクトルを利用したかということを予測動きベクトルに係わる情報として、ビットストリームに付け加えることができる。具体的には、Ｃ集合の元素のうち一つを特定するために、動きベクトル符号化部１４２０は、それぞれの予測動きベクトル候補にインデックスを割り当て、実際に動きベクトルの符号化時に利用された予測動きベクトルに該当するインデックス情報をビットストリームに付け加えることができる。

また、動きベクトル符号化部１４２０は、予測動きベクトル候補集合Ｃが生成されれば、利用可能な予測動きベクトルに優先順位を置き、優先順位が高い順序に実際の動きベクトルの符号化時に利用することができる。例えば、動きベクトル符号化部１４２０は、median（ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’，ｍｖ＿temporalの順序で優先順位を置き、動きベクトルの符号化に利用する予測動きベクトルを決定することができる。

前述の予測動きベクトル候補以外に、他の予測動きベクトル候補が利用されもすることは、本発明が属する技術分野で当業者であるならば、容易に理解することができる。

一方、本発明の他の実施形態によれば、動きベクトル符号化部１４２０は、現在ブロックの周辺ブロックを、Ｎ（Ｎは整数）個のグループにグルーピングし、グルーピングされたＮ個の周辺ブロックグループそれぞれについて、ｉ）現在ブロックが参照する第１参照ピクチャを参照する周辺ブロックの動きベクトル、ｉｉ）現在ブロックの参照ピクチャと同一なリスト方向に存在する第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトル、ｉｉｉ）現在ピクチャと異なるリスト方向に存在する他の参照ピクチャを参照する周辺ブロックの動きベクトル順序で周辺ブロックを検索して検索された周辺ブロックの動きベクトルを、現在ブロックの予測動きベクトル候補に決定することができる。一例として、図１５Ｂを参照すれば、動きベクトル符号化部１４２０は、現在ブロックの左側に隣接したブロック（ｂ０ないしｂｎ）１５２０、及び左側コーナーのブロック（ｅ）１５３２を第１周辺ブロックグループに分類し、現在ブロックの上側に隣接したブロック（ａ０ないしａｎ）１５１０、及び上側コーナーのブロック（ｃ）１５３１を、第２周辺ブロックグループに分類する。そして、動きベクトル符号化部１４２０は、第１周辺ブロックグループ及び第２周辺ブロックグループそれぞれについて説明したように、予測動きベクトル候補を決定することができる。また、動きベクトル符号化部１４２０は、特定位置の周辺ブロックを１つのグループに分類し、当該グループ内で説明したように、予測動きベクトル候補を決定することができる。

一方、動きベクトル符号化部１４２０は、現在ブロックの予測動きベクトルが、現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報だけ符号化することができる。すなわち、動きベクトル符号化部１４２０は、予測動きベクトルを特定するための情報を符号化せずに、予測動きベクトルで生成することを指示する情報だけ符号化することができる。一般的に、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを利用する。現在ブロックの左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして利用すると決定されている場合、別途に予測動きベクトル候補のうち、一つを選択するための情報を符号化しなくてもよい。

言い換えれば、符号化過程では、現在ブロックの予測動きベクトルが、暗示モード（implicit）で符号化されたことを示す情報さえ符号化すれば、映像復号化過程では、現在ブロックの左側、上部及び右側上部に隣接した以前に復号化されたブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして利用することができる。特に、本発明の他の実施形態による動きベクトル符号化方法及びその装置は、現在ブロックに隣接した以前に符号化されたピクセル値をテンプレート（template）として利用して、予測動きベクトルを生成することができる。図２０を参照して詳細に説明する。

図２０は、本発明のさらに他の実施形態による暗示モードの予測動きベクトルを生成する方法を図示している。図２０を参照すれば、現在ピクチャ２０１０の現在ブロック２０００の予測動きベクトルを生成するにおいて、現在ブロックに隣接した以前に符号化された領域２０２０に含まれたピクセル２０２２を利用する。隣接したピクセル２０２２を利用して、参照ピクチャ２０１２を検索し、対応するピクセル２０２４を決定する。ＳＡＤ（sum of absolute difference）のようなコストを計算し、対応するピクセル２０２４を決定することができる。対応するピクセル２０２４が決定されれば、隣接したピクセル２０２２の動きベクトルｍｖ＿templateが生成され、ｍｖ＿templateを、現在ブロック２０００の予測動きベクトルとして利用することができる。ｍｖ＿templateを、参照ピクチャ２０１２から検索するとき、前述の予測動きベクトル候補の集合Ｃを利用することができる。

図２１は、本発明の一実施形態による動きベクトルの復号化装置を示したブロック図である。図２１の動きベクトル復号化装置１４００は、図５の動き補償部５６０及びエントロピ符号化部５２０のような動きベクトルの符号化と係わる構成要素を図示したものであり、図５のエントロピ復号化部５２０は、図２１の動きベクトル復号化部２１１０で行われる動作を遂行することができる。

図２１を参照すれば、本発明の一実施形態による動きベクトルの復号化装置２１００は、動きベクトル復号化部２１１０及び動き補償部２１２０を含む。

動きベクトル復号化部２１１０は、ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報、及び現在ブロックの動きベクトルと現在ブロックの予測動きベクトルとの差値を復号化する。具体的には、動きベクトル復号化部２１１０は、前述の複数個の予測動きベクトル候補のうち、復号化される現在ブロックの予測動きベクトルに利用された予測動きベクトルを示すインデックス情報を復号化する。もし複数の予測動きベクトル候補が、図１９Ａないし図１９Ｃと係わって説明したｍｖ＿temporalを含めば、ｍｖ＿temporal生成の基になった同一位置のブロックが、現在ピクチャに時間的に先行するピクチャのブロックであるか、あるいは後になるピクチャのブロックであるかを示す情報も共に復号化する。もし図２０に図示されたように、暗示モードで、現在ブロックの予測動きベクトルが符号化された場合には、当該暗示モードを示すモード情報が復号化される。

動き補償部２１２０は、現在ブロックの予測動きベクトルに係わる情報に基づいて、現在ブロックの予測動きベクトルを生成する。すなわち、動き補償部２１２０は、現在ブロックの予測動きベクトルに係わる情報から、現在ブロックの予測動きベクトルとしていかなる予測動きベクトルが利用されたかを決定し、決定された予測動きベクトルと、復号化された差値とを加え、現在ブロックの動きベクトルを復元する。前述のように、図１６ないし図１８のように、符号化された予測動きベクトルである場合、現在ブロックと同一な第１参照ピクチャを参照する動きベクトル予測子である場合、現在ブロックのように、第１参照ピクチャを参照する動きベクトルを有するブロックが、周弁ブロックに存在しない場合、第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを決定する。

図２２は、本発明の一実施形態による動きベクトル復号化方法を示したフローチャートである。図２２を参照すれば、段階２２１０及び２２２０で、動きベクトル復号化部２１１０は、ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報、及び現在ブロックの動きベクトルと現在ブロックの予測動きベクトルとの差値を復号化する。前述のように、動きベクトル復号化部２１１０は、複数個の予測動きベクトル候補のうち、復号化される現在ブロックの予測動きベクトルに利用された予測動きベクトルを示すインデックス情報を復号化する。もし複数の予測動きベクトル候補が、図１９Ａないし図１９Ｃと係わって説明したｍｖ＿temporalを含めば、ｍｖ＿temporal生成の基になった同一位置のブロックが、現在ピクチャに時間的に先行するピクチャのブロックであるか、あるいは後になるピクチャのブロックであるかを示す情報も共に復号化する。もし図２０に図示されたように、暗示モードで、現在ブロックの予測動きベクトルが符号化された場合には、当該暗示モードを示すモード情報が復号化される。

段階２２３０で、動き補償部２１２０は、復号化された現在ブロックの予測動きベクトルに係わる情報に基づいて、現在ブロックの予測動きベクトルを生成し、段階２２４０で、動き補償部２１２０は、予測動きベクトル及び差値を加え、現在ブロックの動きベクトルを復元する。

前述のように、図１６ないし図１８のように、符号化された予測動きベクトルである場合、現在ブロックと同一な第１参照ピクチャを参照する動きベクトル予測子である場合、現在ブロックのように、第１参照ピクチャを参照する動きベクトルを有するブロックが、周弁ブロックに存在しない場合、第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを決定する。

本発明はまた、コンピュータで読み取り可能な記録媒体、にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されて実行される。

本実施形態の装置、エンコーダ及びデコーダは、装置のあらゆる単位に結合されるバス、前記の機能を実装する操作を制御し、コマンドを実行する少なくとも１つのプロセッサ（例えば、中央演算処理装置、マイクロプロセッサなど）、及びコマンドを保存するためにバスに接続され、メッセージを受け、かつメッセージを生じさせるメモリを含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で、当業者であるならば、本発明が本発明の本質的な特性からはずれない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

Claims (15)

1. 動きベクトルの符号化方法において、
   現在ブロックに係わる動き予測を行い、第１参照ピクチャで、前記現在ブロックと対応する領域を示す前記現在ブロックの動きベクトルを生成する段階と、
   前記現在ブロック以前に符号化された周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成する段階と、
   前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、前記予測動きベクトルを生成する段階と、
   前記予測動きベクトルと、前記現在ブロックの動きベクトルとの差値を、前記現在ブロックの動きベクトル情報として符号化する段階と、を含むことを特徴とする動きベクトルの符号化方法。
2. 前記予測動きベクトルは、
   前記現在ブロックの左側に隣接したブロックから選択された第１予測動きベクトル、前記現在ブロックの上側に隣接したブロックから選択された第２予測動きベクトル、及び前記現在ブロック以前に符号化された前記現在ブロックのコーナーに位置したブロックから選択された第３予測動きベクトルを含むことを特徴とする請求項１に記載の動きベクトルの符号化方法。
3. 前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成する段階は、
   前記現在ブロックの左側に隣接したブロックを、所定スキャン順序によってスキャンしながら、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第１予測動きベクトルとして選択する段階と、
   前記現在ブロックの上側に隣接したブロックを、所定スキャン順序によってスキャンしながら、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第２予測動きベクトルとして選択する段階と、
   前記現在ブロックのコーナーに位置したブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第３予測動きベクトルとして選択する段階と、を含むことを特徴とする請求項１に記載の動きベクトルの符号化方法。
4. 前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、前記予測動きベクトルを生成する段階は、
   前記現在ブロックの左側に隣接したブロックを、所定スキャン順序によってスキャンしながら識別された前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第１予測動きベクトルとして選択する段階と、
   前記現在ブロックの上側に隣接したブロックを、所定スキャン順序によってスキャンしながら識別された前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第２予測動きベクトルとして選択する段階と、
   前記現在ブロックのコーナーに位置したブロックのうち、前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第３予測動きベクトルとして選択する段階と、を含むことを特徴とする動き請求項１に記載のベクトルの符号化方法。
5. 前記第１予測動きベクトル、前記第２予測動きベクトル及び前記第３予測動きベクトルは、前記第１参照ピクチャのようなリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルのうち、前記所定スキャン順序に従って、最初に識別された動きブロックの動きベクトルであることを特徴とする請求項４に記載の動きベクトルの符号化方法。
6. 前記第１参照ピクチャのようなリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルが存在しない場合、
   前記第１予測動きベクトル、前記第２予測動きベクトル及び前記第３予測動きベクトルは、前記第１参照ピクチャと異なるリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルのうち、前記所定スキャン順序に従って、最初に識別された動きブロックの動きベクトルであることを特徴とする請求項５に記載の動きベクトルの符号化方法。
7. 前記第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルが、前記第１参照ピクチャと異なる参照ピクチャを参照する動きベクトルである場合、前記現在ブロックが含まれた現在ピクチャと、前記他の参照ピクチャとの時間的距離に基づいて、前記第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルをスケーリングする段階をさらに含むことを特徴とする請求項４に記載の動きベクトルの符号化方法。
8. 動きベクトルの復号化方法において、
   ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報を復号化する段階と、
   前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差値を復号化する段階と、
   前記復号化された現在ブロックの予測動きベクトルに係わる情報に基づいて、前記現在ブロックの予測動きベクトルを生成する段階と、
   前記予測動きベクトル及び前記差値に基づいて、前記現在ブロックの動きベクトルを復元する段階と、を含み、
   前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックと同一な第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであり、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであることを特徴とする動きベクトルの復号化方法。
9. 前記予測動きベクトルは、
   前記現在ブロックの左側に隣接したブロックから選択された第１予測動きベクトル、前記現在ブロックの上側に隣接したブロックから選択された第２予測動きベクトル、及び前記現在ブロック以前に符号化された前記現在ブロックのコーナーに位置したブロックから選択された第３予測動きベクトルを含むことを特徴とする請求項８に記載の動きベクトルの復号化方法。
10. 前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、予測動きベクトルを生成する段階は、
    前記現在ブロックの左側に隣接したブロックを、所定スキャン順序によってスキャンしながら、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第１予測動きベクトルとして選択する段階と、
    前記現在ブロックの上側に隣接したブロックを、所定スキャン順序によってスキャンしながら、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第２予測動きベクトルとして選択する段階と、
    前記現在ブロックのコーナーに位置したブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有する動きブロックの動きベクトルを、前記第３予測動きベクトルとして選択する段階と、を含むことを特徴とする請求項８に記載の動きベクトルの復号化方法。
11. 前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して、前記予測動きベクトルを生成する段階は、
    前記現在ブロックの左側に隣接したブロックを、所定スキャン順序によってスキャンしながら識別された前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第１予測動きベクトルとして選択する段階と、
    前記現在ブロックの上側に隣接したブロックを、所定スキャン順序によってスキャンしながら識別された前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第２予測動きベクトルとして選択する段階と、
    前記現在ブロックのコーナーに位置したブロックのうち、前記他の参照ピクチャを参照する動きブロックの動きベクトルを、前記第３予測動きベクトルとして選択する段階と、を含むことを特徴とする請求項８に記載の動きベクトルの復号化方法。
12. 前記第１予測動きベクトル、前記第２予測動きベクトル及び前記第３予測動きベクトルは、前記第１参照ピクチャのようなリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルのうち、前記所定スキャン順序に従って最初に識別された動きブロックの動きベクトルであることを特徴とする請求項１１に記載の動きベクトルの復号化方法。
13. 前記第１参照ピクチャのようなリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルが存在しない場合、
    前記第１予測動きベクトル、前記第２予測動きベクトル及び前記第３予測動きベクトルは、前記第１参照ピクチャと異なるリスト方向に位置した他の参照ピクチャを参照する動きブロックの動きベクトルのうち、前記所定スキャン順序に従って最初に識別された動きブロックの動きベクトルであることを特徴とする請求項１２に記載の動きベクトルの復号化方法。
14. 前記第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルが、前記第１参照ピクチャと異なる参照ピクチャを参照する動きベクトルである場合、前記現在ブロックが含まれた現在ピクチャと、前記他の参照ピクチャとの時間的距離に基づいて、前記第１予測動きベクトル、第２予測動きベクトル及び第３予測動きベクトルをスケーリングする段階をさらに含むことを特徴とする請求項１１に記載の動きベクトルの復号化方法。
15. 動きベクトルの復号化装置において、
    ビットストリームから、復号化される現在ブロックの予測動きベクトルに係わる情報、及び前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差値を復号化する動きベクトル復号化部と、
    前記復号化された現在ブロックの予測動きベクトルに係わる情報に基づいて、前記現在ブロックの予測動きベクトルを生成し、前記予測動きベクトル及び前記差値に基づいて、前記現在ブロックの動きベクトルを復元する動き補償部と、を含み、
    前記予測動きベクトルは、前記現在ブロックの周辺ブロックのうち、前記現在ブロックと同一な第１参照ピクチャを参照する動きベクトルを有するブロックが存在する場合、前記第１参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであり、前記周辺ブロックのうち、前記第１参照ピクチャを参照する動きベクトルを有するブロックが存在しない場合、前記第１参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルを利用して生成された予測動きベクトルであることを特徴とする動きベクトルの復号化装置。

Images