JP2012070277A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

Abstract

【課題】従来の動画像符号化／復号では、予め用意された形状パターンで動き補償予測をするため、最適な形状パターンを選択できず、符号化効率の向上に限界がある。
【解決手段】仮領域分割部１０１は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割する。動きベクトル検出部１０２は、各仮領域に対して動きベクトルを検出する。本領域分割・動き補償部１０３は、各仮領域の動きベクトルを用いて、参照画像から符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティと符号化対象ブロックに隣接する符号化済み領域を評価した隣接領域評価値の内、少なくとも１つに基づいて本境界を決定し、各予測ブロックを本境界で分割して得た領域を各予測ブロック間で結合させる際に、本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する。
【選択図】図１

Description

本発明は、動画像の符号化技術に関し、特に動き補償予測を利用した動画像の符号化技術に関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、画面間の相関を利用して符号量を圧縮する動き補償予測が多く用いられる。ＭＰＥＧ等で用いられる動き補償予測では、所定サイズのブロック毎に、既に復号済の参照画像から、符号化対象画像と参照画像の相対位置関係を示す動きベクトルを用いて予測画像を生成する。その後、符号化側では、符号化対象原画像と動き補償予測により生成された予測画像との差分である予測誤差を算出し、予測誤差のみを復号側に伝送する。これにより、動き補償予測を用いない場合と比較して伝送する符号量を大幅に削減できる。

一般に、符号化・復号処理はマクロブロック（所定ブロックサイズの画素群、例えば１６×１６）単位で行われる。動き補償予測もマクロブロック単位で行われることが多いが、この場合、マクロブロックよりも小さな物体等の動きを捉えることが難しく、結果として符号化効率が低下する。そこで、動き補償予測をさらに効率良く機能させる方法として、マルチブロックパターン動き補償予測が用いられる。

マルチブロックパターン動き補償予測では、マクロブロック内をさらにサブブロックに分割し、サブブロック毎に異なる動きベクトルを用いて動き補償予測を行うことが可能である。使用する動き補償予測ブロックの分割パターンは、符号化側と復号側の同一規則として予め定義しておく。符号化側では定義されたブロックパターンの中から動き補償予測のブロックパターンを選択し、ブロックパターンの選択情報を復号側に伝送する。復号側では、受信したブロックパターンの選択情報に基づき動き補償予測を行う。マルチブロックパターン動き補償予測では、符号化側で動き補償予測に最適なブロックパターンを選択すると、動き補償予測後の予測誤差が減少し、符号化効率が向上する。

具体的なブロックパターンの例として、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの合同ビデオチーム（ＪＶＴ）が国際標準化したＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)では、マクロブロック（１６×１６ブロック）内をさらに１６×８／８×１６／８×８／８×４／４×８／４×４のブロックパターンに分割して動き補償予測を行うことが可能である。符号化側では、ブロックパターンを選択し、ブロックパターンの選択情報をビットストリーム内に符号化する。復号側では、ビットストリーム内に符号化されているブロックパターンに応じてマクロブロックを領域分割し、分割された領域毎に動き補償予測を行う。

更に、特許文献１や特許文献２には、さまざまな動き補償予測形状パターンを定義し、より柔軟な形状で動き補償予測を行う技術が開示されている。

特許第４０２５５７０号公報 再公表特許第ＷＯ２００３−０２６３１５号公報

しかしながら、特許文献１や特許文献２に開示された方法では、定義する動き補償予測形状パターンを増やした場合、形状パターン数が増加するにつれ、伝送する形状パターンの選択情報に費やす符号量が多くなってしまう。つまり、形状パターンが増加したことによる予測誤差の減少と、形状パターン選択に関する符号量増加はトレードオフ関係にあるため、単に形状パターン数を増やすだけでは全体的な符号化効率を向上させることは難しい。

このように従来の動画像符号化／復号では、予め定義した形状パターンの動き補償予測しか行えないため、最適な形状で動き補償予測を行うことができず、符号化効率を向上させることができない。また、定義する動き補償予測形状パターンを増やした場合、動き補償予測形状パターンの選択に関する付加情報の符号量が増加するため、全体的な符号化効率が向上するとは限らない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測のブロックパターンに関する付加情報の符号量を増加させることなく、さまざまなブロックパターンでの動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部（１０１）と、各仮領域に対して動きベクトルを検出する動きベクトル検出部（１０２）と、各仮領域の動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティに基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する動き補償部（１０３）と、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部（１０５）とを備える。

本発明の別の態様もまた、動画像符号化装置である。この装置は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部（１０１）と、各仮領域に対して動きベクトルを検出する動きベクトル検出部（１０２）と、各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させることにより、合成予測ブロックを生成する動き補償部（１０３）と、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部（１０５）とを備える。

本発明のさらに別の態様もまた、動画像符号化装置である。この装置は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部（１０１）と、各仮領域に対して動きベクトルを検出する動きベクトル検出部（１０２）と、各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する動き補償部（１０３）と、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部（１０５）とを備える。

本発明のさらに別の態様は、動画像符号化方法である。この方法は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、各仮領域に対して動きベクトルを検出するステップと、各仮領域の動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティに基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成するステップと、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備える。

本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、各仮領域に対して動きベクトルを検出するステップと、各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させることにより、合成予測ブロックを生成するステップと、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備える。

本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、各仮領域に対して動きベクトルを検出するステップと、各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成するステップと、前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動き補償予測のブロックパターンに関する付加情報の符号量を増加させることなく、さまざまなブロックパターンでの動き補償予測を可能にすることで、予測誤差を減少させて符号化効率を向上させることができる。

実施の形態１の動画像符号化装置の構成を示すブロック図である。 実施の形態１の動画像復号装置の構成を示すブロック図である。 マクロブロックを水平方向に２分割するパターンを説明する図である。 マクロブロックを垂直方向に２分割するパターンを説明する図である。 マクロブロックの仮領域毎に検出される動きベクトルを示す図である。 仮領域毎に検出された動きベクトルから生成される動き補償予測画像を示す図である。 各仮領域の動きベクトルから生成される動き補償予測画像を合成して得られる合成動き補償予測画像を示す図である。 各仮領域の動きベクトルから生成される動き補償予測画像を合成して合成動き補償予測画像を生成する方法を説明する図である。 図１の本領域分割・動き補償部による本境界の決定手順を説明するフローチャートである。 動き補償予測画像についての本境界決定に関するアクティビティを説明する図である。 符号化対象ブロックに隣接する符号化済み領域について隣接領域評価値を算出する方法を説明する図である。 第１動き補償予測画像と第２動き補償予測画像を本境界の周辺領域で重ね合わせながら合成して合成動き補償予測画像を生成する方法を説明する図である。 第１動き補償予測画像と第２動き補償予測画像を本境界の周辺領域で重ね合わせる際の重ね合わせ係数を説明する図である。 実施の形態２の動画像符号化装置による動きベクトルの調整手順を説明するフローチャートである。 実施の形態３の動画像符号化装置による仮境界の調整手順を説明するフローチャートである。 実施の形態１〜３の動画像符号化装置により符号化される動画像のビットストリームの第一のシンタックスパターンを示す図である。 スライス単位で動き補償予測の形状を復号側で自動的に決定するかどうかを示す第１フラグがＯＮ／ＯＦＦそれぞれの場合のマクロブロックタイプmb_typeのセマンティックスを示す図である。 マクロブロック単位で動き補償予測の形状を復号側で自動的に決定するかどうかを示す第２フラグを伝送する第二のシンタックスパターンを示す図である。 スライスレベルで動き補償予測の形状を復号側で自動的に決定するアルゴリズムを切り替える第三のシンタックスパターンを示す図である。 マクロブロックの分割方向をシンタックス上で区別しない第四のシンタックスパターンを示す図である。 第四のシンタックスパターンのマクロブロックタイプのセマンティックスを示す図である。 領域分割をマクロブロックタイプと連動させずに決定する第五のシンタックスパターンを示す図である。 本発明の実施の形態を双方向予測に対して適用する場合について説明する図である。 マクロブロックを２次元に領域分割する方法を示す図である。 マクロブロックを２次元に分割して動き補償を行う手順を説明するフローチャートである。 マクロブロックを３つの領域に分割する方法を示す図である。 マクロブロックを３分割して動き補償を行う手順を説明するフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。

（実施の形態１）
図１は、実施の形態１の動画像符号化装置の構成を示すブロック図である。実施の形態１の動画像符号化装置は、仮領域分割部１０１、動きベクトル検出部１０２、本領域分割・動き補償部１０３、直交変換・量子化部１０４、可変長符号化部１０５、逆量子化・逆直交変換部１０６、参照画像メモリ１０７、減算部１０８、および加算部１０９を備える。

仮領域分割部１０１は、例えば１６×１６マクロブロックなどの符号化対象となっている画素群について、任意の境界で領域を分割する。この領域分割は動きベクトル検出のための符号化側の独自手法であり、どのような境界で領域分割しても構わないが、動き補償予測の効率が向上する境界で領域分割するのが望ましい。ここでは、最も単純な仮領域分割として、水平方向又は垂直方向にのみマクロブロックを２分割する場合を例として挙げて説明する。

図３（ａ）〜（ｃ）は、マクロブロックを水平方向に２分割するパターンを説明する図である。図３（ａ）は、上から４画素目の水平境界でマクロブロックを１６×４の上側領域と１６×１２の下側領域に２分割したパターンであり、図３（ｂ）は、上から８画素目の水平境界でマクロブロックを１６×８の上側領域と１６×８の下側領域に２分割したパターンであり、図３（ｃ）は、上から１２画素目の水平境界でマクロブロックを１６×１２の上側領域と１６×４の下側領域に２分割したパターンである。

図４（ａ）〜（ｃ）は、マクロブロックを垂直方向に２分割するパターンを説明する図である。図４（ａ）は、左から４画素目の垂直境界でマクロブロックを４×１６の左側領域と１２×１６の右側領域に２分割したパターンであり、図４（ｂ）は、左から８画素目の垂直境界でマクロブロックを８×１６の左側領域と８×１６の右側領域に２分割したパターンであり、図４（ｃ）は、左から１２画素目の垂直境界でマクロブロックを１２×１６の左側領域と４×１６の右側領域に２分割したパターンである。

仮領域分割部１０１により決められるマクロブロックの境界を「仮境界」（provisional boundary）と呼び、仮境界により分割されたマクロブロック内の各領域を「仮領域」（provisional region）と呼ぶ。

ここでは、水平方向または垂直方向に２分割するパターンを３つ示したが、水平境界または垂直境界の候補位置を増やして４以上の分割パターンを設けてもよい。また、斜め方向の境界で分割したり、折れ曲がった境界で分割してもよい。

仮領域分割部１０１は、符号化対象となる原画像信号について、各水平境界に関する水平アクティビティ、または各垂直境界に関する垂直アクティビティを計算する。後述のように、折れ曲がった境界でマクロブロックを分割した場合は、折れ曲がった境界に沿ってアクティビティを計算する。

画像信号のアクティビティとは、画素に対して何らかの演算を施した値のことである。マクロブロックを領域分割する境界に関するアクティビティとして、たとえば、境界をまたぐ２画素間の絶対差分和（ＳＡＤ）を用いることができる。例えば、マクロブロック内のX座標をｉ、Y座標をｊとして、点（ｉ，ｊ）における画素値をＡ_ｉ，ｊとすると、上からｊ画素目の水平境界ｊの水平アクティビティは以下のように定義される。
水平アクティビティ＝Σ_ｉ＝０ ^１５｜Ａ_ｉ，ｊ−Ａ_{ｉ，ｊー１}｜
ここで、Σ_ｉ＝０ ^１５は、添え字ｉを０から１５まで動かした場合の総和である。

ただし、アクティビティは絶対差分和（ＳＡＤ）でなくてもよい。以下に示すような絶対二乗和（ＳＳＤ）であってもよい。
水平アクティビティ＝Σ_ｉ＝０ ^１５（Ａ_ｉ，ｊ−Ａ_{ｉ，ｊー１}）^２

同様に、マクロブロックの左からｉ画素目の垂直境界ｉの垂直アクティビティは以下のように定義される。
垂直アクティビティ＝Σ_ｊ＝０ ^１５｜Ａ_ｉ，ｊ−Ａ_{ｉー１，ｊ}｜

アクティビティは物体のエッジなどで大きい値になる。仮領域分割部１０１は、アクティビティ値が最も大きい境界でマクロブロックの領域を仮分割する。

動きベクトル検出部１０２は、仮領域分割部１０１により分割された各仮領域について動きベクトルを検出する。

図５は、マクロブロックの仮領域毎に検出される動きベクトルを示す図である。仮領域分割部１０１が、マクロブロックを図３（ａ）のように上から４画素目の水平境界で仮分割した場合を例に取ると、動きベクトル検出部１０２は、図５に示すように、１６×４の上側領域と１６×１２の下側領域のそれぞれについて動きベクトルを検出する。

ここで、動きベクトルはブロックマッチング法を用いて検出する。動きベクトル検出のアルゴリズムは指定した探索領域内の候補ベクトルをすべて評価するフルサーチの他、さまざまな動き特性から探索する候補ベクトルを絞り込んで探索する高速サーチなどいろいろな方法が存在する。仮領域分割部１０１で分割したブロック毎に動きベクトルを検出することができるものであれば、どのような動きベクトル検出アルゴリズムを用いることも可能である。

本領域分割・動き補償部１０３は、動きベクトル検出部１０２で検出された各仮領域の動きベクトルを用いて、参照画像メモリ１０７に蓄積されている参照画像から動き補償予測を行う。本領域分割・動き補償部１０３は、後述の手順で、各仮領域の動きベクトルから生成される複数の動き補償予測画像を合成して合成動き補償予測画像を生成する。

図６（ａ）、（ｂ）は、仮領域毎に検出された動きベクトルから生成される動き補償予測画像を示す。図７（ａ）〜（ｃ）は、各仮領域の動きベクトルから生成される動き補償予測画像を合成して得られる合成動き補償予測画像を示す。

仮領域分割部１０１が、マクロブロックを図３（ａ）に示すように上から４画素目の水平境界で仮分割した場合を例に説明する。動きベクトル検出部１０２は、図５に示すように、１６×４の上側領域と１６×１２の下側領域のそれぞれについて動きベクトルを検出した結果、符号化対象マクロブロックには２つの動きベクトル（第１、第２動きベクトル）が存在する。本領域分割・動き補償部１０３は、図６（ａ）、（ｂ）に示すように、動きベクトル検出部１０２により検出された動きベクトル毎に、参照画像を用いて、仮に当該マクロブロックの大きさ（ここでは１６×１６）で動き補償予測した場合の画像を生成する。図６（ａ）は、１６×４の上側領域の第１動きベクトルを用いて生成された第１動き補償予測画像であり、図６（ｂ）は、１６×１２の下側領域の第２動きベクトルを用いて生成された第２動き補償予測画像である。

本領域分割・動き補償部１０３は、図６（ａ）、（ｂ）に示す第１、第２動き補償予測画像を、図７に示す（ａ）〜（ｃ）のいずれかのパターンに合成して合成動き補償予測画像を生成する。第１、第２動き補償予測画像は符号化対象マクロブロックと同一の大きさであり、合成動き補償予測画像を生成するために、ある境界で分割される。本領域分割・動き補償部１０３により決められるマクロブロックの境界を「本境界」（actual boundary）と呼び、本境界により分割されたマクロブロックの領域を「本領域」（actual region）と呼び、仮領域分割部１０１により決められる「仮境界」、「仮領域」と区別する。

図７（ａ）〜（ｃ）は、本領域分割・動き補償部１０３が決定する本境界の候補を示したものである。図７（ａ）は上から４画素目の水平境界を本境界とし、図７（ｂ）は上から８画素目の水平境界を本境界とし、図７（ｃ）は上から１２画素目の水平境界を本境界として、それぞれ、本境界より上側の本領域は第１動き補償予測画像の対応する領域、本境界より下側の本領域は第２動き補償予測画像の対応する領域で表したものである。

本領域分割・動き補償部１０３は、エッジ強度などを表す評価値にもとづいて、本境界を決定し、決定された本境界で第１、第２動き補償予測画像を分割して合成する。

図８（ａ）〜（ｃ）は、各仮領域の動きベクトルから生成される動き補償予測画像を合成して合成動き補償予測画像を生成する方法を説明する図である。本領域分割・動き補償部１０３は、本境界決定後、図８（ａ）の第１動きベクトルに対応する第１動き補償予測画像と図８（ｂ）の第２動きベクトルに対応する第２動き補償予測画像を用いて、本境界より上の領域を第１動き補償予測画像として動き補償予測し、本境界より下の領域を第２動き補償予測画像として動き補償予測する。この例では、本境界より上の１６×４の領域には、第１動き補償予測画像の対応する領域が複製され、本境界より下の１６×１２の領域には、第２動き補償予測画像の対応する領域が複製される。

ここでは水平方向の領域分割を例に説明したが垂直方向の領域分割の場合も同様の方法で実施可能である。また、今回は本境界候補を図７（ａ）〜（ｃ）の３通りとする場合を説明したが、本境界の候補をさらに増やしてもよい。ただし、後述するように、直交変換・量子化部１０４の直交変換サイズとの関係を十分に考慮しておく必要がある。

図１に戻り、減算部１０８は、符号化対象原画像と本領域分割・動き補償部１０３で算出した動き補償予測画像との差分により、予測残差成分を算出し、直交変換・量子化部１０４に与える。直交変換・量子化部１０４は、予測残差成分の直交変換・量子化を行う。

ここで、直交変換・量子化部１０４は、動き補償予測のサイズに対応した直交変換サイズを使用して直交変換を行う。つまり、動き補償予測のサイズとして１６×４／１６×８／１６×１２（垂直方向に４の倍数）が許容されている場合、少なくとも１６×４又は８×４又は４×４（垂直方向に４の倍数）の直交変換サイズを使用できるようにする。他の例として、動き補償予測のサイズとして１６×２／１６×４／１６×６／１６×８／１６×１０／１６×１２（垂直方向に２の倍数）が許容されている場合、少なくとも１６×２又は８×２又は４×２（垂直方向に２の倍数）の直交変換サイズを使用できるようにする。これにより、動き補償予測の予測誤差を直交変換する際に、直交変換する予測誤差集合の中に動き補償予測の境界が含まれることがなくなる。これにより、動き補償予測の境界をまたいだ画素を予測誤差として一緒に直交変換することによる直交変換効率の低下を防止することができ、符号化効率を一層向上させる効果を奏する。

可変長符号化部１０５は、直交変換・量子化部１０４で直交変換・量子化された予測残差成分を可変長符号化するとともに、動きベクトル検出部１０２で検出した動きベクトルを可変長符号化する。従来のようにマクロブロックを固定境界で分割する場合は、動きベクトルはラスタ順（すなわち、左上のブロックから右下のブロックへの順）で伝送する。本実施の形態のように動き補償予測の形状を復号側で自動的に決定する場合は、動き補償予測の各領域内の一番左上画素の位置がラスタ順で先のものから順に動きベクトルを伝送する。これにより、従来技術と同様、複数の動きベクトルを伝送する順序によって、動き補償予測の対象領域を一意的に表現することが可能である。

逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４によって直交変換・量子化された予測残差成分に対して、逆直交変換及び逆量子化を行う。直交変換・量子化部１０４と同様に、動き補償予測のサイズに対応したサイズで逆直交変換できるようにしておく。

加算部１０９は、逆量子化・逆直交変換部１０６により復号された予測残差成分と、本領域分割・動き補償部１０３により算出された動き補償予測画像とを加算することで参照画像を生成し、参照画像メモリ１０７に格納する。

図２は、実施の形態１の動画像復号装置の構成を示すブロック図である。実施の形態１の動画像復号装置は、可変長復号部２０１、本領域分割・動き補償部２０３、逆量子化・逆直交変換部２０６、加算部２０９、および参照画像メモリ２０７を備える。

可変長復号部２０１は、直交変換・量子化されている予測残差成分信号及び動きベクトルを可変長復号する。図１の動画像符号化装置により符号化されたビットストリームでは、マクロブロックを分割した領域毎に動きベクトルが符号化されているため、可変長復号部２０１により、分割領域毎に動きベクトルが復号される。ここで、マクロブロック内の動きベクトルが復号された順序によって、動き補償予測の対象領域を一意に決定することができる。

本領域分割・動き補償部２０３は、図１の動画像符号化装置の本領域分割・動き補償部１０３と同一の機能を持ち、可変長復号部２０１で復号された動きベクトルを用いて参照画像メモリ２０７に蓄積されている参照画像から動き補償予測を行う。ここで、動きベクトルはマクロブロックの分割領域毎に取得されている。本領域分割・動き補償部２０３は、図１の動画像符号化装置の本領域分割・動き補償部１０３と同様の手順で、各分割領域の動きベクトルから生成される複数の動き補償予測画像を合成して合成動き補償予測画像を生成する。

逆量子化・逆直交変換部２０６は、図１の動画像符号化装置の逆量子化・逆直交変換部１０６と同一の機能を持ち、可変長復号部２０１で復号された予測残差成分に対して逆直交変換及び逆量子化を行う。

加算部２０９は、逆量子化・逆直交変換部２０６により復号された予測残差成分と、本領域分割・動き補償部２０３により算出された動き補償予測画像とを加算することにより、画像信号を復号する。参照画像メモリ２０７は、図１の動画像符号化装置の参照画像メモリ１０７と同一であり、復号された参照画像を蓄積する。

以上の構成による動画像符号化装置の動作、特に、本領域分割・動き補償部１０３の動作を説明する。

図９は、本領域分割・動き補償部１０３による本領域の決定手順を説明するフローチャートである。

まず、仮領域分割部１０１により分割されたＮ個（Ｎ≧２）の仮領域毎に動きベクトル検出部１０２は動きベクトルを検出する。ここではＮ＝２とする。動きベクトル検出部１０２で検出した第１動きベクトルを用いて、マクロブロックと同一の大きさで動き補償予測し、第１動き補償予測画像を生成する（Ｓ０１）。同様に、動きベクトル検出部１０２で検出した第２動きベクトルを用いて、マクロブロックと同一の大きさで動き補償予測し、第２動き補償予測画像を生成する（Ｓ０２）。

次に、本境界の各候補について、図１０（ａ）〜（ｄ）に示す第１〜第４アクティビティを算出する（Ｓ０３〜Ｓ０６）。ただし、ステップＳ０３〜Ｓ０６は順不同で行うことが可能である。また、ステップＳ０３〜Ｓ０６のすべてを行わずに、境界評価に使用したいアクティビティだけを算出することももちろん可能である。

まず、図１０（ａ）のように、第１動き補償予測画像について、本境界候補に関する境界アクティビティ（第１アクティビティ）を算出する（Ｓ０３）。ここで、アクティビティには本境界候補をまたぐ２画素間の絶対差分和（ＳＡＤ）を用いる。第１アクティビティは物体のエッジなどで値が大きくなるため、値が大きいほど該当境界で領域を分割した方が動き補償予測の予測効率が向上する。同様に、図１０（ｂ）のように、第２動き補償予測画像について、本境界候補に関する境界アクティビティ（第２アクティビティ）を算出する（Ｓ０４）。第２アクティビティは第１アクティビティと同様に、値が大きいほど該当境界で領域を分割した方が動き補償予測の予測効率が向上する。

続いて、図１０（ｃ）のように、マクロブロック内の本境界候補より上の領域を第１動き補償予測画像として動き補償予測し、本境界候補より下の領域を第２動き補償予測画像として合成した合成動き補償予測画像について、本境界候補に関する境界アクティビティ（第３アクティビティ）を算出する（Ｓ０５）。第３アクティビティは本境界候補をまたぐ２画素間の絶対差分和であるから、本境界候補の上下に位置する第１動き補償予測画像の画素と第２動き補償予測画像の画素の値の絶対差分の和になる。したがって、第３アクティビティは値が小さいほど、合成動き補償予測画像の境界が滑らかになり、予測誤差信号に高周波成分が発生しにくいため、動き補償予測の予測効率が向上する。

最後に、図１０（ｄ）のように、第１動き補償予測画像と第２動き補償予測画像の差分画像について、本境界候補に関する境界アクティビティ（第４アクティビティ）を算出する（Ｓ０６）。第４アクティビティは、物体の境界などで値が大きくなるため、値が大きいほど該当境界で領域を分割した方が動き補償予測の予測効率が向上する。

さらに、本実施の形態では、第１動き補償予測画像と第２動き補償予測画像をそれぞれ符号化対象ブロックに隣接する符号化済み領域に延長して得られる延長予測画像と、隣接領域の符号化済み局所復号画像とを比較した時の予測誤差をそれぞれ評価し、隣接領域評価値を算出する（Ｓ０７）。

図１１（ａ）〜（ｃ）は、隣接領域評価値の算出方法を説明する図である。ここでは、水平方向に領域を２分割する場合の隣接領域評価値の算出について同図を参照して説明する。符号化の順序がラスタ順、すなわち左から右、上から下の順序である場合、符号化対象ブロックの左側と上側の隣接領域は符号化済みである。水平方向に領域を２分割する場合は、図１１（ａ）に示すように、符号化対象領域３００の左側の符号化済み隣接領域の局所復号画像３０２を評価に用いる。

まず、図１１（ｂ）のように、第１動き補償予測画像３１０の左方向に所定画素数（例えば２画素）だけ延長した隣接領域について第１延長予測画像３１２を生成し、同様に、図１１（ｃ）のように、第２動き補償予測画像３２０の左方向に所定画素数だけ延長した隣接領域について第２延長予測画像３２２を生成する。第１、第２延長予測画像は、それぞれ第１、第２動きベクトルを用いて符号化対象ブロックの左側の隣接領域を動き補償予測することにより生成される。

次に、図１１（ｄ）に示すように、各延長予測画像３１２、３２２と符号化済み隣接領域の局所復号画像３０２との誤差評価値をＳＡＤなどにより算出し、本境界候補より上側の領域については第１延長予測画像との誤差評価値を用い、本境界候補より下側の領域については第２延長予測画像との誤差評価値を用いて、これらの誤差評価値の和を計算することにより本境界候補における隣接領域評価値を算出する。
隣接領域評価値ＮＥＩ＝Ｕ１＋Ｄ２
ここで、Ｕ１は第１延長予測画像の上側領域の誤差評価値であり、Ｄ２は第２延長予測画像の下側領域の誤差評価値である。つまり、隣接領域評価値ＮＥＩは、符号化対象ブロックの周辺領域を本境界候補で分割した時の予測効率の悪さを数値化したものである。

符号化対象ブロックと周辺ブロックは画像が連続しているため、周辺領域の予測効率が高い（隣接領域評価値が小さい）境界で符号化対象画像も領域分割した方が、符号化対象画像の予測効率も向上する。

延長予測画像を生成するには、符号化対象ブロックに対する第１動き補償予測画像と第２動き補償予測画像を生成する際に、予測画像のサイズを延長方向に所定画素数だけ大きくしておけばよいだけであり、新たに参照画像にアクセスする必要はない。

図１１（ａ）〜（ｄ）では、水平方向に領域分割する場合を説明したが、垂直方向に領域分割する場合は、符号化対象ブロックの上側の符号化済み隣接領域を評価に用いる点が異なり、それ以外は同様であるから、説明を省略する。

境界評価に使用するアクティビティと隣接領域評価値をすべて算出した後に、予め定義した評価値を用いて本境界候補を評価する（Ｓ０８）。例えば、評価値は以下のように定義する。
評価値＝−Ａ＊ＡＣＴ１−Ｂ＊ＡＣＴ２＋Ｃ＊ＡＣＴ３−Ｄ＊ＡＣＴ４＋Ｅ＊ＮＥＩ
ここで、ＡＣＴ１は第１アクティビティ値を表し、ＡＣＴ２は第２アクティビティ値を表し、ＡＣＴ３は第３アクティビティ値を表し、ＡＣＴ４は第４アクティビティ値を表し、ＮＥＩは隣接領域評価値を表す。また、Ａ，Ｂ，Ｃ，Ｄ，Ｅはそれぞれ０以上の定数であり、通常はＡ＝Ｂである。
また、画像の端やスライスの境界など、隣接領域が未符号化の場合は隣接領域評価値を算出することができないため、隣接領域評価値を評価値から除外する。

ただし、第１動きベクトルと第２動きベクトルの大きさを利用して、Ａ，Ｂを定数ではなく変数とすると境界評価の精度が更に向上する。例えば、第１動きベクトルの大きさが小さく、第２動きベクトルの大きさが大きい場合、第１アクティビティと第２アクティビティでは、第２アクティビティの方をより信頼度の高い指標とするため、Ａ＜ＢとなるようにＡ，Ｂを設定する。これは、動いている領域のエッジは動いていない領域のエッジと比較して実際の動きの境界である確率が高く、動き補償予測の境界は、実際の動きの境界付近に設定すると符号化効率が高くなるためである。

また、動きベクトルの大きさを利用した他の方法として、第１動きベクトルと第２動きベクトルの差が所定閾値Ｔ１未満の場合、第１動き補償予測画像と第２動き補償予測画像は似た画像であるから、本境界を中心以外に決定する効果が小さいことがある。この場合、本境界決定処理を行わず、本境界をブロックの中心に固定することも可能である。逆に、第１動きベクトルと第２動きベクトルの差が所定閾値Ｔ２以上の場合、本境界をまたいで他方の領域からの動き補償の影響が少ない方が良いことがあるため、後述するＯＢＭＣを行わないようにするか、あるいはＯＢＭＣを用いる範囲を狭くするか、ＯＢＭＣを用いる強度を弱くするようにしてもよい。

上記評価値をすべての本境界候補について算出し、最小値を持つ本境界候補を最終的な本境界に決定する（Ｓ０９）。

本境界決定後、図８（ａ）〜（ｃ）で説明したように、第１動き補償予測画像と第２動き補償予測画像を合成して合成動き補償予測画像を生成するが、本実施の形態では、さらに、本境界の周辺領域について、第１動き補償予測画像と第２動き補償予測画像を重ね合わせた動き補償予測を行うこともできる。ブロック境界を跨いで複数の動き補償予測画像を重ね合わせる技術はＯＢＭＣ（Overlapped Block Motion Compensation)と呼ばれる。ＯＢＭＣは、複数の動き補償予測画像を重ね合わせることで、誤差の平均化により予測誤差のエネルギーを抑制できるため、符号化効率が向上するとともに、ブロック境界が視覚的に認知しにくくなるため、主観画質も向上する。また、特に、すべての動き補償のサイズに対応した直交変換を使用できず、直交変換する予測誤差集合の中に動き補償予測の境界が含まれてしまう場合には、動き補償の境界を跨いで複数の動き補償予測画像を重ね合わせることで、直交変換後の変換係数のエネルギーを大幅に抑制できるため、符号化効率を一層向上させる効果を奏する。

図１２（ａ）〜（ｃ）は、ＯＢＭＣを用いて第１動き補償予測画像と第２動き補償予測画像を合成して合成動き補償予測画像を生成する方法を説明する図である。ＯＢＭＣを用いない場合、図８（ａ）〜（ｃ）で説明したように、水平方向に領域を２分割する例では、本境界決定後、本境界より上側領域には第１動き補償予測画像を採用し、本境界より下側領域には第２動き補償予測画像を採用する。一方、ＯＢＭＣを用いる場合、図１２（ａ）のように第１動き補償予測画像については本境界の下側に所定画素数だけ延長し、図１２（ｂ）のように第２動き補償予測画像については本境界の上側に所定画素数だけ延長し、図１２（ｃ）のように本境界をまたいで所定画素数の周辺領域については、第１動き補償予測画像と第２動き補償予測画像を重ね合わせた画像（「ＯＢＭＣ画像」という）を最終的な動き補償予測画像とする。

図１３は、第１動き補償予測画像と第２動き補償予測画像を本境界の周辺領域で重ね合わせてＯＢＭＣ画像を生成する際の重ね合わせ係数を説明する図である。ここでは、ＯＢＭＣを適用する範囲を本境界の上下４画素に設定した場合の重ね合わせ係数の例を示す。第１動き補償予測画像と第２動き補償予測画像の重ね合わせ係数が本境界を中心に対称となっており、本境界から遠ざかる画素ほど、他方の領域からの動き補償の影響が小さくなるように重ね合わせ係数を設定している。

本境界のすぐ上の画素列については、第１動き補償予測画像と第２動き補償予測画像の重ね合わせの比率は２：１であり、この比で２つの予測画像の画素を重み付け加算してＯＢＭＣ画像の画素を生成する。本境界のすぐ下の画素列については、第１動き補償予測画像と第２動き補償予測画像の重ね合わせの比率は１：２である。

本境界の２つ上、３つ上、４つ上の画素列では、第１動き補償予測画像と第２動き補償予測画像の重ね合わせの比率は４：１、６：１、８：１であり、本境界から上方に離れるにつれて第２動き補償予測画像が与える影響は低減する。本境界の２つ下、３つ下、４つ下の画素列では、第１動き補償予測画像と第２動き補償予測画像の重ね合わせの比率は１：４、１：６、１：８であり、本境界から下方に離れるにつれて第１動き補償予測画像が与える影響は低減する。

ＯＢＭＣの適用範囲は本境界の上下４画素であり、ＯＢＭＣの適用範囲外では、ＯＢＭＣを用いない場合と同様に上側領域では第１動き補償予測画像を採用し、本境界より下側領域では第２動き補償予測画像を採用する。この例では、本境界から５画素以上、上の画素列では、第１動き補償予測画像を用いて、第２動き補償予測画像は用いず、本境界から５画素以上、下の画素列では、第２動き補償予測画像を用いて、第１動き補償予測画像は用いない。

ここで、本実施の形態では、動き補償予測の本境界を決定する際に、分割領域よりも大きい符号化対象ブロックのサイズで動き補償して第１、第２動き予測画像を予め生成しているため、ＯＢＭＣに必要となる重ね合わせ領域について動き予測画像を得るために新たに参照画像にアクセスする必要はない。つまり、動き補償予測の境界を復号側で自動的に決定する処理とＯＢＭＣ処理を行うには、他領域からの動き補償予測に関する共通処理を一度だけ行えばよく、処理の重複を省ける。

さらに、本境界決定に用いた境界アクティビティ情報等を利用してＯＢＭＣの適用範囲やＯＢＭＣの強度を調整することで、予測効率の高いＯＢＭＣ画像を生成することも可能である。具体的には、第１動き補償予測画像と第２動き補償予測画像の差分を評価して、これらの予測画像が同じような画像であると判定される場合、ＯＢＭＣの適用範囲を広くするか、ＯＢＭＣの強度を強くする。すなわち、第１動き補償予測画像と第２動き補償予測画像の重み付き加算を行う本境界の周辺領域の範囲を広げたり、重み付け加算する際に他方の領域の重みを大きくしたり、本境界から離れた場合でも重ね合わせの比率があまり低減しないようにする。第１動き補償予測画像と第２動き補償予測画像が同じような画像の場合、ＯＢＭＣを行うことにより、Ｂピクチャの双方向予測に代表されるように、誤差の平均化によって予測誤差の少ない予測画像が得られる。逆に、第１動き補償予測画像と第２動き補償予測画像の差分が大きく、これらの予測画像が同じような画像ではない場合、他方の領域からの動き補償の影響が少ない方が良いことがあるため、ＯＢＭＣの適用範囲を狭くする、又はＯＢＭＣの強度を弱くする。

ここで、本境界と仮境界は同一になることが望ましいが、決定された本境界は必ずしも仮境界とは同一にならない。動きベクトル検出用の仮境界は、符号化側で最適な動きベクトルを求めるための境界であり、符号化側のみ利用可能な符号化対象原画像も使用して算出することができる。一方、本境界は符号化側・復号側共に一意的に算出可能でなければならず、算出した（復号側では伝送されてきた）複数の動きベクトルと、その動き補償予測画像（すなわち予測残差成分が加算される前の画像）で判断している。そのため、本境界と仮境界は同一でなくても符号化側と復号側のミスマッチなどは発生しない。

しかしながら、本境界と仮境界が異なることは、本境界決定後の合成動き補償予測画像に対して最適な動きベクトルを検出できていないことを意味し、予測効率が必ずしも向上しないことがある。そのため、仮領域分割部１０１により設定される仮領域を調整するか、動きベクトル検出部１０２により検出される動きベクトルを調整することで、最適な仮境界あるいは最適な動きベクトルと、最適な本境界との双方を同時に実現すれば、符号化効率を更に向上させることができる。

以下、動きベクトル検出部１０２により検出される動きベクトルを調整することで、本領域分割・動き補償部１０３により生成される合成動き補償予測画像の予測効率を最適化する構成を実施の形態２として説明する。また、仮領域分割部１０１により設定される仮境界を調整することで、本領域分割・動き補償部１０３により生成される合成動き補償予測画像の予測効率を最適化する構成を実施の形態３として説明する。

（実施の形態２）
実施の形態２の動画像符号化装置は、図１の動画像符号化装置と同一の構成であるが、実施の形態２では、本領域分割・動き補償部１０３から動きベクトル検出部１０２に動きベクトルの調整を指示するための信号を送る経路がさらに加わる。これにより、動きベクトル検出部１０２および本領域分割・動き補償部１０３の処理は、ループを形成し、本領域分割・動き補償部１０３が決定する本境界が、仮領域分割部１０１による仮境界と一致するか、十分に近いものとなるまで、動きベクトル検出部１０２が動きベクトルを調整する。

図１４は、実施の形態２の動画像符号化装置による動きベクトルの調整手順を説明するフローチャートである。動きベクトル検出部１０２は、仮境界に基づいて動きベクトルを検出し（Ｓ１１）、次に、本領域分割・動き補償部１０３が、動きベクトル検出部１０２により検出された動きベクトルのもとで本境界決定処理を行う（Ｓ１２）。本境界決定処理は、図９で述べたように、本境界候補の中から境界アクティビティの評価値が最良であるものを選択することで行われる。

本領域分割・動き補償部１０３により決定された本境界が仮境界と等しい場合、動きベクトル検出部１０２による動きベクトル検出を終了するが、決定された本境界が仮境界と異なる場合は、動きベクトル検出部１０２による動きベクトル検出を続行する（Ｓ１３）。本境界と仮境界が異なる場合には、動きベクトル検出部１０２は、例えば、２つの領域に仮分割されたどちらかの領域で動きベクトル検出をやり直す。やり直しの方法はどのような方法でも良いが、例えば動きベクトル探索時の誤差評価値の内、２番目に小さい値（第２最小値）を残しておき、第２最小値の位置から動きベクトル検出を続行するなどの手法が可能である。

動きベクトル検出部１０２によって再検出された動きベクトルを用いて、本領域分割・動き補償部１０３は、本境界決定処理を再度行う。本境界が仮境界に一致するか、十分に近いものとなるまで、動きベクトル検出部１０２による動きベクトル検出処理と本領域分割・動き補償部１０３による本境界決定処理を繰り返す。

（実施の形態３）
実施の形態３の動画像符号化装置は、図１の動画像符号化装置と同一の構成であるが、実施の形態３では、仮領域分割部１０１は複数の仮境界候補を設定し、動きベクトル検出部１０２は仮境界候補毎に動きベクトルを検出し、本領域分割・動き補償部１０３は仮境界毎に本境界決定処理を行う。そして、本領域分割・動き補償部１０３は、複数の仮境界の中で合成動き補償予測画像の予測効率が最も良いものを選ぶ。

図１５は、実施の形態３の動画像符号化装置による仮境界の調整手順を説明するフローチャートである。仮領域分割部１０１は、仮境界候補を複数設定し、動きベクトル検出部１０２は、それぞれの仮境界候補で分割される仮領域毎に動きベクトルを検出する（Ｓ２１）。本領域分割・動き補償部１０３は、各仮境界候補で分割される仮領域毎に検出された動きベクトルにもとづいて本境界決定処理を行い（Ｓ２２）、合成動き補償予測画像の予測効率を評価する（Ｓ２３）。予測効率の評価は、原画像と合成動き補償予測画像の差分に対するＳＡＤ等で評価する。この評価を複数の仮境界候補について行い（Ｓ２４）、仮境界候補の中で最も動き補償予測画像の予測効率が最も良い仮境界を選ぶ。本領域分割・動き補償部１０３は、選択された仮境界に対する動きベクトルに対して決定される本境界のもとで生成された合成動き補償予測画像を最終結果として出力する。

別の方法として、実施の形態２のように、本領域分割・動き補償部１０３から仮領域分割部１０１に仮境界の調整を指示するための信号を送る経路を加え、仮領域分割部１０１、動きベクトル検出部１０２および本領域分割・動き補償部１０３の処理が、ループを形成するように構成してもよい。本領域分割・動き補償部１０３が決定する本境界が、仮領域分割部１０１による仮境界と一致するか、十分に近いものとなるまで、仮領域分割部１０１は仮境界を調整する。本領域分割・動き補償部１０３により決定された本境界が仮境界と等しい場合、仮領域分割部１０１による仮境界の設定は終了するが、決定された本境界が仮境界と異なる場合は、仮領域分割部１０１は別の仮境界の候補を設定し、動きベクトル検出部１０２は、再設定された仮境界で分割される仮領域毎に動きベクトルを再検出し、本領域分割・動き補償部１０３は、本境界決定処理を再度行う。本境界が仮境界に一致するか、十分に近いものとなるまで、仮領域分割部１０１による仮境界設定処理と本領域分割・動き補償部１０３による本境界決定処理を繰り返す。

いずれの方法を取っても、結果的に、本領域分割・動き補償部１０３が最終決定する本境界は、仮領域分割部１０１が設定する仮境界と一致するか、十分に近いものとなり、予測効率が向上する。

次に、実施の形態１〜３の動画像符号化装置により符号化される動画像のビットストリームのシンタックスについて説明する。

図１６は、ＭＰＥＧ−４ ＡＶＣのシンタックスをベースとした第一のシンタックスパターンを示す。図１６（ａ）のように、まず、スライス単位で予測画像の特徴量を用いて動き補償予測の形状を復号側で自動的に決定するかどうかを示す第１フラグ（use_auto_mc_size）を伝送する。第１フラグuse_auto_mc_sizeがＯＦＦの場合は、従来通り図１６（ｂ）に示すマクロブロックタイプmb_typeに基づきマクロブロックを固定的に分割して動き補償予測を行う。第１フラグuse_auto_mc_sizeがＯＮの場合、予測画像の特徴量を用いて動き補償予測の形状を復号側で自動的に決定して動き補償予測を行う。マクロブロック単位では、ＭＰＥＧ−４ ＡＶＣと同様に、mb_typeを伝送して動き補償予測の形状を判断する。

図１７は、第１フラグuse_auto_mc_sizeがＯＮ／ＯＦＦそれぞれの場合のマクロブロックタイプmb_typeのセマンティックスを示す。マクロブロックタイプmb_type＝０の場合は１６×１６のマクロブロックを領域分割せずに動き補償予測を行う。マクロブロックタイプmb_type＝１の場合、第１フラグuse_auto_mc_sizeがＯＦＦの場合は１６×８で動き補償予測を行うが、第１フラグuse_auto_mc_sizeがＯＮの場合、マクロブロックを１６×Ａと１６×（１６−Ａ）の２つの領域に自動分割して動き補償予測を行う。同様に、マクロブロックタイプmb_type＝２の場合、第１フラグuse_auto_mc_sizeがＯＦＦの場合は８×１６ブロックで動き補償予測を行うが、第１フラグuse_auto_mc_sizeがＯＮの場合、マクロブロックをＡ×１６と（１６−Ａ）×１６の２つの領域に自動分割して動き補償予測を行う。マクロブロックタイプmb_type＝３の場合は８×８ブロックで動き補償予測を行う。

図１８は、スライスレベルだけでなく、マクロブロック単位でも動き補償予測の形状を復号側で自動的に決定するかどうかを示す第２フラグ（auto_mc_size_enable）を伝送する第二のシンタックスパターンを示す。第２フラグauto_mc_size_enableがＯＦＦの場合、スライスレベルで第１フラグuse_auto_mc_sizeがＯＦＦになった場合と同様に、従来通りマクロブロックタイプmb_typeに基づきマクロブロックを固定的に分割して動き補償予測を行う。第２フラグauto_mc_size_enableがＯＮの場合、予測画像の特徴量を用いて動き補償予測の形状を復号側で自動的に決定して動き補償予測を行う。第二のシンタックスを用いると、本境界を自動的に決定してしまうことで予測効率が低下する場合を排除できる。

図１９は、スライスレベルで動き補償予測の形状を復号側で自動的に決定するアルゴリズムを切り替える第三のシンタックスパターンを示す。スライス単位で第１フラグuse_auto_mc_sizeがＯＮの場合、動き補償予測の形状を復号側で自動的に決定するアルゴリズムタイプを示すアルゴリズムタイプauto_mc_algorithmを伝送する。例えば、アルゴリズムタイプauto_mc_algorithm＝０の場合、第１〜第４アクティビティＡＣＴ１〜ＡＣＴ４のすべてを用いた評価値に基づき動き補償予測の形状を決定する。アルゴリズムタイプauto_mc_algorithm＝１の場合、第４アクティビティＡＣＴ４を除いた第１〜第３アクティビティＡＣＴ１〜ＡＣＴ３だけを用いて評価値に基づき動き補償予測の形状を決定するなどである。このように、アルゴリズムタイプauto_mc_algorithmの値に使用するアクティビティの種類を対応づけることで、動き補償予測の形状を決定するアルゴリズムを切り替えることができる。第三のシンタックスを用いると、符号化側で最適なアルゴリズムタイプを判断して復号側で領域の自動分割を行わせることが可能になるため、符号化効率が更に向上する。

図２０は、マクロブロックを水平方向と垂直方向のどちらに領域を分割するか（分割方向）をシンタックス上で区別しない第四のシンタックスパターンを示す。マクロブロック単位でマクロブロックタイプmb_typeを伝送して動き補償予測の形状を判断することは第一のシンタックスパターンと同様だが、マクロブロックタイプmb_typeのセマンティックスが異なる。

図２１は、第四のシンタックスパターンのマクロブロックタイプmb_typeのセマンティックスを示す。第１フラグuse_auto_mc_sizeがＯＦＦの場合は、従来通りマクロブロックタイプmb_typeに基づきマクロブロックを固定的に分割して動き補償予測を行い、第１フラグuse_auto_mc_sizeがONの場合、予測画像の特徴量を用いて動き補償予測の形状を復号側で自動的に決定して動き補償予測を行うことは第一のシンタックスパターンと同様である。ただし、１６×Ａと１６×（１６−Ａ）の２つの領域に水平方向に分割することと、Ａ×１６と（１６−Ａ）×１６の２つの領域に垂直方向に分割することとが、マクロブロックタイプmb_type＝１として区別されずに扱われることが第一のシンタックスパターンとは異なる。マクロブロックタイプmb_type＝１の場合、水平方向本境界候補と垂直方向本境界候補のすべての境界評価値を算出し、最小の評価値を持つ境界候補を本境界に決定する。つまり、分割方向（水平方向・垂直方向）を含めて動き補償予測の形状を復号側で自動決定する。第四のシンタックスパターンを用いると、水平方向と垂直方向を区別する分割方向情報を伝送する必要がないため、マクロブロックタイプmb_typeの符号量が減少し、符号化効率が更に向上する。

図２２は、領域分割をマクロブロックタイプmb_typeと連動させずに決定する第五のシンタックスパターンを示す。マクロブロック単位でマクロブロックタイプmb_typeに代わって動きベクトル数motion_vector_num_minus1を伝送する。動きベクトル数motion_vector_num_minus1は（マクロブロック内の動きベクトルの本数−１）の値を表す。本発明の実施の形態では、伝送する動きベクトルの数だけ動き補償予測の領域が分割されるため、少なくとも動きベクトルの本数を伝送すれば、動き補償予測の形状を復号側で自動的に決定できる可能性がある。実施の形態１〜３では動きベクトルが２本の場合の例を説明したが、動きベクトルが２本より多い、たとえば３本の場合の例は実施の形態５で述べる。

ここまでは、ＭＰＥＧのＰピクチャなどで用いられる片方向予測について本発明の実施の形態を説明してきた。図２３を参照して、本発明の実施の形態をＢピクチャなどで用いられる双方向予測（通常は前方向予測と後方向予測）に対して適用した場合について説明する。ここで、マクロブロックを水平方向に２分割する場合を例に挙げて説明する。双方向予測とは、２つの参照画像から動き補償予測を行うことで得た２つの画像を平均化又は重みづけ平均化することにより、予測画像を得る技術である。

まず、仮領域毎に各予測方向（前方向、後方向）の動きベクトルが検出される。図２３（ａ）、（ｂ）は、第１仮領域に対する各予測方向（前方向、後方向）の第１動きベクトルを示す。図２３（ａ）、（ｂ）は、第２仮領域に対する各予測方向（前方向、後方向）の第２動きベクトルを示す。

図２３（ｅ）は、前方向および後方向の第１動きベクトルを用いて双方向予測した第１動き補償予測画像を示し、図２３（ｆ）は、前方向および後方向の第２動きベクトルを用いて双方向予測した第２動き補償予測画像を示す。

図２３（ｇ）は、本境界決定後、マクロブロックの本境界より上側の本領域を第１動き補償予測画像の対応する領域から複製し、本境界より下側の本領域を第２動き補償予測画像の対応する領域から複製して生成される合成動き補償予測画像を示す。

このように、双方向予測に対して本発明の実施の形態を適用することは容易であり、双方向予測により予測誤差を削減しつつ、適切な領域分割により更に予測誤差を削減可能である。

また、本発明の実施の形態は、動きベクトルを直接伝送するのではなく、周辺ブロックの動きベクトルや参照画像の動きベクトルを基に自動算出した動きベクトルを用いて動き補償予測の形状を自動的に決定することももちろん可能である。

また、ここまでは単一の画像コンポーネント（輝度）について説明したが、ＹＵＶ４：４：４／ＹＵＶ４：２：２／ＹＵＶ４：２：０などの複数コンポーネント（輝度及び色差）にも適用することが可能である。ただし、動き補償予測では輝度と色差を同時に行うため、ＹＵＶ４：２：２やＹＵＶ４：２：０などの輝度と色差のサンプル数が異なるフォーマットでは、サンプル数の多い輝度を基準に領域を分割した場合、色差の領域分割位置があいまいになる可能性がある。例えば、ＹＵＶ４：２：０フォーマットの時に、輝度を１６×５と１６×１１に分割する場合に色差の領域分割が８×２なのか８×３なのか不明になどである。このあいまいさを防止する対策としては、あらかじめサンプル数の少ない色差を基準にして領域を分割することや、あいまいな位置での色差の分割規則を予め決めておく（ブロックの中心を基準に切り捨てる）方法や、境界上の画素は両動き補償予測画像の平均値（フィルタリング）を用いる方法などがある。

（実施の形態４）
実施の形態４の動画像符号化装置および動画像復号装置は、実施の形態１〜３と同一の構成を取るが、実施の形態４の動画像符号化装置は、マクロブロックを２次元に分割して動き補償を行い、２つの動きベクトルを伝送し、動画像復号装置は、動き補償予測の形状を復号側で２次元に分割し、伝送された２つの動きベクトルを用いた動き補償を行う。

図２４（ａ）〜（ｆ）は、マクロブロックを２次元に領域分割する方法を示す。図２４（ａ）のように、実施の形態１〜３で説明した手順を実行することで、マクロブロックに対して水平方向境界と垂直方向境界をそれぞれ定める。水平方向境界より上または下、および、垂直方向境界より左または右の組み合わせにより、図２４（ｂ）〜（ｅ）の４通りの２次元分割パターンを定義することができる。

図２４（ｂ）の２次元分割パターンでは、水平方向境界より上、かつ、垂直方向境界より左の領域を第１領域とし、残りの領域（水平方向境界より下、または、垂直方向境界より左の領域）を第２領域とする。

図２４（ｃ）の２次元分割パターンでは、水平方向境界より下、または、垂直方向境界より左の領域を第１領域とし、残りの領域（水平方向境界より上、かつ、垂直方向境界より右の領域）を第２領域とする。

図２４（ｄ）の２次元分割パターンでは、水平方向境界より上、または、垂直方向境界より右の領域を第１領域とし、残りの領域（水平方向境界より下、かつ、垂直方向境界より左の領域）を第２領域とする。

図２４（ｅ）の２次元分割パターンでは、水平方向境界より上、または、垂直方向境界より左の領域を第１領域とし、残りの領域（水平方向境界より下、かつ、垂直方向境界より右の領域）を第２領域とする。

図２４（ｆ）は、これら４つの２次元分割パターンから一つを選んで、第１領域には第１動きベクトルによる動き補償予測画像の対応領域を、第２領域には第２動きベクトルによる動き補償予測画像の対応領域をそれぞれ複製することで得られる合成動き補償予測画像を示す。

図２５は、マクロブロックを２次元に分割して動き補償を行う手順を説明するフローチャートである。まず、実施の形態１と同様の方法で、水平方向境界と垂直方向境界の両境界を決定する（Ｓ３１）。次に、水平方向境界と垂直方向境界の組み合わせによって２つに分割されたマクロブロックの２次元分割領域について、境界アクティビティの評価値を算出する（Ｓ３２）。例えば、マクロブロック内のＸ座標をｉ、Ｙ座標をｊにおける画素値をＡ_ｉ，ｊとすると、２次元分割領域に境界に沿って、水平方向境界ｊの水平アクティビティをｉ＝ａからｉ＝ｂまで適用し、垂直方向境界ｉの垂直アクティビティをｊ＝ｃからｊ＝ｄまで適用した場合の２次元平均アクティビティを以下のように定義することができる。
２次元平均アクティビティ＝Σ_ｉ＝ａ ^ｂ｜Ａ_ｉ，ｊ−Ａ_{ｉ，ｊー１}｜／（ｂ−ａ）＋Σ_ｊ＝ｃ ^ｄ｜Ａ_ｉ，ｊ−Ａ_{ｉー１，ｊ}｜／（ｄ−ｃ）

上記の２次元平均アクティビティを評価値に用いることで、アクティビティ算出に使用したサンプル数に依存せずに、２次元領域分割を評価することが可能である。ステップＳ３２をすべての２次元分割パターン（ここでは４パターン）で繰り返し（Ｓ３３）、最小評価値を持つ２次元分割候補を選択して、合成動き補償予測画像を生成する。

このように、実施の形態４では、実施の形態１より柔軟な形状で動き補償予測を行えるため、更に符号化効率が向上する。

（実施の形態５）
実施の形態５の動画像符号化装置および動画像復号装置は、実施の形態１〜３と同一の構成を取るが、実施の形態５の動画像符号化装置は、３つの動きベクトルを用いてマクロブロックを３分割して動き補償を行い、３つの動きベクトルを伝送し、動画像復号装置は、伝送された３つの動きベクトルを用いて、動き補償予測の形状を復号側で３分割して動き補償を行う。

図２６（ａ）、（ｂ）は、マクロブロックを３つの領域に分割する方法を示す。図２６（ａ）のように、まず、実施の形態１〜３で説明した手順を実行することで、水平方向境界または垂直方向境界により、マクロブロックを２分割する。次に、図２６（ｂ）のように、２分割された領域の内、大きい方の領域について、さらに水平方向境界または垂直方向境界を設定することにより、大きい方の領域を２分割する。これにより、マクロブロックは３分割され、各領域で動きベクトルが検出される。

図２７は、マクロブロックを３分割して動き補償を行う手順を説明するフローチャートである。マクロブロックを３領域に分割して動き補償を行うために、３本の動きベクトルを検出して伝送することが必要となる。まず、実施の形態１と同様の方法で、１本目の動きベクトルと２本目の動きベクトルを用いて、水平方向又は垂直方向に領域分割し、動き補償を行う（Ｓ４１）。次に、１本目の動きベクトルと２本目の動きベクトルによって分割された領域の大小を比較し、大きい方の領域を判断する（Ｓ４２）。これは、大きい領域の方が領域分割の影響が大きく、予測効率の向上がより大きく見込めるためである。また、領域の大きさが同一の場合は、予めどちらの領域が優先するかを決めておく。最後に、大きい方の領域について、その領域の動きベクトル（１本目の動きベクトル又は２本目の動きベクトル）と３本目の動きベクトルを用いて、水平方向又は垂直方向に領域分割し、動き補償を行う（Ｓ４３）。

このように、実施の形態５では、３本の動きベクトルを用いて動き補償予測の領域を３分割できる。これにより、複数の小さな動き等にも対応できるため、更に符号化効率が向上する。同様にして領域の分割をさらに進めることにより、動き補償予測の領域を４分割以上にして、動きベクトルの数を４以上にすることもできる。

以上述べたように、本発明の実施の形態によれば、複数の動きベクトルから得られる複数の予測画像の特徴量を用いて、動き補償予測の形状を復号側で自動的に決定することによって、動き補償予測形状パターンの情報を伝送せずに、動き補償予測の形状を可変にすることができる。したがって、さまざまな形状での柔軟な動き補償予測が可能となり、その結果、付加情報の符号量を増加させることなく、動き補償予測の予測誤差を減少させることができ、符号化効率が向上する。

また、符号化側の動きベクトル検出過程において、復号側で決定される本境界を算出しながら動きベクトルを評価することで、最適な動きベクトルと最適な本境界の双方を同時に実現した。これにより、動き補償予測の予測効率が向上する。また、復号側では伝送されてきた動きベクトルから算出される本境界を用いて動き補償予測を行うだけで、動画像を復号することができる。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１ 仮領域分割部、 １０２ 動きベクトル検出部、 １０３ 本領域分割・動き補償部、 １０４ 直交変換・量子化部、 １０５ 可変長符号化部、 １０６ 逆量子化・逆直交変換部、 １０７ 参照画像メモリ、 １０８ 減算部、 １０９ 加算部、 ２０１ 可変長復号部、 ２０３ 本領域分割・動き補償部、 ２０６ 逆量子化・逆直交変換部、 ２０７ 参照画像メモリ、 ２０９ 加算部。

Claims (10)

1. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部と、
   各仮領域に対して動きベクトルを検出する動きベクトル検出部と、
   各仮領域の動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティに基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する動き補償部と、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
2. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部と、
   各仮領域に対して動きベクトルを検出する動きベクトル検出部と、
   各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させることにより、合成予測ブロックを生成する動き補償部と、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
3. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する仮領域分割部と、
   各仮領域に対して動きベクトルを検出する動きベクトル検出部と、
   各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する動き補償部と、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する符号化部とを備えることを特徴とする動画像符号化装置。
4. 前記動き補償部は、前記複数の予測ブロックのアクティビティにもとづいて、各予測ブロックを重複させる前記本境界の前記周辺領域の範囲および重み付け加算の比率の内、少なくとも一方を調整することを特徴とする請求項１または３に記載の動画像符号化装置。
5. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、
   各仮領域に対して動きベクトルを検出するステップと、
   各仮領域の動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティに基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成するステップと、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備えることを特徴とする動画像符号化方法。
6. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、
   各仮領域に対して動きベクトルを検出するステップと、
   各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させることにより、合成予測ブロックを生成するステップと、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備えることを特徴とする動画像符号化方法。
7. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割するステップと、
   各仮領域に対して動きベクトルを検出するステップと、
   各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成するステップと、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化するステップとを備えることを特徴とする動画像符号化方法。
8. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する機能と、
   各仮領域に対して動きベクトルを検出する機能と、
   各仮領域の動きベクトルを用いて、参照画像から前記符号化対象ブロックに対応した複数の予測ブロックを生成し、複数の予測ブロックのアクティビティに基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する機能と、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する機能とをコンピュータに実現させることを特徴とする動画像符号化プログラム。
9. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する機能と、
   各仮領域に対して動きベクトルを検出する機能と、
   各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させることにより、合成予測ブロックを生成する機能と、
   前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する機能とをコンピュータに実現させることを特徴とする動画像符号化プログラム。
10. 符号化対象ブロックを所定の仮境界で複数の仮領域に分割する機能と、
    各仮領域に対して動きベクトルを検出する機能と、
    各仮領域の動きベクトルを用いて参照画像から、前記符号化対象ブロックに対応した複数の予測ブロックと、前記符号化対象ブロックに隣接する符号化済み領域に対応した複数の延長予測画像とを生成し、各延長予測画像と前記符号化済み領域の局部復号画像との予測誤差を評価した隣接領域評価値と、各予測ブロックのアクティビティとの内の少なくとも一方に基づいて本境界を決定し、前記各予測ブロックを前記本境界で分割して得た領域を前記各予測ブロック間で結合させる際に、前記本境界の周辺領域については各予測ブロックを重複させて所定の比率により重み付け加算することにより、合成予測ブロックを生成する機能と、
    前記合成予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックと、各仮領域の動きベクトルとを符号化する機能とをコンピュータに実現させることを特徴とする動画像符号化プログラム。