JP2007060690A - 動画像復号化方法及び装置 - Google Patents

Abstract

【課題】フェード画像について演算量や符号化データのオーバーヘッドの増加が少なく、かつ予測効率を大幅に向上することを可能とする。
【解決手段】動画像の復号化対象フレーム内の復号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う際、予測ブロックと復号化対象ブロックとの予測誤差信号、参照フレーム、復号化対象フレーム毎に設定された２のべき乗の値となる分母を用いた有理数で表現された重み係数、直流オフセット値及び動きベクトルのそれぞれの情報を含む符号化データを復号化し、参照フレームから抽出した複数の参照ブロックについて重み係数を用いて線形和を計算しかつ直流オフセット値を加算することにより、予測ブロックを生成し、予測誤差信号及び予測ブロックの信号を用いて再生動画像信号を生成する。
【選択図】 図３

Description

本発明は、動き補償予測フレーム間復号化を用いた動画像復号化方法及び装置に関する。

動画像の圧縮符号化技術として、ＭＰＥＧ１(ISO/IEC11172-2)，ＭＰＥＧ２(ISO/IEC13818-2)，ＭＰＥＧ４(ISO/IEC14496-2)などが広く実用化されている。これらの動画像符号化方式では、フレーム内符号化（イントラ符号化）、前方予測フレーム間符号化及び両方向予測フレーム間符号化の組み合わせによる符号化が行われ、これらの符号化モードで符号化されるフレームはそれぞれＩピクチャ、Ｐピクチャ及びＢピクチャと呼ばれる。Ｐピクチャは直前のＰまたはＩピクチャを参照フレームとして符号化され、Ｂピクチャは直前及び直後のＰまたはＩピクチャを参照フレームとして符号化される。前方予測フレーム間符号化及び両方向予測フレーム間符号化は、動き補償予測フレーム間符号化と呼ばれる。

ＭＰＥＧ方式の動画像符号化においては、一つまたは複数の動画像フレームからマクロブロック毎に選択的に予測画像を生成することが可能である。Ｐピクチャでは、通常は一つの参照フレームからマクロブロック単位に予測画像を生成する。Ｂピクチャでは、前方または後方の参照フレームの何れか一方から予測画像を生成する場合と、前方及び後方の参照フレームからそれぞれ参照マクロブロックを抽出し、それらの参照ブロックの平均値から予測画像を生成する場合とがある。これらの予測モードの情報は、マクロブロック毎に符号化データに埋め込まれる。

このような動き補償予測フレーム間符号化では、マクロブロックのサイズまたはそれよりも大きな領域で、同じ映像がフレーム間で時間的に平行移動した場合には良好な予測結果が得られる。しかし、映像の時間的な拡大・縮小や回転、あるいはフェードイン・フェードアウトのような信号振幅の時間変動に対しては、必ずしも高い予測効率は得られない。固定ビットレートでの符号化では、このような高い予測効率が得られない映像が入力されると、大幅な画質劣化を招くことがある。一方、可変ビットレートの符号化では、画質劣化を抑制するために予測効率の悪い映像に対して多くの符号量が費やされてしまい、総符号量を増加させてしまう。

映像の時間的な拡大・縮小や回転、及びフェードイン・フェードアウトは、動画像信号のアフィン変換で近似できるため、アフィン変換を用いた予測を行えば予測効率は大幅に向上する。しかし、アフィン変換のパラメータを推定するためには、符号化時に膨大なパラメータ推定演算が必要となる。具体的には、複数の変換パラメータで参照画像を変換させ、予測残差が最小となるパラメータを決定することが必要となり、変換演算の演算量が膨大になる。その結果、符号化の演算量あるいはハードウエア規模等のコストが膨大になってしまう。また、予測残差信号だけでなく変換パラメータ自体を符号化する必要があり、符号化データのオーバーヘッドが膨大になる。さらに、復号化時には逆アフィン変換が必要となり、復号化の演算量あるいはハードウエア規模のコストが膨大なものになってしまう。

上述したように、従来のＭＰＥＧなどの動画像符号化方法では、平行移動以外の動画像の時間変化に対して十分な予測効率が得られないという問題があり、また、アフィン変換を用いた動画像符号化及び復号化方法では、予測効率自体は改善されるものの、符号化データのオーバーヘッドの増加や、符号化及び復号化コストの大幅な増加を招くという問題があった。

本発明は、動画像の符号化及び復号化において、特に従来のＭＰＥＧなどの動画像符号化方法が不得意としていたフェード画像について、演算量や符号化データのオーバーヘッドの増加を小さくし、かつ予測効率を大幅に向上させることを目的とする。

上記の課題を解決するため、本発明の第１の態様では動画像の符号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該符号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化において、前記複数の参照フレームから少なくとも一つの参照マクロブロックをそれぞれ抽出し、抽出した複数の参照マクロブロックについて所定の重み係数の組を用いて線形和を計算することにより予測マクロブロックを生成し、前記予測マクロブロックと符号化対象マクロブロックとの予測誤差信号を生成し、前記予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、前記重み係数の組を示す第２インデックス、及び前記動きベクトルの情報を符号化する。

本発明の第２の態様では、動画像の符号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該符号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法または装置において、第１参照フレームから前記動きベクトルの候補に対応した第１参照マクロブロックを抽出し、前記動きベクトルの候補を少なくとも一つの第２参照フレームと符号化対象フレームとのフレーム間距離に応じてスケーリングし、前記第２参照フレームからスケーリングされた動きベクトルの候補に対応した少なくとも一つの第２参照マクロブロックを抽出し、前記第１及び第２参照マクロブロックについて所定の重み係数の組を用いて線形和を計算することにより予測マクロブロックを生成し、前記予測マクロブロックと符号化対象マクロブロックとの予測誤差信号を生成し、前記第１及び第２参照マクロブロックの線形和と前記符号化対象マクロブロックとの予測誤差信号の大きさに基づいて前記動きベクトルを決定し、前記予測誤差信号、前記第１及び第２参照フレームを示す第１インデックス、前記重み係数の組を示す第２インデックス、及び決定された前記動きベクトルの情報を符号化する
本発明の第３の態様では、動画像の符号化対象マクロブロックに対して、時間的に過去の少なくとも一つの参照フレーム及び該符号化対象マクロブロックと該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法または装置において、前記符号化対象マクロブロックを含む符号化対象フレームの直前の前記符号化済みフレームにおける該符号化対象マクロブロックとフレーム内位置が同一の復号化対象マクロブロックの動きベクトルを用いるか、新たに前記動きベクトルを決定して符号化するかを符号化対象マクロブロック毎に切り替えて前記動き補償予測フレーム間符号化を行う。

本発明の第４の態様では、動画像の符号化対象マクロブロックに対して、少なくとも一つの参照フレーム及び該符号化対象マクロブロックと該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法または装置において、時間的に過去の少なくとも一つの符号化済みフレームを前記参照フレームとする第１予測モード、時間的に未来の符号化済みフレームを前記参照フレームとする第２予測モード、該時間的に過去及び未来の符号化済みフレームの線形和を前記参照フレームとする第３予測モード、及び該時間的に過去の複数の符号化済みフレームの線形和を前記参照フレームとする第４予測モードを前記符号化対象マクロブロック毎に切り替えて前記動き補償予測フレーム間符号化を行う。

本発明の第５の態様では、動画像の復号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、前記復号化対象マクロブロック毎の予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、参照マクロブロックに対する線形和の重み係数の組を示す第２インデックス及び前記動きベクトルの情報を含む符号化データを復号化し、復号化された前記動きベクトル及び前記第１インデックスの情報に従って前記複数の参照フレームから複数の参照マクロブロックを抽出し、復号化された前記第２インデックスの情報によって示される前記重み係数の組を用いて、抽出した前記複数の参照マクロブロックの線形和を計算することにより予測マクロブロックを生成し、前記予測マクロブロックと復号化された前記復号化対象マクロブロック毎の予測誤差信号を加算することにより動画像信号を復号化する。

本発明の第６の態様では、動画像の復号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、前記復号化対象マクロブロック毎の予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、符号化済みフレームのフレーム番号を示す第２インデックス及び前記動きベクトルの情報を含む符号化データを復号化し、復号化された前記動きベクトル及び前記第１インデックスの情報に従って前記複数の参照フレームから複数の参照マクロブロックを抽出し、復号化された前記第２インデックスの情報に従って前記複数の参照フレームと前記符号化済みフレームとのフレーム間距離を算出し、算出された前記フレーム間距離に応じて決定される重み係数の組を用いて、抽出した前記複数の参照マクロブロックの線形和を計算することにより予測マクロブロックを生成し、前記予測マクロブロックと復号化された前記予測誤差信号を加算することにより動画像信号を復号化する。

本発明の第７の態様では、動画像の復号化対象マクロブロックに対して、時間的に過去の少なくとも一つの参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、前記復号化対象マクロブロック毎の予測誤差信号と、符号化された第１動きベクトルまたは直前の符号化済みフレームにおけるフレーム内同一位置のマクロブロックの第２動きベクトルを用いることを示すフラグの何れかの情報を含む符号化データを受信して復号化し、前記第１動きベクトルの情報を受信した復号化対象マクロブロックに対しては復号化された前記第１動きベクトル、前記フラグを受信した復号化対象マクロブロックに対しては前記第２動きベクトルをそれぞれ用いて予測マクロブロック信号を生成し、前記予測マクロブロックと復号化された前記予測誤差信号を加算することにより動画像信号を復号化する。

本発明の第８の態様では、動画像の復号化対象マクロブロックに対して、復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、前記復号化対象マクロブロック毎の予測誤差信号の情報と、時間的に過去の少なくとも一つの符号化対象フレームを前記参照フレームとする第１予測モード、時間的に未来の符号化対象フレームを前記参照フレームとする第２予測モード、該時間的に過去及び未来の符号化対象フレームの線形和を前記参照フレームとする第３予測モード、及び該時間的に過去の複数の符号化対象フレームの線形和を前記参照フレームとする第４予測モードのいずれかを示す予測モード情報及び前記動きベクトルの情報を含む符号化データを受信して復号化し、前記予測モード情報及び前記動きベクトルの情報を用いて予測マクロブロック信号を生成し、前記予測マクロブロック信号と復号化された前記予測誤差信号を加算することより動画像信号を復号化する。

本発明の第９の態様では、動画像の符号化対象マクロブロックに対して、複数の参照フレームから選択された少なくとも一つの参照フレーム、及び該符号化対象マクロブロックと該少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法または装置において、前記動きベクトルが前記動画像の前記符号化対象マクロブロックに隣接する複数のマクロブロックに対する動きベクトルから選択された予測ベクトルと一致し、かつ前記符号化対象マクロブロックに対して選択された少なくとも一つの参照フレームが前記予測ベクトルが選択されたマクロブロックに対する参照フレームと一致し、前記動き補償予測フレーム間符号化における符号化すべき予測誤差信号が全て０である符号化対象マクロブロックに対して、前記動き補償予測フレーム間符号化をスキップし、次の符号化対象マクロブロックの動き補償予測フレーム間符号化に際して該動き補償予測フレーム間符号化をスキップしたマクロブロックの個数を符号化する。

本発明の第１０の態様では、動画像の符号化対象マクロブロックに対して、複数の参照フレームから選択された少なくとも一つの第１参照フレーム、及び該符号化対象マクロブロックと該第１参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法または装置において、前記動き補償予測フレーム間符号化により得られる予測誤差信号、前記動き補償予測フレーム間符号化に用いる動きベクトルと前記符号化対象マクロブロックに隣接する複数のマクロブロックと第２参照フレームとの間の動きベクトルから選択された予測ベクトルとの差分ベクトル、及び前記第１参照フレームを示すインデックスと前記第２参照フレームを示すインデックスとの差分値を符号化する。

本発明の第１１の態様では、動画像の復号化対象マクロブロックに対して、該復号化対象マクロブロックと複数の参照フレームの中から選択された少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、動き補償予測フレーム間符号化により得られた前記復号化対象マクロブロック毎の予測誤差信号、直前にスキップしたマクロブロックの個数及び前記選択された少なくとも一つの参照フレームを示すインデックスの情報を含む符号化データを受信して復号化し、前記スキップしたマクロブロックにおいて該スキップしたマクロブロックに隣接する複数のマクロブロックの動きベクトルから一つの予測ベクトルを選択し、前記予測ベクトルが選択されたマクロブロックに対する少なくとも一つの参照フレーム及び前記予測ベクトルに従って予測マクロブロックを生成し、前記予測マクロブロックを前記スキップしたマクロブロックの復号化画像信号として出力する。

本発明の第１２の態様では、動画像の復号化対象マクロブロックに対して、該復号化対象マクロブロックと複数の参照フレームの中から選択された少なくとも一つの第１参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法または装置において、動き補償予測フレーム間符号化により得られた予測誤差信号、該動き補償予測フレーム間符号化に用いた動きベクトルと前記復号化対象マクロブロックに隣接する複数のマクロブロックと第２参照フレームとの間の動きベクトルから選択された予測ベクトルとの差分ベクトル、及び前記第１参照フレームを示す第１インデックスと前記第２参照フレームを示す第２インデックスとの差分値を含む符号化データを受信して復号化し、前記復号化対象マクロブロックに隣接する複数のマクロブロックから前記予測ベクトルを選択し、選択された予測ベクトルと復号化された前記差分ベクトルとを加算することにより前記動きベクトルを再生し、前記予測ベクトルが選択されたマクロブロックにおける参照フレームのインデックスと前記復号化した差分値とを加算することにより前記第１インデックスを再生し、前記再生された動きベクトル及び再生された第１インデックスに従って予測マクロブロックを生成し、生成された前記予測マクロブロックと前記復号化された予測誤差信号とを加算することにより前記復号化対象マクロブロックの復号化再生画像信号を生成する。

本発明の第１３の態様では、動画像の符号化対象フレーム内の符号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該符号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記符号化対象フレーム内の交流成分値と前記参照フレームの交流成分値との比から少なくとも一つの重み係数を決定するステップと、前記符号化対象フレーム内の直流成分値と前記参照フレームの直流成分値との差から少なくとも一つの直流オフセット値を決定するステップと、前記参照フレームから抽出した複数の参照ブロックについて前記重み係数を用いて線形和を計算しかつ前記直流オフセット値を加算することにより、予測ブロックを生成するステップと、前記予測ブロックと符号化対象ブロックとの予測誤差信号を生成するステップと、前記予測誤差信号、前記参照フレーム、前記重み係数、前記直流オフセット値及び前記動きベクトルのそれぞれの情報を符号化するステップとを具備する。

一方、動画像の復号化対象フレーム内の復号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、予測ブロックと前記復号化対象ブロックとの予測誤差信号、前記参照フレーム、重み係数、直流オフセット値及び前記動きベクトルのそれぞれの情報を含む符号化データを復号化するステップと、前記参照フレームから抽出した複数の参照ブロックについて前記重み係数を用いて線形和を計算しかつ前記直流オフセット値を加算することにより、前記予測ブロックを生成するステップと、前記予測誤差信号及び予測ブロックの信号を用いて再生動画像信号を生成するステップとを具備する。

以上説明したように、本発明によれば、従来のＭＰＥＧなどの動画像符号化方式が不得意としていた、フェードイン・フェードアウトなどの映像に対して、符号化及び復号化の演算量やコストの大幅な増加を必要とせずに、予測効率を大幅に向上することが可能となり、また符号化データのオーバーヘッドも小さく、高画質で高能率な動画像符号化及び復号化を行うことが可能となる。

（第１の実施形態）
図１に、本発明の第１の実施形態に係る動画像符号化装置の構成を示す。図１に示す動画像符号化装置は、ハードウエアで実現してもよいし、コンピュータを用いてソフトウエアにより実行してもよい。一部の処理をハードウエアで実現し、他の処理をソフトウエアにより行ってもよい。この点は、後で説明する他の実施形態に係る動画像符号化装置においても同様である。

図１においては、フレーム毎に入力される動画像信号１００（符号化対象フレーム）に対して、第１参照フレームメモリ１１７に保存された符号化済みフレームと第２参照フレームメモリ１１８に保存された符号化済みフレームとから予測マクロブロック生成器１１９により予測マクロブロック信号１３０〜１３３が生成される。予測マクロブロック選択器１２０では、予測マクロブロック信号１３０〜１３３から最適な予測マクロブロック信号が選択され、選択された予測マクロブロック信号によって予測画像信号１０６が生成される。

予測画像信号１０６は減算器１１０に入力され、入力動画像信号１００に対する予測画像信号１０６の誤差を示す予測誤差信号１０１が生成される。予測誤差信号１０１は、ＤＣＴ変換器１１２により離散コサイン変換され、これによって得られたＤＣＴ係数データが量子化器１１３により量子化されることにより量子化ＤＣＴ係数データ１０２が生成される。量子化ＤＣＴ係数データ１０２は二分岐され、一方で可変長符号化器１１４により符号化される。

量子化ＤＣＴ係数データ１０２は、他方において逆量子化器１１５及び逆ＤＣＴ変換器１１６を経て予測誤差信号として再生される。この再生された予測誤差信号が予測画像信号１０６と加算されることにより、局部復号化画像信号１０３が生成される。局部復号化画像信号１０３は、第１参照フレームメモリ１１７に入力される。第１参照フレームメモリ１１７には、入力動画像信号１００である現在の符号化対象フレームの直前に符号化された符号化済みフレームの局部復号化画像信号１０３が参照フレームとして保存され、第１参照フレームメモリ１１７の出力に接続された第２参照フレームメモリ１１８には、さらにその前に符号化された符号化済みフレームの局部復号化画像信号が参照フレームとして保存される。

予測マクロブロック生成器１１９では、第１参照フレームメモリ１１７に保存された参照フレームから抽出した参照マクロブロック信号１０４のみから生成される予測マクロブロック信号１３０、第２参照フレームメモリ１１８に保存された参照フレームから抽出した参照マクロブロック信号１０５のみから生成される予測マクロブロック信号１３１、第１及び第２参照フレームメモリ１１７，１１８からそれぞれ抽出した参照マクロブロック信号１０４，１０５を平均化して生成される予測マクロブロック信号１３２、及び第１参照フレームメモリ１１７から抽出した参照マクロブロック信号１０４の振幅を２倍にした信号から、第２参照フレームメモリ１１８から抽出した参照マクロブロック信号１０５を減じて生成される予測マクロブロック信号１３３をそれぞれ生成する。

予測マクロブロック選択器１２０では、予測マクロブロック生成器１１９で生成された複数の予測マクロブロック信号１３０〜１３３に対し、入力動画像信号１００から抽出した符号化対象マクロブロック信号との差分を計算し、誤差が最小となる予測マクロブロック信号を符号化対象マクロブロック毎に選択する。

さらに、予測マクロブロック選択器１２０は符号化対象マクロブロック毎に、選択した予測マクロブロック信号の符号化対象マクロブロック信号から見た相対的な位置を動きベクトル情報として、また選択した予測マクロブロック信号の生成方法（予測マクロブロック信号１３０〜１３３の生成方法）を予測モード情報として出力する。予測モード情報の詳細については、後に詳しく説明する。このような動きベクトルと予測モードの適用により、予測画像信号１０６が生成され、これに基づき予測誤差信号１０１が生成される。

入力動画像信号１００の信号成分が輝度信号及び二つの色差信号で構成される場合、予測マクロブロック選択器１２０は各マクロブロックのそれぞれの信号成分に対して同一の動きベクトル及び予測モードを適用する。

予測誤差信号１０１をＤＣＴ変換器１１２及び量子化器１１３を通して得られた量子化ＤＣＴ係数データ１０２と、予測マクロブロック選択器１２０から出力される動きベクトル情報及び予測モード情報を含むサイド情報１０７は、可変長符号化器１１４により符号化され、符号化データ１０８として出力される。符号化データ１０８は、図示しない蓄積系や伝送系へ送出される。

本実施形態では、予測誤差信号１０１はＤＣＴ変換器１１２、量子化器１１３及び可変長符号化器１１４を経て符号化されるが、例えばＤＣＴ変換をウエーブレット変換に置き換えた構成としたり、あるいは可変長符号化を算術符号化に置き換えた構成としてもよい。

（第２の実施形態）
図２には、本発明の第２の実施形態に係る動画像符号化装置の構成を示す。本実施形態では、図１に示した第１の実施形態の動画像符号化装置に対して、入力動画像信号１００に対するフェード検出器１４０が付加されている。フェード検出器１４０では、入力動画像信号１００のフレーム毎の平均輝度値を計算し、輝度の時間変化に一定の傾きがある場合は、入力動画像信号１００の画像はフェード画像であると判定し、その判定結果をフェード検出信号１４１として予測モード選択器１２０に通知する。

予測モード選択器１２０では、フェード検出器１４０によって入力動画像信号１００の画像がフェード画像と判定された場合は、予測モードを一つの参照フレームからの予測または複数の参照フレームの線形外挿あるいは線形内挿による予測の何れかに限定して、マクロブロック毎に最適な動きベクトル及び予測モードを決定する。決定された動きベクトル及び予測モードを示す第１フラグをマクロブロックのヘッダに書き込み、予測誤差信号１０１の符号化を行う。一方、予測モードの組を示す第２フラグをフレームのヘッダデータに書き込んで出力する。

さらに予測モード選択器１２０は、フェード検出器１４０によって入力動画像信号１００の画像がフェード画像でないと判定された場合は、予測モードを一つの参照フレームからの予測または複数の参照フレームの平均値による予測のいずれかに限定して、同様に最適な動きベクトル及び予測モードを決定し、動きベクトル、予測モード及び予測誤差信号１０１の符号化を同様に行う。

図２の動画像符号化装置から出力される符号化データ１０８を受信して復号化する場合は、予測モードを示す第１及び第２フラグからマクロブロック毎の予測モードを判断し、マクロブロック毎に送られる動きベクトル及び判断した予測モードから予測マクロブロック信号を生成し、符号化された予測誤差信号を復号化して予測信号と加算することで復号化を行う。
このような構成とすることで、予測モード情報の符号化オーバーヘッドを低減させることが可能となる。

図３には、本発明の第１及び第２の実施形態に係る動画像復号化装置の構成を示す。図３に示す動画像復号化装置は、ハードウエアで実現してもよいし、コンピュータを用いてソフトウエアにより実行してもよい。一部の処理をハードウエアで実現し、他の処理をソフトウエアにより行ってもよい。この点は、後で説明する他の実施形態に係る動画像復号化装置においても同様である。

本実施形態の動画像復号化装置は、図１または図２に示した動画像符号化装置に対応した構成となっている。すなわち、図３の動画像復号化装置には、図１あるいは図２に示した動画像符号化装置から出力される符号化データ１０８が伝送系または蓄積系を経て、符号化データ２００として入力される。

動画像復号化装置に入力された符号化データ２００は、まず可変長符号復号化器２１４で可変長符号が復号化され、量子化ＤＣＴ係数データ２０１と、動きベクトル情報及び予測モード情報を含むサイド情報２０２が抽出される。量子化ＤＣＴ係数データ２０１は、逆量子化器２１５及び逆ＤＣＴ変換器２１６を経て復号化されることにより予測誤差信号が再生される。予測誤差信号は予測画像信号２０６と加算され、復号化画像信号２０３が生成される。

第１参照フレームメモリ２１７には、符号化データ２００である現在の動画像フレームの直前に復号化されたフレームの復号化画像信号２０３が参照フレームとして保存され、第１参照フレームメモリ２１７の出力に接続された第２参照フレームメモリ２１８には、さらにその前に復号化されたフレームの復号化画像信号が参照フレームとして保存される。

予測マクロブロック生成器２１９では、第１参照フレームメモリ２１７に保存された参照フレームから抽出した参照マクロブロック信号のみから生成される予測マクロブロック信号、第２参照フレームメモリ２１８に保存された参照フレームから抽出した参照マクロブロック信号のみから生成される予測マクロブロック信号、第１及び第２参照フレームメモリ２１７，２１８からそれぞれ抽出した参照マクロブロック信号を平均化して生成される予測マクロブロック信号、及び第１参照フレームメモリ２１７から抽出した参照マクロブロック信号の振幅を２倍にした信号から、第２参照フレームメモリ２１８から抽出した参照マクロブロック信号を減じて生成される予測マクロブロック信号が生成される。これらの予測マクロブロック信号は、予測マクロブロック選択器２２０に入力される。

予測マクロブロック選択器２２０には、さらに可変長復号化器２１４からのサイド情報２０２が入力される。予測マクロブロック選択器２２０では、サイド情報２０２に含まれる動きベクトル情報及び予測モード情報に応じて、予測マクロブロック生成器２１９から出力される予測マクロブロック信号のうち、符号化時に使用された予測マクロブロック信号と同じ信号が選択されることにより、予測画像信号２０６が生成される。

（動き補償予測フレーム間符号化について）
図４は、第１及び第２の実施形態におけるフレーム間予測の関係を模式的に示した例であり、符号化／復号化対象フレーム３０２、その直前のフレーム３０１、さらにその前のフレーム３００を示している。

フレーム３０２を符号化あるいは復号化しているとき、図１及び図２の第１参照メモリ１１７あるいは図３の第１参照フレーム２１７には、フレーム３０１の復号化画像信号が保存されており、また図１及び図２の第２参照フレームメモリ１１８あるいは図３の第２参照フレームメモリ２１８には、フレーム３００の復号化画像信号が保存されている。

符号化／復号化対象マクロブロック３０５に対して、参照フレーム３００の参照マクロブロック３０３及び参照フレーム３０１の参照マクロブロック３０４のいずれか一方あるいは両方を用いて予測マクロブロックが生成される。動きベクトル３０６及び３０７は、それぞれ参照マクロブロック３０３及び３０４の位置を示すベクトルである。

符号化時には、符号化対象マクロブロック３０５に最適な動きベクトル及び予測モードの探索が行われる。復号化時には、サイド情報２０２に含まれる動きベクトル及び予測モードの情報を用いて、復号化対象マクロブロック３０５に対して予測マクロブロック信号が生成される。

図５及び図６は、第１及び第２の実施形態における予測モードのうち、複数の参照フレームの線形和による予測モードで用いる予測係数テーブルの例を示している。予測係数は、第１の実施形態ではマクロブロック毎、第２の実施形態ではフレーム毎にそれぞれ変化し、平均及び線形外挿の２つの係数の組が存在する。

図５あるいは図６中に示すインデックス（Code_number）をマクロブロック毎あるいはフレーム毎のヘッダデータとして符号化する。第２の実施形態では線形予測係数はフレーム毎に固定となるので、フレームのヘッダデータのみで符号化すればよい。図５に示す予測係数テーブルでは係数の数値を明示的に定義しており、図６に示す予測係数テーブルでは平均または線形予測（内挿または外挿）を示している。このようなインデックスを符号化することにより、線形予測係数を直接符号化する場合に比べて、符号化すべき情報量が削減でき、符号化オーバーヘッドを低減させることが可能となる。

図７は、本発明の第１及び第２の実施形態における種々の予測モードに関わる参照フレーム(Reference_frame)の組み合わせを示すテーブルである。図７において、Code_numbe＝０は直前のフレーム（１フレーム前）からの予測モード、Code_numbe＝１は２フレーム前からの予測モード、Code_numbe＝３は１フレーム前及び２フレーム前からの線形和による予測モードの場合の参照フレームの組み合わせをそれぞれ示している。Code_number＝３の場合には、上述の線形予測係数を用いた予測モードが用いられる。

第１及び第２の実施形態においては、参照フレームの組み合わせはマクロブロック毎に変化可能であり、図７のテーブルのインデックスはマクロブロック毎に符号化が行われる。

（第３の実施形態）
図８及び図９は、本発明の第３の実施形態に係る動画像符号化装置及び動画像復号化装置の構成をそれぞれ示している。第１及び第２の実施形態では、最大２フレームの参照フレームからの線形和による予測を行うのに対して、第３の実施形態では３フレーム以上の参照フレームを用いて、マクロブロック毎の特定の１フレームを選択するか、あるいは複数の参照フレームの線形和のいずれかによる予測を可能としている。

図８の動画像符号化装置では最大参照フレーム数（ｎ）分の参照フレームメモリ１１７，１１８及び１５２を備え、図９の動画像復号化装置においても同様に最大参照フレーム数（ｎ）分の参照フレームメモリ２１７，２１８及び２５２備えている。本実施形態では、線形和による予測の際は予測マクロブロック生成器１５１及び２５１において予測係数Ｗ１〜Ｗｎと各参照フレームから抽出された参照マクロブロックとの積和演算を行い、その結果をＷｄビットだけ右シフトして予測画像信号を生成する。参照フレームの選択はマクロブロック毎に変更可能とし、線形予測係数はフレーム毎に変更可能とする。従って、線形予測係数の組をフレームのヘッダデータとして符号化し、参照フレームの選択はマクロブロック毎のヘッダデータとして符号化を行う。

図１０に、本実施形態に関わる線形予測係数をフレームのヘッダとして符号化するためのデータシンタックスを示す。線形予測係数の符号化では、まず参照フレームの最大数をNumber_Of_Max_Referencesとして符号化し、次に線形予測係数の演算精度を示すWeightingFactorDenominatorExponent（図８及び図９におけるＷｄ）を符号化し、さらにNumber_Of_Max_Referencesの数だけの各参照フレームに対する係数WeightingFactorNumerator[i]（図８及び図９におけるＷ１〜Ｗｎ）を符号化する。i番目の参照フレームに対する線形予測係数は、以下の式で示される。

図１１に、本実施形態に関わるマクロブロック毎に符号化される参照フレームの組み合わせテーブルを示す。Code_number＝０は全ての参照フレームの線形和による予測を示し、Code_number＝１以降は参照フレームが特定の１フレームであり、何フレーム前のフレームを参照フレームとするか示す。全ての参照フレームの線形和による予測を行う場合、図１０に示した予測係数を用いた予測を行う。ここで、予測係数の一部を０とすることで、線形予測モードでは任意の参照フレームの組み合わせによる線形予測をフレーム単位に切り替えることが可能である。

図１２及び図１３は、本実施形態に関わる３フレーム以上の参照フレームを用いるフレーム間予測の関係を示している。図１２は過去の複数の参照フレームを用いる例であり、また図１３は過去及び未来の複数の参照フレームを用いる例である。図１２においては、符号化対象フレーム８０４に対して参照フレーム８００〜８０３が用いられる。

符号化時には、符号化対象マクロブロック８１３毎に、各参照フレームから各参照フレームに対する動きベクトル８０５〜８０８に応じて参照マクロブロック８０９〜８１２を抽出し、抽出した参照マクロブロック８０９〜８１２からの線形予測により予測マクロブロックを生成する。次に、複数の参照マクロブロック８０９〜８１２の中の一つ、あるいは線形予測による予測マクロブロックの何れかの予測モードで、予測誤差が最小となる動きベクトル及び予測モードの組を選択する。線形予測係数は、例えはフレーム間の平均輝度の時間変化等から符号化対象フレーム毎に１組決定される。決定された予測係数の組は符号化対象フレームのヘッダデータとして符号化され、また各マクロブロックの動きベクトル、予測モード及び予測誤差信号は、マクロブロック毎に符号化される。

復号化時はフレーム毎に受信した線形予測係数の組を用いて、マクロブロック毎に動きベクトル及び予測モードの情報から、複数の参照フレームより、予測マクロブロックを生成し、予測誤差信号と加算することで復号化を行う。

図１３では、符号化対象フレーム９０２に対して参照フレーム９００，９０１，９０３，９０４が用いられる。図１３の場合、符号化時及び復号化時は符号化対象フレーム９０２及び参照フレーム９００，９０１，９０３，９０４は９００、９０１、９０３、９０４、９０２の順序となるようにフレームの並べ替えが行われ、符号化の場合は複数の局部復号化画像フレーム、復号化の場合は複数の符号化済みフレームをそれぞれ参照フレームとして用いる。

符号化対象マクロブロック９１１に対して、図１２の例と同様に参照マクロブロック９０９，９１０，９１２，９１３の一つ、またはそれらからの線形予測による予測信号の何れかがマクロブロック毎に選択されて符号化される。

図１４は、本発明の実施形態に係る動きベクトル情報の符号化方法及び復号化方法を示す図である。図４の例のように、複数の参照フレームを用いたフレーム間符号化において、符号化対象マクロブロック毎に複数の参照マクロブロック信号を用いて予測マクロブロック信号を生成する場合、マクロブロック毎に複数の動きベクトル情報を符号化する必要がある。したがって、参照するマクロブロックの数が増えるほど、符号化すべき動きベクトル情報のオーバーヘッドが増加し、符号化効率を低下させる原因となる。

図１４の例では、２つの参照フレームからそれぞれ参照マクロブロック信号を抽出して、予測マクロブロック信号を生成する場合に、一つの動きベクトルとその動きベクトルをフレーム間距離に応じてスケーリングした動きベクトルを用いる。符号化対象フレーム４０２に対して参照フレーム４０１及び４００が用いられ、動きベクトル４１１及び４１０が検出される。黒で示した点は垂直方向の画素位置を示しており、白で示した点は１／４画素精度の補間点を示している。

図１４は、動き補償予測フレーム間符号化を１／４画素精度で行う例を示している。動き補償の画素精度は１画素、１／２画素及び１／８画素など、符号化方式毎に定義される。通常は、動きベクトルを動き補償の精度で表現し、参照画像を参照フレームの画像データから、補間して生成するのが一般的である。

図１４では、符号化対象の画素４０５に着目すると、参照フレーム４００からは２．５画素垂直方向に離れた点４０３を参照するものとし、２．５画素のずれを示す動きベクトル４１０が符号化される。一方、同画素４０５に対する参照フレーム４０１からの予測は、フレーム間距離に応じて前述の符号化された動きベクトル４１０をスケーリングすることにより生成する。ここでは、フレーム４０１に対する動きベクトルは、フレーム間距離を考慮し２．５／２＝１．２５画素となり、参照フレーム４０１における画素４０４が符号化対象フレーム４０２の画素４０５の参照画素として用いられる。

符号化時及び復号化時に同一の精度で動きベクトルのスケーリングを行うことで、各マクロブロック毎に符号化すべき動きベクトルは、符号化対象マクロブロックが複数のフレームを参照する場合でも一つの動きベクトルで済み、符号化オーバーヘッドの増加を防ぐことが可能となる。ここで、動きベクトルのスケーリング結果が、動き補償の精度のサンプル点上にない場合は、端数の四捨五入によりスケーリングされた動きベクトルを丸めるものとする。

図１５は、本発明の実施形態に係る、図１４とは異なる動きベクトル情報の符号化方法及び復号化方法を示す図である。図１４の例では、動画像の時間的な動きの速さが一定の場合に、符号化データに占める動きベクトルのオーバーヘッドを効率的に低減することが可能となる。一方、動画像の時間的な動きが単調ではあるが、動きの速さが一定ではない場合、単純にスケーリングした動きベクトルを用いると、予測効率の低下が発生して符号化効率の低下の原因となる場合がある。

図１５では図１４と同様に、画素５０６の参照画素として、参照フレーム５００及び５０１の２フレームの参照画素から予測画素を生成する。ここでは、フレーム５００の画素５０３と、フレーム５０１の画素５０５が参照されるものとする。図１４の例と同様に、フレーム５００に対する動きベクトル５１０が符号化され、それに加えてフレーム５０１に対する動きベクトル５１１が、動きベクトル５１０をスケーリングしたベクトルとの差分ベクトル５２０として符号化される。動きベクトル５１０を１／２にスケーリングすることにより、フレーム５０１における画素５０４の位置が示され、本来の予測画素５０５と画素５０４との差分量を示す差分ベクトル５２０が符号化される。

通常、時間的に単調な動きに対して前述の差分ベクトルの大きさは小さくなるため、動きの速度が一定でない場合も、予測効率を低下させずに、かつ動きベクトルのオーバーヘッドの増加を抑えて、効率的な符号化行うことが可能となる。

図１６は、本発明の実施形態に係るさらに別の動きベクトル情報の符号化方法及び復号化方法を示す図である。図１６の例では、フレーム６０３が符号化対象フレームであり、フレーム６０２を飛ばして、フレーム６０１及びフレーム６００が参照フレームとなっている例である。さらに、画素６０６に対して、参照フレーム６００の画素６０４及び参照フレーム６０１の画素６０５が予測画素を生成するための参照画素となっている。図１４あるいは図１５の例と同様に、参照フレーム６００に対する動きベクトル６１１を符号化し、動きベクトル６１１をスケーリングした動きベクトルを用いて、参照フレーム６０１に対する動きベクトルを生成することも可能であるが、図１６の場合は参照フレームと符号化対象フレームのフレーム間距離の関係から、動きベクトル６１１に対して２／３倍のスケーリングが必要となる。

図１６の例に限らず、任意のスケーリングを行うためには、分母が２のべき乗でない任意の整数となり、除算が必要となる。動きベクトルのスケーリングは、符号化時及び復号化時のいずれでも必要であり、特に除算は、ハードウエア及びソフトウエアのいずれにおいても、コストや演算時間が多くかかるため、符号化及び復号化のコスト増をもたらしてしまう。図１６では、符号化すべき動きベクトル６１１をフレーム間距離で正規化した動きベクトル６１０を符号化し、正規化された動きベクトル６１０を符号化対象フレームと各参照フレームとのフレーム間距離に応じて、スケーリングした動きベクトルと、本来の動きベクトルとの差分ベクトルを符号化する。つまり、参照画素６０４は、正規化された動きベクトル６１０を３倍した動きベクトルと、差分ベクトル６２０から生成され、参照画素６０５は、正規化された動きベクトル６１０を２倍した動きベクトルと、差分ベクトル６２１から生成される。

このように図１６の構成とすることで、予測効率を低下させずに、動きベクトルの符号化オーバーヘッドの増加を防ぎ、さらに、動きベクトルのスケーリングが乗算のみで実現できるため、符号化及び復号化の演算コストも抑えることが可能となる。

本発明の実施形態における動きベクトルあるいは差分ベクトルの符号化では、以下のように動きベクトルの空間相関あるいは時間相関を利用することで、動きベクトル符号量の一層の削減を実現する。
まず、図１７を用いて空間相関を利用した動きベクトルの圧縮方法の例を説明する。図１７中に示すＡ，Ｂ，Ｃ，Ｄ，Ｅは、１フレーム内の隣接するマクロブロックを示している。マクロブロックＡの動きベクトルあるいは差分ベクトルを符号化する際、隣接するマクロブロックＢ，Ｃ，Ｄ，Ｅの動きベクトルから予測ベクトルを生成し、予測ベクトルと符号化すべきマクロブロックＡの動きベクトルとの誤差のみを符号化し、復号側では符号化時と同様に予測ベクトルを計算し、符号化された誤算信号と加算することで、マクロブロックＡの動きベクトルあるいは差分ベクトルの生成を行う。

動きベクトルの誤差の符号化は、可変長符号や算術符号を用いることで、高能率に圧縮することが可能である。動きベクトルの予測は、例えば、マクロブロックＢ，Ｃ，Ｄ，Ｅの動きベクトルの中央値あるいは平均値を予測ベクトルとして用いることで実現出来る。

次に、図１８を用いて時間相関を利用した動きベクトルの圧縮方法の例を説明する。図１８では、連続する２フレーム（Ｆ０、Ｆ１）を示している。図中、Ａ，Ｂ，Ｃ，Ｄ，ＥはフレームＦ１内において隣接するマクロブロック、また、ａ，ｂ，ｃ，ｄ，ｅはフレームＦ０におけるＡ，Ｂ，Ｃ，Ｄ，Ｅと同じ位置のマクロブロックをそれぞれ示している。ここで、マクロブロックＡにおける動きベクトルあるいは差分ベクトルを符号化する際に、直前のフレームＦ０の同一位置のマクロブロックａの動きベクトルを予測ベクトルとし、予測ベクトルとマクロブロックＡにおける符号化すべきベクトルとの誤差のみを符号化することで、動きベクトル情報を圧縮することが可能となる。

さらに、時空間相関を利用し、フレームＦ１のマクロブロックＢ，Ｃ，Ｄ，Ｅ及びフレームＦ０のマクロブロックａ，ｂ，ｃ，ｄ，ｅの動きベクトルを用いて、マクロブロックＡの動きベクトルを３次元予測し、予測ベクトルと符号化すべきベクトルとの誤差のみを符号化することで、さらに動きベクトルを高能率に圧縮することが可能となる。

動きベクトルの３次元予測は、例えば、時空間に隣接する複数の動きベクトルの中央値あるいは平均値等から、予測ベクトル生成することで実現可能である。

次に、本発明に関わるマクロブロックスキップの実施形態について説明する。動き補償予測符号化において、符号化すべき予測誤差信号がＤＣＴ及び量子化により全て０になったマクロブロックにおいて、符号化オーバヘッドを削減するため、予め定義された所定の条件を満たすマクロブロックにおいては、予想モードや動きベクトル等のマクロブロックのヘッダデータも含めて、一切のデータ符号化せず、次に符号化されるマクロブロックのヘッダにおいて、連続してスキップしたマクロブロックの数だけを符号化し、復号化時はスキップしたマクロブロックに関しては、予め定義された所定のモードでの復号化を行うものとする。

本発明の実施形態に関わるマクロブロックスキップの第１の態様では、予測に用いる参照フレームが予め定められたもの、動きベクトルの要素が全て０、符号化すべき予測誤差信号が全て０、の全ての条件を満たすものをマクロブロックスキップとして定義し、復号時は予め定められた参照フレームから、動きベクトルが０である場合と同様に予測マクロブロックを生成し、生成された予測マクロブロックを復号化されたマクロブロック信号として再生する。

ここで、直前の２フレームの線形和を参照フレームとするということを参照フレームのスキップ条件とすることで、フェード画像等の信号強度が時間的に変化する映像においても、マクロブロックスキップを発生させることが可能となり、符号化効率を向上させることが可能となる。また、各フレームのヘッダデータとして、スキップ条件となる参照フレームのインデックスを送り、フレーム毎にスキップ条件を可変とする構成でもよい。フレームスキップ条件を、フレーム毎に可変にすることで、入力画像の性質に合わせて最適なスキップ条件を設定し、符号化オーバーヘッドを削減することが可能となる。

本発明の実施形態に関わるマクロブロックスキップの第２の態様では、動きベクトルは予測符号化するものとし、動きベクトルの誤差信号が０の場合をマクロブロックスキップ条件とする。その他の条件は、マクロブロックスキップの上述した第１の態様と同様である。この第２の態様では、スキップしたマクロブロックの復号時は、まず予測動きベクトルを生成して、生成された予測動きベクトルを用いて、所定の参照フレームから予測画像を生成し、マクロブロックの復号化信号とする。

本発明の実施形態に関わるマクロブロックスキップの第３の態様では、符号化すべき動きベクトル情報が直前のマクロブロックで符号化された動きベクトル情報と同一であることをスキップ条件とする。ここで、符号化すべき動きベクトル情報とは、動きベクトルの予測符号化を行う場合は、予測誤差ベクトルであり、予測符号化をしない場合は、動きベクトルそのものである。その他の条件は、上述した第１の態様と同様である。

この第３の態様では、スキップしたマクロブロックの復号時は、まず、符号化されるべき動きベクトル情報が０であるとして、動きベクトルの再生を行い、再生された動きベクトルに従って、所定の参照フレームから予測画像を生成し、マクロブロックの復号化信号とする。

本発明の実施形態に関わるマクロブロックスキップの第４の態様では、予測に用いる参照フレームの組み合わせが、直前に符号化されたマクロブロックと同一であり、他のスキップ条件は、上述した第１の態様と同じ構成とする。

本発明の実施形態に関わるマクロブロックスキップの第５の態様では、予測に用いる参照フレームの組み合わせが、直前に符号化されたマクロブロックと同一であり、他のスキップ条件は、上述した第２の態様と同じ構成とする。

本発明に関わるマクロブロックスキップの第６の態様では、予測に用いる参照フレームの組み合わせが、直前に符号化されたマクロブロックと同一であり、他のスキップ条件は、上述した第３の態様と同じ構成とする。

上記第１から第６の態様のいずれのスキップ条件においても、隣接マクロブロック間の動きや信号強度の時間変化の相関が高いという性質を利用し、効率的にマクロブロックスキップを発生させ、符号化オーバヘッドを低減し、高能率な符号化を実現することが可能となる。

（第４の実施形態）
図１９に、本発明の第４の実施形態に係る動画像符号化装置の構成を示す。本実施形態では、図８で示した第３の実施形態に係る動画像符号化装置に線形予測係数推定器７０１が付加された構成となっている。線形予測係数推定器７０１では、参照フレームと符号化対象フレームとのフレーム間距離や、入力フレームのフレーム内ＤＣ成分の時間変化などに応じて、複数参照フレームからの線形予測における予測係数の決定を行う。以下、具体的な予測係数決定に関する、複数の実施形態について説明する。

図２０は、過去２フレームからの線形和により予測する場合を示しており、符号化対象フレームＦ２に対して、参照フレームＦ０，Ｆ１が用いられる。Ｒａ，Ｒｂは、各参照フレームＦ０，Ｆ１と符号化対象フレームＦ２とのフレーム間距離を示している。参照フレームＦ０、Ｆ１に対する線形予測係数をそれぞれＷ０，Ｗ１とする。第１線形予測係数の組は（０．５，０．５）とし、すなわち２つの参照フレームの単純平均とする。第２線形予測係数は、フレーム間距離に応じた線形外挿により決定される。図２０の例では、式（２）のようになる。例えば、フレーム間隔が一定の場合は、Ｒｂ＝２＊Ｒａとなり、式（２）より線形予測係数は（Ｗ０，Ｗ１）＝（−１，２）となる。

式（２）より、各参照フレームと符号化対象フレームとのフレーム間距離が任意に変化した場合でも、適切な線形予測が可能となる。例えばフレームスキップ等を用いた可変フレームレートの符号化や、参照フレームを過去の任意の２フレームを選択した場合でも、高い予測効率を維持することが可能となる。符号化時に、第１予測係数または第２予測係数の何れか一方を固定的に使用してもよいし、また適応的に選択しても良い。予測係数を適応的に選択する具体的な方法については、例えば各フレームのフレーム内の平均輝度値（ＤＣ値）を用いて決定することも可能である。

各フレームＦ０，Ｆ１，Ｆ２のフレーム内の平均輝度値をそれぞれＤＣ（Ｆ０），ＤＣ（Ｆ１），ＤＣ（Ｆ２）とし、フレーム内ＤＣ成分について、各線形予測係数を用いた場合の予測誤差の大きさを、式（３）及び（４）のように計算する。

式（３）の値が式（４）の値より小さければ第１予測係数を選択し、式（４）の値が式（３）の値より小さければ第２予測係数を選択する。これらの予測係数は、符号化対象フレーム毎に変化させることで、映像信号の特性に応じて最適な、線形予測が可能となる。フレーム内ＤＣ値の比を用いて、第３及び第４予測係数を式（５）または（６）に示すようにフレーム毎に決定しても、効率的な線形予測が可能である。

式（５）に示す第３線形予測係数は、フレーム内DC値の比を加味した重みつき平均であり、式（６）に示す第４線形予測係数は、フレーム内DC値の比とフレーム間距離を加味した線形予測である。上記した第２から第６線形予測係数では、線形予測の際に除算を必要とするが、演算精度を符号化時と復号化時に一致させることで、除算を用いず乗算とビットシフトによる線形予測が可能となる。

具体的なシンタックスとしては、図１０に示した例のように、２のべき乗の分母と整数の分子で、各線形予測係数を表現すればよい。図２１は、時間的に前後の２フレームからの線形和により予測する場合を示しており、図中のＦ１が符号化対象フレーム、Ｆ０，Ｆ２がそれぞれ参照フレーム示す。またＲａ，Ｒｂは各参照フレームと符号化対象フレームとのフレーム間距離を示している。また、参照フレームＦ０、Ｆ２に対する線形予測係数をそれぞれＷ０，Ｗ２とする。また、各フレームの輝度値のフレーム内平均値をＤＣ（Ｆ０），ＤＣ（Ｆ１），ＤＣ（Ｆ２）とする。図２０の場合と同様の４種類の予測係数の組の例を、式（７）〜式（１０）に示す。

式（７）は単純平均予測、式（８）はフレーム間距離の重みつき平均予測、式（９）はＤＣ値の比に基づく重みつき予測、式（１０）はＤＣ値の比とフレーム間距離に基づく重みつき予測である。

図２２は、過去３フレームからの線形和による予測を行う場合を示しており、Ｆ０，Ｆ１，Ｆ２が参照フレーム、Ｆ３が符号化対象フレームである。各参照フレームＦ０，Ｆ１，Ｆ２と符号化対象フレームＦ３とのフレーム間距離は、それぞれＲｃ，Ｒｂ，Ｒａで示される。図２２においても、複数の線形予測係数の組が考えられる。その具体例を以下に示す。ここで、各参照フレームに対する線形予測係数をＷ０、Ｗ１，Ｗ２とする。

第１予測係数の組を式（１１）に示す。第１予測係数は、３つの参照フレームからの単純平均予測である。第１予測係数の組による予測画像ａＦ₃ ⁰¹² は、式（１２）で示される。

第２、第３及び第４予測係数は、３つの参照フレームから２フレームを選択して、式（２）と同様に線形外挿による外挿予測を行うための係数であり、参照フレームＦ２及びＦ１から予測した符号化対象フレームＦ３の予測画像をｅＦ₃ ¹² とし、参照フレームＦ２及びＦ０から予測した符号化対象フレームＦ３の予測画像をｅＦ₃ ⁰²，参照フレームＦ１及びＦ０から予測した符号化対象フレームＦ３の予測画像をｅＦ₃ ⁰¹ とすると、それぞれ式（１３）（１４）（１５）で示される。

また、式（１３）〜（１５）を平均化した予測値をeF₃ ⁰¹² とすると、eF₃ ⁰¹² は式（１６）で示され、これを第５予測係数とする。

上記第１から第５線形予測係数のどれか一つを用いても良いし、また、各フレームＦ０，Ｆ１，Ｆ２，Ｆ３それぞれのフレーム内平均輝度値ＤＣ（Ｆ０），ＤＣ（Ｆ１），ＤＣ（Ｆ２），ＤＣ（Ｆ３）を計算し、符号化対象フレームＦ３のフレーム内平均輝度値を上記５種類の線形予測で予測し、その予測誤差が最も小さい線形予測係数を符号化対象フレーム毎に切り替えて用いる構成でもよい。後者の構成を用いれば、入力画像の性質に合わせて最適な線形予測がフレーム単位に自動的に選択され、高能率な符号化が実現できる。

また、各フレームの平均輝度の比を上記第１から第５各線形予測係数に乗じた予測係数を用いる構成でもよい。例えば、第１予測係数に平均輝度値の比を乗じた場合は、予測係数は式（１７）となる。上記他の予測係数についても同様である。

図２３は、過去２フレームと未来１フレームからの線形和による予測を行う場合を示しており、Ｆ０，Ｆ１，Ｆ３が参照フレーム、Ｆ２が符号化対象フレームである。各参照フレームと符号化対象フレームとのフレーム間距離は、それぞれＲｃ，Ｒｂ，Ｒａで示される。この場合も、図２２の例と同様に、フレーム間距離の比や、フレーム内ＤＣ値の比を用いて、複数の予測係数の組を決定することが可能であり、フレーム内ＤＣ値の予測誤差から、最適な予測係数の組をフレーム単位に決定することが可能である。
図２３の予測構造における式（１２）〜（１７）に相当する線形予測式または予測係数を式（１８）〜（２３）にそれぞれ示す。

図２４には、本発明の実施形態に関わる動画像符号化における、動きベクトル探索の第１の例を示す。図２４は、図１４で示したように連続する２フレームを参照フレームとして予測し、代表する一つの動きベクトルを符号化する場合の動きベクトル探索方法を示している。図中のＦ２が符号化対象フレームであり、Ｆ０及びＦ１が参照フレームを示している。また、１０は符号化対象のマクロブロック示し、１２、１４，１６，１８は参照フレームにおける参照マクロブロックの候補の一部を示している。

マクロブロック１０に対して最適な動きベクトルを求めるため、動きベクトル探索範囲内で参照フレームＦ１に対する動きベクトル候補（図２４では、動きベクトル候補１１，１５）と、それをフレーム間距離に応じてスケーリングした動きベクトル（図２４では、動きベクトル候補１１をスケーリングした動きベクトル１３、動きベクトル候補１５をスケーリングした動きベクトル１７）を参照フレームＦ０に対する動きベクトルとして用い、２つの参照フレームＦ０、Ｆ１から抽出した参照マクロブロック１４と１２または１６と１８の線形和から予測マクロブロックを生成し、予測マクロブロックと符号化対象マクロブロック１０との差分値を計算し、その差分値が最も小さくなる動きベクトルを動きベクトル探索結果としてマクロブロック毎に決定し、決定された動きベクトルを用いて、マクロブロック毎の動き補償予測符号化を行う。

動きベクトル決定の評価方法としては、上記以外にも差分値だけでなく、動きベクトル自体の符号化オーバーヘッドも加味して決定しても良いし、あるいは、差分信号と動きベクトルを実際に符号化したときの符号量が最小となる動きベクトルを選択する構成でもよい。上記のように動きベクトルを探索することで、Ｆ０及びＦ１に対する最適な動きベクトルを個別に探索する場合よりも、より少ない演算量で、正確な動きベクトルを得ることが可能となる。

図２５は、本発明の実施形態に関わる動画像符号化における動きベクトル探索の第２の例を示している。図２５は、図２４の例と同様に図１４で示したように、連続する２フレームを参照フレームとして予測し、代表する一つの動きベクトルを符号化する場合、あるいは代表する一つの動きベクトルと差分ベクトルを符号化する場合の、動きベクトル探索方法を示す。図中のＦ２が符号化対象フレームであり、Ｆ０及びＦ１が参照フレームを示している。また、１０は符号化対象のマクロブロック示し、１２、１４，１６，１８は参照フレームにおける参照マクロブロックの候補の一部を示している。

第２動きベクトル探索では、まず第１動きベクトルと同様に、２つの参照フレーム対する一つの動きベクトルの探索を行う。図２５において、動きベクトル１１及びそれをスケーリングした動きベクトル１３が、最適な動きベクトルとして選択されたものとする。次に、動きベクトル１３の近傍領域で、フレームＦ０からの参照マクロブロックに対する動きベクトルの再探索を行う。再探索の際は、フレームＦ１から動きベクトル１１を用いて抽出す参照マクロブロック１２は固定とし、参照マクロブロック１２と、フレームＦ０の動きベクトル１３の近傍から抽出した参照マクロブロック１４との線形和により予測マクロブロックを生成し、予測マクロブロックと符号化対象マクロブロックの差分が最小になるように、フレームＦ０に対する動きベクトルの再探索を行う。

動画像信号が固定フレームレートで、フレームＦ２とＦ１、及びＦ１とＦ０の間隔が等間隔である場合を例にとると、一定の動きを探索するためには、参照フレームＦ０に対する探索範囲は、参照フレームＦ１に対する探索範囲に対して、面積比で４倍の領域を探索する必要があり、Ｆ０、Ｆ１の両参照フレームに対して、同じ精度の動きベクトル探索を行うと、Ｆ１だけからの予測における動きベクトル探索に比べて、４倍の演算量を必要とする。

一方、第２動きベクトル探索方法によれば、まず、参照フレームＦ１に対するフルの精度での動きベクトル探索と、その動きベクトルを２倍にスケーリングした動きベクトルによる参照フレームＦ０に対する探索をおこない、次に参照フレームＦ０に対するフルの精度の再探索を行う２段階の構成とすることにより、動きベクトル探索の演算量をほぼ１／４に削減することが可能となる。

第２動きベクトル探索方法では、参照フレームＦ０及びＦ１に対する動きベクトルが別々に求まることになる。これらの動きベクトルの符号化は、まず、参照フレームＦ１に対する動きベクトル１１を符号化し、次に動きベクトル１１をスケーリングした動きベクトル１３と、参照フレームＦ０に対して再探索の結果得られた動きベクトルとの差分ベクトルをそれぞれ符号化することで、動きベクトルの符号化オーバーヘッドを低減することが出来る。

また、再探索範囲が±１、つまり、動きベクトル１１をスケーリングした動きベクトル１３が１／２の粗い精度であるため、それをフルの精度にするための再探索のみの場合は、再探索された参照フレームＦ０に対する動きベクトルを１／２にスケーリングすることで、参照フレームＦ１に対する動きベクトル１１は、再探索結果の如何によらず一意に再生することができるため、参照フレームＦ０に対する動きベクトルだけを符号化すればよい。復号化時は受信した動きベクトルを１／２にスケーリングすれば、参照フレームＦ１に対する動きベクトル１１を得ることが出来る。

図２６は、本発明の実施形態に関わる動画像符号化における、動きベクトル探索の第３の例を示している。図２６は、図２４の例と同様に図１４で示したように、連続する２フレームを参照フレームとして予測し、代表する一つの動きベクトルを符号化する場合、あるいは代表する一つの動きベクトルと差分ベクトルを符号化する場合の、動きベクトル探索方法を示すものである。図中のＦ２が符号化対象フレームであり、Ｆ０及びＦ１が参照フレームを示している。また、１０は符号化対象のマクロブロック示し、１２、１４，１６，１８は参照フレームにおける参照マクロブロックの候補の一部を示している。

第３動きベクトル探索では、第１の例あるいは第２の例と同様に、参照フレームＦ０及びＦ１に対する動きベクトルを探索し、さらに参照フレームＦ１に対する動きベクトルを再探索するという構成である。一般に動画像では、時間的に近いフレーム間の相関が強いという性質を利用し、第３動きベクトル探索では、符号化対象フレームＦ２に時間的に最も近い参照フレームＦ１に対する動きベクトルをより高精度に求めることで、予測効率を向上させることが可能となる。

図２７は、本発明の実施形態に関わる動きベクトル符号化方法を示している。図中Ｆ２は符号化対象フレーム、Ｆ１は直前に符号化されたフレームを示し、３０、３１はそれぞれ符号化すべきマクロブロックであり、３２，３３はフレームＦ１におけるマクロブロック３０及び３１とフレーム内の同じ位置のマクロブロックを示している。また、３４，３５はそれぞれマクロブロック３０、３１の符号化すべき動きベクトルを示しており、３６，３７はマクロブロック３２及び３３の符号化された動きベクトルを示す。

本実施形態では、符号化すべき動きベクトルが直前の符号化対象フレームの同じ位置のマクロブロックにおける動きベクトルと同一である場合、動きベクトルは符号化せずに、動きベクトルが直前の符号化対象フレームにおける同一位置のマクロブロックと同一であることを示すフラグを予測モードとして符号化する。また、動きベクトルが直前の符号化対象フレームにおける同一位置のマクロブロックと同一でなければ、動きベクトル情報の符号化を行う。図２７の例では、動きベクトル３４と３６が同一であり、従って動きベクトル３４は符号化せず、また動きベクトル３５と動きベクトル３７は異なるため、動きベクトル３５の情報は符号化を行う。

上記のように動きベクトル情報の符号化を行うことで、静止画像や時間的に一様な動きをしている場合に、動きベクトル情報の冗長性が低減され、符号化効率を向上させることが可能である。

図２８は、本発明の実施形態に関わる他の動きベクトル符号化方法を示している。図２８の例は、図２７の例と同様に直前の符号化対象フレームにおける、同一位置のマクロブロックの動きベクトルと、符号化すべきマクロブロックの動きベクトルが同一の場合は、動きベクトルを符号化しないものであるが、動きベクトルの同一性の判断は、動きの角度が同一かどうかの判断を行うものである。図２８において、Ｆ３が符号化対象フレームであり、フレームＦ３におけるマクロブロック４０及び４１は、直前の符号化対象フレームＦ２を参照フレームとし、動きベクトル４４及び４５を用いた動き補償予測を行う。フレームＦ１の直前の符号化対象フレームＦ２における、マクロブロック４０同一位置のマクロブロック４２では、フレームＦ２から２フレーム前のフレームＦ０を参照フレームとし、動きベクトル４６を用いた動き補償予測を行うものとする。

動きベクトル４６と動きベクトル４４は同一の角度を示しており、参照フレームとの距離が２倍違うため、ベクトルの大きさが２倍になっている。従って、動きベクトル４４は、動きベクトル４６をフレーム間距離に応じてスケーリングすることで再生可能であるため、動きベクトル４４は符号化せずに、直前のフレームの動きベクトルを使うモードであることを示す予測モード情報を設定する。

また、マクロブロック４１における動きベクトル４５と、その直前フレームの同一位置のマクロブロック４３における動きベクトル４７とは、動きベクトルが同一角度を示しており、マクロブロック４０と同様に動きベクトル４５は符号化されない。上記のように動きベクトルが符号化されなかったマクロブロックについては、直前の符号化対象フレームの同一位置の動きベクトルを符号化対象フレームと参照フレームとのフレーム間距離に応じてスケーリングした動きベクトルを用いて、動き補償予測フレーム間符号化及び復号化を行う。

図２９は、本発明の実施形態に関わる、マクロブロックスキップ及び参照フレームを示すインデックスの予測符号化を説明する図である。図中Ｆ３が符号化対象フレームであり、Ａが符号化対象マクロブロック、Ｂ，Ｃ，Ｄ，Ｅが既に符号化された隣接マクロブロックを示す。また、Ｆ０，Ｆ１，Ｆ２は参照フレームであり、マクロブロック毎に一つまたは複数の参照フレームが選択されて動き補償予測符号化が行われる。マクロブロックＡでは、フレームＦ１を参照フレームとして動きベクトル５０による予測が行われ、マクロブロックＢ、Ｃ、Ｅでは、フレームＦ２、Ｆ１，Ｆ０をそれぞれ参照フレームとして、動きベクトル５１、５２，５５による予測がそれぞれ行われる。また、マクロブロックＤについては、Ｆ１及びＦ２の２つの参照フレームを用いた予測が行われる。マクロブロックＡの動きベクトル５０の符号化は、隣接マクロブロックＢ，Ｃ，Ｄ，Ｅの動きベクトルから予測ベクトルを選択し、予測ベクトルとマクロブロックＡの動きベクトル５０との差分ベクトルが符号化される。

予測ベクトルの決定は、例えば、隣接マクロブロックＢ，Ｃ，Ｅの動きベクトルの中央値となる動きベクトルを選択する方法や、あるいは、隣接マクロブロックＢ，Ｃ，Ｄ，Ｅの中で残差信号の大きさが最も小さいマクロブロックの動きベクトルを予測ベクトルとする等の方法で行う。

ここで、予測ベクトルと符号化すべきマクロブロックの動きベクトルとの差分が０となり、また、予測ベクトルが選択されたマクロブロックの参照フレームと、符号化すべきマクロブロックの参照フレームとが一致し、さらに符号化すべき予測誤差信号がすべて０となった場合は、マクロブロックの符号化はせずにスキップさせ、連続してスキップしたマクロブロックの数を次にスキップされずに符号化されるマクロブロックのヘッダ情報として符号化する。例えば、マクロブロックＡに対する予測ベクトルがマクロブロックＣの動きベクトル５２となった場合、マクロブロックＡとマクロブロックＣとでは参照フレームは一致しており、また、動きベクトル５０と動きベクトル５２が一致しており、マクロブロックＡの予測誤差信号が全て０である場合、マクロブロックＡは符号化されずスキップされる。復号化時は、符号化時と同様の方法で予測ベクトルを選択し、予測ベクトルが選択されたマクロブロックの参照フレームを用いて予測画像を生成し、生成された予測画像をスキップしたマクロブロックの復号化画像とする。

上記マクロブロックスキップの少なくとも一つ以上の条件が満たされない場合は、予測ベクトルと符号化すべきマクロブックの動きベクトルとの差分ベクトルと、予測誤差信号と、参照フレームを示すインデックスを符号化する。

参照フレームを示すインデックスは、予測ベクトルが選択された隣接マクロブロックの参照フレームインデックスと、符号化対象フレームの参照フレームインデックスの差分値を符号化する。

上記の例のように、マクロブロックＣの動きベクトル５２がマクロブロックＡの予測ベクトルとして選択された場合、動きベクトル５０と動きベクトル５２の差分ベクトルと、マクロブロックＡの予測誤差信号が符号化され、また、例えば図１１のテーブルに従って、参照フレームをインデックス（Code_number)で表現し、マクロブロックＣの２フレーム前の参照フレームを示すインデックス２と、マクロブロックＡの同インデックス２との差分値、すなわち０を参照フレームインデックス差分値として符号化する。

図３０は、本発明の実施形態に関わる他の動きベクトル符号化方法を示してている。図３０において、フレームＦ２が符号化対象フレームを示しており、フレームＦ２は時間的に前後のフレームから動き補償予測を行うＢピクチャであり、フレームＦ２におけるマクロブロック６１では、フレームＦ３を後方予測の参照フレームとし、フレームＦ１を前方予測の参照フレームとしている。従って、フレームＦ３の符号化あるいは復号化は、Ｆ２の符号化あるいは復号化に先立って行われる。

ここで、符号化対象マクロブロック６１における後方予測の参照フレームＦ３において、符号化対象マクロブロック６１とフレーム内の同一位置のマクロブロック６０に着目する。マクロブロック６０が、フレームＦ０及びフレームＦ１の２フレームからの線形和による動き補償予測が用いられている場合、符号化対象マクロブロック６１の前方予測の参照フレームＦ１に対するマクロブロック６０の動きベクトル（図中６２）をフレーム間距離に応じてスケーリングし、符号化対象マクロブロック６１の前方予測及び後方予測の動きベクトルとして用いる。

すなわち、フレームＦ１からフレームＦ２までのフレーム間距離をＲ１、フレームＦ２からフレームＦ３までのフレーム間距離をＲ２とすると、動きベクトル６２に対してＲ１／（Ｒ１＋Ｒ２）倍したものがマクロブロック６１の前方予測の動きベクトル６４となり、−Ｒ２／（Ｒ１＋Ｒ２）倍したものがマクロブロック６１の後方予測の動きベクトル６５となる。

符号化対象マクロブロック６１では、上記動きベクトル情報は符号化せずに、上記の予測モード、すなわち、動きベクトルのスケーリングによる両方向予測を行うことを示すフラグのみを符号化する。

復号化時は、まずフレームＦ３が復号化され、フレームＦ３における復号化された各マクロブロックの動きベクトルが一時的に保存される。次にフレームＦ２において、上記の予測モードを示すフラグが設定されているマクロブロックにおいては、一時保存されているフレームＦ３における同一位置のマクロブロックの動きベクトルをスケーリングすることで、マクロブロック６０における前方予測及び後方予測それぞれの動きベクトルを算出し、両方向予測復号化を行う。

図３１は、図３０で示した両方向予測の別の例であり、図３１では、フレームＦ２の符号化対象マクロブロック７１の前方予測の参照フレームがＦ０であり、その他は図３０と同様である。この場合、符号化対象マクロブロック７１の前方及び後方の動きベクトルは、フレームＦ３の符号化対象マクロブロック７１と同一位置のマクロブロック７０の、フレームＦ０に対する動きベクトル７３をフレーム間距離に応じてスケーリングして求める。

すなわち、フレームＦ０からフレームＦ２までのフレーム間距離をＲ１，フレームＦ３からフレームＦ２までのフレーム間距離をＲ２，フレームＦ０からフレームＦ３までのフレーム間距離をＲ３とすると、動きベクトル７３をＲ１／Ｒ３倍したものを符号化対象マクロブロック７１の前方動きベクトル７４とし、また、動きベクトル７３を−Ｒ２／Ｒ３倍したものを符号化対象マクロブロック７１の後方動きベクトル７５とし、動きベクトル７４及び動きベクトル７５を用いて、符号化対象マクロブロック７１の両方向予測符号化及び復号化を行う。

図３０及び図３１の例では、符号化対象の両方向予測マクロブロックにおける後方予測の参照フレームにおいて、符号化対象マクロブロックとフレーム内の同一位置のマクロブロックに着目し、そのマクロブロックが複数の前方参照フレームを使用する場合、符号化対象の両方向予測マクロブロックにおける前方参照フレームと同一の参照フレームに対する動きベクトルをスケーリングすることで、符号化対象マクロブロックの前方及び後方動きベクトルを生成する。

以上のように、スケーリングにより動きベクトルを生成することで、動きベクトルを符号化する符号化オーバーヘッドを低減し、符号化効率を向上させることが可能となる。さらに、スケーリングのもととなる動きベクトルが複数存在する場合に、前方参照フレームが一致した動きベクトルを選択してスケーリングすることで、予測効率を向上させることが可能となり、高能率な符号化を実現することが可能となる。

図３２は、図３０及び図３１で示した両方向予測の別の例であり、図３２では、フレームＦ３が符号化対象フレームであり、符号化化対象マクロブロック８１が、フレームＦ４を後方参照フレームとし、フレームＦ２を前方参照フレームとする両方向予測を行う場合の例である。また、フレームＦ４におけるマクロブロック８１と同一位置のマクロブロック８０は、前方の２フレームＦ０及びＦ１からの線形和による予測を行っている。従って、図３０及び図３１と異なり、マクロブロック８０と符号化対象マクロブロック８１とでは、同一の前方参照フレームが用いられない。

この場合、マクロブロック８０の前方参照フレームＦ０，Ｆ１のうち、符号化対象マクロブロック８１の前方参照フレームＦ２に最も時間的に近いフレームに対する動きベクトルをフレーム間距離に応じてスケーリングすることで、符号化対象マクロブロック８１の前方及び後方ベクトルの生成を行う。すなわち、フレームＦ２からフレームＦ３までのフレーム間距離をＲ１、フレームＦ４からフレームＦ３までのフレーム間距離をＲ２、フレームＦ１からフレームＦ４までのフレーム間距離をＲ３とすると、符号化対象マクロブロック８１の前方動きベクトル８４は、マクロブロック８０のフレームＦ１に対する動きベクトル８２をＲ１／Ｒ３倍することにより得られ、また、符号化対象マクロブロック８１の後方動きベクトル８５は、動きベクトル８２を−Ｒ２／Ｒ３倍することにより得られる。符号化対象マクロブロック８１では、スケーリングにより得られた動きベクトル８４及び８５を用いて、両方向予測を行う。

以上のように、スケーリングにより動きベクトルを生成することで、動きベクトルを符号化する符号化オーバーヘッドを低減し、符号化効率を向上させることが可能となる。さらに、スケーリングのもととなる動きベクトルが複数存在し、且つ前方参照フレームが一致する動きベクトルが無い場合に、符号化対象マクロブロックの前方参照フレームに時間的に最も近い参照フレームに対する動きベクトルを選択してスケーリングすることで、予測効率を向上させることが可能となり、高能率な符号化を実現することが可能となる。

図３３は、本発明の実施形態に関する動画像符号化方法のフローチャートを示す図である。また、図３４は、本発明の実施形態に関する重み付き予測を説明する図である。まず、図３４を用いて、実施形態に関する重み付き予測を説明を行い、次に図３３による重み係数の決定方法について説明する。

図３４において、Ｆ０，Ｆ１，Ｆ２，Ｆ３は時間的に連続するフレームを示しており、Ｆ３が符号化対象フレームを示している。フレームＦ０，Ｆ１，Ｆ２は、符号化対象フレームＦ３に対する参照フレームである。

符号化対象フレームＦ３内の符号化対象画素ブロックＡ，Ｂ，Ｃ，Ｄのうち、ブロックＡ，Ｂ，ＣではそれぞれフレームＦ１，Ｆ０，Ｆ２から動き補償を伴う参照画素ブロック信号が生成される。これらの参照画素ブロック信号に対して、重み係数の乗算と直流オフセット値の加算により予測画素ブロック信号が生成される。さらに、予測画素ブロック信号と符号化対象画素ブロック信号との差分が計算され、参照フレームの識別情報、動きベクトル情報ともに差分信号が符号化される。

ブロックＤでは、フレームＦ０及びフレームＦ１から、それぞれ動き補償を伴って参照ブロック信号が生成され、これらの参照画素ブロック信号の線形結合に直流オフセット値を加算することで予測画素ブロック信号が生成される。符号化対象画素ブロックの信号と予測画素ブロック信号との差分信号が参照フレームの識別情報、動きベクトル情報とともに符号化される。

一方、復号化時は参照フレームの識別情報及び動きベクトル情報の復号化が行われ、それらに基づいて上記参照画素ブロック信号が生成される。生成された参照画素ブロック信号に対して、重み係数の乗算及び直流オフセット値の加算を行うことで、予測画素ブロック信号が生成される。符号化された差分信号が復号化され、復号化された差分信号と予測画素ブロック信号を加算することにより、動画像の復号化が行われる。

符号化時及び復号化時における予測画素ブロック信号の生成は、以下の計算により行われる。例えば、画素ブロックＡの予測信号をpredＡとし、フレームＦ1から切り出された参照画素ブロック信号をref[1]とすると、predＡは以下のように計算される。

ここで、ｗ[1]は参照画素ブロックに対する重み係数、ｄ[1]は直流オフセット値であり、これらの値は係数テーブルとして、符号化フレーム或いはスライス毎にヘッダデータとして符号化される。重み係数及び直流オフセット値は、符号化フレーム毎に対応する複数の参照フレームに対して個別に決定される。例えば、図３４における画素ブロックＢでは、参照画素ブロックref[0]がフレームＦ０から切り出されるため、予測信号predＢは次式となる。

画素ブロックＤでは、フレームＦ０及びＦ１からそれぞれ参照画素ブロックを切り出し、以下に示すように各々の参照画素ブロックに対して重み係数を乗じて直流オフセット値を加算した信号を平均化することにより、予測信号predＤを生成する。

このようにして、本実施形態では各参照フレーム毎に重み係数と直流オフセット値が決定される。

次に、図３３を用いて本実施形態に係る符号化時における上記重み係数及び直流オフセット値の決定方法について説明する。図３４に示したフレーム間予測関係、すなわちフレームＦ３が符号化対象フレームであり、フレームＦ０，Ｆ１，Ｆ２が参照フレームである場合を例にとって、図３３のフローチャートに沿って説明する。

重み係数及び直流オフセット値は、複数の参照フレームに対してそれぞれ独立な値とし、符号化フレーム毎に或いはスライス毎に重み係数及び直流オフセット値のテーブルが符号化される。例えば、図３４の符号化フレームＦ３では、フレームＦ０，Ｆ１，Ｆ２に対する重み係数及び直流オフセット値(ｗ[0],ｄ[0]), (ｗ[1],ｄ[1]), (ｗ[2],ｄ[2])がそれぞれ符号化される。また、これらの値を符号化フレーム内のスライス毎に変更してもよい。

まず、符号化対象フレームＦ３のフレーム内全体或いはフレーム内のスライス毎の画素値の平均値ＤＣcur（直流成分の大きさ、以下、直流成分値という）を以下のように計算する（ステップＳ１０）。

ここで、Ｆ３(x,y)は、フレームＦ３の座標(x,y)の位置の画素値を表し、Ｎはフレーム或いはスライス内の画素数を示す。次に、以下の数式により符号化対象フレームＦ３のフレーム内全体或いはフレーム内のスライス毎の交流成分の大きさ（以下、交流成分値という）を計算する（ステップＳ１１）。

交流成分値の測定においては、以下に示すような標準偏差を用いてもよいが、この場合、交流成分値を求める際の演算量が増加する。

数式（２８）と（２９）を比較して明らかなように、数式（２８）による交流成分値の測定方法は、交流成分値を求める際の演算量を削減する効果がある。

次に、参照フレーム番号を示すインデックスを“ref_id”とし、ref_idx番目の参照フレームについて、数式（２７）及び数式（２８）と同様に、参照フレームの直流成分値ＤＣref[ref_idx], 及び交流成分値ＡＣref[ref_idx]を計算する（ステップＳ１３〜Ｓ１４）。

以上の計算結果から、ref_idx番目の参照フレームに対する直流オフセット値ｄ[ref_idx]は、以下のように直流成分の差分として決定される（ステップＳ１５）。

重み係数ｗ[ref_idx]は、以下のように交流成分の利得として決定される（ステップＳ１６）。

上記の計算を全ての参照フレーム（ref_idx=0からMAX_REF_IDXまで）について行う（ステップＳ１７，Ｓ１８）。ここで、MAX_REF_IDXは参照フレームの数を示している。全ての重み係数及び直流オフセット値が決定されたら、それらをテーブルデータとして符号化フレームまたはスライス毎に符号化し、符号化した重み係数及び直流オフセット値に従って各画素ブロックの重み付き予測符号化を行う。符号化及び復号化における予測画素ブロック信号の生成は、前述の数式（２４）〜（２６）のように計算される。

以上のように、参照フレーム毎に異なる重み係数及び直流オフセット値を用いて予測信号を生成し、予測符号化を行うことで、フレーム毎或いはスライス毎の信号振幅が時間変動したり、直流オフセット値が変動するような動画像信号に対しても、複数の参照フレームから適切に予測信号を生成することが可能となり、予測効率の高い、より高能率で高画質な符号化を実現することができる。

次に、重み係数及び直流オフセット値の情報の符号化方法の具体例について説明する。図３５、図３６及び図３７は、重み係数及び直流オフセット値の情報の符号化に関連するデータ構造を示している。

図３５は、符号化フレーム或いはスライスのヘッダデータ構造の一部を示しており、該符号化フレーム或いはスライスに対する参照フレームを指し示すインデックスの最大数“number_of_max_ref_idx”と、重み係数及び直流オフセット値の情報を示すデータテーブル “weighting_table()”が符号化される。“number_of_max_ref_idx”は、図３３におけるMAX_REF_IDXと等価である。

図３６は、重み係数及び直流オフセットデータテーブルに関する符号化データ構造の第１の例を示している。この例では、フレーム或いはスライスのヘッダデータとして送られる最大参照フレームインデックス数“number_of_max_ref_idx”に従って、各参照フレームに対応する重み係数及び直流オフセット値のデータが符号化される。ｉ番目の参照フレームに関する直流オフセット値ｄ[i]は、整数画素値としてそのまま符号化される。

一方、ｉ番目の参照フレームに関する重み係数ｗ[i]は、一般に整数とはならない。そこで、重み係数ｗ[i]を数式（３２）で示すように、分母が２のべき乗となる有理数ｗ’[i]で近似して、整数表現された分子w_numerator[i]、及び分母の２のべき数w_exponential_denominaotrに分けて符号化を行う。

分子の値及び分母の２のべき数は、例えば数式（３３）のように求めることが出来る。

符号化及び復号化の際は、上記符号化される近似値ｗ’[i]を用いて、予測画像の生成を行う。数式（３２）（３３）に従うと、以下に示す利点がある。
数式（３２）の重み係数表現では、符号化フレーム毎に重み係数の分母が固定であり、分子が参照フレーム毎に異なるものとしている。このようにすることで、各参照フレームに対する重み係数をそれぞれ独立に分母及び分子に分けて符号化する場合に比べて、符号化すべき重み係数のデータ量を削減することが可能となり、符号化オーバヘッドを削減して、符号化効率を向上させることが可能となる。

また、分母を２のべき乗とすると、参照画素ブロック信号への重み係数の乗算が整数の乗算とビットシフトで実現できるため、浮動小数点演算や除算といった処理が不要となり、符号化及び復号化のハード規模や演算量を削減することが可能となる。

上記演算について、より具体的に説明する。数式（３４）は、数式（２４）（２５）で示した予測式を一般化し、参照フレーム番号がｉである画素ブロックに対する予測画像ブロック信号生成の予測式を示している。ここで、Pred_iが予測信号であり、ref[i]がi番目の参照フレームから切り出した参照画素ブロック信号、ｗ[i]及びｄ[i]は、それぞれi番目の参照フレームから切り出された参照画素ブロックに対する重み係数と直流オフセット値を示している。

数式（３５）は、数式（３４）における重み係数ｗ[i]を数式（３２）で示す有理数表現した場合の予測式である。ここで、ｗｎ[i]は数式（３２）におけるw_numerator[i]を示しており、ｗｅｄはw_exponential_denominatorを示している。

一般に、任意のフェード画像等で有効な重み係数ｗ[i]は整数とはならないため、数式（３４）では浮動小数点の乗算が必要となる。さらに、ｗ[i]を任意の有理数表現すると、整数の乗算と除算が必要になる。一方、数式（３２）で示した分母が２のべき乗である有理数表現を行うことで、数式（３５）に示すように整数係数ｗｎ[i]を用いた整数の乗算、四捨五入を考慮したオフセットを加算、ｗｅｄビットの右ビットシフト、及び直流オフセット値の整数加算で重みつきの予測演算を行うことが可能となり、浮動小数点の乗算が不要となる。

また、参照フレーム番号ｉによらず、分母の大きさを示す２のべき数が符号化フレーム或いはスライス毎に共通化されており、符号化フレーム毎に参照フレーム番号ｉがとり得る値が複数ある場合でも、重み係数を符号化する際の符号量の増加を抑えることが出来る。

数式（３６）は、数式（３５）と同様に数式で示した２つの参照フレームからの線形和による予測において、数式（３２）の重み係数表現を適用した場合を示している。

上記の２つの参照フレームからの線形和による予測においても、重み係数は一般に整数とはならないため、数式（２６）では２回の浮動小数点の乗算が必要であるが、数式（３６）では整数乗算、ビットシフト及び整数加算のみで、２つの参照フレームからの線形和による予測信号を生成することが可能なる。また、分母の大きさに関する情報ｗｅｄも共通化されており、重み係数を符号化する際の符号量の増加を抑えることが可能となる。

また、数式（３６）に従えば、重み係数の分子が８ビットで表現されるため、例えば画素信号値が８ビット表現されている場合は、１６ビット固定の演算精度で、符号化及び復号化を行うことが可能となる。

さらに、同一符号化フレーム内では、参照フレームによらず分母、すなわちシフト量が固定となるため、符号化或いは復号化において画素ブロック毎に参照フレームが切り替わる場合でも、シフト量を変更する必要が無くなり、演算量或いはハード規模を削減することが可能となる。

一方、全ての参照フレームに対する重み係数が

の条件を満たすときは、数式（３６）で計算される符号化すべき重み係数の分母及び分子を以下のように変換してもよい。

数式（３８）は、有理数表現された各重み係数を既約分数に約分する作用がある。このように、変換して符号化することで、重み係数の精度を落とさずに、重み係数の符号化データのダイナミックレンジを小さくすることが可能となり、重み係数を符号化する符号量をさらに削減することが可能となる。

図３７は、重み係数及び直流オフセットデータテーブルに関する符号化データ構造の第２の例を示している。図３７に示す実施形態では、直流オフセット値の符号化については、図３６の実施形態と同様であるが、重み係数の符号化に関しては、図３６で示した実施形態とは異なり、分母を示す２のべき数の符号化は行わず、分母を固定値として有理数表現した重み係数の分子のみを符号化するものである。図３７の実施形態では、例えば以下のように重み係数を有理数表現して、その分子w_numerator[i]のみを符号化すればよい。

本実施形態では、重み係数の分母を表す２のべき数が固定であるため、分母のべき数に関する情報を符号化フレーム毎に符号化する必要がなく、重み係数テーブルを符号化するための符号量をより削減することが可能となる。

また、固定化した分子（上記例では、“１６”）の下で有理数表現する際に、分子の値を８ビットにクリッピングすることで、例えば、画素信号が８ビット表現されている場合は、１６ビット固定の演算精度で符号化及び復号化を行うことが可能となる。

さらに、本実施形態では重み係数の乗算に関するシフト量が固定化されているため、符号化及び復号化においてシフト量をフレーム毎にロードする機能の実装が不要となり、符号化或いは復号化装置またはソフトウエアの実装コストやハード規模を削減することが可能となる。

図３８は、図３５乃至図３７で示したデータ構造を含む、動画像符号化データの時系列全体の構造を模式的に示したものである。符号化データの先頭には、画像サイズ等の１つの符号化シーケンス内全体で不変な複数の符号化パラメータの情報がシーケンスヘッダ（ＳＨ）として符号化される。次に、各画像フレーム或いはフィールドがそれぞれピクチャとして符号化され、各ピクチャはピクチャヘッダ（ＰＨ）とピクチャデータ(Picture data)の組として順次符号化される。

ピクチャヘッダ（ＰＨ）には、図３５で示した参照フレームを指し示すインデックスの最大数“number_of_max_ref_idx”と、重み係数及び直流オフセットデータのテーブル“weighting_table()”が、それぞれMRI, WTとして符号化されている。“weighting_table()”(WT)では、図３６に示すように各重み係数の共通の分母の大きさを示す２のべき数w_exponential_denominaotrがＷＥＤとして符号化され、それに続けて各重み係数の分子の大きさを示すw_numerator[i]と直流オフセット値ｄ[i]の組がそれぞれＷＮ及びＤとして符号化されている。

重み係数の分子および直流オフセット値の組は、ピクチャヘッダに含まれている“number_of_max_ref_idx”(MRI)の数に基づいて、複数のＷＮとＤの組が符号化される。各ピクチャデータ(Picture data)は１つまたは複数のスライス（ＳＬＣ）に分割され、スライス毎に順次符号化される。各スライスでは、まずスライス内の各画素ブロックに関する符号化パラメータがスライスヘッダ（ＳＨ）として符号化され、スライスヘッダに続けて、１つまたは複数のマクロブロックデータ（ＭＢ）が順次符号化される。

マクロブロックデータでは、該マクロブロック内の画素ブロックの予測モード情報（ＭＢＴ）や動きベクトル情報（ＭＶ）などのマクロブロック内の各画素の符号化に関する情報が符号化され、最後に符号化すべき画素信号或いは予測誤差信号に対して、直交変換（例えば、離散コサイン変換）を施して符号化された直交変換係数（ＤＣＴ）が含まれている。ここで、ピクチャヘッダに含まれている“number_of_max_ref_idx”(MRI)及び“weighting_table()”(WT)の両方或いはどちらか一方が、スライスヘッダ（ＳＨ）内で符号化される構成としてもよい。

また、図３７で示した重み係数テーブルデータの構成の場合、重み係数の分母の大きさを示すデータの符号化は省略可能であるため、図３８におけるＷＥＤの符号化は省略が可能である。

図３９は、本発明の実施形態に関する動画像復号化手順を示すフローチャートである。ここでは、図３３を用いて説明した実施形態に係る動画像符号化装置で符号化された符号化データを入力して復号化を行う手順について説明する。

入力される符号化データから、図３５〜図３７で説明した重み係数及び直流オフセットデータのテーブルを含む符号化フレームまたはスライスのヘッダデータの復号化を行い（ステップＳ３０）、符号化ブロック毎の参照フレームを識別するための参照フレームインデックスを含む符号化ブロックのヘッダデータの復号化を行う（ステップＳ３１）。

画素ブロック毎に、参照フレームインデックスが指し示す参照フレームから参照画素ブロック信号の切り出しを行う（ステップＳ３２）。該符号化ブロックの参照フレームインデックスに基づいて、復号化された重み係数及び直流オフセットデータのテーブルを参照することで、重み係数及び直流オフセット値が決定される。

こうして決定された重み係数及び直流オフセット値を用いて、参照画素ブロック信号から予測画素ブロック信号を生成し（ステップＳ３３）、符号化された予測誤差信号の復号化を行い、復号化された予測誤差信号と予測画素ブロック信号を加算することで、復号化画像を生成する（ステップＳ３４）。

符号化された各画素ブロックの復号化を順次行い、符号化フレーム内或いはスライス内の画素ブロックが全て復号化されたら、次のピクチャヘッダ或いはスライスヘッダの復号化を続けて行う。

上述した手順で符号化方法及び復号化方法によって、信号振幅の時間変動や直流オフセット値の時間変動のある動画像信号に対しても、適切な予測画像を符号化及び復号化時に生成でき、より予測効率の高い、高能率で高画質な動画像符号化及び復号化を行うことが可能となる。

次に、上述した実施形態で開示した本発明の好ましい実施の態様を以下に列挙する。
（１） 動画像の符号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該符号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、（ａ）前記複数の参照フレームから少なくとも一つの参照マクロブロックをそれぞれ抽出し、（ｂ）抽出した複数の参照マクロブロックについて所定の重み係数の組を用いて線形和を計算することにより予測マクロブロックを生成し、（ｃ）前記予測マクロブロックと符号化対象マクロブロックとの予測誤差信号を生成し、前記予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、前記重み係数の組を示す第２インデックス、及び前記動きベクトルの情報を符号化する。
＜効果＞ このように複数の参照フレームの線形和による予測を行い、且つ線形和の係数を可変とすることで、フェードなどの時間的な信号強度の変化に対して、適切な予測が可能となり、符号化における予測効率を向上させることが可能となる。また、参照するフレームを適切に選択することにより、時間的にオクルージョン（見え隠れ）が発生する部分等で、適切な参照フレームを選択することで、予測効率を向上させることが可能となる。これらの、線形予測係数及び参照フレームの組み合わせを、インデックスとして符号化することで、符号化オーバーヘッドを抑制することが可能となる。

（２） （１）において、前記線形和の重み係数の組を示すインデックスをフレーム毎あるいは複数のフレーム毎のヘッダデータとして符号化し、前記予測誤差信号、前記複数の参照フレームの組み合わせを示すインデックス及び動きベクトルをマクロブロック毎に符号化する。
＜効果＞ 一般に、フェードなどの時間的な信号強度の変化は、フレーム全体に渡って一様に発生し、また、オクルージョン等はフレーム内に局所的に発生する。（２）によれば信号強度の時間変化に対応させる線形予測係数は、フレーム毎に１組符号化し、また参照フレームの組み合わせを示すインデックスは、マクロブロック毎に可変とすることで、符号化効率の向上と符号化オーバーヘッドの削減を両立することが可能となり、オーバーヘッドを含めた符号化効率の向上を得ることが可能となる。

（３） （１）または（２）において、前記符号化される動きベクトルが、前記複数の参照フレームのうち、特定の一つの参照フレームに関する動きベクトルである。
＜効果＞ マクロブロック毎に複数の参照フレームを用いて動き補償予測符号化を行う場合、各参照フレームに対する動きベクトルを個別に符号化すると、符号化オーバーヘッドの増大を招いてしまう。しかし、（３）によれば、特定の参照フレームに対する動きベクトルを送り、他のフレームに対する動きベクトルは、送信した動きベクトルを符号化対象フレームと各参照フレームとのフレーム間距離に応じてスケーリングした動きベクトルを用いることで、符号化オーバーヘッドの増加を防ぎ、符号化効率を向上させることが可能となる。

（４） （３）において、前記特定の一つの参照フレームに関する動きベクトルは、前記参照フレームと符号化されるフレームとのフレーム間距離に応じて正規化された動きベクトルである。
＜効果＞ このように符号化すべき動きベクトルを、単位フレーム間距離で正規化した動きベクトルとすることで、任意の参照フレームに対する動きベクトルスケーリングを乗算あるいはシフト演算と加算処理により、低コストで生成することが可能となる。また、時間的に一様な動きを仮定すると、単位フレーム間距離で正規化することで、符号化すべき動きベクトルの大きさが最小となり、動きベクトルの情報量を軽減することが可能となり、符号化オーバーヘッドの削減効果が得られる。

（５） （３）において、前記特定の一つの参照フレームに関する動きベクトルは、前記複数の参照フレームのうち符号化されるフレームとのフレーム間距離が最も遠い参照フレームに対する動きベクトルである。
＜効果＞ （３）によると動きベクトル符号量を軽減し、また動きベクトルのスケーリングを低コストで実現出来るが、一方で、参照フレームと符号化対象フレームとのフレーム間距離が大きくなるに従って、動き補償の精度の低下が発生する。これに対して（５）によれば、複数の参照フレームのうち、最もフレーム間距離の遠い参照フレームに対する動きベクトルを符号化し、他の参照フレームに対する動きベクトルは、符号化した動きベクトルをフレーム間距離に応じて内分して生成することが可能となり、各参照フレームに対する動き補償の精度の低下を抑えることが出来る。これにより、より予測効率が向上し、高能率な符号化を行うことが可能となる。

（６） （１）または（２）において、前記符号化される動きベクトルが、前記複数の参照フレームのうち、特定の一つの参照フレームに関する第１動きベクトルと、他の一つまたは複数の参照フレームに対する動きベクトルであり、他の一つまたは複数の参照フレームに対する動きベクトルが、前記第１動きベクトルを符号化対象フレームと前記一つまたは複数の参照フレームとのフレーム間距離に応じて、スケーリングした動きベクトルと前記一つまたは複数の動きベクトルとの差分ベクトルとして符号化される。
＜効果＞ 局所的な映像の時間変化が平行移動で近似できる場合は、一つの動きベクトルとそれをフレーム間距離に応じてスケーリングした動きベクトルで、複数の参照フレームからの予測を行うことが可能である。しかし、時間的に一定の速度で変化しない場合は、必ずしもスケーリングのみでは適切な動き補償が困難となる。（６）によれば、複数の参照フレームに対する動きベクトルを一つの代表ベクトルと、それをスケーリングした動きベクトルと各参照フレームに対する最適な動きベクトルとの差分ベクトルを符号化することで、複数の動きベクトルを符号化する場合と比べて、動きベクトルの符号量を軽減することが可能となり、符号化オーバーヘッドの低減と予測効率の向上を両立させることが可能となる。

（７） （６）において、前記第１動きベクトルは前記参照フレームと符号化されるフレームとのフレーム間距離に応じて正規化された動きベクトルである。

（８） （６）において、前記第１動きベクトルは前記複数の参照フレームのうち、符号化されるフレームとのフレーム間距離が最も遠い参照フレームに対する動きベクトルである。

（９） （１）〜（８）のいずれかおいて、前記複数の参照フレームの組み合わせを示すインデックスが予め定められた値であり、且つ前記符号化すべき動きベクトルの全ての要素が０であり、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ マクロブロックをスキップする条件として、上記の条件を送受信側で一致させておけば、マクロブロック毎の符号化情報である参照フレームの組み合わせを示すインデックスや、大きさ０の動きベクトルや、０の残差信号を符号化して送ることなく、受信側で映像を再生することが可能となり、これらの符号化データ量を削減して符号化効率を向上させることが可能となる。さらに、信号強度の時間変化に応じた予測係数は、フレーム毎に符号化することで、映像信号の性質に合わせて、適応的なマクロブロックスキップを、符号化オーバーヘッドの増加なしに実現することが可能となる。

（１０） （１）〜（８）のいずれかにおいて前記複数の参照フレームの組み合わせを示すインデックスが予め定められた値であり、且つ前記符号化すべき動きベクトルが、直前に符号化されたマクロブロックの動きベクトルと一致し、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ フレーム内のマクロブロックよりも大きな領域が時間的に平行移動する場合などに、動きベクトル情報を送らずスキップマクロブロックとして符号化することが可能となり、符号化オーバーヘッドを削減して符号化効率を向上させることが可能となる。

（１１） （９）または（１０）において、前記予め定められた参照フレームの組み合わせを示すインデックスは、直前に符号化された２フレームを参照フレームとして用いることを示す。
＜効果＞ 直前に符号化された２フレームを参照画像とすることを、マクロブロックのスキップ条件とすることで、フェード等で信号強度が時間的に変化する場合においても、線形外挿等の線形予測により、容易に正確な予測画像が生成され、信号強度が時間変化しているにも関わらず、マクロブロックの符号化をスキップさせることが可能となり、予測効率向上と符号化オーバーヘッド低減の２つの効果により、より符号化効率を向上させることが可能となる。

（１２） （９）または（１０）において、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化対象フレーム毎に変更可能とし、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化対象フレームのヘッダデータとして符号化する。
＜効果＞ 映像信号の時間変化に応じて、柔軟にマクロブロックスキップの条件を変更することが可能となる。符号化時にマクロブロックスキップが発生しやすいように、映像に応じてフレーム毎に適切にスキップ条件を変更することで、符号化オーバーヘッドを削減し高能率な符号化を実現することが可能となる。

（１３） （１）〜（８）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが直前に符号化されたマクロブロックと同一であり、且つ前記符号化すべき動きベクトルの全ての要素が０であり、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ 直前のマクロブロックと同様の参照フレームの組み合わせを用いることを、マクロブロックのスキップ条件とすることで、動画像信号における近傍領域の時空間特性の相関を利用して、効率的にマクロブロックをスキップさせて、符号化効率を向上させることが可能となる。

（１４） （１）〜（８）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが直前に符号化されたマクロブロックと同一であり、且つ前記符号化すべき動きベクトルが、直前に符号化されたマクロブロックの動きベクトルと一致し、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ （１３）に加えて（１４）の構成を兼ね備えることで、より符号化オーバーヘッドを削減して、符号化効率を向上させることが可能となる。

（１５） （１）〜（８）のいずれかにおいて、前記符号化すべき動きベクトルを、フレーム内で隣接する一つまたは複数のマクロブロックの動きベクトルから予測し、前記符号化すべき動きベクトルと前記予測された動きベクトルとの差分ベクトルを符号化する。
＜効果＞ （１）〜（８）による符号化効率の向上に加えて、動きベクトルの空間的な相関に着目し、符号化すべき動きベクトルをフレーム内の隣接するマクロブロックから予測して、差分ベクトルだけを符号化することで、動きベクトルの符号化オーバーヘッドを低減し、より符号化効率を向上させることが可能となる。

（１６） （１）〜（８）のいずれかにおいて、前記符号化すべき動きベクトルを、直前に符号化されたフレーム内の同一位置のマクロブロックにおける動きベクトルから予測し、前記符号化すべき動きベクトルと前記予測された動きベクトルとの差分ベクトルを符号化する。
＜効果＞ 動きベクトルの時間的な相関に着目し、符号化すべき動きベクトルを直前に符号化されたフレーム内の同一位置におけるマクロブロックの動きベクトルから予測して、差分ベクトルだけを符号化することで、動きベクトルの符号化オーバーヘッドを低減し、より符号化効率を向上させることが可能となる。

（１７） （１）〜（８）のいずれかにおいて、前記符号化すべき動きベクトルを、フレーム内で隣接する一つまたは複数のマクロブロックの動きベクトル、及び直前に符号化されたフレーム内の同一位置のマクロブロックにおける動きベクトルから予測し、前記符号化すべき動きベクトルと前記予測された動きベクトルとの差分ベクトルを符号化する。
＜効果＞ 動きベクトルの時空間的な相関に着目し、動きベクトルの予測をフレーム内及びフレーム間で行うことで、（１５）及び（１６）の両特徴を兼ね備えることが可能となり、より動きベクトルの符号化効率を向上させることが可能となる。

（１８） （１５）〜（１７）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが予め定められた値であり、且つ前記符号化すべき動きベクトルの差分ベクトルが０であり、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ （１５）〜（１７）のいずれかの構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（１９） （１５）〜（１７）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが予め定められた値であり、且つ前記符号化すべき動きベクトルの差分ベクトルが、直前に符号化されたマクロブロックの差分ベクトルと一致し、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ （１５）〜（１７）のいずれかの構成と（１０）の構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（２０） （１８）〜（１９）のいずれかにおいて、前記予め定められた参照フレームの組み合わせを示すインデックスが直前に符号化された２フレームを参照フレームとして用いることを示す。
＜効果＞ （１８）〜（１９）の構成と（１１）の構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（２１） （１８）〜（１９）のいずれかにおいて、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化対象フレーム毎に変更可能とし、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化対象フレームのヘッダデータとして符号化する。
＜効果＞ （１８）〜（１９）の構成と（１２）の構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（２２） （１５）〜（１７）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが直前に符号化されたマクロブロックと同一であり、且つ前記符号化すべき動きベクトルの差分ベクトルの全ての要素が０であり、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞（１５）〜（１７）のいずれかの構成と（１３）の構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（２３） （１５）〜（１７）のいずれかにおいて、前記複数の参照フレームの組み合わせを示すインデックスが直前に符号化されたマクロブロックと同一であり、且つ前記符号化すべき動きベクトルの差分ベクトルが、直前に符号化されたマクロブロックの差分ベクトルと一致し、且つ前記符号化すべき予測誤差信号がすべて０であるマクロブロックにおいて、何ら符号化データを出力せずに符号化をスキップし、次に符号化されるマクロブロックにおいて、スキップしたマクロブロックの個数を符号化する。
＜効果＞ （１５）〜（１７）のいずれかの構成と（１４）の構成との相乗効果により、より符号化オーバーヘッドを低減させて符号化効率を向上させることが可能となる。

（２４） （１）〜（２）のいずれかにおいて、符号化対象フレームと複数の参照フレームとのフレーム間距離に応じて、前記線形和の重み係数の組を決定する。
＜効果＞ フェードなどの信号強度の線形な時間変動に対して、符号化対象フレームと複数の参照フレームとのフレーム間距離に応じた線形内挿あるいは線形外挿予測により、適切な予測画像を容易に低コストで生成することが可能となり、予測効率の高い高能率な符号化を実現することが可能となる。

（２５） （１）〜（２）のいずれかにおいて、入力される動画像信号におけるフレームまたはフィールド内の平均ＤＣ値を計算し、複数の参照フレーム及び符号化対象フレームにおける前記ＤＣ値に基づいて、前記線形和の重み係数の組を決定する。
＜効果＞ 符号化対象フレーム及び複数の参照フレームのフレーム内のＤＣ値の時間変化から線形予測係数を算出することで、信号強度の時間変化が一定である場合のみならず、任意の信号強度の時間変動に対して、適切な予測画像を生成することが可能となり、より予測効率の高い高能率な符号化を実現することが可能となる。

（２６） （１）〜（２）のいずれかにおいて、入力される動画像信号が可変フレームレートであるか、あるいは入力された動画像信号の任意のフレームを間引き可変フレームレート化する符号化器を有し、前記可変フレームレートの動画像信号を符号化する際、符号化対象フレームと複数の参照フレームとのフレーム間距離の変化に応じて、前記線形和の重み係数の組を決定する。
＜効果＞ 符号化対象フレームと複数の参照フレームとのフレーム間距離が動的に変化するフレームレート可変の符号化に対しても、フレーム間距離に応じた適切な線形予測係数を用いることで、高い予測効率を維持して高能率な符号化を行うことが可能となる。

（２７） 動画像の符号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該符号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、（ａ）第１参照フレームから前記動きベクトルの候補に対応した第１参照マクロブロックを抽出し、（ｂ）前記動きベクトルの候補を少なくとも一つの第２参照フレームと符号化対象フレームとのフレーム間距離に応じてスケーリングし、（ｃ）前記第２参照フレームからスケーリングされた動きベクトルの候補に対応した少なくとも一つの第２参照マクロブロックを抽出し、（ｄ）前記第１及び第２参照マクロブロックについて所定の重み係数の組を用いて線形和を計算することにより予測マクロブロックを生成し、（ｅ）前記予測マクロブロックと符号化対象マクロブロックとの予測誤差信号を生成し、（ｆ）前記第１及び第２参照マクロブロックの線形和と前記符号化対象マクロブロックとの予測誤差信号の大きさに基づいて前記動きベクトルを決定し、（ｇ）前記予測誤差信号、前記第１及び第２参照フレームを示す第１インデックス、前記重み係数の組を示す第２インデックス、及び決定された前記動きベクトルの情報を符号化する。
＜効果＞ 一つの符号化対象マクロブロックに対して、複数の参照フレームから複数参照マクロブロックを抽出し、その線形和から予測マクロブロックを生成する場合、各参照フレームに対して個別に最適な動きベクトルを決定すると、演算量が膨大となってしまう。（２７）の構成によれば、第１参照フレームに対する動きベクトル候補をスケーリングして、他の参照フレームに対する動きベクトル候補とすることで、最適な複数の動きベクトルを非常に少ない演算量で探索することが可能となり、符号化のコストを大幅に低減することが可能となる。

（２８） （２７）において、前記決定された動きベクトルを、各参照フレームと符号化対象フレームとの距離に応じてスケーリングし、前記スケーリングした動きベクトル近傍で、前記予測誤差信号が小さくなるように、少なくとも一つの参照フレームに対応する参照マクロブロックを個別に再探索し、前記再探索の結果得られた動きベクトルを用いて、動き補償予測を行う。
＜効果＞ スケーリングした動きベクトル候補の周辺でさらに動きベクトルの再探索を行うことで、より精度の高い動きベクトル探索を、少ない演算量で実現することが可能となり、僅かな演算量の増加で精度の高い動き補償予測を実現し、高能率な符号化を行うことが可能となる。

（２９） 動画像の符号化対象マクロブロックに対して、時間的に過去の少なくとも一つの参照フレーム及び該符号化対象マクロブロックと該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記符号化対象マクロブロックを含む符号化対象フレームの直前の前記符号化済みフレームにおける該符号化対象マクロブロックとフレーム内位置が同一の復号化対象マクロブロックの動きベクトルを用いるか、新たに前記動きベクトルを決定して符号化するかを符号化対象マクロブロック毎に切り替えて前記動き補償予測フレーム間符号化を行う。
＜効果＞ これまで説明した通り、動き補償予測符号化では、動きベクトル符号化のためのオーバーヘッドが符号化効率に影響する。特に、予測効率の高い映像の符号化時や、マクロブロックのサイズが小さく符号化すべき動きベクトルの数が多い符号化を行う場合には、動きベクトルの符号量が支配的になる場合がある。（２９）の構成によれば、映像の動きの時間相関を利用して、直前のフレームの符号化対象マクロブロックと同じ位置のマクロブロックの動きベクトルを、そのまま利用可能なマクロブロックでは、動きベクトルを符号化せず、また、直前のフレームの動きベクトルを利用すると予測効率が低下するマクロブロックだけ、新たに動きベクトルを符号化することで、動きベクトル符号化のオーバーヘッドを削減し、高能率な符号化を実現することが可能となる。

（３０） 動画像の符号化対象マクロブロックに対して、少なくとも一つの参照フレーム及び該符号化対象マクロブロックと該参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、（ａ）時間的に過去の少なくとも一つの符号化済みフレームを前記参照フレームとする第１予測モード、（ｂ）時間的に未来の符号化済みフレームを前記参照フレームとする第２予測モード、（ｃ）該時間的に過去及び未来の符号化済みフレームの線形和を前記参照フレームとする第３予測モード、及び（ｄ）該時間的に過去の複数の符号化済みフレームの線形和を前記参照フレームとする第４予測モードを前記符号化対象マクロブロック毎に切り替えて前記動き補償予測フレーム間符号化を行う。
＜効果＞ ＭＰＥＧ２ビデオ符号化で用いられているＢピクチャ（両方向予測符号化）では、前方１フレームからの予測、後方１フレームからの予測、及び前後フレームからの平均予測のいずれかがマクログロック単位に切り替えられる。平均予測では、平均化処理がループフィルタとして機能し、参照画像における原画のノイズや符号化ノイズを除去して、予測効率を向上させる効果がある。ただし、シーンチェンジの前後では、両方向予測は困難となり、前方または後方の１フレームからの予測となり、ループフィルタ効果が作用せず、予測効率の低下を招いていしまう。（３０）の構成によれば、前方のみの予測においても、複数の参照フレームからの線形和により予測画像を生成するため、ループフィルタ効果による予測効率の改善を得ることが可能となる。

（３１） （３０）において、前記線形和による予測が、フレーム間距離に応じた線形内挿及び線形外挿である。
＜効果＞ フェード等で信号強度が時間変化する場合でも、複数のフレームからの線形内挿あるいは線形外挿予測により、容易に適切な予測画像を生成することが可能となり、高い予測効率を得ることが可能となる。

（３２） 動画像の復号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）前記復号化対象マクロブロック毎の予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、参照マクロブロックに対する線形和の重み係数の組を示す第２インデックス及び前記動きベクトルの情報を含む符号化データを復号化し、（ｂ）復号化された前記動きベクトル及び前記第１インデックスの情報に従って前記複数の参照フレームから複数の参照マクロブロックを抽出し、（ｃ）復号化された前記第２インデックスの情報によって示される前記重み係数の組を用いて、抽出した前記複数の参照マクロブロックの線形和を計算することにより予測マクロブロックを生成し、（ｄ）前記予測マクロブロックと復号化された前記復号化対象マクロブロック毎の予測誤差信号を加算することにより動画像信号を復号化する。
＜効果＞ （１）により符号化された符号化データを復号化することが可能であり、（１）と同様の符号化効率改善効果を有する。

（３３） （３２）において、前記線形和の重み係数の組を示すインデックスを、フレーム毎あるいは複数のフレーム毎のヘッダデータとし受信し、前記予測誤差信号、前記複数の参照フレームの組み合わせを示すインデックス、及び動きベクトルをマクロブロック毎に受信して復号化する。
＜効果＞ （２）により符号化された符号化データを復号化することが可能であり、（２）と同様の符号化効率改善効果を有する。

（３４） （３２）または（３３）において、前記受信した動きベクトルが、前記複数の参照フレームのうち、特定の一つの参照フレームに関する動きベクトルであり、前記受信した動きベクトルを復号化フレームと参照フレームとのフレーム間距離に応じてスケーリングし、前記スケーリングした動きベクトルを用いて、他の一つまたは複数の参照フレームに対する動きベクトルを生成する。
＜効果＞ （３）により符号化された符号化データを復号化することが可能であり、（３）と同様の符号化効率改善効果を有する。

（３５） （３４）において、前記特定の一つの参照フレームに関する動きベクトルが、前記参照フレームと符号化されるフレームとのフレーム間距離に応じて正規化された動きベクトルである。
＜効果＞ （４）により符号化された符号化データを復号化することが可能であり、（４）と同様の符号化効率改善効果を有する。

（３６） （３４）において、前記特定の一つの参照フレームに関する動きベクトルが、前記複数の参照フレームのうち、符号化されるフレームとのフレーム間距離が最も遠い参照フレームに対する動きベクトルである。
＜効果＞ （５）により符号化された符号化データを復号化することが可能であり、（５）と同様の符号化効率改善効果を有する。

（３７） （３２）または（３３）において、前記受信した動きベクトルが、前記複数の参照フレームのうち、特定の一つの参照フレームに関する第１動きベクトルと、他の一つまたは複数の参照フレームに対する差分ベクトルであり、前記第１動きベクトルを、符号化対象フレームと前記一つまたは複数の参照フレームとのフレーム間距離に応じてスケーリングし、前記スケーリングされた動きベクトルと、前記受信した一つまたは複数の参照フレームに対する差分ベクトルとを加算することで、前記他の一つまたは複数の参照フレームに対する動きベクトルを生成する。
＜効果＞ （６）により符号化された符号化データを復号化することが可能であり、（６）と同様の符号化効率改善効果を有する。

（３８） （３７）において、前記受信した第１動きベクトルが、前記参照フレームと符号化されるフレームとのフレーム間距離に応じて正規化された動きベクトルである。
＜効果＞ （７）により符号化された符号化データを復号化することが可能であり、（７）と同様の符号化効率改善効果を有する。

（３９） （３７）において、前記受信した第１動きベクトルが、前記複数の参照フレームのうち、符号化されるフレームとのフレーム間距離が最も遠い参照フレームに対する動きベクトルである。
＜効果＞ （８）により符号化された符号化データを復号化することが可能であり、（８）と同様の符号化効率改善効果を有する。

（４０） （３２）〜（３９）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、マクロブロックを復号化するのに必要な全ての動きベクトルの要素が０であるものとして、予め定められた複数の参照フレームの組み合わせを用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （９）により符号化された符号化データを復号化することが可能であり、（９）と同様の符号化効率改善効果を有する。

（４１） （３２）〜（３９）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、直前のスキップされずに符号化されたマクロブロックの動きベクトルと、予め定められた複数の参照フレームの組み合わせを用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （１０）により符号化された符号化データを復号化することが可能であり、（１０）と同様の符号化効率改善効果を有する。

（４２） （４０）または（４１）において、前記予め定められた参照フレームの組み合わせが、直前に復号化された２フレームである。
＜効果＞ （１１）により符号化された符号化データを復号化することが可能であり、（１１）と同様の符号化効率改善効果を有する。

（４３） （４０）または（４１）において、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化されたフレームのヘッダデータとして受信し、前記受信したインデックスに従って、スキップしたマクロブロックの復号を行う。
＜効果＞ （１２）により符号化された符号化データを復号化することが可能であり、（１２）と同様の符号化効率改善効果を有する。

（４４） （３２）〜（３９）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、マクロブロックを復号化するのに必要な全ての動きベクトルの要素が０であるものとして、直前のスキップされずに符号化されたマクロブロックにおける複数の参照フレームの組み合わせを示すインデックス用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （１３）により符号化された符号化データを復号化することが可能であり、（１３）と同様の符号化効率改善効果を有する。

（４５） （３２）〜（３９）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、直前のスキップされずに符号化されたマクロブロックの動きベクトルと、前記直前のスキップされずに符号化されたマクロブロックにおける複数の参照フレームの組み合わせを示すインデックス用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （１４）により符号化された符号化データを復号化することが可能であり、（１４）と同様の符号化効率改善効果を有する。

（４６） （３２）〜（３９）のいずれかにおいて、前記受信した動きベクトルが、フレーム内で隣接する一つまたは複数のマクロブロックの動きベクトルから予測した動きベクトルとの差分ベクトルとして符号化されており、前記隣接する複数のマクロブロックの復号化された動きベクトルから予測動きベクトルを生成し、前記受信した動きベクトルと加算することで、該当するマクロブロックの動きベクトルを復号化する。
＜効果＞ （１５）により符号化された符号化データを復号化することが可能であり、（１５）と同様の符号化効率改善効果を有する。

（４７） （３２）〜（３９）のいずれかにおいて、前記受信した動きベクトルが、直前のフレーム内の同一位置のマクロブロックにおける動きベクトルから予測した動きベクトルとの差分動きベクトルとして符号化されており、直前に復号化したフレームの同一位置のマクロブロックにおける復号化された動きベクトルから予測した動きベクトルと、前記受信した動きベクトルとを加算することにより、該当するマクロブロックの動きベクトルを復号化することを第４７の特徴とする。
＜効果＞ （１６）により符号化された符号化データを復号化することが可能であり、（１６）と同様の符号化効率改善効果を有する。

（４８） （３２）〜（３９）のいずれかにおいて、前記受信した動きベクトルが、フレーム内で隣接する一つまたは複数のマクロブロック、及び直前のフレーム内の同一位置のマクロブロックにおける動きベクトルから予測した動きベクトルとの差分動きベクトルとして符号化されており、前記隣接する複数のマクロブロックの復号化された動きベクトルと、直前に復号化したフレームの同一位置のマクロブロックにおける復号化された動きベクトルから予測動きベクトルを生成し、前記予測動きベクトルと前記受信した動きベクトルとを加算することにより、該当するマクロブロックの動きベクトルを復号化する。
＜効果＞ （１７）により符号化された符号化データを復号化することが可能であり、（１７）と同様の符号化効率改善効果を有する。

（４９） （４６）〜（４８）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、前記予測動きベクトルをスキップしたマクロブロックの動きベクトルとして、予め定められた複数の参照フレームの組み合わせを用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （１８）により符号化された符号化データを復号化することが可能であり、（１８）と同様の符号化効率改善効果を有する。

（５０） （４６）〜（４８）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、直前のスキップされずに符号化されたマクロブロックの動きベクトルを前記予測動きベクトルに加算した動きベクトルと、予め定められた複数の参照フレームの組み合わせを用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （１９）により符号化された符号化データを復号化することが可能であり、（１９）と同様の符号化効率改善効果を有する。

（５１） （４９）または（５０）において、前記予め定められた参照フレームの組み合わせが、直前に復号化された２フレームである。
＜効果＞ （２０）により符号化された符号化データを復号化することが可能であり、（２０）と同様の符号化効率改善効果を有する。

（５２） （４９）または（５０）において、前記予め定められた参照フレームの組み合わせを示すインデックスを符号化されたフレームのヘッダデータとして受信し、前記受信したインデックスに従って、スキップしたマクロブロックの復号を行う。
＜効果＞ （２１）により符号化された符号化データを復号化することが可能であり、（２１）と同様の符号化効率改善効果を有する。

（５３） （４６）〜（４８）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、前記予測動きベクトルをスキップしたマクロブロックの動きベクトルとして、直前のスキップされずに符号化されたマクロブロックにおける複数の参照フレームの組み合わせを示すインデックス用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （２２）により符号化された符号化データを復号化することが可能であり、（２２）と同様の符号化効率改善効果を有する。

（５４） （４６）〜（４８）のいずれかにおいて、マクロブロック毎にスキップしたマクロブロック数に関する情報を受信し、一つ以上のマクロブロックがスキップされている場合は、スキップされたそれぞれのマクロブロックについて、直前のスキップされずに符号化されたマクロブロックの差分動きベクトルを、前記予測動きベクトルに加算して動きベクトル生成し、前記直前のスキップされずに符号化されたマクロブロックにおける複数の参照フレームの組み合わせを示すインデックス用いて、前記複数の参照フレームから参照マクロブロックを抽出し、前記複数の参照マクロブロックから、前記受信した線形和の重み係数の組を示すインデックスに基づいた線形和により予測マクロブロックを生成し、前記予測マクロブロックを復号化画像として用いる。
＜効果＞ （２３）により符号化された符号化データを復号化することが可能であり、（２３）と同様の符号化効率改善効果を有する。

（５５） 動画像の復号化対象マクロブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）前記復号化対象マクロブロック毎の予測誤差信号、前記複数の参照フレームの組み合わせを示す第１インデックス、符号化済みフレームのフレーム番号を示す第２インデックス及び前記動きベクトルの情報を含む符号化データを復号化し、（ｂ）復号化された前記動きベクトル及び前記第１インデックスの情報に従って前記複数の参照フレームから複数の参照マクロブロックを抽出し、（ｃ）復号化された前記第２インデックスの情報に従って前記複数の参照フレームと前記符号化済みフレームとのフレーム間距離を算出し、（ｄ）算出された前記フレーム間距離に応じて決定される重み係数の組を用いて、抽出した前記複数の参照マクロブロックの線形和を計算することにより予測マクロブロックを生成し、（ｅ）前記予測マクロブロックと復号化された前記予測誤差信号を加算することにより動画像信号を復号化する。
＜効果＞ （２４）により符号化された符号化データを復号化することが可能であり、（２４）と同様の符号化効率改善効果を有する。

（５６） 動画像の復号化対象マクロブロックに対して、時間的に過去の少なくとも一つの参照フレーム及び該復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）前記復号化対象マクロブロック毎の予測誤差信号と、符号化された第１動きベクトルまたは直前の符号化済みフレームにおけるフレーム内同一位置のマクロブロックの第２動きベクトルを用いることを示すフラグの何れかの情報を含む符号化データを受信して復号化し、（ｂ）前記第１動きベクトルの情報を受信した復号化対象マクロブロックに対しては復号化された前記第１動きベクトル、前記フラグを受信した復号化対象マクロブロックに対しては前記第２動きベクトルをそれぞれ用いて予測マクロブロック信号を生成し、（ｃ）前記予測マクロブロックと復号化された前記予測誤差信号を加算することにより動画像信号を復号化する。
＜効果＞ （２９）により符号化された符号化データを復号化することが可能であり、（２９）と同様の符号化効率改善効果を有する。

（５７） 動画像の復号化対象マクロブロックに対して、復号化対象マクロブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）前記復号化対象マクロブロック毎の予測誤差信号の情報と、時間的に過去の少なくとも一つの符号化対象フレームを前記参照フレームとする第１予測モード、時間的に未来の符号化対象フレームを前記参照フレームとする第２予測モード、該時間的に過去及び未来の符号化対象フレームの線形和を前記参照フレームとする第３予測モード、及び該時間的に過去の複数の符号化対象フレームの線形和を前記参照フレームとする第４予測モードのいずれかを示す予測モード情報及び前記動きベクトルの情報を含む符号化データを受信して復号化し、（ｂ）前記予測モード情報及び前記動きベクトルの情報を用いて予測マクロブロック信号を生成し、（ｃ）前記予測マクロブロック信号と復号化された前記予測誤差信号を加算することより動画像信号を復号化する。
＜効果＞ （３０）により符号化された符号化データを復号化することが可能であり、（３０）と同様の符号化効率改善効果を有する。

（５８） （５７）において、前記線形和による予測がフレーム間距離に応じた線形内挿及び線形外挿である。
＜効果＞ （３１）により符号化された符号化データを復号化することが可能であり、（３１）と同様の符号化効率改善効果を有する。

（５９） 動画像の符号化対象マクロブロックに対して、複数の参照フレームから選択された少なくとも一つの参照フレーム、及び該符号化対象マクロブロックと該少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記動きベクトルが前記動画像の前記符号化対象マクロブロックに隣接する複数のマクロブロックに対する動きベクトルから選択された予測ベクトルと一致し、かつ前記符号化対象マクロブロックに対して選択された少なくとも一つの参照フレームが前記予測ベクトルが選択されたマクロブロックに対する参照フレームと一致し、前記動き補償予測フレーム間符号化における符号化すべき予測誤差信号が全て０である符号化対象マクロブロックに対して、前記動き補償予測フレーム間符号化をスキップし、次の符号化対象マクロブロックの動き補償予測フレーム間符号化に際して該動き補償予測フレーム間符号化をスキップしたマクロブロックの個数を符号化する。
＜効果＞ （２２）と同様に、隣接するマクロブロック間のフレーム間予測における動きベクトル及び参照フレーム選択の相関を利用して、効率的にマクロブロックスキップを発生させて、符号化オーバーヘッドを低減して符号化効率を向上させることが可能であるとともに、動きベクトルの予測で用いられた隣接マクロブロックと同一の参照フレームを用いることをスキップ条件とすることで、動きベクトルと参照フレームとの組みによる隣接マクロブロック間相関を利用して、さらに効率的にマクロブロックスキップを発生させることが可能となる。

（６０） 動画像の符号化対象マクロブロックに対して、複数の参照フレームから選択された少なくとも一つの第１参照フレーム、及び該符号化対象マクロブロックと該第１参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間符号化を行う動画像符号化方法において、前記動き補償予測フレーム間符号化により得られる予測誤差信号、前記動き補償予測フレーム間符号化に用いる動きベクトルと前記符号化対象マクロブロックに隣接する複数のマクロブロックと第２参照フレームとの間の動きベクトルから選択された予測ベクトルとの差分ベクトル、及び前記第１参照フレームを示すインデックスと前記第２参照フレームを示すインデックスとの差分値を符号化する。
＜効果＞ （１５）〜（１７）と同様に、隣接するマクロブロック間の動きベクトルの相関を利用して、動きベクトル情報を効率的に符号化するとともに、複数の参照フレームの中から各マクロブロックが参照するフレームに関するインデックスについて、予測ベクトルが選択された隣接マクロブロックにおける参照フレームを示すインデックスと、符号化対象マクロブロックにおける参照フレームを示すインデックスとの差分値を符号化することにより、動きベクトルと参照フレームとの組みによる隣接マクロブロック間相関を利用して、参照フレームを示すインデックスの符号化効率を向上させることが可能となり、符号化オーバーヘッドを低減して高能率な動画像符号化を行うことが可能となる。

（６１） 動画像の復号化対象マクロブロックに対して、該復号化対象マクロブロックと複数の参照フレームの中から選択された少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）動き補償予測フレーム間符号化により得られた前記復号化対象マクロブロック毎の予測誤差信号、直前にスキップしたマクロブロックの個数及び前記選択された少なくとも一つの参照フレームを示すインデックスの情報を含む符号化データを受信して復号化し、（ｂ）前記スキップしたマクロブロックにおいて該スキップしたマクロブロックに隣接する複数のマクロブロックの動きベクトルから一つの予測ベクトルを選択し、（ｃ）前記予測ベクトルが選択されたマクロブロックに対する少なくとも一つの参照フレーム及び前記予測ベクトルに従って予測マクロブロックを生成し、（ｄ）前記予測マクロブロックを前記スキップしたマクロブロックの復号化画像信号として出力する。
＜効果＞ （５９）により符号化された符号化データを復号化することが可能となり、（５９）と同様の符号化効率改善効果を有する。

（６２） 動画像の復号化対象マクロブロックに対して、該復号化対象マクロブロックと複数の参照フレームの中から選択された少なくとも一つの第１参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、（ａ）動き補償予測フレーム間符号化により得られた予測誤差信号、該動き補償予測フレーム間符号化に用いた動きベクトルと前記復号化対象マクロブロックに隣接する複数のマクロブロックと第２参照フレームとの間の動きベクトルから選択された予測ベクトルとの差分ベクトル、及び前記第１参照フレームを示す第１インデックスと前記第２参照フレームを示す第２インデックスとの差分値を含む符号化データを受信して復号化し、（ｂ）前記復号化対象マクロブロックに隣接する複数のマクロブロックから前記予測ベクトルを選択し、（ｃ）選択された予測ベクトルと復号化された前記差分ベクトルとを加算することにより前記動きベクトルを再生し、（ｄ）前記予測ベクトルが選択されたマクロブロックにおける参照フレームのインデックスと前記復号化した差分値とを加算することにより前記第１インデックスを再生し、（ｅ）前記再生された動きベクトル及び再生された第１インデックスに従って予測マクロブロックを生成し、（ｆ）生成された前記予測マクロブロックと前記復号化された予測誤差信号とを加算することにより前記復号化対象マクロブロックの復号化再生画像信号を生成する。
＜効果＞ （６０）により符号化された符号化データを復号化することが可能となり、（６０）と同様の符号化効率改善効果を有する。

前述したように、本発明に係る動画像符号化及び復号化の処理は、ハードウエア（装置）として実現してもよいし、コンピュータを用いてソフトウエアにより実行してもよい。一部の処理をハードウエアで実現し、他の処理をソフトウエアにより行ってもよい。従って、本発明によると（１）〜（６２）で説明した動画像符号化または復号化処理をコンピュータに行わせるためのプログラムを提供することも可能である。

本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の第１及び第２の実施形態に係る動画像復号化装置の構成を示すブロック図 本発明の実施形態に係るフレーム間予測の関係を示す図 本発明の実施形態に係る線形予測係数テーブルの例を示す図 本発明の実施形態に係る線形予測係数テーブルの例を示す図 本発明の実施形態に係る参照フレームを示すテーブルの例を示す図 本発明の第３の実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の第３の実施形態に係る動画像復号化装置の構成を示すブロック図 本発明の実施形態に係る線形予測係数を示すシンタックスの例を示す図 本発明の実施形態に係る参照フレームを示すテーブルの例を示す図 本発明の実施形態に係るフレーム間予測の関係を示す図 本発明の実施形態に係るフレーム間予測の関係を示す図 本発明の実施形態に係る動きベクトル情報の符号化方法及び復号化方法の例を示す図 本発明の実施形態に係る動きベクトル情報の符号化方法及び復号化方法の例を示す図 本発明の実施形態に係る動きベクトル情報の符号化方法及び復号化方法の例を示す図 本発明の実施形態に係る動きベクトル情報の予測符号化方法を説明する図 本発明の実施形態に係る動きベクトル情報の予測符号化方法を説明する図 本発明の第４の実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の実施形態に係る線形予測係数の決定方法の例を説明する図 本発明の実施形態に係る線形予測係数の決定方法の例を説明する図 本発明の実施形態に係る線形予測係数の決定方法の例を説明する図 本発明の実施形態に係る線形予測係数の決定方法の例を説明する図 本発明の実施形態に係る線形予測係数の決定方法の例を説明する図 本発明の実施形態に係る動きベクトル探索方法を説明する図 本発明の実施形態に係る動きベクトル探索方法を説明する図 本発明の実施形態に係る動きベクトル符号化方法を説明する図 本発明の実施形態に係る動きベクトル符号化方法を説明する図 本発明の実施形態に係るフレーム間予測の関係を示す図 本発明の実施形態に係る動きベクトル符号化方法を説明する図 本発明の実施形態に係る動きベクトル符号化方法を説明する図 本発明の実施形態に係る動きベクトル符号化方法を説明する図 本発明の実施形態に関する動画像符号化の手順を示すフローチャート 本発明の実施形態に関する重み付き予測を説明する図 本発明の実施形態に関するピクチャヘッダまたはスライスヘッダのデータ構造を示す図 本発明の実施形態に関する重み付き予測の係数テーブルのデータ構造の第１の例を示す図 本発明の実施形態に関する重み付き予測の係数テーブルのデータ構造の第２の例を示す図 本発明の実施形態に係る動画像符号化データのデータ構造を示す図 本発明の実施形態に関する動画像復号化の手順を示すフローチャート

符号の説明

１００…入力動画像信号（符号化対象フレーム）
１０１…予測誤差信号
１０２…量子化ＤＣＴ係数データ
１０３…局部復号化画像信号
１０４，１０５…参照マクロブロック信号
１０６…予測画像信号
１０７…サイド情報
１０８…符号化データ
１１１…減算器
１１２…ＤＣＴ変換器
１１３…量子化器
１１４…可変長符号化器
１１５…逆量子化器
１１６…逆ＤＣＴ変換器
１１７，１１８，１５２…参照フレームメモリ
１１９…予測マクロブロック生成器
１２０…予測マクロブロック選択器
１４０…フェード検出器
１５０…予測マクロブロック選択器
１５１…線形予測器
２００…符号化データ
２０１…量子化ＤＣＴ係数データ
２０２…サイド情報
２０３…復号化画像信号
２０４，２０５…参照マクロブロック信号
２０６…予測画像信号
２１４…可変長復号化器
２１５…逆量子化器
２１６…逆ＤＣＴ変換器
２１７，２１８，２５２…参照フレームメモリ
２１９…予測マクロブロック生成器
２２０…予測マクロブロック選択器
２５０…予測マクロブロック選択器
２５１…線形予測器

Claims (3)

1. 動画像の復号化対象フレーム内の復号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化方法において、
   予測ブロックと前記復号化対象ブロックとの予測誤差信号、前記参照フレーム、前記復号化対象フレーム毎に設定された２のべき乗の値となる分母を用いた有理数で表現された重み係数、直流オフセット値及び前記動きベクトルのそれぞれの情報を含む符号化データを復号化するステップであって、前記重み係数の情報については前記分母と前記有理数の分子の情報を受けて復号化するステップと、
   前記参照フレームから抽出した複数の参照ブロックについて前記重み係数を用いて線形和を計算しかつ前記直流オフセット値を加算することにより、前記予測ブロックを生成するステップと、
   前記予測誤差信号及び予測ブロックの信号を用いて再生動画像信号を生成するステップと、を具備する動画像復号化方法。
2. 動画像の復号化対象フレーム内の復号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化装置において、
   予測ブロックと前記復号化対象ブロックとの予測誤差信号、前記参照フレーム、前記復号化対象フレーム毎に設定された２のべき乗の値となる分母を用いた有理数で表現された重み係数、直流オフセット値及び前記動きベクトルのそれぞれの情報を含む符号化データを復号化する手段であって、前記重み係数の情報については前記分母と前記有理数の分子の情報を受けて復号化する手段と、
   前記参照フレームから抽出した複数の参照ブロックについて前記重み係数を用いて線形和を計算しかつ前記直流オフセット値を加算することにより、前記予測ブロックを生成する手段と、
   前記予測誤差信号及び予測ブロックの信号を用いて再生動画像信号を生成する手段と、を具備する動画像復号化装置。
3. 動画像の復号化対象フレーム内の復号化対象ブロックに対して、所定の組み合わせの複数の参照フレーム及び該復号化対象ブロックと少なくとも一つの参照フレームとの間の動きベクトルを用いて動き補償予測フレーム間復号化を行う動画像復号化処理をコンピュータに行わせるためのプログラムにおいて、
   予測ブロックと前記復号化対象ブロックとの予測誤差信号、前記参照フレーム、前記復号化対象フレーム毎に設定された２のべき乗の値となる分母を用いた有理数で表現された重み係数、直流オフセット値及び前記動きベクトルのそれぞれの情報を含む符号化データを復号化する処理であって、前記重み係数の情報については前記分母と前記有理数の分子の情報を受けて復号化する処理と、
   前記参照フレームから抽出した複数の参照ブロックについて前記重み係数を用いて線形和を計算しかつ前記直流オフセット値を加算することにより、前記予測ブロックを生成する処理と、
   前記予測誤差信号及び予測ブロックの信号を用いて再生動画像信号を生成する処理と、を含む動画像復号化処理をコンピュータに行わせるためのプログラム。

Images