JP2007097218A - 動画像復号化方法及び装置 - Google Patents

Abstract

【課題】フェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して高効率の符号化を可能とする。
【解決手段】参照画像番号と予測パラメータとの複数の組合せの中から一つの組み合わせを選択して予測画像信号２１２を生成する第１の予測モードと、複数の参照画像の参照画像番号及び画像間距離に基づいて算出される予測パラメータに従って予測画像信号を生成する第２の予測モードを持つフレームメモリ／予測画像生成器１０８を備え、参照画像数によっていずれかの予測モードを選択し、入力動画像信号１００に対する予測画像信号２１２の予測誤差信号に関わる直交変換係数情報２１０、符号化モードを示すモード情報２１３、動きベクトル情報２１４及び選択された参照画像番号と予測パラメータとの組み合わせを示すインデックス情報２１５を可変長符号化器１１１によって符号化する。
【選択図】 図１

Description

この発明は、特にフェード画像やディゾルブ画像に対して効率の高い符号化／復号化を行う動画像符号化／復号化方法及び装置に関する。

ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−２，ＭＰＥＧ−４といった動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。動き補償予測フレーム間符号化における予測モデルとしては、時間方向には明るさが変化しない場合に最も予測効率が高くなるようなモデルが採用されている。画像の明るさが変化するフェード画像の場合、例えば黒い画像からフェードインして通常の画像になるような場合などにおいて、画像の明るさの変化に対して適切に予測を行う方法は知られていない。従って、フェード画像においても画質を維持するためには、多くの符号量を必要とするという問題がある。

この問題に対し、例えば特許第３１６６７１６号「フェード画像対応動画像符号化装置及び符号化方法」（特許文献１）では、フェード画像部分を検出して符号量の割り当てを変更することで対応している。具体的には、フェードアウト画像の場合、輝度が変化するフェードアウトの始まり部分に多くの符号量を割り当てる。フェードアウトの最後の部分は、通常、単色の画像になることから容易に符号化が可能となるため、符号量の割り当てを減らす。このようにすることで、総符号量を余り増大させることなく全体の画質を向上させている。

一方、特許第２９３８４１２号「動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体及び動画像の符号化データを記録した記録媒体」（特許文献２）では、輝度変化量とコントラスト変化量の２つのパラメータに従って参照画像を補償することで、フェード画像に対応する符号化方式を提案している。

Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001 （非特許文献１）には、複数のフレームバッファに基づく符号化方式が提案されている。この方式では、フレームバッファに保持されている複数の参照フレームから選択的に予測画像を作成することで、予測効率の向上を図っている。
特許第３１６６７１６号 特許第２９３８４１２号 Thomas Wiegand and Berand Girod, "Multi-frame motion-compensated prediction for video transmission", Kluwer Academic Publishers 2001

特許文献１では、フェード画像部分を検出して符号量の割り当てを変更することでフェード画像の符号化において総符号量を増大させることなく画質を向上させるために、既存の符号化方式の枠組みの中で実現できる利点はあるが、本質的に予測効率を上げているわけではないので、大きな符号化効率の向上は期待できない。

一方、特許文献２では、フェード画像に対する予測効率が向上するというメリットがあるが、画像がある画像から別の画像に徐々に変化する、いわゆるディゾルブ画像（クロスフェード画像とも呼ばれる）に対しては、十分な予測効率が得られない。

非特許文献３の方式では、フェード画像やディゾルブ画像に対しては十分な対応がなされておらず、複数の参照フレームを用意しても予測効率の改善を図ることはできない。

上述したように従来の技術によると、フェード画像やディゾルブ画像を高い画質を維持しつつ符号化するには多くの符号量を必要とし、符号化効率の向上が期待できないという問題点があった。

そこで、本発明は特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して、高効率の符号化を可能とし、かつ計算量の少ない動画像符号化及び動画像復号化の方法及び装置を提供することを目的とする。

上記の課題を解決するため、本発明の第１の態様では動画像の符号化側において、入力動画像信号に対して少なくとも一つの参照画像信号、及び該入力動画像信号と該参照画像信号との間の動きベクトルを用いて動き補償予測符号化を行う際、動き補償予測符号化に用いる参照画像の数が一つの場合には、予め用意された少なくとも一つの参照画像番号と予測パラメータとの複数の組合せの中から、入力動画像信号の符号化対象領域毎に選択された一つの組み合わせの参照画像番号及び予測パラメータに従って予測画像信号を生成する、第１の予測画像信号生成手法を用いる。

一方、動き補償予測符号化に用いる参照画像の数が複数の場合には、符号化対象領域毎に該複数の参照画像の参照画像番号、及び該複数の参照画像の画像間距離に基づいて算出される予測パラメータに従って予測画像信号を生成する、第２の予測信号生成手法を用いる。

このようにして生成された予測画像信号の入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、この予測誤差信号と動きベクトルの情報、及び選択された組み合わせと複数の参照画像の参照画像番号のいずれかを示すインデックス情報を符号化する。

本発明の他の態様では、入力動画像信号の符号化対象領域の予測タイプが動き補償予測符号化に一つの参照画像を用いる第１の予測タイプである場合に第１の予測信号生成手法を用い、符号化対象領域の予測タイプが双方向予測タイプであって、かつ動き補償予測符号化に用いる参照画像の数が複数の場合に第２の予測信号生成手法を用いる。

一方、動画像の復号化側では、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、及び一つの参照画像番号と予測パラメータとの組み合わせと複数の参照画像の参照画像番号のいずれかを示すインデックス情報を含む符号化データを復号化する。復号化されたインデックス情報が組み合わせを示す場合には、該組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成する。復号化されたインデックス情報が複数の参照画像の参照画像番号を示す場合には、該参照画像番号、及び該複数の参照画像の画像間距離に基づいて算出される予測パラメータに従って予測画像信号を生成する。このようにして生成された予測誤差信号及び予測画像信号を用いて、再生動画像信号を生成する。

このように本発明によると、参照画像番号と予測パラメータの組み合わせに従って予測画像信号を生成する第１の予測画像生成手法と、選択された複数の参照画像のフレーム間距離に基づいて算出される予測パラメータを用いて予測画像信号を生成する第２の予測画像生成手法を用意しておき、動き補償予測符号化に用いる参照画像の数や予測タイプに応じていずれかの予測画像生成手法を選択して用いる。

これによって、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような入力動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。

また、画素当たりの乗算回数を１回にすることも可能であるため、符号化側及び復号化側のいずれにおいても、ハードウェア規模や演算コストを削減することができる。

さらに、符号化側から復号化側に対して参照画像番号や予測パラメータの情報そのものを送るのではなく、参照画像番号と予測パラメータの組み合わせを示すインデックス情報を送るか、あるいは参照画像番号を別途送る場合には予測パラメータの組み合わせを示すインデックス情報を送ることによって、符号化効率を改善することができる。

以上説明したように、本発明によれば特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して適切な予測をうことよって効率が高く、しかも計算量の少ない動画像符号化／復号化を行うことができる。

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
（符号化側について）
図１に、本発明の第１の実施形態に係る動画像符号化装置の構成を示す。動画像符号化装置には、この例では例えばフレーム単位で動画像信号１００が入力される。この動画像信号１００は減算器１０１に入力され、ここで予測画像信号２１２との差分がとられて予測誤差信号が生成される。モード選択スイッチ１０２によって予測誤差信号と入力動画像信号１００のいずれか一方が選択され、直交変換器１０３により直交変換、例えば離散コサイン変換（ＤＣＴ）が施される。直交変換器１０３では直交変換係数情報、例えばＤＣＴ係数情報が得られる。直交変換係数情報は量子化器１０４で量子化された後、二分岐される。二分岐された量子化直交変換係数情報２１０の一方は、可変長符号化器２１５に導かれる。

二分岐された量子化直交変換係数情報２１０の他方は、逆量子化器１０５及び逆直交変換器１０６により量子化器１０４及び直交変換器１０３の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器１０７でスイッチ１０９を介して入力される予測画像信号２１２と加算されることにより、局部復号画像信号２１１が生成される。局部復号画像信号２１１は、フレームメモリ／予測画像生成器１０８に入力される。

フレームメモリ／予測画像生成器１０８は、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせの中から一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号（局部復号化画像信号２１１）について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、この例ではフレーム単位の参照画像信号を生成する。この後、フレームメモリ／予測画像生成器１０８は参照画像信号に対して動きベクトルを用いて動き補償を行い、予測画像信号２１２を生成する。

この過程でフレームメモリ／予測画像生成器１０８は、動きベクトル情報２１４と、参照フレーム番号と予測パラメータの選択された組み合わせを示すインデックス情報２１５を生成し、さらにモード選択器２１２に符号化モードの選択に必要な情報を送る。動きベクトル情報２１４及びインデックス情報２１５は、可変長符号化器１１１に入力される。フレームメモリ／予測画像生成器１０８については、後に詳しく説明する。

モード選択器１１０は、フレームメモリ／予測画像生成器１０８からの予測情報Ｐに基づいてマクロブロック単位に符号化モードの選択、すなわちフレーム内符号化（以下、イントラ符号化という）と動き補償予測フレーム間符号化（以下、インター符号化という）のいずれかの選択を行い、スイッチ制御信号Ｍ及びＳを出力する。

イントラ符号化モードでは、スイッチ制御信号Ｍ及びＳによってスイッチ１０２，１１２はＡ側に切り替えられ、直交変換器１０３に入力動画像信号１００が入力される。インター符号化モードでは、スイッチ制御信号Ｍ及びＳによってスイッチ１０２，１１２はＢ側に切り替えられ、直交変換器１０３には減算器１０２からの予測誤差信号、加算器１０７にはフレームメモリ／予測画像生成器１０８からの予測画像信号２１２がそれぞれ入力される。モード選択器２１２からはモード情報２１３が出力され、可変長符号化器１１１に入力される。

可変長符号化器１１１では、直交変換係数情報２１０、モード情報２１３、動きベクトル情報２１４及びインデックス情報２１５が可変長符号化され、これによって生成された各可変長符号が多重化器１１４で多重化された後、出力バッファ１１５により平滑化される。こうして出力バッファ１１５から出力される符号化データ１１６は、図示しない伝送系または蓄積系へ送出される。

符号化制御器１１３は、減算器１０１から可変長符号化器１１１までの要素で構成される符号化部１１２の制御、具体的には例えば出力バッファ１１５のバッファ量をモニタし、バッファ量が一定となるように量子化器１０４の量子化ステップサイズなどの符号化パラメータの制御を行う。

（フレームメモリ／予測画像生成器１０８について）
図２には、図１におけるフレームメモリ／予測画像作成器１０８の詳細な構成を示す。図２において、図１中の加算器１０７から入力される局部復号画像信号２１１は、メモリ制御器２０１による制御の下でフレームメモリセット２０２に格納される。フレームメモリセット２０２は、局部復号画像信号２１１を参照フレームとして一時保持するための複数（Ｎ）のフレームメモリＦＭ１〜ＦＭＮを有する。

予測パラメータ制御器２０３は、予め参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、入力動画像信号１００に基づいて予測画像信号２１２の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択し、選択された組み合わせを示すインデックス情報２１５を出力する。

複数フレーム動き評価器２０４では、予測パラメータ制御器２０３により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号と入力画像信号１００とから動き量と予測誤差の評価を行い、予測誤差を最小とする動きベクトル情報２１４を出力する。複数フレーム動き補償器２０５は、複数フレーム動き評価器２０４でブロック毎に選択された参照画像信号に対し、動きベクトルに従って動き補償を行うことによって予測画像信号２１２を生成する。

（予測画像の生成について）
以下の数式（１）（２）（３）は、予測パラメータ制御器２０３で用意されている、参照画像番号と予測パラメータを用いた予測式の例を示している。ここで示す例は、いわゆるＰピクチャと呼ばれる符号化対象画像に対して、１枚の参照画像（参照ピクチャ）を用いて動き補償予測により予測画像信号を生成する場合と、いわゆるＢピクチャと呼ばれる符号化対象画像に対して、２枚の参照画像のどちらか１つのみを用いて動き補償予測により予測画像信号を生成する場合に適用される予測式を示している。

ここで、Ｙは輝度信号の予測画像信号、Ｃｂ，Ｃｒは二つの色差信号の予測画像信号、Ｒ_Y(i)，Ｒ_Cb(i)，Ｒ_Cr(i)はインデックスｉの参照画像信号のうちの輝度信号及び二つの色差信号の画素値をそれぞれ表している。Ｄ₁(i)，Ｄ₂(i)は、それぞれインデックスｉの輝度信号の予測係数及びオフセットである。Ｅ₁(i)，Ｅ₂(i)は、それぞれインデックスｉの色差信号Ｃｂの予測係数及びオフセットである。Ｆ₁(i)，Ｆ₂(i)はそれぞれインデックスｉの色差信号Ｃｒの予測係数及びオフセットである。インデックスｉは、０から（最大参照画像枚数−１）の値をとり、符号化対象ブロック毎（例えば、マクロブロック毎）に符号化されて動画像復号化装置に伝送される。

予測パラメータＤ₁(i)，Ｄ₂(i)，Ｅ₁(i)，Ｅ₂(i)，Ｆ₁(i)，Ｆ₂(i)は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることによって、両装置で共有される。

数式（１）（２）（３）は、参照画像信号に乗算する予測係数の分母を２のべき乗、すなわち２，４，８，１６，…のように選定することによって割り算を避け、算術シフトによって計算できる予測式とされている。これによって、割り算による計算コストの増大を避けることができる。

すなわち、数式（１）（２）（３）における＞＞は、ａ＞＞ｂとおいたときに、整数ａを右にｂビット算術シフトする演算子である。関数clip( )は、( )内の値を０よりも小さいときには０とし、２５５より大きいときには２５５にするクリッピング関数であり、０から２５５の整数値を返す。

ここで、Ｌ_Yは輝度信号のシフト量であり、Ｌ_Cは色差信号のシフト量である。これらのシフト量Ｌ_Y ，Ｌ_Cは、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化されて動画像復号化装置へ伝送されることにより、両装置で共有される。

本実施形態では、図２中の予測パラメータ制御器２０３において、図３で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。このテーブルは参照画像数が１枚の場合に用いられる。図３において、インデックスｉはブロック毎に選択され得る予測画像に対応している。この例では、インデックスｉの０〜３に対応して４種類の予測画像が存在する。参照画像番号は、言い換えれば参照画像として用いられる局部復号画像の番号である。図３に示すテーブルは、数式（１）（２）（３）に対応して輝度信号と二つの色差信号に割り当てられた予測パラメータＤ₁(i)，Ｄ₂(i)，Ｅ₁(i)，Ｅ₂(i)，Ｆ₁(i)，Ｆ₂(i)を有する。

Flagは、インデックスｉが示す参照画像番号に予測パラメータを使った予測式を適用するか否かを示すフラグである。Flagが“０”ならば、予測パラメータを用いないでインデックスｉが示す参照画像番号の局部復号画像を用いて動き補償予測を行う。Flagが“１”ならば、インデックスｉが示す参照画像番号の局部復号画像と予測パラメータを用いて、数式（１）（２）（３）に従って予測画像を作成して動き補償予測を行う。このFlagの情報についても、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され、動画像復号化装置へ伝送されることにより、両装置で共有される。

これらの例では、参照画像番号１０５はインデックスｉがｉ＝０の場合は、予測パラメータを用いて予測画像を作成し、ｉ＝１の場合は予測パラメータを用いずに動き補償予測を行っている。このように、同じ参照画像番号に対して、複数の予測方式が存在してもよい。

以下の数式（４）（５）（６）は、２枚の参照画像数を用いて予測画像信号を作成する場合の予測パラメータ制御器２０３で用意されている参照画像番号と予測パラメータの予測式の例を示している。

ここで、数式（５）の関係が成り立つことから、数式（４）は次のように変形できる。

ここでは、いわゆるＢピクチャの場合で双方向予測を行う場合の予測式の例を示している。このとき、インデックスはｉ，ｊの２つ存在し、Ｒ（ｉ），Ｒ（ｊ）がそれぞれのインデックスｉ，ｊに対応する参照画像である。従って、インデックス情報としては、ｉとｊの２つの情報が送られるものとする。ここで、Ｗ（ｊ，ｊ）がインデックスｉとｊのときの予測係数である。予測係数Ｗの計算に用いられる関数Ｕは画像間距離を表す関数であり、Ｕ（ｉ，ｊ）でインデックスｉの示す参照画像とインデックスｊの示す参照画像間の距離を表す。ｎは、現在符号化しようとしている符号化対象画像の位置である。

本実施形態では、時間的に過去の画像ほど小さな値の位置情報を持つとしている。従って、もしインデックスｉが示す参照画像がインデックスｊの指し示す参照画像よりも時間的に未来ならばＵ（ｉ，ｊ）＞０、インデックスｉとインデックスｊが時間的に同じ参照画像を指している場合はＵ（ｉ，ｊ）＝０、インデックスｉが示す参照画像がインデックスｊの指し示す参照画像よりも時間的に過去ならばＵ（ｉ，ｊ）＜０となる。予測係数Ｗの値は、Ｕ（ｉ，ｊ）が０のときは２^L-1とする。

具体的には、現在符号化しようとしている符号化対象画像と２つの参照画像との時間的位置関係は、インデックスｉ，インデックスｊを用いて図４〜図７で示されるように表される。図４は、符号化対象画像ｎがインデックスｉで示される参照画像とインデックスｊで示される参照画像に挟まれる関係になっている場合の例を示している。

ここで、Ｔ_n ，Ｔ_ｉ ，Ｔ_ｊはそれぞれ符号化対象画像、インデックスｉの示す参照画像、インデックスｊの示す参照画像の位置を表しており、ここでは右に行くほど大きな値をとるようになっている。従って、Ｔ_i＜Ｔ_n＜Ｔ_jの関係が成り立つ。ここで予測係数Ｗの計算に用いられる関数Ｕは、Ｕ（ｎ，ｉ）＝Ｔ_n−Ｔ_i ，Ｕ（ｊ，ｉ）＝Ｔ_j−Ｔ_iで求められ、Ｕ（ｎ，ｉ）＞０，Ｕ（ｊ，ｉ）＞０である。

図５は、インデックスｉで示される参照画像とインデックスｊで示される参照画像がいずれも符号化対象画像ｎよりも時間的に過去の位置の関係になっている場合の例を示している。ここでは、Ｕ（ｎ，ｉ）＞０、Ｕ（ｊ，ｉ）≦０の関係になる。

図６は、インデックスｉで示される参照画像とインデックスｊで示される参照画像がいずれも符号化対象画像ｎよりも時間的に過去の位置の関係になっている場合の別の例を示している。ここでは、Ｕ（ｎ，ｉ）＞０、Ｕ（ｊ，ｉ）≧０の関係になる。

図７は、インデックスｉで示される参照画像とインデックスｊで示される参照画像がいずれも符号化対象画像ｎよりも時間的に未来の位置の関係になっている場合の例を示している。ここでは、Ｕ（ｎ，ｉ）＜０、Ｕ（ｊ，ｉ）≧０の関係になる。

数式（４）〜（８）においてＬはシフト量であり、予め動画像符号化装置と復号化装置間で決められた値を用いるか、あるいはフレーム、フィールド、スライスといった予め決まった符号化の単位で、テーブル及び符号化データと共に符号化されて符号化装置から復号化装置に伝送され、両装置で共有される。さらに、数式（６）（９）におけるclip2という関数は、clip2( )の( )内の値（以下、単に値という）の最大値及び最小値を制限して、整数を返す関数である。この関数clip2に関して、以下に複数の構成例を示す。

関数clip2の第１の構成は、値が−２^Mよりも小さいときに−２^M、値が（２^M−１）より大きいときに（２^M−１）にするクリッピング関数で、−２^M以上（２^M−１）以下の整数値を返す。このような構成にすることで、画素が８ビットだとすると、（Ｒ（ｊ）−Ｒ（ｉ））の値の表現に９ビット、予測係数Ｗの表現に（Ｍ＋１）ビット必要なので，（Ｍ＋１０）ビットの演算精度で予測画像値の演算が可能となる。なお、ＭはＬ以上の非負の整数とする。

関数clip2の第２の構成としては、値が−２^Ｍよりも小さいときに２^L-1、値が（２^M−１）より大きいときに２^L-1にする規則を持っていて、−２^M以上（２^M−１）以下の整数値を返す関数とする。このような構成にすることで、２つの参照画像の距離関係が例外的な場合は、全て平均値予測になるようにすることができる。

関数clip2の第３の構成としては、値が１よりも小さいときに１、値が２^Mより大きいときに２^Mにするクリッピング関数で、１以上２^M以下の整数値を返す関数とする。関数clip2の第１の構成との違いは、予測係数Ｗの値が負にならないということであり、参照画像の位置関係がより制限される。従って、同一の参照画像２枚の組合せでも、図５と図６の関係のようにインデクスｉとインデクスｊの指し示し方を逆転させることによって、予測係数Ｗによる予測と平均値予測を切り替えることが可能となる。

関数clip2の第４の構成としては、値が０よりも小さいときに０、値が２^Lより大きいときに２^Lにするクリッピング関数で、０以上２^L以下の整数値を返す関数とする。このような構成にすることで、予測係数Ｗの値が必ず２^L以下の非負の値になるので、外挿予測が禁止され、その代わり双方向予測においても２つの参照画像のいずれかが予測に使われることになる。

関数clip2の第５の構成としては、値が１よりも小さいときに２^L-1、値が２^Lより大きいときに２^L-1にするクリッピング関数で、１以上２^L−１以下の整数値を返す関数とする。このような構成にすることで、予測係数Ｗの値が必ず２^L−１以下の非負の値になるので、外挿予測が禁止され、その代わり２つ参照画像の平均値予測に使われることになる。

なお、２つの参照画像間の距離が不明あるいは未定義の場合、例えば、参照画像のどちら一方、あるいは両方が背景用や長期保存用の参照画像であった場合、予測係数Ｗは、２^L-1の値をとるものとする。予測係数Ｗは、フレーム、フィールド、スライスなどの符号化の単位で予め計算しておくことが可能なため、画素当たりの計算において、２つの参照画像数で予測画像信号を作成する場合でも、1回の乗算ですむ。

数式（９）は、数式（４）を変形した別の例である。数式（７）においては、Ｒ（ｉ）を予め左にＬビット算術シフトする操作が必要であったが、数式（１０）では括弧の外側に出すことにより算術シフトを省略している。その分、演算量を削減できる効果がある。その代わり、Ｒ（ｉ）とＲ（ｊ）の値の大小関係によって、シフトをしたときの丸めの方向が異なるため、数式（４）とは厳密には同じ結果にならない。

また、数式（４）〜（８）に代えて以下の数式（１０）〜（２０）を用いてもよい。これは、参照画像が１つの場合の予測画像の作成方法と同様の方法で、インデックスｉの参照画像１枚の予測画像と、インデックスｊの参照画像１枚の予測画像を作成しておいてその平均を取ることによって、最終的な予測画像を作成する方法である。途中まで、参照画像数が１枚のときの処理ルーチンと同じものを使うことができるため、ハードウェア量やコード量の削減が可能であるという利点がある。

（予測方式の選択と符号化モード判定の手順について）
次に、図８を用いて本実施形態におけるマクロブロック毎の予測方式（参照画像番号と予測パラメータの組み合わせ）の選択と符号化モード判定の具体的な手順の一例について説明する。
まず、変数ｍｉｎ_Ｄに想定可能な最大値を入れておく（ステップＳ１０１）。ＬＯＯＰ１（ステップＳ１０２）は、インター符号化における予測方式の選択のための繰り返しを示し、変数ｉは図３に示したインデックスの値を表している。ここでは、予測方式毎の最適な動きベクトルが求めることができるように、動きベクトル情報２１４に関わる符号量（動きベクトル情報２１４に対応して可変長符号化器１１１から出力される可変長符号の符号量）と予測誤差絶対値和から各インデックス（参照フレーム番号と予測パラメータの組み合わせ）の評価値Ｄを計算し、評価値Ｄを最小とする動きベクトルを選択する（ステップＳ１０３）。この評価値Ｄをmin_Ｄと比較し（ステップＳ１０４）、ｍｉｎ＿Ｄよりも評価値Ｄが小さければ評価値Ｄをｍｉｎ＿Ｄとし、インデックスｉをｍｉｎ＿ｉに代入しておく（ステップＳ１０５）。

次に、イントラ符号化の場合の評価値Ｄを計算し（ステップＳ１０６）、この評価値Ｄをｍｉｎ＿Ｄと比較する（ステップＳ１０７）。この比較の結果、ｍｉｎ＿Ｄの方が小さければモードＭＯＤＥはインター符号化と判定し、インデックス情報ＩＮＤＥＸにｍｉｎ＿ｉを代入する（ステップＳ１０８）。評価値Ｄの方が小さければ、モードＭＯＤＥはイントラ符号化と判定する（ステップＳ１０９）。ここで、評価値Ｄは同一量子化ステップサイズでの符号量の推定量とする。

（復号化側について）
次に、図１に示した動画像符号化装置に対応する動画像復号化装置について説明する。図９に、本実施形態に係る動画像復号化装置の構成を示す。図１に示した構成の動画像符号化装置から送出され、伝送系または蓄積系を経て送られてきた符号化データ３００は、入力バッファ３０１に一度蓄えられ、多重化分離器３０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化器３０３に入力される。可変長復号化器３０３では、符号化データ３００の各シンタクスの可変長符号の復号が行われ、量子化直交変換係数、モード情報４１３、動きベクトル情報４１４及びインデックス情報４１５が再生される。

再生された各情報のうち、量子化直交変換係数は逆量子化器３０４で逆量子化され、逆直交変換器３０５で逆直交変換される。ここでモード情報４１３がイントラ符号化モードを示している場合には、逆直交変換器３０５から再生画像信号が出力され、加算器３０６を介して最終的な再生画像信号３１０として出力される。モード情報４１３がインター符号化モードを示している場合には、逆直交変換器３０５から予測誤差信号が出力され、さらにモード選択スイッチ３０８がオンとされる。予測誤差信号とフレームメモリ／予測画像生成器３０８から出力される予測画像信号４１２が加算器３０６で加算されることにより、再生画像信号３１０が出力される。再生画像信号３１０は、フレームメモリ／予測画像作成器３０８に参照画像信号として蓄積される。

モード情報４１３、動きベクトル情報４１４及びインデックス情報４１５は、フレームメモリ／予測画像作成器３０８に入力される。モード情報４１３はモード選択スイッチ３０９にも入力され、該スイッチ３０９をイントラ符号化モードの場合にはオフ、インター符号化モードの場合にはオンとする。

フレームメモリ／予測画像生成器３０８は、図１に示した符号化側のフレームメモリ／予測画像生成器１０８と同様に、予め用意された参照画像番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、この中からインデックス情報４１５で示される一つの組み合わせを選択する。選択された組み合わせの中の参照画像番号で示される参照画像の画像信号（再生画像信号２１０）について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、参照画像信号を生成する。この後、生成された参照画像信号に対して動きベクトル情報４１４で示される動きベクトルを用いて動き補償を行うことにより、予測画像信号４１２を生成する。

（フレームメモリ／予測画像生成器３０８について）
図１０に、図９におけるフレームメモリ／予測画像作成器３０８の詳細な構成を示す。図１０において、図９中の加算器３０６から出力される再生画像信号３１０は、メモリ制御器４０１による制御の下でフレームメモリセット４０２に格納される。フレームメモリセット４０２は、再生画像信号３１０を参照画像として一時保持するための複数（Ｎ）のフレームメモリＦＭ１〜ＦＭＮを有する。

予測パラメータ制御器４０３は、予め参照画像番号と予測パラメータの組み合わせを図３に示したと同様のテーブルとして用意しており、図９中の可変長復号化器３０３からのインデックス情報４１５に基づいて予測画像信号４１２の生成に用いる参照画像の参照画像番号と予測パラメータの組み合わせを選択する。複数フレーム動き補償器４０４は、予測パラメータ制御器４０３により選択された参照画像番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号に対して図９中の可変長復号化器３０３からの動きベクトル情報４１４で示される動きベクトルに従ってブロック単位で動き補償を行うことによって、予測画像信号４１２を生成する。

（インデックス情報のシンタクスについて）
図１１に、各ブロックにおいてインデックス情報を符号化する場合のシンタクスの例を示す。まず、各ブロックに対してモード情報ＭＯＤＥが存在する。モード情報ＭＯＤＥに応じて、インデックスｉの値を示すインデックス情報ＩＤｉとインデックスｊの値を示すインデックス情報ＩＤｊを符号化するか否かが決定される。符号化されたインデックス情報の後に、各ブロックの動きベクトル情報として、インデックスｉの動き補償予測のための動きベクトル情報ＭＶｉと、インデックスｊの動き補償予測のための動きベクトル情報ＭＶｊが符号化される。

（符号化ビットストリームのデータ構造について）
図１２は、１枚の参照画像を用いて予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示している。モード情報ＭＯＤＥに続いてインデックス情報ＩＤｉが配置され、その後に動きベクトル情報ＭＶｉが配置される。動きベクトル情報ＭＶｉは、通常、２次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の２次元ベクトルが送られる場合もある。

図１３には、２枚の参照画像を用いて予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示す。モード情報ＭＯＤＥに続いてインデックス情報ＩＤｉ、インデックス情報ＩＤｊが配置され、その後に動きベクトル情報ＭＶｉ、動きベクトル情報ＭＶｊが配置される。動きベクトル情報ＭＶｉ及び動きベクトル情報ｊは、通常、２次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の２次元ベクトルが送られる場合もある。
（まとめ）
以上説明したように本実施形態によると、１つの参照画像を用いて予測画像を作成する場合には、予測パラメータとして予測係数とオフセットを用いた線形予測を行うことにより、予測画像を作成する。この手法によって、単一色の画面との混合した映像であるフィード画像に対して、適切な予測画像を作成することができる。単純に参照ピクチャ番号と予測パラメータの複数の組み合わせの中から符号化対象ブロック毎に一つの組み合わせを選択する手法では、参照ピクチャ数が複数の場合、画素当たりの乗算数も複数回を必要とすることから計算量が多くなるが、本実施形態では必要な乗算回数は画素当たり１回で済む。

一方、２つの参照画像を用いて予測画像を作成する場合には、２つの参照画像間の距離から求めることのできる重み係数を用いて、２つの参照画像の重み付き平均を行うことにより、予測画像を作成する。この手法によって、２つの映像が混合されたディゾルブ画像に対して、適切な予測画像を作成することができる。このとき、本実施形態で用いた数式を用いれば、必要な乗算回数は画素当たり１回で済む。

このように本実施形態によれば、フィード映像に対してもディゾルブ映像に対しても、画素当たり１回の乗算で適切な予測画像を作成できる。画素当たりの乗算が１回で済むことにより、符号化側及び復号化側のいずれにおいてもハードウェア規模や演算コストを削減することが可能となる。

上述の説明では、参照画像の数によって予測画像の作成方法を切り替えたが、いわゆるピクチャタイプあるいはスライスタイプと呼ばれる予測タイプの違いによって、ピクチャ単位あるいはスライス単位で予測画像の作成方法を切り替えてもよい。例えば、Ｂピクチャの場合でどちらか１つの参照画像しか使わない場合には、予測パラメータを用いた予測画像の作成は行わず、通常の局部復号画像を用いた動き補償予測が行われる。

このように参照画像の数に加えて、予測タイプの違いによっても予測画像の作成方法を切り替える手法を用いた予測画像の作成手順を図１４を用いて具体的に説明する。この例では、スライス単位で予測画像の作成方法を切り替えている。

まず、符号化対象領域である符号化対象スライスの予測タイプ（スライスタイプという）を判定し、符号化対象スライスをフレーム内符号化を行うＩ（フレーム内予測）スライスと、１つの参照画像を用いて予測を行うＰ（片方向予測）スライスと、最大２つの参照画像を用いて予測を行うＢ（双方向予測）スライスの３つに分岐する（ステップＳ２０１）。

ステップＳ２０１の判定の結果、符号化対象スライスがＩスライスの場合はフレーム内符号化（イントラ符号化）を行う（ステップＳ２０２）。符号化対象スライスがＰスライスの場合は、前述した１つの参照画像と予測パラメータの組み合わせによる予測方式を採用する（ステップＳ２０３）。

符号化対象スライスがＢスライスの場合は、参照画像の数を調べ（ステップＳ２０４）、それに応じて予測方式を切り替える。すなわち、符号化対象スライスがＢスライスであって、参照画像が１つの場合は、通常の動き補償予測を採用する（ステップＳ２０５）。符号化対象スライスがＢスライスであって、参照画像が２つの場合は、前述した選択された２つの参照画像の画像間距離に応じた予測方式を採用する（ステップＳ２０６）。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第１の実施形態とほぼ同様であるため、第１の実施形態との相違点のみを説明する。本実施形態では、第１の実施形態と他の方式を組み合わせた場合の例を示す。

以下の数式（２１）は、参照画像を２つ使用するいわゆるＢピクチャの双方向予測の場合の予測画像の予測式であり、２つの参照画像の動き補償予測画像を単純に平均する第１の手法である。

この第１の手法では、数式（４）〜（６）、数式（７）〜（８）、数式（９）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２１）に示した予測式と切り替え情報をピクチャ、フレーム、フィールド及びスライスといった予め決まった符号化の単位で、符号化データと共に切り替えのフラグを符号化して動画像符号化装置から復号化装置に伝送し、両装置で共有できるようにする。すなわち、必要に応じて数式（４）〜（６）、数式（７）〜（８）、数式（１０）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２１）に示した予測式とを切り替えることにする。

この第１の手法によると、画像間距離に応じた重み付平均と２つの参照画像の単純平均を適応的に切り替えることができ、予測効率の向上が期待できる。なお、数式（２１）は乗算を含まないため、計算量は増加しない。

次数式（２２）〜（２７）と数式（２８）〜（３３）は、参照画像が１つのときの予測パラメータを用いて参照画像が２つの場合の予測パラメータを作成する手法を示している。本実施形態では、第１の実施形態とこれらの手法の組み合わせた例を示す。まず、数式（２２）〜（２７）は、参照画像が１つのときの予測式の値をそれぞれ平均して予測値を求める第２の手法である。

ここで、Ｐ_Y（ｉ），Ｐ_Cb（ｉ），Ｐ_Cr（ｉ）は、それぞれ輝度信号Ｙ，色差信号Ｃｂ、色差信号Ｃｒの予測値の途中結果である。
この第２の手法では、数式（４）〜（６）、数式（７）〜（８）、数式（９）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２２）〜（２７）に示した予測式との切り替え情報をピクチャ、フレーム、フィールド及びスライスといった予め決まった符号化の単位で、符号化データと共に切り替えのフラグを符号化して動画像符号化装置から復号化装置に伝送し、両装置で共有できるようにする。このように必要に応じて数式（４）〜（６）、数式（７）〜（８）、数式（９）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２２）〜（２７）に示した予測式とを切り替えるようにする。

この第２の手法によって、画像間距離に応じた重み付平均と２つの参照画像を用いた線形予測による予測画像を適応的に切り替えることができ、予測効率の向上が期待できる。ただし、数式（２２）〜（２７）に示した予測式によれば、画素当たりの乗算数は２回になるが、予測係数の自由度が上がるメリットがあり、それ以上の予測効率の向上が期待できる。

次数式（２８）〜（３３）には、別の予測式として、参照画像が１つの場合の予測パラメータを２つ用いて作成した、参照画像が２つの場合の線形予測式の例を示す。

この第３の手法では、数式（４）〜（６）、数式（７）〜（８）、数式（９）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２８）〜（３３）に示した予測式との切り替え情報をピクチャ、フレーム、フィールド及びスライスといった予め決まった符号化の単位で、符号化データと共に切り替えのフラグを符号化して、動画像符号化装置から復号化装置に伝送して両装置で共有できるようにする、必要に応じて数式（４）〜（６）、数式（７）〜（８）、数式（９）または数式（１０）〜（２０）のいずれかに示した予測式と、数式（２８）〜（３３）に示した予測式とを切り替えることにする。

この第３の手法によると、画像間距離に応じた重み付平均と２つの参照画像を用いた線形予測による予測画像を適応的に切り替えることができ、予測効率の向上が期待できる。ただし、数式（２８）〜（３３）の予測式によれば、画素当たりの乗算数は２回になるが、予測係数の自由度が上がるメリットがあり、それ以上の予測効率の向上が期待できる。

なお、上述の実施形態においてはブロック単位の直交変換を使った動画像符号化／復号化方式の例で説明したが、例えばウェーブレット変換のような他の変換手法を用いた場合にも、上記実施形態で説明した本発明の手法を同様に適用することができる。

本発明に係る動画像符号化及び復号化の処理は、ハードウェア（装置）として実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。従って、本発明によると上述した動画像符号化または復号化処理をコンピュータに行わせるためのプログラムあるいは該プログラムを格納した記憶媒体を提供することが可能である。

本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図 図２におけるフレームメモリ／予測画像作成器の詳細な構成を示すブロック図 同実施形態で用いる参照画像番号と予測パラメータの組み合わせテーブルの例を示す図 同実施形態における２つの参照画像と符号化対象画像間の第１の位置関係を示す図 同実施形態における２つの参照画像と符号化対象画像間の第２の位置関係を示す図 同実施形態における２つの参照画像と符号化対象画像間の第３の位置関係を示す図 同実施形態における２つの参照画像と符号化対象画像間の第４の位置関係を示す図 同実施形態におけるマクロブロック毎の予測方式（参照画像番号と予測パラメータの組み合わせ）の選択及び符号化モード判定の手順の一例を示すフローチャート 同実施形態に係る動画像復号化装置の構成を示すブロック図 図９におけるフレームメモリ／予測画像生成器の詳細な構成を示すブロック図 インデックス情報を符号化する場合のブロック毎のシンタクスの例を示す図 １枚の参照画像を用いて予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図 ２枚の参照画像を用いて予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図 本発明の実施形態に係る符号化対象領域の種類によって予測方式を切り替える手順を示すフローチャート

符号の説明

１００…入力動画像信号
１０１…減算器
１０２，１０９…モード選択スイッチ
１０３…直交変換器
１０４…量子化器
１０５…逆量子化器
１０６…逆直交変換器
１０７…加算器
１０８…フレームメモリ／予測画像作成器
１１０…モード選択器
１１１…可変長符号化器
１１２…符号化部
１１３…符号化制御器
１１４…多重化器
１１５…出力バッファ
１１６…符号化データ
２０１…メモリ制御器
２０２…複数フレームメモリ
２０３…予測パラメータ制御器
２０４…複数フレーム動き評価器
２０５…複数フレーム動き補償器
２１１…局部復号画像信号
２１２…予測画像信号
２１３…モード情報
２１４…動きベクトル情報
２１５…インデックス情報
３００…符号化データ
３０１…入力バッファ
３０２…多重化分離器
３０３…可変長復号化器
３０４…逆量子化器
３０５…逆直交変換器
３０６…加算器
３０７…フレームメモリ／予測画像作成器
３０８…加算器
３０９…モード切替スイッチ
３１０…再生画像信号
４０１…メモリ制御器
４０２…複数フレームメモリ
４０３…予測パラメータ制御器
４０４…複数フレーム動き補償器
４１２…予測画像信号
４１３…モード情報
４１４…動きベクトル情報
４１５…インデックス情報

Claims (4)

1. 動画像信号に対する予測画像信号の誤差及び動きベクトル情報を含む符号化データを復号するステップと、
   複数の参照画像が動き補償予測符号化に使用されるとき、復号化対象ブロック毎に複数の参照画像間の画像間距離に基づいて算出される重み係数に従って、前記参照画像信号について線形和を計算して第１の予測画像信号を生成する第１のステップと、
   前記画像間距離が０のとき、又は前記画像間距離が不明又は未定義のとき前記複数の画像の画素値の平均値に従って第２の予測画像信号を生成する第２のステップと、
   前記第１及び第２の予測画像信号を用いて再生動画像を生成する第３のステップと、
   を含み、前記動画像信号は輝度信号と二つの色差信号を有し、前記重み係数は該輝度信号及び二つの色差信号毎に算出されることを特徴とする、動画像復号化方法。
2. 前記重み係数は分母が２のべき乗であることを特徴とする、請求項１記載の方法。
3. 動画像信号に対する予測画像信号の誤差及び動きベクトル情報を含む符号化データを復号する復号化手段と、
   複数の参照画像が動き補償予測符号化に使用されるとき、復号化対象ブロック毎に複数の参照画像間の画像間距離に基づいて算出される重み係数に従って、前記参照画像信号について線形和を計算して第１の予測画像信号を生成する第１の予測画像信号生成手段と、
   前記画像間距離が０のとき、又は前記画像間距離が不明又は未定義のとき前記複数の画像の画素値の平均値に従って第２の予測画像信号を生成する第２の予測画像信号生成手段と、
   前記第１及び第２の予測画像信号を用いて再生動画像を生成する再生動信号生成手段と、
   を具備し、前記動画像信号は輝度信号と二つの色差信号を有し、前記重み係数は該輝度信号及び二つの色差信号毎に算出されることを特徴とする、動画像復号化装置。
4. 前記重み係数は分母が２のべき乗であることを特徴とする、請求項３記載の装置。

Images