JP2012235277A - 動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

Abstract

【課題】動きベクトル予測において符号化される差分ベクトルの符号量を削減する。
【解決手段】候補差分ベクトル生成部６０２は、復号対象ブロックの符号列から復号された符号化ベクトルの水平成分および垂直成分に正負の符号を割り当てることにより、複数の候補差分ベクトルを生成する。候補動きベクトル算出部６０３は、各候補差分ベクトルと復号対象ブロックの予測動きベクトルとを加算して候補動きベクトルを算出する。テンプレート評価部６０１は、復号対象ブロックに対して復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出する。差分ベクトル決定部６００は、相関度が最も高い候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定する。動きベクトル算出部５０５は、予測動きベクトルと差分ベクトルを加算することにより、動きベクトルを算出する。
【選択図】図１１

Description

本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動きベクトルの復号技術に関する。

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き方向に動き量だけ、対象画像の対象ブロックと同一の位置から移動した位置の参照画像を予測信号として生成する技術である。

また、動きベクトルについても、対象ブロックに隣接するブロックの動きベクトルを予測動きベクトルとし、符号化対象ブロックの動きベクトルと予測動きベクトルとの差分を求め、差分ベクトルを符号化することで圧縮効率を向上させている。

ＭＰＥＧ−４ＡＶＣでは、ＭＰＥＧ−２よりも動き補償予測のブロックサイズを細かくすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、動きベクトルの符号量が問題となった。そのため複数の隣接ブロックを用いて予測動きベクトルを求めることで予測動きベクトルの精度を向上させ、動きベクトルの符号量の増加を抑制している。

一方、差分ベクトルの符号量を削減する試みもなされている。特許文献１には、符号化時に差分ベクトルを量子化し、復号時に逆量子化する方法が開示されている。特許文献２には、復号対象ブロックの周辺領域を用いたテンプレートマッチングによって動きベクトルを復号時に検出し、差分ベクトルを伝送しない方法が開示されている。

特開平７−５９０８９号公報 特開２００７−４３６５１号公報

特許文献１に記載された方法においては、量子化による動きベクトルの精度の劣化具合によっては動き補償予測の効率が低下するという場合があった。また、特許文献２に記載された方法では、復号対象ブロックと周辺領域の相関が低い場合に動きベクトルの精度が劣化して動き補償予測の効率が低下することがあり、さらには差分ベクトルが大きい場合には差分ベクトルを求めるための復号側の処理量が増えることがあった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、復号側の処理量の増加を抑制しつつ、動き補償予測の効率の低下を抑制し、差分ベクトルの圧縮効率を向上させることのできる動きベクトル符号化技術及び動きベクトル復号技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像復号装置は、復号対象ブロックの符号列から符号化ベクトルを復号する符号列解析部（５０１）と、前記復号対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部（５０７）と、前記符号列解析部により復号された符号化ベクトルの水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大４つの候補差分ベクトルを生成する候補差分ベクトル生成部（６０２）と、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部（６０３）と、前記復号対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部（６０１）と、前記相関度が最も高くなる前記候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定する差分ベクトル決定部（６００）と、前記予測動きベクトルと前記差分ベクトルを加算することにより、動きベクトルを算出する動きベクトル算出部（５０５）と、前記動きベクトルで動き補償予測して前記復号対象ブロックの予測信号を生成する動き補償部（５０６）と、前記復号対象ブロックの予測誤差信号を復号する予測誤差信号復号部（５０２）と、前記予測信号と前記予測誤差信号を加算して復号画像信号を生成する加算部（５０３）と、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部（５０９）とを含む。

本発明の別の態様は、動画像復号方法である。この方法は、復号対象ブロックの符号列から符号化ベクトルを復号するステップと、前記復号対象ブロックの予測動きベクトルを生成するステップと、復号された前記符号化ベクトルの水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大４つの候補差分ベクトルを生成するステップと、各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、前記復号対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、前記相関度が最も高くなる前記候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定するステップと、前記予測動きベクトルと前記差分ベクトルを加算することにより、動きベクトルを算出するステップと、前記動きベクトルで動き補償予測して前記復号対象ブロックの予測信号を生成するステップと、前記復号対象ブロックの予測誤差信号を復号するステップと、前記予測信号と前記予測誤差信号を加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、復号側の処理量の増加を抑制しつつ、動き補償予測の効率の低下を抑制し、差分ベクトルの圧縮効率を向上させることができる。

第１の実施の形態の動画像符号化装置の構成を示す図である。 図１の動画像符号化装置が出力する符号化ベクトル符号列を説明する図である。 符号化対象ブロックと隣接ブロックの関係を説明する図である。 図１の符号化ベクトル生成部の詳細な構成を説明する図である。 テンプレート領域を説明する図である。 第１の実施の形態の動画像符号化装置における符号化処理を説明するフローチャートである。 図６の符号化ベクトルの決定処理を説明するフローチャートである。 図７の候補動きベクトルの評価処理を説明するフローチャートである。 図８の候補差分ベクトルの生成処理を説明するフローチャートである。 第１の実施の形態の動画像復号装置の構成を示す図である。 図１０の差分ベクトル再生部の詳細な構成を説明する図である。 第１の実施の形態の動画像復号装置における復号処理を説明するフローチャートである。 図１２の差分ベクトルの再生処理を説明するフローチャートである。 差分ベクトルの再生処理の具体例を説明する図である。 隣接ブロックの拡張例を説明する図である。 テンプレートの拡張例を説明する図である。 第２の実施の形態の動画像符号化装置の符号化ベクトル生成部の詳細な構成を説明する図である。 第２の実施の形態の動画像符号化装置における符号化処理を説明するフローチャートである。 図１８の符号化ベクトル生成判定処理を説明するフローチャートである。 第２の実施の形態の動画像復号装置の差分ベクトル再生部の詳細な構成を説明する図である。 第２の実施の形態の動画像復号装置における復号処理を説明するフローチャートである。 図２１の差分ベクトル導出判定処理を説明するフローチャートである。

まず、本発明の実施の形態の前提となる技術を説明する。

現在、ＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の映像圧縮符号化方式として制定され、ＤＶＤ（Digital Versatile Disk）およびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。

さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ.２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。

これらの符号化方式では、動き補償予測が利用される。動き補償予測では、動きベクトルで示される動きの方向と量を考慮して参照ピクチャから予測値を得る。動き補償予測で得られた予測値と符号化対象ピクチャの画素値との差分値を符号化することで冗長度を取り除き、圧縮効率を高めることができる。

なお、動きベクトルの予測符号化をする場合は、動きベクトルと予測動きベクトルとの差分ベクトルが符号化される。

以下、図面とともに本発明の実施の形態に係る動画像符号化装置および動画像復号装置について詳細に説明する。なお、図面において同一要素には同一符号を付与し、重複する説明を適宜省略する。

（第１の実施の形態）
図１は、第１の実施の形態の動画像符号化装置１００の構成を示す図である。動画像符号化装置１００は、減算部１０１、予測誤差符号化部１０２、符号列生成部１０３、予測誤差復号部１０４、動き補償部１０５、加算部１０６、動きベクトル検出部１０７、符号化ベクトル生成部１０８、予測動きベクトル生成部１０９、フレームメモリ１１０、および動きベクトルメモリ１１１を含む。

動画像符号化装置１００は、入力された動画像信号をブロック単位で符号化する。ブロックサイズは一例として、水平８画素×垂直８画素とする。なお、符号化対象ブロックの位置情報に関しては動画像符号化装置１００内で共有していることとし、図示しない。

減算部１０１は、端子１０より供給される画像信号と動き補償部１０５より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を予測誤差符号化部１０２に供給する。

予測誤差符号化部１０２は、減算部１０１より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成し、予測誤差符号化データを符号列生成部１０３及び予測誤差復号部１０４に供給する。

符号列生成部１０３は、予測誤差符号化部１０２より供給される予測誤差符号化データから予測誤差符号列を生成すると共に、符号化ベクトル生成部１０８より供給される符号化ベクトルから符号化ベクトル符号列を生成し、予測誤差符号列と符号化ベクトル符号列を端子１１に出力する。

ここで、符号化ベクトル符号列について図２を用いて説明する。本実施の形態では、符号列生成部１０３は、符号化ベクトル符号列として符号のない整数の符号列を用いる。例えば、図２（Ａ）で示されるＭＰＥＧ−４ＡＶＣで定義されている符号なし指数ゴロム符号を利用する。

一般的に、動画像の動きベクトルは画像の下方向と右方向の移動量はプラスとして、上方向と左方向の移動量はマイナスとして表現される。そのため、一般的に符号化ベクトルは符号のある整数で表現される。例えば、ＭＰＥＧ−４ＡＶＣでは、符号化ベクトル符号列として図２（Ｂ）で示される符号あり指数ゴロム符号が利用される。

図２（Ａ）と図２（Ｂ）を比較すると、絶対値が２、４、５、６などでは、符号なし指数ゴロム符号は符号あり指数ゴロム符号に比べて２ビット少なく符号化できる。

予測誤差復号部１０４は、予測誤差符号化部１０２より供給される予測誤差符号化データに対して逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部１０６に供給する。

動き補償部１０５は、動きベクトルメモリ１１１より供給される動きベクトルを考慮して、フレームメモリ１１０内の参照画像を動き補償して予測信号を生成し、予測信号を加算部１０６に供給する。

加算部１０６は、予測誤差復号部１０４より供給される予測誤差信号と動き補償部１０５より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ１１０に供給する。

動きベクトル検出部１０７は、端子１０より供給される画像信号とフレームメモリ１１０より供給される参照画像信号から動きベクトルを検出し、動きベクトルを動きベクトルメモリ１１１に供給する。

一般的な動きベクトルの検出方法として、参照画像において対象画像の対象ブロックと同一の位置から所定の移動量だけ移動した位置の参照画像信号と、画像信号との間の誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すＳＡＤ（Sum of Absolute Difference）や自乗誤差平均を示すＭＳＥ（Mean Square Error）等を利用することが可能である。

符号化ベクトル生成部１０８は、動きベクトルメモリ１１１より供給される動きベクトル、予測動きベクトル生成部１０９より供給される予測動きベクトル、フレームメモリ１１０より供給される復号画像信号と参照画像信号から、動きベクトルと予測動きベクトルとの差分ベクトルの成分を絶対値化した符号化ベクトルを生成し、符号化ベクトルを符号列生成部１０３に供給する。また、符号化ベクトル生成部１０８は、動きベクトルを補正し、補正した動きベクトルを動きベクトルメモリ１１１に供給する。

符号化ベクトル生成部１０８の詳細な構成と、符号化ベクトル生成部１０８による差分ベクトルの絶対値化処理および動きベクトルの補正処理については後述する。

予測動きベクトル生成部１０９は、動きベクトルメモリ１１１より供給される隣接ブロックの動きベクトルから符号化対象ブロックの予測動きベクトルを生成し、予測動きベクトルを符号化ベクトル生成部１０８に供給する。

隣接ブロックについて図３を用いて説明する。隣接ブロックは符号化済みのブロックから選択される。符号化対象ブロックＸに関して、左のブロックＡ、上のブロックＢ、右上のブロックＣ、左上のブロックＤを隣接ブロックとする。

本実施の形態の予測動きベクトルの生成方法は、例えば、ＭＰＥＧ−４ＡＶＣに準じるものとし、隣接ブロックであるブロックＡ、ブロックＢ、及びブロックＣの動きベクトルの中間値を符号化対象ブロックＸの予測動きベクトルとする。なお、ブロックＤの動きベクトルはブロックＣが有効でない（無効である）場合にブロックＣの代わりに用いられる。

ブロックが有効であるということはブロックの画素が存在していることであり、隣接ブロックが有効かどうかは、符号化対象ブロックの位置から判断することができる。例えば、画像の左端ではブロックＡが無効となり、画像の上端ではブロックＢが無効となる。なお、ブロックが有効かどうかは、そのブロックに動きベクトルが存在しているかどうかで判断することもできる。例えば、符号化対象ブロックが画面内相関だけを用いて符号化されるイントラブロックの場合は有効ではないとしてもよい。

フレームメモリ１１０は、加算部１０６より供給される復号画像信号を記憶すると共に、画像全体の復号が完了した復号画像については参照画像として記憶し、復号画像信号を符号化ベクトル生成部１０８に、参照画像信号を動き補償部１０５及び符号化ベクトル生成部１０８に供給する。

動きベクトルメモリ１１１は、符号化ベクトル生成部１０８より供給される動きベクトルを１画像分記憶し、動きベクトルを動き補償部１０５に供給すると共に、隣接ブロックの動きベクトルを予測動きベクトル生成部１０９に供給する。また、動きベクトルメモリ１１１は、動きベクトル検出部１０７より供給される動きベクトルを一時的に記憶し、符号化ベクトル生成部１０８に供給する。

続いて、符号化ベクトル生成部１０８の詳細な構成について図４を用いて説明する。

符号化ベクトル生成部１０８は、絶対値ベクトル生成部２００、テンプレート評価部２０１、動きベクトル補正部２０２、候補差分ベクトル生成部２０３、および候補動きベクトル算出部２０４を含む。端子２１は動きベクトルメモリ１１１に、端子２２は予測動きベクトル生成部１０９に、端子２３はフレームメモリ１１０に、端子２４は符号列生成部１０３に、端子２５は動きベクトルメモリ１１１に接続されている。端子２０からは所定の形状のテンプレートが入力される。

絶対値ベクトル生成部２００は、端子２１より供給される動きベクトルＭＶから端子２２より供給される予測動きベクトルＰＭＶを減算して差分ベクトルＤＭＶを算出し、差分ベクトルＤＭＶの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルＣＤＭＶを生成し、符号化ベクトルＣＤＭＶを候補差分ベクトル生成部２０３に、予測動きベクトルＰＭＶを候補動きベクトル算出部２０４に供給する。

候補差分ベクトル生成部２０３は、絶対値ベクトル生成部２００より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部２０４に供給する。候補差分ベクトルの詳細な生成処理については後述する。

候補動きベクトル算出部２０４は、それぞれの候補差分ベクトルに絶対値ベクトル生成部２００より供給される予測動きベクトルＰＭＶを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部２０１に供給する。

テンプレート評価部２０１は、端子２０より設定された所定の形状のテンプレートに基づいて端子２３より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部２０４から供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子２３より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を動きベクトル補正部２０２に供給する。

テンプレートについて図５を用いて説明する。テンプレートは、符号化対象ブロックと相関の高い符号化対象ブロックの周辺領域が選択されるような形状に設定される。本実施の形態では、テンプレートは図５の斜線部のような形状とし、Ｔ＿ｈｅｉｇｈｔ、Ｔ＿ｗｉｄｔｈはそれぞれ２画素とする。復号画像テンプレート信号（復号画像テンプレート領域）は図５においてブロックＸを符号化対象ブロックとした時の領域Ｔの復号画像信号である。参照画像テンプレート信号（参照画像テンプレート領域）は領域Ｔを候補動きベクトルに基づいて動き補償した領域の参照画像信号である。

動きベクトル補正部２０２は、テンプレート評価部２０１より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択し、符号化対象ブロックの動きベクトルＭＶが最小誤差候補動きベクトルと等しくなるように補正し、補正した動きベクトルを端子２５に供給する。なお、最小の誤差評価値を持つ候補動きベクトルが複数ある場合には、最初に評価した候補動きベクトルを最小誤差候補動きベクトルとして選択する。また、動きベクトル補正部２０２は、各成分が絶対値化された符号化ベクトルを端子２４に供給する。

続いて、図６のフローチャートを用いて、本実施の形態の動画像符号化装置１００における符号化処理を説明する。

動きベクトル検出部１０７は、端子１０より供給される画像信号とフレームメモリ１１０より供給される参照画像信号から動きベクトルを検出する（ステップＳ１００）。

予測動きベクトル生成部１０９は、動きベクトルメモリ１１１より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成する（ステップＳ１０１）。

符号化ベクトル生成部１０８は、動きベクトルメモリ１１１より供給される動きベクトル、予測動きベクトル生成部１０９より供給される予測動きベクトル、フレームメモリ１１０より供給される復号画像信号と参照画像信号から符号化ベクトルを決定する（ステップＳ１０２）。

動き補償部１０５は、動きベクトルメモリ１１１より供給される動きベクトルを考慮して、フレームメモリ１１０内の参照画像を動き補償して予測信号を生成する（ステップＳ１０３）。

減算部１０１は、端子１０より供給される画像信号と動き補償部１０５より供給される予測信号を減算して予測誤差信号を算出する（ステップＳ１０４）。

予測誤差符号化部１０２は、減算部１０１より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成する（ステップＳ１０５）。

符号列生成部１０３は、予測誤差符号化部１０２より供給される予測誤差符号化データから予測誤差符号列を生成すると共に、符号化ベクトル生成部１０８より供給される符号化ベクトルから符号化ベクトル符号列を生成する（ステップＳ１０６）。

加算部１０６は、予測誤差復号部１０４より供給される予測誤差信号と動き補償部１０５より供給される予測信号を加算して復号画像信号を生成する（ステップＳ１０７）。

フレームメモリ１１０は、加算部１０６より供給される復号画像信号を記憶する（ステップＳ１０８）。動きベクトルメモリ１１１は、符号化ベクトル生成部１０８より供給される動きベクトルを記憶する（ステップＳ１０９）。

図７は、図６のステップＳ１０２の符号化ベクトルの決定処理を説明するフローチャートである。

符号化ベクトル生成部１０８のテンプレート評価部２０１は、候補動きベクトルの評価処理を実行し（ステップＳ２００）、動きベクトル補正部２０２は、その評価結果にもとづいて符号化対象ブロックの動きベクトルが最小誤差候補動きベクトルと等しくなるように動きベクトルを補正する（ステップＳ２０１）。

図８は、図７のステップＳ２００の候補動きベクトルの評価処理を説明するフローチャートである。

絶対値ベクトル生成部２００は、端子２１より供給される動きベクトルから端子２２より供給される予測動きベクトルを減算して差分ベクトルを算出し、差分ベクトルの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルを生成する（ステップＳ３００）。

テンプレート評価部２０１は、端子２０より設定された所定の形状のテンプレートに基づいて端子２３より復号画像テンプレート信号を取得する（ステップＳ３０１）。

候補差分ベクトル生成部２０３は、絶対値ベクトル生成部２００より供給される符号化ベクトルに対して、符号化ベクトルの絶対値化された水平成分および垂直成分に正負の符号を割り当てることにより、複数個の候補差分ベクトルを生成する（ステップＳ３０２）。

候補差分ベクトル生成部２０３により生成された複数個の候補差分ベクトルについてステップＳ３０４〜ステップＳ３０６の処理を繰り返して行う。候補差分ベクトルがＥＮ個生成され、ｉ番目の候補差分ベクトルについて処理しているものとする。

候補動きベクトル算出部２０４は、絶対値ベクトル生成部２００より供給される予測動きベクトルと候補差分ベクトルを加算して候補動きベクトルを算出する（ステップＳ３０４）。

テンプレート評価部２０１は、候補動きベクトル算出部２０４より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子２３より取得する（ステップＳ３０５）。

テンプレート評価部２０１は、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出する（ステップＳ３０６）。誤差評価値としては、絶対差分和を示すＳＡＤ（Sum of Absolute Difference）や自乗誤差平均を示すＭＳＥ（Mean Square Error）等を利用することが可能である。

動きベクトル補正部２０２は、テンプレート評価部２０１より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択する（ステップＳ３０８）。

図９は、図８のステップＳ３０２の候補差分ベクトルの生成処理を説明するフローチャートである。符号化ベクトルの水平成分をＣＤＭＶＸ、垂直成分をＣＤＭＶＹとして示す。

符号化ベクトルの水平成分が０でないことを判定する（ステップＳ４００）。符号化ベクトルの水平成分が０でなければ、符号化ベクトルの垂直成分が０でないことを検査する（ステップＳ４０１）。

符号化ベクトルの水平成分と垂直成分が共に０でなければ、水平成分と垂直成分のそれぞれに（＋）符号と（−）符号を付与した４つの候補差分ベクトル（ＣＤＭＶＸ，ＣＤＭＶＹ）、（−ＣＤＭＶＸ，ＣＤＭＶＹ）、（ＣＤＭＶＸ，−ＣＤＭＶＹ）、（−ＣＤＭＶＸ，−ＣＤＭＶＹ）を設定し、候補差分ベクトル数ＥＮを４に設定する（ステップＳ４０２）。

符号化ベクトルの水平成分は０であるが、垂直成分が０でなければ、垂直成分に（＋）符号と（−）符号を付与した２つの候補差分ベクトル（ＣＤＭＶＸ，０）、（−ＣＤＭＶＸ，０）を設定し、候補差分ベクトル数ＥＮを２に設定する（ステップＳ４０３）。符号化ベクトルの水平成分は０でないが、垂直成分が０であれば、水平成分に（＋）符号と（−）符号を付与した２つの候補差分ベクトル（０，ＣＤＭＶＸ）、（０，−ＣＤＭＶＸ）を設定し、候補差分ベクトル数ＥＮを２に設定する（ステップＳ４０４）。

以上のように、本実施の形態による動画像符号化装置１００によれば、差分ベクトルの正負の符号を符号化せず、復号画像テンプレート信号と参照画像テンプレート信号の相関度を利用して復号時に差分ベクトルの正負の符号を再生することで、差分ベクトルの正負の符号に必要な情報量を削減することができる。また、正負の符号を再生するだけなのでテンプレートのマッチング回数を最大でも４回に抑制することができる。

図１０は、第１の実施の形態の動画像復号装置５００の構成を示す図である。動画像復号装置５００は、上述の動画像符号化装置１００によって符号化された動画像の符号化ストリームからブロック単位で動画像データを復号する。ブロックサイズは水平８画素×垂直８画素とする。動画像復号装置５００において、動画像符号化装置１００と共通する前提事項や処理については適宜説明を省略する。

なお、復号対象ブロックの位置情報に関しては動画像復号装置５００内で共有していることとし、図示しない。

本実施の形態の動画像復号装置５００は、符号列解析部５０１、予測誤差復号部５０２、加算部５０３、差分ベクトル再生部５０４、動きベクトル算出部５０５、動き補償部５０６、予測動きベクトル生成部５０７、動きベクトルメモリ５０８、およびフレームメモリ５０９を含む、

符号列解析部５０１は、端子５１０より供給された復号対象ブロックの入力符号列を復号して予測誤差符号化データ、符号化ベクトルを取得し、予測誤差符号化データを予測誤差復号部５０２に、符号化ベクトルを差分ベクトル再生部５０４に供給する。

ここで、本実施の形態では、符号化ベクトルの符号列として符号のない整数の符号列が用いられている。例えば、図２（Ａ）で示されるＭＰＥＧ−４ＡＶＣで定義されている符号なし指数ゴロム符号が利用される。

予測誤差復号部５０２は、符号列解析部５０１より供給される予測誤差符号化データに対して逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部５０３に供給する。

加算部５０３は、予測誤差復号部５０２より供給される予測誤差信号と動き補償部５０６より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ５０９に供給する。

差分ベクトル再生部５０４は、符号列解析部５０１より供給される符号化ベクトル、予測動きベクトル生成部５０７より供給される予測動きベクトル、フレームメモリ５０９より供給される復号画像信号と参照画像信号から差分ベクトルを再生し、差分ベクトルを動きベクトル算出部５０５に供給する。差分ベクトル再生部５０４の詳細な構成は後述する。

動きベクトル算出部５０５は、差分ベクトル再生部５０４より供給される差分ベクトルと予測動きベクトル生成部５０７より供給される予測動きベクトルを加算して動きベクトルを算出し、動きベクトルを動き補償部５０６と動きベクトルメモリ５０８に供給する。

動き補償部５０６は、動きベクトル算出部５０５より供給される動きベクトルを考慮して、フレームメモリ５０９内の参照画像を動き補償して予測信号を生成し、予測信号を加算部５０３に供給する。

予測動きベクトル生成部５０７は、動きベクトルメモリ５０８より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成し、予測動きベクトルを差分ベクトル再生部５０４に供給する。

予測動きベクトル生成部５０７が行う予測動きベクトルの生成方法は、動画像符号化装置１００の予測動きベクトル生成部１０９が行う予測動きベクトルの生成方法と同じである。

動きベクトルメモリ５０８は、動きベクトル算出部５０５より供給される動きベクトルを１画像分記憶し、隣接ブロックの動きベクトルを予測動きベクトル生成部５０７に供給する。

フレームメモリ５０９は、加算部５０３より供給される復号画像信号を記憶すると共に、画像全体の復号が完了した復号画像については参照画像として記憶し、復号画像信号を差分ベクトル再生部５０４に、参照画像信号を動き補償部５０６及び差分ベクトル再生部５０４に供給する。

続いて、差分ベクトル再生部５０４の詳細な構成について図１１を用いて説明する。

差分ベクトル再生部５０４は、差分ベクトル決定部６００、テンプレート評価部６０１、候補差分ベクトル生成部６０２、および候補動きベクトル算出部６０３を含む。端子６２１は符号列解析部５０１に、端子６２２は動きベクトルメモリ５０８に、端子６２３はフレームメモリ５０９に、端子６２４は動きベクトル算出部５０５に接続されている。

候補差分ベクトル生成部６０２は、端子６２１より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部６０３に供給する。候補差分ベクトル生成部６０２による候補差分ベクトルの生成処理は、動画像符号化装置の候補差分ベクトル生成部２０３による候補差分ベクトルの生成処理と同じである。

候補動きベクトル算出部６０３は、それぞれの候補差分ベクトルに端子６２２より供給される予測動きベクトルを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部６０１に供給する。

テンプレート評価部６０１は、端子６２０より設定された所定の形状のテンプレートに基づいて端子６２３より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部６０３より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子２３より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を差分ベクトル決定部６００に供給する。テンプレート評価部６０１による評価処理は、動画像符号化装置のテンプレート評価部２０１による評価処理と同じである。

差分ベクトル決定部６００は、テンプレート評価部６０１より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルに対応する候補差分ベクトルを最小誤差候補差分ベクトルとして決定し、最小誤差候補差分ベクトルを差分ベクトルとして端子６２４に供給する。

続いて、図１２のフローチャートを用いて、本実施の形態の動画像復号装置５００における復号処理を説明する。

符号列解析部５０１は、端子１０よりブロック単位で供給された入力符号列から符号化ベクトルを取得する（ステップＳ６００）。

予測動きベクトル生成部５０７は、動きベクトルメモリ５０８より供給される隣接ブロックの動きベクトルから予測動きベクトルを生成する（ステップＳ６０１）。

差分ベクトル再生部５０４は、符号列解析部５０１より供給される符号化ベクトル、予測動きベクトル生成部５０７より供給される予測動きベクトル、フレームメモリ５０９より供給される復号画像信号および参照画像信号から、差分ベクトルを再生する（ステップＳ６０２）。

動きベクトル算出部５０５は、差分ベクトル再生部５０４より供給される差分ベクトルと予測動きベクトル生成部５０７より供給される予測動きベクトルを加算して動きベクトルを算出する（ステップＳ６０３）。

動き補償部５０６は、動きベクトル算出部５０５より供給される動きベクトルを考慮して、フレームメモリ５０９内の参照画像を動き補償して予測信号を生成する（ステップＳ６０４）。

予測誤差復号部５０２は、符号列解析部５０１より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する（ステップＳ６０５）。

加算部５０３は、予測誤差復号部５０２より供給される予測誤差信号と動き補償部５０６より供給される予測信号を加算して復号画像信号を生成する（ステップＳ６０６）。

フレームメモリ５０９は、加算部５０３より供給される復号画像信号を記憶する（ステップＳ６０７）。動きベクトルメモリ５０８は、差分ベクトル再生部５０４より供給される動きベクトルを記憶する（ステップＳ６０８）。

図１３は、図１２のステップＳ６０２の差分ベクトルの再生処理を説明するフローチャートである。

テンプレート評価部６０１は、端子６２０より設定された所定の形状のテンプレートに基づいて端子６２３より復号画像テンプレート信号を取得する（ステップＳ７００）。

候補差分ベクトル生成部６０２は、端子６２１より供給される符号化ベクトルに対して、符号化ベクトルの絶対値化された水平成分および垂直成分に正負の符号を割り当てることにより、複数個の候補差分ベクトルを生成する（ステップＳ７０１）。

候補差分ベクトル生成部６０２により生成された複数個の候補差分ベクトルについてステップＳ７０３〜ステップＳ７０５の処理を繰り返して行う。候補差分ベクトルがＥＮ個生成され、ｉ番目の候補差分ベクトルについて処理しているものとする。

候補動きベクトル算出部６０３は、予測動きベクトルと候補差分ベクトルを加算して候補動きベクトルを算出する（ステップＳ７０３）。

テンプレート評価部６０１は、候補動きベクトル算出部６０３より供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子６２３より取得する（ステップＳ７０４）。テンプレート評価部６０１は、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出する（ステップＳ７０５）。

差分ベクトル決定部６００は、テンプレート評価部６０１より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルに対応する候補差分ベクトルを最小誤差候補差分ベクトルとして決定する（ステップＳ７０７）

ステップＳ２０１の候補差分ベクトルの生成処理は、動画像符号化装置における図８のステップＳ３０２の候補差分ベクトルの生成処理と同じであるから、説明を省略する。

図１４は、動画像復号装置５００による差分ベクトルの再生処理の具体例を説明する図である。符号化ベクトルが（３，３）であるとすると、４つの候補差分ベクトルとして、ＣＤＭＶ１＝（３，３）、ＣＤＭＶ２＝（３，−３）、ＣＤＭＶ３＝（−３，−３）、ＣＤＭＶ４＝（−３，３）が定義される。予測動きベクトルＰＭＶが（−８，１）であるとすると、４つの候補動きベクトルは、ＣＭＶ１＝（−５，４）、ＣＭＶ２＝（−５，−２）、ＣＭＶ３＝（−１１，−２）、ＣＭＶ４＝（−１１，４）となり、これら４つの候補動きベクトルについてテンプレート領域を用いた相関度の評価を行う。第４の候補動きベクトルＣＭＶ４の評価値が最小であったとすると、それに対応する第４の差分ベクトルＣＤＭＶ４＝（−３，３）を差分ベクトルに決定する。

以上のように、本実施の形態による動画像復号装置５００によれば、差分ベクトルの符号を符号化せず、復号画像テンプレート信号と参照画像テンプレート信号の相関度を利用して復号時に差分ベクトルの符号を再生することで、差分ベクトルの符号に必要な情報量を削減することができる。また、符号を再生するだけなのでテンプレートのマッチング回数を最大でも４回に抑制することができる。

なお、本実施の形態の動画像符号化装置１００および動画像復号装置５００には以下の変形例を適用できる。

本実施の形態では符号化／復号対象ブロックサイズを水平８画素×垂直８画素としているが、本実施の形態は他のブロックサイズでも実施できるため、このサイズには限定されない。水平４画素×垂直４画素、水平１６画素×垂直１６画素、水平１６画素×垂直８画素などでもよい。

本実施の形態では符号化ベクトル符号列を符号なし指数ゴロム符号としたが、本実施の形態は他の符号列でも実施できるため、この符号列には限定されない。ハフマン符号などでもよい。

本実施の形態では隣接ブロックの位置を図３で示した位置としているが、本実施の形態は他の隣接ブロックでも実施できるため、この位置には限定されない。例えば、図１５のように左下のブロックＥを追加してもよく、符号化／復号対象ブロックと隣接ブロックのブロックサイズの関係によっては、左や上の小さいブロック（Ａ１、Ａ２やＢ１、Ｂ２）を追加してもよい。さらに、隣接ブロックは空間的に符号化／復号対象ブロックと隣接している同じピクチャ内にあるブロックのみならず、時間的に符号化／復号対象ブロックと隣接している直前に符号化した参照ピクチャの符号化／復号対象ブロックと同一位置のブロックまたはそれに隣接するブロックでもよい。また、符号化／復号対象ブロックの位置によっては、隣接ブロックが存在しない場合がある。その場合には、存在する隣接ブロックのみを隣接ブロックにすることができる。

本実施の形態ではテンプレートの形状を図５のようにしているが、本実施の形態は他のテンプレートの形状でも実施できるため、この形状には限定されない。例えば、図１６のように上方向と左方向の長さや幅が異なっていてもよいし、符号化／復号対象ブロックと隣接していなくてもよい。また、符号化／復号対象ブロックの位置によっては、テンプレートとして定義される領域内の画素が存在しない場合がある。その場合には、存在する画素のみでテンプレートを構成することもできる。また、本実施の形態ではテンプレートの形状を端子２０より設定しているが、符号化ストリーム中に記述することもできる。

本実施の形態では、差分ベクトルの水平成分と垂直成分の両方を絶対値化した符号化ベクトルを生成し、符号化ベクトルの水平成分と垂直成分のそれぞれに（＋）符号と（−）符号を付与した４つの候補差分ベクトルを設定するとしたが、本実施の形態は、差分ベクトルの水平成分と垂直成分のいずれか一方を絶対値化した符号化ベクトルを生成し、符号化ベクトルの水平成分と垂直成分のいずれかに（＋）符号と（−）符号を付与しても実施できる。

本実施の形態では符号化／復号対象ブロックの動きベクトルが１つである場合について説明したが、本実施の形態は符号化／復号対象ブロックの動きベクトルが複数あっても実施できるため、これに制限されない。例えば、ＭＰＥＧ−４ＡＶＣで利用される双方向予測では符号化／復号対象ブロックの動きベクトルは２つであり、それぞれの動きベクトルで動き補償して得た参照信号を平均して予測信号としている。

本実施の形態では参照画像が１つである場合について説明したが、本実施の形態は参照画像が複数あっても実施できるため、これに制限されない。例えば、参照画像が複数ある場合には、全ての参照画像について各候補動きベクトルに基づいて動き補償した参照画像テンプレート信号の相関度の評価を行い、最も相関度の高い候補動きベクトルと参照画像の組み合わせを選択することができる。このようにすることで、例えば、ＭＰＥＧ−４ＡＶＣでは参照画像を指定するのに参照画像を示すフラグを符号化する必要があるが、本実施の形態によればこのような参照画像を示すフラグを符号化することなく、複数の参照画像の中から最適な参照画像を選択することが可能となる。

本実施の形態では動きベクトルメモリ１１１、５０８は、１画像分の動きベクトルを記憶するとしたが、隣接ブロックが取得可能であれば、これに限定されない。例えば、２ライン分の動きベクトルを記憶してもよい。

（第２の実施の形態）
本発明の第２の実施の形態の動画像符号化装置の構成は、第１の実施の形態における構成と、符号列生成部と符号化ベクトル生成部の詳細な構成を除いて同一である。以下、本実施の形態における符号列生成部３００と符号化ベクトル生成部３０１について説明する。

符号列生成部３００は、符号化ベクトル生成部３０１より差分ベクトル導出信号が供給された場合、差分ベクトル導出信号を０または１の１ビットの符号列として端子１１に供給する。

ここで、「差分ベクトル導出信号」について説明する。差分ベクトル導出信号は０または１の信号である。差分ベクトル導出信号が１であれば、差分ベクトルの各成分を絶対値化して、正負の符号のない符号列として符号化ベクトルを符号化し、復号時に差分ベクトルの正負の符号を再生する。これにより符号化ベクトルの符号量を削減できる。一方、差分ベクトル導出信号が０であれば、差分ベクトルの各成分を絶対値化せずに、正負符号のある符号列として符号化ベクトルを符号化し、復号時に通常のように動きベクトルを再生する。この場合、予測誤差を最小とする動きベクトルを再生することで、予測誤差の符号量を削減できる。復号側でこの切り替えができるように、符号列生成部３００は、差分ベクトル導出信号を符号化して符号化ストリームに含める。

また、符号列生成部３００は、符号化ベクトル生成部３０１より供給される符号列指定信号に応じて、符号化ベクトル生成部３０１より供給される符号化ベクトル符号列を生成し、符号化ベクトル符号列を端子１１に供給する。

ここで、符号化ベクトル符号列の生成について説明する。符号列指定信号が１の場合、正負の符号のない符号列である符号なし指数ゴロム符号を用いて符号化ベクトル符号列を生成し、符号列指定信号が０の場合、正負の符号のある符号列である符号あり指数ゴロム符号を用いて符号化ベクトル符号列を生成する。「符号列指定信号」は、符号化ベクトル符号列を生成する際、正負の符号のない指数ゴロム符号を用いるか、正負の符号のある指数ゴロム符号を用いるかを符号列生成部３００に指示する信号として用いられるだけであり、符号化ストリームには含まれない。

続いて、符号化ベクトル生成部３０１の詳細な構成を図１７に示す。本実施の形態における符号化ベクトル生成部３０１の構成は、第１の実施の形態の符号化ベクトル生成部１０８とは、生成判定部３０２を新たに設けた点と、第１の実施の形態の動きベクトル補正部２０２の代わりに符号化ベクトル選択部３０３を設けた点が異なる。また、絶対値ベクトル生成部２００の入力が端子２１、端子２２の代わりに生成判定部３０２に接続されている点も異なる。以下、第１の実施の形態とは異なる点を中心に説明する。

生成判定部３０２は、端子２１より供給される動きベクトルから端子２２より供給される予測動きベクトルを減算して差分ベクトルを算出し、差分ベクトルを符号化ベクトル選択部３０３に供給する。

また、生成判定部３０２は、符号化ベクトル生成判定を行う。符号化ベクトル生成判定の詳細な処理については後述する。符号化ベクトル生成判定の結果が１の場合、生成判定部３０２は、動きベクトルと予測動きベクトルを絶対値ベクトル生成部２００に供給する。一方、符号化ベクトル生成判定の結果が０の場合、生成判定部３０２は、符号列指定信号を０に設定し、差分ベクトルを符号化ベクトルに設定し（すなわち差分ベクトルの成分の絶対値化をしないでそのまま符号化ベクトルとする）、符号列指定信号と符号化ベクトルを端子２４に供給する。

絶対値ベクトル生成部２００は、動きベクトルＭＶから予測動きベクトルＰＭＶを減算して差分ベクトルＤＭＶを算出し、差分ベクトルＤＭＶの水平成分と垂直成分をそれぞれ絶対値化して符号化ベクトルＣＤＭＶを生成し、符号化ベクトルＣＤＭＶを候補差分ベクトル生成部２０３に、予測動きベクトルＰＭＶを候補動きベクトル算出部２０４に供給する。

候補差分ベクトル生成部２０３は、絶対値ベクトル生成部２００より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部２０４に供給する。候補差分ベクトルの生成処理については第１の実施の形態と同じである。

候補動きベクトル算出部２０４は、それぞれの候補差分ベクトルに絶対値ベクトル生成部２００より供給される予測動きベクトルＰＭＶを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部２０１に供給する。

テンプレート評価部２０１は、端子２０より設定された所定の形状のテンプレートに基づいて端子２３より復号画像テンプレート信号を取得すると共に、候補動きベクトル算出部２０４から供給される候補動きベクトルに基づいて動き補償した参照画像テンプレート信号を端子２３より取得し、復号画像テンプレート信号と参照画像テンプレート信号の誤差評価値を算出し、誤差評価値を符号化ベクトル選択部３０３に供給する。

符号化ベクトル選択部３０３は、テンプレート評価部２０１より供給される誤差評価値の中で最小の誤差評価値を持つ候補動きベクトルを最小誤差候補動きベクトルとして選択し、最小誤差候補動きベクトルが動きベクトルＭＶと一致するかどうかを判定し、判定結果に応じて、差分ベクトル導出信号、符号列指定信号、および符号化ベクトルを生成し、端子２４に供給する。

符号化ベクトル選択部３０３は、最小誤差候補動きベクトルが動きベクトルＭＶと一致する場合は、差分ベクトル導出信号を１に、符号列指定信号を１に設定し、各成分が絶対値化された符号化ベクトルを出力するが、最小誤差候補動きベクトルが動きベクトルＭＶとが一致しない場合は、差分ベクトル導出信号を０に、符号列指定信号を０に設定し、差分ベクトルＤＭＶを符号化ベクトルＣＤＭＶとして（すなわち差分ベクトルの成分の絶対値化をしないでそのまま符号化ベクトルとして）出力する。

本実施の形態における動画像符号化装置の符号化処理は、第１の実施の形態における符号化処理と、符号化ベクトルの決定と符号列の生成の処理を除いて同一であるから、第１の実施の形態とは異なる点を主に説明する。以下、図１８のフローチャートを用いて、符号化ベクトルの決定処理を説明する。

生成判定部３０２は、端子２１より供給される動きベクトルから端子２２より供給される予測動きベクトルを減算して差分ベクトルを算出する（ステップＳ５００）。

生成判定部３０２は、符号化ベクトル生成判定を行う（ステップＳ５０１）。

生成判定部３０２は、符号化ベクトル生成判定結果が１であるかどうかを判定する（ステップＳ５０２）。符号化ベクトル生成判定の結果が１の場合、候補動きベクトルの評価処理に進む（ステップＳ５０３）。ステップＳ５０３の候補動きベクトルの評価処理は、第１の実施の形態で説明したステップＳ２００の候補動きベクトルの評価処理（図７、図８）と同じである。

一方、符号化ベクトル生成判定の結果が０の場合、生成判定部３０２は、符号列指定信号を０に設定し、差分ベクトルをそのまま（すなわち各成分を絶対値化しないで）符号化ベクトルに設定する（ステップＳ５０７）。このとき、符号化ストリームには差分ベクトル導出信号は挿入されない。

符号化ベクトル選択部３０３は、最小誤差候補動きベクトルと動きベクトルが同一であるかどうかを判定する（ステップＳ５０４）。

最小誤差候補動きベクトルと動きベクトルが同一である場合、符号化ベクトル選択部３０３は、差分ベクトル導出信号を１に設定し、符号列指定信号を１に設定する（ステップＳ５０５）。

一方、最小誤差候補動きベクトルと動きベクトルが同一でない場合、符号化ベクトル選択部３０３は、差分ベクトル導出信号を０に設定する（ステップＳ５０６）。さらに、符号列指定信号を０に設定し、差分ベクトルをそのまま（すなわち各成分を絶対値化しないで）符号化ベクトルに設定する（ステップＳ５０７）。このとき、０に設定された差分ベクトル導出信号も符号化されて符号化ストリームに挿入される。

図１９は、図１８のステップＳ５０１の符号化ベクトル生成判定処理を説明するフローチャートである。

生成判定部３０２は、差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された所定値より大きいかどうかを判定する（ステップＳ６００）。所定値は０以上の値とし、本実施の形態では、所定値を３とする。

差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された閾値より大きければ（Ｓ６００のＹＥＳ）、復号画像テンプレート領域が有効であるかどうかを判定する（ステップＳ６０１）。復号画像テンプレート領域が有効であるということは復号画像テンプレート領域の画素が存在していることであり、例えば、復号対象ブロックの位置から判断できる。続いて、復号画像テンプレート領域が有効であれば（Ｓ６０１のＹＥＳ）、符号化ベクトル生成判定を１に設定する（ステップＳ６０２）。

一方、差分ベクトルの水平成分と垂直成分の絶対値がそれぞれ予め設定された閾値より大きくない場合（Ｓ６００のＮＯ）、または、復号画像テンプレート領域が有効でない場合（Ｓ６０１のＮＯ）、符号化ベクトル生成判定を０に設定する（ステップＳ６０３）。

ここで、差分ベクトルの各成分の絶対値を閾値と比較する意義について説明する。一般的に、差分ベクトルが小さいほど、各候補動きベクトルに対する参照画像テンプレート信号と復号画像テンプレート信号の相関度は似たものとなり、最小誤差候補動きベクトルが動きベクトルと同一にならない確率が高くなる。これにより、符号化ベクトルの符号量を削減しても予測誤差の符号量が増加し、トータルの符号量が増加する可能性がある。そこで、閾値を設定しておき、差分ベクトルの各成分の絶対値が閾値以下である場合は、符号化ベクトル生成判定を０に設定し、差分ベクトルの正負の符号を外した符号化を行わないようにすることで、このような符号量の不都合な増加を抑制することができる。

以上のように、本実施の形態による動画像符号化装置によれば、テンプレートの相関度の信頼性が低い場合には、符号化ベクトル生成判定を０として符号化ベクトルを正負の符号のある符号列として符号化することで予測誤差の圧縮効率の低下を抑制することができる。

第２の実施の形態の動画像復号装置の構成は、第１の実施形態における構成と、符号列解析部と差分ベクトル再生部の詳細な構成を除いて同一である。以下、本実施の形態における符号列解析部７００と差分ベクトル再生部７０１について説明する。

符号列解析部７００は、端子５１０より供給された復号対象ブロックの入力符号列を復号して予測誤差符号化データ、符号化ベクトル、差分ベクトル導出フラグを取得し、予測誤差符号化データを予測誤差復号部５０２に、符号化ベクトルと差分ベクトル導出フラグを差分ベクトル再生部５０４に供給する。差分ベクトル導出フラグの符号列は、０または１の１ビットのフラグであり、これは、第２の実施の形態の動画像符号化装置において符号化された「差分ベクトル導出信号」に対応する。

続いて、差分ベクトル再生部７０１の詳細な構成を図２０に示す。本実施の形態における差分ベクトル再生部７０１の構成は、第１の実施の形態の差分ベクトル再生部５０４における構成とは、判定部７０２と差分ベクトル変換部７０３を新たに設けた点が異なる。また、候補差分ベクトル生成部６０２の入力が端子６２１、端子６２２の代わりに判定部７０２に接続されている点も異なる。以下、第１の実施の形態とは異なる点を中心に説明する。

判定部７０２は、端子６２１より供給される符号化ベクトルと端子６２０より供給される予め設定された所定の形状のテンプレートとに基づいて差分ベクトル導出判定を行い、差分ベクトル導出判定結果が１であれば、符号化ベクトルを候補差分ベクトル生成部６０２に、端子６２２より供給される予測動きベクトルを候補動きベクトル算出部６０３に供給する。一方、差分ベクトル導出判定結果が０であれば、符号化ベクトルを差分ベクトル変換部７０３に供給する。

差分ベクトル変換部７０３は、判定部７０２より供給される符号化ベクトルを正負の符号のある符号列、例えば、図２（Ｂ）の符号あり指数ゴロム符号として解釈することにより、正負の符号のある差分ベクトルに変換して、差分ベクトルを端子６２４に供給する。

候補差分ベクトル生成部６０２は、判定部７０２より供給される符号化ベクトルから所定の方法により複数個の候補差分ベクトルを生成し、候補動きベクトル算出部６０３に供給する。候補動きベクトル算出部６０３は、それぞれの候補差分ベクトルに判定部７０２よりより供給される予測動きベクトルを加算して候補動きベクトルを算出し、複数個の候補動きベクトルをテンプレート評価部６０１に供給する。

これ以降のテンプレート評価部６０１および差分ベクトル決定部６００の処理は第１の実施の形態と同じであるから、説明を省略する。

本実施の形態の動画像復号装置の復号処理は、第１の実施の形態における復号処理と、差分ベクトルの再生の処理を除いて同一であるから、第１の実施の形態とは異なる点を主に説明する。以下、図２１のフローチャートを用いて、差分ベクトル再生部７０１による差分ベクトルの再生処理を説明する。

判定部７０２は、差分ベクトル導出判定を行う（ステップＳ８０１）。判定部７０２は差分ベクトル導出判定結果が１であるかどうかを判定する（ステップＳ８０２）。差分ベクトル導出判定結果が１であれば、判定部７０２は、端子６２１より供給される差分ベクトル導出フラグを取得する（ステップＳ８０３）。続いて、判定部７０２は、差分ベクトル導出フラグが１であるかどうかを判定する（ステップＳ８０４）。差分ベクトル決定部６００は、差分ベクトル導出フラグが１であれば、差分ベクトルの再生処理を行う（ステップＳ８０５）。ステップＳ８０５の差分ベクトルの再生処理は、第１の実施の形態のステップＳ６０２の差分ベクトル再生処理（図１２、図１３）と同じである。

一方、差分ベクトル導出判定結果が０であるか、差分ベクトル導出フラグが０であれば、差分ベクトル変換部７０３は、符号化ベクトルを正負の符号のある符号列として解釈することにより、差分ベクトルに変換する（ステップＳ８０６）。

図２２は、図２１のステップＳ８０１の差分ベクトル導出判定処理を説明するフローチャートである。

判定部７０２は、端子６２１より供給される符号化ベクトルが予め設定された閾値ベクトルより大きいかどうかを判定する（ステップＳ９００）。ここで、閾値ベクトルは、０または正の値の成分を持つベクトルとし、具体的には、閾値ベクトルを（３、３）とする。符号化ベクトルが閾値ベクトルより大きければ、復号画像テンプレート領域が有効であるかどうかを判定する（ステップＳ９０１）。復号画像テンプレート領域が有効であるということは復号画像テンプレート領域の画素が存在していることであり、例えば、復号対象ブロックの位置から判断できる。続いて、復号画像テンプレート領域が有効であれば、差分ベクトル導出判定を１に設定する（ステップＳ９０２）。一方、符号化ベクトルが閾値ベクトルより大きくないか、復号画像テンプレート領域が有効でなければ、差分ベクトル導出判定を０に設定する（ステップＳ５０３）。

符号化ベクトルと閾値ベクトルの大きさの比較は、各成分の大小を比較することにより行う。実施の形態２の動画像符号化装置は、差分ベクトルの各成分が閾値以下である場合、符号化ベクトル生成判定を０として符号化ベクトルを正負の符号のある符号列として符号化しているため、動画像復号装置においても、符号化ベクトルの各成分が閾値以下である場合、差分ベクトル導出判定を０に設定し、符号化ベクトルを正負の符号のある符号列として解釈して差分ベクトルを求める。

なお、本実施の形態には以下の変形例を適用できる。

本実施の形態では、差分ベクトルの各成分の絶対値を比較する閾値を３としたが、この値には限定されない。また、差分ベクトルの水平成分と垂直成分とで比較する閾値を別の値、例えば、（１、１）、（０、３）、（３、５）などに設定してもよい。また、この閾値を、例えば、符号なし指数ゴロム符号として符号化ストリーム中に記述してもよい。

本実施の形態では、閾値を予め設定された値としたが、可変にしてもよい。一般に、量子化ステップが大きくなれば復号画像テンプレート信号や参照画像テンプレート信号は均一化され、テンプレートによる相関度の信頼度は低下する。そのため、例えば、復号画像信号テンプレート信号の量子化ステップや参照画像テンプレート信号の量子化ステップが大きくなるに従って閾値が大きくなるように設定しておくこともできる。

（第３の実施の形態）
第３の実施の形態の動画像符号化装置は、第１の実施の形態の動画像符号化装置の符号化ベクトル生成部において、第２の実施の形態の生成判定部３０２を設けたものであるが、第２の実施の形態とは違って、符号化ベクトル選択部３０３は設けず、第１の実施の形態の動きベクトル補正部２０２を用いる。本実施の形態の符号化ベクトル生成部は、第２の実施の形態と同様、差分ベクトルの各成分の絶対値が閾値以下である場合は、差分ベクトルをそのまま（絶対値化せずに）符号化ベクトルとし、符号のある符号列として符号化する。しかし、第２の実施の形態とは違って、本実施の形態の符号化ベクトル生成部は、最小誤差候補動きベクトルと動きベクトルが一致するかどうかに関係なく、差分ベクトルの各成分を絶対値化した符号化ベクトルを生成し、動きベクトル補正部が、動きベクトルを最小誤差候補動きベクトルに補正する。この点は第１の実施の形態と同じである。

第３の実施の形態の動画像符号化装置により符号化された動画像の符号ストリームを復号する動画像復号装置は、第２の実施の形態の動画像復号装置をそのまま用いることができる。復号側では、動きベクトルが真の動きベクトルであるか、補正された動きベクトルであるかに関係なく、符号化ベクトルを復号して得られる差分ベクトルと予測動きベクトルを加算して得られる動きベクトルを用いて動き補償を行うからである。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 動画像符号化装置、 １０１ 減算部、 １０２ 予測誤差符号化部、 １０３ 符号列生成部、 １０４ 予測誤差復号部、 １０５ 動き補償部、 １０６ 加算部、 １０７ 動きベクトル検出部、 １０８ 符号化ベクトル生成部、 １０９ 予測動きベクトル生成部、 １１０ フレームメモリ、 １１１ 動きベクトルメモリ、 ２００ 絶対値ベクトル生成部、 ２０１ テンプレート評価部、 ２０２ 動きベクトル補正部、 ２０３ 候補差分ベクトル生成部、 ２０４ 候補動きベクトル算出部、 ３００ 符号列生成部、 ３０１ 符号化ベクトル生成部、 ３０２ 生成判定部、 ３０３ 符号化ベクトル選択部、 ５００ 動画像復号装置、 ５０１ 符号列解析部、 ５０２ 予測誤差復号部、 ５０３ 加算部、 ５０４ 差分ベクトル再生部、 ５０５ 動きベクトル算出部、 ５０６ 動き補償部、 ５０７ 予測動きベクトル生成部、 ５０８ 動きベクトルメモリ、 ５０９ フレームメモリ、 ６００ 差分ベクトル決定部、 ６０１ テンプレート評価部、 ６０２ 候補差分ベクトル生成部、 ６０３ 候補動きベクトル算出部、 ７００ 符号列解析部、 ７０１ 差分ベクトル再生部、 ７０２ 判定部、 ７０３ 差分ベクトル変換部。

Claims (6)

1. 復号対象ブロックの符号列から符号化ベクトルを復号する符号列解析部と、
   前記復号対象ブロックの予測動きベクトルを生成する予測動きベクトル生成部と、
   前記符号列解析部により復号された符号化ベクトルの水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大４つの候補差分ベクトルを生成する候補差分ベクトル生成部と、
   各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出する候補動きベクトル算出部と、
   前記復号対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するテンプレート評価部と、
   前記相関度が最も高くなる前記候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定する差分ベクトル決定部と、
   前記予測動きベクトルと前記差分ベクトルを加算することにより、動きベクトルを算出する動きベクトル算出部と、
   前記動きベクトルで動き補償予測して前記復号対象ブロックの予測信号を生成する動き補償部と、
   前記復号対象ブロックの予測誤差信号を復号する予測誤差信号復号部と、
   前記予測信号と前記予測誤差信号を加算して復号画像信号を生成する加算部と、
   前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として用いるために記憶する復号画像記憶部とを含むことを特徴とする動画像復号装置。
2. 前記符号化ベクトルの大きさが所定の値以下の場合、前記符号化ベクトルを正負の符号のある符号列と解釈することにより、正負の符号のある差分ベクトルに変換し、前記正負の符号のある差分ベクトルを前記動きベクトル算出部に供給する差分ベクトル変換部をさらに含むことを特徴とする請求項１に記載の動画像復号装置。
3. 前記符号列解析部は、差分ベクトルを正負の符号のない符号列として符号されているか否かを示す差分ベクトル導出フラグを復号し、
   前記差分ベクトル決定部は、前記差分ベクトル導出フラグにもとづいて、複数の候補差分ベクトルの一つを差分ベクトルに決定するか、前記符号化ベクトルを正負の符号のある符号列と解釈することにより、正負の符号のある差分ベクトルに変換するかを選択することを特徴とする請求項１または２に記載の動画像復号装置。
4. 前記テンプレート評価部は、前記候補動きベクトル毎に前記復号画像記憶部から複数の候補参照画像について参照画像テンプレート領域を取得し、前記復号画像テンプレート領域と前記参照画像テンプレート領域との間の相関度が最も高くなる前記候補参照画像を参照画像とすることを特徴とする請求項１から請求項３のいずれかに記載の動画像復号装置。
5. 復号対象ブロックの符号列から符号化ベクトルを復号するステップと、
   前記復号対象ブロックの予測動きベクトルを生成するステップと、
   復号された前記符号化ベクトルの水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大４つの候補差分ベクトルを生成するステップと、
   各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
   前記復号対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
   前記相関度が最も高くなる前記候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定するステップと、
   前記予測動きベクトルと前記差分ベクトルを加算することにより、動きベクトルを算出するステップと、
   前記動きベクトルで動き補償予測して前記復号対象ブロックの予測信号を生成するステップと、
   前記復号対象ブロックの予測誤差信号を復号するステップと、
   前記予測信号と前記予測誤差信号を加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップとを含むことを特徴とする動画像復号方法。
6. 復号対象ブロックの符号列から符号化ベクトルを復号するステップと、
   前記復号対象ブロックの予測動きベクトルを生成するステップと、
   復号された前記符号化ベクトルの水平成分および垂直成分の少なくとも一方に正負の符号を割り当てることにより、最大４つの候補差分ベクトルを生成するステップと、
   各候補差分ベクトルと前記予測動きベクトルとを加算して候補動きベクトルを算出するステップと、
   前記復号対象ブロックに対して所定の形状で設定される復号画像テンプレート領域と、各候補動きベクトルにより動き補償された参照画像テンプレート領域との間で相関度を算出するステップと、
   前記相関度が最も高くなる前記候補動きベクトルに対応する候補差分ベクトルを差分ベクトルに決定するステップと、
   前記予測動きベクトルと前記差分ベクトルを加算することにより、動きベクトルを算出するステップと、
   前記動きベクトルで動き補償予測して前記復号対象ブロックの予測信号を生成するステップと、
   前記復号対象ブロックの予測誤差信号を復号するステップと、
   前記予測信号と前記予測誤差信号を加算して復号画像信号を生成し、前記復号画像信号を前記復号画像テンプレート領域または前記参照画像テンプレート領域として利用するステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。

Images