JP2009089332A - 動き予測方法及び動き予測装置 - Google Patents

Abstract

【課題】ＡＶＣ等の画像符号化方式に基づく画像情報符号化装置において、動きベクトル探索の高速化や、メモリアクセスの低減を実現する。
【解決手段】処理対象のフレーム画像を分割してなる動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトル探索を行うにあたり、間引き装置１２において、上記動き補償ブロックの画素サイズのうち、最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより下位層の縮小画像を生成し、参照フレーム決定装置１５により、所定の縮小率でなる下位層の縮小参照画像を決定し、生成された縮小画像を用いて動き予測・補償装置（１／Ｎ^２解像度）１４において動きベクトルを探索し、動き予測・補償装置（フル解像度）１７により、縮小前の画像について探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行う。
【選択図】図１５

Description

本発明は、動き予測方法及び動き予測装置に関し、例えばＭＰＥＧ、Ｈ．２６ｘ等のように、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号化装置に適用して好適なものである。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下ＡＶＣという）という名の元に国際標準となった。

ＡＶＣ規格に基づいた画像圧縮情報を出力とする画像情報符号化装置１００の構成例を図１のブロック図に示す。

この画像情報符号化装置１００は、入力となる画像信号が供給されるＡ／Ｄ変換装置１、このＡ／Ｄ変換装置１０１によりデジタル化された画像データが供給される画面並べ替えバッファ１０２、この画面並べ替えバッファ１０２から読み出された画像データが供給される加算器１０３、イントラ予測装置１１２及び動き予測・補償装置１１３、上記加算器１０３の出力が供給される直交変換装置１０４、この直交変換装置１０４の出力が供給される量子化装置１０５、この量子化装置１０５の出力が供給される可逆符号化装置１０６及び逆量子化装置１０８、上記可逆符号化装置１０６の出力が供給される蓄積バッファ１０７、上記逆量子化装置１０８の出力が供給される逆直交変換装置１０９、この逆直交変換装置１０９の出力が供給されるデブロックフィルタ１１０、このデブロックフィルタ１１０の出力が供給されるフレームメモリ１１１、上記蓄積バッファ１０７の出力が供給されるレート制御装置１１４等からなる。

この画像情報符号化装置１００において、入力となる画像信号は、まず、Ａ／Ｄ変換装置１０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替えバッファ１０２においてフレームの並べ替えが行われる。イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測装置１１２により生成される画素値の差分情報が直交変換装置１０４に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換装置１０４の出力として得られる変換係数は、量子化装置１０５において量子化処理が施される。量子化装置１０５の出力として得られる量子化された変換係数は、可逆変換装置１０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ１０７に蓄積され、画像圧縮情報として出力される。量子化装置１０５の挙動はレート制御装置１１４によって制御される。同時に、量子化装置１０５の出力として得られる量子化された変換係数は、逆量子化装置１０８に入力され、更に逆直交変換装置１０９において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ１１０においてブロック歪の除去が施された後、その情報はフレームメモリ１１１に蓄積される。イントラ予測装置１１２において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化装置１０６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。

インター符号化が行われる画像に関しては、まず、画像情報は動き予測・補償装置１１３に入力される。同時に参照となる画像情報がフレームメモリ１１１より取り出され、動き予測・補償処理を施され、参照画像情報が生成される。参照画像情報は加算器１０３に送られ、ここで当該画像情報との差分信号へ変換される。動き補償・予測装置１１３は、同時に動きベクトル情報を可逆符号化装置１０６に出力し、その情報は可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。

図２に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置１５０の構成例のブロック図を示す。

この画像情報復号化装置１５０は、画像圧縮情報が供給される蓄積バッファ１１５、この蓄積バッファ１１５から読み出された画像圧縮情報が供給される可逆符号化装置１１６、この可逆符号化装置１１６の出力が供給される逆量子化装置１１７、この逆量子化装置１１７の出力が供給される逆直交変換装置１１８、この逆直交変換装置１１８の出力が供給される加算器１１９、この加算器１１９の出力がデブロックフィルタ１２５を介して供給される画面並べ替えバッファ１２０及びフレームメモリ１２２、上記画面並べ替えバッファ１２０の出力がＤ／Ａ変換装置１２１、上記フレームメモリ１２２の出力が供給される動き補償・補償装置１２３及びイントラ予測装置１２４等からなる。

この画像情報復号化装置１５０において、入力となる画像圧縮情報は、まず、蓄積バッファ１１５に格納された後、可逆復号化装置１１６に転送される。ここで、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがイントラ符号化されたものである場合、可逆復号化装置１１６においては、画像圧縮情報のヘッダ部に格納されたイントラ予測モード情報をも復号化し、その情報をイントラ予測装置１２４へ伝送する。当該フレームがインター符号化されたものである場合、可逆復号化装置１１６においては、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号化し、その情報を動き予測・補償装置１２３へ転送する。

可逆復号化装置１１６の出力として得られる量子化された変換係数は、逆量子化装置１１７に入力され、ここで変換係数として出力される。変換係数は、逆直交変換装置１１８において、定められた方式に基づき、４次の逆直交変換が施される。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、イントラ予測装置１２４において生成された予測画像との合成が、加算器１１９において行われ、更に、デブロックフィルタ１２５においてブロック歪の除去が施された後、画面並べ替えバッファ１２０に格納され、Ｄ／Ａ変換処理の後に出力される。

当該フレームがインター符号化されたものである場合には、可逆復号化処理が施された動きベクトル情報、及びフレームメモリ１２２に格納された画像情報を元に参照画像が生成され、この参照画像と、逆直交変換装置１１８の出力とが、加算器１２０において合成される。その他の処理はイントラ符号化されたフレームと同様である。

ところで、図１に示した画像情報符号化装置において、高い圧縮効率を実現するために、動き予測・補償装置１１２が重要な役割を果たす。ＡＶＣ符号化方式においては、以下に述べる３つの方式を導入することで、従来のＭＰＥＧ２・４等の画像符号化方式と比較して高い圧縮効率を実現している。すなわち、第一の方式はマルチプルリファレンスフレーム（Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ）、第二の方式は、可変動き予測・補償ブロックサイズ、第三の方式は、ＦＩＲフィルタを用いた、１／４画素精度の動き補償である。

まず、ＡＶＣ符号化方式で規定されているマルチプルリファレンスフレームについて述べる。

ＡＶＣにおいては、図３に示すとおり、複数の参照フレームを持ち、それぞれの動き補償ブロック毎に、複数の参照フレームのどれを用いるかを指定することが可能である。

これは、例えば、直前のフレームにおいては、オクルージョン（ｏｃｃｌｕｓｉｏｎ）により、参照すべきブロックが存在しない場合でも、過去に遡って参照を行うことで、符号化効率の低下を防ぐことが可能となる。

また、参照となる画像にフラッシュが存在した場合、このフレームを参照することにより符号化効率は著しく低下するが、この場合も、過去に遡って参照を行うことで、符号化効率の低下を防ぐことが可能となる。

次に、ＡＶＣ符号化方式で規定されている、可変ブロックサイズについて述べる。

ＡＶＣ符号化方式においては、図４に示すように、一つのマクロブロックを最小で８×８の動き補償ブロックに分割することが可能である。更に、８×８動き補償ブロックに関しては、最小で４×４のサブパーティションに分割することが可能である。各マクロブロックにおいて、それぞれの動き補償ブロックは、別個の動きベクトル情報を持つことが可能である。

次に、ＡＶＣ符号化方式で規定されている１／４画素精度の動き補償処理について述べる。

以下では、図５を用いて、１／４画素精度の動き補償処理について説明する。

ＡＶＣ符号化方式では、１／２画素精度の画素値を生成するため、次の式１に示すようなフィルタ係数を有する６タップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが定義されている。

図５に示す画素値ｂ，ｈに対する動き補償（補間）に関しては、式１のフィルタ係数を用いて、まず式２に示すように積和演算を行う。

その後式３に示す処理を行う。

ここでＣｌｉｐ１は（０，２５５）間でのクリップ処理を示す。また。＞＞５は、５ビットシフトすなわち２^５の除算を示す。

また、画素値ｊに関しては、ｂ，ｈと同様の手法で画素値ａａ，ｂｂ，ｃｃ，ｄｄ，ｅｅ，ｆｆ，ｇｇ，ｈｈを生成した後、式４に示すように積和演算が施され、式５に示すようなクリップ処理によって算出される。
る。

画素値ａ，ｃ，ｄ，ｎ，ｆ，ｉ，ｋ，ｑに関しては、次の式６に示すように、整数画素精度の画素値と、１／２画素精度の画素値の線形内挿により求められる。

また、画素値ｅ，ｇ，ｐに関しては、次の式７に示すように、１／２画素精度の画素値を用いた線形内挿により求められる。

特開２００４−５６８２７号公報

ところで、図１に示した画像情報符号化装置１００では、動きベクトルの探索に多くの演算量を要する。実時間動作する装置を構築するためには、画質劣化を最小限に抑えながら、動きベクトル探索に要する演算量を如何に削減するかが鍵となる。

しかしながら、ＡＶＣ符号化方式では、先に述べたように、マルチプルリファレンスフレーム、可変動き予測・補償ブロックサイズ、及び、１／４画素精度の動き補償が許されているため、候補参照フレームの数が増えてくると、動き予測・補償におけるリファインメント（Ｒｅｆｉｎｅｍｅｎｔ）処理でも重くなってしまう。

さらに、画像符号化装置（Ｈ／Ｗ化）を考えた場合には、マクロブロック内の全てのブロックサイズに対して参照フレーム毎に、動き探索処理を行うため、メモリへのアクセスが頻繁になるため、場合によってはメモリ帯域をあげる必要が出てくる。

ところで、図１に示した画像情報符号化装置１００においては、動きベクトルの探索に多くの演算量を要する。実時間動作する装置を構築するためには、画質劣化を最小限に抑えながら、動きベクトル探索に要する演算量を如何に削減するかが鍵となる。

かかる問題を解決するため、本件発明者らは、先に、図６に示すような構成の画像情報符号化装置２００を提案している。

この画像情報符号化装置２００は、画面並べ替えバッファ２２７、加算器２２８、直交変換装置２２９、量子化装置２３０、可逆符号化装置２３１、蓄積バッファ２３２、逆量子化装置２３３、逆直交変換装置２３４、デブロックフィルタ２３５、フレームメモリ（フル解像度）２３６、間引き装置２３７、動き予測・補償装置（１／Ｎ^２解像度）３８、フレームメモリ（１／Ｎ^２解像度）２３９、イントラ予測装置２４０、動き予測・補償装置（フル解像度）２４１、レート制御装置２４２からなる。

図１に示した画像情報符号化装置１００と、図６に示した画像情報符号化装置２００の違いは、間引き装置２３７、フレームメモリ（１／Ｎ^２解像度）２３９、動き予測・補償装置（１／Ｎ２解像度）２３８並びに、動き予測・補償装置（フル解像度）２４１における動作原理にある。以下では、これらにおける動作原理について説明する。

まず、図７を用いて、間引き装置２３７の動作原理を説明する。すなわち、間引き装置３７は、フレームメモリ（フル解像度）２３６に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、１／Ｎ間引き処理を行い、これにより生成された画素値を、フレームメモリ（１／Ｎ２解像度）２３９に格納する。

動き予測・補償装置（１／Ｎ２解像度）２３８においては、フレームメモリ（１／Ｎ２解像度）３９に格納された画素値を用い、８×８ブロック、若しくは１６×１６ブロックの画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う。その際、全ての画素値を用いて予測エネルギーを計算するのではなく、図８に示すように、碁の目状に指定された画素値を用いて、計算を行う。

当該ピクチャをフィールド符号化する際には、図７に示した間引き処理は、第一フィールドと第二フィールドに分けて行う。

このように、縮小画像を用いて探索された動きベクトル情報は、動きベクトル探索装置（フル解像度）４１へ入力される。例えば、Ｎ＝２のとき、動き予測・補償装置（１／４解像度）２３８において、探索の単位が８×８ブロックであった場合には、一つのマクロブロックに対して、１つの１６×１６ブロックが、探索の単位が１６×１６ブロックであった場合には、四つのマクロブロックに対して１つの１６×１６ブロックが求まっていることになるが、動きベクトル探索装置（フル解像度）２４１においては、これらの１６×１６動きベクトルを中心としたごく僅かの範囲を、図４において定義された全ての動きベクトル情報の探索を行う。このように、縮小画像上で求まった動きベクトル情報を元に、ごく僅かの探索範囲に対して動き予測を行うことで、画質劣化を最小限に抑えながら、演算量を大幅に削減することが可能である。

それぞれの動き補償ブロックに対する参照フレームの決定は、以下のように行われる。

すなわち、動き予測・補償装置（１／Ｎ^２解像度）２３８においては、候補となる全ての参照フレームに対する動きベクトルの検出を行う。動き予測・補償装置（フル解像度）４１において、それぞれの参照フレームに対して求められた動きベクトルのＲｅｆｉｎｅｍｅｎｔを行った後、残差若しくはなんらかのコスト関数を最小にするような参照フレームを、当該動き補償ブロックに対する参照フレームとして選択する。

ところで、ＡＶＣでは先に述べたように、Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ、可変動き予測・補償ブロックサイズ、及び１／４画素精度の動き補償が許されているため、候補参照フレームの数が増えてくると、動き予測・補償装置（フル解像度）４１におけるＲｅｆｉｎｅｍｅｎｔ処理でも重くなってしまう。

更に、画像符号化装置（Ｈ／Ｗ化）を考えた場合には、マクロブロック内の全てのブロックサイズに対して参照フレーム毎に、動き探索処理を行うため、メモリへのアクセスが頻繁になるため、場合によってはメモリ帯域をあげる必要が出てくる。

かかる問題を解決するため、本件発明者らは、先に、特願２００４−１９１９３７号として、複数の参照フレーム画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行うにあたり、間引き装置において、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成し、参照フレーム決定装置により縮小画像上で縮小参照画像を決定し、生成された縮小画像を用いて動き予測・補償装置（１／Ｎ^２解像度）において動きベクトルを探索し、動き予測・補償装置（フル解像度）により、縮小前の画像について、上記動き予測・補償装置（１／Ｎ^２解像度）において探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行うようにした図９に示すような構成の画像情報符号化装置３００を提案している。

この画像情報符号化装置３００は、Ａ／Ｄ変換装置３０１、画面並べ替えバッファ３０２、加算器３０３、直交変換装置３０４、量子化装置３０５、可逆符号化装置３０６、蓄積バッファ３０７、逆量子化装置３０８、逆直交変換装置３０９、デブロックフィルタ３１０、フレームメモリ（フル解像度）３１１、間引き装置３１２、フレームメモリ（１／Ｎ^２解像度）３１３、参照フレーム決定装置３１４、動き予測・補償装置（１／Ｎ２解像度）３１５、イントラ予測装置３１６、動き予測・補償装置（フル解像度）３１７、レート制御装置３１８からなる。

図６に示した画像情報符号化装置１００と、図９に示した画像情報符号化装置３００の違いは、参照フレーム決定装置３５６、動き予測・補償装置（１／Ｎ^２解像度）３１４、並びに動き予測・補償装置（フル解像度）３１７における動作原理にある。以下では、参照フレーム決定装置３１５、動き予測・補償装置（１／Ｎ^２解像度）３１４、並びに動き予測・補償装置（フル解像度）３１７における動作原理についてのみ説明する。

図１０にフィールドコーディングのときの具体的な例を示す。当該フィールドがＢピクチャのボトムフィールドで、参照フィールドがＦｏｒｅｗｏｒｄ（Ｌｉｓｔ０）側、Ｂａｃｋｗｏｒｄ（Ｌｉｓｔ１）側が共に２フィールドの時、さらにフレームメモリ（１／Ｎ^２解像度）３５５の縮小率Ｎが４のときの例である。

従来の画像情報符号化装置１００では、参照フィールドごとにブロックマッチングにより、最適な動きベクトルを動き予測・補償装置（１／Ｎ^２解像度）３１４で導出し、その動きベクトルを中心に動き予測・補償装置（フル解像度）３１５において、全てのブロックサイズに対するｒｅｆｉｎｅｍｅｎｔ処理を行い、参照フィールドをＬｉｓｔ毎に決定した。

この画像情報符号化装置３００では、図１１、図１２に示す方法（ステップＳ１０１〜Ｓ１１１）で参照フレーム決定装置３１５において参照フィールドを決定する。

図１０に示した縮小率（１／４）では、図１１（ａ）に示すように、動き予測・補償装置（１／１６解像度）３１４でのブロックマッチングの単位を１６ｘ１６にした場合、動き予測・補償装置（フル解像度）３１７では４×４マクロブロック（１６個分）への動きベクトルが同一に設定される。

そして、この画像情報符号化装置３００では、図１１（ｂ）のように１６ｘ１６ブロックを１６ｘ４の帯に分割し、動き予測・補償装置（１／１６解像度）３１４での１６ｘ１６ブロックマッチングの際に、１６ｘ４の帯毎に、エネルギー（ＳＡＤ）を保持する。

つまり、図１１（ｂ）のように、帯の上からインデックス（ＢｌｋＩｄｘ）を０…３とつけると、参照フィールドごとに、次のようなＳＡＤ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］を得ることができる。

ここで、ＳＡＤ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］はＬｉｓｔのｒｅｆＩｄｘ毎に１６ｘ１６ブロックマッチングによって求められた最適な動きベクトルに対してＢｌｋＩｄｘ毎にＳＡＤを格納したものを表す。

さらに、各参照フィールドで１６ｘ１６ブロックマッチングにより、最適な動きベクトルＭＶ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］（ＭＶ＿Ｌｉｓｔ０［０］、ＭＶ＿Ｌｉｓｔ０［１］、ＭＶ＿Ｌｉｓｔ１［０］、ＭＶ＿Ｌｉｓｔ１［１］）を得ている。

ここで、参照フレーム決定装置３１５では、次式で表すように、各Ｌｉｓｔの対応したＢｌｋＩdx毎に残差エネルギーの大小比較を行い、エネルギーの小さい参照フィールドを１６x４単位での参照フィールドであると決定する。

また、決められたｒｅｆＩｄｘ毎に動きベクトルＭＶ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］の切り替えも行う。

以上の処理フローをまとめると、図１２のようになる。

以上で得られたＬｉｓｔ毎・ＢｌｋＩｄｘ毎に求められた、ｒｅｆＩｄｘおよび動きベクトルの周りだけｒｅｆｉｎｅｍｅｎｔ処理を行うことで、ｒｅｆｉｎｅｍｅｎｔ処理の演算量を削減し、ＭＥの高速化を図ることができる。

また、上記処理では、４×１ＭＢの帯でrefIdxおよび動きベクトルが揃っているため、refinement処理において、動きベクトルを探索する領域をメモリアクセスする際に、当該MBの前に探索したメモリを再利用し、新たに必要な領域だけアクセスすることでメモリアクセスの低減も可能となる。その様子を図１３に示す。

しかしながら、上述の方法では図１４に示すような状況で、主観画質の劣化や圧縮効率の劣化を招いてしまう。

原理的には原因としては、サーチの単位はあくまで４×４ＭＢの単位となるため、図１４に示すようにあるオブジェクトが４×１ＭＢの帯１から帯３の領域に渡っている場合、帯０に限定すると例えば（０，０）ポイントの方がエネルギー的に最適でも階層サーチは４×４ＭＢでのエネルギーの最適ポイントをサーチするように作用するので結果的に図９に示すようにオブジェクトの動きを追うように作用する。

ところが、参照面決定の判定は４×１ＭＢの帯で行うため、帯０としては本来の階層動きベクトルとは違うベクトルが与えられることになる。

この作用により画質の劣化や圧縮効率の悪化を招くことになる。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、画質の劣化や圧縮効率の悪化を招くことなく、動きベクトル探索の高速化や、メモリアクセスの低減を実現することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、上述した課題を解決するために、Ａ／Ｄ変換装置、画面並べ替えバッファ、加算器、直交変換装置、量子化装置、可逆符号化装置、蓄積バッファ、逆量子化装置、逆直交変換装置、デブロックフィルタ、フレームメモリ（フル解像度）、間引き装置、フレームメモリ（１／Ｎ^２解像度）、動き予測・補償装置（１／Ｎ^２解像度）、イントラ予測装置、動き予測・補償装置（フル解像度）並びにレート制御装置を兼ね備え、階層探索を行う際、（０，０）ポイントのサーチ結果を４×４ＭＢ単位での最小エネルギーとは関係なく保持し、そのデータとサーチ結果のエネルギー最適ポイントのデータを持って縮小画像上で参照フレームと階層動きベクトルの決定を行うことで、動き予測・補償装置（フル解像度）での演算量の削減（高速化）、並びに、Ｈ／Ｗ化した際には、効率的なメモリアクセスを行う手段を提供すると同時に、画質を改善し、圧縮効率の改善を実現する。

すなわち、本発明は、複数の参照フレーム画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償方法であって、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化ステップと、上記階層化ステップにおいて生成された縮小画像を用いて動きベクトルを探索する第１の動き予測補償ステップと、上記第１の動き予測補償ステップにおいて使用する縮小参照画像を縮小画像上で決定する参照画決定ステップと、縮小前の画像について、上記第１の動き予測補償ステップで探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行う第２の動き予測補償ステップとを備え、上記第１の動き予測補償ステップでは、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ‘×Ｎ‘（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ‘×Ｎ‘単位で保持するとともにサーチポイント（０，０）のブロックマッチングの結果を保持することを特徴とする。

また、本発明に係る動き予測補償方法において、上記参照画決定ステップでは、例えば、階層探索の最適点と任意のポイントでＭ‘×Ｎ’の単位で大小比較を行い動きベクトルを切り替える。

また、本発明に係る動き予測補償方法において、上記参照画決定ステップでは、例えば、参照画像ごとにＭ’×Ｎ’の単位で大小比較を行い参照画像と動きベクトルを切り替える。

また、本発明に係る動き予測補償方法において、上記参照画決定ステップでは、例えば、分割したブロックの評価指標値が各参照画画像で同値となった場合に、参照フレーム（ｒｅｆＩｄｘ）が小さいほうを採用する。

また、本発明に係る動き予測補償方法において、上記第１の動き予測補償ステップでは、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる直交変換された差分絶対値和（ＳＡＴＤ）をＭ’×Ｎ’単位で保持する。

また、本発明に係る動き予測補償方法において、上記第１の動き予測補償ステップでは、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる差分２乗和（ＳＳＤ）をＭ’×Ｎ’単位で保持する。

また、本発明に係る動き予測補償方法において、上記参照画決定ステップでは、例えば、ブロックマッチングの結果から算出される評価指標値とともに、参照フレーム（ｒｅｆＩｄｘ）の大きさを任意の重み付けで足し込んだ値を評価指標とする。

さらに、本発明に係る動き予測補償方法において、上記第１の動き予測補償ステップでは、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ’×Ｎ’単位で保持するとともに、サーチポイント（０，０）のポイントとともに任意の設定ポイントのサーチ結果を保持する。

また、本発明は、複数の参照フレーム画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償装置であって、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化手段と、上記階層化手段において生成された縮小画像を用いて動きベクトルを探索する第１の動き予測補償手段と、上記第１の動き予測補償手段において使用する縮小参照画像を縮小画像上で決定する参照画決定手段と、縮小前の画像について、上記第１の動き予測補償手段で探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行う第２の動き予測補償手段とを備え、上記第１の動き予測補償手段では、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ‘×Ｎ‘単位で保持するとともにサーチポイント（０，０）のブロックマッチングの結果を保持することを特徴とする。

また、本発明に係る動き予測補償装置において、上記参照画決定手段では、例えば、階層探索の最適点と任意のポイントでＭ’×Ｎ’の単位で大小比較を行い動きベクトルを切り替える。

また、本発明に係る動き予測補償装置において、上記参照画決定手段では、例えば、参照画像ごとにＭ’×Ｎ’の単位で大小比較を行い参照画像と動きベクトルを切り替えることを特徴とする。

また、本発明に係る動き予測補償装置において、上記参照画決定手段では、例えば、分割したブロックの評価指標値が各参照画画像で同値となった場合に、参照フレーム（ｒｅｆＩｄｘ）が小さいほうを採用する。

また、本発明に係る動き予測補償装置において、上記第１の動き予測補償手段では、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる直交変換された差分絶対値和（ＳＡＴＤ）をＭ’×Ｎ’単位で保持することを特徴とする。

また、本発明に係る動き予測補償装置において、上記第１の動き予測補償手段では、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる差分２乗和（ＳＳＤ）をＭ’×Ｎ’単位で保持する。

また、本発明に係る動き予測補償装置において、上記参照画決定手段では、例えば、ブロックマッチングの結果から算出される評価指標値とともに、参照フレーム（ｒｅｆＩｄｘ）の大きさを任意の重み付けで足し込んだ値を評価指標とすることを特徴とする。

さらに、本発明に係る動き予測補償装置において、上記第１の動き予測補償手段では、例えば、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ’×Ｎ’単位で保持するとともに、サーチポイント（０，０）のポイントとともに任意の設定ポイントのサーチ結果を保持する。

本発明では、ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、縮小画像上でのサーチ時にエネルギー最小となるポイントのサーチ結果だけではなく、（０，０）ポイント（または任意のポイント）のサーチ結果を任意の単位で別途保持することにより、先に示した縮小面におけるサーチの不具合を改善し、縮小画像上で参照フレーム（ｒｅｆＩｄｘ）を任意の単位ごとに決定することで、リファインメント処理を削減することで、動きベクトル探索の高速化や、メモリアクセスの低減を実現することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１５に示すような構成の画像情報符号化装置２０に適用される。

この画像情報符号化装置２０は、本件発明者らが、先に、特願２００４−１９１９３７号として提案した図９の画像情報符号化装置２００を改良したもので、入力となる画像信号が供給されるＡ／Ｄ変換装置１、このＡ／Ｄ変換装置１によりデジタル化された画像データが供給される画面並べ替えバッファ２、この画面並べ替えバッファ２から読み出された画像データが供給される加算器３、イントラ予測装置１６及び動き予測・補償装置１７、上記加算器３の出力が供給される直交変換装置４、この直交変換装置４の出力が供給される量子化装置５、この量子化装置５の出力が供給される可逆符号化装置６及び逆量子化装置８、上記可逆符号化装置６の出力が供給される蓄積バッファ７、この蓄積バッファ７の出力が供給されるレート制御装置１８、上記逆量子化装置８の出力が供給される逆直交変換装置９、この逆直交変換装置９の出力が供給されるデブロックフィルタ１０、このデブロックフィルタ１１０の出力が供給されるフレームメモリ（フル解像度）１１、上記フレームメモリ（フル解像度）１１の出力が供給される間引き装置１２、この間引き装置１２の出力が供給されるフレームメモリ（１／Ｎ^２解像度）１３、このフレームメモリ（１／Ｎ^２解像度）１３の出力が供給される動き予測・補償装置（フル解像度）１４、この動き予測・補償装置（フル解像度）１４に接続された参照フレーム決定装置１５等を備えてなる。

ここで、図９に示した画像情報符号化装置２００と、この画像情報符号化装置２０の違いは、参照フレーム・階層動きベクトル決定装置１４、動き予測・補償装置（１／N^２解像度）１５における動作原理にある。以下では、参照フレーム・階層動きベクトル決定装置１４、動き予測・補償装置（１／Ｎ^２解像度）７５における動作原理について説明する。

上記画像情報符号化装置２００の場合と同様に図１０に示された具体的な例を用いて解説する。当該フィールドがＢピクチャのボトムフィールドで、参照フィールドがＦｏｒｅｗｏｒｄ（Ｌｉｓｔ０）側、Ｂａｃｋｗｏｒｄ（Ｌｉｓｔ１）側が共に２フィールドの時、さらにフレームメモリ（１／Ｎ^２解像度）５５の縮小率Ｎが４のときの例である。

まず、動き予測・補償装置（１／Ｎ^２解像度）７５における動作原理に述べる。

画像情報符号化装置２００では、動き予測・補償装置（１／Ｎ^２解像度）１５は単純にサーチ単位でのエネルギー最小のポイントだけを探索していたが、この画像情報符号化装置２００では、サーチ単位でのエネルギー最小のポイントを保持するとともに、（０，０）のポイントのエネルギーを参照面決定の単位である４×１ＭＢの帯毎にエネルギーを保持する。

ここでは、動き探索の結果の結果をＳＡＤ［０］［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］と定義し、（０，０）ポイントの結果をＳＡＤ［１］［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］と定義する。

保持するエネルギーの動きベクトルのポイントは（０，０）のポイントに限らず、任意のポイントでも構わない。

次に、参照フレーム・階層動きベクトル決定装置１４について解説する。

まず第一に図１１の（ｂ）に示した４×１ＭＢの帯の単位で、ＳＡＤ［０］とＳＡＤ［１］の大小比較から当該ＢｌｋＩｄｘでの１参照面当たりの動きベクトルとエネルギーの組を決定する。

ここでは、得られたエネルギーをＳＡＤ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］と定義する。

同時に得られた動きベクトルをＭｖ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］と定義する。

ここで、比較に用いる指標値をＳＡＤとしたが、ＳＡＴＤやＳＳＤを用いてもよい。

また、残差エネルギーから求められる、ＳＡＤ・ＳＡＴＤ・ＳＳＤだけを指標値とするのではなく、Ｍｖ値も任意の重み付け（λ_１）でＳＡＤ等に足し込んだ値を評価指標値としてもよい。

この画像情報符号化装置２０において、入力となる画像信号は、まず、Ａ／Ｄ変換装置１０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ(Group of Pictures)構造に応じ、画面並べ替えバッファ２においてフレームの並べ替えが行われる。イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測装置１６により生成される画素値の差分情報が直交変換装置４に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。

直交変換装置４の出力として得られる変換係数は、量子化装置５において量子化処理が施される。量子化装置５の出力として得られる量子化された変換係数は、可逆変換装置６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ７に蓄積され、画像圧縮情報として出力される。量子化装置５の挙動はレート制御装置１８によって制御される。同時に、量子化装置５の出力として得られる量子化された変換係数は、逆量子化装置８に入力され、更に逆直交変換装置９において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ１０においてブロック歪の除去が施された後、その情報はフレームメモリ１１に蓄積される。イントラ予測装置１６において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化装置６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。

インター符号化が行われる画像に関しては、まず、画像情報は動き予測・補償装置１７に入力される。同時に参照となる画像情報がフレームメモリ１１より取り出され、動き予測・補償処理を施され、参照画像情報が生成される。参照画像情報は加算器３に送られ、ここで当該画像情報との差分信号へ変換される。動き補償・予測装置１７は、同時に動きベクトル情報を可逆符号化装置６に出力し、その情報は可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。

そして、この画像情報符号化装置２０において、間引き装置１２では、図７に示すように、フレームメモリ（フル解像度）１１に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、１／Ｎ間引き処理を行い、これにより生成された画素値を、フレームメモリ（１／Ｎ^２解像度）１３に格納する。

また、動き予測・補償装置（１／Ｎ^２解像度）１４では、フレームメモリ（１／Ｎ^２解像度）１３に格納された画素値を用い、８×８ブロック、若しくは１６×１６ブロックの画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う。その際、全ての画素値を用いて予測エネルギーを計算するのではなく、図８に示すように、碁の目状に指定された画素値を用いて、計算を行う。

当該ピクチャをフィールド符号化する際には、図７に示した間引き処理は、第一フィールドと第二フィールドに分けて行う。

このように、縮小画像を用いて探索された動きベクトル情報は、動き予測・補償装置（フル解像度）１７へ入力される。例えば、Ｎ＝２のとき、動き予測・補償装置（１／４解像度）１４において、探索の単位が８×８ブロックであった場合には、一つのマクロブロックに対して、１つの１６×１６ブロックが、探索の単位が１６×１６ブロックであった場合には、四つのマクロブロックに対して１つの１６×１６ブロックが求まっていることになるが、動き予測・補償装置（フル解像度）１７においては、これらの１６×１６動きベクトルを中心としたごく僅かの範囲を、図４において定義された全ての動きベクトル情報の探索を行う。このように、縮小画像上で求まった動きベクトル情報を元に、ごく僅かの探索範囲に対して動き予測を行うことで、画質劣化を最小限に抑えながら、演算量を大幅に削減することが可能である。

それぞれの動き補償ブロックに対する参照フレームの決定は、以下のように行われる。

すなわち、動き予測・補償装置（１／Ｎ^２解像度）１４においては、候補となる全ての参照フレームに対する動きベクトルの検出を行う。動き予測・補償装置（フル解像度）１７において、それぞれの参照フレームに対して求められた動きベクトルのＲｅｆｉｎｅｍｅｎｔを行った後、残差若しくはなんらかのコスト関数を最小にするような参照フレームを、当該動き補償ブロックに対する参照フレームとして選択する。

ところで、ＡＶＣでは先に述べたように、マルチプルリファレンスフレーム、可変動き予測・補償ブロックサイズ、及び１／４画素精度の動き補償が許されているため、候補参照フレームの数が増えてくると、動き予測・補償装置（フル解像度）１７におけるリファインメント処理でも重くなってしまう。

さらに、画像符号化装置（Ｈ／Ｗ化）を考えた場合には、マクロブロック内の全てのブロックサイズに対して参照フレーム毎に、動き探索処理を行うため、メモリへのアクセスが頻繁になるため、場合によってはメモリ帯域をあげる必要が出てくる。

ここで、フィールドコーディングのときの具体的な例を図９に示す。当該フィールドがＢピクチャのボトムフィールドで、参照フィールドが前方（Ｌｉｓｔ０）側、後（Ｌｉｓｔ１）側が共に２フィールドの時、さらにフレームメモリ（１／Ｎ^２解像度）１３の縮小率Ｎが４のときの例である。

参照フィールドごとにブロックマッチングにより、最適な動きベクトルを動き予測・補償装置（１／Ｎ^２解像度）１４で導出し、その動きベクトルを中心に動き予測・補償装置（フル解像度）１７において、全てのブロックサイズに対するｒｅｆｉｎｅｍｅｎｔ処理を行い、参照フィールドをＬｉｓｔ毎に決定したのでは、動き予測・補償装置（フル解像度）１７におけるＲｅｆｉｎｅｍｅｎｔ処理が重くなってしまうので、この画像情報符号化装置２０では、参照フレーム決定装置１５において、図１０及び図１１に示すように参照フィールドを決定する。

図９に示した縮小率（１／４）では、図１０（ａ）に示すように、動き予測・補償装置（１／１６解像度）５７でのブロックマッチングの単位を１６×１６にした場合、動き予測・補償装置（フル解像度）５９では４×４マクロブロック（１６個分）への動きベクトルが同一に設定される。

この画像情報符号化装置２０では、図１０（ｂ）のように１６×１６ブロックを１６×４の帯に分割し、動き予測・補償装置（１／１６解像度）１４での１６×１６ブロックマッチングの際に、１６×４の帯毎に、エネルギー（ＳＡＤ）を保持する。

つまり、図１０（ｂ）のように、帯の上からインデックス（ＢｌｋＩｄｘ）を０…３とつけると、参照フィールドごとに、上述の式８で表すようなエネルギー（ＳＡＤ）を得ることができる。

ここで、ＳＡＤ＿ＬｉｓｔＸ［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］はＬｉｓｔＸのｒｅｆＩｄｘ毎に１６×１６ブロックマッチングによって求められた最適な動きベクトルに対してＢｌｋＩｄｘ毎にＳＡＤを格納したものを表す。

さらに、各参照フィールドで１６×１６ブロックマッチングにより、最適な動きベクトルＭＶ＿ＬｉｓｔＸ［ｒｅｆＩｄｘ］（ＭＶ＿Ｌｉｓｔ０［０］、ＭＶ＿Ｌｉｓｔ０［１］、ＭＶ＿Ｌｉｓｔ１［０］、ＭＶ＿Ｌｉｓｔ１［１］）を得ている。

ここで、参照フレーム決定装置５６では、上述の式９で表すように、各Ｌｉｓｔの対応したＢｌｋＩｄｘ毎に残差エネルギーの大小比較を行い、エネルギーの小さい参照フィールドを１６×４単位での参照フィールドであると決定する。

また、決められたｒｅｆＩｄｘ毎に動きベクトルＭＶ＿ＬｉｓｔＮ［ｒｅｆＩｄｘ］の切り替えも行う。

エネルギーが同値の場合には、ｒｅｆＩｄｘの小さなフィールドを参照フィールドとする。

上記処理によりＢｌｋＩｄｘ毎に参照フィールド（ｒｅｆＩｄｘ＿ＬｉｓｔＮ［ＢｌｋＩｄｘ］）および、動きベクトル（ＭＶ＿ＬｉｓｔＮ［ＢｌｋＩｄｘ］）を得る。

ここで、比較に用いる指標値をＭ×Ｎのブロックマッチングの結果として得られる差分絶対値和（ＳＡＤ）としたが、Ｍ×Ｎのブロックマッチングの結果として得られる直交変換された差分絶対値和（ＳＡＴＤ）や差分２乗和（ＳＳＤ）を用いてもよい。

また、残差エネルギーから求められるＳＡＤ，ＳＡＴＤあるはＳＳＤだけを指標値とするのではなく、ｒｅｆＩｄｘ値も任意の重み付け（λ_１）でＳＡＤ等に足し込んだ値を評価指標値としてもよい。

評価指標をＣｏｓｔという名前で定義すると式１０のように表す。

さらに、評価指標には、動きベクトルの情報量を加えてもよい。

具体的には、式１１のように重み付け変数λ_２を用いて評価指標生成式を定義する。

すなわち、この画像情報符号化装置２０では、図１６のフローチャートに示す手順に従って、画像処理を行う。

すなわち、間引き装置１２によりフレームメモリ（フル解像度）１１に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、１／Ｎ間引き処理を行い、これにより生成された画素値を、フレームメモリ（１／Ｎ^２解像度）１３に格納する（ステップＳ１）。

ＬｉｓｔＮ（Ｎ＝０）とする（ステップＳ２）。

ｒｅｆＩｄｘ＝０とする（ステップＳ３）。

動き予測・補償装置（１／Ｎ^２解像度）１４により、フレームメモリ（１／Ｎ^２解像度）１３に格納された画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う（ステップＳ４）。

そして、サーチポイント（０，０）のＳＡＤ値をＢｌｋＩｄｘ毎に格納する（ステップＳ５）。

また、ブロックマッチングの結果として得られるＳＡＤが最小値となるポイントでＢｌｋＩｄｘ毎にＳＡＤ値を格納する（ステップＳ６）。

次に、ステップＳ５でＢｌｋＩｄｘ毎に格納されたサーチポイント（０，０）のＳＡＤ値（ＳＡＤ［１］［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］）とステップＳ５でＢｌｋＩｄｘ毎にＳＡＤが最小値となるポイントで格納されたＳＡＤ値（ＳＡＤ［０］［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］）を比較して、当該BlkIdxでの１参照面当たりの動きベクトルとエネルギーの組（ＳＡＤ［Ｌｉｓｔ］［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］）を決定する。

次に、ＬｉｓｔＮのｒｅｆＩｄｘ毎に１６×１６ブロックマッチングによって求められた最適な動きベクトルに対してＢｌｋＩｄｘ毎にＳＡＤを格納したものを表すＳＡＤ＿ＬｉｓｔＮ［ｒｅｆＩｄｘ］［ＢｌｋＩｄｘ］を求める（ステップＳ７）。

そして、ｒｅｆＩｄｘをインクリメントする（ステップＳ８）。

ｒｅｆＩｄｘが最終値になったか否かを判定して（ステップＳ９）、その判定結果がＮＯである場合には上記ステップＳ４に戻ってステップＳ４〜ステップＳ９の処理を繰り返し行う。

上記ステップＳ９における判定結果がＹＥＳになったら、ＬｉｓｔＮでＢｌｋＩｄｘ毎にＳＡＤが最小値となるｒｅｆＩｄｘを求める（ステップＳ１０）。

次に、Ｌｉｓｔ（Ｎ＋＋）すなわちリスト番号（Ｎ）をインクリメントする（ステップＳ１１）。

そして、Ｌｉｓｔ１であるか否かを判定して（ステップＳ１２）、その判定結果がＹＥＳである場合には上記ステップＳ３に戻ってステップＳ３〜ステップＳ１１の処理を繰り返し行い、また、上記ステップＳ１における判定結果がＮＯである場合には、処理を終了する。

以上のようにして得られたＬｉｓｔ毎・ＢｌｋＩｄｘ毎に求められたｒｅｆＩｄｘ及び動きベクトルの周りだけリファインメント処理を行うことで、リファインメント処理の演算量を削減し、ＭＥの高速化を図ることができる。

また、上記処理では、４×１ＭＢの帯でｒｅｆＩｄｘおよび動きベクトルが揃っているため、リファインメント処理において、動きベクトルを探索する領域をメモリアクセスする際に、当該ＭＢの前に探索したメモリを再利用し、新たに必要な領域だけアクセスすることでメモリアクセスの低減も可能となる。

フィールドを例にあげて説明したが、これはフレームにも同様に適用できる。

さらに、４×１ＭＢの帯を例に上げたが、Ｍ×Ｎのマクロブロックを縮小画でのブロックマッチングの単位とした場合に、Ｍ×Ｎ’（Ｎ’は１以上Ｎ以下）や、Ｍ’×Ｎ（Ｍ’は１以上Ｍ以下）の単位をＢｌｋＩｄｘとする場合に適用可能である。

このように、ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置２０において、縮小画像上でのサーチ時にエネルギー最小となるポイントのサーチ結果だけではなく、（０，０）ポイント（または任意のポイント）のサーチ結果を任意の単位で別途保持することにより、先に示した縮小面におけるサーチの不具合を改善し、縮小画像上で参照フレーム（ｒｅｆＩｄｘ）を任意の単位ごとに決定することで、リファインメント処理を削減することで、動きベクトル探索の高速化や、メモリアクセスの低減を実現することができる。

また、図１７に示すように、上述の如くＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置２０に階層ベクタ保持メモリ１８を設けて、図１８のフローチャートに示す手順にしたがって画像処理を行うようにすることもできる。

すなわち、間引き装置１２によりフレームメモリ（フル解像度）１１に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、１／Ｎ間引き処理を行い、これにより生成された画素値を、フレームメモリ（１／Ｎ^２解像度）１３に格納する（ステップＳ２１）。

ＬｉｓｔＮ（Ｎ＝０）とする（ステップＳ２２）。

ｒｅｆＩｄｘ＝０とする（ステップＳ２３）。

スーパーブロックＳＢのＹアドレスをリセットする（ステップＳ２４）。

スーパーブロックＳＢのＸアドレスをリセットし、また、左端なのでMv_Prev(左隣のMv)が存在しないのでリセットする（ステップＳ２５）。

動き予測・補償装置（１／Ｎ^２解像度）１４により、フレームメモリ（１／Ｎ^２解像度）１３に格納された画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う（ステップＳ２６）。

そして、ステップＳ２６の動きベクトル情報の探索中にＭｖ＿ＰｒｅｖのＳＡＤ値をＢｌｋＩｄｘ毎に格納する（ステップＳ２７）。

また、ブロックマッチングの結果として得られるＳＡＤが最小値となる４ｘ４ＭＢでのＢｅｓｔポイントでＢｌｋＩｄｘ毎にＳＡＤ値を格納し、そのときのＭｖ値をＭｖ＿Ｐｒｅｖとして「１８」に格納する（ステップＳ２８）。

Ｘ方向にスーパーブロックＳＢのアドレスを進める（ステップＳ２９）
Ｘアドレスが最後まで終わっているか否かを確認し（ステップＳ３０）、まだならステップＳ２６に戻り、最後ならＹ方向にスーパーブロックＳＢのアドレスを進める（ステップＳ３１）。

そして、Ｙアドレスが最後まで終わっている否かを確認し（ステップＳ３２）、まだならステップＳ２５に戻り、最後ならｒｅｆＩｄｘをインクリメントする（ステップＳ３３）。

ｒｅｆＩｄｘが最終値になったか否かを判定して（ステップＳ３４）、その判定結果がＮＯである場合には上記ステップＳ２４に戻ってステップＳ２４〜ステップＳ３２の処理を繰り返し行う。

上記ステップＳ３４における判定結果がＹＥＳになったら、ＬｉｓｔＮでＢｌｋＩｄｘ毎にＳＡＤが最小値となるｒｅｆＩｄｘを求める（ステップＳ３５）。

Ｌｉｓｔ（Ｎ＋＋）すなわちリスト番号（Ｎ）をインクリメントする（ステップＳ３６）。

そして、Ｌｉｓｔ１であるか否かを判定して（ステップＳ３７）、その判定結果がＹＥＳである場合には上記ステップＳ２３に戻ってステップＳ２３〜ステップＳ３２の処理を繰り返し行い、また、上記ステップＳ１における判定結果がＮＯである場合には、処理を終了する。

離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置の構成を示すブロック図である。 離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置の構成を示すブロック図である。 ＡＶＣ符号化方式で規定されているマルチプルリファレンスフレームの概念を示した図である。 ＡＶＣ符号化方式で規定されている、可変ブロックサイズに基づく動き補償処理の概念を示した図である。 ＡＶＣ符号化方式で規定されている、１／４画素精度の動き補償処理を説明するための図である。 先に提案した画像情報符号化装置の構成を示すブロック図である。 上記画像情報符号化装置における間引き装置の動作原理を示した図である。 動き予測・補償装置（１／Ｎ^２解像度）における碁の目サンプリングを説明するための図である。 先に提案した他の画像情報符号化装置の構成を示すブロック図である。 上記他の画像情報符号化装置における縮小画と参照画の関係の一例を示した図である。 上記他の画像情報符号化装置における複数のMB帯の区切り方の一例を示した図である。 上記他の画像情報符号化装置における画像処理の手順を示すフローチャートである。 上記他の画像情報符号化装置におけるメモリアクセスの低減の様子を示した図である。 本発明により解決しようとする問題を示した図である。 本発明に係る画像情報符号化装置の構成を示したブロック図である。 本発明に係る画像情報符号化装置における画像処理の手順を示すフローチャートである。 本発明に係る画像情報符号化装置の他の構成例を示したブロック図である。 上記他の構成例の画像情報符号化装置における画像処理の手順を示すフローチャートである。

符号の説明

１ Ａ／Ｄ変換装置、２ 画面並べ替えバッファ、３ 加算器、４ 直交変換装置、５ 量子化装置、６ 可逆符号化装置、７ 蓄積バッファ、８ 逆量子化装置、９ 逆直交変換装置、１０ デブロックフィルタ、１１ フレームメモリ（フル解像度）、１２ 間引き装置、１３ フレームメモリ（１／Ｎ^２解像度）、１４ 動き予測・補償装置（１／Ｎ^２解像度）、１５ 参照フレーム決定装置、１６ イントラ予測装置、１７ 動き予測・補償装置（フル解像度）、１８ レート制御装置、２０ 画像情報符号化装置

Claims (16)

1. 複数の参照フレーム画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償方法であって、
   上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化ステップと、
   上記階層化ステップにおいて生成された縮小画像を用いて動きベクトルを探索する第１の動き予測補償ステップと、
   上記第１の動き予測補償ステップにおいて使用する縮小参照画像を縮小画像上で決定する参照画決定ステップと、
   縮小前の画像について、上記第１の動き予測補償ステップで探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行う第２の動き予測補償ステップと
   を備え、
   上記第１の動き予測補償ステップでは、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ‘×Ｎ‘単位で保持するとともにサーチポイント（０，０）のブロックマッチングの結果を保持することを特徴とする動き予測補償方法。
2. 上記参照画決定ステップでは、階層探索の最適点と任意のポイントでＭ’×Ｎ’の単位で大小比較を行い動きベクトルを切り替えることを特徴とする請求項１に記載の動き予測方法。
3. 上記参照画決定ステップでは、参照画像ごとにＭ’×Ｎ’の単位で大小比較を行い参照画像と動きベクトルを切り替えることを特徴とする請求項２に記載の動き予測方法。
4. 上記参照画決定ステップでは、分割したブロックの評価指標値が各参照画画像で同値となった場合に、参照フレーム（ｒｅｆＩｄｘ）が小さいほうを採用することを特徴とする請求項２記載の動き予測方法。
5. 上記第１の動き予測補償ステップでは、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる直交変換された差分絶対値和（ＳＡＴＤ）をＭ’×Ｎ’単位で保持することを特徴とする請求項１乃至４のいずれか１項に記載の動き予測方法。
6. 上記第１の動き予測補償ステップでは、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる差分２乗和（ＳＳＤ）をＭ’×Ｎ’単位で保持することを特徴とする請求項１乃至４のいずれか１項に記載の動き予測方法。
7. 上記参照画決定ステップでは、ブロックマッチングの結果から算出される評価指標値とともに、参照フレーム（ｒｅｆＩｄｘ）の大きさを任意の重み付けで足し込んだ値を評価指標とすることを特徴とする請求項１乃至４のいずれか１項に記載の動き予測方法。
8. 上記第１の動き予測補償ステップでは、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ’×Ｎ’単位で保持するとともに、サーチポイント（０，０）のポイントとともに任意の設定ポイントのサーチ結果を保持することを特徴とする請求項１記載の動き予測方法。
9. 複数の参照フレーム画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数の参照フレーム画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償装置であって、
   上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化手段と、
   上記階層化手段において生成された縮小画像を用いて動きベクトルを探索する第１の動き予測補償手段と、
   上記第１の動き予測補償手段において使用する縮小参照画像を縮小画像上で決定する参照画決定手段と、
   縮小前の画像について、上記第１の動き予測補償手段で探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測を行う第２の動き予測補償手段と
   を備え、
   上記第１の動き予測補償手段では、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ’×Ｎ’単位で保持するとともにサーチポイント（０，０）のブロックマッチングの結果を保持することを特徴とする動き予測補償装置。
10. 上記参照画決定手段では、階層探索の最適点と任意のポイントでＭ’×Ｎ’の単位で大小比較を行い動きベクトルを切り替えることを特徴とする請求項９に記載の動き予測装置。
11. 上記参照画決定手段では、参照画像ごとにＭ’×Ｎ’の単位で大小比較を行い参照画像と動きベクトルを切り替えることを特徴とする請求項１０に記載の動き予測装置。
12. 上記参照画決定手段では、分割したブロックの評価指標値が各参照画画像で同値となった場合に、参照フレーム（ｒｅｆＩｄｘ）が小さいほうを採用することを特徴とする請求項１０記載の動き予測装置。
13. 上記第１の動き予測補償手段では、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる直交変換された差分絶対値和（ＳＡＴＤ）をＭ’×Ｎ’単位で保持することを特徴とする請求項９乃至１２のいずれか１項に記載の動き予測装置。
14. 上記第１の動き予測補償手段では、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果として得られる差分２乗和（ＳＳＤ）をＭ’×Ｎ’単位で保持することを特徴とする請求項９乃至１２のいずれか１項に記載の動き予測装置。
15. 上記参照画決定手段では、ブロックマッチングの結果から算出される評価指標値とともに、参照フレーム（ｒｅｆＩｄｘ）の大きさを任意の重み付けで足し込んだ値を評価指標とすることを特徴とする請求項９乃至１２のいずれか１項に記載の動き予測装置。
16. 上記第１の動き予測補償手段では、階層探索の単位をＭ×Ｎのマクロブロックとし、Ｍ’×Ｎ’（Ｍ’は１以上Ｍ以下、Ｎ’は１以上Ｎ以下）のブロックに分割し、Ｍ×Ｎのブロックマッチングの結果（差分絶対値和：ＳＡＤ）をＭ’×Ｎ’単位で保持するとともに、サーチポイント（０，０）のポイントとともに任意の設定ポイントのサーチ結果を保持することを特徴とする請求項９記載の動き予測装置。

Images