JP2005057694A - 動きベクトル検出装置および方法並びにコンピュータプログラムおよびその記録媒体 - Google Patents

Abstract

【課題】 動きベクトルの検出精度を確保しつつ、より少ない演算量で動きベクトルを検出することが可能な動きベクトル検出装置および方法を提供する。
【解決手段】 符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める一次探索部１０と、一次探索部１０で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出し、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する二次探索部２０とを備えた動きベクトル検出装置である。
【選択図】 図１

Description

本発明は、動画像の符号化に関し、特に、符号化フレームに含まれる符号化ブロックの動きベクトルを実数精度で検出するための動きベクトル検出装置に関する。

近年、ＡＶ情報のディジタル化が進み、映像信号をディジタル化して取り扱うことのできる機器が広く普及しつつある。ところで、映像信号は膨大な情報量を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）という作業部会により策定された国際規格が広く利用されており、上記の作業部会名をとってＭＰＥＧと称されている。

ＭＰＥＧにおいては、動きベクトルを用いた動き補償予測が利用される。動き補償とは、符号化画像を、垂直方向１６画素×水平方向１６画素のマクロブロックと呼ばれる処理単位に分割し、時間的に前後する参照画像における所定の探索範囲内で、符号化対象のブロックと相関性の高いブロックの位置を検出する。すなわち、参照画像上の前記マクロブロックの移動量が動きベクトルである。符号化対象ブロックを符号化する際に、この動きベクトルと、符号化画像と参照画像との差分値とを用いて符号化を行うことによって、符号化画像の情報量を削減することができる。

なお、動きベクトルの検出に関して、「整数精度」および「実数精度」という概念がある。すなわち、フレーム画像において画素が実際に存在する位置を基準として動きベクトルを検出する場合を「整数精度」と称し、それよりも高い精度（例えば半画素精度または１／４画素精度など）で動きベクトルを検出する場合、これを「実数精度」と称する。

実数精度で動きベクトルを検出する場合、参照画像において実数精度の画素を生成した上でマッチング処理を行う必要がある（例えば非特許文献１参照）。このため、膨大な演算量を要するという問題がある。

このため、実数精度の動きベクトル検出における演算量を削減することを目的として、様々な動きベクトル検出方法が提案されてきた。そのような動きベクトル検出方法として、２段階探索法が知られている。この方法は、まず整数精度でマッチングを行うことにより、整数精度の誤差評価値を算出し（一次探索）、誤差評価値が最小となる画素の周辺のみにおいて実数精度でマッチングを行う（二次探索）方法である。

また、例えば、ハンディタイプのビデオカメラにおいて手ぶれ補正用動きベクトルを検出することを目的として、１フレームの画像を複数に分割した各ブロックの代表点画素と、前フレームのブロックの代表点画素との差分絶対値を画素毎に検出した後、この差分絶対値を１フレームに亘って対応する画素毎に積算し、１ブロック分の画素配列に対応する座標に積算結果を有する相関積算値表を形成し、相関積算値が最小値を持つ座標（第１の座標）の周辺座標から比例分割によって第２の座標を求め、少なくとも第１の座標と第２の座標とを合成することにより画像の動きベクトルを検出する方法も提案されている（特許文献１参照）。ただし、この特許文献１に開示されている方法は、１フレームを構成する画像全体の動きベクトルを検出することを目的としたものである。
特許第３３０３３１０号公報 片山泰男著「ＭＰＥＧ技術」トリケップス出版、１９９３年１２月２１日

しかしながら、近年は、動画像を撮影してディジタル記録媒体に記録することのできる画像機器が民生用としても広く普及するに至っており、消費電力の節減が大きな課題となっている。このため、動画像の符号化に際する演算量をさらに削減することが望まれている。

従って、本発明は、動きベクトルの検出精度を確保しつつ、より少ない演算量で動きベクトルを検出することが可能な動きベクトル検出装置および方法を提供することを目的とする。

上記の目的を達成するために、本発明の動きベクトル検出装置は、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索部と、前記第１の探索部で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出し、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する第２の探索部とを備えた構成（第１の構成）である。

また、本発明の動きベクトル検出方法は、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索ステップと、前記第１の探索ステップで得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索ステップと、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定するステップとを有する方法（第１の方法）である。

また、本発明にかかるコンピュータプログラムは、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索処理と、前記第１の探索処理で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索処理と、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する処理とをコンピュータに実行させる命令を含むプログラム（第１のプログラム）である。

また、本発明にかかるプログラム記録媒体は、上記のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

以上に説明したように、本発明によれば、動きベクトルの検出精度を確保しつつ、より少ない演算量で動きベクトルを検出することが可能な動きベクトル検出装置および方法を提供できる。

上記の目的を達成するために、本発明の動きベクトル検出装置は、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索部と、前記第１の探索部で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出し、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する第２の探索部とを備えた構成（第１の構成）である。

また、本発明の動きベクトル検出方法は、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索ステップと、前記第１の探索ステップで得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索ステップと、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定するステップとを有する方法（第１の方法）である。

また、本発明にかかるコンピュータプログラムは、符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索処理と、前記第１の探索処理で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索処理と、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する処理とをコンピュータに実行させる命令を含むプログラム（第１のプログラム）である。

また、本発明にかかるプログラム記録媒体は、上記のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

上記の第１の構成にかかる動きベクトル検出装置によれば、第２の探索部では、マッチング処理を行うことなく補間演算によって実数精度の誤差評価推定値を算出するので、実数精度の画素毎にマッチング処理を行う従来の２段階探索法を採用した動きベクトル検出装置に比較すれば、演算量を大きく削減することができる。

また、上記構成の動きベクトル検出装置において、前記第１の探索部が、符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小部と、前記画像縮小部により縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測部とを備えた構成（第２の構成）とすることが好ましい。なお、ここで、Ｎ，Ｍはそれぞれ整数であるが、いずれか一方が１であっても良い。この構成によれば、第１の探索部におけるマッチング処理の回数を削減できるので、演算量をさらに削減することができる。

また、上記第１または第２の構成にかかる動きベクトル検出装置において、前記第２の探索部が、前記第１の探索部で得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算部を備えた構成（第３の構成）とすることが好ましい。バイキュービック法を用いれば、情報の損失が少ないので、実数精度の誤差評価値をより正確に推定することができる。

また、上記第１または第２の構成にかかる動きベクトル検出装置において、前記第２の探索部が、前記第１の探索部で得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算部を備えた構成（第４の構成）とすることが好ましい。

また、上記第１〜第４の構成のいずれかにかかる動きベクトル検出装置において、前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定部をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める構成（第５の構成）とすることが好ましい。実数精度の実際の誤差評価値が最小となる位置は、整数精度の誤差評価実測値が最小となる位置の近傍にある確率が高いので、その８近傍の誤差評価実測位置で囲まれた領域を補間領域とすることにより、実数精度の動きベクトルをより正確に推定することが可能となる。

また、上記第１〜第４の構成のいずれかにかかる動きベクトル検出装置において、前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定部をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める構成（第６の構成）とすることが好ましい。実数精度の実際の誤差評価値が最小となる位置は、整数精度の誤差評価実測値が最小となる位置およびその８近傍のうち最小の誤差評価実測値を持つ位置の近傍にある確率が高いので、この構成によれば、実数精度の動きベクトルをより正確に推定することが可能となる。

また、上記第６の構成にかかる動きベクトル検出装置において、前記補間領域決定部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう、前記補間領域を決定する構成（第７の構成）とすることが好ましい。この構成によれば、実数精度の動きベクトルをさらに正確に推定することが可能となる。

また、上記第１または第２の構成にかかる動きベクトル検出装置において、前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルを決定する構成（第８の構成）とすることが好ましい。

また、前述の第１の動きベクトル検出方法によれば、第２の探索ステップでは、マッチング処理を行うことなく補間演算によって実数精度の誤差評価推定値を算出するので、実数精度の画素毎にマッチング処理を行う従来の２段階探索法に比較して、演算量を大きく削減することができる。

また、上記第１の動きベクトル検出方法において、前記第１の探索ステップが、符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小ステップと、前記画像縮小ステップにより縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測ステップとを含むことが好ましい（第２の方法）。

また、上記第１または第２の動きベクトル検出方法において、前記第２の探索ステップが、前記第１の探索ステップで得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算ステップを含むことが好ましい（第３の方法）。

また、上記第１または第２の動きベクトル検出方法において、前記第２の探索ステップが、前記第１の探索ステップで得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算ステップを含むことが好ましい（第４の方法）。

前記第２の探索ステップが、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定ステップをさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求めることが好ましい（第５の方法）。

また、上記第１〜第４のいずれかの動きベクトル検出方法において、前記第２の探索ステップが、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定ステップをさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求めることが好ましい（第６の方法）。

また、上記第６の動きベクトル検出方法において、前記補間領域決定ステップにおいて、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう、前記補間領域を決定することが好ましい（第７の方法）。

また、上記第１または第２の動きベクトル検出方法において、前記第２の探索ステップにおいて、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルを決定することが好ましい（第８の方法）。

さらに、前述の第１のプログラムによれば、第２の探索処理では、マッチング処理を行うことなく補間演算によって実数精度の誤差評価推定値をコンピュータに算出させるので、実数精度の画素毎にマッチング処理を行う従来の２段階探索法に比較して、演算量を大きく削減することができる。

また、上記第１のプログラムは、前記第１の探索処理において、符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小処理と、前記画像縮小処理により縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測処理とをコンピュータに実行させる命令をさらに含むことが好ましい（第２のプログラム）。

また、上記第１または第２のプログラムは、前記第２の探索処理において、前記第１の探索処理で得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算処理をコンピュータに実行させる命令をさらに含むことが好ましい（第３のプログラム）。

また、上記第１または第２のプログラムは、前記第２の探索処理において、前記第１の探索処理で得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算処理をコンピュータに実行させる命令をさらに含むことが好ましい（第４のプログラム）。

また、上記第１〜第４のいずれかにかかるプログラムは、前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定処理をコンピュータに実行させる命令をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値をコンピュータに求めさせることが好ましい（第５のプログラム）。

また、上記第１〜第４のいずれかにかかるプログラムは、前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定処理をコンピュータに実行させる命令をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値をコンピュータに求めさせることが好ましい（第６のプログラム）。

また、上記第６のプログラムは、前記補間領域決定処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう、前記補間領域をコンピュータに決定させることが好ましい（第７のプログラム）。

また、上記の第１または第２のプログラムは、前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルをコンピュータに決定させることが好ましい（第８のプログラム）。

以下、本発明のさらに具体的な実施形態について、図面を参照しながら説明する。

（実施の形態１）
最初に、本実施形態の動きベクトル検出方法の概略について説明する。

本実施形態では、（１）符号化画像と、当該符号化画像と時間的に前後する参照画像とのマッチングにより整数精度での誤差評価値を求める、（２）前記（１）で求められた整数精度の誤差評価値に基づいて実数精度の誤差評価値を求めて動きベクトルを検出する、という２段階探索を行うが、前記（２）のステップにおいては画像のマッチングを一切行わず、補間演算によって誤差評価値を推定する点において、二次探索においても画素のマッチングを行う従来の２段階探索法と大きく異なる。

なお、「整数精度」の誤差評価値とは、オリジナルの符号化画像および参照画像の解像度と同じかそれよりも低い解像度で求められた誤差評価値を意味する。また、「実数精度」の誤差評価値とは、オリジナルの符号化画像および参照画像よりも高い解像度で求められた誤差評価値を意味する。すなわち、実数精度の誤差評価値とは、オリジナル画像において画素が存在しない位置について求められた誤差評価値である。

また、本明細書においては、符号化画像と参照画像のマッチングにより求められた誤差評価値を「誤差評価実測値」と称し、前記誤差評価実測値を用いた補間演算により求められた誤差評価値を「誤差評価推定値」と称する。

ここで、本実施形態にかかる動きベクトル検出装置の構成および動作について、図１および図２を参照しながら説明する。

図１に示すように、本実施形態にかかる動きベクトル検出装置は、マクロブロックを用いたマッチング処理によって誤差評価実測値（整数精度）を求める一次探索部１０（第１の探索部）と、一次探索部１０で求められた誤差評価実測値を用いた補間演算処理によって誤差評価推定値（実数精度）を算出する二次探索部２０（第２の探索部）とを備えている。

一次探索部１０は、参照画像および符号化画像のそれぞれを縮小する画像縮小部１１と、縮小後の参照画像と符号化画像とに基づきマクロブロック単位のマッチング処理を行って誤差評価実測値を求める誤差評価値実測部１２とを備えている。二次探索部２０は、誤差評価推定値を求める領域（補間領域）を決定する補間領域決定部２１と、補間領域内で実数精度の誤差評価値（誤差評価推定値）を補間演算により求める誤差評価値推定部２２と、実数精度の誤差評価推定値に基づいて実数精度の動きベクトルを決定する動きベクトル決定部２３とを備えている。

以下、本実施形態にかかる動きベクトル検出装置における動きベクトル検出処理の手順について、図２のフローチャートに基づき説明する。

一次探索部１０に、符号化画像と参照画像が入力されると（ステップＳ１）、画像縮小部１１が、入力された参照画像および符号化画像のそれぞれを縮小する（ステップＳ２）。

ステップＳ２では、図３に示すように、符号化画像３１（第１階層）は、垂直方向に１／Ｎ、水平方向に１／Ｍに縮小され、縮小符号化画像３２（第２階層）となる。このとき、符号化画像３１内のマクロブロック３３は、垂直方向に１／Ｎ、水平方向に１／Ｍに縮小された縮小マクロブロック３４となる。また、図４（ａ）および（ｂ）に示すように、参照画像４１も同様に、垂直方向に１／Ｎ、水平方向に１／Ｍに縮小され、縮小参照画像４４となる。なお、図４（ａ）において、４３は縮小前の探索範囲を指す。ステップＳ２において、参照画像４１内の探索範囲４３も垂直方向に１／Ｎ、水平方向に１／Ｍに縮小され、図４（ｂ）に示す縮小探索範囲４６となる。

次に、誤差評価値実測部１２が、図４（ｂ）に示すように、縮小参照画像４４において縮小された探索範囲４６内で、縮小マクロブロック３４を用いたマッチング処理により、整数精度の誤差評価実測値を求める（ステップＳ３）。この誤差評価値としては、例えば、下記の（数１）により求められる差分絶対値和（ＳＡＤ：sum of absolute differences）を用いることができるが、これに限定されず、２乗誤差などを用いてもよい。なお、下記の（数１）において、Ｐは縮小マクロブロック３４の垂直画素数、Ｑは縮小マクロブロック３４の水平画素数、Ｙ_c（ｉ，ｊ）は符号化ブロック内の相対座標（ｉ，ｊ）における輝度値、Ｙ_r（ｉ，ｊ）は探索範囲におけるマッチング対象ブロック内の相対座標（ｉ，ｊ）における輝度値である。

誤差評価値実測部１２は、最初、図５（ａ）に示すように、縮小マクロブロック３４を縮小探索範囲４６の左上隅ブロックとマッチングし、ＳＡＤ値を求める。次に、図５（ｂ）に示すように、縮小探索範囲４６上の縮小マクロブロック３４の位置を水平方向右へ１点（縮小探索範囲４６における１画素分）ずらしてマッチング処理を行い、ＳＡＤ値を求める。このように、図５（ｃ）に示すように縮小マクロブロック３４が縮小探索範囲４６における右上隅に至るまで、縮小マクロブロック３４の移動とＳＡＤ値の算出とを繰り返す。次に、図５（ｄ）に示すように、縮小マクロブロック３４を縮小探索範囲４６における上から２ライン目の左隅へ移動し、上記と同様に、縮小マクロブロック３４の移動とＳＡＤ値の算出とを繰り返す。なお、図５（ｂ）に示すＰｘは、縮小探索範囲４６の水平方向における縮小後の画素ピッチであり、図５（ｄ）に示すＰｙは、縮小探索範囲４６の垂直方向における縮小後の画素ピッチである。

すなわち、縮小探索範囲４６の画素数（縮小後）が水平方向にＸ画素、垂直方向にＹ画素であるとすると、水平方向にＸ回のマッチングを、Ｙライン分繰り返すこととなるので、縮小探索範囲４６の全範囲において、Ｘ×Ｙ個のＳＡＤ値が算出され、二次探索部２０へ出力されることとなる。

本実施形態の場合、縮小探索範囲４６の画素数は、前述のとおり、縮小前の参照画像４１における探索範囲４３に含まれる画素数の１／（Ｎ×Ｍ）である。従って、誤差評価値実測部１２におけるマッチング回数は、縮小前の参照画像４１の探索範囲４３に対してフルサーチ（全探索）を行う場合におけるマッチング回数の１／（Ｎ×Ｍ）で済む。また、マクロブロックも縮小されることによって、縮小マクロブロック３４内で画素毎に行う差分演算の合計回数も、縮小前のマクロブロック３３の１／（Ｎ×Ｍ）となる。従って、本実施形態の一次探索において必要な差分演算回数は、符号化画像および参照画像を縮小せずにフルサーチを行う場合の１／（Ｎ×Ｍ）²となる。

なお、換言すれば、縮小探索範囲４６上でのマッチング処理は、縮小前の参照画像４１上では垂直方向Ｎ画素毎、水平方向Ｍ画素毎に行われることとなる。本明細書では、縮小画像を用いたこのようなマッチング処理を、「Ｎ画素精度」、「Ｍ画素精度」のように称することもある。

前述のように一次探索が終了すると、二次探索部２０の補間領域決定部２１が、補間演算により実数精度の誤差評価予測値を求める領域（補間領域）の範囲を決定する（ステップＳ４）。

このステップＳ４において、本実施形態では、補間領域決定部２１は、一次探索部１０で求められた整数精度の誤差評価実測値を入力し、評価値実測画素のうち、その誤差評価実測値が最小値となる画素を検出する。なお、上記の「評価値実測画素」とは、縮小前の探索範囲４３内の画素のうち、一次探索部１０により誤差評価実測値が求められた画素（図６において黒丸で示した画素）をいう。ここで、例えば、図６において黒い三角で示した画素が、縮小前の探索範囲４３内で最小の誤差評価実測値を持つ画素（誤差評価実測値最小画素ｐ_min）であるとする。図６において白丸で示した画素は、一次探索部１０における垂直方向Ｎ画素精度、水平方向Ｍ画素精度のマッチング処理を行ったことによって誤差評価値を求めなかった画素（未実測画素）である。なお、図６は、説明の便宜上、縮小前の探索範囲４３の一部を表したものであり、従って、縮小前の探索範囲における画素数は、図６に示した数には限定されない。

本実施形態の補間領域決定部２１は、縮小前の探索範囲４３内において、誤差評価実測値最小画素ｐ_minの８近傍の画素を含む矩形状の領域（図６において破線で囲んで示す領域１０１）を、補間領域として決定する。なお、上記の「誤差評価実測値最小画素ｐ_minの８近傍」とは、図６に示すように、誤差評価実測値最小画素ｐ_minの上下左右４点の評価値実測画素（ｐ₂，ｐ₄，ｐ₆，ｐ₈）と、誤差評価実測値最小画素ｐ_minを交点とする対角線上において誤差評価実測値最小画素ｐ_minに最も近い４点の評価値実測画素（ｐ₁，ｐ₃，ｐ₅，ｐ₇）との合計８点をいう。

このように、補間領域決定部２１によって補間領域１０１が決定されると、誤差評価値推定部２２が、評価値実測画素ｐ₁〜ｐ₈の誤差評価実測値を用いた補間演算により、マッチング処理を行うことなく、実数精度の誤差評価推定値を求める（ステップＳ５）。

例えば図６に示した補間領域１０１の場合、図７に示すような、水平方向および垂直方向の両方について０．５画素精度で、誤差評価推定値を求めることができる。なお、ＭＰＥＧ−２の場合はこのような０．５画素精度で良いが、ＭＰＥＧ−４の場合は０．２５画素精度となるよう補間演算を行えば良い。また、実数精度は０．５画素精度および０．２５画素精度に限定されず、補間演算式を適宜に変更することにより、任意の実数精度で補間演算を行うことが可能である。

誤差評価値推定部２２における補間演算の方法としては、例えば比例分割法またはバイキュービック法（３次たたみ込み内挿法）等を用いることができる。

ここで、比例分割法の具体的な例を二つ挙げて説明する。

第１の具体例にかかる比例分割法は、以下の３ステップからなる。

（ステップ１）８近傍領域内で、最小評価値の位置（中心点Ｘ_0,0）を通り、他の評価位置を結ぶ４本の軸Ａ₁〜Ａ₄を設定する。

（ステップ２）４本の軸Ａ₁〜Ａ₄のそれぞれについて、下記の評価式に基づいて軸上の評価値の和ＳＡを算出し、その結果が最小となる軸を決定する。ここで、ｖ（Ｘ_m,n）は、実数精度動きベクトル評価位置Ｘ_m,nの評価値を表す。

ＳＡ（Ａ₁）＝ｖ（Ｘ_-1,1）＋ｖ（Ｘ_1,-1）
ＳＡ（Ａ₂）＝ｖ（Ｘ_0,1）＋ｖ（Ｘ_0,-1）
ＳＡ（Ａ₃）＝ｖ（Ｘ_1,1）＋ｖ（Ｘ_-1,-1）
ＳＡ（Ａ₄）＝ｖ（Ｘ_-1,0）＋ｖ（Ｘ_1,0）
（ステップ３）ステップ２において評価値の和Ｓが最小となる軸として決定された軸に対して、軸上にある２つの評価値で比例分割して実数精度のベクトル位置を求める。例えば、図８の軸Ａ₄の場合、図９に示すように、Ｘ_-1,0とＸ_1,0の２点の評価値で比例分割し、実数精度のベクトル（図９内に示す黒菱形の点）を求める。なお、図９において、ａ＝ｖ（Ｘ_-1,0），ｂ＝ｖ（Ｘ_1,0）である。

また、第２の具体例にかかる比例分割法は、以下の３ステップからなる。

（ステップ１）８近傍領域を、図１０（ａ）〜図１０（ｄ）に示すように、最小評価位置Ｘ_0,0を含む４つの領域Ｒ₁〜Ｒ₄に分ける。

（ステップ２）４つの領域Ｒ₁〜Ｒ₄のそれぞれについて、下記の評価式に基づいてその領域に含まれる評価値の和ＳＲを算出し、その結果が最小となる領域一つを決定する。

ＳＲ（Ｒ₁）＝ｖ（Ｘ_-1,1）＋ｖ（Ｘ_1,0）＋ｖ（Ｘ_-1,0）
ＳＲ（Ｒ₂）＝ｖ（Ｘ_1,0）＋ｖ（Ｘ_1,1）＋ｖ（Ｘ_1,0）
ＳＲ（Ｒ₃）＝ｖ（Ｘ_-1,0）＋ｖ（Ｘ_-1,-1）＋ｖ（Ｘ_0,-1）
ＳＲ（Ｒ₄）＝ｖ（Ｘ_1,0）＋ｖ（Ｘ_0,-1）＋ｖ（Ｘ_1,-1）
（ステップ３）ステップ２で決定した領域内の評価点の評価値により、垂直方向、水平方向の比例分割を行い、実数精度の動きベクトル位置を求める。ここでは、ステップ２で決定された領域が、図１０（ｂ）に示す領域Ｒ₂であるものとして、図１１を用いて説明する。

まず、垂直方向の位置を決定する。矩形領域の下辺の評価値の和（ｖ（Ｘ_0,0）＋ｖ（Ｘ_1,0））と、上辺の評価値の和（ｖ（Ｘ_0,1）＋ｖ（Ｘ_1,1））により、垂直方向を比例分割し、垂直位置（図１１に示す点Ｐ_V）を決定する。次に、水平方向の位置を決定する。矩形領域の左辺の評価値の和（ｖ（Ｘ_0,0）＋ｖ（Ｘ_0,1））と、右辺の評価値の和（ｖ（Ｘ_1,0）＋ｖ（Ｘ_1,1））により、水平方向を比例分割して、水平方向の位置（図１１に示す点Ｐ_H）を決定する。求められた水平位置と垂直位置で、実数精度の動きベクトルの位置が決定される。

なお、以上に例示した比例分割法は具体例に過ぎず、本発明をこれらの方法を用いる形態に限定するものではない。

次に、バイキュービック法による補間演算を行う例について説明する。バイキュービック法とは、周辺１６点の実測値を用いて補間値を求めるものであって、例えば図１２に示すように、一次探索部１０で求めた１６個の点Ｐ₁₁〜Ｐ₁₆の誤差評価実測値（整数精度）を用いて、下記（数２）〜（数４）に基づき、点Ｐの誤差評価推定値（実数精度）を求めることができる。なお、（数４）に示す[]はガウス記号であり、整数部分をとることを示す。バイキュービック法を用いると、情報の損失が少ないので、実数精度の誤差評価値をより正確に推定することができる。

上述のように、誤差評価値推定部２２によって求められた実数精度の誤差評価推定値は、動きベクトル決定部２３へ送られる。動きベクトル決定部２３は、誤差評価推定値が最小値を持つ画素（例えば図７に黒菱形で示す画素）を検出し、この画素位置に基づいて動きベクトルを決定する（ステップＳ６）。

以上のように、本実施形態にかかる動きベクトル検出方法では、二次探索においてマッチング処理を行わず、補間演算のみによって動きベクトルを検出するので、動きベクトル検出に要する計算量を削減することができる。

（実施の形態２）
本実施形態にかかる動きベクトル検出装置は、補間領域決定部２１による補間領域の決定方法が、実施の形態１と異なっている。

本実施形態における補間領域決定部２１は、一次探索部１０による探索範囲内で最小の誤差評価実測値を持つ画素と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ画素とを含む矩形領域を補間領域として決定する。

図１３（ａ）〜（ｃ）に、本実施形態における補間領域の具体例を示す。なお、図１３（ａ）〜（ｃ）では、一次探索部１０により誤差評価実測値が求められた画素のみを示し、未実測画素の図示は省略した。なお、図１３は、説明の便宜上、縮小前の探索範囲４３の一部を表したものであり、従って、縮小前の探索範囲における画素数は、図１３に示した数には限定されない。

図１３（ａ）に示した例は、誤差評価実測値最小画素ｐ_minの８近傍画素のうち最小の誤差評価実測値を持つ画素ｐ_min2が、誤差評価実測値最小画素ｐ_minに水平方向において隣接している場合である。この場合、誤差評価実測値最小画素ｐ_minおよび画素ｐ_min2と、誤差評価実測値最小画素ｐ_minに垂直方向において隣接する２画素と、画素ｐ_min2に垂直方向において隣接する２画素との合計６画素を含む矩形領域１０２を、補間領域として決定する。

また、図１３（ｂ）に示した例は、誤差評価実測値最小画素ｐ_minの８近傍画素のうち最小の誤差評価実測値を持つ画素ｐ_min2が、誤差評価実測値最小画素ｐ_minに垂直方向において隣接している場合である。この場合、誤差評価実測値最小画素ｐ_minおよび画素ｐ_min2と、誤差評価実測値最小画素ｐ_minにおいて水平方向に隣接する２画素と、画素ｐ_min2に水平方向において隣接する２画素との合計６画素を含む矩形領域１０３を、補間領域として決定する。

さらに、図１３（ｃ）に示した例は、誤差評価実測値最小画素ｐ_minの８近傍画素のうち最小の誤差評価実測値を持つ画素ｐ_min2が、前記８近傍画素で形成される矩形の頂点に位置している場合である。この場合、誤差評価実測値最小画素ｐ_minおよび画素ｐ_min2を対角頂点とする矩形領域１０４（画素数は４）を、補間領域として決定する。

すなわち、本実施形態の場合、図１３（ａ）および（ｂ）に示す例では、８近傍画素で形成される矩形の１／２の領域を補間領域とし、図１３（ｃ）に示す例では、８近傍画素で形成される矩形の１／４の領域を補間領域とする。これにより、二次探索部２０の誤差評価値推定部２２における演算量を、実施の形態１よりもさらに削減することができる。

さらに、本実施形態では、８近傍画素のうち最小の誤差評価実測値を持つ画素ｐ_min2が補間領域に含まれるよう、かつ、誤差評価実測値最小画素ｐ_minおよび画素ｐ_min2とを比例配分した位置が補間領域の中央となるよう、補間領域を決定する。このように補間領域を決定することにより、補間領域内に実際の動きベクトル位置が含まれている確率が高くなるので好ましい。これにより、本実施形態によれば、実施の形態１よりもさらに少ない演算量で、動きベクトルをより正確に検出することが可能となる。

なお、このように決定された補間領域における補間演算としては、実施の形態１と同様に、比例分割法やバイキュービック法を用いることが可能であるが、その説明は省略する。

（実施の形態３）
本実施形態にかかる動きベクトル検出装置は、補間領域決定部２１による補間領域の決定方法と、誤差評価値推定部２２における誤差評価値の算出方法が、前述の各実施の形態と異なっている。

本実施形態における補間領域決定部２１は、一次探索部１０による探索範囲内で最小の誤差評価実測値を持つ画素と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ画素との２画素間を補間領域とする。そして、誤差評価値推定部２２が、これらの２画素間を各画素の誤差評価実測値の大きさで比例内分した位置を求め、動きベクトル決定部２３が、この位置に基づいて実数精度の動きベクトルを決定する、
図１４（ａ）および（ｂ）に、本実施形態における動きベクトルの決定方法の具体例を示す。なお、図１４（ａ）および（ｂ）でも、一次探索部１０により誤差評価実測値が求められた画素のみを示し、未実測画素の図示は省略した。また、図１４は、説明の便宜上、縮小前の探索範囲４３の一部を表したものであり、従って、縮小前の探索範囲における画素数は、図１４に示した数に限定されるものではない。

すなわち、本実施形態の場合、誤差評価値推定部２２が、例えば図１４（ａ）に示す誤差評価実測値最小画素ｐ_minおよび画素ｐ_min2の２画素間を、図１４（ｂ）に示すように比例内分した位置を、実数精度の誤差評価値が最小となる位置と推定する。これにより、実施の形態１および２と比較して、二次探索部２０の誤差評価値推定部２２における演算量をさらに削減することができる。

なお、上述の各実施形態では、一次探索部１０に画像縮小部１１を備えた構成を例示したが、画像縮小部１１を省略した構成としても良い。この場合、誤差評価値実測部１２は、符号化画像と参照画像とのマッチング処理を１画素精度で行うこととなり、演算量が多くなる反面、誤差評価実測値を高精度に求めることができるので、動きベクトルの検出精度も向上するという利点がある。

なお、本発明にかかる動きベクトル検出装置は、図２を用いて説明したような動きベクトル検出方法をコンピュータに実行させるプログラム、または、このプログラムを任意の記録媒体に記録してなるコンピュータによる読み取りが可能なプログラム記録媒体として実施することも可能である。

本発明は、検出精度を確保しつつより少ない演算量で動きベクトルを検出する動きベクトル検出装置に有用である。

本発明の一実施形態にかかる動きベクトル検出装置の構成を示すブロック図 本発明の一実施形態にかかる動きベクトル検出方法の手順を示すフローチャート 図１の動きベクトル検出装置が備える一次探索部による符号化画像の縮小処理の様子を概念的に示す説明図 （ａ）および（ｂ）は、一次探索部における参照画像の縮小処理の様子を示す説明図 （ａ）〜（ｄ）は、図１の動きベクトル検出装置が備える一次探索部によるマッチング処理の手順を示す説明図 図１の動きベクトル検出装置が備える補間領域決定部により決定される補間領域の一例を示す説明図 図１の動きベクトル検出装置が備える誤差評価値推定部により実数精度の誤差評価値が求められた補間領域の様子を示す説明図 比例分割法による補間演算の説明図 比例分割法による補間演算の説明図 比例分割法による補間演算の説明図 比例分割法による補間演算の説明図 バイキュービック法による補間演算の説明図 （ａ）〜（ｃ）は、図１の動きベクトル検出装置が備える補間領域決定部により決定される補間領域の他の例を示す説明図 （ａ）および（ｂ）は、図１の動きベクトル検出装置が備える二次探索部による動きベクトルの決定方法の一例を示す説明図

符号の説明

１０ 一次探索部
１１ 画像縮小部
１２ 誤差評価値実測部
２０ 二次探索部
２１ 補間領域決定部
２２ 誤差評価値推定部
２３ 動きベクトル決定部
３１ 符号化画像
３２ 縮小符号化画像
３３ マクロブロック
３４ 縮小マクロブロック
４１ 参照画像
４３ 縮小前の探索範囲
４４ 縮小参照画像
４６ 縮小探索範囲
１０１〜１０４ 補間領域

Claims (25)

1. 符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索部と、
   前記第１の探索部で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出し、算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する第２の探索部とを備えた動きベクトル検出装置。
2. 前記第１の探索部が、
   符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小部と、
   前記画像縮小部により縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測部とを備えた、請求項１に記載の動きベクトル検出装置。
3. 前記第２の探索部が、前記第１の探索部で得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算部を備えた、請求項１または２に記載の動きベクトル検出装置。
4. 前記第２の探索部が、前記第１の探索部で得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算部を備えた、請求項１または２に記載の動きベクトル検出装置。
5. 前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定部をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める、請求項１〜４のいずれか一項に記載の動きベクトル検出装置。
6. 前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定部をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める、請求項１〜４のいずれか一項に記載の動きベクトル検出装置。
7. 前記補間領域決定部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう前記補間領域を決定する、請求項６に記載の動きベクトル検出装置。
8. 前記第２の探索部が、前記第１の探索部による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルを決定する、請求項１または２に記載の動きベクトル検出装置。
9. 符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索ステップと、
   前記第１の探索ステップで得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索ステップと、
   算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定するステップとを有する動きベクトル検出方法。
10. 前記第１の探索ステップが、
    符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小ステップと、
    前記画像縮小ステップにより縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測ステップとを含む、請求項９に記載の動きベクトル検出方法。
11. 前記第２の探索ステップが、前記第１の探索ステップで得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算ステップを含む、請求項９または１０に記載の動きベクトル検出方法。
12. 前記第２の探索ステップが、前記第１の探索ステップで得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算ステップを含む、請求項９または１０に記載の動きベクトル検出方法。
13. 前記第２の探索ステップが、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定ステップをさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める、請求項９〜１２のいずれか一項に記載の動きベクトル検出方法。
14. 前記第２の探索ステップが、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定ステップをさらに含み、前記補間領域内で前記実数精度の誤差評価推定値を求める、請求項９〜１２のいずれか一項に記載の動きベクトル検出方法。
15. 前記補間領域決定ステップにおいて、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう、前記補間領域を決定する、請求項１４に記載の動きベクトル検出方法。
16. 前記第２の探索ステップにおいて、前記第１の探索ステップによる探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルを決定する、請求項９または１０に記載の動きベクトル検出方法。
17. 符号化フレームと参照フレームとのマッチング処理により、整数精度の誤差評価実測値を求める第１の探索処理と、
    前記第１の探索処理で得られた整数精度の誤差評価実測値に基づく補間演算により、マッチング処理を行うことなく実数精度の誤差評価推定値を算出する第２の探索処理と、
    算出した誤差評価推定値に基づき、実数精度の動きベクトルを決定する処理とをコンピュータに実行させる命令を含むコンピュータプログラム。
18. 前記第１の探索処理において、
    符号化フレームおよび参照フレームをそれぞれ垂直方向に１／Ｎ（Ｎ：整数）、水平方向に１／Ｍ（Ｍ：整数）に縮小する画像縮小処理と、
    前記画像縮小処理により縮小された画像を用いてマッチング処理を行い、垂直方向においてＮ画素精度、水平方向においてＭ画素精度での誤差評価実測値を求める誤差評価値実測処理とをコンピュータに実行させる命令をさらに含む、請求項１７に記載のコンピュータプログラム。
19. 前記第２の探索処理において、前記第１の探索処理で得られた誤差評価実測値を用いたバイキュービック法により前記実数精度の誤差評価推定値を算出する補間演算処理をコンピュータに実行させる命令をさらに含む、請求項１７または１８に記載のコンピュータプログラム。
20. 前記第２の探索処理において、前記第１の探索処理で得られた誤差評価実測値を用いた比例分割法により前記実数精度の誤差評価推定値を算出する補間演算処理をコンピュータに実行させる命令をさらに含む、請求項１７または１８に記載のコンピュータプログラム。
21. 前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置の８近傍の誤差評価実測位置で囲まれた領域を補間領域として決定する補間領域決定処理をコンピュータに実行させる命令をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値をコンピュータに求めさせる、請求項１７〜２０のいずれか一項に記載のコンピュータプログラム。
22. 前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを含む矩形領域を補間領域として決定する補間領域決定処理をコンピュータに実行させる命令をさらに含み、前記補間領域内で前記実数精度の誤差評価推定値をコンピュータに求めさせる、請求項１７〜２０のいずれか一項に記載のコンピュータプログラム。
23. 前記補間領域決定処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置とを比例配分した位置が補間領域の中央となるよう、前記補間領域をコンピュータに決定させる、請求項２２に記載のコンピュータプログラム。
24. 前記第２の探索処理において、前記第１の探索処理による探索範囲内で最小の誤差評価実測値を持つ位置と、当該位置の８近傍の誤差評価実測位置のうち最小の誤差評価実測値を持つ位置との間を、それぞれの誤差評価実測値の大きさで比例内分した位置に基づいて実数精度の動きベクトルをコンピュータに決定させる、請求項１７または１８に記載のコンピュータプログラム。
25. 請求項１７〜２４のいずれか一項に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images