JP2008113106A - 動きベクトル検出装置及び動きベクトル検出プログラム - Google Patents

Abstract

【課題】従来の動きベクトル検出装置では、Ｎタップフィルタを用いて参照画像のアップサンプルをする際に、縦方向、かつ、横方向にＮタップフィルタを用いる必要のある画素を生成するため、演算量が増大し、また回路規模が大きくなってしまう。
【解決手段】アップサンプル手段１０２は第１動きベクトル検出手段１０１で検出した第１動きベクトル点及び第２候補点のうち、第２候補点に基づいて、第１動きベクトル点の周辺の参照画像をＮタップフィルタ（Ｎは３以上の自然数）によりアップサンプルして、第１動きベクトル点の周辺の参照画像の分数画素間隔の複数の画素の各画素値を求める際に、少なくともＮタップフィルタにより縦方向及び横方向の両方向に配列された各画素から求める分数画素間隔の画素の画素値を生成せず、Ｎタップフィルタにより縦方向又は横方向に配列された各画素のみから分数画素間隔の画素の画素値を生成する。
【選択図】図１

Description

本発明は動きベクトル検出装置及び動きベクトル検出プログラムに係り、特に動画像の圧縮符号化の際の動き補償に必要な動きベクトルを検出する動きベクトル検出装置及び動きベクトル検出プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化対象画像と参照画像の各ブロックの相対位置関係を示す動きベクトルが必要である。この動きベクトルは、符号化対象画像と参照画像の各ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。また、ＭＰＥＧ−４やＨ.２６４／ＡＶＣなどの公知の符号化方式における動き補償予測では、参照画像の画素を内挿処理又は補間処理（本明細書ではこれを「アップサンプル」という）し、１／２画素精度や１／４画素精度の動き補償予測を可能とすることで、動き予測精度を更に向上している。

ここで、上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違を絶対差分和や差分二乗和などで表現した予測誤差や、動きベクトル符号量やＤＣＴ（離散コサイン変換：Discrete Cosine Transform）係数符号量に基づいた符号量換算などで表現したものである。また、上記の１／２画素精度や１／４画素精度の動き補償予測は、実際に算出した参照画像上の整数画素位置の画素を用いてアップサンプルし、１／２画素位置や１／４画素位置の画素値を算出し、その画素位置の画素値を用いて動きベクトルを探索して動き補償予測することをいう。上記の分数精度の画素値は、一般には線形フィルタにより参照画像をフィルタリングすることで得られる。この線形フィルタはタップ数が多いほど周波数特性が良好なフィルタを構成でき、予測精度が高まるが処理量は多くなるので、例えば６タップフィルタを用いる符号化方式が従来知られている（例えば、特許文献１参照）。

この６タップフィルタでは、例えば、符号化対象画像信号のブロックとの間でブロックマッチングにより動きベクトルが探索されるべき参照画像信号が、図９に丸印で示す１画素精度の画素位置で表される画像信号であるものとすると、１画素精度の各画素の中間位置にある例えばｂで示す１／２画素精度の画素の画素値は、画素ｂを中心とする周囲の横方向に配列されたＥ、Ｆ、Ｇ、Ｈ、Ｉ及びＪで示す６つの１画素精度の画素の画素値に基づいて生成する。一方、ｈで示す１／２画素精度の画素の画素値は、画素ｈを中心する周囲の縦方向に配列されたＡ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔで示す６つの１画素精度の画素の画素値に基づいて生成される。同様に、１／２画素精度のａａ、ｂｂ、ｃｃ、ｄｄ、ｅｅ、ｆｆ、ｇｇ、ｈｈ、ｂ、ｍ、ｓ等の各画素の画素値は、その画素を中心とする縦方向だけ又は横方向だけに配列された１画素精度の６つの画素の画素値から生成される（６タップフィルタを縦方向のみ又は横方向のみ用いて生成される）。

これに対し、図９にｊで示す１／２画素精度の画素の画素値は、その画素ｊを中心とする横方向に配列された１／２画素精度の６つの画素ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆの画素値（又は縦方向に配列された１／２画素精度の６つの画素ａａ、ｂｂ、ｂ、ｓ、ｇｇ、ｈｈの画素値）から生成される。この画素ｊを生成するための画素ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆの画素値は、その画素を中心する周囲の縦方向の６つの１画素精度の画素の画素値に基づいて生成されるので、結局、画素ｊの画素値は、６タップフィルタを縦方向と横方向の両方に適用して求められることになる。

更に、１／４画素精度である画素ｆ、ｉ、ｋ、ｑの各画素値は、それぞれ先に算出した上記の画素ｊとその画素に隣接する縦方向の１／２画素精度の画素ｂ、ｈ、ｍ、ｓの画素値とから生成される。従って、これら画素ｆ、ｉ、ｋ、ｑの各画素値も画素ｊの値を用いるので、６タップフィルタを縦方向と横方向の両方向に適用して求められることになる。他の１／２画素精度の画素同士から画素値が求められる１／４画素精度の画素についても同様である。これらをまとめると、６タップフィルタにより表１に示すような式で演算された画素値の各画素が得られる。

図９には６タップフィルタを縦方向と横方向の両方（すなわち、縦方向、かつ、横方向）に適用してアップサンプルされた画素の位置を×印で示している。

従来の動きベクトル検出装置では、上記の画素演算では、例えば図９の画素ｊの位置で縦方向かつ横方向の６タップフィルタを用いた演算を必要とする。そのため、画素ｊを利用する画素ｊを中心とする周辺（上、左、右、下）の１／４画素精度の４画素ｆ、ｉ、ｋ、ｑの演算も縦方向かつ横方向の６タップフィルタを用いた演算を必要とする。縦方向かつ横方向の６タップフィルタは、６タップフィルタの演算を２度行うため、膨大な演算量を必要とする。また、演算途中の画素を保持するバッファ回路が必要となり、回路規模が大きくなってしまう。

そこで、従来、ブロックの形状を決定してから小数画素精度の動きベクトル検出を行うことで動きベクトル探索処理演算量を削減する動きベクトル検出装置が提案されている（例えば、特許文献２参照）。

特開２００５−８６２９０号公報 特開２００６−１６５８４０号公報

しかるに、従来の動きベクトル検出装置では、分数精度画素を算出する演算量を考慮せずに分数精度の動きベクトル検出を行っているため、Ｎ（≧３）タップフィルタを用いた参照画像のアップサンプルに膨大な演算量を必要とする。例えば、図１０に示すように（一例として特許第３２１０８２８号参照）、符号化対象画像の或るブロックと参照画像との間でブロックマッチングによる１画素精度の動きベクトル検出を行い、その結果得られた最小の誤差評価値を示す参照画像のブロック内の１画素精度の画素位置を示す第１動きベクトル点が７０１で示され、また、第１動きベクトル点７０１の周辺の１画素精度の４画素（上、左、下、右）の中で、第１動きベクトル点７０１との間で最も誤差評価値が小さい参照画像のブロック内の画素位置を示す第２候補点が７０２で示されたものとすると、１／４画素精度で動きベクトル検出を行うためには、これら第１動きベクトル点７０１と第２候補点７０２とを用いて縦方向、かつ、横方向の６タップフィルタの演算が必要となる。ここで、図１０において、黒色の四角が探索点（画素）を示している。

このように、従来の動きベクトル検出装置では、Ｎ（≧３）タップフィルタを用いて参照画像のアップサンプルをする際に、縦方向、かつ、横方向にＮ（≧３）タップフィルタを用いる必要のある画素を生成するため、演算量が増大する。また、回路で実現する場合には、縦方向と横方向のフィルタリング演算途中の画素を保持するバッファ回路が必要となり、回路規模が大きくなってしまう。

また、特許文献２記載の従来の動きベクトル検出装置では、ブロックのサイズや形状を決定することが動きベクトル探索処理演算量を削減するための前提であり、ブロックのサイズや形状に関係なく小数画素精度の動きベクトルの演算量を削減することができない。

本発明は以上の点に鑑みなされたもので、ブロックのサイズや形状に関係なく分数画素精度の動きベクトルの演算量を削減し、回路規模を小さくできる動画像の圧縮符号化の際の動き補償に必要な動きベクトル検出装置及び動きベクトル検出プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明は、動画像の動き補償予測符号化に用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の参照画像の画素を用いて分数画素精度で検出する動きベクトル検出装置において、符号化対象画像と参照画像とから１画素精度の第１動きベクトルを検出する第１動きベクトル検出手段と、参照画像における第１動きベクトルで示される１画素精度の画素周辺の画素を、Ｎタップフィルタによりアップサンプルして、分数画素間隔の複数の画素の各画素値を生成する際に、Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成するアップサンプル手段と、アップサンプル手段でアップサンプルして得られた分数画素間隔の複数の画素の参照画像と符号化対象画像とに基づいて、参照画像における分数画素間隔の画素の位置に対応した第２動きベクトルを検出すべき動きベクトルとして求める第２動きベクトル検出手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明は、動画像の動き補償予測符号化に用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の参照画像の画素を用いて分数画素精度で検出する動きベクトル検出装置において、符号化対象画像と参照画像の各ブロックとの間のブロックマッチングにより得られた誤差評価値が最小である参照画像における１画素精度の画素位置を示す第１動きベクトルを検出すると共に、その第１動きベクトルが指し示す参照画像における第１動きベクトル点の周辺の１画素精度の４画素の中で、符号化対象画像との間で誤差評価値が最も小さい画素の位置を示す候補点を検出する第１動きベクトル検出手段と、第１動きベクトル検出手段で検出した候補点に基づいて、第１動きベクトル点の周辺の参照画像をＮタップフィルタによりアップサンプルして、第１動きベクトル点の周辺の参照画像の分数画素間隔の複数の画素の各画素値を生成する際に、Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成するアップサンプル手段と、アップサンプル手段でアップサンプルして得られた分数画素間隔の複数の画素の参照画像と符号化対象画像との間で誤差評価値を求め、該誤差評価値が最も小さい参照画像における分数画素間隔の画素の位置に対応した第２動きベクトルを検出すべき動きベクトルとして求める第２動きベクトル検出手段とを有することを特徴とする。

また、上記の目的を達成するため、第３の発明は、動画像の動き補償予測符号化で用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の前記参照画像の画素を用いて分数画素精度で検出する動きベクトル検出をコンピュータにより実行させる動きベクトル検出プログラムにおいて、上記のコンピュータに、
符号化対象画像と参照画像とから１画素精度の第１動きベクトルを検出する第１のステップと、参照画像における第１動きベクトルで示される１画素精度の画素周辺の画素を、Ｎタップフィルタによりアップサンプルして、分数画素間隔の複数の画素の各画素値を生成する際に、Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成する第２のステップと、第２のステップでアップサンプルして得られた分数画素間隔の複数の画素の参照画像と符号化対象画像とに基づいて、参照画像における分数画素間隔の画素の位置に対応した第２動きベクトルを検出すべき動きベクトルとして求める第３のステップとを実行させることを特徴とする。

更に、上記の目的を達成するため、第４の発明は、動画像の動き補償予測符号化で用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の参照画像の画素を用いて分数画素精度で検出する動きベクトル検出をコンピュータにより実行させる動きベクトル検出プログラムにおいて、上記のコンピュータに、
符号化対象画像と参照画像の各ブロックとの間のブロックマッチングにより得られた誤差評価値が最小である参照画像における１画素精度の画素位置を示す第１動きベクトルを検出する第１のステップと、第１動きベクトルが指し示す参照画像における第１動きベクトル点の周辺の１画素精度の４画素の中で、符号化対象画像との間で誤差評価値が最も小さい画素の位置を示す候補点を検出する第２のステップと、候補点に基づいて、第１動きベクトル点の周辺の参照画像をＮタップフィルタによりアップサンプルして、第１動きベクトル点の周辺の参照画像の分数画素間隔の複数の画素の各画素値を生成する際に、Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成する第３のステップと、アップサンプルして得られた分数画素間隔の複数の画素の参照画像と符号化対象画像との間で誤差評価値を求め、該誤差評価値が最も小さい参照画像における分数画素間隔の画素の位置に対応した第２動きベクトルを検出すべき動きベクトルとして求める第４のステップとを実行させることを特徴とする。

第１乃至第４の発明では、第１動きベクトル点の周辺の参照画像をＮタップフィルタによりアップサンプルして、第１動きベクトル点の周辺の参照画像の分数画素間隔の複数の画素の各画素値を求める際に、縦方向及び横方向の両方向に配列された各画素からアップサンプルして求める必要のある分数画素間隔の画素を少なくとも除外して、縦方向又は横方向に配列された各画素のみを用いたアップサンプルにより分数画素間隔の複数の画素の画素値を生成する。

本発明によれば、Ｎタップフィルタを用いて参照画像をアップサンプルする際に、Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成するようにしたため、除外した分数画素間隔の画素の画素値の生成分の演算量を削減でき、また、回路で実現する場合には、縦方向と横方向のフィルタリング演算途中の画素を保持するバッファ回路が不要となるため、回路規模を小さくできる。

次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる動きベクトル検出装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態は、第１動きベクトル検出手段１０１と、アップサンプル手段１０２と、第２動きベクトル検出手段１０３とから構成されている。

第１動きベクトル検出手段１０１は、符号化対象の入力画像信号と参照画像信号との間で１画素精度の動きベクトル検出を行って第１動きベクトル（以下、第１動きベクトル点ともいう）を検出し、更にその第１動きベクトルの周辺（上、左、下、右）の１画素精度の４点（画素）の中で、符号化対象の入力画像信号との間で最も誤差評価値が小さい画素の位置を示す第２候補点を検出し、それら第１動きベクトルと第２候補点とをアップサンプル手段１０２と第２動きベクトル検出手段１０３にそれぞれ供給する。

アップサンプル手段１０２は、第１動きベクトル検出手段１０１から供給された第１動きベクトルと第２候補点とに基づいて、第１動きベクトル周辺の参照画像信号をＮ（≧３）タップフィルタを用いてアップサンプルし、アップサンプルした参照画像信号を第２動きベクトル検出手段１０３に供給する。第２動きベクトル検出手段１０３は、符号化対象の入力画像信号とアップサンプル手段１０２でアップサンプルした参照画像信号とから１／４画素精度の動きベクトル検出を行う。

次に、図１の動きベクトル検出装置の動作について図２のフローチャート等を用いて更に詳細に説明する。まず、第１動きベクトル検出手段１０１が符号化対象の入力画像信号と参照画像信号との間で１画素精度の動きベクトル検出を行い、その結果得られた最小の誤差評価値を示す参照画像信号のブロック内の１画素精度の画素位置を示す第１動きベクトルを検出する（ステップＳ１１）。第１動きベクトルの検出では、どのような動きベクトル検出方法を用いてもよいが、ここでは追跡サーチを用いた動きベクトル検出を例として、図３、図４を用いて説明する。

最初に図３に示す参照画像信号中の探索初期点２０１を決定する。探索初期点２０１の決定方法は、原点や周辺ブロックの動きベクトルや公知のステップサーチなどの階層的サーチで決定した動きベクトルなどを候補として、符号化対象画像との間で最も誤差評価値の小さい点を探索初期点に決定する。次に、符号化対象画像と決定した探索初期点２０１の周辺（上、左、下、右）の１画素精度の４画素２０２〜２０５との間の誤差評価値を計算し、最も誤差評価値が小さい画素に探索の中心を移動する。例えば、図４に示すように、探索初期点２０１の上の画素２０２との間の誤差評価値が最も小さかった場合、上の画素２０２に探索の中心を移動する。

そして、移動した新しい探索中心の画素２０２の周辺（この場合、下の画素２０１との間では既に誤差評価値が得られているので、画素２０１以外の、上、左、右）の１画素精度の３つの画素２０６〜２０８と符号化対象画像との間の誤差評価値を計算する。この動作を繰り返し、最も誤差評価値が小さい画素が中心だった場合に探索が終了する。その時の中心の画素の位置に対応したベクトルが１画素精度の第１動きベクトルとなる。

図２のフローチャートに戻り、第１動きベクトル検出手段１０１は、次に第２候補点を決定する（ステップＳ１２）。この第２候補点の決定では、上記の追跡サーチにおいて決定した第１動きベクトルの周辺（上、左、下、右）の１画素精度の４点（画素）の中で、符号化対象画像との間の誤差評価値が最小の点を第２候補点とする。

次に、第２候補点の第１動きベクトルに対する相対位置に基づき、アップサンプル手段１０２が第１動きベクトル周辺の参照画像をアップサンプルする（ステップＳ１３）。ここでは、図１０及び表１と共に説明した６タップフィルタを用いて１／２精度と１／４精度の各画素値を算出するアップサンプル方法を例として説明する。前述したように、６タップフィルタを縦方向、かつ、横方向に適用して１／４画素精度の画素値を得る場合は、６タップフィルタの演算を２度行うため膨大な演算量を必要とする。また、演算途中の画素を保持するバッファ回路が必要となり、回路規模が大きくなってしまう。

そこで、本実施の形態では、参照画像のアップサンプルの際に、縦方向、かつ、横方向に６タップフィルタを用いる必要のある１／４画素精度の画素の生成を行わないことで、演算量を削減し、回路規模を小さくする。

例えば、図５に示すように、第２候補点３０２が第１動きベクトル点３０１の１画素上に位置している場合、第１動きベクトル点３０１及び第２候補点３０２を６タップフィルタを用いてアップサンプルすることにより、白四角及び黒四角で示す１／２画素精度や１／４画素精度の画素の画素値が算出されるが、このうち、縦方向、かつ、横方向に６タップフィルタを用いる必要のある１／４画素精度の画素は、図１０及び表１と共に説明したように、図５に×印で示す画素であり、本実施の形態のアップサンプル手段１０２は、この縦方向、かつ、横方向に６タップフィルタを用いる必要のある画素の生成を行わないことで、演算量を削減する。

更に、本実施の形態のアップサンプル手段１０２は、最終的に求める動きベクトルは第１動きベクトル点３０１から第２候補点３０２方向の画素に対応した位置にあると予測されることに鑑み、第２候補点３０２方向に頂点の一つを有する三角形３０３内の黒四角で示す画素の画素値のみアップサンプルして算出し、三角形３０３に含まれない１／２画素精度、１／４画素精度の画素の画素値の演算は行わないことで更に演算量を削減する。

ここで、上記の三角形３０３は、第１動きベクトル点３０１と第２候補点３０２との間の一つの１／２画素精度の画素３０４と、第１動きベクトル点３０１の左側の１／２画素精度の画素３０５と、第１動きベクトル点３０１の右側の１／２画素精度の画素３０６とをそれぞれ頂点とし、更にこれら３つの画素３０４〜３０６の間にある５つの１／４画素精度の画素３０７〜３１１を含む。

同様に、図６に示すように、第２候補点４０２が第１動きベクトル点４０１の１画素左側に位置している場合は、アップサンプル手段１０２は、×印で示す縦方向、かつ、横方向に６タップフィルタを用いる必要のある画素の画素値の演算は行わず、また、三角形４０３に含まれない１／２画素精度、１／４画素精度の画素の画素値の演算は行わず、三角形４０３内の第１動きベクトル点４０１に隣接する黒四角で示す３つの１／２画素精度の画素と５つの１／４画素精度の画素の各画素値を算出するためのアップサンプルだけを行う。ここで、上記の三角形４０３は、第２候補点４０２方向に頂点の一つを有し、かつ、第１動きベクトル点４０１の上側と下側にそれぞれ頂点を有する。

また、図７に示すように、第２候補点５０２が第１動きベクトル点５０１の１画素下側に位置している場合は、アップサンプル手段１０２は、×印で示す縦方向、かつ、横方向に６タップフィルタを用いる必要のある画素の画素値の演算は行わず、また、三角形５０３に含まれない１／２画素精度、１／４画素精度の画素の画素値の演算は行わず、三角形５０３内の第１動きベクトル点５０１に隣接する黒四角で示す３つの１／２画素精度の画素と５つの１／４画素精度の画素の各画素値を算出するためのアップサンプルだけを行う。ここで、上記の三角形５０３は、第２候補点５０２方向に頂点の一つを有し、かつ、第１動きベクトル点５０１の左側と右側にそれぞれ頂点を有する。

同様に、図８に示すように、第２候補点６０２が第１動きベクトル点６０１の１画素右側に位置している場合は、アップサンプル手段１０２は、×印で示す縦方向、かつ、横方向に６タップフィルタを用いる必要のある画素の画素値の演算は行わず、また、三角形６０３に含まれない１／２画素精度、１／４画素精度の画素の画素値の演算は行わず、三角形６０３内の第１動きベクトル点６０１に隣接する黒四角で示す３つの１／２画素精度の画素と５つの１／４画素精度の画素の各画素値を算出するためのアップサンプルだけを行う。ここで、上記の三角形６０３は、第２候補点６０２方向に頂点の一つを有し、かつ、第１動きベクトル点６０１の上側と下側にそれぞれ頂点を有する。

図２のフローチャートに戻り、最後に上記のアップサンプルした画像に対して１／４画素精度で第２動きベクトル検出を行う（ステップＳ１４）。この第２動きベクトル検出では、第２動きベクトル検出手段１０３により、符号化対象の入力画像信号とアップサンプル手段１０２でアップサンプルした参照画像信号とから１／４画素精度の動きベクトル検出を、第１動きベクトルを検出した方法と同様の方法で行う。

このように、本実施の形態では、参照画像のアップサンプルの際に、縦方向、かつ、横方向に６タップフィルタを用いる必要のある画素の生成を行わないため、演算量が削減される。また、回路で実現する場合には、縦方向と横方向のフィルタリング演算途中の画素を保持するバッファ回路が不要となるため、回路規模を小さくできる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば参照画像のアップサンプルに用いる線形フィルタのタップ数は、上記の実施の形態の６タップに限定されるものではなく、縦方向、かつ、横方向にフィルタを用いてアップサンプルした画素値を算出する３タップ以上のＮ（≧３）タップフィルタに適用可能である。

また、本発明は上記の図１の構成の動きベクトル検出装置の各ブロックの機能や図２のフローチャートの各ステップの処理をコンピュータに実現させるための動きベクトル検出プログラムも含むものである。この動きベクトル検出プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の動きベクトル検出装置の一実施の形態のブロック図である。 本発明の動きベクトル検出装置の動作説明用フローチャートである。 追跡サーチの説明図（その１）である。 追跡サーチの説明図（その２）である。 第２候補点が第１動きベクトル点の上に位置している場合のアップサンプルする画素の説明図である。 第２候補点が第１動きベクトル点の左に位置している場合のアップサンプルする画素の説明図である。 第２候捕点が第１動きベクトル点の下に位置している場合のアップサンプルする画素の説明図である。 第２候補点が第１動きベクトル点の右に位置している場合のアップサンプルする画素の説明図である。 ６タップフィルタの説明図である。 従来の動きベクトル検出装置による分数精度動きベクトル検出の説明図である。

符号の説明

１０１ 第１動きベクトル検出手段
１０２ アップサンプル手段
１０３ 第２動きベクトル検出手段
３０１、４０１、５０１、６０１ 第１動きベクトル点
３０２、４０２、５０２、６０２ 第２候補点
３０４〜３０６ １／２画素精度の画素
３０７〜３１１ １／４画素精度の画素

Claims (4)

1. 動画像の動き補償予測符号化に用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の前記参照画像の画素を用いて分数画素精度で検出する動きベクトル検出装置において、
   前記符号化対象画像と前記参照画像とから１画素精度の第１動きベクトルを検出する第１動きベクトル検出手段と、
   前記参照画像における前記第１動きベクトルで示される１画素精度の画素周辺の画素を、前記Ｎタップフィルタによりアップサンプルして、分数画素間隔の複数の画素の各画素値を生成する際に、前記Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、前記Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成するアップサンプル手段と、
   前記アップサンプル手段でアップサンプルして得られた前記分数画素間隔の複数の画素の前記参照画像と前記符号化対象画像とに基づいて、前記参照画像における前記分数画素間隔の画素の位置に対応した第２動きベクトルを前記検出すべき動きベクトルとして求める第２動きベクトル検出手段と
   を有することを特徴とする動きベクトル検出装置。
2. 動画像の動き補償予測符号化に用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の前記参照画像の画素を用いて分数画素精度で検出する動きベクトル検出装置において、
   前記符号化対象画像と前記参照画像の各ブロックとの間のブロックマッチングにより得られた誤差評価値が最小である前記参照画像における１画素精度の画素位置を示す第１動きベクトルを検出すると共に、その第１動きベクトルが指し示す前記参照画像における第１動きベクトル点の周辺の１画素精度の４画素の中で、前記符号化対象画像との間で前記誤差評価値が最も小さい画素の位置を示す候補点を検出する第１動きベクトル検出手段と、
   前記第１動きベクトル検出手段で検出した前記候補点に基づいて、前記第１動きベクトル点の周辺の前記参照画像を前記Ｎタップフィルタによりアップサンプルして、前記第１動きベクトル点の周辺の前記参照画像の分数画素間隔の複数の画素の各画素値を生成する際に、前記Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、前記Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成するアップサンプル手段と、
   前記アップサンプル手段でアップサンプルして得られた前記分数画素間隔の複数の画素の前記参照画像と前記符号化対象画像との間で前記誤差評価値を求め、該誤差評価値が最も小さい前記参照画像における前記分数画素間隔の画素の位置に対応した第２動きベクトルを前記検出すべき動きベクトルとして求める第２動きベクトル検出手段と
   を有することを特徴とする動きベクトル検出装置。
3. 動画像の動き補償予測符号化で用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の前記参照画像の画素を用いて分数画素精度で検出する動きベクトル検出をコンピュータにより実行させる動きベクトル検出プログラムにおいて、
   前記コンピュータに、
   前記符号化対象画像と前記参照画像とから１画素精度の第１動きベクトルを検出する第１のステップと、
   前記参照画像における前記第１動きベクトルで示される１画素精度の画素周辺の画素を、前記Ｎタップフィルタによりアップサンプルして、分数画素間隔の複数の画素の各画素値を生成する際に、前記Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、前記Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成する第２のステップと、
   前記第２のステップでアップサンプルして得られた前記分数画素間隔の複数の画素の前記参照画像と前記符号化対象画像とに基づいて、前記参照画像における前記分数画素間隔の画素の位置に対応した第２動きベクトルを前記検出すべき動きベクトルとして求める第３のステップと
   を実行させることを特徴とする動きベクトル検出プログラム。
4. 動画像の動き補償予測符号化で用いる、符号化対象画像と参照画像の各ブロックの相対位置関係を示す検出すべき動きベクトルを、タップ数Ｎ（ただし、Ｎは３以上の自然数）のＮタップフィルタによりアップサンプルして得た１画素間隔より細かい分数画素間隔の前記参照画像の画素を用いて分数画素精度で検出する動きベクトル検出をコンピュータにより実行させる動きベクトル検出プログラムにおいて、
   前記コンピュータに、
   前記符号化対象画像と前記参照画像の各ブロックとの間のブロックマッチングにより得られた誤差評価値が最小である前記参照画像における１画素精度の画素位置を示す第１動きベクトルを検出する第１のステップと、
   前記第１動きベクトルが指し示す前記参照画像における第１動きベクトル点の周辺の１画素精度の４画素の中で、前記符号化対象画像との間で前記誤差評価値が最も小さい画素の位置を示す候補点を検出する第２のステップと、
   前記候補点に基づいて、前記第１動きベクトル点の周辺の前記参照画像を前記Ｎタップフィルタによりアップサンプルして、前記第１動きベクトル点の周辺の前記参照画像の分数画素間隔の複数の画素の各画素値を生成する際に、前記Ｎタップフィルタによる縦方向及び横方向の両方向に配列された各画素に基づく分数画素間隔の画素の画素値の生成を少なくとも除外し、前記Ｎタップフィルタにより縦方向に配列された各画素又は横方向に配列された各画素のみに基づいて複数の分数画素間隔の画素の画素値を生成する第３のステップと、
   アップサンプルして得られた前記分数画素間隔の複数の画素の前記参照画像と前記符号化対象画像との間で前記誤差評価値を求め、該誤差評価値が最も小さい前記参照画像における前記分数画素間隔の画素の位置に対応した第２動きベクトルを前記検出すべき動きベクトルとして求める第４のステップと
   を実行させることを特徴とする動きベクトル検出プログラム。