JP2005064655A - 動きベクトル検出方法及び動きベクトル検出装置 - Google Patents

Abstract

【課題】動き補償予測符号化において用いられる動きベクトル検出の際に、回路規模の増大を抑制する。
【解決手段】１画素精度動きベクトル検出部１１０は、符号化対象ブロックの画像と探索範囲内の候補ブロックの画像とから、両者の相関度である評価値が最小となるように１画素精度動きベクトルならびにその評価値を求める。０．５画素精度動きベクトル決定部１２０は、１画素精度動きベクトル検出部１１０で求められた１画素精度動きベクトルの最小評価値ならびに隣接１画素精度候補ベクトルの評価値に基づいて、０．５画素精度動きベクトルを決定する。
【選択図】図２

Description

本発明は、ディジタル動画像デ−タの圧縮符号化の手法である動き補償予測符号化において用いられる動きベクトル検出方法及び動きベクトル検出装置に関する。

近年、ＤＶＤ装置や動画像を送受信する携帯電話などの普及に伴い、容量の小さい通信回線を用いた動画像の転送や蓄積のために、動画像を符号化してデータ量を削減する画像圧縮技術が用いられてきている。その際、動画像の画像符号化を実現する方法として、画像信号が高い冗長性を含んでいる点に着目し、現在の画像のある部分が１つ前の画像のどの場所から移動したかを示す情報（動きベクトル）を用いて、時間的な冗長性を削減するという方法がある。すなわち、被写体がある程度の動きを伴う場合、被写体が含まれる画像の一部を切り出し、動き量だけずらせて、それを次のフレームの画像として予測する（動き補償フレーム間予測）のである。この動きベクトルを抽出するための１つの方法として、ブロックマッチング法がある。

図１２は、一般的なブロックマッチング法の原理を示す図である。このブロックマッチング法は、画像圧縮符号化の動き補償フレーム間予測に広く用いられている。

ブロックマッチング法においては、同図に示すように、符号化の対象である符号化フレーム９０５（フレーム１）の符号化対象ブロック９０６と、符号化フレーム９０５とは時間的に異なる，動きベクトルを探索する探索フレーム９０４（フレーム０）上に設定した探索範囲９０４の中の候補ブロックとの間で相関度を演算する。まず、符号化フレーム９０５内の符号化対象ブロック９０６の画像と、探索フレ−ム９０３の探索範囲９０４内の画像とを比較し、符号化対象ブロック９０６と最も似通った（すなわち最も相関度が高い）評価値を持つブロックを、ベストマッチブロック９０２として探索範囲９０４内から抽出して、動きベクトルを検出する。つまり、１個の符号化対象ブロック９０６に対し、探索フレ−ム９０３の探索範囲９０４内の複数の候補ブロックとの相関度をそれぞれ演算し、相関度が最も高い候補ブロックをベストマッチブロック９０２として選択し、ベストマッチブロック９０２と符号化対象ブロック９０６との位置の差を動きベクトル９０１として検出する。この動きベクトル９０１を検出するための方法や、それに用いる装置として、従来より多くの提案がなされている。

特に、ブロックマッチング法を利用する際に、動きベクトルを検出するための装置として、ハ−ドウェア量の削減を図ったものが知られている（例えば特許文献１）。この技術では、１段目の１画素精度探索部で求めた複数の近傍の評価値の和に所定の係数を乗じた値を候補ベクトルとする，小数精度動きベクトル探索を行なっている。この技術では、ブロックマッチングによる動きベクトル探索を１段目のみで行ない、２段目探索を評価値で算出することで、計算量や回路規模の低減を図っている。
特許第２５９６３５２号公報（明細書全文）

しかしながら、上記従来の特許文献１の技術においては、評価値を加算した後、同じ０．５画素位置であっても、（０．５，０）位置又は（０，０．５）位置である場合と、（０．５，０．５）位置である場合とでは、異なる係数を乗ずることを行なうために、乗算器が必要となる。また、小数画素位置に応じた適切な係数に変更するための手間を必要としていた。

本発明の目的は、１段目探索よりも精度の細かいベクトルを、回路規模を増やすことなく精度良く検出する動きベクトル検出方法を提供することにある。

本発明の動きベクトル検出方法は、小数画素精度の画像が主観評価の際に良好な評価を受ける場合が多いことに着目し、算出した評価値を用いてより精度の細かい精細ベクトルを検出する方法である。つまり、１回の探索で算出した１つの評価値とその周辺の評価値とに基づいて、候補ベクトルの間の画素位置、すなわち、探索が１画素精度であれば、０．５画素精度に相当する動きベクトルを求める方法を提供する。

ここで、小数画素精度の画像は、隣接画素の和を隣接画素数で割って生成する。そのために、その画像の特徴として、ノイズや急峻な画素値変化を抑えるロ−パスフィルタの効果が挙げられる。これにより、主観評価において良好な評価結果を得ることができ、人間の目に違和感のない画像となる場合が多い。

本発明の第１の動きベクトル検出方法は、１／Ｍ（Ｍ＝２ⁿ ，ｎは０以上の整数）画素精度候補ベクトルの符号化対象ブロックに対する相関度をそれぞれ評価値として算出し、該各評価値の最小値に基づいて１／Ｍ画素精度動きベクトルを求めた後、１／Ｍ画素精度動きベクトルの評価値である１／Ｍ画素精度評価値と、１／Ｍ画素精度動きベクトルとは先端位置が相隣接する隣接１／Ｍ画素精度候補ベクトルの評価値とに基づいて、１／Ｎ（Ｎ＝２ⁿ⁺¹ ）画素精度ベクトルを決定する方法である。

この方法により、１／Ｍ画素精度動きベクトルを検出する際に用いた１段のブロックマッチングの評価値に基づいて、乗算器を用いずに、１／Ｎ画素精度動きベクトル，つまり，より精度の細かい精細ベクトルを検出することができるため、この検出方法を実現するための装置における回路規模を削減しつつ精度良い動きベクトルの検出が可能である。

１／Ｎ画素精度動きベクトルを求める際には、１／Ｍ画素精度動きベクトルと、これとは先端位置が相隣接する隣接１／Ｍ画素精度候補ベクトルとからなる複数のベクトル群を構成して、ベクトル群の各評価値の和の最小値を示すベクトル群の中心位置を１／Ｎ画素精度ベクトルとすることにより、１段のブロックマッチングの評価値の加算処理により判定ができるので簡易な方法で動きベクトル検出が可能である。

１／Ｎ画素精度動きベクトルを求める際には、複数の１／Ｍ画素精度候補ベクトルのうち特定のベクトルの評価値からあるオフセット値を減ずるか、上記特定のベクトルの評価値にある係数を乗ずることにより、例えば前のマクロブロックの動きベクトルと類似した位置が選択される可能性が高くなり、符号化効率の面で有利である。

本発明の第２の動きベクトル検出方法は、各１／Ｍ画素精度候補ベクトルの符号化対象ブロックに対する相関度である評価値と評価値の最小値を算出し、この最小値と、評価値の最小値を与える１／Ｍ画素精度候補ベクトルとは先端位置が相隣接する複数の隣接１／Ｍ画素精度候補ベクトルの評価値との差分である評価値差分に基づいて、１／Ｎ画素精度ベクトルを決定する方法である。

この方法によっても、第１の動きベクトル検出方法と同様に、この検出方法を実現するための装置における回路規模を削減しつつ精度良い動きベクトルの検出が可能である。

本発明の動きベクトル検出装置は １／Ｍ画素精度動きベクトル検出部で検出された１／Ｍ画素精度動きベクトルと、１／Ｍ画素精度動きベクトルとは先端位置が相隣接する隣接１／Ｍ画素精度候補ベクトルの評価値とに基づいて、１／Ｎ画素精度ベクトルを算出する１／Ｎ画素精度動きベクトル決定部を備えている。

これにより、乗算器を用いずに、より精度の細かい精細ベクトルを検出することができるため、回路規模を削減しつつ高精度で動きベクトルを検出しうる動きベクトル検出装置が得られる。

本発明によると、乗算器を用いずに、回路規模を削減しつつ，より精度の細かい精細ベクトルを検出しうる動きベクトル検出方法又は動きベクトル検出装置の提供を図ることができる。

（第１の実施形態）
図１は、各実施形態に共通のＭＰＥＧ符号化処理装置における処理フローを示すブロック図である。同図に示すように、ＭＰＥＧ符号化処理装置は、画像データに離散コサイン変換を施すための離散コサイン変換部（ＤＣＴ）１０と、離散コサイン変換された画像データを量子化するための量子化部（Ｑ）１５と、量子化された画像データを可変長符号化するための可変長符号化部（ＶＬＣ）２０と、量子化された画像データを逆量子化するための逆量子化部（ＩＱ）２５と、逆量子化された画像データを逆離散コサイン変換するための逆離散コサイン変換部（ＩＤＣＴ）３０と、符号化対象画像の動きベクトルを検出する動きベクトル検出部１００と、検出された動きベクトルを格納する動きベクトルレジスタ５０と、動きベクトルやベストマッチブロックの画像データなどを格納する探索範囲画像メモリ５５と、ベストマッチブロックについての０．５画素精度の画像データＳ0.5 を生成する０．５画素精度画像生成部６０と、ベストマッチブロックの０．５画素精度画像データＳ0.5 と符号化対象画像の画像データＳinとの差分を演算するための差分器４０と、ベストマッチブロックの０．５画素精度画像データＳ0.5 と逆離散コサイン変換された画像データとの加算を行なう加算器３５とを備えている。

なお、探索範囲画像メモリ５５の記憶機能の一部を代替するメモリを、動きベクトル検出部１００に配置することもできる。

ＭＰＥＧ符号化処理装置に符号化対象画像に関する画像データＳinが入力されると、各マクロブロックについて、以下の処理が施される。まず、動きベクトル検出部１００において、画像データＳinに基づいて動きベクトルが算出され、その結果が動きベクトルレジスタ５０及び探索範囲画像メモリ５５に書き込まれる。このとき、探索範囲画像メモリ５５には、探索範囲の各候補ブロックの画像データが逐次記憶され、最終的にベストマッチブロック（１画素精度）の画像データが記憶される。そして、０．５画素精度画像生成部６０において、ベストマッチブロックについての０．５画素精度の画像データＳ0.5 が生成される。差分器４０において、０．５画素精度画像生成部６０から入力されるベストマッチブロックの０．５画素精度画像データＳ0.5 と、符号化対象画像の画像データＳinとの差分データが算出される。その後、この差分データは、離散コサイン変換部（ＤＣＴ）１０において離散コサイン変換され、量子化部（Ｑ）１５において量子化される。さらに、可変長符号化部（ＶＬＣ）２０において符号化され、圧縮された符号からなる画像データＳout として出力される。

また、量子化された画像データは、逆量子化部（ＩＱ）２５において逆量子化され、逆離散コサイン変換部（ＩＤＣＴ）３０において逆コサイン変換を受ける。さらに、加算器３５において、逆コサイン変換を受けた画像データと、ベストマッチブロックの０．５画素精度画像データとの加算が行なわれ、加算されたデータは、以降の動きベクトル探索時に用いる探索範囲画像を生成するために、探索範囲画像メモリ５５に格納される。

また、動きベクトル差分器４５において、動きベクトルレジスタ５０に格納されている１つ目のマクロブロックの動きベクトルと、２つ目のマクロブロックの動きベクトルについて動きベクトル検出部１００で検出された動きベクトルとの差分が演算され、この差分動きベクトルは可変長符号化部２０に供給される。そして、可変長符号化部２０において差分動きベクトルは符号化され、２つ目のマクロブロックの画像データと共に出力される。

図２は、第１の実施形態における動きベクトル検出部１００の構成を示すブロック回路図である。同図に示すように、動きベクトル検出部１００は、符号化対象画像データと探索範囲画像データ（候補ブロックの画像データ）とを入力して、１画素精度動きベクトルと最小評価値とを出力する１画素精度動きベクトル検出部１１０と、１画素精度動きベクトル検出部１１０から出力される１画素精度動きベクトルと最小評価値とを入力して、０．５画素精度動きベクトルを出力する０．５画素精度動きベクトル決定部１２０と、１画素精度動きベクトル検出部１１０で求められた１画素精度動きベクトルや、０．５画素精度動きベクトル決定部１２０で求められた０．５画素精度動きベクトルなどを記憶する記憶部１３０とを備えている。すなわち、この例では、探索範囲画像メモリ５５の記憶機能の一部を代替する記憶部１３０が動きベクトル検出部１００に配置されている。

１画素精度動きベクトル検出部１１０は、図１２に示すような一般的な手法に従って、符号化対象画像データと探索範囲画像データ（候補ブロックの画像データ）とを入力して、符号化対象ブロックと探索範囲内の候補ブロックとの相関度を示す評価値の最小値（最小評価値）と、その最小評価値を示す１画素精度動きベクトルとを求める。０．５画素精度動きベクトル決定部１２０は、後述する手順に従って、１画素精度動きベクトル検出手段１１０が求めた１画素精度動きベクトル及び最小評価値から０．５画素精度動きベクトルを決定する。

図３は、１画素精度動きベクトル検出部１１０の詳細な構成を示すブロック回路図である。同図に示すように、１画素精度動きベクトル検出部１１０は、符号化対象画像データと探索範囲画像データとの差分を演算する差分絶対値演算器１１１と、差分絶対値の累積値を演算する累算器１１２と、差分絶対値の累算値を格納する累算レジスタ１１３と、累算レジスタ１１３から累算値を取り出して格納する１画素精度評価値メモリ１１４と、１画素精度評価値に応じた動きベクトルを発生する動きベクトル発生器１１５と、動きベクトルを格納する１画素精度動きベクトルメモリ１１６とを備えている。

図３に示す１画素精度動きベクトル検出部１１０において、差分絶対値演算器１１は、符号化対象画像データＡと探索範囲画像データＢとの差分を演算した後、差分の絶対値を算出する。累算器１１２は、新たに算出された差分の絶対値とそれ以前に算出された加算値とを加算し（更新）、更新された累算値は累算レジスタ１１３に格納されていく。累算が終了すると、１画素精度評価値メモリ１１４に累算レジスタ１１３の値が格納される。また、動きベクトル発生器１１５において、１画素精度評価値メモリ１１４から出力される１画素精度評価値に対応する１画素精度位置が生成され、動きベクトルは１画素精度動きベクトルメモリ１１６に格納された後、１画素精度動きベクトルとして出力される。これにより、１段目探索が終了し、２段目探索に移行する。

図４は、第１の実施形態における０．５画素精度動きベクトル決定部１２０の詳細な構造を示すブロック回路図である。同図に示すように、０．５画素動きベクトル決定部１２０は、最小評価値Ａと、最小評価値Ａの入力から１ラインずつ順次遅延されて入力される隣接評価値Ｂ，Ｃ，Ｄとを加算する４入力加算器１２１と、加算結果を格納する加算結果レジスタ１２２と、加算結果レジスタ１２２の値と後述する最小値レジスタ１２４の値とを比較して更新信号を出力する比較器１２３と、加算結果レジスタ１２２の値と比較器１２３から出力される更新信号とを格納する最小値レジスタ１２４と、比較器１２３から出力される更新信号と、動きベクトル（Ｘ，Ｙ）とを格納して、０．５画素精度動きベクトル（Ｘ＋０．５，Ｙ＋０．５）を出力する動きベクトルレジスタ１２５とを備えている。

図５は、第１の実施形態における１画素精度位置（１画素精度候補ベクトルの先端位置）と０．５画素精度位置（０．５画素精度候補ベクトルの先端位置）との関係を説明するための図である。同図において、○印は１画素精度候補ベクトルが指し示す位置（ベクトルの先端位置）、☆印は２個の１画素精度位置の中間位置である０．５画素精度位置（０．５画素精度ベクトルの先端位置）、★印は４個の１画素精度位置の中間位置である０．５画素精度位置（０．５画素精度ベクトルの先端位置）をそれぞれ示している。

図６は、第１の実施形態における０．５画素精度位置における評価値の算出例を示す図である。図６に示すＸ座標，Ｙ座標の整数位置（０，０），（０，１），（０，２），（１，０），…は探索範囲における１画素精度の動きベクトル（１画素精度候補ベクトル）が指し示す位置（先端位置）であって、原点を基点とする１画素精度候補ベクトルを表している。そして、図６中の数字は探索範囲における１画素精度候補ベクトルの評価値を表している。図６の小数点位置（０．５，０．５），（０．５，１．５），（１．５，０．５），（１．５，１．５），（２．５，０．５），（２．５，１．５）は、図５に示す★印に相当する位置であり、０．５画素精度ベクトルが指し示す位置（先端位置）であって、原点を基点とする０．５画素精度ベクトルを表している。０．５画素精度ベクトルのうち０．５画素精度動きベクトルの候補対象となるものを０．５画素候補ベクトルという。本実施形態では、０．５画素精度候補ベクトルの評価値として、先端位置が相隣接する４つの１画素精度ベクトルにおける評価値を加算した値を用いている。なお、１画素精度候補ベクトルは、０．５画素精度候補ベクトルに含まれている。

以下、図４，図５及び図６を参照しながら、１画素精度動きベクトルから０．５画素精度動きベクトルを決定する手順について説明する。

まず、１画素精度動きベクトル検出部１１０において、１画素精度候補ベクトルの評価値（図５に示す○印位置における評価値）が求められる。例えば、図６に示す１画素精度候補ベクトル（０，０），（０，１），（０，２），（１，０），…における評価値８０，６０，９０，…が算出されたとする。

次に、０．５画素精度動きベクトル決定部１２０の４入力加算器１２１において、先端位置が相隣接する４つの１画素精度候補ベクトルの（ベクトル群）表価値（図５に示す○印位置）が加算されて、４つの１画素精度候補ベクトル（ベクトル群）の各先端位置の中央部（★印）に先端位置を有する０．５画素精度候補ベクトルの評価値（加算結果）が得られる。たとえば、図６に示す，相隣接する４つの１画素精度候補ベクトル（ベクトル群）（０，０），（０，１），（１，０），（１，１）の評価値８０，６０，２０，１０の値が加算されると、４つの１画素精度候補ベクトル（ベクトル群）の各先端位置の中間に先端値を有する０．５画素精度候補ベクトル（０．５，０．５）の評価値１７０が得られる。同様にして、図６に示す０．５画素精度候補ベクトル（０．５，１．５）の評価値２１０と、０．５画素精度候補ベクトル（１．５，０．５）の評価値１００と、０．５画素精度候補ベクトル（１．５，１．５）の評価値１３０と、０．５画素精度候補ベクトル（２．５，０．５）の評価値１９０と、０．５画素精度候補ベクトル（２．５，１．５）の評価値１８０とが得られる。

これらの０．５画素精度候補ベクトルの評価値（加算結果）は、図４に示す加算結果レジスタ１２２に格納され、逐次取り出される。最初に取り出された加算結果が、最小評価値レジスタ１２４に格納される。そして、図４に示す比較器１２３により、最小評価値レジスタ１２４に格納されている評価値（加算結果）と、加算結果レジスタ１２２から取り出された評価値（加算結果）との大小関係が比較され、加算結果レジスタ１２２から取り出された評価値の方が小さい場合には、更新信号が出力され、当該加算結果レジスタ１２２から取り出された評価値が最小評価値レジスタ１２４と動きベクトルレジスタ１２５とに出力される。図６に示す例では、０．５画素精度候補ベクトル（１．５，０．５）の評価値１００が最小である。そこで、０．５画素精度動きベクトル（１．５，０．５）を与える０．５画素精度の候補ブロックをベストマッチングブロックとして決定する。

そして、１つの探索範囲に対する評価値の大小の比較動作が終了すると、動きベクトルレジスタ１２５に格納されている１画素精度ベクトル（Ｘ，Ｙ）に対して、Ｘ，Ｙに０．５を付加した値（Ｘ＋０．５，Ｙ＋０．５）が、０．５画素精度動きベクトルとして出力される。

なお、演算が２進数で処理される場合には、小数点第１位に１を付加するだけでよく、加算の必要もない。

本実施形態の動きベクトル検出装置によると、図３及び図４に示すように、乗算器を設けなくても、０．５画素精度動きベクトルを容易に検出することができるので、回路規模（ハードウェア）を増やすことなく、動きベクトルを検出することができる。

また、本実施形態の動きベクトル検出方法によると、１段のブロックマッチングの評価値に基づいて、乗算処理を行わずに、より精度の細かい精細ベクトルを検出することができるので、回路規模の小さい装置を用いながら、高精度で動きベクトルを検出することができる。

−第１の実施形態の変形例−
図７は、第１の実施形態の変形例の０．５画素精度候補ベクトルの評価値の算出例を示す図である。図７に示すＸ座標，Ｙ座標の整数位置（０，０），（０，１），（０，２），（１，０），…は探索範囲における１画素精度候補ベクトルが指し示す位置（先端位置）であって、原点を基点とする１画素精度候補ベクトルを表している。そして、図７中の数字は探索範囲における１画素精度候補ベクトルの評価値を表している。図７の小数点位置（０．５，０），（０．５，１），（０．５，２），（１．５，０），（１．５，１），（１．５，２），（２．５，０），（２．５，１），（２．５，２）は、図５に示す☆印に相当する位置であり、０．５画素精度候補ベクトルが指し示す位置（先端位置）であって、原点を基点とする０．５画素精度候補ベクトルを表している。本実施形態では、０．５画素精度候補ベクトルの評価値として、水平方向において相隣接する先端位置をそれぞれ有する２つの１画素精度候補ベクトル（ベクトル群）の各評価値を加算した値を用いている。なお、１画素精度候補ベクトルは、０．５画素精度候補ベクトルに含まれている。

なお、０．５画素精度候補ベクトルの評価値として、垂直方向において相隣接する先端位置をそれぞれ有する２つの１画素精度候補ベクトル（ベクトル群）の各評価値を加算した値を用いてもよい。その場合には、図５に示すハッチング付き☆印の位置が、０．５画素精度候補ベクトルの評価値を表す位置となる。

以下、図７を参照しながら、１画素精度動きベクトルから０．５画素精度動きベクトルを算出する手順について説明する。

第１の実施形態では、先端位置が相隣接する４つの１画素精度候補ベクトル（ベクトル群）の評価値を加算して得られた値を、それらの中央部における０．５画素精度候補ベクトルの評価値とし、それらのうちの最小値から０．５画素精度動きベクトルを決定したが、本変形例では水平方向に相隣接する２つの１画素精度候補ベクトルの評価値（ベクトル群）を加算して得られた値を、それらの中央部における０．５画素精度候補ベクトルの評価値とし、それらのうちの最大値から動きベクトルを決定する。すなわち、本変形例では、図４に示す４入力加算器に代えて、２入力加算器を配置する。

図７に示す例では、例えば、０．５画素精度候補ベクトル（０．５，０）の評価値は、図７に示す１画素精度候補ベクトル（０，０）の評価値８０と、１画素精度候補ベクトル（１，０）の評価値２０とを加算した値１００となる。図７に示す例では、０．５画素精度候補ベクトルの評価値の中での最小値は４０であり、これに該当する０．５画素精度候補ベクトルは、（１．５，１）である。

同様に、０．５画素精度候補ベクトルの評価値を１段目の探索で得られた評価値とすると、その評価値から０．２５画素精度候補ベクトルの評価値が求まることになる。よって、一般に、Ｍ＝２ⁿ ，Ｎ＝２ⁿ⁺¹ の関係があるときは、先端位置が相隣接する複数の１／Ｍ画素精度候補ベクトルの評価値を加算した値を、上記複数の１／Ｍ画素精度候補ベクトルの中央部に位置する１／Ｎ画素精度候補ベクトルの評価値とし、１／Ｎ画素精度候補ベクトルの評価値の最小値から、１／Ｎ画素精度の動きベクトルを求めることができる。

なお、本実施形態又はその変形例において、所望の０．５画素精度候補ベクトルの評価値を、図６，図７に示すごとく全て算出したが、必ずしも全ての０．５画素精度候補ベクトルの評価値を算出する必要はない。例えば、１画素精度候補ベクトルの評価値の最小値をまず検出し、この最小値と、最小値を示す１画素精度候補ベクトルとは先端位置が相隣接する１画素精度候補ベクトルの評価値とを加算した値を０．５画素精度候補ベクトルの評価値として算出し、各０．５画素精度候補ベクトルの評価値の最小値から、０．５画素精度動きベクトルを決定してもよい。

また、ある特定の１画素精度候補ベクトルを指定してその位置における０．５画素精度の評価値として、４個の１画素精度候補ベクトルの中間位置（図５に示す★印）との和の比較であれば４倍に、２個の１画素精度候補ベクトルの中間位置（図２の白抜星印）との和の比較であれば２倍にして比較して、特定の１画素精度候補ベクトルのみを選択候補とすることも可能である。

（第２の実施形態）
図８は、第２の実施形態に係る動きベクトル検出方法を示す図である。１画素精度候補ベクトル（０，１）が、例えば前のマクロブロックの動きベクトルと類似した位置であると仮定する。ＭＰＥＧの場合、動きベクトルを符号化する場合に、前のマクロブロックの動きベクトルとの差分が符号化される。そのため、前のマクロブロックの動きベクトルと類似した位置を選択することは符号化効率の点で有利である。

そこで、本実施形態においては、例えば、前の画面におけるマクロブロックの１画素精度候補ベクトル（０，１）に近い位置が選択されやすくするために、当該ベクトル（０，１）の評価値に対するオフセット値として５０を設定する。つまり、図７に示す１画素精度候補ベクトル（０，１）の評価値６０（第１の実施形態の変形例において１段目の探索で求められた評価値）からオフセット値５０を減算した値を、１画素精度候補ベクトル（０，１）の評価値とする。そして、この１画素精度候補ベクトルの評価値を用いて、第１の実施形態の変形例に示す方法により、０．５画素精度候補ベクトルの評価値を算出すると、図８に示す通りになる。この例では、０．５画素精度候補ベクトル（０．５，１）の評価値だけが図７に示す各０．５画素精度候補ベクトルの評価値とは異なっている。その結果、図８に示す０．５画素精度候補ベクトル（０．５，１）の評価値が最小値となるので、０．５画素精度の動きベクトルは、（０．５，１）である。

（第３の実施形態）
図９は、第３の実施形態に係る動きベクトル検出方法を示すフロ−チャ−ト図である。以下、図９を参照しながら、本実施形態の動きベクトル検出方法について説明する。

まず、ステップＳＴ１１で、予めメモリに格納されている各１画素精度候補ベクトルの評価値をメモリから取り出して、そのうち最小評価値をとる１画素精度位置（１画素精度動きベクトルの先端位置）を求める。この最小評価値と、最小評価値をとる１画素精度位置（１画素精度動きベクトルの先端位置）とは、メモリに格納される。

次に、ステップＳＴ１２で、メモリから取り出した最小評価値と、１画素精度動きベクトルとは先端位置が相隣接する隣接１画素精度候補ベクトルの評価値（隣接評価値）との差分（以降、「評価値差分」と呼ぶ）を求める。一般には、隣接１画素精度候補ベクトルは、８個存在する。

次に、ステップＳＴ１３で、評価値差分に基づいて、ベクトル群単位での０．５画素精度候補ベクトルの評価値を求める。ただし、１画素精度動きベクトルと３つの隣接１画素精度候補ベクトルとの４個のベクトルによって１つのベクトル群が構成される。一般には、１つの１画素精度動きベクトルを要素として含むベクトル群は、図１０に示すａ群〜ｄ群のごとく、４個存在する。このステップＳＴ１３における処理の詳細については後述する。

次に、ステップＳＴ１４における判別で、４つのベクトル群（ａ群〜ｄ群）についてステップＳＴ１３の処理を完了したことが確認されるまで、ステップＳＴ１３の処理を繰り返し、ステップＳＴ１３の処理が完了すると、ステップＳＴ１５に進む。

そして、ステップＳＴ１５で、ステップＳＴ１３において各ベクトル群（例えばａ群）単位で求められた０．５画素精度候補ベクトルの評価値から最終的な０．５画素精度動きベクトルを求める。

次に、ステップＳＴ１３及びＳＴ１５の処理の詳細について説明する。

ステップＳＴ１３の処理においては、ステップＳＴ１３ａ，ＳＴ１３ｂの判別を経て、評価値差分の範囲に応じて、ステ−ジ１からステ−ジ３の３つの処理に分岐する。

ステップＳＴ１３ａの判別において、最大の評価値差分が所定の閾値以下である場合は、ステップＳＴ１３ｃにおいてステージ１の処理を行なう。上述のように、１画素精度動きベクトルを要素として含む４個のベクトルによって１つのベクトル群が構成されている。ここで、「最大の評価値差分が所定の閾値以下」とは、１画素精度動きベクトルを要素として含むベクトル群中のいずれの隣接１画素精度候補ベクトルもベストマッチブロックの位置に近いことを意味する。そのため、４つのベクトル（１画素精度動きベクトルと各隣接１画素精度候補ベクトルと）の各先端位置の中心を０．５画素精度ベクトルの先端位置として、その評価値を算出する。

一方、ステップＳＴ１３ａの判別において最大の評価値差分が所定の閾値を越えている場合はステップＳＴ１３ｂの判別処理に移行する。そして、ステップＳＴ１３ｂの判別において最小の評価値差分が所定の閾値以下の場合には、ステップＳＴ１３ｄに進んでステージ２の処理を行なう。この場合、最小の評価値をとる２つの１画素精度候補ベクトルの各先端位置の中心を０．５画素精度候補ベクトルの先端位置とする。「最大の評価値差分が所定の閾値以上の場合でかつ最小の評価値差分が所定の閾値以下」とは、少なくとも２個の１画素精度候補ベクトルがベストマッチブロックの位置に近いことを意味する。そのため、２個の１画素精度候補ベクトルの先端位置から等距離にある先端位置を有するベクトルを０．５画素精度候補ベクトルとする。

また、ステップＳＴ１３ｂの判別で最小の評価値差分が所定の閾値を越えている場合は、ステップＳＴ１３ｅに進んでステ−ジ３の処理を行なう。この場合、最小評価値をとる１画素精度動きベクトルを０．５画素精度候補ベクトルとする。「最小の評価値差分が所定の閾値以上」とは、１画素精度動きベクトルがベストマッチブロックの位置であることを意味する。そのため、ステップＳＴ１１で求められた１画素精度動きベクトルを０．５画素精度候補ベクトルとする。

このステップＳＴ１３ａ，ＳＴ１３ｂ，ＳＴ１３ｃにおいて算出された０．５画素精度候補ベクトルは、いずれもメモリに格納される。

そして、ステップＳＴ１５において、メモリに格納されている０．５画素精度候補ベクトルをメモリから取り出して、最終的な０．５画素精度動きベクトルを以下のように決定する。

まず、ステージ１で求められた０．５画素精度候補ベクトルがある場合は、それを最終的な０．５画素精度動きベクトルとして決定する。ステージ１で求められた０．５画素精度候補ベクトルがなく、ステージ２で求められた０．５画素精度候補ベクトルがある場合は、それを０．５画素精度動きベクトルとする。上記以外の場合は、ステージ３で求められた０．５画素精度候補ベクトルを最終的な０．５画素精度動きベクトルとする。同じステージで求められた０．５画素精度候補ベクトルが２個以上ある場合は、評価値差分がより小さい０．５画素精度候補ベクトルを最終的な０．５画素精度動きベクトルとする。

−処理の第１の具体例−
図１０は、第１の具体例に係る処理の具体例を示す図である。この場合、図９のフローチャート中における所定の閾値が３０であるとする。

まず、ステップＳＴ１１において、図１０に示す各１画素精度候補ベクトルの評価値のうちの最小値を示す１画素精度動きベクトル（１，１）が求められる。

次に、ステップＳＴ１２において、１画素精度動きベクトル（１，１）の評価値と、各隣接１画素精度候補ベクトル（０，０），（０，１），（０，２），（１，０），（１，１），（１，２），（２，０），（２，１），（２，２）の各評価値との差分が、評価値差分として求められる。その結果、各０．５画素精度ベクトル（０．５，０．５），（０．５，１），（０．５，１．５），（１，０．５），（１，１．５），（１．５，０．５），（１．５，１），（１．５，１．５）における評価値差分の値は、それぞれ、７０，５０，８０，１０、４０，３０，２０，３０である。

次に、ステップ１３において、評価値差分の閾値を３０とする。ステージ１，２，３の処理内容からわかるように、閾値３０を越える評価値差分を示す０．５画素精度ベクトルは０．５画素精度動きベクトルの候補対象から除かれるので、図１０には、閾値３０を越える評価値差分には×印を施している。つまり、０．５画素精度ベクトルのうちでは、それぞれ評価値差分１０，３０，２０，３０を示す０．５画素精度ベクトル（１，０．５），（１．５，０．５），（１．５，１），（１．５，１．５）が候補対象である。その結果、ａ群においては、０．５画素精度ベクトル（１，０．５）（評価値差分１０）のみが候補対象であり、ｂ群においては、０．５画素精度ベクトルのうちには候補対象がなく、ｃ群においては、３つの０．５画素精度ベクトル（１，０．５），（１．５，０．５），（１．５，１）（評価値差分１０，３０，２０）が候補対象であり、ｄ群においては２つの０．５画素精度ベクトル（１．５，１），（１．５，１．５）（評価値差分２０，３０）が候補対象である。

その結果、ａ群においては、最大の評価値差分７０が閾値３０以下ではなく、０．５画素精度ベクトル（１，０．５）（評価値差分１０）のみが候補対象であるため、ステージ２において、０．５画素精度ベクトル（１，０．５）が、ａ群の０．５画素精度候補ベクトルとして決定される。

ｂ群においては、いずれの評価値差分も閾値３０を超えているため、ステ−ジ３において、１画素精度動きベクトル（１，１）が、ｂ群の０．５画素精度候補ベクトルとして決定される。

ｃ群においては、最大の評価値差分３０が閾値３０以下であり、３つの０．５画素精度ベクトル（１，０．５），（１．５，０．５），（１．５，１）が候補対象であるため、ステ−ジ１において、４つの１画素精度ベクトルの中心である０．５画素精度ベクトル（１．５，０．５）が、ｃ群の０．５画素精度候補ベクトルとして決定される。

ｄ群においては、最大の評価値差分４０が閾値３０以下でなく、２つの０．５画素精度ベクトル（１．５，１），（１．５，１．５）が候補対象であるので、ステ−ジ２において、評価値差分がより小さい０．５画素精度ベクトル（１．５，１）が、ｄ群の０．５画素精度候補ベクトルとして決定される。

そして、ステップ１４において、ステップＳＴ１２中のステージ１で決定されたｃ群の０．５画素精度候補ベクトル（１．５，０．５）が最終の０．５画素精度動きベクトルとして決定される。

−処理の第２の具体例−
図１１は、第２の具体例に係る処理の具体例を示す図である。この場合、図９のフローチャート中における所定の閾値が２０であるとする。

この場合にも、第１の具体例と同様に、ステップＳＴ１１，ＳＴ１２において、１画素精度動きベクトル（１，１）と、その位置の評価値と、各隣接１画素精度候補ベクトルの各評価値との差分が、評価値差分として求められる。

次に、ステップ１３において、評価値差分の閾値を２０とする。ステージ１，２，３の処理内容からわかるように、閾値２０を越える評価値差分を示す０．５画素精度ベクトルは０．５画素精度動きベクトルの候補対象から除かれるので、図１１には、閾値２０を越える評価値差分には×印を施している。つまり、評価値差分１０，２０を示す２つの０．５画素精度ベクトル（１，０．５），（１．５，１）のみが候補対象である。その結果、ａ群においては、０．５画素精度ベクトル（１，０．５）が候補対象であり、ｂ群においては０．５画素精度ベクトルの候補対象がなく、ｃ群においては、２つの０．５画素精度ベクトル（１，０．５），（１．５，１）（評価値差分１０，２０）が候補対象であり、，ｄ群においては、１つの０．５画素精度ベクトル（１．５，１）（評価値２０）が候補対象である。

その結果、ａ群においては、最大の評価値差分７０が閾値２０以下ではなく、０．５画素精度ベクトル（１，０．５）のみが候補対象であるため、ステージ２において、０．５画素精度ベクトル（１，０．５）（評価値差分１０）が、ａ群の０．５画素精度候補ベクトルとして決定される。

ｂ群においては、いずれの評価値差分も閾値２０を超えているため、ステ−ジ３において、１画素精度動きベクトル（１，１）が、ｂ群の０．５画素精度候補ベクトルとしてそれぞれ決定される。

ｃ群においては、最大の評価値差分３０が閾値２０以下ではないので、ステ−ジ２において、０．５画素精度ベクトル（１，０．５），（１．５，１）のうちで評価値差分がより小さいベクトル（１，０．５）（評価値差分１０）が、ｃ群の０．５画素精度候補ベクトルとして決定される。

ｄ群においては、最大の評価値差分４０が閾値２０以下ではなく、０．５画素精度ベクトル（１．５，１）の評価値差分のみが閾値２０以下であるため、ステ−ジ２において、０．５画素精度ベクトル（１．５，１）（評価値差分２０）が、ｄ群の０．５画素精度候補ベクトルとして決定される。

そして、ステップ１４において、ステップＳＴ１２中のステージ２で決定されたａ群，ｃ群，ｄ群の０．５画素精度候補ベクトルのうちで、最も小さい評価値差分１０を示す０．５画素精度候補ベクトル（１，０．５）が最終の０．５画素精度動きベクトルとして決定される。

−第３の実施形態の変形例−
第１の変形例として、ステ−ジ２を「２個の評価値差分が所定の閾値以下の場合」と「１個の評価値差分のみが所定の閾値以下の場合」との２種類に分けて、「２個の評価値差分が所定の閾値以下の場合」に、３個の１画素精度候補ベクトルの中心近傍の０．２５画素精度候補ベクトルを最終的な０．５画素精度動きベクトルとし（例えば図１０に示す★の位置）、１個の評価値差分のみが所定の閾値以下の場合には、ステ−ジ２と同様の処理とすることも可能である。

第２の変形例として、ステ−ジ１は、少なくとも２個の評価値差分が所定の閾値以下の場合とし、ステ−ジ２は、１個のみの評価値差分が所定の閾値以下の場合とし、ステ−ジ３は、いずれも閾値を超えている場合とすることも可能である。

さらに簡易な方法である第３の変形例として、Ｍ＝２ⁿ ，Ｎ＝２ⁿ⁺¹ （ｎ≧０）としたときに、最小評価値をとる１／Ｍ画素精度候補ベクトル（１／Ｍ画素精度候補ベクトル）の評価値と、それに隣接する各１／Ｍ画素精度候補ベクトルの評価値との差が最小値をとるような，２つの候補ベクトルの中心位置を１／Ｎ画素精度動きベクトルとすることも可能である。

本発明の動きベクトル検出方法及び動きベクトル検出装置は、ディジタル動画像のデータ圧縮技術を用いるＤＶＤ装置や携帯電話などに利用することができる。

各実施形態に共通のＭＰＥＧ符号化処理装置における処理フローを示すブロック図である。 第１の実施形態における動きベクトル検出部の構成を示すブロック回路図である。 第１の実施形態における１画素精度動きベクトル検出部の詳細な構成を示すブロック回路図である。 第１の実施形態における０．５画素精度動きベクトル決定部の詳細な構造を示すブロック回路図である。 第１の実施形態における１画素精度位置と０．５画素精度位置の関係を説明するための図である。 第１の実施形態における０．５画素精度位置における評価値の算出例を示す図である。 第１の実施形態の変形例の０．５画素精度候補ベクトルの評価値の算出例を示す図である。 第２の実施形態に係る動きベクトル検出方法を示す図である。 第３の実施形態に係る動きベクトル検出方法を示すフロ−チャ−ト図である。 第３の実施形態の第１の具体例に係る処理の具体例を示す図である。 第３の実施形態の第２の具体例に係る処理の具体例を示す図である。 一般的なブロックマッチング法の原理を示す図である。

符号の説明

１０ 離散コサイン変換部（ＤＣＴ）
１５ 量子化部（Ｑ）
２０ 可変長符号化部（ＶＬＣ）
２５ 逆量子化部（ＩＱ）
３０ 逆離散コサイン変換部（ＩＤＣＴ）
３５ 加算器
４０ 差分器
４５ 動きベクトル差分器
５０ 動きベクトルレジスタ
５５ 探索範囲画像メモリ
６０ ０．５画素精度画像生成部
１００ 動きベクトル検出部
１１０ １画素精度動きベクトル検出部
１１１ 差分絶対値演算器
１１２ 累算器
１１３ 累算レジスタ
１１４ １画素精度評価値メモリ
１１５ 動きベクトル発生器
１１６ １画素精度動きベクトルメモリ
１２０ ０．５画素精度動きベクトル決定部
１２１ ４入力加算器
１２２ 加算結果レジスタ
１２３ 比較器
１２４ 最小評価値レジスタ
１２５ 動きベクトルレジスタ
１３０ 記憶部

Claims (9)

1. 対象フレ−ムの符号化対象ブロックと、探索フレ−ムの探索範囲内の複数の候補ブロックのうちのベストマッチブロックとの位置の差を動きベクトルとして検出する動きベクトル検出方法であって、
   １／Ｍ（Ｍ＝２ⁿ ，ｎは０以上の整数）画素精度の候補ブロックと符号化対象ブロックとの位置の差をそれぞれ１／Ｍ画素精度候補ベクトルと定義し、該各１／Ｍ画素精度候補ベクトルの符号化対象ブロックに対する相関度をそれぞれ評価値として算出し、該各評価値の最小値に基づいて１／Ｍ画素精度動きベクトルを求めるステップ（ａ）と、
   上記１／Ｍ画素精度動きベクトルと、上記１／Ｍ画素精度動きベクトルの評価値である１／Ｍ画素精度評価値とを記憶装置に記憶するステップ（ｂ）と、
   上記ステップ（ｂ）で記憶された１／Ｍ画素精度動きベクトルと上記１／Ｍ画素精度評価値とを記憶装置から取り出して、１／Ｍ画素精度動きベクトルとは先端位置が相隣接する隣接１／Ｍ画素精度候補ベクトルの評価値と、上記１／Ｍ画素精度動きベクトルの評価値とに基づいて、１／Ｎ（Ｎ＝２ⁿ⁺¹ ）画素精度ベクトルを決定するステップ（ｃ）と
   を含む動きベクトル検出方法。
2. 請求項１記載の動きベクトル検出方法において、
   上記ステップ（ａ）は、
   複数の１／Ｍ画素精度候補ベクトルの各評価値を算出するステップ（ａ１）と、
   上記ステップ（ａ１）で算出された各評価値を記憶装置に記憶するステップ（ａ２）と、
   上記ステップ（ａ２）で上記記憶装置に記憶された上記各評価値を取り出して、上記評価値の最小値を求め、該最小値を与える１／Ｍ画素精度候補ベクトルを１／Ｍ画素精度動きベクトルとして決定するステップ（ａ３）と
   を含む動きベクトル検出方法。
3. 請求項１又は２記載の動きベクトル検出方法において、
   上記ステップ（ｂ）では、上記１／Ｍ画素精度動きベクトルと、１／Ｍ画素精度動きベクトルとは先端位置が相隣接する少なくとも１つの隣接１／Ｍ画素精度候補ベクトルとからなる複数のベクトル群を構成して、上記複数のベクトル群における各評価値の和の最小値を示すベクトル群の中心位置を１／Ｎ画素精度ベクトルとする，動きベクトル検出方法。
4. 請求項１〜３のうちいずれか１つに記載の動きベクトル検出方法において、
   上記ステップ（ｃ）では、上記複数の１／Ｍ画素精度候補ベクトルのうち特定のベクトルの評価値からあるオフセット値を減ずるか、上記特定のベクトルの評価値にある係数を乗ずる，動きベクトル検出方法。
5. 対象フレ−ムの符号化対象ブロックと、探索フレ−ムの探索範囲内の複数の候補ブロックのうちのベストマッチブロックとの位置の差を動きベクトルとして検出する動きベクトル検出方法であって、
   １／Ｍ（Ｍ＝２ⁿ ，ｎは０以上の整数）画素精度の候補ブロックと符号化対象ブロックとの位置の差をそれぞれ１／Ｍ画素精度候補ベクトルと定義し、該各１／Ｍ画素精度候補ベクトルの符号化対象ブロックに対する相関度である評価値と、該評価値の最小値を算出するステップ（ａ）と、
   上記ステップ（ａ）で算出された評価値及びその最小値を記憶装置に記憶するステップ（ｂ）と、
   上記ステップ（ｂ）で記憶された評価値及びその最小値を記憶装置から取り出して、上記評価値の最小値と、上記評価値の最小値を与える１／Ｍ画素精度候補ベクトルとは先端位置が相隣接する複数の隣接１／Ｍ画素精度候補ベクトルの評価値との差分である評価値差分を算出するステップ（ｃ）と、
   上記評価値差分に基づいて、１／Ｎ（Ｎ＝２ⁿ⁺¹ ）画素精度ベクトルを決定するステップ（ｄ）と
   を含む動きベクトル検出方法。
6. 請求項５記載の動きベクトル検出方法において、
   上記ステップ（ｃ）では、
   上記１／Ｍ画素精度動きベクトルを第１ベクトルとし、上記１／Ｍ画素精度動きベクトルとは先端位置が水平方向において相隣接する隣接１／Ｍ画素精度候補ベクトルを第２ベクトルとし、上記１／Ｍ画素精度動きベクトルとは先端位置が垂直方向において相隣接する隣接１／Ｍ画素精度候補ベクトルを第３ベクトルとし、上記第２ベクトルとは先端位置が垂直方向において、上記第３ベクトルとは先端位置が水平方向においてそれぞれ相隣接する隣接１／Ｍ画素精度候補ベクトルを第４ベクトルとして、
   上記第１〜第４のベクトルからなるベクトル群を、上記１／Ｍ画素精度動きベクトルの周囲において構成し、各ベクトル群中の評価値差分に基づいて、上記１／Ｎ画素精度動きベクトルを決定する，動きベクトル検出方法。
7. 請求項６記載の動きベクトル検出方法において、
   上記ステップ（ｃ）では、
   上記評価値差分のうち最大の評価値差分が所定の閾値以下の場合は、上記第１から第４のベクトル群の中心に先端位置を有するベクトルを１／Ｎ画素精度動きベクトルとし、
   上記評価値差分のうち最大の評価値差分が所定の閾値を越え、かつ最小の評価値差分が所定の閾値以下の場合は、最小の２つの評価値をとるベクトル群の中心に先端位置を有するベクトルを１／Ｎ画素精度動きベクトルとし、
   上記以外の場合は、最小評価値をとる１／Ｍ画素精度動きベクトルを１／Ｎ画素精度動きベクトルとする
   動きベクトル検出方法。
8. 対象フレ−ムの符号化対象ブロックと、探索フレ−ムの探索範囲内の複数の候補ブロックのうちのベストマッチブロックとの位置の差を動きベクトルとして検出する動きベクトル検出装置であって、
   上記符号化対象ブロックの画像データと上記探索範囲の候補ブロックの画像データとを入力して、１／Ｍ（Ｍ＝２ⁿ ，ｎは０以上の整数）画素精度の候補ブロックと符号化対象ブロックとの位置の差をそれぞれ１／Ｍ画素精度候補ベクトルと定義し、該各１／Ｍ画素精度候補ベクトルの符号化対象ブロックに対する相関度をそれぞれ評価値として算出し、該各評価値の最小値に基づいて１／Ｍ画素精度動きベクトルを算出する１／Ｍ画素精度動きベクトル検出部と、
   上記１／Ｍ画素精度動きベクトル検出部で検出された上記１／Ｍ画素精度動きベクトルと、上記１／Ｍ画素精度動きベクトルとは先端位置が相隣接する隣接１／Ｍ画素精度候補ベクトルの評価値とを入力して、上記１／Ｍ画素精度動きベクトルの評価値と上記隣接１／Ｍ画素精度候補ベクトルの評価値とに基づいて、１／Ｎ（Ｎ＝２ⁿ⁺¹ ）画素精度ベクトルを決定する１／Ｎ画素精度動きベクトル決定部と
   を備えている動きベクトル検出装置。
9. 請求項８記載の動きベクトル検出装置において、
   上記１／Ｎ画素精度動きベクトル決定部は、
   上記１／Ｍ画素精度動きベクトルの評価値と上記隣接１／Ｍ画素精度候補ベクトルの評価値とを入力し、各評価値を加算して各々の加算結果を出力する加算器と、
   上記加算器からの上記出力を入力して、上記各々の加算結果を互いに比較する比較器と
   を含む，動きベクトル検出装置。

Images