JP2005302021A - 画像の画像区域に対応する運動ベクトルを求めるための方法および装置 - Google Patents

Abstract

【課題】画像の画像区域に対応する運動ベクトルを求める。
【解決手段】第一のブロックラスタ（Ｒ１）を使用して画像（Ｐｘ）をいくつかの第一のメインブロック（Ａｘ）に区分し、第一の評価法を実施して各々の第一のブロック（Ａｘ；Ａ１）に１つの運動ベクトル（Ｖａｘ；Ｖａ１）を供すると共に、第一のブロックラスタ（Ｒ１）に対して位置のずらされたさらに別のブロックラスタ（Ｒ２）を使用して前記画像を少なくとも１回さらに別のいくつかのメインブロック（Ｂｘ）に区分し、さらに別の評価法を実施してさらに別の各々のメインブロック（Ｂｘ）に１つの運動ベクトル（Ｖｂｘ）を供するステップと、少なくとも２つのラスタ（Ｒ１，Ｒ２）のメインブロックのオーバラップ区域によって形成された各々の下位ブロックに関して、それぞれの下位ブロック（ＡｘＢｘ）に対応するメインブロック（Ａｘ，Ｂｘ）の運動ベクトル（Ｖａｘ，Ｖｂｘ）に応じて、運動ベクトル（Ｖａｘｂｘ）を生成するステップとから成る。
【選択図】図１

Description

本発明は１画像内のそれぞれ個々の画像区域に対応する運動ベクトルを算出するための方法および装置に関する。

画像処理において、系列画像中の１画像のそれぞれ個々の画像区域に、それぞれこの画像区域のポジションの、系列画像中の前の画像または次の画像における当該画像区域のポジションに対する変位を表す運動ベクトルを対応させることは公知に属する。
これによって得られる運動情報はたとえば、運動物体のポジションを中間画像に正確に、つまり運動を正しく表すことができるように、時間的に系列画像の画像間にある１つまたは複数の中間画像を生成するにあたって有用である。連続した複数の画像にわたって運動する１つの物体または画像区域に関するこうした運動情報はさらに、連続した画像の画像データの圧縮ファイリングにも使用することが可能である。

この種の運動ベクトルを生成するための複数の方法のうち、考えられ得る一つの方法は、たとえばＨ．ブルーム（Ｂｌｕｍｅ，Ｈ）の“中間画像の非線形誤差許容補間法（Ｎｉｃｈｔｌｉｎｅａｒｅ ｆｅｈ−ｌｅｒｔｏｌｅｒａｎｔｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｖｏｎ Ｚｗｉｓｃｈｅｎｂｉｌｄｅｒｎ）"、ＶＤＩアドバンスレポート（Ｆｏｒｔｓｃｈｒｉｔｔｂｅｒｉｃｈｔｅ）、１９９７、５．１．３章、ｐ．５７以下、に記載のいわゆるブロックマッチング法である。この方法において、系列画像の現在の画像はいくつかの同じ大きさのブロックに区分される。次いで、これらのブロックの各々に対して、その画像内容が前の画像または次の画像において現在の画像のそれぞれのブロックの内容と最も多く一致するブロックが探索される。かくて、現在の画像のこのブロックと、現在の画像のこのブロックと最も多く一致する前の画像または次の画像のブロックとの間の変位ベクトルが現在の画像のこのブロックに関する運動ベクトルを形成する。

この場合、いわゆるフルサーチ・アルゴリズムでは、個々の区域の運動ベクトルを求めるために、現在の画像の各々のブロックが前の画像または次の画像の各々のブロックと比較される。さらに、フルサーチ・アルゴリズムの場合に必要とされる非常な演算コストを低減させるため、ブロックの運動ベクトルを求める際に前の運動評価から得られた運動情報を考慮する予測評価法が知られている。

ブロック評価法による運動評価の品質は基本的にブロック解像度、つまり個々のブロックの大きさに依存している。この場合、個々のブロックが小さければ小さいほど、したがって個々のブロックの画像解像度が優れていればいるほど、それゆえ求められる画像あたり運動ベクトルが多ければ多いほど、品質はいっそう向上する。ただし、ブロックの大きさが小さくなるにつれて逆に演算コストも高まることになる。したがって最適なブロックサイズは４×８（行×ピクセル）以上である。これによって、画像処理に際して鮮明に認識することのできるブロック構造が生ずる。

運動ベクトルを求める際の解像度を向上させるため、米国特許第５，１４８，２６９号明細書から、画像を所定の一定数のメインブロックに区分し、これらのメインブロックの各々に１つの運動ベクトルを対応させるため、まず最初にブロック評価を実施することが知られている。次いで、各メインブロックの各々はいくつかの下位ブロックに区分され、これらにそれぞれ１つの運動ベクトルが対応させられる。この場合、下位ブロックの運動ベクトルを生成するために、それぞれのメインブロックの運動ベクトルと、このメインブロックに隣接するその他のメインブロックの運動ベクトルとが使用される。

米国特許第５，１４８，２６９号明細書 中間画像の非線形誤差許容補間法（Ｈ．ブルーム、ＶＤＩアドバンスレポート、１９９７、５．１．３章、ｐ．５７以下）

本発明の目的は、演算性能に係る妥当な超過コストで高度な解像度を供する運動ベクトル算出法を提供すると共にこの方法を実施するための装置を提供することである。

前記課題は請求項１に記載の方法と請求項１４に記載の装置によって解決される。本発明の一連の好適な実施態様は従請求項の対象である。
１画像のそれぞれ個々の画像区域に対応する運動ベクトルを求めるための本方法は以下の方法ステップすなわち、
第一のブロックラスタを使用して画像をいくつかの第一のメインブロックに区分し、第一の評価法を実施して各々の第一のブロックに１つの運動ベクトルを供するステップと、
第一のブロックラスタに対して好ましくは水平および垂直方向に位置ずらされたさらに別のブロックラスタを使用して前記画像を少なくとも１回さらに別のいくつかのメインブロックに区分し、さらに別の評価法を実施してさらに別の各々のメインブロックに１つの運動ベクトルを供するステップと、
前記画像を、第一のラスタのメインブロックの１つと少なくとも１つのさらに別のラスタのメインブロックのそれぞれ１つとの間のオーバラップ区域によってそれぞれ形成されるいくつかの下位ブロックに区分するステップと、
それぞれの下位ブロックに対応する複数のメインブロックの運動ベクトルに応じて各々の下位ブロックに関して１つの運動ベクトルを生成するステップとから成る。

この場合、第一の評価法ならびにさらに別の評価法には、画像の個々の画像区域に関する運動ベクトルを求めるのに適した従来の任意のブロック評価法を使用することが可能である。その際、フルサーチ法に比較して演算コストが低いため、予測ブロック評価法を使用するのが好ましい。

本発明による方法の利点は、互いにずらされた２つのブロックラスタを使用してブロック評価法が実施される際にすでに方法の解像度を４倍に高めることができる点、つまり、方法の最後にそれぞれ１つの運動ベクトルが与えられるブロックの大きさはブロック評価法が実施されたメインブロックの大きさの四分の一であるという点にある。一般に、ベクトル場の解像度、したがって算出される画像あたり運動ベクトルの数は、各々のブロック評価法を実施するために画像をメインブロックに区分するのにそれぞれ別のラスタが使用される場合に、実施されるブロック評価法の回数に応じて指数関数的に増大するということができる。その一方で演算コストは実施されるブロック評価法の回数に応じて大体比例的に増加するだけである。

第一のラスタによって形成されるメインブロックの寸法と少なくとも１つのさらに別のラスタによって形成されるメインブロックの寸法とはそれぞれ互いに等しいのが好ましい。
少なくとも１つのさらに別のラスタは第一のラスタに対し、それぞれ同一寸法の下位ブロックが生ずるようにしてずらされているのが好ましい。これは、第一のラスタと第一のラスタに対してずらされた第二のラスタとを使用して連続的に２つのブロック評価法が実施される方法において、第二のラスタは第一のラスタに対し水平方向に１メインブロックの水平方向幅の半分だけずらされていると共に、同じく第二のラスタは第一のラスタに対し垂直方向に１メインブロックの垂直方向幅の半分だけずらされていることを意味している。
ベクトル場の解像度をさらに高めるため、画像を同じ大きさのメインブロックに区分するｎ個（ｎ＞２）のラスタが使用される場合には、個々のラスタは下位ブロックの水平方向および垂直方向の寸法幅がそれぞれメインブロックの水平方向および垂直方向の寸法幅の１／ｎとなるように選択される。
任意の下位ブロックの運動ベクトルは、当該下位ブロックがオーバラップ区域に相当している複数のメインブロックの運動ベクトルを使用して形成される。これはさまざまな方法で行なうことができるが、その際、下位ブロックに関する運動ベクトルとして、当該下位ブロックに対応する複数のメインブロックの運動ベクトルのいずれか１つが選択されるのが好ましい。

この場合、いずれか１つのメインブロックの運動ベクトルの選択には、評価法の実施過程で各々の運動ベクトルに対応させられる品質度を利用することができる。先述したように、現在の画像の画像区域の運動ベクトルを求めるためのブロック評価法に際し、現在の画像のこの画像区域は前または次の画像の画像区域と比較される。画像区域の比較には、比較さるべき画像区域の画素のたとえば画像情報値たとえば輝度値またはクロミナンス値が画素ごとに互いに比較され、それぞれ比較さるべき画像区域のそれぞれ同一のポジションにある個々の画素の画像情報値の差が形成される。その際、個々の運動ベクトルに関する品質度はこれらのすべての差の値の和またはこれらのすべての差の値の２乗の和として形成される。この場合、ベクトルの品質は、これらの和の値が小さければ小さいほど、それだけいっそう良好である。

この場合、下位ブロックの運動ベクトルとして、“より良好な"品質度を有したメインブロック運動ベクトルを使用することができる。
さらに、メインブロックの各々の運動ベクトルに下位ブロックの各々に関する品質度を対応させることも可能である。この品質度はすでにブロック評価法の過程で、個々の画素の画像情報値の値または値の２乗を個々の下位ブロックにつきブロックごとに合算することによって求めることができる。この場合、下位ブロックに関する運動ベクトルとして、それぞれの下位ブロックにつき最良の品質度を有するメインブロックの運動ベクトルが選択される。

さらに別な方法として、下位ブロックに関する運動ベクトルを統計的順序化フィルタによって、下位ブロックを覆う複数のメインブロックのベクトルから求めることも可能である。
さらに別の実施形態では、メインブロックの運動ベクトルに関する収束基準を適用して、これらの運動ベクトルのうちの１つが下位ブロックに対応させられる。運動ベクトルは、たとえば、隣接するメインブロックの運動ベクトルとそれとの相違が所定の差分ベクトル以下であれば、収束すると見なされる。

こうして、本発明による方法の１実施形態において、１つの下位ブロックに対応する少なくとも２つの運動ベクトルのうち、収束する方の運動ベクトルが選択される。複数の運動ベクトルが収束すると見なされる場合には、さらに別の選択基準として品質度を利用するかまたは前述した統計的順序化フィルタによるフィルタリングを利用することができる。
本発明による方法を実施するための装置は、
第一のブロックラスタを使用して画像をいくつかの第一のメインブロックに区分し、第一の評価法を実施して各々の第一のブロックに１つの運動ベクトルを供する手段と、
第一のブロックラスタに対して位置のずらされたさらに別のブロックラスタを使用して前記画像を少なくとも１回さらに別のいくつかのメインブロックに区分し、さらに別の評価法を実施してさらに別の各々のメインブロックに１つの運動ベクトルを供する手段と、
前記画像を、第一のメインブロックの１つと少なくとも１つのさらに別のラスタのメインブロックのそれぞれ１つとの間のオーバラップ区域によってそれぞれ形成されるいくつかの下位ブロックに区分する手段と、
それぞれの下位ブロックに対応する複数のメインブロックの運動ベクトルに応じて各々の下位ブロックに関して１つの運動ベクトルを生成する手段とから成る。

以下、図面を参照して、本発明を詳細に説明する。
図１は詳細不図示の方法で時間的に連続したそれぞれ同じ構造のいくつかの画像から成る系列画像中の１画像Ｐｘを概略的に示したものである。画像Ｐｘはたとえば一連のテレビまたはビデオ系列画像中の１画像である。
運動評価を実施するため画像Ｐｘは第一のラスタＲ１を使用して同じ大きさのいくつかのメインブロックＡｘに区分される。図１にはそのうちの１つのメインブロックが斜線を付して表されている。第一のラスタＲ１のこれらのメインブロックＡｘの各々には１つの運動ベクトルが対応させられている。この運動ベクトルは十分公知の方法で、それぞれのメインブロックＡｘによって表される画像内容の、系列画像中の前の画像または次の画像における同一の画像内容を有したメインブロックのポジションに対する変位を表している。第一のラスタＲ１の個々のメインブロックに対する運動ベクトルの対応付けには任意のブロック評価法、特にブルームの、前掲箇所に記載の類のブロック評価法を適用することが可能である。

本発明により、画像Ｐｘは第一のラスタＲ１の位置に対してずらされた位置にある第二のラスタＲ２を使用してさらに別のメインブロックＢｘに区分される。図１にはそのうちの１つのメインブロックが斜線を付して表されている。第二のラスタＲ２のメインブロックＢｘの寸法は第一のラスタＲ１のメインブロックＡｘの寸法と同一であるのが好ましい。
第一のラスタＲ１のメインブロックＡｘと第二のラスタＲ２のメインブロックＢｘとがそれぞれオーバラップしている画像区域は画像Ｐｘの下位ブロックを形成する。斜線を付して表した第一のラスタＲ１のメインブロックと同じく斜線を付して表した第二のラスタＲ２のメインブロックとのオーバラップによって形成されたこの種の下位ブロックは図１において符号ＡｘＢｘで表してある。

これらの下位ブロックＡｘＢｘの各々には、それぞれの下位ブロックＡｘＢｘを形成するメインブロックＡｘ、Ｂｘの運動ベクトルＶａｘ、Ｖｂｘに依存した固有の運動ベクトルＶａｘｂｘが対応させられる。ラスタＲ１、Ｒ２が互いに位置ずれされて配置されていることにより、それぞれの下位ブロックＡｘＢｘは双方のラスタＲ１、Ｒ２のメインブロックＡｘ、Ｂｘよりも小さいため、各々の下位ブロックＡｘＢｘに前記の固有の運動ベクトルＶａｘｂｘが対応させられることにより高い解像度の運動評価が結果する。この場合、双方のラスタＲ１、Ｒ２は個々の下位ブロックがそれぞれ同じ大きさとなるように互いに位置ずれされているのが好ましい。これが意味するところは、双方のラスタＲ１、Ｒ２のメインブロックＡｘ、Ｂｘがそれぞれ同じ大きさであれば、双方のラスタＲ１、Ｒ２は画像の水平方向に１メインブロックの水平方向幅Ｌ１の半分だけ互いにずらされていると共に同じく垂直方向に１メインブロックの垂直方向幅Ｌ２の半分だけ互いにずらされているということである。

下位ブロックを形成するメインブロックＡｘ、Ｂｘの運動ベクトルＶａｘ、Ｖｂｘに基づく下位ブロックＡｘＢｘの運動ベクトルＶａｘｂｘの生成には各種の方式が存在するが、これらにつき以下、図２を参照して詳細に説明することとする。
図２は、互いにずらされた２つのブロックラスタＲ１、Ｒ２を使用してメインブロックに区分された１画像の一部を示したものである。ここで、符号Ａ１は第一のラスタＲ１によって形成されたメインブロックを意味し、符号Ｂ１〜Ｂ４はそれぞれ第二のラスタＲ２によって形成されているメインブロックを意味しており、これらはそれぞれ第一のラスタＲ１のメインブロックＡ１と部分的にオーバラップしている。メインブロックＡ１は以下、第一のラスタＲ１の“第一のメインブロック"と称され、メインブロックＢ１〜Ｂ４は以下、第二のラスタＲ２の“第一から第四までのメインブロック"と称される。第一のラスタＲ１の第一のメインブロックＡ１には、ブロック評価法によって求められた第一の運動ベクトルＶａ１が対応させられている。同様にして、第二のラスタＲ２の第一から第四までのメインブロックＢ１〜Ｂ４にはブロック評価法によって求められた運動ベクトルＶｂ１〜Ｖｂ４が対応させられている。

第一のラスタＲ１の第一のメインブロックＡ１は、それぞれ第一のメインブロックＡ１と第二のラスタＲ２の第一から第四までのメインブロックＢ１〜Ｂ４のいずれか１つとのオーバラップによって形成された下位ブロックＡ１Ｂ１、Ａ１Ｂ２、Ａ１Ｂ３、Ａ１Ｂ４に細分されている。運動ベクトルの解像度を高めるために、これらの下位ブロックＡ１Ｂ１〜Ａ１Ｂ４の各々には、それぞれの下位ブロックを形成する双方のメインブロックの運動ベクトルを使用して形成された固有の運動ベクトルＶａ１ｂ１〜Ｖａ１ｂ４が対応させられる。つまり、第一の下位ブロックＡ１Ｂ１の運動ベクトルＶａ１ｂ１は第一のラスタＲ１の第一のメインブロックＡ１の運動ベクトルＶａ１と第二のラスタＲ２の第一のメインブロックＢ１の運動ベクトルＶｂ１との関数であり、したがって以下が成立する：
Ｖａ１ｂ１＝ｆ（Ｖａ１，Ｖｂ１） （１ａ）
同様に、その他の下位ブロックの運動ベクトルには以下が成立する：
Ｖａ１ｂ２＝ｆ（Ｖａ１，Ｖｂ２） （１ｂ）
Ｖａ１ｂ３＝ｆ（Ｖａ１，Ｖｂ３） （１ｃ）
Ｖａ１ｂ４＝ｆ（Ｖａ１，Ｖｂ４） （１ｄ）

本発明による方法の１実施形態において、下位ブロックの運動ベクトルの生成には、それぞれの下位ブロックを形成しているメインブロックの運動ベクトルのそれぞれ一方が選択される。したがって、以下が成立する：
Ｖａ１ｂ１＝Ｖａ１またはＶｂ１ （２ａ）
Ｖａ１ｂ２＝Ｖａ１またはＶｂ２ （２ｂ）
Ｖａ１ｂ３＝Ｖａ１またはＶｂ３ （２ｃ）
Ｖａ１ｂ４＝Ｖａ１またはＶｂ４ （２ｄ）
メインブロックの運動ベクトルの一方の選択には、メインブロックの各々の運動ベクトルに１つの品質度を対応させ、下位ブロックの運動ベクトルとして、“より良好な"品質度を有する運動ベクトルを選択することが可能である。この種の品質度の生成を以下、第一のラスタＲ１の第一のメインブロックＡ１を基礎として説明する。

以下では、メインブロックＡ１はｍ×ｎ個の画素を有し、Ａ１（ｘ，ｙ）はメインブロックＡ１を形成している画素Ａ１（１，１）からＡ１（ｍ，ｎ）までのうちの任意の１個の画素を表していると仮定する。Ａ１−Ｖａｌは以下、メインブロックＡ１を有した画像に時間的に前かまたは時間的に次の１画像中の第一のラスタＲ１のメインブロックを表しており、その際、前または次の画像中におけるこのメインブロックＡ１−Ｖａ１のポジションは現在の画像のメインブロックＡ１のポジションに比較して運動ベクトルＶａ１だけ変位している。この変位ベクトルＶａ１には、個々の画素Ａ１（ｘ，ｙ）とＡ−Ｖａｌ（ｘ，ｙ）とが画素ごとに互いに比較されることによって１つの品質度Ｇａ１が対応させられる。このため、これらの個々の画素の差が形成されて、それらの差の値または差の２乗が合算される。したがって以下が成立する：

品質度Ｇａ１を形成するため、差の値に代えて、画素の差の２乗が合算されてもよい。したがって以下が成立する：

いずれの場合にも、品質値Ｇａ１が小さければ小さいほど、したがって、メインブロックＡ１と運動ベクトルＶａ１だけ変位したメインブロックＡ１−Ｖａ１との画像内容間の差が僅かであればあるほど、運動ベクトルＶａ１の“品質"はいっそう良好であることとなる。
第一のラスタＲ１の第一のメインブロックＡ１に関する品質度Ｇａ１の生成と同様にして、第二のラスタＲ２のメインブロックＢ１〜Ｂ４に関する品質度Ｇｂ１〜Ｇｂ２が算出される。その際、１つの下位ブロックを形成するメインブロックのうちから、下位ブロックの運動ベクトルとして、より良好な品質値を有したメインブロック運動ベクトルが選択される。
品質値Ｇａ１、Ｇｂ１は通例すでにブロック評価中に、メインブロックに対応する運動ベクトルを求める過程で算出されることから、ブロック評価から直接に採用することができる。

別の１実施形態において、各々のメインブロック運動ベクトルには下位ブロックの各々に関する品質度が対応させられる。これは、図２に示した例に関して言えば、第一のメインブロックＡ１の運動ベクトルＶａ１に４つの品質値、つまり、第一の下位ブロックＡ１Ｂ１に関する品質値Ｇａ１ｂ１と、第二の下位ブロックＡ１Ｂ２に関する第二の品質値Ｇａ１Ｂ２と、第三の下位ブロックＡ１Ｂ３に関する第三の品質値Ｇａ１Ｂ３と、第四の下位ブロックＡ１Ｂ４に関する第四の品質値Ｇ１ａＢ４とが対応させられることを意味している。下位ブロックＡ１Ｂ１〜Ａ１Ｂ４はそれぞれｉ×ｊ個の画素を有すると仮定する。次いで、下位ブロックＡ１Ｂ１〜Ａ１Ｂ４に対応する個々の品質値Ｇａ１Ｂ１〜Ｇａ１Ｂ４は以下によって計算される：

個々の画素差の値に代えて、式（４）と同様にして、個々の差の２乗もそれぞれの品質値の生成に使用することができることは言うまでもない。第一のラスタＲ１の第一のメインブロックの運動ベクトルＶａ１に関する品質値の生成と同様にして、第一の下位ブロックＡ１Ｂ１に関する第二のラスタＲ２の第一のメインブロックＢ１の運動ベクトルＶｂ１の品質値を表す当該品質値Ｇｂ１Ａ１が生成される。これら双方の品質値が互いに比較され、この第一の下位ブロックＡ１Ｂ１に関する運動ベクトルとして、“より良好な"品質値を有する方の運動ベクトルが使用される。この場合、式（５ａ）〜５（ｄ）に応じたメインブロックに関する品質値の算出にあたり、その品質値が最小の絶対値を示す運動ベクトルが“より良好"であると見なされることとなる。

下位ブロックに対応するメインブロック運動ベクトルの選択に際し、品質値を使用するほかに、収束基準を適用することも可能である。この場合、メインブロックの運動ベクトルは、このメインブロック運動ベクトルと隣接したメインブロック運動ベクトルとの間の差分ベクトルの値が所定の限界値よりも小さい場合に、収束すると見なされる。こうした収束基準の適用を具体的に示すため、第一のラスタＲ１の第一のメインブロックＡ１の運動ベクトルＶａ１ならびに第一のメインブロックＡ１に隣接したメインブロックＡ２の運動ベクトルＶａ２を観察することとする。この場合、第一のメインブロックの運動ベクトルＶａ１は、
｜Ｖａ１−Ｖａ２｜＜Δｍａｘ （６）
が成立する場合に、収束すると見なされる。ここで｜・｜は差分ベクトルＶａ１−Ｖａ２の値を表している。

任意のメインブロックの運動ベクトルの収束の判定には２つの隣接したメインブロックを観察するのが好ましい。この場合、第一のラスタＲ１のメインブロックについては好ましくはそれぞれ処理方向に応じ、先に水平方向において隣接するメインブロックと先に垂直方向においてすでに処理された上方のメインブロックとが観察されることから、運動ベクトルＶａ１は、以下の条件つまり
｜Ｖａ１−Ｖａ２｜＜Δｍａｘ （７ａ）
｜Ｖａ１−Ｖａ３｜＜Δｍａｘ （７ｂ）
が満たされている場合に、収束すると見なされることとなる。ここでＶａ３はメインブロックＡ１の上方にあるメインブロックＡ３の運動ベクトルを表している。

第二のラスタＲ２の任意のメインブロックの運動ベクトルの収束の判定には、それぞれの当該メインブロックの右横側にあるメインブロックと当該メインブロックの下側にあるメインブロックを観察するのが好ましい。したがって、たとえば第二のラスタＲ２の第一のメインブロックＢ１の運動ベクトルＶｂ１は、
｜Ｖｂ１−Ｖｂ２｜＜Δｍａｘ （８ａ）
｜Ｖｂ１−Ｖｂ３｜＜Δｍａｘ （８ｂ）
が成立する場合に、収束すると見なされる。
１つの下位ブロックに対応する２つのメインブロック運動ベクトルのうち一方のみが収束する場合には、収束する方のメインブロック運動ベクトルが当該下位ブロックに関する運動ベクトルとして選択される。双方のメインブロック運動ベクトルがいずれも収束する場合には、さらにもう一つの選択基準、たとえば前述した品質度が適用されて、双方のメインブロック運動ベクトルのうちの一方が選択される。

本発明による方法は、それぞれ画像のメインブロックを定義する互いに空間的にずらされた２つのラスタの使用のみに制限されるものでないことは言うまでもない。
図３は、互いに空間的にずらされた３つのラスタＲ１，Ｒ２，Ｒ３を使用してメインブロックに区分された画像の一部を示したものである。この場合、Ａ１は第一のラスタＲ１のメインブロックを、Ｂ１は第二のラスタＲ２のメインブロックを、Ｃ１は第三のラスタＲ３のメインブロックをそれぞれ表している。これら３つのメインブロックＡ１，Ｂ１，Ｃ１は１つの下位ブロックＡ１Ｂ１Ｃ１を形成する１つの箇所で互いにオーバラップしており、この下位ブロックには本発明により３つのメインブロックの運動ベクトルＶａ１，Ｖｂ１，Ｖｃ１に応じて１つの運動ベクトルが対応させられる。

この場合、本発明による方法により、同じ大きさの下位ブロックが生ずるようにして互いにずらして配置された、互いに空間的にずらされたｎ個のラスタが使用される場合には、単に１つのラスタが使用されるだけの場合のベクトル場の解像度に比較して２ｎ倍のベクトル場の解像度の向上が達成されることとなる。他方、個々の下位ブロックに関する運動ベクトルの算出コストは、大半の演算コストがメインブロックの運動ベクトルの算出に当てられることから、基本的にｎ倍だけ高まるにすぎない。これらのメインブロックの運動ベクトルの算出後、当該下位ブロックに関する運動ベクトルとして下位ブロックに対応させられるメインブロック運動ベクトルの選択に要される残りの演算コストは比較的僅かである。メインブロックの運動ベクトルを求めるための運動評価は並行してかまたは連続的に行なうことが可能である。

下位ブロックＡ１Ｂ１Ｃ１を形成するメインブロックＡ１、Ｂ１、Ｃ１の運動ベクトルＶａ１、Ｖｂ１、Ｖｃ１を基礎とした当該下位ブロックＡ１Ｂ１Ｃ１の運動ベクトルＶａ１ｂ１ｃ１の生成には、以上に説明した一連の方法のほかに、いわゆる統計的順序化フィルタによるフィルタリングを使用することが可能である。この種の統計的順序化フィルタの一例はメディアンフィルタである。生成さるべき下位ブロックの運動ベクトルＶａ１ｂ１ｃ１とメインブロックＡ１、Ｂ１、Ｃ１の運動ベクトルＶａ１、Ｖｂ１、Ｖｃ１とはそれぞれ水平成分と垂直成分とを含んでおり、これらは以下、ベクトルのｘ成分およびｙ成分と称される。

下位ベクトルの生成法において、メインブロック運動ベクトルＶａ１、Ｖｂ１、Ｖｃ１は成分ごとに統計的順序化フィルタによるフィルタリングに付され、フィルタ結果が下位ブロックのそれぞれの成分に対応させられる。メディアンフィルタを使用する場合には以下が成立する：
Ｖａ１ｂ１ｃ１ｘ＝メディアン（Ｖａ１ｘ，Ｖｂ１ｘ，Ｖｃ１ｘ） （９ａ）
Ｖａ１ｂ１ｃ１ｙ＝メディアン（Ｖａ１ｙ，Ｖｂ１ｙ，Ｖｃ１ｙ） （９ａ）
ここで．ｘと．ｙとはそれぞれのベクトルのｘ成分およびｙ成分を表している。
この方法において、フィルタリングの結果に応じ、下位ブロック運動ベクトルＶａ１ｂ１ｃ１＝（Ｖａ１ｂ１ｃ１ｘ，Ｖａ１ｂ１ｃ１ｙ）は異なったメインブロック運動ベクトルの成分から合成される。

さらに別の方法において、メインブロック運動ベクトルＶａ１、Ｖｂ１、Ｖｃ１のベクトル値がメディアンフィルタリングに付され、フィルタリングの結果として出力される値のメインブロック運動ベクトルが下位ブロック運動ベクトルとして選択される。
図３は下位ブロックの運動ベクトルＶａｘｂｘを算出する装置を概略的に示したものであり、この装置において、メインブロックの運動ベクトルを生成するための運動評価は並行して行なわれる。装置は１系列画像の連続した画像を表す画像信号Ｓ１を供給する入力装置を含んでいる。装置は第一のラスタＲ１を使用して第一のメインブロック運動ベクトルＡｘを供する第一の運動評価装置１を含んでいる。さらに装置は第二のラスタＲ２を使用して１画像のメインブロックに関する一群の第二のメインブロック運動ベクトルを供する第二の運動評価装置２を含んでいる。これらのメインブロック運動ベクトルＶａｘ、Ｖｂｘは、それぞれの下位ブロックを形成するメインブロックの運動ベクトルから下位ブロックに関するそれぞれ１つの運動ベクトルＶａｘｂｘを選択する選択装置３に供給される。選択基準としては装置３により、運動評価装置１、２から装置３に供給されるメインブロック運動ベクトルのたとえば品質度および／または収束基準が利用される。

互いに位置のずらされた２つのラスタを使用してメインブロックに区分された１画像を概略的に示す図である。 図１に示した画像の一部を拡大して示す図である。 ３つのブロックラスタを使用してメインブロックに区分された１画像の一部を示す図である。 本発明による運動ベクトル算出法を実施するための装置を示す図である。

符号の説明

Ａ１，Ｂ１，Ｃ１ メインブロック
Ａ１Ｂ１−Ａ１Ｂ４ 下位ブロック
Ａ１Ｂ１Ｃ１ 下位ブロック
Ａｘ，Ｂｘ メインブロック
ＡｘＢｘ 下位ブロック
Ｐｘ 系列画像の１画像
Ｒ１，Ｒ２，Ｒ３ ラスタ
Ｖａｘ，Ｖｂｘ メインブロックの運動ベクトル
Ｖａｘｂｘ 下位ブロックの運動ベクトル
１，２ ブロックの運動評価装置
３ メインブロック運動ベクトルから下位ブロック運動ベクトルを算出するための装置

Claims (14)

1. １画像の個々の画像区域（ＡｘＢｘ）に対応する運動ベクトル（Ｖａｘｂｘ）を求めるための方法であって、
   第一のブロックラスタ（Ｒ１）を使用して画像（Ｐｘ）をいくつかの第一のメインブロック（Ａｘ；Ａ１）に区分し、第一の評価法を実施して各々の第一のブロック（Ａｘ；Ａ１）に１つの運動ベクトル（Ｖａｘ；Ｖａ１）を供するステップと、
   第一のブロックラスタ（Ｒ１）に対して位置ずれされたさらに別のブロックラスタ（Ｒ２）を使用して前記画像を少なくとも１回さらに別のいくつかのメインブロック（Ｂｘ；Ｂ１〜Ｂ４）に区分し、さらに別の評価法を実施してさらに別の各々のメインブロック（Ｂｘ；Ｂ１〜Ｂ４）に１つの運動ベクトル（Ｖｂｘ；Ｖｂ１〜Ｖｂ４）を供するステップと、
   前記画像を、第一のメインブロックの１つ（Ａｘ；Ａ１）と少なくとも１つのさらに別のラスタ（Ｒ２）のメインブロックのそれぞれ１つ（Ｂ１〜Ｂ４）との間のオーバラップ区域によってそれぞれ形成されるいくつかの下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）に区分するステップと、
   それぞれの下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）に対応する複数のメインブロック（Ａｘ，Ｂｘ；Ａ１，Ｂ１〜Ｂ４）の運動ベクトル（Ｖａｘ，Ｖｂｘ；Ｖａ１，Ｖｂ１〜Ｖｂ４）に応じて、各々の下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）に関して１つの運動ベクトル（Ｖａｘｂｘ；Ｖａ１ｂ１〜Ｖａ１ｂ４）を生成するステップとかを含む方法。
2. メインブロック（Ａｘ，Ｂｘ；Ａ１，Ｂ１〜Ｂ４）の寸法はそれぞれ等しい、請求項１に記載の方法。
3. 前記画像は１回さらに別のいくつかのメインブロックに区分され、その際、さらに別のラスタ（Ｒ２）は第一のラスタ（Ｒ１）に対して画像の水平方向において１メインブロック（Ａｘ，Ｂｘ）の水平方向寸法幅（Ｌ１）の半分だけずらされ、画像の垂直方向において１メインブロック（Ａｘ，Ｂｘ）の垂直方向寸法幅（Ｌ２）の半分だけずらされている、請求項２に記載の方法。
4. 下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）の運動ベクトル（Ｖａｘｂｘ；Ｖａ１ｂ１〜Ｖａ１ｂ４）を求めるために、下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）に対応する複数のメインブロック（Ａｘ，Ｂｘ；Ａ１，Ｂ１〜Ｂ４）のうちのいずれか１つのメインブロックの運動ベクトルが選択される、上記請求項いずれか一項に記載の方法。
5. 前記評価法に際して、それぞれ任意のメインブロック（Ａ１）の各々の運動ベクトル（Ｖａ１）に関する品質度（Ｇａ１）が求められ、下位ブロック（Ａ１Ｂ１〜Ａ１Ｂ４）の運動ベクトルを求めるにあたり複数のメインブロック（Ａ１，Ｂ１〜Ｂ４）のうちのいずれか１つのメインブロックの運動ベクトルが品質度（Ｇａ１）に応じて選択される、請求項４に記載の方法。
6. 任意のメインブロック（Ａ１）の各々の運動ベクトル（Ｖａ１）につき、各々の下位ブロック（Ｂ１〜Ｂ４）に関する品質度（Ｇａ１Ｂ１，Ｇａ１Ｂ２，Ｇａ１Ｂ３，Ｇａ１Ｂ４）が求められ、その際、下位ブロック（Ｂ１〜Ｂ４）の運動ベクトル（Ｖａ１ｂ１〜Ｖａ１ｂ４）を求めるにあたり複数のメインブロック（Ａ１，Ｂ１〜Ｂ４）のうちのいずれか１つのメインブロックの運動ベクトルがそれぞれの品質度（Ｇａ１Ｂ１，Ｇａ１Ｂ２，Ｇａ１Ｂ３，Ｇａ１Ｂ４）に応じて選択される、請求項５に記載の方法。
7. メインブロック（Ａ１，Ｂ１〜Ｂ４）の各々の運動ベクトル（Ｖａ１，Ｖｂ１〜Ｖｂ４）につき少なくとも１つの収束基準が求められ、下位ブロック（Ａ１Ｂ１〜Ａ１Ｂ４）の運動ベクトル（Ｖａ１ｂ１〜Ｖａ１ｂ４）を求めるにあたり複数のメインブロック（Ａ１，Ｂ１〜Ｂ４）のうちのいずれか１つのメインブロックの運動ベクトルが前記の少なくとも１つの収束基準に応じて選択される、請求項４に記載の方法。
8. 前記の少なくとも１つの収束基準は、任意のメインブロック（Ａ１）のそれぞれの運動ベクトル（Ｖａ１）をメインブロック（Ａ１）に隣接した同一ラスタ内のメインブロック（Ａ２，Ａ３）の少なくとも１つの運動ベクトル（Ｖａ２，Ｖａ３）と比較することによって求められる、請求項６に記載の方法。
9. 第一のラスタ（Ｒ１）の任意のメインブロック（Ａ１）に関する前記の少なくとも１つの収束基準は、メインブロック（Ａ１）に対応する運動ベクトル（Ｖａ１）をメインブロック（Ａ１）の左側の隣接メインブロック（Ａ２）とメインブロック（Ａ１）の上方の隣接メインブロック（Ａ３）とに対応する運動ベクトル（Ｖａ２，Ｖａ３）と比較することによって求められ、第二のラスタ（Ｒ２）の任意のメインブロック（Ｂ１）に関する前記の少なくとも１つの収束基準は、メインブロック（Ｂ１）に対応する運動ベクトル（Ｖｂ１）をメインブロック（Ｂ１）の右側の隣接メインブロック（Ｂ３）とメインブロックの下方の隣接メインブロックとに対応する運動ベクトル（Ｖｂ２，Ｖｂ３）と比較することによって求められる、請求項７に記載の方法。
10. 下位ブロック（Ａ１Ｂ１Ｃ１）の運動ベクトル（Ｖａ１ｂ１ｃ１）のベクトル成分は下位ブロック（ＡｘＢｘ；Ａ１Ｂ１〜Ａ１Ｂ４）に対応するメインブロック（Ａ１，Ｂ１，Ｃ１）の当該ベクトル成分からフィルタリングを適用して選択される、請求項１に記載の方法。
11. 前記のフィルタリングは統計的順序化フィルタ、特にメディアンフィルタによるフィルタリングである、請求項１０に記載の方法。
12. 下位ブロック（Ａ１Ｂ１Ｃ１）に対応する複数のメインブロックの運動ベクトル（Ｖａ１，Ｖｂ１，Ｖｃ１）のベクトル値が形成され、
    前記のベクトル値はフィルタリングに付され、フィルタ結果として前記のベクトル値のうちのいずれか１つが供され、
    フィルタ結果としてのベクトル値が供されたメインブロックの運動ベクトルが下位ブロックの運動ベクトルとして選択される、請求項４に記載の方法。
13. 前記のフィルタリングは統計的順序化フィルタ、特にメディアンフィルタによるフィルタリングである、請求項１２に記載の方法。
14. １画像の個々の画像区域に対応する運動ベクトルを求めるための装置であって、
    第一のブロックラスタ（Ｒ１）を使用して画像（Ｐｘ）をいくつかの第一のメインブロック（Ａｘ）に区分し、第一の評価法を実施して各々の第一のブロック（Ａｘ）に１つの運動ベクトル（Ｖａｘ）を供する手段（１）と、
    第一のブロックラスタ（Ｒ１）に対して位置のずらされたさらに別のブロックラスタ（Ｒ２）を使用して画像（Ｐｘ）を少なくとも１回さらに別のいくつかのメインブロック（Ｂｘ）に区分し、さらに別の評価法を実施してさらに別の各々のメインブロック（Ｂｘ）に１つの運動ベクトル（Ｖｂｘ）を供する手段（２）と、
    前記画像を、第一のメインブロックの１つと少なくとも１つのさらに別のラスタのメインブロックのそれぞれ１つとの間のオーバラップ区域によってそれぞれ形成されるいくつかの下位ブロック（ＡｘＢｘ）に区分する手段と、
    それぞれの下位ブロック（ＡｘＢｘ）に対応する複数のメインブロック（Ａｘ，Ｂｘ）の運動ベクトル（Ｖａｘ，Ｖｂｘ）に応じて、各々の下位ブロック（ＡｘＢｘ）に関して１つの運動ベクトル（Ｖａｘｂｘ）を生成する手段とを含む装置。
    

Images