JP2009266170A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】平坦部分や繰り返しパターン部分において、動きベクトルを正確に検出することができるようにする。
【解決手段】代表ブロックマッチング部３１ｉｊは、上下左右四方の別の代表ブロックマッチング部と接続されており、お互いの動きベクトルを参照できる構成となっている。ベクトル更新部４４は、自分及び周囲４ブロックのベクトルと評価値テーブルの情報から動きベクトルを更新することを繰り返す。これにより、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いた動きベクトルの更新が実現される。本発明は、例えば動きベクトルを用いたシステムに適用可能である。
【選択図】図３

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、平坦部分や繰り返しパターン部分において、動きベクトルを正確に検出できるようになった情報処理装置および方法並びにプログラムに関する。

従来、画像における動きベクトルを求めるための代表的な手法として、ブロックマッチング法が存在する。この手法は、他の手法(例えば勾配法) 等に比べ、急激な輝度変化や拡大や縮小また回転等に強いという特徴がある。

しかしながら一方で、ブロックマッチング法等に代表される動き検出手法は、一般に画像内で輝度変化の少ない平坦部分や、類似パターンが繰り返し出現するような箇所において、動き検出に失敗しやすいという問題があった。この問題が生じる理由の一因は次の通りであると考えられる。即ち、上述のように平坦部分や繰り返しパターンでは、動きベクトルの候補としては、ベクトル割り付けの際にマッチング残差が小さくなる候補が多数存在する。このため、雑音ノイズの影響を受けやすく、従って誤ったベクトルを誤検出してしまうことである。

この様な問題を解決するために、従来、様々な手法が考案されている。動き検出は重要な根幹技術であるために、その数は極めて多い。しかしながら、その多くは、何らかの特徴量を用いて閾値判定により動きベクトルの誤検出を検出し、それらを他のベクトルで修正していくというベクトル修正を行う、といた手法が大勢を占める。

例えば特許文献１には、平坦かつ周りと極端に動きベクトルが異なる場合に近傍のベクトル検出結果を用いて修正を行っていく、という手法が開示されている。この特許文献１に代表される近傍ベクトルを用いた修正を行う手法（以下、近傍補正手法と称する）は、極めて多く存在する。

例えば特許文献２には、サンプリングにより解像度の異なる画像データを階層的に生成し、上位階層のベクトル検出結果を用いて下位階層のベクトル検出結果を修正する、といった手法（以下、ベクトル修正手法と称する）が開示されている。ベクトル修正手法であれば、上述の近傍補正手法に比べて、広範囲な誤検出にも対応しやすい。

一方で、特許文献３には、処理対象となる動きベクトルを取り込んで、時空間フィルタリングを行い、空間上の連続性と時間軸上の変化の一様性とを持つ検出動きベクトル場を生成し、検定を行うことで、動きベクトルを最適化する、という手法が開示されている。

特開平７−２３１４４６号公報 特開２００４−１５３３８２号公報 特開平６−１７８２８５号公報

しかしながら、近傍補正手法では、局地的な修正に限定されてしまいがちなため、誤検出が広範囲且つ高頻度に渡る場合、例えば平坦な背景等で多く見られる場合には、うまく修正されないことが多いうという問題がある。

また、ベクトル修正手法では、階層の制御は極めて難しい。よって、特に画像内に多くの動きが存在する場合、例えば画像内を動くオブジェクトが複数であったり、あるいはズーム画像等の動きが一様でない場合等に、意図するような効果が得られないという問題が生ずる。また、階層的に処理するために、総じて処理コストは重くなりがちであるという問題もある。また、ベクトル修正手法では、閾値処理による誤検出判定のため、判定精度に処理結果が強く依存し、誤検出判定に失敗すると大きな破綻となりかねないという問題もある。さらにまた、様々な入力に対してロバストに誤検出を判定するのは中々難しいという問題もある。

また、特許文献３には、具体的なフィルタリングの手法については触れられておれず、如何にして具現化するのかという問題がある。

以上まとめると、従来の技術では、平坦部分や繰り返しパターン部分において、動きベクトルを正確に検出することが困難であるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、平坦部分や繰り返しパターン部分において、動きベクトルを正確に検出することができるようにするものである。

本発明の一側面の情報処理装置は、動画像を構成する処理単位画像毎に複数のブロックに区分し、前記複数のブロック毎に、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いて、動きベクトルを更新するブロックマッチング手段を備える。

前記ブロックマッチング手段は、前記複数のブロック毎に設けられている。

前記複数のブロックのうちの所定ブロックについてのブロックマッチング手段は、前記動きベクトル場の空間連続性として、自身の所定ブロックに加えて、その所定ブロックの周囲の１以上のブロックの動きベクトルの変化の度合を用いて、前記動きベクトルを更新する。

前記所定ブロックの周囲の１以上のブロックのそれぞれについてのブロックマッチング手段は、前記所定ブロックについてのブロックマッチング手段による前記動きベクトルの更新タイミングで、自身のブロックの動きベクトルを更新する。

前記ブロックマッチングによる輝度差分と動きベクトル場の空間連続性との重み付けは可変設定される。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。

本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、動画像を構成する処理単位画像毎に複数のブロックに区分され、前記複数のブロック毎に、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いて、動きベクトルが更新される。

以上のごとく、本発明によれば、平坦部分や繰り返しパターン部分において、動きベクトルを正確に検出することができるようになる。

初めに、本発明の理解を容易なものとすべく、従来の一般的なブロックマッチング法の概略について説明する。

いま、画像内において、時刻tのフレーム（以下、tフレームと称する）における点(x, y)の画素値がIt(x, y)で与えられたとする。点(x, y) における動きベクトル(u, v) は、点(x, y) における(u, v) 方向とのブロック差分である次式（１）を最小にする(u, v) で与えられる。

・・・（１）

式（１）において、SX 及びSYがマッチングを行うブロックの幅及び高さにそれぞれ該当する。通常、このu、v を探索する範囲は、限られた範囲内であり、探索範囲と称されている。

一般的なブロックマッチングでは、この最適化をある一定間隔の格子状に行い、それぞれについて最小とする動きベクトル(u, v) を検出することで実現される。この際、各最適化は独立に行われるため、相互に検出結果が影響しあうことはない。

このような従来の一般的なブロックマッチング法に対して、本発明が適用される手法（以下、本発明の手法と称する）とは次のようになる。

即ち、点(x, y) における動きベクトルを(u(x, y), v(x, y))としたときに、以下で定義されるエネルギー関数εを最小にする様なベクトル場(u, v) を求めることを考える。

・・・（２）

式（２）において、d_x,y(u, v)は、点(x,y) における(u, v) 方向とのブロック差分を示している。μは、なだらかさを調節するパラメータである。μの詳細については後述する。

この式（２）の意味は次の通りである。まず、μ = 0、すなわち式（２）の右辺の２つの項のうちの右項だけが有効の場合を考える。この場合、式（２）のエネルギー関数εは、次式（３）のように表される。

・・・（３）

式（３）は、ブロック差分の総和を最小にする様なベクトル場(u, v)の算出式となっている。よって、この場合、変動項はdだけになるため、d を(x, y) に応じて最小にする(u, v) を求めれば良いことになる。このことは、各(x, y) 毎に独立に最適化を行う従来の一般的ブロックマッチングと等価であることを意味している。

これに対して、式（２）の右辺の２つの項のうちの左項における、次式（４）で示される部分を考える。

・・・（４）

式（４）は、u, v をx 及びy で偏微分した値の二乗和であり、空間連続性を示す値である。この値は、u, v がx, y に対して変化が小さいベクトル場であるときは小さくなる。逆に、この値は、急激に変化するベクトル場では大きな値となる。従って、この値は、なだらかに変化するベクトル場であるほど小さくなる。

なお、空間連続性の表現手法は、この式（４）限定されるわけではない。即ち例えば、式（４）の代わりに、次式（５）等を採用することもできる。ただし、式（５）を採用した場合には、後述する数値解法も変わってくる点留意する。

・・・（５）

これらの式（４），式（５）で示される評価値、即ち、これら２つの性質の異なる評価値を、なだらさかを調節するパラメータμによって足し合わせ、同時に最適化を行うことが、本発明の手法の主旨である。

即ち、パラメータμを調節することによって、どれだけなだらかさを重視するかが変わってくることになる。具体的には、パラメータμが、大きければ大きい程なだらかさ重視になり、小さければ小さいほど軽視となり、最終的に0で従来の一般的なブロックマッチングと等価になる。

次に、式（２）のエネルギー関数を最小にするベクトル場(u, v) を導出するための数値解法について説明する。即ち、次のような数値解放を適用することで、本発明の手法を容易に具現化できるようになる。

先ず、変分法を用いることによって、式（２）を最小にするベクトル場(u, v) を求めることは、次の式（６），式（７）で示されるオイラー方程式を解くことに帰着する。なお、式（６）,式（７）の左辺のパラメータμの右隣の記号（逆三角形の２乗の記号）の意味は、式（８）に示される通りである。

・・・（６）

・・・（７）

・・・（８）

この式（６），式（７）のオイラー方程式を解くために、u 及びvを、時間tの関数として取り扱う。すると、次の式（９），式（１０）を収束させることでオイラー方程式の解が得られることになる。

・・・（９）

・・・（１０）

ここで、数値計算のために、u, v を離散すると、次の式（１１）乃至式（１４）に示される通りになる。

・・・（１１）

・・・（１２）

・・・（１３）

・・・（１４）

これらの式を、式（９），式（１０）にそれぞれ代入することで、次の式（１５），式（１６）が得られる。

なお、γは、次の式（１７）に示される通りである。

・・・（１５）

・・・（１６）

・・・（１７）

後は、適当な初期ベクトルに対して、この式（１５），式（１６）による反復演算を行い、適度な収束条件を用いることで、ベクトル場(u, v)を算出することができる。ここで、初期ベクトルとして、例えば各ブロック毎の最小評価ベクトルを採用してもよいし、全画面動きなどを採用してもよい。

なお、上述したベクトル場(u, v)は、動きベクトル場の一例である。即ち、本発明は、上述したベクトル場(u, v)に限定されず、他の動きベクトル場を採用することもできる。ここで、動きベクトル場とは、動きベクトルをそれぞれ独立したものでなく、空間的な広がりを持った1つの場として定義したものをいう。

図１は、上述した本発明の手法が適用された情報処理装置の一実施の形態を示している。

図１の例では、情報処理装置は、入力映像信号に対応する入力画像から、動きベクトルを検出し、検出動きベクトルを出力する。

ここで、入力画像とは、入力映像信号に対応する動画像を構成する複数の画像であって、処理単位となる画像（以下、処理単位画像と称する）をいう。具体的には例えば、処理単位画像としては、フレームやフィールドを採用できる。

図１の例の情報処理装置は、メモリ２１、マッチング部２２、評価値テーブル保持部２３、および反復演算部２４を含むように構成されている

入力画像は、メモリ２１に蓄えられる。メモリ２１は、マッチング部２２からの制御信号によって、蓄積された入力画像のうち、マッチングを行う際の入力画像を基準画像として、その基準画像と差分を計算するための入力画像を参照画像としてそれぞれ出力する。

マッチング部２２は、ブロックマッチング処理を行う。評価値テーブル保持部２３は、マッチング部２２のブロックマッチング処理結果を評価値テーブルに格納して保持する。反復演算部２４は、評価値テーブル保持部２３に保持されている評価値テーブル等の情報に基づいて、上述した式（１５），式（１６）の反復演算を行うことで、動きベクトルを更新する。更新された動きベクトルは、検出動きベクトルとして反復演算部２４から出力される。

以上のマッチング部２２、評価値テーブル保持部２３、および反復演算部２４の処理は、図２に示されるように、基準画像内において、その全画面中に格子状にばらまかれた代表点を中心とする代表ブロック毎に実行される。

換言すると、メモリ２１、マッチング部２２、評価値テーブル保持部２３、および反復演算部２４は、代表ブロック毎に処理を行う機能ブロック（以下、代表ブロックマッチング部と称する）に分割されていると把握することもできる。例えば図３には、ｉ行ｊ列の代表ブロックについての代表ブロックマッチング部３１ｉｊが示されている。

代表ブロックマッチング部３１ｉｊは、差分計算部４１、評価値テーブル保持部４２、ベクトル保持部４３、およびベクトル更新部４４の機能ブロックから構成されている。なお、各機能ブロックの処理の詳細については、図４を参照して後述する。

代表ブロックマッチング部３１ｉｊは、上下左右四方の別の代表ブロックマッチング部と接続されており、お互いの動きベクトルを参照できる構成となっている。

図４は、このような機能的構成を有する代表ブロックマッチング部３１ｉｊの処理（以下、動きベクトル検出処理と称する）の一例を説明するフローチャートである。

ステップＳ１において、差分計算部４１は、基準画像と参照画像から評価値テーブルを作成する。作成された評価値テーブルは、評価値テーブル保持部４２に保持される。

即ち、差分計算部４１が、図２のメモリ２１とマッチング部２２が有する機能のうち、ｉ行ｊ列の代表ブロックに対する処理を実行する機能を有していることになる。また、評価値テーブル保持部４２が、図２の評価値テーブル保持部２３が有する機能のうち、ｉ行ｊ列の代表ブロックに対する処理を実行する機能を有していることになる。

ステップＳ２において、ベクトル更新部４４は、初期ベクトルを決定し、ベクトル保持部４３に保持させる。なお、初期ベクトルの決定手法自体は特に限定されない。例えば上述したように、各ブロック毎の最小評価ベクトルを初期ベクトルとして決定する手法を採用することができる。また、全画面動きなどに基づいて初期ベクトルを決定する手法を採用することができる。

ステップＳ３において、ベクトル更新部４４は、自分及び周囲４ブロックのベクトルと評価値テーブルの情報から動きベクトルを更新する。更新された動きベクトルは、ベクトル保持部４３に保持される。

即ち、自分のベクトルとは、ベクトル保持部４３に保持されている現在の動きベクトルを指す。周囲４ブロックのベクトルとは、周囲4 近傍の代表ブロックにおける動きベクトルを指す。各代表ブロックにおける動きベクトルは、各代表ブロック内の図示せぬベクトル保持部に保持されている。評価値テーブルの情報は、評価値テーブル保持部４２に保持されている。

そこで、ベクトル更新部４４は、現在の動きベクトル、その動きベクトルから得られる評価値テーブル情報、および、周囲4 近傍の代表ブロックにおける動きベクトルを用いて、上述した式（１５），式（１６）に従った演算を行うことで、動きベクトルを更新する。更新された動きベクトルは、ベクトル保持部４３に保持される。

ステップＳ４において、ベクトル更新部４４は、収束したか否かを判定する。

なお、ステップＳ４における収束条件自体は特に限定されない。例えば、反復回数が閾値を超えたことを収束条件として採用することができる。また例えば、変化が閾値以下となったことを収束条件として採用することもできる。

収束条件を満たしていない場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ３に戻されそれ以降の処理が繰り返される。即ち、ベクトル更新部４４は、ステップＳ３，Ｓ４のループ処理を事項することで、収束条件を満たすまで、式（１５），式（１６）の反復演算を行う。

そして、収束条件を満たした場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ５に進む。ステップＳ５において、ベクトル更新部４４は、その時点でベクトル保持部４３に保持されている動きベクトルを、検出動きベクトルとして出力する。

ただし、上述したステップＳ３におけるベクトルの更新は、全ての代表ブロックで同時に行われる必要がある。また、ステップＳ４における収束条件判定に関しても、全ての代表ブロックで処理が行われ、全ての代表ブロックが同じタイミングで更新を止める（ステップＳ４の処理でＹＥＳであると判定する）ようになされる必要がある。

図５は、本発明の効果を示す図である。図５Ａにおいて、背景画像（スケートをしている画像）の略水平方向に引かれた各線が、代表ブロック毎の、従来の単純なブロックマッチング法による検出動きベクトルを示している。これに対して、図５Ｂにおいて、背景画像（スケートをしている画像）の略水平方向に引かれた各線が、代表ブロック毎の、本発明の手法、即ち空間拘束を適用した手法による検出動きベクトルを示している。即ち、ひとつの線の方向が、動きベクトルの向きを表しており、その線の長さが動きベクトルの大きさ（移動量）を表している。

なお、比較の公平さのため、ブロックマッチングに用いた条件(ブロックサイズや検出位相、探索範囲等) は全て同等にしてある。また、背景画像（スケートをしている画像）は、本来写真であったものを、便宜上線図化している。

図５Ａの従来のブロックマッチング法の結果では、リンク上やフェンスなどの平坦部分、またその境界部分等の繰り返しパターン部分において、線（動きベクトル）の方向や長さがまちまちであることがわかる。即ち、動きベクトルの誤検出が目だち、全体として動き検出結果が暴れていることがわかる。

これに対して、図５Ｂの本発明の手法の結果では、上述した部分においても、線（動きベクトル）の方向や長さがある程度揃っていることがわかる。即ち、破綻なく、かつオブジェクトの動き（動きベクトル）が正確に求まっているのが見て取れる。

以上説明したように、本発明の手法では、空間連続性を重視することができるので、従来正確な検出が難しかった平坦部分や繰り返しパターン部分においても、周囲の情報を利用して動きベクトルを正確に検出することができるようになる。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した情報処理装置として、例えば、図６に示されるパーソナルコンピュータを採用してもよい。

図６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明が適用される情報処理装置の構成例を示す図である。 代表点と代表ブロックを説明する図である。 図１の情報処理装置を代表ブロック毎の処理の観点から区分した場合における、代表ブロックマッチング部の機能的構成例を示す図である。 図３の代表ブロックマッチング部の動きベクトル検出処理の一例を説明するフローチャートである。 本発明の効果を示す図である。 本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

２１ メモリ， ２２ マッチング部， ２３ 評価値テーブル保持部， ２４ 反復演算部， ３１ｉｊ 代表ブロックマッチング部， ４１ 差分計算部， ４２ 評価値テーブル保持部， ４３ ベクトル保持部， ４４ ベクトル更新部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア

Claims (8)

1. 動画像を構成する処理単位画像毎に複数のブロックに区分し、前記複数のブロック毎に、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いて、動きベクトルを更新するブロックマッチング手段
   を備える情報処理装置。
2. 前記ブロックマッチング手段は、前記複数のブロック毎に設けられている
   請求項１に記載の情報処理装置。
3. 前記複数のブロックのうちの所定ブロックについてのブロックマッチング手段は、前記動きベクトル場の空間連続性として、自身の所定ブロックに加えて、その所定ブロックの周囲の１以上のブロックの動きベクトルの変化の度合を用いて、前記動きベクトルを更新する
   請求項２に記載の情報処理装置。
4. 前記所定ブロックの周囲の１以上のブロックのそれぞれについてのブロックマッチング手段は、前記所定ブロックについてのブロックマッチング手段による前記動きベクトルの更新タイミングで、自身のブロックの動きベクトルを更新する
   請求項３に記載の情報処理装置。
5. 前記ブロックマッチングによる輝度差分と動きベクトル場の空間連続性との重み付けは可変設定される
   請求項１に記載の情報処理装置。
6. 前記ブロックマッチング手段は、
   前記処理単位画像のうちの基準画像と参照画像との輝度差分からブロックマッチングを行い、評価値テーブルを作成する差分演算手段と、
   前記差分演算手段により演算された前記評価値テーブルを保持するテーブル保持手段と、
   前記動きベクトルを保持するベクトル保持手段と、
   前記テーブル保持手段に保持された前記評価値テーブル、前記ベクトル保持手段に保持された前記動きベクトル、および、処理対象のブロックの周辺の１以上のブロックにおける動きベクトルを用いて、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とをパラメータに含む演算式を演算することで、前記ベクトル保持手段に保持された前記動きベクトルを更新するベクトル更新手段と
   を有する請求項１に記載の情報処理装置。
7. 情報処理装置が実行するステップとして、
   動画像を構成する処理単位画像毎に複数のブロックに区分し、前記複数のブロック毎に、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いて、動きベクトルを更新する
   ステップを含む情報処理方法。
8. コンピュータが、
   動画像を構成する処理単位画像毎に複数のブロックに区分し、前記複数のブロック毎に、ブロックマッチングによる輝度差分と動きベクトル場の空間連続性とを用いて、動きベクトルを更新する
   ステップを実行するプログラム。

Images