JP2007257489A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 画像上に映し出される物体の領域が物体の移動に伴い変化するような場合であっても、物体の移動を精度よく追跡することを可能とした画像処理装置および方法を提供する。
【解決手段】 入力された画像（ステップＳ１）から候補点・特徴点を検出し（ステップＳ２）、フレーム間の対応づけを行う（ステップＳ３）。対象物上にあることが既知の特徴点についてフレーム間の運動推定を行い（ステップＳ４）、候補点についても運動推定を行い（ステップＳ６）、その結果を比較して（ステップＳ７）、運動が類似している候補点を新たに特徴点に追加する（ステップＳ８）。これを繰り返すことで、新たに画面内に映り込んだ対象物上の点についても特徴点に追加することができる。
【選択図】 図２

Description

本発明は入力された画像に映し出された物体を追跡し、その姿勢等を推定するための画像処理装置および画像処理方法に関する。

運動する物体の画像を取得し、取得した画像から物体の姿勢変化・運動を推定する技術の開発が進められている。特許文献１に開示されている技術は、こうした技術の一つであり、ステレオカメラを利用して顔向き、視線方向の追従をリアルタイムで行うことを目的としている。そして、顔向き、視線方向を追跡する手法として、画像内の顔領域から特徴点を検出し、その位置を追跡することで、追跡した特徴点位置から顔向きを検出しようとするものである。
特開２００３−１５８１６号公報

ところで、物体と他の物体との位置関係や、物体の回転運動等によってカメラから見えている物体の領域が変化することがある。このような場合、追跡していた特徴点が隠れてしまい、追跡が不能になってしまう可能性がある。そのため、特許文献１の技術は、カメラから見えている領域の変化の少ない対象物の運動追跡にしか用いることができないという欠点があった。

そこで本発明は、画像上に映し出される物体の領域が物体の移動に伴い変化するような場合であっても、物体の移動を精度よく追跡することを可能とした画像処理装置および方法を提供することを課題とする。

上記課題を解決するため、本発明にかかる画像処理装置は、（１）認識対象物の画像を複数取得する画像入力手段と、（２）各画像中で認識対象物上にあることが既知の特徴点を検出する特徴点検出手段と、（３）複数の画像からそれぞれ独立して特徴点の候補点を抽出する候補点検出手段と、（４）画像間で候補点の対応づけを行う照合手段と、（５）画像間における特徴点の対応関係と、候補点の対応関係に基づいて候補点が認識対象物上に位置しているか否かを判定し、対象物上に位置していると判定した場合には該候補点を特徴点に追加する判定手段と、を備えていることを特徴とする。

一方、本発明にかかる画像処理方法は、（１）認識対象物の画像を複数取得し、（２）各画像中で認識対象物上にあることが既知の特徴点を検出し、（３）複数の画像からそれぞれ独立して特徴点の候補点を抽出し、（４）画像間で候補点の対応づけを行い、（５）画像間における特徴点の対応関係と、候補点の対応関係に基づいて候補点が認識対象物上に位置しているか否かを判定し、（６）対象物上に位置していると判定した場合には該候補点を特徴点に追加する各工程を備えていることを特徴とする。

本発明によれば、既知の特徴点のみを追跡するのではなく、画像中から抽出した特徴点候補である候補点が物体上に位置しているか否かを、画像間における特徴点の対応関係と候補点の対応関係に基づいて判定し、当該候補点が物体上に位置していると判定した場合には、当該候補点を特徴点に追加する処理を行う。このため、画像上に映し出される物体の領域が刻々と変化して既知の特徴点が隠れていくような場合であっても、新たに画像上に映し出される領域に存在する候補点を特徴点に追加することで、物体の動き追跡を可能とする。

この判定手段あるいは判定工程は、画像間における特徴点の移動と、候補点の移動の類似度を、画像間での候補点の位置変化の、特徴点の移動を規定する幾何学的関係への適合度により評価するとよい。あるいは、画像間における特徴点位置の対応関係からその移動を表す基礎行列を算出し、移動前の候補点位置をこの基礎行列によって変換した変換後の位置と対応づけられた移動後の位置との差が所定のしきい値以下であれば、候補点は対象物上に位置していると判定してもよい。

あるいは、画像間における特徴点位置、候補点位置の対応関係からその移動を表す基礎行列をそれぞれ算出し、この基礎行列の差異が所定のしきい値以下であれば、候補点は対象物上に位置していると判定してもよい。この差異の評価は、基礎行列の要素の差の二乗和を基にして評価するとよい。

または、特徴点の３次元位置と移動状況から、候補点の移動後の３次元位置を推定し、これと対応づけられた候補点の３次元位置とのずれを基に認識対象物上に位置しているか否かの評価を行ってもよい。

これらの手法によって特徴点の移動と同様の移動を行っている候補点を判別することで、新たな候補点を見出すことができる。

本発明によれば、画面に映し出される領域の変化に応じて、画像に新たに映し出されるようになった領域の中から既知の物体上の特徴点と同様の画像間での対応関係を有する特徴点候補を物体上の特徴点と推定して追加していくので、新たに映し出されるようになった領域中にも特徴点が設定され、物体の運動の追跡を精度よく行うことができる。

この対応関係としては、特徴点の運動（移動）やその位置移動を規定する行列式等を基に行うことで、精度よく、高速での算出が可能となる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明にかかる画像処理装置のブロック構成図である。この画像処理装置は、認識対象物を含む画像列を取得する画像入力手段１と、認識対象物上にあることが既知の特徴点を画像列中から検出する特徴点検出手段２と、画像中から特徴点の候補となる候補点を検出する候補点検出手段３と、複数の画像における候補点・特徴点の照合を行う照合手段４と、候補点が認識対象物上にあるか否かを判定する判定手段５とを備えている。

画像入力手段１は、例えば、テレビカメラ等の動画を撮像して画像列として取り込む装置である。そのほかに、ビデオレコーダ等に保持されている動画データ中から画像列を取り込むビデオキャプチャー装置等であってもよい。

特徴点検出手段２、候補点検出手段３、照合手段４、判定手段５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成される。これらの各手段は、独立した別々のハードウェアとして構成されていてもよいが、一部または全部のハードウェアを共有し、ソフトウェアにより個々の手段が実現されていてもよい。なお、この場合に、各手段を構成するソフトウェアは別個独立していてもよいが、ソフトウェアの一部を共有してもよく、１つのソフトウェアの内部に複数の手段が組み込まれる構成であってもよい。

続いて、本画像処理装置の動作である本発明にかかる画像処理方法の第１の実施形態について図２のフローチャートを参照しつつ、具体的に説明する。まず、画像入力手段１に画像列（動画像）が入力される（ステップＳ１）。ここでは、連続した２画像が取り出される。取得した画像列は、例えば、図示していない一時記憶手段に格納されるとよい。

次に各画像中から特徴点検出手段２、候補点検出手段３により特徴点・候補点を検出する。具体的には、輝度・輝度パターンが特徴的な点を検出する手法を用いればよく、例えば、ｈａｒｒｉｓオペレータ（Ｃ． Ｈａｒｒｉｓ、Ｍ． Ｓｔｅｐｈｅｎｓ著”Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ，”Ｐｒｏｃ． Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．，ｐｐ．１４７〜１５１，１９８８年、参照）と呼ばれる手法を用いればよい。こうして検出した特徴点・候補点とその周辺の画像および情報を一時記憶手段に格納する。格納する情報は、位置、輝度、テクスチャーの特徴量、位置の類似性に基づく距離、候補点の輝度の類似性に基づく距離、候補点の周辺輝度パターンの類似性に基づく距離およびそれら特徴量の線形・非線形変換後の値である。これらの特徴点・候補点には各画像ごとに独立した識別番号が付与される。

特徴点検出手段２と照合手段４は、このようにして検出した候補点・特徴点のフレーム（画像）間の対応づけを行う（ステップＳ３）。まず、特徴点検出手段２は、取り出した候補点のうちから対象物上にあることが既知の特徴点を抽出する。例えば、対象物上にあることが既知の特徴点とその周辺画像を保持しておき、これと抽出した特徴点・候補点の周辺画像とをパターンマッチングによって比較することで、追跡対象物上の点か否かを判定する。既知の特徴点についてはそれぞれを識別する番号が付与されており、マッチングした特徴点・候補点については、この識別番号を対応づけて保存する。これにより、既知の特徴点については、画像（フレーム）間における対応づけも同時に行うことができる。

照合手段４は、それ以外の候補点について、例えば、特徴量の距離を利用して対応づけを行う。画像ｔ中のｉ番目の候補点をｐ_ｔ ^ｉとし、これと、画像ｓ中のｊ番目の候補点をｐ_ｓ ^ｊとの距離をｄ（ｐ_ｔ ^ｉ，ｐ_ｓ ^ｊ）とすると、距離ｄは次式で表せる。

ここで、Ｆ_ｋ（ａ）は、候補点ａのｋ番目の特徴量であり、ｗは、重み係数である。距離ｄが近いほど類似していることを意味するから、あるしきい値より近く、最短距離となるｄを有する候補点同士を対応づける。

次に、対象物上にあることが既知の特徴点を対象にフレーム間の運動推定を行う（ステップＳ４）。運動推定手法としては、例えば因子分解法（Ｃ． Ｔｏｍａｓｉ ＆ Ｔ． Ｋａｎａｄｅ，”Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ − Ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ，” Ｉｎｔ． Ｊ． Ｃｏｍｐｕｔ． Ｖｉｓｉｏｎ， ９−２（１９９２−１０）１３７〜１５４頁参照）を利用すればよい。

次に、運動類似度の判定を行う。まず、候補点ｉとして第１候補点を選択する（ステップＳ５）。ここで、運動類似度の判定を行うのは、対象物上にあるか否かが不明な点に限られる。したがって、対象物上にあることが既知の候補点だけでなく、対象物上にないことが既知の候補点も判定から除外することで、判定対象となる候補点の数が少なくてすみ、処理の高速化を図れる。

ステップＳ６では、ステップＳ４と同様の手法により、当該候補点ｉの運動を推定する。そして、推定した運動とステップＳ４で推定済みの特徴点の運動とを比較する（ステップＳ７）。具体的には、既知の特徴点Ｍ_１と候補点ｉである点Ｍ_２とが、以下の条件を満たす場合に、運動が類似していると判定すればよい。

つまり、回転角度差、並進量のいずれも小さい場合に、運動が類似していると判定する。

運動が類似している場合には、当該候補点ｉを特徴点に追加し（ステップＳ８）、それ以外の場合には、特徴点に追加することなくステップＳ９へと移行する。ステップＳ９では、判定対象の全ての候補点の判定が終了したかをチェックする。全候補点の判定が終了した場合には、処理を終了し、全候補点の判定が終了していない場合には、ステップＳ１０へと移行し、候補点ｉに次候補点を選択してステップＳ６〜Ｓ９の処理を繰り返すことで、全ての候補点について運動類似度の判定を行う。

以上のような処理を行うことで、新たに出現した点が認識対象物上にあるか否かを判定することができる。したがって、画像上に映し出されている認識対象物の領域が変化して初期に追跡していた特徴点が隠れてしまうような場合であっても、新たに出現してきた領域内に特徴点を設定して、順次追跡を行うことができるため、物体の運動追跡を精度よく行うことができる。

なお、ステップＳ７で類似度が低いと判定された候補点について、１回の運動類似度判定で、認識対象物上に位置しないと判定するのでなく、所定回数連続して類似度が低い場合に、認識対象物上に位置しないと判定してもよい。同様に、特徴点を認識対象物上にあると判定する場合にも、所定回数連続して類似度が高い場合に、当該対象物上に位置していると判定するとよい。

例えば、図３（ａ）（ｂ）に示される画像においては、頂点を特徴点・候補点として抽出している。この場合に、左側の立体を認識対象物とした場合、図３（ａ）では、表示されていた点７、１５は図３（ｂ）では、隠れ、代わりに点８、１４が登場する。本実施形態によれば、図３（ａ）（ｂ）間に存在する画像（図示は省略する）における点８、１４の運動と他の点（例えば点９〜１２等）の運動を基にして新たに登場した点８、点１４が当該立体上に位置していると適切に判定することができる。一方、三角錐側の頂点２１〜２４については、動きの差から対象物上の点でないと判定することができる。

ここでは、候補点と特徴点の運動類似度を基に候補点が特徴点と同じ認識対象物上にあるか否かの判定を行ったが、判定手法はこれに限られるものではない。図４に示されるフローチャートは、本発明にかかる画像処理方法の第２の実施形態の処理フローチャートである。ここで、ステップＳ１１〜Ｓ１３までの処理は、図２に示されるステップＳ１〜Ｓ３の処理と同一であるため、説明は省略する。

続くステップＳ１４では、照合手段４は、特徴点についてフレーム間Ｆ行列を推定する。例えば、フレームＡとフレームＢにおいて、対応する８対の特徴点の画像上の位置が得られているとする。このとき、フレームＡにおけるｉ番目の特徴点の画像上の２次元座標を（ｕ_ａ ^ｉ，ｖ_ａ ^ｉ）とし、フレームＢにおけるこの特徴点の画像上の２次元座標を（ｕ_ｂ ^ｉ，ｖ_ｂ ^ｉ）とする。これらの各店の位置座標を用いて、以下の行列Ｕを作成する。

この行列Ｕに対してＵ^Ｔ・Ｕの最小固有値に対する固有ベクトルとしてｆを求める。この固有ベクトルｆと行列Ｆの関係は次の通りである。

これにより特徴点についてのフレーム間Ｆ行列が算出できる。

照合手段４は、次に、このフレーム間Ｆ行列を基にした運動類似度判定を行う。まず、候補点ｉとして第１候補点を選択する（ステップＳ１５）。ここで、運動類似度の判定を行うのは、対象物上にあるか否かが不明な点に限る点も第１の実施形態と同様である。次に、評価式である行列値Ｊを算出する（ステップＳ１６）。このＪは候補点のフレームＡ、Ｂにおける画像上の座標位置をそれぞれ（ｕ_ａ，ｖ_ａ）（ｕ_ｂ，ｖ_ｂ）とすると、以下の式で表される。

ここで、Ｊが予め設定された所定の範囲内であれば、この候補点は特徴点と類似の運動をしていると評価できる。このＪは、フレームＡ−Ｂ間の特徴点の移動を規定した行列Ｆにより、候補点を移動させた場合の変換後の位置と実際の位置との距離に対応する。

そこで、ステップＳ１７では、Ｊを基に類似度の評価を行い、類似していると判定した場合のみに、候補点ｉを特徴点に追加する処理を行う（ステップＳ１８）。判定終了後は、全候補点の判定が終了したか否かをチェックし、終了していない場合には、ステップＳ２０へと移行し、候補点ｉに次候補点を選択してステップＳ１６〜Ｓ１９の処理を繰り返すことで、全ての候補点について運動類似度の判定を行う。

このように特徴点の画素間での位置変化（移動）を規定する基礎行列Ｆを算出し、このＦに基づいて算出した移動位置と実際位置との距離に対応するＪを求めることで、候補点の運動と特徴点の運動の類似度を判定する。この実施形態においても第１の実施形態と同様に新たに登場する候補点が認識対象物上の点であるか否かを精度よく判定することができる。

さらにステップＳ１６以降の処理は、以下のように置き換えが可能である。図５は、第３の実施形態の処理を示すフローチャートであり、そのステップＳ２１〜Ｓ２５の処理は、図４に示されるステップＳ１１〜１５の処理と同一である。

ステップＳ２６では、照合手段４は、ステップＳ２４におけるＦ行列の算出に用いた特徴点の少なくとも１点を候補点で置き換えてフレーム間行列Ｆ’を算出する。次に、求めた行列Ｆ’とステップＳ２４で求めたＦとを比較する（ステップＳ２７）。例えば、以下の評価値Ｊにより判定を行えばよい。

ここで、ＦとＦ’とはそれぞれフレーム間での移動を規定する行列であり、Ｊはその距離の長さに相当する（二乗和の平方根）から、Ｊが予め設定された所定の範囲内であれば、置き換えた候補点は特徴点と類似の運動をしていると評価できる。

そこで、ステップＳ２７では、Ｊを基に類似度の評価を行い、類似していると判定した場合のみに、候補点ｉを特徴点に追加する処理を行う（ステップＳ２８）。判定終了後は、全候補点の判定が終了したか否かをチェックし、終了していない場合には、ステップＳ３０へと移行し、候補点ｉに次候補点を選択してステップＳ２６〜Ｓ１９の処理を繰り返すことで、全ての候補点について運動類似度の判定を行う。

ここでは、既知の特徴点８対のうち、１つのみを候補点と置き換えてフレーム間行列Ｆ’を算出する例を説明したが、複数の候補点を同時に置き換えてもよい。さらに、既知の特徴点８対と候補点８対のそれぞれのフレーム間行列を比較してもよい。ただし、認識対象物上に位置する候補点と対象物上にない候補点を混在させてフレーム間行列を求めると、運動が類似していないと判定されて、対象物上に位置する候補点を位置しないと誤判定したり、その逆の可能性も生じる。したがって、複数の候補点を対象とするフレーム間行列を求める際には、当該候補点が近接していたり、同一面と推定される面の境界を構成する点である場合等に限るとよい。この場合には、一点ずつ置き換えるより処理を高速化できるとともに、誤認識を抑制して、精度よく認識を行うことができる利点がある。

以上の例では、主として画像入力手段１が単眼カメラである場合を想定して説明してきたが、画像入力手段がステレオカメラであると、対象物、特に特徴点・候補点の空間位置を把握することができる。この場合には、空間位置を基にして特徴点のフレーム間における運動（対象物の運動）を推定し、候補点が同様の運動を行った際の移動後の空間位置と実際の後フレームにおける空間位置との距離により候補点が対象物上に位置するか否かを判定してもよい。

本発明にかかる画像処理装置のブロック構成図である。 本発明にかかる画像処理方法の第１の実施形態の処理フローチャートである。 処理対象となる画像列の例示である。 本発明にかかる画像処理方法の第２の実施形態の処理フローチャートである。 本発明にかかる画像処理方法の第３の実施形態の処理フローチャートである。

符号の説明

１…画像入力手段、２…特徴点検出手段、３…候補点検出手段、４…照合手段、５…判定手段。

Claims (12)

1. 認識対象物の画像を複数取得する画像入力手段と、
   各画像中で認識対象物上にあることが既知の特徴点を検出する特徴点検出手段と、
   複数の画像からそれぞれ独立して特徴点の候補点を抽出する候補点検出手段と、
   画像間で候補点の対応づけを行う照合手段と、
   画像間における特徴点の対応関係と、候補点の対応関係に基づいて候補点が認識対象物上に位置しているか否かを判定し、対象物上に位置していると判定した場合には該候補点を特徴点に追加する判定手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記判定手段は、画像間における特徴点の移動と、候補点の移動の類似度を、画像間での候補点の位置変化の、特徴点の移動を規定する幾何学的関係への適合度により評価することを特徴とする請求項１記載の画像処理装置。
3. 前記判定手段は、画像間における特徴点位置の対応関係からその移動を表す基礎行列を算出し、移動前の候補点位置を該基礎行列によって変換した変換後の位置と対応づけられた移動後の位置との差が所定のしきい値以下であれば、候補点は対象物上に位置していると判定することを特徴とする請求項１記載の画像処理装置。
4. 前記判定手段は、画像間における特徴点位置、候補点位置の対応関係からその移動を表す基礎行列をそれぞれ算出し、該基礎行列の差異が所定のしきい値以下であれば、候補点は対象物上に位置していると判定することを特徴とする請求項１記載の画像処理装置。
5. 前記判定手段は、基礎行列の要素の差の二乗和を基にして評価することを特徴とする請求項４記載の画像処理装置。
6. 前記判定手段は、特徴点の３次元位置と移動状況から、候補点の移動後の３次元位置を推定し、これと対応づけられた候補点の３次元位置とのずれを基に認識対象物上に位置しているか否かの評価を行うことを特徴とする請求項１記載の画像処理装置。
7. 認識対象物の画像を複数取得し、
   各画像中で認識対象物上にあることが既知の特徴点を検出し、
   複数の画像からそれぞれ独立して特徴点の候補点を抽出し、
   画像間で候補点の対応づけを行い、
   画像間における特徴点の対応関係と、候補点の対応関係に基づいて候補点が認識対象物上に位置しているか否かを判定し、
   対象物上に位置していると判定した場合には該候補点を特徴点に追加する各工程を備えていることを特徴とする画像処理方法。
8. 画像間における特徴点の移動と、候補点の移動の類似度を、画像間での候補点の位置変化の、特徴点の移動を規定する幾何学的関係への適合度により候補点が認識対象物上に位置している否かを評価することを特徴とする請求項７記載の画像処理方法。
9. 画像間における特徴点位置の対応関係からその移動を表す基礎行列を算出し、移動前の候補点位置を該基礎行列によって変換した変換後の位置と対応づけられた移動後の位置との差が所定のしきい値以下であれば、候補点は対象物上に位置していると判定することを特徴とする請求項７記載の画像処理方法。
10. 画像間における特徴点位置、候補点位置の対応関係からその移動を表す基礎行列をそれぞれ算出し、該基礎行列の差異が所定のしきい値以下であれば、候補点は対象物上に位置していると判定することを特徴とする請求項７記載の画像処理方法。
11. 基礎行列の要素の差の二乗和を基にして該基礎行列の差異を評価することを特徴とする請求項１０記載の画像処理方法。
12. 特徴点の３次元位置と移動状況から、候補点の移動後の３次元位置を推定し、これと対応づけられた候補点の３次元位置とのずれを基に認識対象物上に位置しているか否かの評価を行うことを特徴とする請求項７記載の画像処理方法。
    

Images