JP2008305059A - 物体認識装置および物体認識方法 - Google Patents

Abstract

【課題】
ビデオカメラなどで撮影した監視対象物の位置を高速認識することができる物体認識装置を提供する。
【解決手段】
監視対象物またはその三次元モデルを回転させて得た複数のテンプレート画像の画像情報からテンプレート画像固有ベクトルを求めて、テンプレート画像固有ベクトル記憶部１１にあらかじめ記憶させておき、実画像情報を所定の時間間隔で記憶する画像情報記憶部１２と、実画像情報とテンプレート画像固有ベクトルとを比較して監視対象物の位置を特定する固有空間法状態推定部１３と、パーティクルフィルタ法によって監視対象物の位置を特定するパーティクルフィルタ法状態推定部１４と、固有空間法状態推定部１３とパーティクルフィルタ法状態推定部１４の切り替えを行う推定方法切替部１５とにより、監視対象物の位置をリアルタイムで認識する。
【選択図】 図１

Description

本発明は、ビデオカメラなどで撮影した監視対象物の位置をリアルタイムで高速認識するための物体認識装置および物体認識方法に関する。

ビデオカメラなどで撮影された動画像中から、任意の形状を持つ３次元物体を画像処理して、特定の監視対象物をリアルタイムで認識させる場合、カメラと物体（監視対象物）の位置関係によって、カメラで撮影された監視対象物の見かけの画像が様々に変化するという問題に対応しなければならない。このような認識方法は、大きく分けて幾何モデルとの比較を行う方法と、テンプレートマッチングに基づく方法に分類することができる。

幾何モデルとの比較に基づく方法は、監視対象物の幾何モデルをあらかじめ記憶し、取得した画像中の物体の構造を解析し、記憶された幾何モデルとの比較を行うことで監視対象物を認識する。幾何モデルとの比較は、画像中における監視対象物の形状が複雑な場合に、その監視対象物を正確にモデリングすることが困難であり、さらに幾何モデルの複雑さが画像処理等における計算コストを増加させるという問題を有する。

一方、テンプレートマッチングに基づく方法は、監視対象物の様々に変化する見かけ画像をテンプレート画像としてあらかじめ記憶し、取得した画像と記憶されたテンプレート画像をマッチングさせるので、監視対象物の形状の複雑さに依存しないという利点を有する。しかしながら、この方法はマッチング処理のために多様な画像をテンプレート画像として大量に記憶しておかなければならないので、必要とされる記憶容量が増加するとともに、マッチングのための画像処理等に要する時間が長いという問題点がある。このため、このような問題点を解決するためのさまざまなアプローチが試みられてきた。

このようなアプローチの一つとして、主成分分析を利用してマッチング処理を行う方法がある。主成分分析とは、多変量の計測値から、その特性を少数の合成変数で説明するといった多変量データ解析による手法であり、画像圧縮等の情報圧縮やパターン認識のための特徴抽出等の多くの分野で利用されている。マッチング処理による物体認識において主成分分析を利用する場合には、マッチング処理のためのテンプレート画像を低次元の固有ベクトルとして圧縮し、これを辞書データとして保持することで、記憶すべきデータ容量を低減することができる。

また、主成分分析を用いた物体認識においては、非特許文献１に記載された技術が知られている。テンプレート画像から主成分分析を用いて低次元の固有ベクトルとして圧縮し辞書データを作成しておき、辞書データを用いて動画像中から３次元物体の認識を行うという方法が開示されている。

すなわち、非特許文献１では、特定の物体たる監視対象物の位置や姿勢を認識するために、あらかじめ、回転等により変化する見かけ画像をテンプレートとして複数枚撮影して、各画像について画像の固有ベクトルを求めておき、物体認識の段階では、リアルタイムで取得した画像を切り出して、切り出した画像を固有ベクトルで張られた空間に投影したときに求められる特性値を算出して、切り出した画像内に特定の物体が含まれているか否かを判断するとともに、特定の物体が含まれていない場合には、取得した画像の切り出しをやり直し、特定の物体が含まれている場合には、切り出した画像がどのテンプレート画像に類似しているかを判別するという固有空間法によるパターンマッチングに関する技術が開示されている。

村瀬ら：「２次元照合による３次元物体認識―パラメトリック固有空間法―」(信学論，Vol.J77-D-II,No.11,pp.2179-2187,1994)

このように、パラメトリック固有空間法によれば、テンプレート画像の画像情報が固有ベクトルを用いることによって低次元化できるので、学習させておくために必要な情報量を抑えることができる。

そして、非特許文献２では、各時刻における状態ベクトルを逐次的に推定する手法としてパーティクルフィルタに関する技術が開示されている。
パーティクルフィルタでは、独立な実現値とみなせる多数のパーティクル（＝状態ベクトル）を発生させ、各パーティクルについて、次の状態を近似によって推定し（手順a）、 更に次の状態として残すべきパーティクルを、そのパーティクルを確率分布に従ってリサンプリングし（手順b）、この手順a, 手順bを繰り返すことで、各時刻における状態ベクトルが逐次的に推定される。

樋口：「解説 粒子フィルタ」(信学論，Vol.88,No.12,pp.989-994,2005)

パーティクルフィルタによって推定されたパーティクルが有する状態ベクトルと実際に撮影した監視対象物が有する特性ベクトルの両者を比較することで、比較させる対象を少なくすることができ、パラメトリック固有空間法よりも少ない計算量で、監視対象物の位置を推定できる。

ところが、前述した技術では次のような問題がある。
非特許文献１の固有空間法によって、特定の物体を認識させようとすると、撮影した画像とテンプレート画像を比較しなければならず、撮影された画像のどの範囲に監視対象物が存在するかを確認する作業（たとえば、撮影した画像から監視対象物の中心位置を求めるといった作業等）が必要となってくる。監視対象物の中心位置が判らない場合には、撮影した画像を複数切り出して、その切り出した画像のそれぞれについてテンプレート画像との比較を行わなければならず、画像処理における計算量を増大させてしまう。

また、非特許文献２のパーティクルフィルタでも、監視対象物の中心位置が判らない場合には、その監視対象物の次タイミングにおける位置についてパーティクルを以って推定することが出来ず、監視対象物に追跡させることが困難となる。特に、動きのある監視対象物に対しては、これをリアルタイムで追跡することが困難であるという問題があった。

そこで、本発明は、ビデオカメラなどで撮影した監視対象物の位置を高速認識し、特に動きのある監視対象物をリアルタイムで追従することができる物体認識装置および物体認識方法を提供する。

本発明は、監視対象物またはその三次元モデルを回転させて得た複数のテンプレート画像の画像情報からテンプレート画像固有ベクトルを求めて、テンプレート画像固有ベクトル記憶部１１にあらかじめ記憶させておき、実画像情報を所定の時間間隔で記憶する画像情報記憶部１２と、実画像情報とテンプレート画像固有ベクトルとを比較して監視対象物の位置を特定する固有空間法状態推定部１３と、パーティクルフィルタ法によって監視対象物の位置を特定するパーティクルフィルタ法状態推定部１４と、固有空間法状態推定部１３とパーティクルフィルタ法状態推定部１４の切り替えを行う推定方法切替部１５とにより、監視対象物の位置をリアルタイムで認識するものである。

すなわち、第１の発明にかかる物体認識装置は、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出しておき、前記固有ベクトルを記憶するテンプレート画像固有ベクトル記憶部１１と、所定の時間間隔で撮影された画像を実画像情報として記憶する実画像情報記憶部１２と、前記実画像情報を所定の大きさで複数切り出して、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定する固有空間法状態推定部１３と、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成し、前記実画像情報を前記位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定するパーティクルフィルタ法状態推定部１４と、前記固有空間法状態推定部１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定を前記パーティクルフィルタ法状態推定部１４で行わせるようにし、前記パーティクルフィルタ法状態推定部１４により該監視対象物の位置を特定できなかった場合には、次のタイミングで撮影される監視対象物の位置の特定を前記固有空間法状態推定部１３で行わせる推定方法切替部１５と、を備えるものである。

また、第２の発明に係る物体認識装置は、第１の発明の構成に加え、前記パーティクルフィルタ法状態推定部１４は、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成したあとで、各パーティクルを(T(t+1)-T(t))・V(t) （ただし、V(t)は特定された該監視対象物の位置から算出した速度ベクトル、T(t+1)-T(t)は次のタイミングで撮影されるまでの撮影時間間隔)だけ平行移動させることを特徴とするものである。

また、第３の発明に係る物体認識装置は、第１の発明または第２の発明の構成に加え、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出するほか、前記画像情報を拡大または縮小した、拡大画像情報または縮小画像情報を行列表示に置き換え、その行列に対する拡大画像固有ベクトルまたは縮小画像固有ベクトルをあらかじめ算出しておき、前記テンプレート画像固有ベクトル記憶部１１では、前記固有ベクトルのほか、前記拡大画像固有ベクトルまたは前記縮小画像固有ベクトルがあわせて記憶され、前記固有空間法状態推定部１３では、前記切出画像ベクトルの切出し位置に応じて、（１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、（２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、もしくは、（３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、のいずれかを選択し、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定し、前記パーティクルフィルタ法状態推定部１４では、前記切出画像ベクトルの切出し位置に応じて、（１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、（２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、もしくは、（３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、のいずれかを選択し、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定することを特徴とするものである。

また、第４の発明に係る物体認識装置は、第１の発明ないし第３の発明の構成に加え、前記固有空間法状態推定部１３は、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定し、前記パーティクルフィルタ法状態推定部１４は、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定することを特徴とするものである。

また、第５の発明に係る物体認識装置は、第４の発明の構成に加え、前記パーティクルフィルタ法状態推定部１４は、パーティクルフィルタ法により監視対象物の位置候補となるパーティクルを複数生成するにあたり、特定された監視対象物の角度に応じて該監視対象物の進行方向を予測し、特定された監視対象物の位置を中心にして前記進行方向を長軸とする楕円の範囲内で前記パーティクルを移動させることを特徴とするものである。

また、第６の発明に係る物体認識方法は、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルを記憶するテンプレート画像固有ベクトル記憶ステップＳ１１と、所定の時間間隔で撮影された画像を実画像情報として記憶する実画像情報記憶ステップＳ１２と、前記実画像情報を所定の大きさで複数切り出すステップＳ１３ａ、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えるステップＳ１３ｂ、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定するステップＳ１３ｃ、を含んだ固有空間法状態推定ステップＳ１３と、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成するステップＳ１４ａ、前記実画像情報を前記位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えるステップＳ１４ｂ、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるステップＳ１４ｃ、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定するステップＳ１４ｄ、を含んだパーティクルフィルタ法状態推定ステップＳ１４と、固有空間法状態推定ステップＳ１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定をパーティクルフィルタ法状態推定ステップＳ１４で行わせるように切り替えるステップＳ１５ａ、パーティクルフィルタ法状態推定ステップＳ１４により該監視対象物の位置を特定できなかった場合には、次のタイミングで撮影される該監視対象物の位置の特定を固有空間法状態推定ステップＳ１３で行わせるように切り替えるステップＳ１５ｂ、を含んだ推定方法切替ステップＳ１５と、によって、監視対象物の位置を特定させるものである。

また、第７の発明に係る物体認識方法は、第６の発明の手順に加え、前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ａでは、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成したあとで、各パーティクルを(T(t+1)-T(t))・V(t) （ただし、V(t)は特定された該監視対象物の位置から算出した速度ベクトル、T(t+1)-T(t)は次のタイミングで撮影されるまでの撮影時間間隔)だけ平行移動させることを特徴とするものである。

また、第８の発明に係る物体認識方法は、第６の発明または第７の発明の手順に加え、前記テンプレート画像固有ベクトル記憶ステップＳ１１では、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出するほか、前記画像情報を拡大または縮小した、拡大画像情報または縮小画像情報を行列表示に置き換え、その行列に対する拡大画像固有ベクトルまたは縮小画像固有ベクトルをあらかじめ算出して、前記固有ベクトルのほか、前記拡大画像固有ベクトルまたは前記縮小画像固有ベクトルをあわせて記憶し、前記固有空間法状態推定ステップＳ１３のステップＳ１３ｃでは、前記切出画像ベクトルの切出し位置に応じて、（１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、（２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、もしくは、（３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、のいずれかを選択し、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定し、前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｃでは、前記切出画像ベクトルの切出し位置に応じて、（１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、（２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、もしくは、（３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、のいずれかを選択し、前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｄでは、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定することを特徴とするものである。

また、第９の発明に係る物体認識方法は、第６の発明ないし第８の発明の手順に加え、前記固有空間法状態推定ステップＳ１３のステップＳ１３ｃでは、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定し、前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｄでは、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定することによって、監視対象物の位置および角度を特定させることを特徴とするものである。

また、第１０の発明に係る物体認識方法は、第９の発明の手順に加え、前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ａでは、パーティクルフィルタ法により監視対象物の位置候補となるパーティクルを複数生成するにあたり、特定された監視対象物の角度に応じて該監視対象物の進行方向を予測し、特定された監視対象物の位置を中心にして前記進行方向を長軸とする楕円の範囲内で前記パーティクルを移動させることによって、監視対象物の位置および角度を特定させることを特徴とするものである。

本発明第１の構成による物体認識装置（または本発明第６の手順による物体認識方法）によれば、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）とパーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）の二つを設けると共に、これらを切り替える推定方法切替部１５（または推定方法切替ステップＳ１５）を設けることで、最初の段階あるいはパーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）での位置推定が失敗したときには、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）によって、撮影された画像の広い範囲からの位置推定を行うと共に、位置推定が出来た後は、パーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）によって、高速の位置推定（監視対象物のリアルタイム認識）を継続させることが出来る。

また、本発明第２の構成による物体認識装置（または本発明第７の手順による物体認識方法）によれば、特定された監視対象物の位置から速度を算出し、その速度に応じて各パーティクルを平行移動させることで、動きのある測定対象物の位置追従を高い精度で行わせることが出来る。

また、本発明第３の構成による物体認識装置（または本発明第８の手順による物体認識方法）によれば、撮影された位置によって見かけ上の大きさが異なる監視対象物に対して、大きさの異なるテンプレート画像を用意し、これらの固有ベクトルをそれぞれ記憶させておき、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）やパーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４）で類似性を比較するにあたり実画像情報を切り出した位置に対応する大きさのテンプレート画像の固有ベクトルを用いることで広い範囲を対象とした監視対象物の位置認識が実現される。

また、本発明第４の構成による物体認識装置（または本発明第９の手順による物体認識方法）によれば、固有空間法状態推定部１３（固有空間法状態推定ステップＳ１３）やパーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４）で、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その固有ベクトルに対応する画像情報の撮影角度または表示角度を求めることで、該監視対象物の角度を特定することが出来る。

また、本発明第５の構成による物体認識装置（または本発明第１０の手順による物体認識方法）によれば、監視対象物の位置と角度を特定して、監視対象物の移動方向を予測し、パーティクルフィルタ法において次タイミングにおけるパーティクルを、監視対象物の移動方向を長軸とする楕円の範囲内で移動させることで、パーティクルフィルタ法による粒子の数を抑える（または粒子を高密度化させる）ことができ、監視対象物の位置推定の高速化（または高精度化）が実現される。

本発明を実施するための形態を実施例１および実施例２にて説明する。

本発明の実施例１について図１〜図５に基づいて説明する。
図１は実施例１による物体認識装置の構成を示す説明図である。物体認識装置１は、撮影装置(ビデオカメラ)１０と接続され、撮影装置１０が撮影した監視対象物の位置をリアルタイムにて特定する。内部にはテンプレート画像固有ベクトル記憶部１１、実画像情報記憶部１２、固有空間法状態推定部１３、パーティクルフィルタ法状態推定部１４および推定方法切替部１５を備える。

図示による説明は省略するが、物体認識装置１を実現するハードウエア構成の一例としては、メモリ、中央演算装置（ＣＰＵ）、キャプチャボードを供えたパーソナルコンピュータが考えられる。撮影装置１０で撮影された画像はキャプチャボードによりパーソナルコンピュータ上に取り込まれる。メモリには、テンプレート画像固有ベクトル記憶部１１および実画像情報記憶部１２に相当する記憶領域があり、さらに、固有空間法状態推定部１３、パーティクルフィルタ法状態推定部１４および推定方法切替部１５の演算用メモリ・プログラムなどが記憶されている。固有空間法状態推定部１３、パーティクルフィルタ法状態推定部１４および推定方法切替部１５の演算処理はＣＰＵにて行い、メモリに記憶されたプログラムに基づいて行われる。

実施例１により監視対象物の位置を特定させるためには、監視対象物を複数の角度から撮影して、撮影された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出しておき、テンプレート画像固有ベクトル記憶部１１に、その算出された固有ベクトルを記憶させておく。なお、画像情報は、監視対象物の三次元モデルを複数の角度から表示して、表示された画像情報を用いることによって作成しても良い。

テンプレート画像の固有ベクトルの求め方は次の通りである。すなわち、監視対象物（または監視対象物の三次元モデル）をあらかじめ色々な角度から撮影（または表示）し、その画像データをP_i (1≦i≦d)とする。ここで、dは撮影したテンプレート画像の枚数、P_iはm×n画素の画像データであって、x_ij(1≦j≦J=m×n)を画像データP_iのj番目の画素値としたときに、x_i=(x_i1,x_i2,…,x_iJ)^Tとおくと、x_iはJ次元ベクトルとなる。なお、x_iは、その大きさが|x_i|＝１となるように、正規化の処理を行っておき、各成分x_ij(1≦i≦d，1≦j≦J)の平均値をmとおく。

そして、Mをすべての成分がmであるベクトルとし、S=(x₁−M,x₂−M,…,x_d−M)(x₁−M,x₂−M,…,x_d−M) ^T で定義される共分散行列Sに対して、Su_j=λ_j u_jなる固有値と固有ベクトルの組(λ_j ,u_j)（ただし、λ_j≧λ_j+1）を算出し、固有値が大きい順に、固有値と固有ベクトルの組(λ_j ,u_j)をk組（ただし、kはd以下）選び、k個の固有ベクトルから、行列E＝(u₁,u₂,…,u_k)を定め、ベクトルg_i＝E^T(x_i−M) (1≦i≦d)および行列Eをテンプレート画像固有ベクトルとして、テンプレート画像固有ベクトル記憶部１１に記憶させる。

図２は、テンプレート画像の一例を示したものである。監視対象物を10degreeずつ回転させて、36枚の画像を撮影し、そのうち16枚の画像を図２で表示している。図３は、図２と同じテンプレート画像について、共分散行列Ｓを求め、その固有ベクトルをu₁,u₂,u₃として３つ選び、その固有ベクトルから求まるベクトルg_i(1≦i≦36)を三次元表示させたものである。回転などで連続的に変化するテンプレート画像は、連続する２枚の画像間の相関が一般的に強いことから、テンプレート画像を固有空間上に投影すると、図３に示すように滑らかな閉曲線を描く。これは、相関が強い２枚の画像に対応する固有空間上の２点は距離が近くなるという性質のためである。

実画像情報記憶部１２は、所定の時間間隔で撮影された画像を実画像情報として記憶するものである。すなわち、撮影装置１０から撮影した画像情報が所定の時間間隔で記録される。

固有空間法状態推定部１３は、実画像情報を所定の大きさで複数切り出して、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、その切出画像ベクトルと固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する実画像情報の切出し位置から、該監視対象物の位置を特定するものである。
なお、固有空間法状態推定部１３は、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定するようにしてもよい。

パーティクルフィルタ法状態推定部１４は、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成し、実画像情報を位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、切出画像ベクトルと固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する位置候補から、該監視対象物の位置を特定するものである。
なお、パーティクルフィルタ法状態推定部１４は、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定するようにしてもよい。

推定方法切替部１５は、固有空間法状態推定部１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定をパーティクルフィルタ法状態推定部１４で行わせるようにし、パーティクルフィルタ法状態推定部１４により該監視対象物の位置を特定できなかった場合には、次のタイミングで撮影される監視対象物の位置の特定を固有空間法状態推定部１３で行わせるものである。

続いて、実施例１による物体認識方法の手順を、図４のフローチャートに従って説明する。

テンプレート画像固有ベクトル記憶ステップＳ１１では、前述した方法により、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルを記憶する。
撮影装置１０により撮影された画像情報は、実画像情報記憶部１２に送られ、実画像情報記憶ステップＳ１２では、所定の時間間隔で撮影された画像を実画像情報として記憶する。

固有空間法状態推定ステップＳ１３は、実画像情報を所定の大きさで複数切り出すステップＳ１３ａ、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えるステップＳ１３ｂ、切出画像ベクトルと固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する実画像情報の切出し位置から、該監視対象物の位置を特定するステップＳ１３ｃからなる。なお、図４では、ステップＳ１３ｃによる処理をステップＳ１３ｃ−１、ステップＳ１３ｃ−２およびステップＳ１３ｃ−３に分けて説明している。

詳説すると、固有空間法状態推定部１３では、実画像情報記憶部１２から実画像情報を読み込んで、テンプレート画像と同じ大きさになる画像を複数枚切り出し（ステップＳ１３ａ）、切り出された画像情報をそれぞれベクトル表示に置き換える（ステップＳ１３ｂ）。ここで、例としてテンプレート画像の大きさを３０×５０ピクセル、撮影装置で撮影した画像の大きさを６０×１００ピクセルとした場合、撮影装置１０で撮影した実画像情報から１ピクセルずつシフトさせて画像を切り出すと、その切り出し画像の枚数は３１×５１枚となる。そこで、切り出した各画像に番号r(1≦r≦31×51)を付与し、画像rとテンプレート画像との相関を次のように求める。すなわち、切り出した画像rについて、y_j(1≦j≦J=m×n)を画像rのj番目の画素値として、切出画像ベクトルをy(r)=(y₁,y₂,…,y_J)^Tとおくと、y(r)はJ次元ベクトルとなる。ここで、y(r)はその大きさが|y(r)|＝１となるように、正規化の処理を行っておく。

ステップＳ１３ｃ−１では、テンプレート画像固有ベクトル記憶部１１から固有ベクトルを参照し（ステップＳ１３ｃ−２）、切出画像ベクトルと固有ベクトルの類似性をそれぞれ評価する。すなわち、ベクトルg_i (1≦i≦36)と行列Eを参照し、具体的には、|g_i−E^T(y(r)−M)|を各r (1≦r≦31×51)と各i(1≦i≦36)について算出することとなる。

ステップＳ１３ｃ−３では、|g_i−E^T (y(r)−M)|の値を最小とする(r’,i')の組み合わせを求め、切出画像ベクトルy(r’)に対応する実画像情報の切り出し位置から監視対象物の位置を特定する。ここで、|g_i’−E^T(y(r’)−M)|の値が一定の値を超えた場合には、固有空間法状態推定ステップＳ１３における該監視対象物の位置が特定できなかったものとしてステップＳ１３ａに戻り（ステップＳ１３ｃ−３でＮＯ）、次の撮影タイミングにおける該監視対象物の位置の特定を再び固有空間法状態推定ステップＳ１３で行わせるようにする。
本実施例では、監視対象物が一つの場合を例にとって説明しているが、監視対象物が複数ある場合には、ステップＳ１３ｃ−３にて|g_i−E^T (y(r)−M)|の値を最小とする(r’,i')の組み合わせを求めたあとで、切り出した画像r’およびその周辺以外で切り出した画像を対象にステップＳ１３ｃ−３と同様の処理を行い、以降、監視対象物の個数分だけ（または|g_i−E^T(y(r)−M)|の最小値が一定値以下である限り）同じ処理を繰り返せばよい。

なお、ステップＳ１３ｃ−３では、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定するようにしてもよい。つまり、|g_i−E^T (y(r)−M)|の値を最小とする(r’,i')の組み合わせを求め、ベクトルg_iに対応するテンプレート画像iの撮影角度または表示角度を特定するようにすれば良い。
このように、固有空間法状態推定部１３（固有空間法状態推定ステップＳ１３）で、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その固有ベクトルに対応する画像情報の撮影角度または表示角度を求めることで、該監視対象物の角度を特定することが出来る。

ステップＳ１３ｃ−３で、|g_i’−E^T (y(r’)−M)|の値が一定の値を超えなかった場合には、その結果をディスプレイ等の出力装置（図示省略）に表示すると共に、次のステップＳ１５ａに進む（ステップＳ１３ｃ−３でＹＥＳ）。

パーティクルフィルタ法状態推定ステップＳ１４では、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成し（ステップＳ１４ａ）、実画像情報を位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて（ステップＳ１４ｂ）、切出画像ベクトルと固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め（ステップＳ１４ｃ）、その切出画像ベクトルに対応する位置候補から、該監視対象物の位置を特定する（ステップＳ１４ｄ）。なお、図４では、ステップＳ１４ａによる処理をステップＳ１４ａ−１、ステップＳ１４ａ−２およびステップＳ１４ａ−３に分けて説明し、ステップＳ１４ｂによる処理をステップＳ１４ｂ−１およびステップＳ１４ｂ−２に分けて説明し、ステップＳ１４ｃによる処理をステップＳ１４ｃ−１およびステップＳ１４ｃ−２に分けて説明している。

パーティクルフィルタは、多数（本実施例では100個とする）のパーティクルを発生させ、そのパーティクルを所定の方法によって逐次ランダム移動させて、その移動させたパーティクルのどこかに監視対象物があるものと仮定して、監視対象物の位置を推定するものである。

詳説すると、パーティクルフィルタ法状態推定ステップＳ１４は、ステップＳ１５ａにより固有空間法状態推定ステップＳ１３からパーティクルフィルタ法状態推定ステップＳ１４への切替が行われた後に起動し、初期パーティクルの生成を行う(ステップＳ１４ａ−１)。ここでは、ステップＳ１３ｃ−３によって、監視対象物の位置がわかっていることから、初期パーティクルのすべてを監視対象物の位置で生成させる。

ステップＳ１４ａ−２では、次タイミングでの監視対象物の位置を予測するために、生成された各パーティクルをランダムに移動させる。すなわち、パーティクルｎ(１≦ｎ≦１００)のタイミングｔにおける位置をP⁽ⁿ⁾(t)＝(P_x ⁽ⁿ⁾(t),P_y ⁽ⁿ⁾(t))としたときに、P⁽ⁿ⁾(t+1)＝(P_x ⁽ⁿ⁾(t)+Rand_x,P_y ⁽ⁿ⁾(t)+ Rand_y) により、次タイミングｔ＋１におけるパーティクルの位置を決定する。ただし、Rand_x、Rand_ｙは、０を中心値として一定の範囲で発生する乱数であって、|Rand_x|、|Rand_ｙ|≦maxdistance(正の一定値)である。

また、こういった方法のほか、ステップＳ１４ａでは、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成したあとで、各パーティクルを(T(t+1)-T(t))・V(t) （ただし、V(t)は特定された該監視対象物の位置から算出した速度ベクトル、T(t+1)-T(t)は次のタイミングで撮影されるまでの撮影時間間隔)だけ平行移動させるようにしてもよい。
すなわち、ステップＳ１４ａ−２では、P⁽ⁿ⁾(t+1)＝(P_x ⁽ⁿ⁾(t)+ (T(t+1)-T(t))×V_x(t)+Rand_x, P_y ⁽ⁿ⁾(t)+ (T(t+1)-T(t))×V_y(t)+ Rand_y)により、次タイミングｔ＋１におけるパーティクルの位置を決定させるようにする。
このように、特定された監視対象物の位置から速度を算出し、その速度に応じて各パーティクルを平行移動させることで、動きのある測定対象物の位置追従を高い精度で行わせることが出来る。

ステップＳ１４ｂ−１では、次のタイミングで撮影され実画像情報記憶部１２に記憶された実画像情報を参照し、各パーティクルの位置に基づいて実画像情報をそれぞれ切り出す。具体的には、パーティクルｎの位置がP⁽ⁿ⁾(t+1)＝(P_x ⁽ⁿ⁾(t+1), P_y ⁽ⁿ⁾(t+1))であるから、座標P⁽ⁿ⁾(t+1)を中心とし、大きさがテンプレート画像と同じ大きさになる切り出し画像を各ｎ(1≦n≦100)について作成し、切り出した各画像に番号ｎ(１≦ｎ≦１００)を付与する。

ステップＳ１４ｂ−２では、切り出された画像の画像情報をそれぞれベクトル表示に置き換える。すなわち、切り出した画像ｎについて、y_j (1≦j≦J=m×n)を画像nのj番目の画素値として、切出画像ベクトルをy(n)=(y₁,y₂,…,y_J)^Tとおくと、y(n)はJ次元ベクトルとなる。ここで、y(n)はその大きさが|y(n)|＝１となるように、正規化の処理を行っておく。

ステップＳ１４ｃ−１では、テンプレート画像固有ベクトル記憶部１１から固有ベクトルを参照し（ステップＳ１４ｃ−２）、切出画像ベクトルと固有ベクトルの類似性をそれぞれ評価する。すなわち、ベクトルg_i (1≦i≦36)と行列Eを参照し、具体的には、|g_i−E^T(y(n)−M)|を各n (1≦n≦100)と各i(1≦i≦36)について算出することとなる。

ステップＳ１４ｄでは、|g_i−E^T (y(n)−M)|の値を最小とする(n’,i')の組み合わせを求め、切出画像ベクトルy(n’)に対応するパーティクルnの位置から監視対象物の位置を特定する。ここで、|g_i’−E^T(y(n’)−M)|の値が一定の値を超えた場合には、パーティクルフィルタ法状態推定ステップＳ１４における該監視対象物の位置が特定できなかったものとしてステップＳ１５ｂに進み（ステップＳ１４ｄでＮＯ）、次の撮影タイミングにおける該監視対象物の位置の特定を固有空間法状態推定ステップＳ１３で行わせるようにする。
本実施例では、監視対象物が一つの場合を例にとって説明しているが、監視対象物が複数ある場合には、ステップＳ１４ｄにて|g_i−E^T (y(n)−M)|の値を最小とする(n’,i')の組み合わせを求めたあとで、切り出した画像n’およびその周辺以外で切り出した画像を対象にステップＳ１４ｄと同様の処理を行い、以降、監視対象物の個数分だけ（または|g_i−E^T(y(n)−M)|の最小値が一定値以下である限り）同じ処理を繰り返せばよい。

なお、ステップＳ１４ｄでは、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その切出画像ベクトルに対応する位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定するようにしてもよい。つまり、|g_i−E^T (y(n)−M)|の値を最小とする(n’,i')の組み合わせを求め、ベクトルg_iに対応するテンプレート画像ｉの撮影角度または表示角度を特定するようにすれば良い。
このように、パーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４）で、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求め、その固有ベクトルに対応する画像情報の撮影角度または表示角度を求めることで、該監視対象物の角度を特定することが出来る。

ステップＳ１４ｄで、|g_i’−E^T (y(n’)−M)|の値が一定の値を超えなかった場合には、その結果をディスプレイ等の出力装置（図示省略）に表示すると共に、次のステップＳ１４ａ−３に進む（ステップＳ１４ｄでＹＥＳ）。

ステップＳ１４ａ−３では、次タイミングｔ＋１で撮影された監視対象物の位置を推定するために、次タイミングｔ＋１でのパーティクルを再発生させる。その発生方法としては、タイミングｔにおける各パーティクルｎについて|g_i−E^T (y(n)−M)|の最小値|g_i’−E^T(y(n)−M)|を求め、各パーティクルｎについて、評価の指標として尤度を用い、|g_i’−E^T (y(n)−M)|の値が小さいときは尤度が高いものとし、逆に|g_i’−E^T(y(n)−M)|の値が大きいときは尤度が低いものとし、尤度の高いパーティクルが次タイミングにおける候補に採用されやすいような方法で再発生させる。

図５は、パーティクルフィルタ法によるパーティクルの発生方法を示したものであり、タイミングｔにて尤度が高いパーティクル５１や尤度が普通のパーティクル５２は、複数個または１個のパーティクルとして残し、逆に尤度が小さいパーティクル５３は、タイミングｔにて消滅・淘汰される。そうすることで、次タイミングｔ＋１では、タイミングｔにおける同じ数のパーティクルが発生すると共に、次タイミングｔ＋１でも引き続き高い精度での位置推定が期待される。

次タイミングｔ＋１でのパーティクルを再発生させた後は、ステップＳ１４ａ−２に移り、次タイミング以降に撮影された画像の位置推定を、引き続きパーティクルフィルタ状態推定ステップＳ１４により行わせる。

推定方法切替ステップＳ１５は、固有空間法状態推定ステップＳ１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定をパーティクルフィルタ法状態推定ステップＳ１４で行わせるように切り替えるステップＳ１５ａ、パーティクルフィルタ法状態推定ステップＳ１４により該監視対象物の位置の特定を特定できなかった場合には、次のタイミングで撮影される該監視対象物の位置の特定を固有空間法状態推定ステップＳ１３で行わせるように切り替えるステップＳ１５ｂからなる。

詳説すると、ステップＳ１５ａは、ステップＳ１３ｃ−３でＹＥＳとなったときに、次のタイミングで撮影される該監視対象物の位置の特定をパーティクルフィルタ法状態推定ステップＳ１４で行わせるように切り替えを行って、ステップＳ１４ａ−１に進む。また、ステップＳ１５ｂは、ステップＳ１４ｄでＮＯとなったときに、次のタイミングで撮影される該監視対象物の位置の特定を固有空間法状態推定ステップＳ１３で行わせるように切り替えを行って、ステップＳ１３ａに進む。

このように、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）とパーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）の二つを設けると共に、これらを切り替える推定方法切替部１５（または推定方法切替ステップＳ１５）を設けることで、最初の段階あるいはパーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）での位置推定が失敗したときには、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）によって、撮影された画像の広い範囲からの位置推定を行うと共に、位置推定が出来た後は、パーティクルフィルタ法状態推定部１４（またはパーティクルフィルタ法状態推定ステップＳ１４）によって、高速の位置推定（監視対象物のリアルタイム認識）を継続させることが出来る。

本発明の実施例２について図６〜図１０に基づいて説明する。なお、実施例１と同じ構成や方法となる部分については同一の符号を使用し、詳細の説明については省略する。

実施例２では、図６に示す自動車の模型を監視対象物とし、物体認識装置１はその自動車の模型の位置を認識させる。
図７は、監視対象物である自動車の模型について、その角度を変えて複数撮影したテンプレート画像であり、自動車の角度を１０ｄｅｇｒｅｅずつ回転させて撮影を行った３６枚のうち、１２枚を抜き出して表示させている。なお、テンプレート画像は、図７に示すように実際に撮影した画像情報から、監視対象物以外の背景を取り除いてから処理することが好ましい。
図８は、自動車の模型の回転角度が３０ｄｅｇｒｅｅであるときのテンプレート画像について、その固有ベクトルを求め、それを画像表示させたものである。このように、固有ベクトルを画像表示させると、監視対象物たる自動車模型の輪郭等が現れる。

ここで、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出するほか、画像情報を拡大または縮小した、拡大画像情報または縮小画像情報を行列表示に置き換え、その行列に対する拡大画像固有ベクトルまたは縮小画像固有ベクトルをあらかじめ算出しておき、テンプレート画像固有ベクトル記憶部１１では、固有ベクトルのほか、拡大画像固有ベクトルまたは縮小画像固有ベクトルがあわせて記憶させるようにすると好ましい。

図９は、実画像情報と拡大画像情報または縮小画像情報の関係を示す説明図である。すなわち、テンプレート画像９２のほか、監視対象物たる自動車模型を拡大表示した拡大画像情報９３、縮小表示した縮小画像情報９１を各回転角度に応じて作成し、拡大画像情報９３や縮小画像情報９１についても、拡大画像の固有ベクトル、縮小画像の固有ベクトルを作成し、監視対象物の見かけ画像の変化の度合いによって、異なる大きさで求めた固有ベクトルを用意しておく。

そして、固有空間法状態推定部１３（固有空間法状態推定ステップＳ１３のステップＳ１３ｃ）やパーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｃ）では、切出画像ベクトルの切出し位置に応じて、
（１）切出画像ベクトルと固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと固有ベクトルの組を求めるか、
（２）切出画像ベクトルと拡大画像固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと拡大画像固有ベクトルの組を求めるか、
もしくは、
（３）切出画像ベクトルと縮小画像固有ベクトルとを各々比較して、類似性が一番高い切出画像ベクトルと縮小画像固有ベクトルの組を求めるか、
のいずれかを選択し、その切出画像ベクトルに対応する実画像情報の切出し位置や切出画像ベクトルに対応する位置候補から、該監視対象物の位置を特定するようにする。
つまり、実画像情報９４のうち、遠くの位置として撮影される部分９４ａでは監視対象物が見かけ上で小さく見え、近くの位置として撮影される部分９４ｂでは監視対象物が見かけ上で大きく見えることから、遠くの位置に対応する切出し画像に対しては縮小画像固有ベクトルとの比較を行い、近くの位置に対応する切出し画像に対しては拡大画像固有ベクトルとの比較を行うようにする。

このように、撮影された位置によって見かけ上の大きさが異なる監視対象物に対して、大きさの異なるテンプレート画像を用意し、これらの固有ベクトルをそれぞれ記憶させておき、固有空間法状態推定部１３（または固有空間法状態推定ステップＳ１３）やパーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４）で類似性を比較するにあたり実画像情報を切り出した位置に対応する大きさのテンプレート画像の固有ベクトルを用いることで広い範囲を対象とした監視対象物の位置認識が実現される。

続いて、パーティクルフィルタ法の処理について説明する。実施例２では、パーティクルフィルタ法状態推定部１４（パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ａ）の処理で、パーティクルフィルタ法により監視対象物の位置候補となるパーティクルを複数生成するにあたり、特定された監視対象物の角度に応じて該監視対象物の進行方向を予測し、特定された監視対象物の位置を中心にしてその進行方向を長軸とする楕円の範囲内でパーティクルを移動させる。

たとえば、自動車などのように、見かけの回転角度から移動する方向がある程度予測できる監視対象物について、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成する場合には、各パーティクルをランダムに移動させるよりも、その監視対象物の移動方向に応じて各パーティクルを偏在させることが効果的である。

すなわち、次タイミングでの監視対象物の位置を予測にあたっては、図１０のように、監視対象物１０１の位置を中心として、その進行方向１０２（θ）を長軸とした楕円の範囲内１０３で、生成された各パーティクルをランダムに移動させる。楕円の長半径をａ、短半径をb、r_Randを[0,1]の範囲で発生する乱数、θ_Randを[0,2π]の範囲で発生する乱数としたときに、P⁽ⁿ⁾(t+1)＝(P_x ⁽ⁿ⁾(t)+Δx,P_y ⁽ⁿ⁾(t)+Δy) により、次タイミングｔ＋１におけるパーティクルの位置を決定する。ただし、Δx=ｃ×(cosθcosθ_Rand−sinθsinθ_Rand)，Δy=ｃ×(sinθcosθ_Rand+cosθsinθ_Rand)，c=r_Rand×{(ab)²÷(b²cos²θ_Rand+a²sin²θ_Rand)}^1/2である。

このように、監視対象物の位置と角度を特定して、監視対象物の移動方向を予測し、パーティクルフィルタ法において次タイミングにおけるパーティクルを、監視対象物の移動方向を長軸とする楕円の範囲内で移動させることで、パーティクルフィルタ法による粒子の数を抑える（または粒子を高密度化させる）ことができ、監視対象物の位置推定の高速化（または高精度化）が実現される。

本発明は、産業用ロボットに取り付けられたワークの位置や姿勢を監視する用途、人や物の移動を監視する用途などで利用されることが考えられる。

実施例１による物体認識装置の構成を示す説明図 テンプレート画像の一例を示した説明図 テンプレート画像を固有空間上に現した三次元投影図 実施例１による物体認識方法の手順を示すフローチャート パーティクルフィルタ法によるパーティクルの発生方法を示す説明図 実施例２における監視対象物（自動車の模型）の写真 実施例２における監視対象物（自動車の模型）のテンプレート画像 テンプレート画像から固有ベクトルを求めて画像表示させたイメージ図 実画像情報と拡大画像情報または縮小画像情報の関係を示す説明図 次タイミングで監視対象物の位置を予測する範囲を示す説明図

符号の説明

１ 物体認識装置
１０ 撮影装置
１１ テンプレート画像固有ベクトル記憶部
１２ 実画像情報記憶部
１３ 固有空間法状態推定部
１４ パーティクルフィルタ法状態推定部
１５ 推定方法切替部
５１，５２，５３ パーティクル
９１ 監視対象物たる自動車模型を縮小表示した縮小画像情報
９２ テンプレート画像
９３ 監視対象物たる自動車模型を拡大表示した拡大画像情報
９４ 実画像情報
９４ａ 実画像情報のうち遠くの位置として撮影される部分
９４ｂ 実画像情報のうち近くの位置として撮影される部分
１０１ 監視対象物
１０２ 進行方向
１０３ パーティクルの発生範囲

Claims (10)

1. 監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出しておき、
   前記固有ベクトルを記憶するテンプレート画像固有ベクトル記憶部１１と、
   所定の時間間隔で撮影された画像を実画像情報として記憶する実画像情報記憶部１２と、
   前記実画像情報を所定の大きさで複数切り出して、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定する固有空間法状態推定部１３と、
   パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成し、前記実画像情報を前記位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えて、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定するパーティクルフィルタ法状態推定部１４と、
   前記固有空間法状態推定部１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定を前記パーティクルフィルタ法状態推定部１４で行わせるようにし、前記パーティクルフィルタ法状態推定部１４により該監視対象物の位置を特定できなかった場合には、次のタイミングで撮影される監視対象物の位置の特定を前記固有空間法状態推定部１３で行わせる推定方法切替部１５と、
   を備える物体認識装置。
2. 前記パーティクルフィルタ法状態推定部１４は、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成したあとで、各パーティクルを(T(t+1)-T(t))・V(t) （ただし、V(t)は特定された該監視対象物の位置から算出した速度ベクトル、T(t+1)-T(t)は次のタイミングで撮影されるまでの撮影時間間隔)だけ平行移動させることを特徴とする請求項１に記載の物体認識装置。
3. 監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出するほか、前記画像情報を拡大または縮小した、拡大画像情報または縮小画像情報を行列表示に置き換え、その行列に対する拡大画像固有ベクトルまたは縮小画像固有ベクトルをあらかじめ算出しておき、
   前記テンプレート画像固有ベクトル記憶部１１では、前記固有ベクトルのほか、前記拡大画像固有ベクトルまたは前記縮小画像固有ベクトルがあわせて記憶され、
   前記固有空間法状態推定部１３では、前記切出画像ベクトルの切出し位置に応じて、
   （１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、
   （２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、
   もしくは、
   （３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、
   のいずれかを選択し、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定し、
   前記パーティクルフィルタ法状態推定部１４では、前記切出画像ベクトルの切出し位置に応じて、
   （１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、
   （２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、
   もしくは、
   （３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、
   のいずれかを選択し、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定することを特徴とする請求項１または請求項２に記載の物体認識装置。
4. 前記固有空間法状態推定部１３は、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定し、
   前記パーティクルフィルタ法状態推定部１４は、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定することを特徴とする請求項１ないし請求項３のいずれかに記載の物体認識装置。
5. 前記パーティクルフィルタ法状態推定部１４は、パーティクルフィルタ法により監視対象物の位置候補となるパーティクルを複数生成するにあたり、特定された監視対象物の角度に応じて該監視対象物の進行方向を予測し、特定された監視対象物の位置を中心にして前記進行方向を長軸とする楕円の範囲内で前記パーティクルを移動させることを特徴とする請求項４に記載の物体認識装置。
6. 監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルを記憶するテンプレート画像固有ベクトル記憶ステップＳ１１と、
   所定の時間間隔で撮影された画像を実画像情報として記憶する実画像情報記憶ステップＳ１２と、
   前記実画像情報を所定の大きさで複数切り出すステップＳ１３ａ、切り出された画像の画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えるステップＳ１３ｂ、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定するステップＳ１３ｃ、を含んだ固有空間法状態推定ステップＳ１３と、
   パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成するステップＳ１４ａ、前記実画像情報を前記位置候補に基づいてそれぞれ切り出して、その画像情報を切出画像ベクトルとしてそれぞれベクトル表示に置き換えるステップＳ１４ｂ、前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるステップＳ１４ｃ、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定するステップＳ１４ｄ、を含んだパーティクルフィルタ法状態推定ステップＳ１４と、
   固有空間法状態推定ステップＳ１３により該監視対象物の位置を特定できた場合には、次のタイミングで撮影される該監視対象物の位置の特定をパーティクルフィルタ法状態推定ステップＳ１４で行わせるように切り替えるステップＳ１５ａ、パーティクルフィルタ法状態推定ステップＳ１４により該監視対象物の位置を特定できなかった場合には、次のタイミングで撮影される該監視対象物の位置の特定を固有空間法状態推定ステップＳ１３で行わせるように切り替えるステップＳ１５ｂ、を含んだ推定方法切替ステップＳ１５と、
   によって、監視対象物の位置を特定させる物体認識方法。
7. 前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ａでは、パーティクルフィルタ法により、監視対象物の位置候補となるパーティクルを複数生成したあとで、各パーティクルを(T(t+1)-T(t))・V(t) （ただし、V(t)は特定された該監視対象物の位置から算出した速度ベクトル、T(t+1)-T(t)は次のタイミングで撮影されるまでの撮影時間間隔)だけ平行移動させることを特徴とする請求項６に記載の物体認識方法。
8. 前記テンプレート画像固有ベクトル記憶ステップＳ１１では、監視対象物またはその三次元モデルを複数の角度から撮影または表示して、撮影または表示された画像情報を行列表示に置き換え、その行列に対する固有ベクトルをあらかじめ算出するほか、前記画像情報を拡大または縮小した、拡大画像情報または縮小画像情報を行列表示に置き換え、その行列に対する拡大画像固有ベクトルまたは縮小画像固有ベクトルをあらかじめ算出して、前記固有ベクトルのほか、前記拡大画像固有ベクトルまたは前記縮小画像固有ベクトルをあわせて記憶し、
   前記固有空間法状態推定ステップＳ１３のステップＳ１３ｃでは、前記切出画像ベクトルの切出し位置に応じて、
   （１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、
   （２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、
   もしくは、
   （３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、
   のいずれかを選択し、その切出画像ベクトルに対応する前記実画像情報の切出し位置から、該監視対象物の位置を特定し、
   前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｃでは、前記切出画像ベクトルの切出し位置に応じて、
   （１）前記切出画像ベクトルと前記固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求めるか、
   （２）前記切出画像ベクトルと前記拡大画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記拡大画像固有ベクトルの組を求めるか、
   もしくは、
   （３）前記切出画像ベクトルと前記縮小画像固有ベクトルとを各々比較して、類似性が一番高い前記切出画像ベクトルと前記縮小画像固有ベクトルの組を求めるか、
   のいずれかを選択し、
   前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｄでは、その切出画像ベクトルに対応する前記位置候補から、該監視対象物の位置を特定することを特徴とする請求項６または請求項７に記載の物体認識方法。
9. 前記固有空間法状態推定ステップＳ１３のステップＳ１３ｃでは、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記実画像情報の切出し位置から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定し、
   前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ｄでは、類似性が一番高い前記切出画像ベクトルと前記固有ベクトルの組を求め、その切出画像ベクトルに対応する前記位置候補から該監視対象物の位置を特定するとともに、その固有ベクトルに対応する画像情報の撮影角度または表示角度から該監視対象物の角度を特定することによって、監視対象物の位置および角度を特定させることを特徴とする請求項６ないし請求項８のいずれかに記載の物体認識方法。
10. 前記パーティクルフィルタ法状態推定ステップＳ１４のステップＳ１４ａでは、パーティクルフィルタ法により監視対象物の位置候補となるパーティクルを複数生成するにあたり、特定された監視対象物の角度に応じて該監視対象物の進行方向を予測し、特定された監視対象物の位置を中心にして前記進行方向を長軸とする楕円の範囲内で前記パーティクルを移動させることによって、監視対象物の位置および角度を特定させることを特徴とする請求項９に記載の物体認識方法。