JP2014186496A - 対象物姿勢推定装置、及びプログラム - Google Patents
対象物姿勢推定装置、及びプログラム Download PDFInfo
- Publication number
- JP2014186496A JP2014186496A JP2013060446A JP2013060446A JP2014186496A JP 2014186496 A JP2014186496 A JP 2014186496A JP 2013060446 A JP2013060446 A JP 2013060446A JP 2013060446 A JP2013060446 A JP 2013060446A JP 2014186496 A JP2014186496 A JP 2014186496A
- Authority
- JP
- Japan
- Prior art keywords
- local feature
- similarity
- calculated
- local
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】不鮮明な形状の対象物や、低画質画像内の対象物に対して、対象物の姿勢を推定することができる。
【解決手段】対象物ウインドウ画像抽出部３４により、検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出し、対象物類似度算出部３６により、複数の対象物ウインドウ画像の各々に対し、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、局所特徴との局所特徴類似度と、対象物の姿勢毎に予め定められた、姿勢の対象物を表す画像上に複数の局所特徴の各々が存在するか否かの情報と、に基づいて、対象物の姿勢毎に、対象物ウインドウ画像と対象物との対象物類似度を算出し、姿勢推定部３８により、複数の対象物ウインドウ画像の各々について対象物の姿勢毎に算出された対象物類似度に基づいて、対象物の姿勢を推定する。
【選択図】図１
【解決手段】対象物ウインドウ画像抽出部３４により、検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出し、対象物類似度算出部３６により、複数の対象物ウインドウ画像の各々に対し、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、局所特徴との局所特徴類似度と、対象物の姿勢毎に予め定められた、姿勢の対象物を表す画像上に複数の局所特徴の各々が存在するか否かの情報と、に基づいて、対象物の姿勢毎に、対象物ウインドウ画像と対象物との対象物類似度を算出し、姿勢推定部３８により、複数の対象物ウインドウ画像の各々について対象物の姿勢毎に算出された対象物類似度に基づいて、対象物の姿勢を推定する。
【選択図】図１
Description
本発明は、対象物姿勢推定装置、及びプログラムに係り、特に、撮像した画像から対象物の姿勢を推定する対象物姿勢推定装置、方法及びプログラムに関する。
従来、対象物の位置及び向きを検出する方法として、事前に計測した対象物の形状情報を用いて、対象物の形状変形を再現するような可変形状モデルを生成し、その可変形状モデルで複数の特徴点を拘束した条件下で、全特徴点の類似度の合成値に基づき対象物の位置及び向きを検出する方法が知られている（非特許文献１）。
また、Ｌａｔｅｎｔ ＳＶＭの手法に基づき可変形状モデルを事前に学習し生成し、その可変形状モデルで複数の特徴点を拘束した条件下で、全特徴点の類似度の合計値に基づき対象物の位置及び向きを検出する方法が知られている（非特許文献２）。
また、画像内で特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点と、顔の垂直方向にある少なくとも一対の第２の特徴点とを取得して、それらを結ぶ線分の長さを用いて顔が向いている角度を決定するという方法が知られている（特許文献１）。
また、正面顔を左半分と右半分に分け、それぞれの半顔に対し顔検出用のパラメータを生成し、顔検出時には、注目領域を左右に分割し、各分割領域と、前記２つのパラメータのうち対応するパラメータの類似度を算出する。そして、何れか一方の類似度が閾値以上のときに、注目領域が顔領域であると判別し、各分割領域に対する類似度の大小関係から、顔向きの方向及び角度を判別する方法が知られている（特許文献２）。
また、運転者が着座した時に運転者の身体が存する位置を時系列的に撮像して得られた撮像画像に基づき、撮像画像間のオプティカルフローを求め、それを用いて、運転者の顔の向き、運転者の顔以外の者の撮像範囲内への出入、及び運転者の有無の３つの運転者状態のうち、少なくとも１つを検出対象として検出する方法が知られている（特許文献３）。
David Cristinacce, Tim Cootes, "Feature detection and tracking with constrained local models ", BMVC, pp.929-938, 2006
X. Zhu, D. Ramanan, "Face Detection, Pose Estimation, and Landmark Localization in the Wild", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2879-2886, 2012
しかし、非特許文献１の方法は、最終的に各特徴点の幾何学的な位置関係に基づき対象物の姿勢を推定するため、対象物の形状モデルや特徴点類似度計算に対して高い精度が要求され、低画質環境下等では推定が困難であるという問題がある。
また、非特許文献２の方法は、非特許文献１の方法よりも特徴点間の位置拘束が緩和されているような形状モデルを用いているが、位置拘束を緩和する事で、異なる向き間において一部の特徴点の位置関係の差異が減少するため、向きの判別性が低下するという問題がある。すなわち、特徴点の位置の誤差には頑健であってもモデルが本来有する姿勢の判別性の自体も低下するという問題がある。
また、特許文献１の方法は、一部の特徴点が焼失した際に推定困難となるうえ、特徴点の位置精度が要求され、低画質環境下等では推定困難であるという問題がある。
また、特許文献２の方法は、正面顔を左右に２分割した２つの部分特徴の類似度の値から向きを推定しているため、照明変化等が生じて部分特徴の類似度が低下すると、向きの推定結果が変動する可能性があるという問題がある。
また、特許文献３の方法は、オプティカルフローを用いて顔領域内の特徴点を追従した結果に基づくため、低画質環境下での使用や、顔の動作が素早い場合に追従性が低下してしまい、姿勢推定が困難になるという問題がある。
本発明では、上記問題点を解決するために成されたものであり、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の姿勢を精度よく推定することができる対象物姿勢推定装置、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明の対象物姿勢推定装置は、検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段と、前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記対象物の姿勢毎に予め定められた、前記姿勢の前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に、前記対象物ウインドウ画像と前記対象物との対象物類似度を算出する対象物類似度算出手段と、前記対象物類似度算出手段により前記複数の対象物ウインドウ画像の各々について前記対象物の姿勢毎に算出された前記対象物類似度に基づいて、前記対象物の姿勢を推定する推定手段と、を含んで構成されている。
第１の発明によれば、抽出手段により対象物ウインドウ画像を抽出し、対象物類似度算出手段により、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、局所特徴類似度又は局所特徴非類似度と、対象物の姿勢毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の姿勢毎に、対象物類似度を算出する。
そして、推定手段により、算出された対象物類似度に基づいて対象物の姿勢を推定する。
このように、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について局所特徴類似度又は局所特徴非類似度と、対象物の姿勢毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の姿勢毎に、対象物類似度を算出し、算出された対象物類似度に基づいて対象物の姿勢を推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の姿勢を精度よく推定することができる。
前記対象物類似度算出手段は、前記複数の局所特徴の各々に対し、前記対象物ウインドウ画像に対して定められる前記局所特徴が存在する範囲内の複数の局所ウインドウ画像の各々についての前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記対象物の姿勢毎に予め定められた、前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に、前記対象物ウインドウ画像と前記対象物との対象物類似度を算出することができる。
また、前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記姿勢の前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の平均値を、前記対象物類似度として算出することができる。
また、前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記算出した前記局所特徴対象物類似度の平均値を、前記対象物類似度として算出することができる。
また、前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記姿勢の前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の各々の積を、前記対象物類似度として算出することができる。
また、前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記算出した前記局所特徴対象物類似度の各々の積を、前記対象物類似度として算出することができる。
また、前記対象物類似度算出手段は、前記対象物の姿勢θについて算出する前記対象物ウインドウ画像（ｘ、ｙ、ｚ）と前記対象物との対象物類似度について、前記姿勢θの前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記姿勢θの前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度に基づいて、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）及び条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）を算出し、前記算出した条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）、ｐ（θ｜ｘ、ｙ、ｚ）に基づいて、同時確率ｐ（ｘ、ｙ、ｚ、θ）を、前記対象物類似度として算出することができる。
また、前記推定手段は、前記対象物類似度算出手段により前記複数の対象物ウインドウ画像の各々について前記対象物の姿勢毎に算出された前記対象物類似度に基づいて、前記対象物の姿勢及び位置を推定することができる。
第２の発明の対象物姿勢推定装置は、検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段と、前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記姿勢の前記対象物の姿勢毎に予め定められた、前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に算出される、前記対象物ウインドウ画像と前記対象物との対象物類似度が最大となるときの前記対象物の姿勢及び前記対象物ウインドウ画像を求め、前記対象物の姿勢及び位置を推定する推定手段と、を含んで構成されている。
第２の発明によれば、抽出手段により対象物ウインドウ画像を抽出し、推定手段により、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、局所特徴類似度又は局所特徴非類似度と、対象物の姿勢毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の姿勢毎に算出される、対象物ウインドウ画像と対象物との対象物類似度が最大となるときの対象物の姿勢及び対象物ウインドウ画像を求め、対象物の姿勢及び位置を推定する。
このように、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について局所特徴類似度又は局所特徴非類似度と、対象物の姿勢毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の姿勢毎に算出される、対象物類似度が最大となるときの対象物の姿勢及び対象物ウインドウ画像を求め、対象物の姿勢及び位置を推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の姿勢を精度よく推定することができる。
また、前記推定手段は、前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）の全ての組み合わせの各々について、前記姿勢θの前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、前記姿勢θの前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度に基づいて、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）及び条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）を算出し、前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）の全ての組み合わせについて算出した条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）、ｐ（θ｜ｘ、ｙ、ｚ）に基づいて、前記対象物類似度である同時確率ｐ（ｘ、ｙ、ｚ、θ）が最大となる前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）を求め、前記対象物の姿勢及び位置を推定することができる。
第１の発明及び第２の発明によれば、前記推定手段は、前記算出した前記局所特徴対象物類似度の平均値を、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）として算出し、前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の各々の積を、条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）として算出することができる。
また、前記推定手段は、前記算出した前記局所特徴対象物類似度の平均値を、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）として算出し、前記姿勢の回転軸方向に並んで存在する前記局所特徴の各々について前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の平均値を算出し、前記算出した平均値の各々の積を、条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）として算出することができる。
また、前記局所特徴に対する前記局所特徴対象物類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴類似度の最大値であり、前記局所特徴に対する前記局所特徴対象物非類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴類似度の最大値を、所定値から減算した減算値とすることができる。
また、前記局所特徴に対する前記局所特徴対象物類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴非類似度の最小値を、所定値から減算した減算値であり、前記局所特徴に対する前記局所特徴対象物非類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴非類似度の最小値とすることができる。
また、本発明のプログラムは、コンピュータを、上記の対象物姿勢推定装置を構成する各手段として機能させるためのプログラムである。
以上説明したように、本発明の対象物姿勢推定装置、及びプログラムによれば、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について局所特徴類似度又は局所特徴非類似度と、対象物の姿勢毎に予め定められた局所特徴が存在するか否かの情報に基づいて、対象物の姿勢を推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の姿勢を精度よく推定することができる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。対象物としてドライバの顔の位置及び向きを推定する対象物姿勢推定装置に本発明を適用した場合を例に説明する。
＜第１の実施の形態に係る対象物姿勢推定装置の構成＞
本発明の実施の形態に係る対象物姿勢推定装置について説明する。図１に示すように、本発明の第１の実施の形態に係る対象物姿勢推定装置１００は、ＣＰＵと、ＲＡＭと、後述する対象物姿勢推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。対象物姿勢推定装置１００は、機能的には図１に示すように撮像装置１０と、演算部２０と、出力部５０とを備えている。
本発明の実施の形態に係る対象物姿勢推定装置について説明する。図１に示すように、本発明の第１の実施の形態に係る対象物姿勢推定装置１００は、ＣＰＵと、ＲＡＭと、後述する対象物姿勢推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。対象物姿勢推定装置１００は、機能的には図１に示すように撮像装置１０と、演算部２０と、出力部５０とを備えている。
撮像装置１０は、自車両のドライバの顔を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでもよいし、可視光画像でも近赤画像でもよい。
演算部２０は、対象物姿勢推定装置１００全体の制御を司るＣＰＵ、後述するモデル生成処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ，ワークエリアとしてデータを一時格納するＲＡＭ，及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
この演算部２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段ごとに分割した機能ブロックで説明すると、図１に示すように、画像取得部２２と、モデル生成部２４と、モデル記憶部２６と、局所ウインドウ画像抽出部２８と、特徴量抽出部３０と、局所特徴類似度算出部３２と、対象物ウインドウ画像抽出部３４と、対象物類似度算出部３６と、姿勢推定部３８と、を含んだ構成で表すことができる。
画像取得部２２は、撮像装置１０において撮像された画像を取得する。
モデル生成部２４は、撮像装置１０において撮像された初期フレーム（ドライバに、カメラに対してドライバの顔が正面を向くように指示するメッセージを出力したときに撮像されたもの）に基づいて、ドライバの顔画像の局所特徴を複数抽出すると共に、局所類似度算出部３２において局所類似度を算出する際に参照される識別モデルを生成する。具体的には、初期フレーム内のドライバの顔を表す対象物画像を抽出し、抽出した対象物画像を図２に示すように複数のブロックに分割する。当該複数のブロックを複数の局所特徴とする。そして、初期フレームから、局所特徴の各々について、当該局所特徴近傍の画像領域を切り出し、ポジティブサンプルとし、それをアフィン変換等で増幅させ、複数のポジティブサンプルを生成する。また、ネガティブサンプルに関しては、初期フレーム画像内の対象物画像領域以外の領域を任意に切り出すことで生成する。そして、各局所特徴について、当該局所特徴の局所特徴類似度を算出するための識別モデルを、当該局所特徴のポジティブサンプルとネガティブサンプルの学習サンプルを用いて学習し、各局所特徴について学習された識別モデルをモデル記憶部２６に記憶する。
ここで、各局所特徴の位置関係は、例えば、下記（１）式で拘束されているものとする。ここで、δｌは相対位置の変動を許容するための閾値であり、ウインドウサイズによって変動する値である。モデル生成部２４は、各局所特徴について、当該局所特徴ｉの位置関係の拘束条件を表す形状モデルを生成し、モデル記憶部２６に記憶する。
ここで、ｄ０１は初期フレーム画像の、対象物重心位置（局所特徴のブロックの重心位置）を原点とした局所特徴ｉの相対位置ベクトルを表し、ｄｉは、あるフレーム画像の、対象物重心位置を原点とした局所特徴ｉの相対位置ベクトルを表す。
モデル記憶部２６には、対象物の向きθ毎に予め定められた、当該向きθの対象物の画像上に各局所特徴が存在するか否かの情報が記憶されている。第１の実施の形態においては、図３に示すようにθの回転軸を、局所特徴群の列と平行にした場合の対象物の向きと局所特徴の有無の関係が定義されている。なお、向きは姿勢の一例である。
モデル記憶部２６には、対象物の向きθ毎に予め定められた、当該向きθの対象物の画像上に各局所特徴が存在するか否かの情報が記憶されている。第１の実施の形態においては、図３に示すようにθの回転軸を、局所特徴群の列と平行にした場合の対象物の向きと局所特徴の有無の関係が定義されている。なお、向きは姿勢の一例である。
局所ウインドウ画像抽出部２８は、画像取得部２２により取得した撮像画像について、局所特徴の各々との類似度を算出するために、撮像画像内の各領域（位置、領域サイズ可変）を複数のウインドウ画像（局所ウインドウ）として抽出する。
特徴量抽出部３０は、局所ウインドウ画像抽出部２８において抽出した局所ウインドウ画像の各々について画像特徴量を抽出する。画像特徴量として、Haar-Like Feature、HOG(Histograms of Oriented Gradients)、FIND(Feature Interaction Descriptor)などが利用できる。なお、FINDについては、非特許文献（Hui CAO, Koichiro YAMAGUCHI, Mitsuhiko OHTA, Takashi NAITO and Yoshiki NINOMIYA:" Feature Interaction Descriptor for Pedestrian Detection", IEICE TRANSACTIONS on Information and Systems, Volume E93-D No.9, pp.2651-2655, 2010）に記載されているものを利用すればよいため、詳細な説明を省略する。
局所特徴類似度算出部３２は、局所ウインドウ画像抽出部２８により抽出された局所ウインドウ画像の各々について、局所特徴毎に、特徴量抽出部３０により抽出された画像特徴量とモデル記憶部２６に記憶されている当該局所特徴の識別モデルとに基づいて、識別器により局所特徴類似度を各々算出する。識別器としてBoostingや、SVMなどが利用できる。また、非特許文献（HT Lin, CJ Lin and RC Weng:" A note on Platt's probabilistic outputs for support vector machines", Machine Learning, Springer, 2007）に記載されている手法を用いて、識別器から出力されるスコアを確率値に変換した値を類似度とするようにしてもよい。
具体的には、局所特徴の各々の識別器を利用したパターン認識手法を用いて、図４に示すように局所ウインドウ画像の各々に対して局所特徴ｉの各々の類似度ｐｉ（ｘ，ｙ，ｚ）を算出する。ここで、ｘ、ｙはそれぞれ画像のｘ（横方向）、ｙ（縦方向）座標を表しており、ｚは画像に対する奥行方向として定義する。即ち、ｚは局所ウインドウ画像のサイズから与えられる変数である。
対象物ウインドウ画像抽出部３４は、画像取得部２２により取得した撮像画像について、対象物類似度算出部３６において対象物類似度を算出する対象となる対象物ウインドウ（位置、領域サイズ可変）を複数抽出する。
対象物類似度算出部３６は、「拘束条件（１）：対象物の向きθに応じて変化する各局所特徴の有無（見える／見えない）」及び「拘束条件（２）：生成した形状モデルによる局所特徴の位置関係」を考慮したうえで、図５に示すように、対象物ウインドウ画像内の局所ウインドウ画像（ｘ、ｙ、ｚ）の各々について算出された各局所特徴ｉの類似度ｐｉ（ｘ，ｙ，ｚ）を向きθ毎に合成し、対象物が位置（ｘ、ｙ、ｚ）及び向きθの状態で存在する確率ｐоｂｊ（ｘ，ｙ，ｚ，θ）を対象物類似度として算出する。なお、θは画像平面に平行な回転軸（画像のｙ軸等）に対する向きであるものとする。以下、対象物類似度を算出する方法について説明する。
第１の実施の形態においては、拘束条件（１）及び（２）を考慮したうえで、局所特徴ｉ毎に、対象物ウインドウ画像内の局所ウインドウ画像（ｘ、ｙ、ｚ）の局所類似度ｐｉ（ｘ，ｙ，ｚ）を用いて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）の算出を行う。ｐоｂｊ（ｘ，ｙ，ｚ，θ）は各局所特徴の見えている又は見えていない事象が同時に発生する確率と等価であるため、下記（２）式が与えられる。
ここで、δｉ，θは向きθに対して各局所特徴がみえるはずであればδｉ，θ＝１、見えないはずであればδｉ，θ＝０となる。すなわちδｉ，θは、各局所特徴が見えるべきかそうでないかは向きに応じて変化することを表現している。
また、対象物ウインドウ画像の（重心）位置が（ｘ，ｙ，ｚ）である場合に、その対象物ウインドウ画像の位置に対して各局所特徴iの位置のとり得る（ｘ，ｙ，ｚ）範囲Ｒiはモデル記憶部２４に記憶されている形状モデルの拘束条件によって定められ、その範囲Ｒｉ内の各局所特徴ｉの局所特徴類似度の最大値もしくは他の観点から、対象物ウインドウ画像（ｘ，ｙ，ｚ）について、局所特徴ｉの局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を算出可能である。ここで、ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を局所特徴対象物類似度とし、ｐ（ｃｉ，ｘ，ｙ，ｚ＝０）を局所特徴対象物非類似度とする。第１の実施の形態においては、下記（３）式に従って局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を算出する。なお、（ｘ´，ｙ´，ｚ´）は形状モデルによる拘束範囲Ｒｉに含まれる任意の位置である。また、拘束範囲Ｒｉは、拘束条件、対象物ウインドウサイズ、対象物ウインドウサイズの重心により変動する。
具体的には、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉについて、対象物の向きθ毎に、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、対象物の向きθ毎に、全ての局所特徴ｉの各々について求めた局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。なお、上記（３）式では、範囲Ｒｉ内の各局所特徴ｉの局所特徴類似度の最大値を、局所特徴対象物類似度として求め、範囲Ｒｉ内の各局所特徴ｉの局所特徴類似度の最大値を１から減算した減算値を、局所特徴対象物非類似度として求めている。
また、第１の実施の形態においては、対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を下記（４）式によって算出する。
上記（４）式では、対象物の向きθに対して予め定められた、局所特徴ｉが存在するか否かの情報に基づいて、対象物の向きθに対して、全局所特徴ｉの局所特徴対象物類似度及び局所特徴対象物非類似度の平均値により対象物類似度を算出している。
姿勢推定部３８は、対象物類似度算出部３６において対象物の向きθ毎及び対象物ウインドウ（ｘ、ｙ、ｚ）毎に算出された対象物類似度の各々に基づいて、対象物類似度の最大値を取る位置（ｘ、ｙ、ｚ）及び向きθを、対象物の位置（ｘ、ｙ、ｚ）及び向きθとして推定する。
＜第１の実施の形態に係る対象物姿勢推定装置の作用＞
次に、本発明の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。撮像装置１０により、ドライバの顔を正面から撮像した初期フレーム画像が入力されると、対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図６に示すモデル生成処理ルーチンが実行され、対象物姿勢推定装置１００のモデル記憶部２６に、モデル生成処理ルーチンによって生成された識別モデル及び形状モデルが記憶される。そして、撮像装置１０により、撮像された画像が入力されると、対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図８に示す対象物姿勢推定処理ルーチンが実行される。
次に、本発明の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。撮像装置１０により、ドライバの顔を正面から撮像した初期フレーム画像が入力されると、対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図６に示すモデル生成処理ルーチンが実行され、対象物姿勢推定装置１００のモデル記憶部２６に、モデル生成処理ルーチンによって生成された識別モデル及び形状モデルが記憶される。そして、撮像装置１０により、撮像された画像が入力されると、対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図８に示す対象物姿勢推定処理ルーチンが実行される。
まず、図６に示すモデル生成処理ルーチンについて説明する。
図６のステップＳ１００では、撮像装置１０において撮像された初期フレーム画像を受け付ける。
次に、ステップＳ１０２では、ステップＳ１００において受け付けた初期フレーム画像から、対象物を表す領域からなる対象物画像を抽出する。
次に、ステップＳ１０４では、ステップＳ１０２において抽出された対象物画像を複数のブロックに分割し、各ブロックを局所特徴として各々抽出する。
次に、ステップＳ１０６では、ステップＳ１０４において抽出された局所特徴の各々について、局所特徴の近傍の画像から画像領域を切り出し、ポジティブサンプルとし、当該ポジティブサンプルをアフィン変換等で増幅させ、複数のポジティブサンプルを生成する。また、ステップＳ１００において撮像された画像において対象物を表わさない領域を切り出し、ネガティブサンプルを生成する。そして、局所特徴の各々について、当該局所特徴のポジティブサンプルとネガティブサンプルに基づいて、当該局所特徴について学習サンプルを生成する。
次に、ステップＳ１０８では、ステップＳ１０４において生成した局所特徴の各々についての学習サンプルに基づいて、局所特徴の各々の識別モデルを学習し、モデル記憶部２６に記憶する。そして、ステップＳ１１０において、局所特徴毎に、拘束条件を表す形状モデルを生成し、モデル記憶部２６に記憶して、処理を終了する。
次に、図７に示す対象物姿勢推定処理ルーチンについて説明する。
まず、ステップＳ２００では、撮像装置１０において撮像された画像を受け付ける。
次に、ステップＳ２０２では、局所ウインドウを設定し、設定した局所ウインドウを用いて、ステップＳ２００において取得した撮像画像から局所ウインドウ画像（ｘ，ｙ，ｚ）を抽出する。
次に、ステップＳ２０４では、ステップＳ２０２において抽出された局所ウインドウ画像（ｘ，ｙ，ｚ）から画像特徴量を抽出する。
次に、ステップＳ２０６では、ステップＳ２０４において抽出された画像特徴量と、モデル記憶部２６に記憶されている局所特徴の各々の識別モデルとに基づいて、局所特徴の各々について局所特徴類似度を算出する。
次に、ステップＳ２０８では、ステップＳ１００において取得された撮像画像の全体について局所ウインドウをスキャンしてスキャンが終了したか否かを判断する。終了していない場合は、ステップＳ２０２に移行し、局所ウインドウの位置（ｘ，ｙ）を予め定められたステップだけ移動させた位置から局所ウインドウ画像を抽出し、ステップＳ２０２〜ステップＳ２０６の処理を繰り返す。また、現サイズｚの局所ウインドウでの画像全体のスキャンが終了した場合には、局所ウインドウのサイズｚを変更して、ステップＳ２０２へ戻り、ステップＳ２０２〜ステップＳ１０６の処理を繰り返す。撮像画像全体について、全てのサイズの局所ウインドウでのスキャンが終了した場合には、ステップＳ２１０に移行する。
次に、ステップＳ２１０では、対象物ウインドウを設定し、設定した対象物ウインドウを用いて、ステップＳ２００において取得した撮像画像から対象物ウインドウ画像（ｘ，ｙ，ｚ）を抽出する。
次に、ステップＳ２１２では、対象物の向きθを決定する。
次に、ステップＳ２１４では、ステップＳ２１０において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の、ステップＳ２１２において決定された対象物の向きθにおける対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。
上記、ステップＳ２１４については、図８において詳細に説明する。
図８のステップＳ３００では、対象となる局所特徴ｉを選択する。
次に、ステップＳ３０２では、選択した局所特徴ｉの拘束範囲ＲｉをステップＳ２１０において抽出された対象物ウインドウ画像のサイズ、重心、及び局所特徴ｉの拘束条件に基づいて設定する。
次に、ステップＳ３０４では、ステップＳ２１２に決定した対象物の向きθにおいてステップＳ３００において選択した局所特徴ｉが存在するか否かを、モデル記憶部２６に記憶されている、対象物の向きθに対する、各局所特徴が存在するか否かの情報に基づいて判定する。対象物の向きθにおいて、選択した局所特徴ｉが存在する場合には、ステップＳ３０６に移行し、対象物の向きθにおいて選択した局所特徴ｉが存在しない場合には、ステップＳ３０８に移行する。
ステップＳ３０６では、ステップＳ３００において選択した局所特徴ｉについて、局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を上記（３）式により算出する。
ステップＳ３０８では、ステップＳ３００において選択した局所特徴ｉについて、局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝０）を上記（３）式により算出する。
次に、ステップＳ３１０では、全ての局所特徴について処理を終了したか否かの判定を行う。全ての局所特徴について処理を終了している場合には、ステップＳ３１２へ移行し、全ての局所特徴について処理を終了していない場合には、ステップＳ３００に移行してステップＳ３００〜ステップＳ３１０までの処理を繰り返す。
次に、ステップＳ３１２では、局所特徴ｉの各々について、ステップＳ３０６又はステップＳ３０８において取得した局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）又は局所特徴対象物非類似度（ｃｉ，ｘ，ｙ，ｚ＝０）に基づいて、上記（４）式に従って、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。
図７のステップＳ２１６では、対象物の全ての向きθについてステップＳ２１２〜ステップＳ２１４の処理が終了したか否かを判定する。全ての向きθについて処理が終了している場合には、ステップＳ２１８へ移行し、一方、ステップＳ２１２〜ステップＳ２１４の処理が終了していない向きθが存在する場合には、ステップＳ２１２に移行し、当該対象物の向きθを決定して処理を繰り返す。
次に、ステップＳ２１８では、ステップＳ１００において取得された撮像画像の全体について対象物ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップＳ２１０に移行し、対象物ウインドウの位置（ｘ，ｙ）を予め定められた探索ステップだけ移動させた位置から対象物ウインドウ画像を抽出し、ステップＳ２１２〜ステップＳ２１６の処理を繰り返す。また、現サイズｚの対象物ウインドウでの画像全体の探索が終了した場合には、同様にステップＳ２１０へ戻り、対象物ウインドウのサイズｚを変更して、ステップＳ２１０〜ステップＳ２１６の処理を繰り返す。撮像画像全体について、全てのサイズの対象物ウインドウでの探索が終了した場合には、ステップＳ２２０に移行する。
次に、ステップＳ２２０では、ステップＳ２１４において算出された対象物類似度の最大値に基づいて、対象物の向きθ及び位置（ｘ，ｙ，ｚ）を推定する。
次に、ステップＳ２２２では、ステップＳ２２０において取得した結果を出力部５０に出力して処理を終了する。
以上、説明したように、第１の実施の形態に係る対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の向き毎に、全局所特徴の存在又は存在しない確率の平均確率により対象物類似度を算出し、算出された対象物類似度に基づいて対象物の位置及び向きを推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
また、各局所特徴の精密な位置決めを必要とせず、各局所特徴の粗雑な位置と、低画質環境下等でもロバストな局所特徴の有無（見える／見えない）の情報とを用いるため、対象物の形状モデル及び局所特徴探索時の誤差に対して頑健に推定可能である。
また、特徴点の有無（見える／見えない）の情報を用いて姿勢を推定するため、異なる向き間において局所特徴の位置関係の差異が存在していなくても頑健に対象物の位置及び向きが推定可能である。
また、２つ以上の多数の局所特徴の有無情報に基づいており、各局所特徴の類似度の大小関係から、最も妥当な局所特徴の有無の関係を探索することができるため、照明変化等で局所特徴全体の類似度が変化してしまっても、相対的な局所類似度の大小関係がある程度保持されていれば、対象物の位置及び向きを推定できる。
また、オプティカルフローを用いず、さらに、低画質環境下等でもロバストな局所特徴の有無（見える／見えない）の情報を用いるため、局所特徴の位置の誤差にも頑健に対象物の位置及び向きを推定することが出来る。
また、対象物の形状のモデル及び局所特徴の探索時の誤差に対して頑健なため、不鮮明な形状の対象物や、低画質画像内の対象物であっても、精度よく対象物の位置及び向きを推定することができる。また、局所特徴探索の粗雑さが許容されるため、探索時の計算コストの削減も可能となる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、第１の実施の形態においては、形状モデル及び識別モデルを撮像画像の初期フレームに基づいて作成したが、これに限定されるものではなく、Constraint Local Model（非特許文献１）や可変形状モデル（非特許文献２）等と同様に、対象物の形状モデル、及び局所特徴の類似度を算出する識別モデルを、事前の学習サンプルより学習しておいてもよい。
また、第１の実施の形態においては、全ての局所ウインドウ画像について、局所特徴類似度を算出してから、各対象物ウインドウ画像について、対象物類似度を算出する場合を例に説明したが、これに限定されるものではない。例えば、対象物ウインドウ画像の各々を撮像画像の全体から抽出し、抽出した対象物ウインドウ画像の各々について、対象物ウインドウ画像内において、局所ウインドウをスキャンして局所ウインドウ画像を抽出し、抽出された局所ウインドウ画像の各々について局所特徴類似度を算出して、当該対象物ウインドウ画像について対象物類似度を算出するようにしてもよい。
また、第１の実施の形態においては、対象物の向きと局所特徴の有無の関係を、θの回転軸を局所特徴群の列と平行した場合のみについて定義したがこれに限定されるものではなく、θの回転軸の向きφ毎に、対象物の向きと局所特徴の有無の関係を定義してもよい。具体的には、各向きθと各局所特徴の有無（δｉ，θ）の関係は、上記図２の様に局所特徴が縦にｎｒ行、横にｎc列並んでいる場合、局所特徴の添え字i（＝1,2,...,n）を再定義し、δi，ｊ，θとする。ここで、添え字（i，ｊ）は左からi列目、上からｊ行目の局所特徴（ブロック）を示す。δi，ｊ，θ及び新たに導入する添え字ｋを下記（５）式の様に定義する。
ここで、φは向きθの回転軸の向きを示しており、φ＝０の場合、θの回転軸は局所特徴群の列に平行になり、φ＝π／２の場合は、θの回転軸は局所特徴群の行に平行になるように、δ’ｋ，θを設計する。例えば、ｎc＝７とし、θを９クラスに離散化した場合のδi，ｊ，θは図９の様になる。
また、第１の実施の形態においては、局所特徴対象物類似度を形状モデルの拘束条件によって定められた範囲内の各局所特徴ｉの局所特徴類似度の最大値と定義したが、これに限定されるものではなく、形状モデルの対象物重心位置に対する局所特徴の相対位置からの乖離度合い（上記（１）式の｜ｄi−ｄ0i｜）が大きいほど、局所特徴が存在する確率が低くなるとし、乖離度合いをペナルティとして扱い、「局所特徴類似度−乖離度合い×重み係数」の評価値が最大となる位置の局所特徴類似度の値を、局所特徴対象物類似度としてもよい。また、局所特徴対象物類似度を「局所特徴類似度−乖離度合い×重み係数」の評価値の最大値としてもよい。
また、第１の実施の形態においては、形状モデルの拘束条件によって定められた範囲内の各局所特徴ｉの局所特徴類似度を、所定値である１から減算した減算値の最小値を、局所特徴対象物非類似度と定義したが、これに限定されるものではない。例えば、形状モデルの拘束条件によって定められた範囲内の各局所特徴ｉの局所特徴類似度を、所定値である１に対して除算した除算値の最小値を、局所特徴対象物非類似度としてもよい。
また、第１の実施の形態においては、局所特徴類似度から局所特徴対象物類似度及び局所特徴対象物非類似度を算出しているが、これに限定されるものではなく、局所特徴非類似度から局所特徴対象物類似度及び局所特徴対象物非類似度を算出してもよい。
具体的には、局所特徴毎に、局所特徴との非類似度を示す局所特徴非類似度を算出するための識別器を学習する。また、対象物ウインドウ画像の（重心）位置が（ｘ，ｙ，ｚ）である場合に、その対象物ウインドウ画像の位置に対して各局所特徴iの位置のとり得る（ｘ，ｙ，ｚ）範囲Ｒiはモデル記憶部２４に記憶されている形状モデルの拘束条件によって定められ、その範囲Ｒｉ内の各局所特徴ｉの局所特徴非類似度に基づいて、対象物ウインドウ画像（ｘ，ｙ，ｚ）について、下記（６）式により、局所特徴ｉの局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）及び局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝０）を算出可能である。
この場合、局所特徴ｉの各々について、局所特徴との非類似度を示す局所特徴非類似度を算出するための識別器を学習しておく必要がある。なお、上記（６）式では、範囲Ｒｉ内の各局所特徴ｉの局所特徴非類似度の最小値を、局所特徴対象物非類似度として求め、範囲Ｒｉ内の各局所特徴ｉの局所特徴非類似度の最小値を１から減算した減算値を、局所特徴対象物類似度として求めている。
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
第２の実施の形態では、対象物の向きθにおいて、見えるべき局所特徴の局所特徴対象物類似度の平均値に基づいて、対象物類似度を算出する点が、第１の実施の形態と異なっている。
＜第２の実施の形態における対象物姿勢推定装置の構成＞
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象物の向きθ毎に、当該向きθにおいて見える局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象物の向きθ毎に、当該向きθにおいて見える局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
なお、第２の実施の形態においては、対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を下記（６）式によって算出する。
ここで、ｖｋは見えるべき局所特徴（δｖｋ，θ＝1）であり、ｎｖは、見えるべき（δｖｋ，θ＝１）局所特徴ｖｋの数である。上記（７）式では、対象物の向きθに対して予め定められた、局所特徴ｉが存在するか否かの情報に基づいて、対象物の向きθに対して、存在する局所特徴ｉの局所特徴対象物類似度の平均値により対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出している。
以上、説明したように、第２の実施の形態に係る対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の向き毎に、当該向きにおいて存在する局所特徴の局所特徴対象物類似度の平均値により対象物類似度を算出し、算出された対象物類似度に基づいて対象物の位置及び向きを推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
第３の実施の形態では、全ての局所特徴の有無に応じた局所特徴対象物類似度又は局所特徴対象物非類似度の直積に基づいて、対象物類似度を算出する点が、第１の実施の形態と異なっている。
＜第３の実施の形態における対象物姿勢推定装置の構成＞
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
なお、第３の実施の形態においては、対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を下記（８）式によって算出する。
上記（８）式では、対象物の向きθに対して予め定められた、局所特徴ｉが存在するか否かの情報に基づいて、対象物の向きθに対して、全局所特徴ｉの局所特徴対象物類似度又は局所特徴対象物非類似度の直積により対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出している。
以上、説明したように、第３の実施の形態に係る対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の向き毎に、全局所特徴の局所特徴対象物類似度又は局所特徴対象物非類似度の直積により対象物類似度を算出し、算出された対象物類似度に基づいて対象物の位置及び向きを推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
第４の実施の形態では、対象物の向きθにおいて、見えるべき局所特徴の局所特徴の局所特徴対象物類似度の直積に基づいて、対象物類似度を算出する点が、第１の実施の形態と異なっている。
＜第４の実施の形態における対象物姿勢推定装置の構成＞
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象物の向きθ毎に、当該向きθにおいて見える局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象物の向きθ毎に、当該向きθにおいて見える局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉの各々について、上記（３）式により局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）を求め、対象物の向きθ毎に、対象となる局所特徴ｉの各々について求めた局所特徴対象物類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝１）に基づいて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する。このように、（ｘ、ｙ、ｚ、θ）の全ての組み合わせについて、対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）が算出される。
なお、第４の実施の形態においては、対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を下記（９）式によって算出する。
上記（９）式では、対象物の向きθに対して予め定められた、局所特徴ｉが存在するか否かの情報に基づいて、対象物の向きθに対して、存在する局所特徴ｉの局所特徴対象物類似度の直積により対象物類似度ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出している。
以上、説明したように、第４の実施の形態に係る対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の向き毎に、存在する局所特徴の局所特徴対象物類似度の直積により対象物類似度を算出し、算出された対象物類似度に基づいて対象物の位置及び向きを推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
第５の実施の形態では、二種類の条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）から対象物類似度（同時確率）ｐоｂｊ（ｘ，ｙ，ｚ，θ）を算出する点が、第１の実施の形態と異なっている。
＜原理＞
第５の実施の形態における対象物類似度の算出原理について説明する。
対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を二種類の条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）から算出することで、できるだけ近似部分を低減する。まず、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）の計算は以下のように行われる。
第５の実施の形態における対象物類似度の算出原理について説明する。
対象物類似度（ｐоｂｊ（ｘ，ｙ，ｚ，θ））を二種類の条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）から算出することで、できるだけ近似部分を低減する。まず、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）の計算は以下のように行われる。
対象物の向きθが与えられている条件で、ある見えるべき（δｖｋ，θ＝１）局所特徴ｖｋが見えている場合は、その他全ての見えるべき特徴…（ｖ１、ｖ２、・・・ｖｖｍ。ただしδｖ，θ＝１）は必然的に見えている。すなわち、見えるべき局所特徴間における条件付き確率は１となる。そのため、下記（１０）式のように表現される。ただし、ｎｖは見えるべき局所特徴の数である。
上記（１０）式を用いて、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）は下記（１１）式に基づいて計算される。
ｐоｂｊ（θ｜ｘ，ｙ，ｚ）に関しては、局所特徴間の独立性を仮定し、下記（１２）式に基づいて計算される。
なお、上記（５）式に基づいて、同じｋの値をとる局所特徴間（向きの回転軸方向に並んで存在する局所特徴間）ではその有無に対して従属性が成り立つため、ｐоｂｊ（θ｜ｘ，ｙ，ｚ）を、下記（１３）式に基づいて計算することもできる。ここで、ｃ’ｋ（ｌ）及びｎｋは、上記（５）式のｋの値に対応する局所特徴（向きの回転軸方向に並んで存在する局所特徴）及びその個数を示す
上記（１１）式と、上記（１２）式又は（１３）式とに基づいて算出したｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）に基づいて、対象物類似度を算出する。なお、対象物類似度を算出する前に、候補となる対象物ウインドウの位置（ｘｋ，ｙｋ，ｚｋ）（ｋ＝1,2,...,s）をｓ個に選定しておき、それ以外の対象物類似度の確率は０とすることで、計算効率を向上させてもよい。候補位置の選定の方法としては、例えば、上記（４）、（７）〜（９）式のいずれかの指標で値の大きいものから順にｓ個を選定しておけばよい。また、下記（１４）式が満たされるようにｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）の正規化を行ってもよい。
以下では、ｐоｂｊ（ｘ，ｙ，ｚ，θ）＝ｐ（ａ，ｂ）、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）＝ｐ（ａ｜ｂ）、ｐоｂｊ（θ｜ｘ，ｙ，ｚ）＝ｐ（ｂ｜ａ）と置き換えて記述する。また、ｐ（ａ｜ｂ）及びｐ（ｂ｜ａ）は既知であり、ｐ（ａ）、ｐ（ｂ）、ｐ（ａ，ｂ）が未知確率であるため、これらの未知確率を算出する。
また、ベイズの定理「ｐ（ａ，ｂ）＝ｐ（ａ｜ｂ）ｐ（ｂ）＝ｐ（ｂ｜ａ）ｐ（ａ）」を用いると、下記（１５）式及び（１６）式が成立する。
上記（１５）式及び（１６）式を組み合わせることで、下記（１７）式のように任意のａに対する確率ｐ（ａ）がａとｂに関する条件付き確率より算出可能となる。また、同様に、任意のｂに対する確率ｐ（ｂ）も算出可能となる。
また、上記（１７）式から算出したｐ（ａ）、上記（１８）式から算出したｐ（ｂ）は、ｐ（ａ｜ｂ）又はｐ（ｂ｜ａ）又はｐ（ｂ｜ａ）の誤差の影響を受けやすいため、一度算出したｐ（ａ）あるいはｐ（ｂ）を用いて、平均値あるいは最大値等に着目することで、再度ｐ（ａ）あるいはｐ（ｂ）を算出しなおす（ｐ’とする）。ここで、ｎｂはｂを離散化した場合にとり得る値の数である。
上記（１９）式は、上から「最大値を最も信頼できるものとしたもの」、「平均化処理をしたもの」、「ｐ（ｂ）を重み係数とした重み平均化処理をしたもの」をｐ’（ａ）として算出している。また上記（１９）式も、上から「最大値を最も信頼できるものとしたもの」、「平均化処理をしたもの」、「ｐ（ａ）を重み係数とした重み平均化処理をしたもの」をｐ’（ｂ）として算出している。ｐ（ａ｜ｂ）及びｐ（ｂ｜ａ）と、上記（１７）〜（２０）式により算出されたｐ（ａ）、ｐ（ｂ）、ｐ’（ａ）、ｐ’（ｂ）とに基づいて、下記（２１）式に従って、同時確率ｐ（ａ，ｂ）を算出する。
＜第５の実施の形態における対象物姿勢推定装置の構成＞
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉについて、対象物の向きθ毎に、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、全ての対象物の向きθの各々について、上記（１０）式に基づいて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））を求めると共に、上記（１１）式に基づいて、条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求める。
対象物類似度算出部３６は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉについて、対象物の向きθ毎に、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、全ての対象物の向きθの各々について、上記（１０）式に基づいて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））を求めると共に、上記（１１）式に基づいて、条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求める。
対象物類似度算出部３６は、全ての対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、上記（１７）式に従って、ｐ（ｘ、ｙ、ｚ）を求め、全ての対象物の向きθの各々について、上記（１８）式に従って、ｐ（θ）を求める。また、全ての対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、上記（１９）式の何れか一つの式に従って、ｐ’（ｘ、ｙ、ｚ）を求め、全ての対象物の向きθの各々について、上記（２０）式の何れか一つの式に従って、ｐ’（θ）を求める。そして、対象物ウインドウ画像（ｘ、ｙ、ｚ）及び向きθのすべての組み合わせの各々について、上記（２１）式に従って、同時確率ｐоｂｊ（ｘ，ｙ，ｚ，θ）を対象物類似度として求める。
＜第５の実施の形態に係る対象物姿勢推定装置の作用＞
次に、本発明の第５の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１０に示す対象物姿勢推定処理ルーチンが実行される。
次に、本発明の第５の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１０に示す対象物姿勢推定処理ルーチンが実行される。
ステップＳ４００では、上記図８のステップＳ３００〜ステップＳ３１０と同様に対象の局所特徴ｉの各々について、局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ、ｘ、ｙ、ｚ＝δｉ，θ）を算出する。そして、条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ｜θ）を上記（１０）式に基づいて算出し、条件付き確率ｐоｂｊ（θ｜ｘ，ｙ，ｚ）を上記（１１）式に基づいて算出する。
次に、ステップＳ４０２では、ステップＳ４００において算出された条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））と、ステップＳ４０４において算出された条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））とに基づいて、上記（１７）〜（２０）式に従って、ｐ（ｘ、ｙ、ｚ）、ｐ（θ）、ｐ’（ｘ、ｙ、ｚ）、及びｐ’（θ）を求め、対象物ウインドウ画像（ｘ、ｙ、ｚ）及び向きθのすべての組み合わせの各々について、求めたｐ（ｘ、ｙ、ｚ）、ｐ（θ）、ｐ’（ｘ、ｙ、ｚ）、及びｐ’（θ）に基づいて、上記（２１）式に従って、同時確率条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ，θ）を対象物類似度として求める。
以上、説明したように、第５の実施の形態に係る対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の全ての向きについて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））及び条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求め、２つの条件付き確率から同時確率である対象物類似度を算出し、算出された対象物類似度に基づいて対象物の位置及び向きを推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
また、第５の実施の形態における条件付き確率を用いた同時確率の算出方法によれば、確率変数が３つ以上の場合にも同時確率が算出可能となる。ｎ個の確率変数（ベクトルでも良い）をｘｉ（ｉ＝1,2,..,n）とすると、条件付き確率ｐ（ｘ１｜ｘ２，ｘ３，．．．，ｘｎ）、ｐ（ｘ２｜ｘ１，ｘ３，．．．，ｘｎ）、．．．、ｐ（ｘｎ｜ｘ１，ｘ２，．．．，ｘｎ−１）が既知である場合には、上記（１７）式〜（２１）式を用いることで、ｐ（ｘｉ｜ｘ１，ｘ２，．．．，ｘｎ）及びｐ（ｘｊ｜ｘ１，ｘ２，．．．，ｘｎ）からｐ（ｘｉ，ｘｊ｜ｘ１，ｘ２，．．．，ｘｎ）が算出可能である。この時、確率変数（ｘｉ，ｘｊ）をｘ’ｉとして再定義することで、ｎ個の確率変数をｎ−１個に削減する。これをｎ−１回繰り返すことで、ｎ個の確率変数が最終的に１つの確率変数ベクトルとして再定義され、確率変数ベクトルの任意の値に対しての確率ｐ（ｘ１，ｘ２，．．．，ｘｎ）を求めることが出来る。
なお、第５の実施の形態の対象物姿勢推定装置においては、上記（１７）式及び（１８）式に基づいて、ｐ（ａ）及びｐ（ｂ）を求めることを説明したがこれに限定されるわけではない。例えば、ベイズの定理「ｐ（ａ｜ｂ）ｐ（ｂ）＝ｐ（ｂ｜ａ）ｐ（ａ）」を任意のａ、ｂに対して適用し、未知数をｐ（ａ）、ｐ（ｂ）とする式がｎａｎｂ個生成される連立方程式を解いてもよい。ここで、ｎａ及びｎｂは、ａ及びｂを離散化した場合のとり得る値の数である。式の数ｎａｎｂに対して未知数はｎａ＋ｎｂ個であり、且つｎａ及びｎｂはいずれも１以上であることは自明なため、式の数は未知数の数以上となる。すなわち、ｐ（ａ）及びｐ（ｂ）を連立方程式として得る事が可能である。なお、全てのｐ（ａ｜ｂ）及びｐ（ｂ｜ａ）が既知でなくても、未知数の数以上の式が立てられるだけ既知であればよい。
次に、第６の実施の形態について説明する。なお、第５の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
第６の実施の形態では、二種類の条件付き確率ｐоｂｊ（ｘ，ｙ，ｚ｜θ）及びｐоｂｊ（θ｜ｘ，ｙ，ｚ）に基づいて、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）がほぼ最大となる（ｘ，ｙ，ｚ，θ）の組の中からｐоｂｊ（θ｜ｘ，ｙ，ｚ）が最大となる（ｘ，ｙ，ｚ，θ）を探索し、対象物類似度の最大値が得られる（ｘ，ｙ，ｚ，θ）を推定し、対象物の位置及び向きを推定する点が第１の実施の形態と異なる。
＜第６の実施の形態における対象物姿勢推定装置の構成＞
条件付き確率算出部４０は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉについて、対象物の向きθ毎に、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、全ての対象物の向きθの各々について、上記（１１）式に基づいて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））を求め、上記（１２）式に基づいて、条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求める。
条件付き確率算出部４０は、対象物ウインドウ画像抽出部３４において抽出された対象物ウインドウ画像（ｘ、ｙ、ｚ）の各々について、対象となる局所特徴ｉの各々に対し、拘束範囲Ｒｉの範囲を対象物ウインドウ画像（ｘ、ｙ、ｚ）のサイズの大きさに基づいて設定し、対象となる局所特徴ｉについて、対象物の向きθ毎に、上記（３）式により局所特徴対象物類似度又は局所特徴対象物非類似度ｐ（ｃｉ，ｘ，ｙ，ｚ＝δｉ，θ）を求め、全ての対象物の向きθの各々について、上記（１１）式に基づいて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））を求め、上記（１２）式に基づいて、条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求める。
姿勢推定部３８は、下記（２２）式に基づいて、ｐ（ａ，ｂ）の最大値をとる（ａ，ｂ）＝（ａmax,ｂmax）を算出する。ここで、ｐоｂｊ（ｘ，ｙ，ｚ，θ）＝ｐ（ａ，ｂ）、ｐоｂｊ（ｘ，ｙ，ｚ｜θ）＝ｐ（ａ｜ｂ）、ｐоｂｊ（θ｜ｘ，ｙ，ｚ）＝ｐ（ｂ｜ａ）と置き換えて記述する。
具体的には、下記（２２）式に基づいて、ｐ（ａ，ｂ）の最大値をとる（ａ，ｂ）＝（ａmax,ｂmax）を探索する。
ここで、δは微少閾値である。
姿勢推定部３８は、上記（２２）式により求められた（ａmax,ｂmax）、すわなち、ｐоｂｊ（ｘ，ｙ，ｚ，θ）が最大となる（ｘ，ｙ，ｚ，θ）の組に基づいて、対象物の位置及び向きを推定する。
＜第６の実施の形態に係る対象物姿勢推定装置の作用＞
次に、本発明の第６の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１１に示す対象物姿勢推定処理ルーチンが実行される。
次に、本発明の第６の実施の形態に係る対象物姿勢推定装置１００の作用について説明する。対象物姿勢推定装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１１に示す対象物姿勢推定処理ルーチンが実行される。
ステップＳ５００では、ステップＳ４００において算出された条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））と、ステップＳ４０４において算出された条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））とに基づいて、上記（２２）式に従って、ｐоｂｊ（ｘ、ｙ、ｚ、θ）の最大値をとる（ｘ、ｙ、ｚ、θ）を探索する。
次に、ステップＳ５０２において、ステップＳ５００において探索された、ｐоｂｊ（ｘ、ｙ、ｚ、θ）の最大値をとる（ｘ、ｙ、ｚ、θ）に基づいて、対象物の位置及び姿勢を推定する。
以上説明したように、第６の実施の形態における対象物姿勢推定装置１００によれば、対象物ウインドウ画像の各々について、対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される各局所特徴との局所特徴類似度と、対象物の向き毎に予め定められた、局所特徴が存在するか否かの情報とに基づいて、対象物の全ての向きについて、条件付き確率（ｐоｂｊ（ｘ，ｙ，ｚ｜θ））及び条件付き確率（ｐоｂｊ（θ｜ｘ，ｙ，ｚ））を求め、２つの条件付き確率から、対象物類似度が最大となるときの対象物の向き及び対象物ウインドウ画像を求め、対象物の向き及び位置を推定することにより、不鮮明な形状の対象物や、低画質画像内の対象物であっても、対象物の位置及び向きを精度よく推定することができる。
また、第６の実施の形態における条件付き確率を用いた同時確率の算出方法によれば、確率変数が３つ以上の場合にも対応することができる。ｎ個の確率変数（ベクトルでも良い）をｘｉ（ｉ＝1,2,..,n）とすると、条件付き確率ｐ（ｘ１｜ｘ２，ｘ３，．．．，ｘｎ）、ｐ（ｘ２｜ｘ１，ｘ３，．．．，ｘｎ）、．．．、ｐ（ｘｎ｜ｘ１，ｘ２，．．．，ｘｎ−１）が既知である場合には、上記（２２）式を下記（２３）式及び（２４）式に拡張することで、ｐ（ｘ１，ｘ２，．．．，ｘｎ）の最大値をとる（x1max,x2max,...,xnmax）の組が推定可能となる。
ここで、（x1q,x2q,...,xnq）は下記（２４）式を満たす（x1,x2,x3,...,xn）の組であり、δｉは微少閾値である。
また、第５及び第６の実施の形態における条件付き確率を用いた同時確率の算出方法によれば、画像平面に平行な回転軸に対する向きθだけでなく、画像のｙ軸に対するθの回転軸の角度であるφ、及び画像平面に垂直な回転軸に対する向きΨも含め、すなわち６軸に対する姿勢を推定することが出来る。確率変数が３つ以上の場合における条件付き確率を用いた同時確率の算出方法を用いることで、ｐоｂｊ（ｘ，ｙ，ｚ｜θ，φ，Ψ）、ｐоｂｊ（θ｜ｘ，ｙ，ｚ，φ，Ψ）、ｐоｂｊ（Ψ｜ｘ，ｙ，ｚ，θ，φ）、ｐоｂｊ（φ｜ｘ，ｙ，ｚ，θ，Ψ）の４つの条件付き確率からｐоｂｊ（ｘ，ｙ，ｚ，θ，φ，Ψ）を推定することができる。
１０ 撮像装置
２０ 演算部
２２ 画像取得部
２４ モデル生成部
２６ モデル記憶部
２８ 局所ウインドウ画像抽出部
３０ 特徴量抽出部
３２ 局所特徴類似度算出部
３４ 対象物ウインドウ画像抽出部
３６ 対象物類似度算出部
３８ 姿勢推定部
４０ 条件付き確率算出部
５０ 出力部
１００ 対象物姿勢推定装置
２０ 演算部
２２ 画像取得部
２４ モデル生成部
２６ モデル記憶部
２８ 局所ウインドウ画像抽出部
３０ 特徴量抽出部
３２ 局所特徴類似度算出部
３４ 対象物ウインドウ画像抽出部
３６ 対象物類似度算出部
３８ 姿勢推定部
４０ 条件付き確率算出部
５０ 出力部
１００ 対象物姿勢推定装置
Claims (16)
- 検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記対象物の姿勢毎に予め定められた、前記姿勢の前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に、前記対象物ウインドウ画像と前記対象物との対象物類似度を算出する対象物類似度算出手段と、
前記対象物類似度算出手段により前記複数の対象物ウインドウ画像の各々について前記対象物の姿勢毎に算出された前記対象物類似度に基づいて、前記対象物の姿勢を推定する推定手段と、
を含む対象物姿勢推定装置。 - 前記対象物類似度算出手段は、前記複数の局所特徴の各々に対し、前記対象物ウインドウ画像に対して定められる前記局所特徴が存在する範囲内の複数の局所ウインドウ画像の各々についての前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記対象物の姿勢毎に予め定められた、前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に、前記対象物ウインドウ画像と前記対象物との対象物類似度を算出する請求項１記載の対象物姿勢推定装置。
- 前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、
前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記姿勢の前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、
前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の平均値を、前記対象物類似度として算出する請求項１又は２記載の対象物姿勢推定装置。 - 前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、
前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記算出した前記局所特徴対象物類似度の平均値を、前記対象物類似度として算出する請求項１又は２記載の対象物姿勢推定装置。 - 前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、
前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記姿勢の前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、
前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の各々の積を、前記対象物類似度として算出する請求項１又は２記載の対象物姿勢推定装置。 - 前記対象物類似度算出手段は、前記対象物の姿勢について算出する前記対象物ウインドウ画像と前記対象物との対象物類似度について、
前記姿勢の前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記算出した前記局所特徴対象物類似度の各々の積を、前記対象物類似度として算出する請求項１又は２記載の対象物姿勢推定装置。 - 前記対象物類似度算出手段は、前記対象物の姿勢θについて算出する前記対象物ウインドウ画像（ｘ、ｙ、ｚ）と前記対象物との対象物類似度について、
前記姿勢θの前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記姿勢θの前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、
前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度に基づいて、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）及び条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）を算出し、
前記算出した条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）、ｐ（θ｜ｘ、ｙ、ｚ）に基づいて、同時確率ｐ（ｘ、ｙ、ｚ、θ）を、前記対象物類似度として算出する請求項１又は２記載の対象物姿勢推定装置。 - 前記推定手段は、前記対象物類似度算出手段により前記複数の対象物ウインドウ画像の各々について前記対象物の姿勢毎に算出された前記対象物類似度に基づいて、前記対象物の姿勢及び位置を推定する請求項１〜７の何れか１項記載の対象物姿勢推定装置。
- 検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記姿勢の前記対象物の姿勢毎に予め定められた、前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に算出される、前記対象物ウインドウ画像と前記対象物との対象物類似度が最大となるときの前記対象物の姿勢及び前記対象物ウインドウ画像を求め、前記対象物の姿勢及び位置を推定する推定手段と、
を含む対象物姿勢推定装置。 - 前記推定手段は、前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）の全ての組み合わせの各々について、
前記姿勢θの前記対象物を表す画像上に存在する局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物類似度を各々算出し、
前記姿勢θの前記対象物を表す画像上に存在しない局所特徴の各々に対し、前記対象物ウインドウ画像（ｘ、ｙ、ｚ）内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との局所特徴類似度又は局所特徴非類似度に基づいて、前記対象物ウインドウ画像の局所特徴対象物非類似度を各々算出し、
前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度に基づいて、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）及び条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）を算出し、
前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）の全ての組み合わせについて算出した条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）、ｐ（θ｜ｘ、ｙ、ｚ）に基づいて、前記対象物類似度である同時確率ｐ（ｘ、ｙ、ｚ、θ）が最大となる前記対象物の姿勢θ及び前記対象物ウインドウ画像（ｘ、ｙ、ｚ）を求め、前記対象物の姿勢及び位置を推定する請求項９記載の対象物推定装置。 - 前記推定手段は、前記算出した前記局所特徴対象物類似度の平均値を、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）として算出し、
前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の各々の積を、条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）として算出する請求項７又は請求項１０記載の対象物姿勢推定装置。 - 前記推定手段は、前記算出した前記局所特徴対象物類似度の平均値を、条件付き確率ｐ（ｘ、ｙ、ｚ｜θ）として算出し、
前記姿勢の回転軸方向に並んで存在する前記局所特徴の各々について前記算出した前記局所特徴対象物類似度及び前記局所特徴対象物非類似度の平均値を算出し、前記算出した平均値の各々の積を、条件付き確率ｐ（θ｜ｘ、ｙ、ｚ）として算出する請求項７又は請求項１０記載の対象物姿勢推定装置。 - 前記局所特徴に対する前記局所特徴対象物類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴類似度の最大値であり、
前記局所特徴に対する前記局所特徴対象物非類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴類似度の最大値を、所定値から減算した減算値とする請求項１〜１２の何れか１項記載の対象物姿勢推定装置。 - 前記局所特徴に対する前記局所特徴対象物類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴非類似度の最小値を、所定値から減算した減算値であり、
前記局所特徴に対する前記局所特徴対象物非類似度は、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について算出される前記局所特徴との前記局所特徴非類似度の最小値とする請求項１〜１２の何れか１項記載の対象物姿勢推定装置。 - コンピュータを、
検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段、
前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記対象物の姿勢毎に予め定められた、前記姿勢の前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に、前記対象物ウインドウ画像と前記対象物との対象物類似度を算出する対象物類似度算出手段、及び
前記対象物類似度算出手段により前記複数の対象物ウインドウ画像の各々について前記対象物の姿勢毎に算出された前記対象物類似度に基づいて、前記対象物の姿勢を推定する推定手段、
として機能させるためのプログラム。 - コンピュータを、
検出対象範囲を撮像した撮像画像から複数の対象物ウインドウ画像を抽出する抽出手段、及び
前記抽出手段によって抽出された前記複数の対象物ウインドウ画像の各々に対し、前記対象物ウインドウ画像内の複数の局所ウインドウ画像の各々について、対象物を表す画像から予め抽出された複数の局所特徴の各々に対して算出される、前記局所特徴との局所特徴類似度又は局所特徴非類似度と、前記姿勢の前記対象物の姿勢毎に予め定められた、前記対象物を表す画像上に前記複数の局所特徴の各々が存在するか否かの情報と、に基づいて、前記対象物の姿勢毎に算出される、前記対象物ウインドウ画像と前記対象物との対象物類似度が最大となるときの前記対象物の姿勢及び前記対象物ウインドウ画像を求め、前記対象物の姿勢及び位置を推定する推定手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013060446A JP2014186496A (ja) | 2013-03-22 | 2013-03-22 | 対象物姿勢推定装置、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013060446A JP2014186496A (ja) | 2013-03-22 | 2013-03-22 | 対象物姿勢推定装置、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014186496A true JP2014186496A (ja) | 2014-10-02 |
Family
ID=51834021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013060446A Pending JP2014186496A (ja) | 2013-03-22 | 2013-03-22 | 対象物姿勢推定装置、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014186496A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9824189B2 (en) | 2015-01-23 | 2017-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, image display system, and storage medium |
| JPWO2017043132A1 (ja) * | 2015-09-08 | 2018-01-25 | 日本電気株式会社 | 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム |
| CN112528937A (zh) * | 2020-12-22 | 2021-03-19 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种视频抽油机启停的检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099722A (ja) * | 1998-09-22 | 2000-04-07 | Toshiba Corp | 人物顔認識装置及び人物顔認識方法 |
| JP2001291108A (ja) * | 2000-04-05 | 2001-10-19 | Honda Motor Co Ltd | 画像処理装置およびその方法ならびにプログラム記録媒体 |
| JP2011096081A (ja) * | 2009-10-30 | 2011-05-12 | Fujitsu Ltd | 画像処理方法及び装置並びにプログラム |
-
2013
- 2013-03-22 JP JP2013060446A patent/JP2014186496A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099722A (ja) * | 1998-09-22 | 2000-04-07 | Toshiba Corp | 人物顔認識装置及び人物顔認識方法 |
| JP2001291108A (ja) * | 2000-04-05 | 2001-10-19 | Honda Motor Co Ltd | 画像処理装置およびその方法ならびにプログラム記録媒体 |
| JP2011096081A (ja) * | 2009-10-30 | 2011-05-12 | Fujitsu Ltd | 画像処理方法及び装置並びにプログラム |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9824189B2 (en) | 2015-01-23 | 2017-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, image display system, and storage medium |
| JPWO2017043132A1 (ja) * | 2015-09-08 | 2018-01-25 | 日本電気株式会社 | 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム |
| US10671837B2 (en) | 2015-09-08 | 2020-06-02 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10885312B2 (en) | 2015-09-08 | 2021-01-05 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10885311B2 (en) | 2015-09-08 | 2021-01-05 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10970524B2 (en) | 2015-09-08 | 2021-04-06 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US11842566B2 (en) | 2015-09-08 | 2023-12-12 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| CN112528937A (zh) * | 2020-12-22 | 2021-03-19 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种视频抽油机启停的检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Lidar iris for loop-closure detection | |
| JP6395481B2 (ja) | 画像認識装置、方法及びプログラム | |
| Nedevschi et al. | Stereo-based pedestrian detection for collision-avoidance applications | |
| Keller et al. | The benefits of dense stereo for pedestrian detection | |
| EP1780675B1 (en) | Object detector | |
| US7995805B2 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
| JP6443393B2 (ja) | 行動認識装置，学習装置，並びに方法およびプログラム | |
| Wang et al. | Robust road modeling and tracking using condensation | |
| US9665803B2 (en) | Image processing apparatus and image processing method | |
| JP6628494B2 (ja) | 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 | |
| JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
| JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP5262705B2 (ja) | 運動推定装置及びプログラム | |
| KR100988326B1 (ko) | 사용자 맞춤형 표정 인식 방법 및 장치 | |
| JP2014164601A (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
| JP2021503139A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US11830218B2 (en) | Visual-inertial localisation in an existing map | |
| JP2012221162A (ja) | 対象物検出装置及びプログラム | |
| JP2012123642A (ja) | 画像識別装置及びプログラム | |
| JP2005311691A (ja) | 物体検出装置及び方法 | |
| CN113313701A (zh) | 基于形状先验的电动汽车充电口两阶段视觉检测定位方法 | |
| JP2014186496A (ja) | 対象物姿勢推定装置、及びプログラム | |
| JP5258651B2 (ja) | 物体検出装置、物体検出方法、及び、プログラム | |
| JP6077785B2 (ja) | 対象物検出装置及びプログラム | |
| JP5829155B2 (ja) | 歩行者検出装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170425 |