JP2013109696A - 姿勢推定装置、姿勢推定方法及びプログラム - Google Patents

Abstract

【課題】高速かつ高精度に初期姿勢を推定すること。
【解決手段】姿勢推定装置は、第１対象物と第１対象物に近接する第２対象物とを撮影する撮影手段と、第１対象物の構成要素と、第２対象物の構成要素と、第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、撮影された第１及び第２対象物を含む撮影画像と、記憶手段により記憶された接触情報と、に基づいて、確率の高い順で、第１対象物の構成要素と、第２対象物の構成要素との接触を検出する接触検出手段と、接触検出手段により検出された第１及び第２対象物の位置と、複数のリンクを相互に接続して第１対象物を表現した簡易モデルと、に基づいて、第１対象物の初期姿勢を算出し、算出した初期姿勢と、簡易モデルを第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な第１対象物の初期姿勢を推定する推定手段と、を備える。
【選択図】図１

Description

本発明は、高速かつ高精度に人などの初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムに関するものである。

カメラなどの距離センサを用いて人の姿勢や動作を推定し、あるいは、人のジェスチャを認識する際に、人体モデルを用いて２次元画像や３次元画像に対してフィッティングを行っている。その際、人体モデルの関節パラメータなどを設定した初期姿勢の推定が重要となり、その初期姿勢の推定精度が最終的な精度や計算時間などに対して大きな影響を及ぼすこととなる。

これに対し、例えば、画像取得部から取得した画像情報と予め記憶されたシルエット画像とのマッチングを行い、姿勢が類似しているフレームを選択することで、初期姿勢を推定する動画像生成システムが知られている（特許文献１参照）。

特許第４６９５２７５号公報

しかしながら、上記特許文献１に示す動画像生成システムにおいては、上記マッチングやフレーム選択を行うためにその処理に多くの計算時間を要し、膨大な記憶容量も必要となる。

本発明は、このような問題点を解決するためになされたものであり、高速かつ高精度に初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、第１対象物と該第１対象物に近接する第２対象物とを撮影する撮影手段と、少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、前記撮影手段により撮影された前記第１及び第２対象物を含む撮影画像と、前記記憶手段により記憶された前記接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出する接触検出手段と、前記接触検出手段により検出された前記第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定する推定手段と、を備える、ことを特徴とする姿勢推定装置である。
この一態様において、前記撮影手段により撮影された前記撮影画像から前記第１対象物の存在する確率が高い領域を検出する第１検出手段と、前記第１検出手段により検出された前記第１対象物の存在する確率の高い領域近傍にある前記第２対象物の領域を検出する第２検出手段と、を更に備え、前記接触検出手段は、前記第１検出部により検出された前記領域の第１対象物の構成要素と、前記第２検出部により検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出してもよい。
この一態様において、前記第１対象物は人であり、前記第２対象物は物体であり、前記確率は、前記人の人体部位と前記物体の物体構成要素とが夫々接触している事前確率と、該人体部位と物体構成要素とが接触しているときにさらに所定の人体部位間で接触している条件付確率と、を含み、前記接触検出手段は、前記事前確率及び条件付確率が高い順に、前記人体部位と前記物体構成要素との接触を検出してもよい。
この一態様において、前記推定手段は、前記接触検出手段により検出された第１対象物の構成要素の位置と、前記記憶手段に記憶された前記簡易モデルと、に基づいて、逆運動学を行って前記第１対象物の初期姿勢を算出し、該算出した第１対象物の初期姿勢を含む画像と、前記記憶手段に記憶され前記簡易モデルの各リンク周りに所定の立体を付与して前記第１対象物の形状により近似した詳細モデルと、に基づいて詳細なフィッティングを行い、最終的な前記第１対象物の初期姿勢を推定してもよい。
この一態様において、前記推定手段により推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第１対象物の状態推定を行う状態推定手段を更に備えていてもよい。
他方、上記目的を達成するための本発明の一態様は、第１対象物と該第１対象物に近接する第２対象物とを撮影するステップと、少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を記憶するステップと、前記撮影された第１及び第２対象物を含む撮影画像と、前記記憶された接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出するステップと、前記検出された第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定するステップと、を含む、ことを特徴とする姿勢推定方法であってもよい。
この一態様において、前記撮影された撮影画像から前記第１対象物の存在する確率が高い領域を検出するステップと、前記検出された第１対象物の存在する確率の高い領域近傍にある前記第２対象物の領域を検出するステップと、を更に含み、前記検出された前記領域の第１対象物の構成要素と、前記検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出してもよい。
この一態様において、前記推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第１対象物の状態推定を行うステップを更に含む、前記姿勢のトラッキングが外れたとき、前記検出された前記領域の第１対象物の構成要素と、前記検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出することを繰り返してもよい。
また、上記目的を達成するための本発明の一態様は、撮影された第１対象物と該第１対象物に近接する第２対象物を含む撮影画像と、予め記憶された少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出する処理と、前記検出された第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定する処理と、をコンピュータに実行させる、ことを特徴とするプログラムであってもよい。

本発明によれば、高速かつ高精度に初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムを提供することができる。

本発明の一実施の形態に係る姿勢推定装置の概略的構成を示すブロック図である。 物体構成要素−人体部位の接触情報の一例を示す図である。 人体部位の構成の一例を示す図である。 初期推定用の人体モデルの一例を示す図である。 モデルフィット部により算出された初期姿勢を含む画像の一例を示す図である。 詳細人体モデルを用いて詳細なフィッティングを行った図である。 詳細モデルの一例を示す図である。 本発明の一実施の形態に係る姿勢推定装置の処理フローを示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係る姿勢推定装置の概略的構成を示すブロック図である。本実施の形態に係る姿勢推定装置１は、人や物体などの初期姿勢を高速かつ高精度に推定できるものである。例えば、人が椅子に座っている姿勢やベッドで寝ている姿勢などの独特の姿勢を高速かつ高精度に推定することができる。

姿勢推定装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらＣＰＵ、ＲＯＭ、及びＲＡＭは、データバス等によって相互に接続されている。

姿勢推定装置１は、画像入力部２と、第１検出部３と、第２検出部４と、データベース５と、接触部位検出部６と、モデルフィット部７と、状態推定部８と、を備えている。

画像入力部２は、撮影手段の一具体例であり、例えば、ロボットなどに搭載されたステレオカメラ、デプスイメージャ等を用いて、周囲環境の撮影画像を入力し、入力された撮影画像を第１検出部３に対して出力する。

第１検出部３は、第１検出手段の一具体例であり、周知の画像処理技術を用いて、画像入力部２により入力された撮影画像の中から、人（第１対象物の一具体例）の存在確率の高い領域（以下、人存在領域と称す）を検出し、検出した人存在領域を第２検出部４に対して出力する。

第１検出部３は、例えば、画像入力部２により入力された撮影画像に基づいて、エッジ画像を生成し、生成したエッジ画像に対してハフ変換などを行い、人の顔領域を検出し、その顔領域近傍の形状特徴を利用して、肩領域を検出する。

第２検出部４は、第２検出手段の一具体例であり、周知の画像処理技術を用いて、第１検出部３により検出された人存在領域に基づいて、その人存在領域近傍にある物体（第２対象物の一具体例、例えば、机や椅子など）の領域（以下、物体領域と称す）を検出し、検出した物体領域を接触部位検出部６に対して出力する。

ここで、人が使用する物体は、一般に、椅子や机など環境に固定されている物が多く存在する。そのような物体の位置情報は、例えば、その物体の３次元形状と共にロボットなどの自律移動用のマップ情報の中に予め記憶されている。なお、物体の位置が移動した場合でも、既知物体として形状マッチングなどを行うことにより、その移動位置及び姿勢が適宜算出され、マップ情報を逐次更新することができる。第２検出部４は、例えば、そのような予め記憶されたマップ情報をロボットなどから適宜取得し、取得したマップ情報に基づいて、物体領域を検出することもできる。

また、物体に可視マーカなどを貼付し、その可視マーカをカメラにより撮影した場合、第２検出部４は、カメラにより撮影され、画像入力部２により入力された撮影画像の可視マーカの位置に基づいて、物体領域を検出してもよい。さらに、第２検出部４は、ＲＦＩＤ（Radio Frequency Identification）などのタグ情報を用いて、物体領域を検出してもよく、撮影画像のパターンマッチングを用いて物体領域を検出してもよく、任意の方法を適用できる。

データベース５は、記憶手段の一具体例であり、物体を機能的に分解した構成要素（物体構成要素）と、その物体構成要素と近接する人体部位（ノード）との接触情報を記憶する。データベース５は、例えば、磁気ディスク装置や光ディスク装置などにより構成されている。

上述の物体構成要素と人体部位との接触関係を示す物体構成要素−人体部位の接触情報は、例えば、図２に示すように、物体の名称、物体の位置、物体の姿勢、物体構成要素、その物体構成要素と近接する人体部位（近接人体部位）、事前確率、部位間接触、条件付確率など、を含み、これら情報が夫々対応付けられている。また、人体部位は、例えば、図３に示すような部位によって構成されている。

ここで、上記事前確率とは、例えば、相互生起確率を指し、その物体構成要素と対応する近接人体部位とが接触している確率である。また、上記条件付確率とは、例えば、物体構成要素と対応する近接人体部位とが接触しているときに、さらに、所定の人体部位間で接触が生じている確率を指す。（例えば、人が肘をついたときの手と頭とが接触する確率など）

なお、姿勢推定装置１は、画像入力部２から予め入力された複数の撮影画像に基づいて、事前確率及び条件付確率を、予め統計的に学習し自動的に算出してもよい。データベース５には、そのようにして算出された事前確率及び条件付確率が接触情報の中に予め記憶される。

接触部位検出部６は、接触検出手段の一具体例であり、第１検出部３により検出された人存在領域と、第２検出部４により検出された物体領域と、データベース５に記憶された物体構成要素−人体部位の接触情報と、に基づいて、物体構成要素と人体部位との接触を検出する。

例えば、接触部位検出部６は、第１検出部３により検出された人存在領域の人体部位と第２検出部４により検出された物体領域の物体構成要素と、の接触を、データベース５に記憶された物体構成要素−人体部位の接触情報に含まれる事前確率及び条件付確率を用いて、検出する。より具体的には、接触部位検出部６は、データベース５に記憶された物体構成要素−人体部位の接触情報に含まれる事前確率及び条件付確率の高い順（接触している可能性が高い順）に従って、人体部位と物体構成要素との組合せの検索順序を決定し、その検索順序に従って、その人体部位と物体構成要素との接触を検出する。これにより、効率良く、人体部位と物体構成要素との接触を検出することができる。

また、接触部位検出部６は、第２検出部４により検出された物体位置と、その差分情報と、に基づいて、第２検出部４により検出された物体構成要素に接触している人体部位の位置を算出することができる。

モデルフィット部７は、推定手段の一具体例であり、接触部位検出部６により検出された物体構成要素に接触している人体部位の位置と、初期推定用の人体モデルと、に基づいて、下記（１）式に示す逆運動学を用いて初期姿勢を算出する。このように、物体構成要素−人体部位の接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化できる。したがって、その記憶容量及び計算量を効果的に低減することができるため、初期姿勢を高速に推定できる。

上記初期推定用の人体モデルは、簡易モデルの一具体例であり、例えば、図４に示すような、複数のリンクを相互に接続して人を表現したモデルであり、データベース５に予め記憶されている。
θ＝Ｊ^＃ｘ＋（Ｉ−Ｊ^＃Ｊ）ｚ （１）式
なお、下記（１）式において、θは関節パラメータであり、Ｊはヤコビ行列であり、Ｊ^＃はヤコビ行列の一般化逆行列である。

モデルフィット部７は、算出した初期姿勢を含む画像（図５）と、詳細人体モデルと、に基づいて、詳細なフィッティングを行い、最適化処理を行うことで、最終的な初期姿勢の推定を行う（図６）。これにより、より高精度に初期姿勢を推定することができる。なお、上記詳細人体モデルは、詳細モデルの一具体例であり、例えば、図７に示すような、初期推定用の人体モデルの各リンク周りに半径ｒ、高さ１の円柱（所定の立体の一具体例）を夫々付与して人の形状により近似したモデルであり、データベース５などに予め記憶されている。

ここで、上記詳細フィッティングにおいて、曲面の残差情報をエネルギー関数Ｅとして、下記（２）式に示すような、一般的な降下法を用いることができる。下記（２）式において、ｋはステップ幅である。
θ^（ｎ）＝θ^{（ｎ−１）}＋ｋ^{（ｎ−１）}・∇Ｅ （２）式

状態推定部８は、状態推定手段の一具体例であり、モデルフィット部７により推定された初期姿勢に対して姿勢トラッキングを行い、人の状態推定を行う。なお、本実施の形態に係る姿勢推定装置１は状態推定部８を備えない構成であってもよい。

ところで、カメラなどを用いて人の姿勢や動作を推定する際に、人体モデルを用いて画像に対してフィッティングを行っている。その際、人体モデルの関節パラメータなどを設定した初期姿勢の推定が重要となり、その初期姿勢の推定精度が最終的な精度や計算時間などに対して大きな影響を及ぼすこととなる。また、人の姿勢の自由度は大きく、全てのパターンを記憶するとその記憶容量が膨大となり、多くの計算時間を要することとなる。

そこで、本実施の形態に係る姿勢推定装置１においては、物体構成要素と人体部位との接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化し、その記憶容量及び計算量を効果的に低減することができ、処理の高速化を図ることができる。さらに、算出した初期姿勢を含む画像を用いて詳細なフィッティングを行うことで最終的な初期姿勢を高精度に推定することができる。

次に、本実施の形態に係る姿勢推定装置１による姿勢推定方法について、詳細に説明する。図８は、本実施の形態に係る姿勢推定装置の処理フローの一例を示すフローチャートである。

まず、画像入力部２は、ロボットなどに搭載されたカメラ等を用いて、周囲環境の撮影画像を入力し、入力された撮影画像を第１検出部に対して出力する（ステップＳ１０１）。

次に、第１検出部３は、周知の画像処理技術を用いて、画像入力部２により入力された撮影画像の中から、人の存在確率の高い人存在領域を検出し、検出した人存在領域を第２検出部４に対して出力する（ステップＳ１０２）。

その後、第２検出部４は、第１検出部３により検出された人存在領域に基づいて、その人存在領域近傍にある物体領域を検出し、検出した物体領域を接触部位検出部６に対して出力する（ステップＳ１０３）。

接触部位検出部６は、データベース５に記憶された物体構成要素−人体部位の接触情報の中から、事前確率及び条件付確率の高い順に、物体構成要素と人体部位の組合せを選択し（ステップＳ１０４）、物体構成要素と人体部位とが実際に接触している組合せを効率的に検出する（ステップＳ１０５）。

モデルフィット部７は、接触部位検出部６により検出された物体構成要素に接触している人体部位の位置と、初期推定用の人体モデルと、に基づいて、逆運動学を用いて初期姿勢を高速に算出する（ステップＳ１０６）。

モデルフィット部７は、算出した初期姿勢を含む画像と詳細人体モデルとに基づいて、詳細フィッティングを行い、最終的な初期姿勢の推定を高精度に行う（ステップＳ１０７）。

状態推定部８は、モデルフィット部７により推定された初期姿勢に対して姿勢のトラッキングを行い（ステップＳ１０８）、人の状態推定を行う（ステップＳ１０９）。なお、状態推定部８における姿勢のトラッキングが外れた場合は、上記（ステップＳ１０４）の処理に戻り以降の処理を繰り返してもよい。

以上、本実施の形態に係る姿勢推定装置１において、物体構成要素と人体部位との接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化し、その記憶容量及び計算量を効果的に低減することができ、処理の高速化を図ることができる。さらに、算出した初期姿勢を含む画像を用いて詳細なフィッティングを行うことで最終的な初期姿勢を高精度に推定することができる。すなわち、高速かつ高精度に初期姿勢を推定できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上記一実施の形態において、物体に接触する人の初期姿勢を推定しているが、これに限らず、例えば、人に接触する物体の初期姿勢を推定してもよい。

また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、例えば、図８に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 姿勢推定装置
２ 画像入力部
３ 第１検出部
４ 第２検出部
５ データベース
６ 接触部位検出部
７ モデルフィット部
８ 状態推定部

Claims (9)

1. 第１対象物と該第１対象物に近接する第２対象物とを撮影する撮影手段と、
   少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、
   前記撮影手段により撮影された前記第１及び第２対象物を含む撮影画像と、前記記憶手段により記憶された前記接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出する接触検出手段と、
   前記接触検出手段により検出された前記第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定する推定手段と、
   を備える、ことを特徴とする姿勢推定装置。
2. 請求項１記載の姿勢推定装置であって、
   前記撮影手段により撮影された前記撮影画像から前記第１対象物の存在する確率が高い領域を検出する第１検出手段と、
   前記第１検出手段により検出された前記第１対象物の存在する確率の高い領域近傍にある前記第２対象物の領域を検出する第２検出手段と、を更に備え、
   前記接触検出手段は、前記第１検出部により検出された前記領域の第１対象物の構成要素と、前記第２検出部により検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出する、
   ことを特徴とする姿勢推定装置。
3. 請求項２記載の姿勢推定装置であって、
   前記第１対象物は人であり、前記第２対象物は物体であり、
   前記確率は、前記人の人体部位と前記物体の物体構成要素とが夫々接触している事前確率と、該人体部位と物体構成要素とが接触しているときにさらに所定の人体部位間で接触している条件付確率と、を含み、
   前記接触検出手段は、前記事前確率及び条件付確率が高い順に、前記人体部位と前記物体構成要素との接触を検出する、
   ことを特徴とする姿勢推定装置。
4. 請求項１乃至３のうちいずれか１項記載の姿勢推定装置であって、
   前記推定手段は、
   前記接触検出手段により検出された第１対象物の構成要素の位置と、前記記憶手段に記憶された前記簡易モデルと、に基づいて、逆運動学を行って前記第１対象物の初期姿勢を算出し、
   該算出した第１対象物の初期姿勢を含む画像と、前記記憶手段に記憶され前記簡易モデルの各リンク周りに所定の立体を付与して前記第１対象物の形状により近似した詳細モデルと、に基づいて詳細なフィッティングを行い、最終的な前記第１対象物の初期姿勢を推定する、
   ことを特徴とする姿勢推定装置。
5. 請求項１乃至４のうちいずれか１項記載の姿勢推定装置であって、
   前記推定手段により推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第１対象物の状態推定を行う状態推定手段を更に備える、
   ことを特徴とする姿勢推定装置。
6. 第１対象物と該第１対象物に近接する第２対象物とを撮影するステップと、
   少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を記憶するステップと、
   前記撮影された第１及び第２対象物を含む撮影画像と、前記記憶された接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出するステップと、
   前記検出された第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定するステップと、
   を含む、ことを特徴とする姿勢推定方法。
7. 請求項６記載の姿勢推定方法であって、
   前記撮影された撮影画像から前記第１対象物の存在する確率が高い領域を検出するステップと、
   前記検出された第１対象物の存在する確率の高い領域近傍にある前記第２対象物の領域を検出するステップと、を更に含み、
   前記検出された前記領域の第１対象物の構成要素と、前記検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出する、
   ことを特徴とする姿勢推定方法。
8. 請求項６又は７記載の姿勢推定方法であって、
   前記推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第１対象物の状態推定を行うステップを更に含む、
   前記姿勢のトラッキングが外れたとき、前記検出された前記領域の第１対象物の構成要素と、前記検出された前記領域の第２対象物の構成要素と、の接触を前記確率の高い順に検索し、検出することを繰り返す、
   ことを特徴とする姿勢推定方法。
9. 撮影された第１対象物と該第１対象物に近接する第２対象物を含む撮影画像と、予め記憶された少なくとも、前記第１対象物の構成要素と、前記第２対象物の構成要素と、前記第１及び第２対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報と、に基づいて、前記確率の高い順で、前記第１対象物の構成要素と、前記第２対象物の構成要素との接触を検出する処理と、
   前記検出された第１対象物の位置と、複数のリンクを相互に接続して前記第１対象物を表現した簡易モデルと、に基づいて、前記第１対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第１対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第１対象物の初期姿勢を推定する処理と、
   をコンピュータに実行させる、ことを特徴とするプログラム。

Images