JP2012003719A - 状態推定装置、状態推定方法、およびプログラム - Google Patents
状態推定装置、状態推定方法、およびプログラム Download PDFInfo
- Publication number
- JP2012003719A JP2012003719A JP2010140961A JP2010140961A JP2012003719A JP 2012003719 A JP2012003719 A JP 2012003719A JP 2010140961 A JP2010140961 A JP 2010140961A JP 2010140961 A JP2010140961 A JP 2010140961A JP 2012003719 A JP2012003719 A JP 2012003719A
- Authority
- JP
- Japan
- Prior art keywords
- probability distribution
- state
- appearance
- observation
- prior probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】観測対象の姿勢が大きく変わる場合であっても、その姿勢の変化に対応した高精度な事前確率分布の作成を行うこと。
【解決手段】未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、互いに類似する前記状態情報と対応付けられている前記アピアランス情報に基づき、前記複数のパーティクルにそれぞれ対応するアピアランスにより未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測部と、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定部を備えることを特徴とする。
【選択図】図１
【解決手段】未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、互いに類似する前記状態情報と対応付けられている前記アピアランス情報に基づき、前記複数のパーティクルにそれぞれ対応するアピアランスにより未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測部と、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定部を備えることを特徴とする。
【選択図】図１
Description
本発明は、観測対象の状態変化の過去の履歴に基づき、未来の状態変化を推定する状態推定装置、状態推定方法、およびプログラムに関するものである。
観測対象の状態変化により未来の状態変化を推定するための手法として、パーティクルフィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）がある。典型的なパーティクルフィルタの処理では、例えば、（１）現時刻までの過去の観測対象の状態を示す情報に基づき、次の時刻における状態の事前確率分布を推定し、（２）推定された事前確率分布が示す推定される観測対象の状態と、次時刻において観測される観測対象の実際の状態とを比較することで、事後確率分布を求める。この２つの処理を繰り返すことで、動的に変化する観測対象の状態を逐次的に推定することができる。
Dan MIKAMI, Kazuhiro OTSUKA, Junji YAMATO: Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1006, Proc. IEEE CVPR, 2009.
三上弾、大塚和弘、大和淳司、"頑健な顔姿勢追跡のための状態履歴の記憶に基づくパーティクルフィルタ" MIRU2009 OS3-1
しかしながら、上記非特許文献１、２に記載されているパーティクルフィルタでは、初期化時に観測対象のテンプレートとして正面顔を用いてテンプレートを作成する。そして、事後確率分布を推定する際にはこの正面顔のテンプレートを用いる。正面顔のテンプレートを、事前確率分布を表わすパーティクルによって指定される回転・並進により変形したものと、次時刻において観測される画像と比較し、この比較結果に基づき、事後確率分布を作成する。
このため、例えば、観測対象の姿勢が大きく変わることにより、今まで見えていた部分が徐々に隠れ、今まで見えなかった部分が現れることで、その観測対象の外観形態が大きく変化する。これにより、正面顔のテンプレートとの照合では、観測対象の実際の状況と照合が十分できない場合が生じるという問題があった。
このため、例えば、観測対象の姿勢が大きく変わることにより、今まで見えていた部分が徐々に隠れ、今まで見えなかった部分が現れることで、その観測対象の外観形態が大きく変化する。これにより、正面顔のテンプレートとの照合では、観測対象の実際の状況と照合が十分できない場合が生じるという問題があった。
本発明は、上記課題を解決するものであり、観測対象の姿勢が大きく変わる場合であっても、その姿勢の変化に対応した高精度な状態推定を行うことができる状態推定装置、状態推定方法、およびプログラムを提供することを目的とする。
上述の課題を鑑み、本発明に係る状態推定装置は、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴蓄積装置と、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測部と、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定部と、前記事後確率分布が示す前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積部とを備えることを特徴とする。
また、上述の状態推定装置は、前記時間的再現確率が、前記過去の経時的な前記観測対象の状態の変化と、直前の前記状態情報の類似性に基づいて算出されることを特徴とする。
また、上述の状態推定装置は、事前確率分布予測部が、前記状態事前確率分布を表わす前記パーティクルと類似する前記状態情報を選択し、当該状態情報と対応付けられている前記アピアランス情報に基づき、前記アピアランス事前確率分布を作成することを特徴とする。
また、上述の課題を鑑み、本発明に係る状態推定方法は、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴蓄積装置を備える状態推定装置における状態推定方法であって、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測ステップと、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定ステップと、前記事後確率分布が示す前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積ステップと、を備えることを特徴とする。
また、上述の課題を鑑み、本発明に係るプログラムは、コンピュータに、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴記憶手段、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測手段、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定手段、前記事後確率分布が示す前記状態情報を前記履歴記憶手段に更新して蓄積する履歴蓄積手段、として機能させるためのプログラムであることを特徴とする。
本発明によれば、観測対象の姿勢が大きく変わり、それに伴ってアピアランスが大きく変化する場合であっても、姿勢とアピアランスの同時事前確率分布を予測することができる。
［第１実施形態］
本実施形態に係る状態推定装置１は、パーティクルフィルタとして機能する装置であって、事前確率分布を予測のために、過去の状態推定結果の履歴を保持し、この過去の履歴が再び現れる確率（時間的再現確率）に基づいて事前確率分布を推定するものである。また、本実施形態に係る状態推定装置１は、観測対象の状態推定値と、カメラなどにより観測される外観形態を示す観測値（以下、アピアランス値という）との組を履歴情報として蓄積し、蓄積された履歴情報に基づいて、状態推定値とアピアランス値の同時事前確率分布を求めることで、姿勢の大きな変化に伴うアピアランス（観測対象の外観形態）の大きな変化に対して頑健な追跡を実現するものである。
なお、本実施形態に係る状態推定装置１は、パーティクルフィルタの枠組みで、事前確率分布および事後確率分布をパーティクルの集合によって表わす。状態空間中で、高い確率分布を持つ位置には多くのパーティクルが生成される。
本実施形態に係る状態推定装置１は、パーティクルフィルタとして機能する装置であって、事前確率分布を予測のために、過去の状態推定結果の履歴を保持し、この過去の履歴が再び現れる確率（時間的再現確率）に基づいて事前確率分布を推定するものである。また、本実施形態に係る状態推定装置１は、観測対象の状態推定値と、カメラなどにより観測される外観形態を示す観測値（以下、アピアランス値という）との組を履歴情報として蓄積し、蓄積された履歴情報に基づいて、状態推定値とアピアランス値の同時事前確率分布を求めることで、姿勢の大きな変化に伴うアピアランス（観測対象の外観形態）の大きな変化に対して頑健な追跡を実現するものである。
なお、本実施形態に係る状態推定装置１は、パーティクルフィルタの枠組みで、事前確率分布および事後確率分布をパーティクルの集合によって表わす。状態空間中で、高い確率分布を持つ位置には多くのパーティクルが生成される。
以下、本発明の第１の実施形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る状態推定装置１の一例を示すブロック図である。
図１に示す通り、状態推定装置１は、事前確率分布予測部１１、事後確率分布推定部１２、推定結果算出部１３、追跡安定性判定部１４、履歴蓄積装置１５、形状モデル蓄積装置１６、履歴蓄積部１７、推定対象時刻設定部１８、終了判定部１９を有する。
図１に示す通り、状態推定装置１は、事前確率分布予測部１１、事後確率分布推定部１２、推定結果算出部１３、追跡安定性判定部１４、履歴蓄積装置１５、形状モデル蓄積装置１６、履歴蓄積部１７、推定対象時刻設定部１８、終了判定部１９を有する。
履歴蓄積装置１５は、追跡開始時刻１から現在時刻Ｔまでの過去の状態推定結果を示す状態推定値と、後述するアピアランス値とを、時刻毎に対応付けた履歴テーブルＤ１を保持する。
この履歴テーブルＤ１は、時刻ｔに、過去の状態推定値である状態推定値ベクトルｘｔと、当該時刻ｔに対応するアピアランス値Ａｔを、時刻に対応付けたテーブルであり、その一例を図２に示す。なお、状態推定値ベクトルｘｔとアピアランス値Ａｔとを組み合わせて履歴情報Ｘｔといい、ここでは、履歴情報Ｘｔ＝（ｘｔ，Ａｔ）と示す。
ここで、状態推定値ベクトルｘｔは、ある時刻ｔにおける状態推定値であり、状態推定値ベクトルｘＴは、現在時刻Ｔにおける状態推定値である。この状態推定値ベクトルｘｔは、後述する事後確率分布推定部１２によって算出される状態推定値である。
アピアランス値Ａｔは、追跡対象であるオブジェクトの外見（外観形態）を表す情報であって、例えば、追跡対象の領域の画素値の集合をアピアランスとして用いることができる。
この履歴テーブルＤ１は、時刻ｔに、過去の状態推定値である状態推定値ベクトルｘｔと、当該時刻ｔに対応するアピアランス値Ａｔを、時刻に対応付けたテーブルであり、その一例を図２に示す。なお、状態推定値ベクトルｘｔとアピアランス値Ａｔとを組み合わせて履歴情報Ｘｔといい、ここでは、履歴情報Ｘｔ＝（ｘｔ，Ａｔ）と示す。
ここで、状態推定値ベクトルｘｔは、ある時刻ｔにおける状態推定値であり、状態推定値ベクトルｘＴは、現在時刻Ｔにおける状態推定値である。この状態推定値ベクトルｘｔは、後述する事後確率分布推定部１２によって算出される状態推定値である。
アピアランス値Ａｔは、追跡対象であるオブジェクトの外見（外観形態）を表す情報であって、例えば、追跡対象の領域の画素値の集合をアピアランスとして用いることができる。
また、履歴蓄積装置１５は、過去の履歴が再び現れる確率（時間的再現確率）ｐｔと時刻を対応付けた時間的再現確率テーブルＤ２を記憶する。この時間的再現確率（Ｔｅｍｐｏｒａｌ Ｒｅｃｕｒｒｅｎｔ Ｐｒｏｂａｂｉｌｙｔｙ：ＴＲＰ)は、過去の時刻ｔの姿勢や位置（状態）が再び現れる確率を示し、時間軸上の関数として定義される。言い換えると、時間的再現確率とは、過去の状態が将来に再び起こる確率をモデル化したものである。
この時間的再現確率テーブルＤ２は、例えば、図３に示すような、時刻ｔと、時刻ｔの姿勢が再び現れる時間的再現確率ptとの組である情報を含む。
この時間的再現確率テーブルＤ２は、例えば、図３に示すような、時刻ｔと、時刻ｔの姿勢が再び現れる時間的再現確率ptとの組である情報を含む。
形状モデル蓄積装置１６は、追跡対象のおおまかな形状を示す形状モデル情報Ｄ３を記憶する。この形状モデル情報Ｄ３は、状態推定値に基づき算出される所定量だけ回転あるいは並進させることで、例えば、現在の入力画像上での対象の領域を特定して、アピアランスを求めることができる情報である。
事前確率分布予測部１１は、履歴蓄積装置１５に蓄積されている過去の履歴テーブルＤ１から履歴情報Ｘｔ＝（ｘｔ，Ａｔ）を読み出すとともに、時間的再現確率ｐｔを算出する。なお、時間的再現確率ｐｔは、現在の状態が分かった時（例えば、事後確率分布推定部１２に入力した画像が示す現在の状態が事前確率分布予測部１１に入力するものであってもよい）に、事前確率分布予測部１１によって計算されるものである。この事前確率分布予測部１１は、この履歴情報Ｘｔ＝（ｘｔ，Ａｔ）および時間的再現確率ｐｔに基づいて、事前確率分布を推定する。なお、パーティクルフィルタでは、事前確率分布をパーティクルの集合により表わす。つまり、事前確率分布予測部１１は、現状態から起こりうる次の時刻における状態を多数のパーティクル（粒子）と見立て、事前確率分布をパーティクルの集合により表わす。
例えば、事前確率分布推定部１１におけるパーティクル生成方法については、非特許文献１、２を利用可能であり、過去の履歴に基づいて、過去の状態が繰り返し現れることを仮定する。事前確率分布推定部１１は、この時間的再現確率に従ったサンプリングに基づいて事前分布を表わすパーティクルを生成する。
本発明では事前確率分布を、以下の式（１）で表す。
ここで、Ｘ＾１：Ｔ＝｛（ｘ＾１，Ａ＾１），・・・，（ｘ＾Ｔ，Ａ＾Ｔ）｝は、状態推定値ベクトルｘ＾１と、アピアランス値Ａ＾ｔの時刻１から時刻Ｔまでの履歴情報を表す。また、Ａ＾１：Ｔ＝｛Ａ＾１，・・・，Ａ＾Ｔ｝は、アピアランス値の時刻１から時刻Ｔまでの履歴情報を表す。さらに、関数π（）は、現在時刻ＴからΔｔ時刻分だけ将来での姿勢とアピアランスの同時事前分布を、姿勢とアピアランスの過去の履歴と、Δtとに基づいて予測することを表わす。
なお、ｚｔは、時刻ｔにおける観測ベクトル、ｚ１：T＝｛ｚ１，・・・，ｚＴ｝は、観測ベクトルの時刻１から時刻Ｔまでの系列を表わす。また、ｘｔは、時刻ｔにおける履歴の状態推定値ベクトルを表わし、状態推定値ベクトルｘ１：T＝｛ｘ１，・・・，ｘＴ｝は、履歴の状態推定値ベクトルの時刻１から時刻Ｔまでの系列を表わす。さらに、Ｘｔは、時刻ｔにおける履歴情報を表わし、状態推定値ベクトルｘｔとアピアランス値Ａｔを含む履歴情報Ｘ１：T＝｛Ｘ１，・・・，ＸＴ｝は、履歴情報の時刻１から時刻Ｔまでの系列を表わす。
つまり、現在時刻ＴのΔｔ時刻後の事前分布を、現在までの履歴情報Ｘ１：Ｔと、予測時間先Δｔとから求めるものとして定義している。
なお、ｚｔは、時刻ｔにおける観測ベクトル、ｚ１：T＝｛ｚ１，・・・，ｚＴ｝は、観測ベクトルの時刻１から時刻Ｔまでの系列を表わす。また、ｘｔは、時刻ｔにおける履歴の状態推定値ベクトルを表わし、状態推定値ベクトルｘ１：T＝｛ｘ１，・・・，ｘＴ｝は、履歴の状態推定値ベクトルの時刻１から時刻Ｔまでの系列を表わす。さらに、Ｘｔは、時刻ｔにおける履歴情報を表わし、状態推定値ベクトルｘｔとアピアランス値Ａｔを含む履歴情報Ｘ１：T＝｛Ｘ１，・・・，ＸＴ｝は、履歴情報の時刻１から時刻Ｔまでの系列を表わす。
つまり、現在時刻ＴのΔｔ時刻後の事前分布を、現在までの履歴情報Ｘ１：Ｔと、予測時間先Δｔとから求めるものとして定義している。
また、上記式（１）は、状態推定値（対象の位置と姿勢を表わす情報）とアピアランス値（対象の外観形態を示すアピアランスを表わす情報）の同時事前分布を、未来の位置や姿勢を示す状態推定値ベクトルｘＴ＋Δｔと、過去の位置や姿勢を示す状態推定値ベクトルの履歴ｘ＾１：Ｔ、および、過去のアピアランス値Ａ＾１：Ｔが与えられた条件でのアピアランスの条件付き確率を用いて以下の通り定義する。
上述の式（２）の前半部分は、位置や姿勢の事前確率分布（状態事前確率分布）に相当する。ここでは、Δｔ時刻後の位置や姿勢を示す状態推定値ベクトルｘＴ＋Δｔがアピアランス値Ａ＾１：Ｔに依存しないこと、つまり姿勢のダイナミクスはアピアランス値には依存しないことと仮定している。後半部分は、姿勢の事前分布が与えられた条件でのアピアランスの条件付き確率分布（アピアランス事前確率分布）に相当する。
ここでは、Δｔ時刻後のアピアランス値ＡＴ＋Δｔは、Δｔ時刻後の位置や姿勢を示す状態推定値ベクトルｘＴ＋Δｔ、過去の位置や姿勢を示す状態推定値ベクトルの履歴ｘ＾１：Ｔ、およびアピアランス値Ａ１：Ｔに依存し、予測時間先Δｔには依存しないことと仮定している。
ここでは、Δｔ時刻後のアピアランス値ＡＴ＋Δｔは、Δｔ時刻後の位置や姿勢を示す状態推定値ベクトルｘＴ＋Δｔ、過去の位置や姿勢を示す状態推定値ベクトルの履歴ｘ＾１：Ｔ、およびアピアランス値Ａ１：Ｔに依存し、予測時間先Δｔには依存しないことと仮定している。
また、式（２）後半部分のアピアランスの条件付き確率を定めるため、アピアランス値の変化が主に姿勢の変動によりもたらされると仮定する。ただし、姿勢とアピアランスには１対１の確定的な関係があるわけではなく、それらの関係には不確定性が含まれることを仮定する。これは以下の様な観察による。
まず、物体の回転により、物体の今まで見えていた部分が見えなくなり、また見えなかった部分が現れることで、アピアランスが大きく変化する。しかし、アピアランスは照明変化や非剛体変形などによっても変化する。また、アピアランスの変化そのものをモデル化することは困難である。なぜなら、アピアランスは非常に高次元であり複雑に変化するためである。
上記の仮定と観測に基づき、本実施形態では姿勢とアピアランスとの関係を一種の確率分布として捉えるアプローチを採用する。ここで、ある姿勢が与えられた場合、その姿勢に対応するアピアランスはある幅を持った分布となり、逆にあるアピアランスが与えられた場合、それに対応する姿勢もある幅を持った分布となる。本実施形態では、このような不確定性をベイジアンフィルタの枠組みにより扱うことができる。
まず、物体の回転により、物体の今まで見えていた部分が見えなくなり、また見えなかった部分が現れることで、アピアランスが大きく変化する。しかし、アピアランスは照明変化や非剛体変形などによっても変化する。また、アピアランスの変化そのものをモデル化することは困難である。なぜなら、アピアランスは非常に高次元であり複雑に変化するためである。
上記の仮定と観測に基づき、本実施形態では姿勢とアピアランスとの関係を一種の確率分布として捉えるアプローチを採用する。ここで、ある姿勢が与えられた場合、その姿勢に対応するアピアランスはある幅を持った分布となり、逆にあるアピアランスが与えられた場合、それに対応する姿勢もある幅を持った分布となる。本実施形態では、このような不確定性をベイジアンフィルタの枠組みにより扱うことができる。
次に、事前確率分布推定部１１について、より詳細に説明する。事前確率分布推定部１１は、位置と姿勢で表わす状態とアピアランスの同時事前分布を表すパーティクル集合｛（ｘ＊（１），Ａ＊（１）），・・・，（ｘ＊（Ｎ），Ａ＊（Ｎ））}を、それらの過去の履歴を用いて生成する。なお、Ｎは、パーティクルの数である。
ここでは、上述の式（２）の同時事前分布が、対象の位置や姿勢の事前分布π（ｘＴ＋Δｔ｜ｘ＾１：Ｔ，Δｔ）と、それが与えられた下でのアピアランスの条件付き確率分布π（ＡＴ＋Δｔ｜ｘＴ＋Δｔ，ｘ＾１：Ｔ，Ａ＾１：Ｔ）の積で表されることに着目し、事前確率分布推定部１１を、位置・姿勢の事前分布を表すパーティクルの集合を求め、各パーティクルについてアピアランスを求めるという２段階の構成を有するものとする。ここでは、現在時刻をＴとし、現在からΔｔ時刻後の状態を予測するものとする。また、時刻１からＴに至る姿勢の履歴ｘ＾１：Ｔおよびアピアランスの履歴Ａ＾１：Ｔを既に保持しているものとする。
ここでは、上述の式（２）の同時事前分布が、対象の位置や姿勢の事前分布π（ｘＴ＋Δｔ｜ｘ＾１：Ｔ，Δｔ）と、それが与えられた下でのアピアランスの条件付き確率分布π（ＡＴ＋Δｔ｜ｘＴ＋Δｔ，ｘ＾１：Ｔ，Ａ＾１：Ｔ）の積で表されることに着目し、事前確率分布推定部１１を、位置・姿勢の事前分布を表すパーティクルの集合を求め、各パーティクルについてアピアランスを求めるという２段階の構成を有するものとする。ここでは、現在時刻をＴとし、現在からΔｔ時刻後の状態を予測するものとする。また、時刻１からＴに至る姿勢の履歴ｘ＾１：Ｔおよびアピアランスの履歴Ａ＾１：Ｔを既に保持しているものとする。
＜ステップ１ 位置や姿勢の事前確率分布の生成＞
事前確率分布推定部１１は、上述の通り、現時刻の事後確率分布の点推定値と過去の姿勢推定値（状態推定値）の履歴を用いて、時刻Ｔ＋Δｔにおける位置や姿勢の事前確率分布を表すパーティクル集合｛ｘ＊（１），・・・，ｘ＊（Ｎ）}を得る。これは式（２）の前半部分に相当するものである。
事前確率分布推定部１１は、上述の通り、現時刻の事後確率分布の点推定値と過去の姿勢推定値（状態推定値）の履歴を用いて、時刻Ｔ＋Δｔにおける位置や姿勢の事前確率分布を表すパーティクル集合｛ｘ＊（１），・・・，ｘ＊（Ｎ）}を得る。これは式（２）の前半部分に相当するものである。
＜ステップ２ アピアランスの事前確率分布の生成＞
事前確率分布推定部１１は、アピアランスの事前確率分布を表すパーティクルを生成するために、式（２）の後半部分の条件付き事前分布π（ＡＴ＋Δｔ｜ｘＴ＋Δｔ，ｘ＾１：Ｔ，Ａ＾１：Ｔ）からのランダムサンプリングを行う。これによりステップ１で求められた位置や姿勢の事前確率分布を表すパーティクル｛ｘ＊（１），・・・，ｘ＊（Ｎ）}の各々について対応するアピアランス｛Ａ＊（１），・・・，Ａ＊（Ｎ）}を生成する。
ここで、必要とされるのは、位置や姿勢ｘ＊（ｉ）が与えられた条件でのアピアランスの分布ｐ（Ａ｜ｘ＊（ｉ））である。事前確率分布推定部１１は、このアピアランスの分布を求めるため、ｘ＊（ｉ）と類似した過去の姿勢ｘ＾ｔにおけるアピアランス値Ａ＾ｔの混合により算出する。
これにより事前確率分布推定部１１は、ｘ＊（ｉ）と類似した姿勢ｘ＾ｔを履歴から取得し、ｘ＊（ｉ）と過去の類似の姿勢ｘ＾ｔとの差によるアピアランスの差を埋めるため、過去のアピアランス値Ａ＾ｔに対して幾何学変形を施す。ここでは、アピアランスの事前分布ｐ（Ａ｜ｘ＊（ｉ））を、以下に示す式（３）と定義する。
事前確率分布推定部１１は、アピアランスの事前確率分布を表すパーティクルを生成するために、式（２）の後半部分の条件付き事前分布π（ＡＴ＋Δｔ｜ｘＴ＋Δｔ，ｘ＾１：Ｔ，Ａ＾１：Ｔ）からのランダムサンプリングを行う。これによりステップ１で求められた位置や姿勢の事前確率分布を表すパーティクル｛ｘ＊（１），・・・，ｘ＊（Ｎ）}の各々について対応するアピアランス｛Ａ＊（１），・・・，Ａ＊（Ｎ）}を生成する。
ここで、必要とされるのは、位置や姿勢ｘ＊（ｉ）が与えられた条件でのアピアランスの分布ｐ（Ａ｜ｘ＊（ｉ））である。事前確率分布推定部１１は、このアピアランスの分布を求めるため、ｘ＊（ｉ）と類似した過去の姿勢ｘ＾ｔにおけるアピアランス値Ａ＾ｔの混合により算出する。
これにより事前確率分布推定部１１は、ｘ＊（ｉ）と類似した姿勢ｘ＾ｔを履歴から取得し、ｘ＊（ｉ）と過去の類似の姿勢ｘ＾ｔとの差によるアピアランスの差を埋めるため、過去のアピアランス値Ａ＾ｔに対して幾何学変形を施す。ここでは、アピアランスの事前分布ｐ（Ａ｜ｘ＊（ｉ））を、以下に示す式（３）と定義する。
ここで、ｆ（・）は幾何学変形、δ（・）はディラックデルタ関数、ｗ（ｔ）はｘ＊（ｉ）とｘ＾ｔにより定まる重みである。またαは、
そして、事前確率分布推定部１１は、式（３）に基づいて、ｗ（ｔ）により重み付けされた過去のアピアランスのランダムサンプリングによってアピアランスの事前確率分布を表すパーティクル集合を生成する。
ここでは、ｗ（ｔ）を履歴選択確率（ｈｉｓｔｏｒｙ ｓｅｌｅｃｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）とする。これは、時間軸上の関数として定義され、アピアランス推定対象の姿勢ｘ＊（ｉ）と過去の履歴に含まれる姿勢ｘ＾ｔ（ｔ＝１，・・・，Ｔ）とが類似するほど高い値を示す。
ここでは、位置や姿勢を表わす状態とアピアランスの関係の不確定性を過去の履歴の集合を用いて表現しており、履歴選択確率を用いた履歴からのランダムサンプリングにより、任意の姿勢に対応したアピアランスの分布が得られることを期待している。以下にステップ２の具体的手順を示す。
ここでは、ｗ（ｔ）を履歴選択確率（ｈｉｓｔｏｒｙ ｓｅｌｅｃｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）とする。これは、時間軸上の関数として定義され、アピアランス推定対象の姿勢ｘ＊（ｉ）と過去の履歴に含まれる姿勢ｘ＾ｔ（ｔ＝１，・・・，Ｔ）とが類似するほど高い値を示す。
ここでは、位置や姿勢を表わす状態とアピアランスの関係の不確定性を過去の履歴の集合を用いて表現しており、履歴選択確率を用いた履歴からのランダムサンプリングにより、任意の姿勢に対応したアピアランスの分布が得られることを期待している。以下にステップ２の具体的手順を示す。
＜ステップ２−１ 履歴のサンプリング＞
事前確率分布推定部１１は、パーティクルｘ＊（ｉ）と類似した姿勢の履歴をサンプリングする。例えば、事前確率分布推定部１１は、ｘ＊（ｉ）に対してひとつの過去の姿勢ｘ＾ｔ，ｔ〜ｗ（ｔ）を履歴選択確率に基づいてサンプリングする。これは、多くのサンプルｘ＊（ｉ），（ｉ＝１，・・・，Ｎ）を用いるため、各パーティクルについて、ひとつのアピアランスであってもアピアランスの多様性を十分に表現可能なためである。
ここでは、履歴選択確率ｗ（ｔ）として、アピアランス推定対象の姿勢ｘ＊（ｉ）と、各時刻ｔの履歴における姿勢ｘ＾ｔ（ｔ＜Ｔ）のユークリッド距離の逆数に比例する関数を用いる。
事前確率分布推定部１１は、パーティクルｘ＊（ｉ）と類似した姿勢の履歴をサンプリングする。例えば、事前確率分布推定部１１は、ｘ＊（ｉ）に対してひとつの過去の姿勢ｘ＾ｔ，ｔ〜ｗ（ｔ）を履歴選択確率に基づいてサンプリングする。これは、多くのサンプルｘ＊（ｉ），（ｉ＝１，・・・，Ｎ）を用いるため、各パーティクルについて、ひとつのアピアランスであってもアピアランスの多様性を十分に表現可能なためである。
ここでは、履歴選択確率ｗ（ｔ）として、アピアランス推定対象の姿勢ｘ＊（ｉ）と、各時刻ｔの履歴における姿勢ｘ＾ｔ（ｔ＜Ｔ）のユークリッド距離の逆数に比例する関数を用いる。
ここで，βは
＜ステップ２−２ アピアランスの推定＞
サンプリングされた姿勢ｘ＾ｔとアピアランスの推定対象パーティクルの姿勢ｘ＊（ｉ）との差を考慮して、Ａ＾ｔに対して、式（５）の幾何学変形を施すことで、Ａ＊（ｉ）を求める。
サンプリングされた姿勢ｘ＾ｔとアピアランスの推定対象パーティクルの姿勢ｘ＊（ｉ）との差を考慮して、Ａ＾ｔに対して、式（５）の幾何学変形を施すことで、Ａ＊（ｉ）を求める。
ここでは、微小な姿勢変化による微小なアピアランスの変化に関しては幾何学変形により良く予測できることを仮定している。
例えば、事前確率分布推定部１１は、（１）時間的再現確率を求め、（２）時間的再現確率から時間的なサンプリングを行い、（３）サンプリングされた過去の時刻における状態推定値を参照し、さらに不確定性を考慮したカーネル分布を重畳し、事前分布を求める。事前確率分布推定部１１は、この事前確率分布から、空間的なサンプリングを行うことで、事前確率分布を表わすパーティクルの集合を得る。
事後確率分布推定部１２は、事前確率分布推定１１によって推定的に算出される事前確率分布とその観測尤度とを用いて、事後確率分布を推定的に算出する。この事後確率分布推定部１２は、パーティクルフィルタの枠組みで、観測尤度により重み付けされたパーティクルの集合により、事後確率分布を表わす。
従って、事後確率分布推定部１２は、事前確率分布を表わすパーティクルの集合のそれぞれについて、照合誤差を求め、この照合誤差に基づいて観測尤度を計算する。つまり、事後確率分布推定部１２は、事前確率分布推定部１１によって算出されたアピアランス値Ａを用いて観測尤度を求める。
従って、事後確率分布推定部１２は、事前確率分布を表わすパーティクルの集合のそれぞれについて、照合誤差を求め、この照合誤差に基づいて観測尤度を計算する。つまり、事後確率分布推定部１２は、事前確率分布推定部１１によって算出されたアピアランス値Ａを用いて観測尤度を求める。
そして、全パーティクルの観測尤度に基づいた重み付け平均を次状態として予測しながら追跡を行っていく。そのため、各パーティクルについて観測尤度から重みを求め、重み付きパーティクル集合を得る。
この事後確率分布は、以下の式（６）で表すことができる。
この事後確率分布は、以下の式（６）で表すことができる。
ここで，ｋｔは、正規化項である。また、ｐ（ｚｔ｜ｘｔ）は、観測尤度である。
なお、観測尤度とは、事前確率分布予測部１１によって算出された事前確率分布が、観測結果からみて推定された位置に近いか否かを表わすものである。例えば、追跡対象をカメラで撮影した画像データと、テンプレートを各パーティクルの状態により変形（回転・並進）したものを照合することで、各パーティクルの状態がどの程度尤もらしいか判定を行うことができる。事後確率分布推定部１２では追跡対象に関する観測情報（入力画像など）と事前確率分布に基づき観測尤度を算出する。この事後確率分布推定部１２は、事前確率分布を表わすパーティクルの集合のそれぞれについて、照合誤差を求め、この照合誤差に基づいて観測尤度を計算する。ここで、ｘｔは時刻ｔにおける位置や姿勢パラメータを表す姿勢推定値（状態パラメータ）である。ｐｔは、過去の時刻ｔの姿勢が再び現れる確率を示す時間的再現確率である。
また、事後確率分布推定部１２は、算出した観測尤度に応じたスコアで重み付けされたパーティクルの集合を算出して、これを事後確率分布として推定結果算出部１３に出力する。
また、事後確率分布推定部１２は、算出した観測尤度に応じたスコアで重み付けされたパーティクルの集合を算出して、これを事後確率分布として推定結果算出部１３に出力する。
推定結果算出部１３は、事後確率分布推定部１２によって算出された事後確率分布を表す重み付きパーティクル集合を用いて、推定結果情報Ｄ４を算出する。この推定結果算出部１３は、例えば、事後確率分布を表すパーティクルの重み付き平均、あるいは、最大観測尤度を持つパーティクルの姿勢などにより推定結果情報Ｄ４を求める。言い換えると、推定結果算出部１３は、例えば、観測尤度の重みにより重み付けしたパーティクルの状態の平均を推定結果情報Ｄ４として得る。
また、推定結果算出部１３は、形状モデル蓄積装置１６から追跡対象のおおまかな形状を示す形状モデル情報Ｄ３を読み出すとともに、履歴蓄積装置１５から姿勢推定値の履歴テーブルＤ１から状態推定値ベクトルｘｔを読み出し、この形状モデル情報Ｄ３と状態推定値ベクトルｘｔに基づき、アピアランスの推定結果を示す時刻ｔに対応するアピアランス値Ａｔを算出する。
この推定結果算出部１３は、例えば、形状モデル情報Ｄ３を、履歴テーブルＤ１の状態推定値ベクトルｘｔに応じた変化量で形状モデルを回転・並進させることで、現在の入力画像上での対象の領域を特定して、アピアランスを求める。ここで、アピアランスとは、オブジェクトの外見を表す情報である。例えば、追跡対象の領域の画素値の集合をアピアランスとして用いることができる。
この推定結果算出部１３は、例えば、形状モデル情報Ｄ３を、履歴テーブルＤ１の状態推定値ベクトルｘｔに応じた変化量で形状モデルを回転・並進させることで、現在の入力画像上での対象の領域を特定して、アピアランスを求める。ここで、アピアランスとは、オブジェクトの外見を表す情報である。例えば、追跡対象の領域の画素値の集合をアピアランスとして用いることができる。
この推定結果算出部１３によるアピアランスの求め方は、手法に依存する。追跡対象の領域の画素の集合をアピアランスとする手法では、推定結果算出部１３が、その領域の画素値をアピアランスとする。また、追跡対象の領域から予め決められた特徴を示す特徴点を抽出する処理により注目点（特徴点）を選択してアピアランスとする手法では、推定結果算出部１３が、特定された追跡対象の領域に対して、同様の処理を行い、アピアランスを求める。
追跡安定性判定部１４は、現在の推定結果情報Ｄ４の信頼性について判定を行う。この追跡安定性判定部１４は、現在の推定結果情報Ｄ４が信頼できると判定した場合、推定対象時刻設定部１８へ処理を移す。一方、追跡安定性判定部１４は、現在の状態推定結果情報Ｄ２が信頼できないと判定した場合、現在の状態推定結果情報Ｄ２を履歴蓄積装置１５に蓄積させることなく削除する。つまり、追跡安定性判定部１４は、信頼できると判断した場合、推定対象時刻設定部１８に対して対象時刻を設定する処理を指示する。
なお、追跡安定性判定部１４による信頼性の判定については、重みの最大のパーティクルの重みをしきい値処理することで求めることができる。追跡安定性判定部１４は、重みが予め定められたしきい値Ｒよりも大きい場合、その状態推定結果情報Ｄ２は信頼できるものと判定する。
なお、追跡安定性判定部１４による信頼性の判定については、重みの最大のパーティクルの重みをしきい値処理することで求めることができる。追跡安定性判定部１４は、重みが予め定められたしきい値Ｒよりも大きい場合、その状態推定結果情報Ｄ２は信頼できるものと判定する。
履歴蓄積部１７は、追跡安定性判定部１４から出力される推定結果情報Ｄ４を、履歴テーブルＤ１の時刻と対応付けて、履歴蓄積装置１５に蓄積する。
推定対象時刻設定部１８は、追跡対象の時刻をインクリメントする。
終了判定部１９は、状態推定を継続するか否かを判断する。継続する場合、終了判定部１９は、事前確率分布予測部１１に対して、再び状態推定を行うことを指示する。
推定対象時刻設定部１８は、追跡対象の時刻をインクリメントする。
終了判定部１９は、状態推定を継続するか否かを判断する。継続する場合、終了判定部１９は、事前確率分布予測部１１に対して、再び状態推定を行うことを指示する。
次に、図４を参照して、本実施形態に係る状態推定方法の一例について説明する。図４は、本実施形態に係る状態推定方法の一例について説明する図である。本発明では、推定対象の状態として、位置や姿勢に加えて、アピアランスを含め、両者の事前確率分布を過去の履歴に基づいて推定する。
図４に示す通り、本発明の状態推定方法は、事前確率分布を予測する事前確率分布予測ステップＳＴ１０と事後確率分布を推定する事後確率分布推定ステップＳＴ２０と、推定結果を算出する推定結果算出ステップＳＴ３０と、追跡の安定性を判定する追跡安定性判定ステップＳＴ４０と、履歴を蓄積する履歴蓄積ステップＳＴ５０と、状態推定対象時刻を設定する対象時刻設定ステップＳＴ６０と、終了したかどうかを判定する終了判定ステップＳＴ７０とを有する。
図４に示す通り、本発明の状態推定方法は、事前確率分布を予測する事前確率分布予測ステップＳＴ１０と事後確率分布を推定する事後確率分布推定ステップＳＴ２０と、推定結果を算出する推定結果算出ステップＳＴ３０と、追跡の安定性を判定する追跡安定性判定ステップＳＴ４０と、履歴を蓄積する履歴蓄積ステップＳＴ５０と、状態推定対象時刻を設定する対象時刻設定ステップＳＴ６０と、終了したかどうかを判定する終了判定ステップＳＴ７０とを有する。
事前確率分布予測ステップＳＴ１０では、事前確率分布予測部１１が、履歴蓄積装置１５に蓄積された過去の履歴テーブルＤ１と時間的再現確率テーブルＤ２を参考にして事前確率分布を算出する。
事前確率分布予測部１１は、状態の事前確率分布を予測する。ここで状態は、位置や姿勢およびアピアランスを含む。パーティクルフィルタの枠組みでは、確率分布をパーティクルの集合で表わす。そのため、事前確率分布予測部１１は、位置や姿勢とアピアランスの同時事前分布を表すパーティクルの集合を求める。
事前確率分布予測部１１は、状態の事前確率分布を予測する。ここで状態は、位置や姿勢およびアピアランスを含む。パーティクルフィルタの枠組みでは、確率分布をパーティクルの集合で表わす。そのため、事前確率分布予測部１１は、位置や姿勢とアピアランスの同時事前分布を表すパーティクルの集合を求める。
事後確率分布推定ステップＳＴ２０では、事後確率分布推定部１２が、事前確率分布推定ステップＳＴ１０において事前確率分布予測部１１によって推定された事前確率分布と、その観測尤度とを用いて事後確率分布を算出する。例えば、事後確率分布推定部１２は、事前確率分布が表わすパーティクルの集合それぞれについて、照度誤差を求め、照度誤差に基づいて観測尤度を計算し、各パーティクルについて観測尤度に応じた重みに基づき、重み付きパーティクル集合を、事後確率分布として得る。
推定結果算出ステップＳＴ３０では、推定結果算出部１３が、事後確率分布推定部１２によって算出された事後確率分布を表す重み付きパーティクル集合を用いて姿勢の推定結果（状態推定結果値Ｄ５）を算出するとともに、アピアランスの推定結果（アピアランス推定結果値Ｄ６）を算出する。なお、上述の推定結果情報Ｄ４は、状態推定結果値Ｄ５と、アピアランス推定結果値Ｄ６とを含む。
具体的にいうと、推定結果算出部１３は、事後確率分布を表すパーティクルの重み付き平均、あるいは、最大尤度を持つパーティクルの姿勢などにより姿勢の推定結果（状態推定結果値Ｄ３）を算出する。また、推定結果算出部１３は、形状モデル蓄積装置１６に蓄積された、追跡対象のおおまかな形状と姿勢推定値とからアピアランスの推定結果（アピアランス推定結果値Ｄ６）を算出する。
具体的にいうと、推定結果算出部１３は、事後確率分布を表すパーティクルの重み付き平均、あるいは、最大尤度を持つパーティクルの姿勢などにより姿勢の推定結果（状態推定結果値Ｄ３）を算出する。また、推定結果算出部１３は、形状モデル蓄積装置１６に蓄積された、追跡対象のおおまかな形状と姿勢推定値とからアピアランスの推定結果（アピアランス推定結果値Ｄ６）を算出する。
追跡安定性判定ステップＳＴ４０では、追跡安定性判定部１４が、現在の状態推定結果の信頼性について判定を行う。この追跡安定性判定部１４は、現在の状態推定結果が信頼できると判定された場合、状態推定対象時刻設定ステップＳＴ６０へ処理を移す。一方、信頼できないと判定された場合、追跡安定性判定部１４は、履歴蓄積ステップＳＴ５０へ処理を移す。
履歴蓄積ステップＳＴ５０では、追跡安定性判定部１４から出力される状態推定結果値Ｄ５およびアピアランス推定結果値Ｄ６を、時刻ｔごとに、それぞれ、履歴テーブルＤ１の状態推定値ベクトルｘｔおよびアピアランス値Ａｔとして、履歴蓄積装置１５に蓄積する。
推定対象時刻設定ステップＳＴ６０では、推定対象時刻設定部１８が、追跡対象の時刻をインクリメントする。
終了判定ステップＳＴ７０では、終了判定部１９が、状態推定を継続するか否かを判断する。継続する場合はステップＳＴ１０へ移行する。
終了判定ステップＳＴ７０では、終了判定部１９が、状態推定を継続するか否かを判断する。継続する場合はステップＳＴ１０へ移行する。
＜事前確率分布予測方法１＞
次に、図５を参照して、図４に示した事前確率分布予測ステップＳＴ１０の一例についてさらに詳しく説明する。図５は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１０１で、事前確率分布予測部１１は、姿勢の事前確率分布からのランダムサンプリングによって、姿勢の事前確率分布を表す１つのパーティクルを得る。なお、事前確率分布予測部１１による姿勢の事前確率分布の取得方法は、パーティクルフィルタの枠組みで頻繁に用いられる、直前の事後確率分布からのランダムウォークなどが利用可能である。ただし、これに限らず、非特許文献１、２に記載の時間的再現確率を用いる方法等であってもよい。
次に、図５を参照して、図４に示した事前確率分布予測ステップＳＴ１０の一例についてさらに詳しく説明する。図５は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１０１で、事前確率分布予測部１１は、姿勢の事前確率分布からのランダムサンプリングによって、姿勢の事前確率分布を表す１つのパーティクルを得る。なお、事前確率分布予測部１１による姿勢の事前確率分布の取得方法は、パーティクルフィルタの枠組みで頻繁に用いられる、直前の事後確率分布からのランダムウォークなどが利用可能である。ただし、これに限らず、非特許文献１、２に記載の時間的再現確率を用いる方法等であってもよい。
ステップＳＴ１０２で、事前確率分布予測部１１は、ステップＳＴ１０１において得られた姿勢の事前確率分布を表わす１つのパーティクルに対して、過去の履歴を用いてアピアランスを求める。例えば、類似した過去の姿勢のアピアランスを用いるなどの方法が考えられる。
ステップＳＴ１０３で、事前確率分布予測部１１は、ステップＳＴ１０１において得られた姿勢とステップＳＴ１０２において推定されたアピアランスの組をパーティクルの集合に加える。
事前確率分布予測部１１は、このステップＳＴ１０１〜１０３をあらかじめ定められた規定のパーティクル数に達するまで繰り返す。
ステップＳＴ１０３で、事前確率分布予測部１１は、ステップＳＴ１０１において得られた姿勢とステップＳＴ１０２において推定されたアピアランスの組をパーティクルの集合に加える。
事前確率分布予測部１１は、このステップＳＴ１０１〜１０３をあらかじめ定められた規定のパーティクル数に達するまで繰り返す。
＜事前確率分布予測方法２＞
次に、図６を参照して、図４に示した事前確率分布予測ステップＳＴ１０の他の例についてさらに詳しく説明する。図６は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１２１で、事前確率分布予測部１１は、姿勢の事前確率分布からのランダムサンプリングによって、姿勢の事前確率分布を表わす１つのパーティクルを取得し、これを、ランダムノイズを加えて姿勢の事前分布を表すパーティクルとする。
この事前確率分布予測部１１は、パーティクルフィルタの枠組みでしばしば用いられるように、直前の事後確率分布からランダムウォークによって姿勢の事前確率分布を求めることができる。また、事前確率分布予測部１１は、非特許文献１、２のように、過去の履歴が時間的再現確率に従って再びあらわれることを仮定して姿勢の事前確率分布を求めるものであっても良い。
次に、図６を参照して、図４に示した事前確率分布予測ステップＳＴ１０の他の例についてさらに詳しく説明する。図６は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１２１で、事前確率分布予測部１１は、姿勢の事前確率分布からのランダムサンプリングによって、姿勢の事前確率分布を表わす１つのパーティクルを取得し、これを、ランダムノイズを加えて姿勢の事前分布を表すパーティクルとする。
この事前確率分布予測部１１は、パーティクルフィルタの枠組みでしばしば用いられるように、直前の事後確率分布からランダムウォークによって姿勢の事前確率分布を求めることができる。また、事前確率分布予測部１１は、非特許文献１、２のように、過去の履歴が時間的再現確率に従って再びあらわれることを仮定して姿勢の事前確率分布を求めるものであっても良い。
なお、非特許文献１による場合、（１）時間的再現確率に従って過去の履歴を１つ選択し、（２）選択された過去の履歴の姿勢にガウシアンノイズを加え、パーティクルの姿勢とする。ただし、時間的再現確率は、予測時間先（何時刻先を予測しているかを示す情報）、過去の姿勢の履歴と、直前の姿勢推定値との類似性に基づいて計算される。現在の状態と類似した姿勢に続く履歴は再び現れる可能性が高いと仮定し、時間的再現確率が大きな値をとる。
ステップＳＴ１２２で、事前確率分布予測部１１は、パーティクルの姿勢と類似した姿勢の履歴を選択する。
ステップＳＴ１２３で、事前確率分布予測部１１は、履歴のアピアランスを、パーティクルの姿勢と、選択された履歴の姿勢に基づいて幾何変形し、パーティクルのアピアランスを推定する。幾何変形は、３次元回転などが考えられる。
ステップＳＴ１２４で、事前確率分布予測部１１は、ステップＳＴ１２１で得られた姿勢と、ステップＳＴ１２３で得られたアピアランスの組を、事前分布を表すパーティクル集合に加える。
ステップＳＴ１２３で、事前確率分布予測部１１は、履歴のアピアランスを、パーティクルの姿勢と、選択された履歴の姿勢に基づいて幾何変形し、パーティクルのアピアランスを推定する。幾何変形は、３次元回転などが考えられる。
ステップＳＴ１２４で、事前確率分布予測部１１は、ステップＳＴ１２１で得られた姿勢と、ステップＳＴ１２３で得られたアピアランスの組を、事前分布を表すパーティクル集合に加える。
なお、事前分布予測手順ステップＳＴ１２２で、事前確率分布予測部１１は、パーティクルの姿勢と類似した姿勢を確率的に選択する。この事前確率分布予測部１１は、例えば、パーティクルの姿勢と過去の履歴の姿勢との差の逆数に比例した確率に従うことができる。あるいは、事前確率分布予測部１１は、パーティクルの姿勢と過去の履歴の姿勢との差をdとして、以下の式に従う確率としてもよい。
ここで、σは、あらかじめ定められた定数であり、選択される確率の分散を示す。分散σが大きい場合、パーティクルの姿勢との差が大きな過去の履歴が選択される確率が高まる。
また、本発明によれば、事前確率分布推定部１１は、すべてのパーティクルについて、ステップＳＴ１０で位置や姿勢に加えてアピアランスを推定している。そのため、ステップＳＴ２０で、事後確率分布推定部１２が、推定されたアピアランスと入力画像とを照合することで、照合誤差を求め、照合誤差に基づいて観測尤度を計算し、それを各パーティクルの重みとする。この重み付けされたパーティクルの集合が事後確率分布を表す。
ここで、アピアランスの例として、追跡対象領域内のピクセル値の集合、あるいは、追跡対象の注目点の座標とその画素値の集合などが考えられる。
また、照合誤差の計算方法として、画素値の絶対誤差の和、画素値の絶対誤差ｅに対してロバスト関数を適用したものｇ(ｅ)＝ｅ／(ｅ＋１)などが利用可能であるが、本発明はこれに限られない。
また、照合誤差の計算方法として、画素値の絶対誤差の和、画素値の絶対誤差ｅに対してロバスト関数を適用したものｇ(ｅ)＝ｅ／(ｅ＋１)などが利用可能であるが、本発明はこれに限られない。
ステップＳＴ３０で、推定結果算出部１３は、事後確率分布に基づいて推定結果を求める。まず、推定結果算出部１３は、各パーティクルが保持する姿勢と重みを用いて、重み付け平均で姿勢の推定結果を求める。
この推定結果算出部１３は、アピアランスの推定結果の算出において、追跡対象の形状モデルを姿勢推定結果によって回転・並進することで、対象の画面上での位置を求め、その領域のアピアランスを、推定結果のアピアランスとして得る。物体は姿勢が変化すると観測される外見は変化する。
本発明では、形状モデル蓄積装置１６に蓄積された既知の形状モデルを、姿勢推定結果に応じて回転・並進させることで、現在観測できる外見（外観形態）を特定する。特定された追跡対象の領域からアピアランスを取得する。
この推定結果算出部１３は、アピアランスの推定結果の算出において、追跡対象の形状モデルを姿勢推定結果によって回転・並進することで、対象の画面上での位置を求め、その領域のアピアランスを、推定結果のアピアランスとして得る。物体は姿勢が変化すると観測される外見は変化する。
本発明では、形状モデル蓄積装置１６に蓄積された既知の形状モデルを、姿勢推定結果に応じて回転・並進させることで、現在観測できる外見（外観形態）を特定する。特定された追跡対象の領域からアピアランスを取得する。
アピアランスの例として、追跡対象の領域の画素値の集合や、追跡対象の領域から何らかの注目点検出をした結果の座標値と画素値の集合などが考えられる。
ステップＳＴ４０で、追跡安定性判定部１４は、追跡が安定しているか否かを判定する。これは、パーティクルの最大尤度などにより判断でき、最大尤度がしきい値より大きい場合、追跡が安定していると考える。その他、パーティクルの分散・尖度・歪度などの指標を用いてもかまわない。追跡が安定している場合にはステップＳＴ５０へ移行する。そうでない場合にはステップＳＴ６０へ移行する。
ステップＳＴ５０で、履歴蓄積部１７は、履歴を蓄積する。本発明における履歴は、ステップＳＴ３０で求められる過去の姿勢推定値（状態推定値）とアピアランス値の組である。これを履歴蓄積装置１５に蓄積する。
ステップＳＴ５０で、履歴蓄積部１７は、履歴を蓄積する。本発明における履歴は、ステップＳＴ３０で求められる過去の姿勢推定値（状態推定値）とアピアランス値の組である。これを履歴蓄積装置１５に蓄積する。
［第２実施形態］
本実施形態に係る状態推定装置２は、カメラによって撮影される映像中に映る人物の顔姿勢の追跡を行う。この状態推定装置２は、図７に示す通り、上述の状態推定装置１にカメラ２１と画像処理部２２とをさらに備える構成である。ここでは各構成の詳細については、第１実施形態と同一の符号を付すことで、その説明を省略する。
この顔状態の追跡とは、顔の画面上での位置および向き（姿勢）を推定することである。本発明では、追跡対象の位置と姿勢ｘ（画面上での顔の中心（ｍｘ，ｍｙ）と３軸中心回転（ｒｘ，ｒｙ，ｒｚ）を含むベクトル）とアピアランス値Ａを推定対象の状態を示す情報とする。
本実施形態に係る状態推定装置２は、カメラによって撮影される映像中に映る人物の顔姿勢の追跡を行う。この状態推定装置２は、図７に示す通り、上述の状態推定装置１にカメラ２１と画像処理部２２とをさらに備える構成である。ここでは各構成の詳細については、第１実施形態と同一の符号を付すことで、その説明を省略する。
この顔状態の追跡とは、顔の画面上での位置および向き（姿勢）を推定することである。本発明では、追跡対象の位置と姿勢ｘ（画面上での顔の中心（ｍｘ，ｍｙ）と３軸中心回転（ｒｘ，ｒｙ，ｒｚ）を含むベクトル）とアピアランス値Ａを推定対象の状態を示す情報とする。
ステップＳＴ９０１で、状態推定装置１は、初期化を行う。初期化ステップでは、画像処理部２２は、カメラ２１によって撮影された追跡対称の顔の画像データに基づき、正面顔検出手法により、正面顔を検出する。なお、初期化時の顔は、位置（０，０）、姿勢（０，０，０）とする。
ステップＳＴ９０２で、画像処理部２２は、カメラ２１から出力された画像データに基づき、フレーム画像を読み込む。また、画像処理部２２は、映像ファイルに対して追跡処理を行う場合は、映像ファイルのフレーム画像を読み込む。なお、画像処理部２２は、カメラ２１に写る映像に対して追跡処理を行う場合では、カメラの１フレームを読み込む。
ステップＳＴ９０３で、事前確率分布予測部１１は、事前確率分布を予測（算出）する。本実施例では、事前分布予測の第１段階として、事前確率分布予測部１１は、姿勢の事前確率分布を求める。姿勢の事前確率分布は、直前の状態からのランダムウォークあるいは非特許文献１の過去の履歴を用いた手法、など様々な方法から求めることができる。この事前分布からのランダムサンプリングにより姿勢の事前分布を表すパーティクルの集合を得ることができる。
そして、事前分布予測の第２段階として、事前確率分布予測部１１は、各パーティクルについて、アピアランスを推定する。
（２．１）第２段階では、まず、事前確率分布予測部１１が、アピアランス推定対象のパーティクルの姿勢と類似した姿勢の過去の履歴を選択する。この選択は履歴選択確率に基づいて確率的に行う。履歴選択確率は、姿勢の類似性に基づいて、過去の時間軸上に定義される。本実施例では、パーティクルの姿勢と、各時刻における履歴の姿勢との差の逆数に比例する値をとるものとする。
（２．１）第２段階では、まず、事前確率分布予測部１１が、アピアランス推定対象のパーティクルの姿勢と類似した姿勢の過去の履歴を選択する。この選択は履歴選択確率に基づいて確率的に行う。履歴選択確率は、姿勢の類似性に基づいて、過去の時間軸上に定義される。本実施例では、パーティクルの姿勢と、各時刻における履歴の姿勢との差の逆数に比例する値をとるものとする。
（２．２）次いで、事前確率分布予測部１１は、パーティクルの姿勢と、選択された履歴の姿勢との違いを考慮して、履歴のアピアランスの幾何学変形によりパーティクルの姿勢を推定（算出）する。本実施例では、幾何学変形として、３次元回転を用いる。
以上の２段階の処理により、事前確率分布予測部１１は、姿勢とアピアランスの同時事前分布を表すパーティクルの集合を得ることができる。
以上の２段階の処理により、事前確率分布予測部１１は、姿勢とアピアランスの同時事前分布を表すパーティクルの集合を得ることができる。
ステップＳＴ９０４で、事後確率分布推定部１２は、事後確率分布を推定する。本発明では、各パーティクルがアピアランスの推定値を保持している。そのため、事後確率分布推定では、各パーティクルのアピアランスと、入力画像とを照合することで照合誤差を求める。そして照合誤差に基づいて観測尤度を求め、観測尤度により重み付けられたパーティクルの集合が事後確率分布を表わす。
事後確率分布推定部１２は、例えば、アピアランスの注目点（特長点）における画素値の差に基づく値を用いて、アピアランスと入力画像との照合をする。この事後確率分布推定部１２は、具体的には、以下の式に従って算出する。
ステップＳＴ９０５で、推定結果算出部１３は、推定結果を算出する。本実施例では、姿勢の推定値は、姿勢の重み付き平均により求める。アピアランスは、姿勢推定値と、人物顔平均モデルとから得る。まず、人物顔平均モデルを姿勢推定値により回転・並進させることで、顔領域を特定する。そして、特定された顔領域に対して、注目点抽出処理を行うことでアピアランスを取得する。
本実施例では、顔領域から、エッジ近傍および画素値の極大・極小点から約２５０点の注目点を選択し、注目点の座標とその画素値の集合をアピアランスとする。
本実施例では、顔領域から、エッジ近傍および画素値の極大・極小点から約２５０点の注目点を選択し、注目点の座標とその画素値の集合をアピアランスとする。
ステップＳＴ９０６で、追跡安定性判定部１４は、追跡が安定して行われているかの判断を行う。安定している場合にはステップＳＴ９０７へ移行する。そうでない場合にはステップＳＴ９０８へ移行する。
ステップＳＴ９０７で、履歴蓄積部１７は、履歴を蓄積する。すなわちステップＳＴ９０５で得られた姿勢推定値（状態推定値）とアピアランスの組を履歴として蓄積する。
ステップＳＴ９０７で、推定対象時刻設定部１８は、処理対象の時刻を１増やす。
ステップＳＴ９０９で、終了判定部１９は、映像が終了したか判定を行い、終了していれば終了。終了していなければステップＳＴ９０２へ戻る。
ステップＳＴ９０７で、履歴蓄積部１７は、履歴を蓄積する。すなわちステップＳＴ９０５で得られた姿勢推定値（状態推定値）とアピアランスの組を履歴として蓄積する。
ステップＳＴ９０７で、推定対象時刻設定部１８は、処理対象の時刻を１増やす。
ステップＳＴ９０９で、終了判定部１９は、映像が終了したか判定を行い、終了していれば終了。終了していなければステップＳＴ９０２へ戻る。
上述の通り、過去の追跡対象の状態の履歴に基づいて次の時刻における状態の事前確率分布を推定することにより、物体が激しい動きをしても、対称を追跡することができる。このとき、事前確率分布を推定するために、追跡対象の位置や姿勢を表わす状態の情報にくわえて、カメラにより観測されるアピアランス（外見、見た目、外観形態）をパラメータに含めて推定を行うことにより、位置や姿勢の大きな変化に伴うアピアランスの変化に対しても頑健に、対象を追跡することができる。
一方、本発明によらない場合、追跡対象のアピアランスの変化を考慮しておらず、初期化時に構築したテンプレートをアピアランスモデルとして保持し、このテンプレートを各パーティクルの状態により回転・並進させて入力画像と照合し、その照合誤差から観測尤度を求める。追跡対象の姿勢が大きく変化すると、テンプレートの単純な回転では、対象のアピアランスの変化を適切に表すことができなくなる。これは、回転によりテンプレートに含まれる正面顔が徐々に観測できなくなるためである。その結果、観測尤度を適切に求めることがこんなんとなり、しばしば追跡にしっぱいしてしまうという問題があった。上述の非文献文献１に記載されているＭ−ＰＦを用いた顔姿勢追跡では首振り方向では、５０度程度までの追跡が限界であった。
しかし、本発明によると、姿勢とアピアランスの同時事前確率分布を予測するよう拡張することで、Ｍ−ＰＦの特長を保ちつつ追跡可能な姿勢の範囲を広げることができる。
しかし、本発明によると、姿勢とアピアランスの同時事前確率分布を予測するよう拡張することで、Ｍ−ＰＦの特長を保ちつつ追跡可能な姿勢の範囲を広げることができる。
なお、上述した第１〜２実施形態において、状態推定装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１１・・・事前確率分布予測部、１２・・・事後確率分布推定部、１３・・・推定結果算出部、１４・・・追跡安定性判定部、１５・・・履歴蓄積装置、１６・・・形状モデル蓄積装置、１７・・・履歴蓄積部、１８・・・推定対象時刻設定部、１９・・・終了判定部
Claims (5)
- 過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴蓄積装置と、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測部と、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定部と、
前記事後確率分布が示す前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積部と
を備えることを特徴とする状態推定装置。 - 前記時間的再現確率は、
前記過去の経時的な前記観測対象の状態の変化と、直前の前記状態情報の類似性に基づいて算出されることを特徴とする請求項１に記載の状態推定装置。 - 事前確率分布予測部は、
前記状態事前確率分布を表わす前記複数のパーティクルと類似する前記状態情報を選択し、当該状態情報と対応付けられている前記アピアランス情報に基づき、前記アピアランス事前確率分布を作成することを特徴とする請求項１あるいは２に記載の状態推定装置。 - 過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴蓄積装置を備える状態推定装置における状態推定方法であって、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測ステップと、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定ステップと、
前記事後確率分布が示す前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積ステップと、
を備えることを特徴とする状態推定方法。 - コンピュータに、
過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻における前記観測対象の外観形態を示すアピアランス情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を、それぞれ対応付けるテーブルを記憶する履歴記憶手段、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす状態事前確率分布を作成するとともに、前記状態情報と対応付けられている前記アピアランス情報に基づき、未来の前記観測対象の外観形態を表わすアピアランス事前確率分布を作成する事前確率分布予測手段、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、当該観測情報と前記アピアランス事前確率分布とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定手段、
前記事後確率分布が示す前記状態情報を前記履歴記憶手段に更新して蓄積する履歴蓄積手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010140961A JP5340228B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010140961A JP5340228B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012003719A true JP2012003719A (ja) | 2012-01-05 |
| JP5340228B2 JP5340228B2 (ja) | 2013-11-13 |
Family
ID=45535580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010140961A Active JP5340228B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5340228B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013200682A (ja) * | 2012-03-23 | 2013-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 時間的再現確率推定装置、状態追跡装置、方法、及びプログラム |
| JP2013200683A (ja) * | 2012-03-23 | 2013-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 状態追跡装置、方法、及びプログラム |
| CN103839280A (zh) * | 2014-03-21 | 2014-06-04 | 武汉科技大学 | 一种基于视觉信息的人体姿态跟踪方法 |
| JP2015212861A (ja) * | 2014-05-01 | 2015-11-26 | 日本電信電話株式会社 | 多関節物体追跡装置、多関節物体追跡方法、及びプログラム |
| WO2016011745A1 (zh) * | 2014-07-23 | 2016-01-28 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6874776B2 (ja) * | 2017-01-24 | 2021-05-19 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、情報処理プログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
-
2010
- 2010-06-21 JP JP2010140961A patent/JP5340228B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
Non-Patent Citations (3)
| Title |
|---|
| CSNG200501405028; 岡 兼司: '適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定システム' 電子情報通信学会論文誌 第Ｊ８８-Ｄ-ＩＩ巻 第８号, 20050801, ｐ．１６０１-１６１３, 社団法人電子情報通信学会 * |
| JPN6013036720; 岡 兼司: '適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定システム' 電子情報通信学会論文誌 第Ｊ８８-Ｄ-ＩＩ巻 第８号, 20050801, ｐ．１６０１-１６１３, 社団法人電子情報通信学会 * |
| JPN7013002785; 三上 弾: '頑健な顔姿勢追跡のための状態履歴の記憶に基づくパーティクルフィルタ' 画像の認識・理解シンポジウム（ＭＩＲＵ２００９） , 20090722, ＯＳ３-１：６３-７０ * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013200682A (ja) * | 2012-03-23 | 2013-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 時間的再現確率推定装置、状態追跡装置、方法、及びプログラム |
| JP2013200683A (ja) * | 2012-03-23 | 2013-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 状態追跡装置、方法、及びプログラム |
| CN103839280A (zh) * | 2014-03-21 | 2014-06-04 | 武汉科技大学 | 一种基于视觉信息的人体姿态跟踪方法 |
| JP2015212861A (ja) * | 2014-05-01 | 2015-11-26 | 日本電信電話株式会社 | 多関節物体追跡装置、多関節物体追跡方法、及びプログラム |
| WO2016011745A1 (zh) * | 2014-07-23 | 2016-01-28 | 小米科技有限责任公司 | 图像分割方法、装置及设备 |
| US9665945B2 (en) | 2014-07-23 | 2017-05-30 | Xiaomi Inc. | Techniques for image segmentation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5340228B2 (ja) | 2013-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5340228B2 (ja) | 状態推定装置、状態推定方法、およびプログラム | |
| CN110490076B (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| WO2020125623A1 (zh) | 活体检测方法、装置、存储介质及电子设备 | |
| US9928443B2 (en) | Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting | |
| US8140458B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP6161257B2 (ja) | イベント検出装置及びその方法、動作認識装置及びその方法、プログラム | |
| US20100185571A1 (en) | Information processing apparatus, information processing method, and program | |
| US20100202670A1 (en) | Context aware, multiple target image recognition | |
| JP2004199669A (ja) | 顔検出 | |
| JP2004192637A (ja) | 顔検出 | |
| WO2015186436A1 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| JP2009140366A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| JP4880805B2 (ja) | 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム | |
| JP2011510420A5 (ja) | ||
| TWI707243B (zh) | 基於眼球跟蹤之活體檢測的方法、裝置及系統 | |
| JP5087037B2 (ja) | 画像処理装置、方法及びプログラム | |
| CN111753643A (zh) | 人物姿态识别方法、装置、计算机设备和存储介质 | |
| JP5674550B2 (ja) | 状態追跡装置、方法、及びプログラム | |
| CN108875549B (zh) | 图像识别方法、装置、系统及计算机存储介质 | |
| US20120314904A1 (en) | Image collation system, image collation method and computer program | |
| JP5436351B2 (ja) | 状態推定装置、状態推定方法、およびプログラム | |
| CN111263955A (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
| WO2022105745A1 (zh) | 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置 | |
| JP2010108496A (ja) | データをあらわす属性を選択する方法、コンピューター読み取り可能な媒体、生成モデルを形成する方法および生成モデルを形成するシステム | |
| JP2009042910A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121029 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130719 |
|
| TRDD | Decision of grant or rejection written | ||
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130725 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130806 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5340228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |