JP2000251078A - 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 身体パーツ同士の自己遮蔽による影響を抑
え、高い精度で人物の３次元姿勢を推定する。 【解決手段】 この方法は、少なくとも２台のビデオカ
メラで異なる方向から撮像された人物の画像の各々にお
いて人物領域を抽出して人物の特徴部位の位置を求める
ステップＳＰ１−５、画像の各々の人物領域から求めら
れた特徴部位の２次元配置に基づいて人物の３次元姿勢
を推定するステップＳＰ６−７、推定された３次元姿勢
によって肘の仮位置を推定するステップＳＰ７、およ
び、肘の仮位置が手先点の位置と所定の関係を満たして
いるか否かに応じて、肘の仮位置を肘の位置とする処理
と、肘の仮位置を破棄して、ニューラルネットワークに
より肘の位置を推定する処理とのいずれかを選択的に行
なうステップＳＰ８を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は人物の３次元姿勢
推定方法および装置に関し、特に、複数のカメラで撮像
された人物のシルエット画像に対し、人体形状の先験的
知識を用いて手先位置を検出して人物の３次元姿勢を推
定する人物の３次元姿勢推定方法および装置ならびに人
物の３次元肘位置推定方法および装置に関する。

【０００２】

【従来の技術】人体の姿勢や動作の計測は、様々な目的
のために行なわれる。それら目的に応じて、さまざまな
計測手法の提案がなされて来ている。これらの計測手法
は接触型と非接触型とに大別できる。

【０００３】接触型の計測手法とは、身体各部にデバイ
スを装着して直接その位置などの計測を行ない、その結
果から人物の姿勢を計測するものをいう。この手法を用
いた製品は現在でも利用可能であり計測精度が比較的高
い。しかし、身体への物理的拘束により人物がストレス
を感じること、および、応用可能な範囲が制限されてい
ることなどがこの接触型の計測手法の問題として指摘さ
れている。

【０００４】一方の非接触型の手法とは、人物にデバイ
スを装着することなく人物の姿勢を測定するものをい
う。この種の手法として一般に、ビデオカメラなどを用
いて撮影された人物の画像などを用いるアプローチが知
られている。この手法では、人物にはデバイスを装着す
る必要がないので利用者の負担が少ない利点がある。ま
た人物の姿勢を計測する手法は、将来多くの分野に適用
される可能性が高く、一般的に広く使用される可能性が
高いので、これからは非接触型手法が有望である。

【０００５】従来、人物の画像から人物動作の検出およ
び認識を行なう研究として様々な手法が提案されてい
る。その一つに、人体各部をモデル化し、画像特徴によ
り人体各部の位置及び姿勢を定め、さらにそれらを総合
して人物の姿勢をボトムアップ的に求める手法がある。
他の手法として、時系列画像の差分から得られるパラメ
ータの時系列変化、または時系列画像の色情報から得ら
れるパラメータの時系列変化と、モデルデータベースと
のマッチングを行なうトップダウン的手法が検討されて
いる。しかし、こうした手法を用いると、いずれの場合
にも、画像解析アルゴリズムが複雑化するため、処理の
実時間性や安定性が十分に得られないことが問題とされ
てきた。

【０００６】

【発明が解決しようとする課題】こうした問題を解決す
る一手法が、本件発明の発明者らにより特開平１０−２
５８０４４号公報（１９９８年９月２９日公開）におい
て提案されている。この手法は、人物の全身の単眼のシ
ルエット画像および熱画像に基づき（すなわち人物にデ
バイスを装着することなく）、遺伝的アルゴリズムを用
いて実時間でその人物の姿勢を推定する。この手法は熱
画像を用いているために背景や衣服条件の変化に対して
頑健である。またこの手法では予め遺伝的アルゴリズム
により人物の姿勢推定に必要な係数などを定めているた
め、測定時の計算コストが抑えられており姿勢の推定が
高速に行える。しかし、この手法では、身体パーツ同士
の自己遮蔽による推定誤りがかなり大きな確率で起こり
うること、および３次元の姿勢情報が得られないこと、
という課題が残されていた。特に人物の姿勢が比較的大
きく変化する可能性のある場合、身体パーツ同士の自己
遮蔽による推定誤りが起きやすいという問題点がある。
特に腕が胴体により遮蔽されると肘の検出が困難とな
り、人物の３次元姿勢を復元する上ではこれが大きな問
題である。

【０００７】それゆえに、この発明の主たる目的は、身
体パーツ同士の自己遮蔽による影響を抑え、より高い精
度で人物の姿勢を推定することができる人物の３次元姿
勢推定方法および装置ならびに人物の３次元肘位置推定
方法および装置を提供することである。

【０００８】この発明の他の目的は、身体パーツ同士の
自己遮蔽による影響を抑え、より高い精度でかつ実時間
で人物の姿勢を推定することができる人物の３次元姿勢
推定方法および装置ならびに人物の３次元肘位置推定方
法および装置を提供することである。

【０００９】この発明のさらに他の目的は、身体パーツ
同士の自己遮蔽による影響を抑え、高い精度で身体の特
徴部分の位置を推定することにより、より高い精度でか
つ実時間で人物の姿勢を推定することができる人物の３
次元姿勢推定方法および装置ならびに人物の３次元肘位
置推定方法および装置を提供することである。

【００１０】この発明の他の目的は、身体パーツ同士の
自己遮蔽による影響を抑え、人体の特徴部分の位置に関
する先験的な知識と合致する基準にしたがって高い精度
で身体の特徴部分の位置を推定することにより、より高
い精度でかつ実時間で人物の姿勢を推定することができ
る人物の３次元姿勢推定方法および装置ならびに人物の
３次元肘位置推定方法および装置を提供することであ
る。

【００１１】

【課題を解決するための手段】請求項１に記載の発明に
かかる人物の３次元姿勢推定方法は、少なくとも２台の
撮像手段でそれぞれ異なる方向から撮像された人物の画
像から当該人物の３次元姿勢を推定する方法であって、
少なくとも２台の撮像手段で撮像された画像の各々にお
いて人物領域を抽出して、足先点、頭頂点、手先点、仮
肘点を含む人物の特徴部位の位置を求めるステップ、少
なくとも２台の撮像手段で撮像された画像の各々の人物
領域から求められた特徴部位の２次元配置に基づいて人
物の３次元姿勢を推定するステップ、推定された３次元
姿勢によって人物の３次元的な肘の仮位置を推定するス
テップ、および、肘の仮位置が手先点の位置と所定の関
係を満たしているか否かに応じて、肘の仮位置を肘の位
置とする処理と、肘の仮位置を破棄して、人物領域に基
づいて得られた特徴部位の一部を学習済みのニューラル
ネットワークに入力として与え、当該ニューラルネット
ワークの出力によって人物の３次元肘の位置を推定する
処理とのいずれかを選択的に行なうステップを含む。

【００１２】肘の位置を推定するにあたって、３次元復
元によって得られた肘の仮位置が手先点と所定の関係を
満たしていない場合には、頭頂点と手先点との位置に基
づいてニューラルネットワークによって肘の位置が推定
される。そのため、肘が体の一部と重なっているような
場合にも精度よく肘の位置を定めることができる。ニュ
ーラルネットワークは学習済みなので、計算負荷も少な
く、実時間処理に好適である。

【００１３】請求項２に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項１に記載の発明の構成に加え
て、人物の特徴部位の位置を求めるステップは、少なく
とも２台の撮像手段で撮像された画像の各々から人物領
域を抽出し、当該人物領域に距離変換を施すことによっ
て重心を求めるステップ、各人物領域の、求められた各
重心の垂直位置よりも上方の画像から、上半身画像の主
軸を求めるステップ、距離変換によって得られた各距離
変換画像の骨格画像を作成し、各骨格画像のうちの、重
心の垂直位置よりも下方の端点から所定の条件を満たす
端点を足先点として選ぶステップ、上半身主軸と人物領
域の輪郭形状との関係に基づいて、輪郭上で仮頭頂点を
定め、仮頭頂点と足先点との間の区間から、所定の条件
を満たす点を手先点として選ぶステップ、および仮頭頂
点の位置と、人物領域の輪郭形状と、手先点の位置とに
基づいて、輪郭形状のうち、所定の条件を満たす点を頭
頂点として選ぶステップを含む。

【００１４】人物の画像そのものでなく、人物領域に距
離変換を施した画像を処理することにより、腕、足など
の位置の変化が重心位置および他の特徴部位の位置に与
える影響を軽減でき、安定して姿勢の推定を行なうこと
ができる。

【００１５】請求項３に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項２に記載の発明の構成に加え
て、人物の特徴部位の位置を求めるステップは、さら
に、頭頂点と手先点との間の輪郭線上の画素群のうち、
頭頂点と手先点とを結ぶ線分との距離が最も大きな点を
仮肘点として選ぶステップを含む。

【００１６】仮肘点をこのように選ぶことにより、後の
３次元姿勢推定の結果の信頼性が高くなる。

【００１７】請求項４に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項３に記載の発明の構成に加え
て、人物の３次元的な肘の位置を推定するステップは、
キャリブレーション時に得られた手先点から肘位置まで
の距離と、画像から得られた手先点から肘の仮位置まで
の距離との差が所定のしきい値より大きいか否かを判定
するステップ、当該距離の差が所定のしきい値以下であ
ると判定されたときに、肘の仮位置を肘の位置とするス
テップ、当該距離の差が所定のしきい値より大きいと判
定されたときに、頭頂点座標と手先点座標とをニューラ
ルネットワークに与えるステップ、および頭頂点座標と
手先点座標とが与えられたことに応答してニューラルネ
ットワークが出力する値を推定された肘の位置として出
力するステップを含む。

【００１８】３次元復元の結果得られた肘の仮位置が、
手先点から所定距離よりも離れているときには、たとえ
ば肘が画像の人物領域で身体の他の部分と重なってしま
っていたために肩などを誤って肘の仮位置として推定し
ていることが多い。しかし請求項４に記載の発明によれ
ば、画像から得られた手先点と肘の仮位置との距離と、
キャリブレーション時の手先点から肘位置までの距離と
の差が所定のしきい値より大きいときには、肘の仮位置
が破棄され、ニューラルネットワークによって肘の位置
が推定されるので、肘が体と重なって隠れているような
姿勢でも肘の位置を精度良く推定できる。

【００１９】請求項５に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項２に記載の発明の構成に加え
て、少なくとも３台の撮像手段でそれぞれ異なる方向か
ら撮像された人物の画像から当該人物の３次元姿勢を推
定する方法であって、手先点として選ぶステップは、少
なくとも３つの撮像手段により撮像された画像の各々に
おいて、上半身主軸と人物領域の輪郭形状との関係に基
づいて、輪郭上で仮頭頂点を定め、仮頭頂点と足先点と
の間の区間から、所定の条件を満たす点を手先点として
選ぶステップを含み、３次元姿勢を推定するステップ
は、手先点を選ぶ際に満たされた条件にしたがって画像
の各々について手先点の信頼性を評価するステップ、お
よび評価された信頼性の高い順に画像のうちの二つを選
択し、選択された二つの画像の人物領域から求められた
特徴部位の２次元配置によって人物の３次元姿勢を推定
するステップを含む。

【００２０】手先点の推定時に画像の信頼性を評価し、
信頼性の高い２枚の画像から３次元復元を行なうので、
姿勢の推定が精度よく行える。

【００２１】請求項６に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項２に記載の発明の構成に加え
て、上半身画像の主軸を求めるステップは、各人物領域
の上半身画像の腕領域を除去するステップ、および腕領
域が除去された各人物領域の主軸を計算して求めるステ
ップを含む。

【００２２】距離変換によって重心などをある程度安定
して検出することが可能ではあるが、さらに安定して検
出するために、腕などによる影響を極力排除し、排除し
た後の人物領域の主軸を計算する。これにより、人物の
姿勢の検出がより精度よく安定して行える。

【００２３】請求項７に記載の発明にかかる人物の３次
元姿勢推定方法は、請求項６に記載の発明の構成に加え
て、人物の３次元姿勢推定方法は、画像から得られた上
半身画像の主軸を記憶するステップをさらに含み、腕領
域を除去するステップは、前のフレームから得られ記憶
されていた上半身画像の主軸を、現フレームの距離変換
された画像の重心に当てはめるステップ、および当ては
められた上半身画像を中心としたガウス分布を距離変換
された画像の上半身の領域の距離値に乗じて上半身距離
画像を得るステップを含む。

【００２４】人物の上半身主軸の位置は、隣接するフレ
ーム間ではそれほど大きく変化しないと考えられる。そ
こで、前フレームで求められた上半身主軸を中心とし
て、距離変換画像にさらにガウス分布を乗じる。その結
果得られた上半身距離画像においては、上半身主軸から
遠い部分（すなわち腕など）はほとんどなくなり、主軸
の検出にそれらの影響が及ぶおそれが少なくなる。

【００２５】請求項８に記載の発明にかかる人物の３次
元姿勢推定方法においては、請求項７に記載の発明の構
成に加えて、主軸を計算して求めるステップは、上半身
距離画像の慣性主軸を計算して上半身主軸として求める
ステップを含む。

【００２６】請求項９に記載の発明にかかる人物の３次
元肘位置推定方法は、少なくとも２台の撮像手段でそれ
ぞれ異なる方向から撮像された人物の画像から当該人物
の３次元肘の位置を推定する方法であって、少なくとも
２台の撮像手段で撮像された画像の各々において人物領
域を抽出して、足先点、頭頂点、手先点、仮肘点を含む
人物の特徴部位の位置を求めるステップ、少なくとも２
台の撮像手段で撮像された画像の各々の人物領域から求
められた特徴部位の２次元配置に基づいて人物の３次元
姿勢を推定するステップ、推定された３次元姿勢によっ
て人物の３次元的な肘の仮位置を推定するステップ、お
よび肘の仮位置が手先点の位置と所定の関係を満たして
いるか否かに応じて、肘の仮位置を肘の位置とする処理
と、肘の仮位置を破棄して、人物領域に基づいて得られ
た特徴部位の一部を学習済みのニューラルネットワーク
に入力として与え、当該ニューラルネットワークの出力
によって人物の３次元肘の位置を推定する処理とのいず
れかを選択的に行なうステップを含む。

【００２７】肘の位置を推定するにあたって、３次元復
元によって得られた肘の仮位置が手先点と所定の関係を
満たしていない場合には、頭頂点と手先点との位置に基
づいてニューラルネットワークによって肘の位置が推定
される。そのため、肘が体の一部と重なっているような
場合にも精度よく肘の位置を定めることができる。ニュ
ーラルネットワークは学習済みなので、計算負荷も少な
く、実時間処理に好適である。

【００２８】請求項１０に記載の発明にかかる人物の３
次元肘位置推定方法は、請求項９に記載の発明の構成に
加えて、人物の特徴部位の位置を求めるステップは、少
なくとも２台の撮像手段で撮像された画像の各々から人
物領域を抽出し、当該人物領域に距離変換を施すことに
よって重心を求めるステップ、各人物領域の、求められ
た各重心の垂直位置よりも上方の画像から、上半身画像
の主軸を求めるステップ、距離変換によって得られた各
距離変換画像の骨格画像を作成し、各骨格画像のうち
の、重心の垂直位置よりも下方の端点から所定の条件を
満たす端点を足先点として選ぶステップ、上半身主軸と
人物領域の輪郭形状との関係に基づいて、輪郭上で仮頭
頂点を定め、仮頭頂点と足先点との間の区間から、所定
の条件を満たす点を手先点として選ぶステップ、および
仮頭頂点の位置と、人物領域の輪郭形状と、手先点の位
置とに基づいて、輪郭形状のうち、所定の条件を満たす
点を頭頂点として選ぶステップを含む。

【００２９】人物の画像そのものでなく、人物領域に距
離変換を施した画像を処理することにより、腕、足など
の位置の変化が重心位置および他の特徴部位の位置に与
える影響を軽減でき、安定して姿勢の推定を行なうこと
ができる。

【００３０】請求項１１に記載の発明にかかる人物の３
次元肘位置推定方法は、請求項１０に記載の発明の構成
に加えて、人物の特徴部位の位置を求めるステップは、
さらに、頭頂点と手先点との間の輪郭線上の画素群のう
ち、頭頂点と手先点とを結ぶ線分との距離が最も大きな
点を仮肘点として選ぶステップを含む。

【００３１】仮肘点をこのように選ぶことにより、後の
３次元姿勢推定の結果の信頼性が高くなり、肘の位置が
精度良く検出できる。

【００３２】請求項１２に記載の発明にかかる人物の３
次元肘位置推定方法は、請求項１１に記載の発明の構成
に加えて、人物の３次元的な肘の位置を推定するステッ
プは、キャリブレーション時に得られた手先点から肘位
置までの距離と、画像から得られた手先点から肘の仮位
置までの距離との差が所定のしきい値より大きいか否か
を判定するステップ、当該距離の差が所定のしきい値以
下であると判定されたときに、肘の仮位置を肘の位置と
するステップ、当該距離の差が所定のしきい値より大き
いと判定されたときに、頭頂点座標と手先点座標とをニ
ューラルネットワークに与えるステップ、および頭頂点
座標と手先点座標とが与えられたことに応答してニュー
ラルネットワークが出力する値を推定された肘の位置と
して出力するステップを含む。

【００３３】３次元復元の結果得られた肘の仮位置が、
手先点から所定距離よりも離れているときには、たとえ
ば肘が画像の人物領域で身体の他の部分と重なってしま
っていたために肩などを誤って肘の仮位置として推定し
ていることが多い。しかし請求項１２に記載の発明によ
れば、画像から得られた手先点と肘の仮位置との距離
と、キャリブレーション時の手先点から肘位置までの距
離との差が所定のしきい値より大きいときには、肘の仮
位置が破棄され、ニューラルネットワークによって肘の
位置が推定されるので、肘が体と重なって隠れているよ
うな姿勢でも肘の位置を精度良く推定できる。

【００３４】請求項１３に記載の発明にかかる人物の３
次元肘位置推定方法は、少なくとも３台の撮像手段でそ
れぞれ異なる方向から撮像された人物の画像から当該人
物の３次元肘の位置を推定する方法であって、請求項１
０に記載の発明の構成に加えて、手先点として選ぶステ
ップは、少なくとも３つの撮像手段により撮像された画
像の各々において、上半身主軸と人物領域の輪郭形状と
の関係に基づいて、輪郭上で仮頭頂点を定め、仮頭頂点
と足先点との間の区間から、所定の条件を満たす点を手
先点として選ぶステップを含み、３次元姿勢を推定する
ステップは、手先点を選ぶ際に満たされた条件にしたが
って画像の各々について手先点の信頼性を評価するステ
ップ、および評価された信頼性の高い順に画像のうちの
二つを選択し、選択された二つの画像の人物領域から求
められた特徴部位の２次元配置によって人物の３次元姿
勢を推定するステップを含む。

【００３５】手先点の推定時に画像の信頼性を評価し、
信頼性の高い２枚の画像から３次元復元を行なうので、
姿勢の推定が精度よく行える。

【００３６】請求項１４に記載の発明にかかる人物の３
次元肘位置推定方法は、請求項１０に記載の発明の構成
に加えて、上半身画像の主軸を求めるステップは、各人
物領域の上半身画像の腕領域を除去するステップ、およ
び腕領域が除去された各人物領域の主軸を計算して求め
るステップを含む。

【００３７】距離変換によって重心などをある程度安定
して検出することが可能ではあるが、さらに安定して検
出するために、腕などによる影響を極力排除し、排除し
た後の人物領域の主軸を計算する。これにより、人物の
姿勢の検出がより精度よく安定して行える。

【００３８】請求項１５に記載の発明にかかる人物の３
次元姿勢推定方法は、請求項１４に記載の発明の構成に
加えて、画像から得られた上半身画像の主軸を記憶する
ステップをさらに含み、腕領域を除去するステップは、
前のフレームから得られ記憶されていた上半身画像の主
軸を、現フレームの距離変換された画像の重心に当ては
めるステップ、および当てはめられた上半身画像を中心
としたガウス分布を距離変換された画像の上半身の領域
の距離値に乗じて上半身距離画像を得るステップを含
む。

【００３９】人物の上半身主軸の位置は、隣接するフレ
ーム間ではそれほど大きく変化しないと考えられる。そ
こで、前フレームで求められた上半身主軸を中心とし
て、距離変換画像にさらにガウス分布を乗じる。その結
果得られた上半身距離画像においては、上半身主軸から
遠い部分（すなわち腕など）はほとんどなくなり、主軸
の検出にそれらの影響が及ぶおそれが少なくなる。

【００４０】請求項１６に記載の発明にかかる人物の３
次元肘位置推定方法は、請求項１５に記載の発明の構成
に加えて、人物の３次元姿勢推定装置主軸を計算して求
めるステップは、上半身距離画像の慣性主軸を計算して
上半身主軸として求めるステップを含む。

【００４１】請求項１７に記載の発明にかかる人物の３
次元姿勢推定装置は、少なくとも２台の撮像手段でそれ
ぞれ異なる方向から撮像された人物の画像から当該人物
の３次元姿勢を推定する装置であって、少なくとも２台
の撮像手段で撮像された画像の各々において人物領域を
抽出して、足先点、頭頂点、手先点、仮肘点を含む人物
の特徴部位の位置を求めるための手段、少なくとも２台
の撮像手段で撮像された画像の各々の人物領域から求め
られた特徴部位の２次元配置に基づいて人物の３次元姿
勢を推定するための手段、推定された３次元姿勢によっ
て人物の３次元的な肘の仮位置を推定するための手段、
肘の仮位置が手先点の位置と所定の関係を満たしている
か否かに応じて、肘の仮位置を肘の位置とする処理と、
肘の仮位置を破棄して、人物領域に基づいて得られた特
徴部位の一部を学習済みのニューラルネットワークに入
力として与え、当該ニューラルネットワークの出力によ
って人物の３次元肘の位置を推定する処理とのいずれか
を選択的に行なうための手段を含む。

【００４２】肘の位置を推定するにあたって、３次元復
元によって得られた肘の仮位置が手先点と所定の関係を
満たしていない場合には、頭頂点と手先点との位置に基
づいてニューラルネットワークによって肘の位置が推定
される。そのため、肘が体の一部と重なっているような
場合にも精度よく肘の位置を定めることができる。ニュ
ーラルネットワークは学習済みなので、計算負荷も少な
く、実時間処理に好適である。

【００４３】請求項１８に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項１７に記載の発明の構成に
加えて、人物の特徴部位の位置を求めるための手段は、
少なくとも２台の撮像手段で撮像された画像の各々から
人物領域を抽出し、当該人物領域に距離変換を施すこと
によって重心を求めるための手段、各人物領域の、求め
られた各重心の垂直位置よりも上方の画像から、上半身
画像の主軸を求めるための手段、距離変換によって得ら
れた各距離変換画像の骨格画像を作成し、各骨格画像の
うちの、重心の垂直位置よりも下方の端点から所定の条
件を満たす端点を足先点として選ぶための手段、上半身
主軸と人物領域の輪郭形状との関係に基づいて、輪郭上
で仮頭頂点を定め、仮頭頂点と足先点との間の区間か
ら、所定の条件を満たす点を手先点として選ぶための手
段、および仮頭頂点の位置と、人物領域の輪郭形状と、
手先点の位置とに基づいて、輪郭形状のうち、所定の条
件を満たす点を頭頂点として選ぶための手段を含む。

【００４４】人物の画像そのものでなく、人物領域に距
離変換を施した画像を処理することにより、腕、足など
の位置の変化が重心位置および他の特徴部位の位置に与
える影響を軽減でき、安定して姿勢の推定を行なうこと
ができる。

【００４５】請求項１９に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項１８に記載の発明の構成に
加えて、人物の特徴部位の位置を求めるための手段は、
さらに、頭頂点と手先点との間の輪郭線上の画素群のう
ち、頭頂点と手先点とを結ぶ線分との距離が最も大きな
点を仮肘点として選ぶための手段を含む。

【００４６】仮肘点をこのように選ぶことにより、後の
３次元姿勢推定の結果の信頼性が高くなる。

【００４７】請求項２０に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項１９に記載の発明の構成に
加えて、人物の３次元的な肘の位置を推定するための手
段は、キャリブレーション時に得られた手先点から肘位
置までの距離と、画像から得られた手先点から肘の仮位
置までの距離の差が所定のしきい値より大きいか否かを
判定するための手段、当該距離の差が所定のしきい値以
下であると判定されたときに、肘の仮位置を肘の位置と
するための手段、頭頂点座標と手先点座標とが与えられ
たことに応答して推定された肘の位置を出力するように
学習済みのニューラルネットワーク、および前記した距
離の差が所定のしきい値より大きいと判定されたとき
に、頭頂点座標と手先点座標とをニューラルネットワー
クに与えるための手段を含む。

【００４８】３次元復元の結果得られた肘の仮位置が、
手先点から所定距離よりも離れているときには、たとえ
ば肘が画像の人物領域で身体の他の部分と重なってしま
っていたために肩などを誤って肘の仮位置として推定し
ていることが多い。しかし請求項２０に記載の発明によ
れば、画像から得られた手先点と肘の仮位置との距離
と、キャリブレーション時の手先点から肘位置までの距
離との差が所定のしきい値より大きいときには、肘の仮
位置が破棄され、ニューラルネットワークによって肘の
位置が推定されるので、肘が体と重なって隠れているよ
うな姿勢でも肘の位置を精度良く推定できる。

【００４９】請求項２１に記載の発明にかかる人物の３
次元姿勢推定装置は、少なくとも３台の撮像手段でそれ
ぞれ異なる方向から撮像された人物の画像から当該人物
の３次元姿勢を推定する装置であって、請求項１８に記
載の発明の構成に加えて、手先点として選ぶための手段
は、少なくとも３つの撮像手段により撮像された画像の
各々において、上半身主軸と人物領域の輪郭形状との関
係に基づいて、輪郭上で仮頭頂点を定め、仮頭頂点と足
先点との間の区間から、所定の条件を満たす点を手先点
として選ぶための手段を含み、３次元姿勢を推定するた
めの手段は、手先点を選ぶ際に満たされた条件にしたが
って画像の各々について手先点の信頼性を評価するため
の手段、および評価された信頼性の高い順に画像のうち
の二つを選択し、選択された二つの画像の人物領域から
求められた特徴部位の２次元配置によって人物の３次元
姿勢を推定するための手段を含む。

【００５０】手先点の推定時に画像の信頼性を評価し、
信頼性の高い２枚の画像から３次元復元を行なうので、
姿勢の推定が精度よく行える。

【００５１】請求項２２に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項１８に記載の発明の構成に
加えて、上半身画像の主軸を求めるための手段は、各人
物領域の上半身画像の腕領域を除去するための手段、お
よび腕領域が除去された各人物領域の主軸を計算して求
めるための手段を含む。

【００５２】距離変換によって重心などをある程度安定
して検出することが可能ではあるが、さらに安定して検
出するために、腕などによる影響を極力排除し、排除し
た後の人物領域の主軸を計算する。これにより、人物の
姿勢の検出がより精度よく安定して行える。

【００５３】請求項２３に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項２２に記載の発明の構成に
加えて、人物の３次元姿勢推定装置は、画像から得られ
た上半身画像の主軸を記憶するための手段をさらに含
み、腕領域を除去するための手段は、前のフレームから
得られ記憶されていた上半身画像の主軸を、現フレーム
の距離変換された画像の重心に当てはめるための手段、
および当てはめられた上半身画像を中心としたガウス分
布を距離変換された画像の上半身の領域の距離値に乗じ
て上半身距離画像を得るための手段を含む。

【００５４】人物の上半身主軸の位置は、隣接するフレ
ーム間ではそれほど大きく変化しないと考えられる。そ
こで、前フレームで求められた上半身主軸を中心とし
て、距離変換画像にさらにガウス分布を乗じる。その結
果得られた上半身距離画像においては、上半身主軸から
遠い部分（すなわち腕など）はほとんどなくなり、主軸
の検出にそれらの影響が及ぶおそれが少なくなる。

【００５５】請求項２４に記載の発明にかかる人物の３
次元姿勢推定装置は、請求項２３に記載の発明の構成に
加えて、主軸を計算して求めるための手段は、上半身距
離画像の慣性主軸を計算して上半身主軸として求めるた
めの手段を含む。

【００５６】請求項２５に記載の発明にかかる人物の肘
位置推定装置は、少なくとも２台の撮像手段でそれぞれ
異なる方向から撮像された人物の画像から当該人物の３
次元肘の位置を推定する装置であって、少なくとも２台
の撮像手段で撮像された画像の各々において人物領域を
抽出して、足先点、頭頂点、手先点、仮肘点を含む人物
の特徴部位の位置を求めるための手段、少なくとも２台
の撮像手段で撮像された画像の各々の人物領域から求め
られた特徴部位の２次元配置に基づいて人物の３次元姿
勢を推定するための手段、推定された３次元姿勢によっ
て人物の３次元的な肘の仮位置を推定するための手段、
および肘の仮位置が手先点の位置と所定の関係を満たし
ているか否かに応じて、肘の仮位置を肘の位置とする処
理と、肘の仮位置を破棄して、人物領域に基づいて得ら
れた特徴部位の一部を学習済みのニューラルネットワー
クに入力として与え、当該ニューラルネットワークの出
力によって人物の３次元肘の位置を推定する処理とのい
ずれかを選択的に行なうための手段を含む。

【００５７】肘の位置を推定するにあたって、３次元復
元によって得られた肘の仮位置が手先点と所定の関係を
満たしていない場合には、頭頂点と手先点との位置に基
づいてニューラルネットワークによって肘の位置が推定
される。そのため、肘が体の一部と重なっているような
場合にも精度よく肘の位置を定めることができる。ニュ
ーラルネットワークは学習済みなので、計算負荷も少な
く、実時間処理に好適である。

【００５８】請求項２６に記載の発明にかかる人物の肘
位置推定装置は、請求項２５に記載の発明の構成に加え
て、人物の特徴部位の位置を求めるための手段は、少な
くとも２台の撮像手段で撮像された画像の各々から人物
領域を抽出し、当該人物領域に距離変換を施すことによ
って重心を求めるための手段、各人物領域の、求められ
た各重心の垂直位置よりも上方の画像から、上半身画像
の主軸を求めるための手段、距離変換によって得られた
各距離変換画像の骨格画像を作成し、各骨格画像のうち
の、重心の垂直位置よりも下方の端点から所定の条件を
満たす端点を足先点として選ぶための手段、上半身主軸
と人物領域の輪郭形状との関係に基づいて、輪郭上で仮
頭頂点を定め、仮頭頂点と足先点との間の区間から、所
定の条件を満たす点を手先点として選ぶための手段、お
よび仮頭頂点の位置と、人物領域の輪郭形状と、手先点
の位置とに基づいて、輪郭形状のうち、所定の条件を満
たす点を頭頂点として選ぶための手段を含む。

【００５９】人物の画像そのものでなく、人物領域に距
離変換を施した画像を処理することにより、腕、足など
の位置の変化が重心位置および他の特徴部位の位置に与
える影響を軽減でき、安定して姿勢の推定を行なうこと
ができる。

【００６０】請求項２７に記載の発明にかかる人物の肘
位置推定装置は、請求項２６に記載の発明の構成に加え
て、人物の特徴部位の位置を求めるための手段は、さら
に、頭頂点と手先点との間の輪郭線上の画素群のうち、
頭頂点と手先点とを結ぶ線分との距離が最も大きな点を
仮肘点として選ぶための手段を含む。

【００６１】仮肘点をこのように選ぶことにより、後の
３次元姿勢推定の結果の信頼性が高くなる。

【００６２】請求項２８に記載の発明にかかる人物の肘
位置推定装置は、請求項２７に記載の発明の構成に加え
て、人物の３次元的な肘の位置を推定するための手段
は、キャリブレーション時に得られた手先点から肘位置
までの距離と、画像から得られた手先点から肘の仮位置
までの距離との差が所定のしきい値より大きいか否かを
判定するための手段、当該距離の差が所定のしきい値以
下であると判定されたときに、肘の仮位置を肘の位置と
するための手段、頭頂点座標と手先点座標とが与えられ
たことに応答して推定された肘の位置を出力するように
学習済みのニューラルネットワーク、および前記した距
離の差が所定のしきい値より大きいと判定されたとき
に、頭頂点座標と手先点座標とをニューラルネットワー
クに与えるための手段を含む。

【００６３】３次元復元の結果得られた肘の仮位置が、
手先点から所定距離よりも離れているときには、たとえ
ば肘が画像の人物領域で身体の他の部分と重なってしま
っていたために肩などを誤って肘の仮位置として推定し
ていることが多い。しかし請求項２８に記載の発明によ
れば、画像から得られた手先点と肘の仮位置との距離
と、キャリブレーション時の手先点から肘位置までの距
離との差が所定のしきい値より大きいときには、肘の仮
位置が破棄され、ニューラルネットワークによって肘の
位置が推定されるので、肘が体と重なって隠れているよ
うな姿勢でも肘の位置を精度良く推定できる。

【００６４】請求項２９に記載の発明にかかる人物の肘
位置推定装置は、請求項２６に記載の発明の構成に加え
て、少なくとも３台の撮像手段でそれぞれ異なる方向か
ら撮像された人物の画像から当該人物の３次元肘の位置
を推定する装置であって、手先点として選ぶための手段
は、少なくとも３つの撮像手段により撮像された画像の
各々において、上半身主軸と人物領域の輪郭形状との関
係に基づいて、輪郭上で仮頭頂点を定め、仮頭頂点と足
先点との間の区間から、所定の条件を満たす点を手先点
として選ぶための手段を含み、３次元姿勢を推定するた
めの手段は、手先点を選ぶ際に満たされた条件にしたが
って画像の各々について手先点の信頼性を評価するため
の手段、および評価された信頼性の高い順に画像のうち
の二つを選択し、選択された二つの画像の人物領域から
求められた特徴部位の２次元配置によって人物の３次元
姿勢を推定するための手段を含む。

【００６５】手先点の推定時に画像の信頼性を評価し、
信頼性の高い２枚の画像から３次元復元を行なうので、
姿勢の推定が精度よく行える。

【００６６】請求項３０に記載の発明にかかる人物の肘
位置推定装置は、請求項２６に記載の発明の構成に加え
て、上半身画像の主軸を求めるための手段は、各人物領
域の上半身画像の腕領域を除去するための手段、および
腕領域が除去された各人物領域の主軸を計算して求める
ための手段を含む。

【００６７】距離変換によって重心などをある程度安定
して検出することが可能ではあるが、さらに安定して検
出するために、腕などによる影響を極力排除し、排除し
た後の人物領域の主軸を計算する。これにより、人物の
姿勢の検出がより精度よく安定して行え、肘の位置が精
度よく推定できる。

【００６８】請求項３１に記載の発明にかかる人物の肘
位置推定装置は、請求項３０に記載の発明の構成に加え
て、画像から得られた上半身画像の主軸を記憶するため
の手段をさらに含み、腕領域を除去するための手段は、
前のフレームから得られ記憶されていた上半身画像の主
軸を、現フレームの距離変換された画像の重心に当ては
めるための手段、および当てはめられた上半身画像を中
心としたガウス分布を距離変換された画像の上半身の領
域の距離値に乗じて上半身距離画像を得るための手段を
含む。

【００６９】人物の上半身主軸の位置は、隣接するフレ
ーム間ではそれほど大きく変化しないと考えられる。そ
こで、前フレームで求められた上半身主軸を中心とし
て、距離変換画像にさらにガウス分布を乗じる。その結
果得られた上半身距離画像においては、上半身主軸から
遠い部分（すなわち腕など）はほとんどなくなり、主軸
の検出にそれらの影響が及ぶおそれが少なくなる。

【００７０】請求項３２に記載の発明にかかる人物の肘
位置推定装置は、請求項３１に記載の発明の構成に加え
て、主軸を計算して求めるための手段は、上半身距離画
像の慣性主軸を計算して上半身主軸として求めるための
手段を含む。

【００７１】

【発明の実施の形態】図１を参照して、この発明にかか
る人物の姿勢推定装置５０は、ネットワークインターフ
ェース５２および図示しないネットワーク（インターネ
ット、または専用回線も含む。）を介して別の場所に設
けられた他の姿勢推定装置５０と接続され、一方の地点
にいる人物の３次元姿勢を測定してその結果得られたデ
ータを他方の地点に送り、そこでそのデータに基づいて
もとの人物のアバターの映像を作成して表示するもので
ある。このデータの交換を２地点間で行ない、得られた
アバターの画像を合成して表示することにより、遠隔地
にいる２以上の人物のアバターがあたかも一ケ所にいて
一緒に何らかの動作を行なうような映像を得ることがで
きる。

【００７２】図１に示されるように、姿勢推定装置５０
は、人物を異なる３方向から撮影するための３台のビデ
オカメラ６４と、ビデオカメラ６４から与えられた人物
の画像に基づいてその人物の姿勢を推定する処理を行な
い、姿勢を特定するデータを作成し出力するための画像
処理装置６６とを含む。姿勢推定装置５０はさらに、画
像処理装置６６に接続され、画像処理装置６６から与え
られた人物の姿勢を特定するデータに基づいてその人物
のアバターの画像をリアルタイムで生成するための画像
合成用コンピュータ６２と、画像合成用コンピュータ６
２に接続され、画像合成用コンピュータ６２によって生
成されたアバターの画像を表示するためのモニタ６０と
を含む。なお、この実施例では３台のビデオカメラ６４
を用いているが、３次元画像を復元するためには、多少
精度が悪くなる可能性があるが、カメラは少なくとも２
台あればよい。

【００７３】姿勢推定装置５０はまた、画像処理装置６
６に接続され、人物の声を電気信号に変換して画像処理
装置６６に与えるためのマイク６８と、画像処理装置６
６に接続され、画像処理装置６６から与えられる音声デ
ータに応答して所定の音色の音信号を発生するための音
源７０と、音源７０および画像処理装置６６に接続さ
れ、音源７０および画像処理装置６６から与えられる音
信号を混合し増幅するためのミキサ・増幅器７４と、ミ
キサ・増幅器７４に接続され、ミキサ・増幅器７４から
出力される音信号を音に変換するためのスピーカ７２と
を含む。

【００７４】画像処理装置６６はまた、ネットワークイ
ンターフェース５２およびネットワークを介して別の姿
勢推定装置５０に接続されており、この別の姿勢推定装
置５０から、別の地点にいる人物の姿勢データおよびそ
の人物の声に対応する音声信号を受けてそれぞれ画像合
成用コンピュータ６２およびミキサ・増幅器７４に与え
る機能を有する。

【００７５】なお、以下に述べるシステムは、２地点に
いる人物同士がそれぞれ同じ音楽にあわせてダンスを踊
り、それぞれの人物に対応するアバターの画像を合成し
てあたかもこれら人物が一緒に踊っているように見せる
システムである。そのために姿勢推定装置５０は音楽の
演奏に必要な音源７０を有しており、画像処理装置６６
から音源７０を操作する信号を音源７０に与えることに
よりダンスのための音楽を演奏する。なお、２地点のい
ずれにも同じ音源７０を設け、双方の画像処理装置６６
がそれぞれ別々に、かつ同期をとりながらそれぞれの地
点にある音源７０を制御してもよいし、一方の画像処理
装置６６のみが双方の地点にある音源７０を制御するよ
うにしてもよい。なお以下の説明では、説明を簡略にす
るため、音声に関する部分の説明および図示は行なわな
い。

【００７６】図２を参照して、画像処理装置６６は、そ
れぞれ人物の正面像と、側面像と、平面像を撮像する３
台のＣＣＤビデオカメラ６４（６４Ａ、６４Ｂおよび６
４Ｃ）に接続され、これらから出力された画像のうち、
人物の画像に対応する領域を背景画像から分離して人物
の正面像、側面像および平面像を出力するためのクロマ
キー背景分離装置８０と、クロマキー背景分離装置８０
から出力された正面像、側面像および平面像に対して後
述する画像処理（シルエット抽出，重心検出，主軸検出
および特徴点検出）を行なうことにより人物の各特徴点
の位置の３次元復元を行なって人物の３次元姿勢を推定
し、人物の３次元姿勢を特定するデータを出力するため
の画像処理用コンピュータ８２とを含む。

【００７７】画像処理用コンピュータ８２は、画像処理
によって得られた正規化された人物の頭頂点座標および
手先点座標を受けて、人物の正規化された３次元の肘の
位置の座標を出力するためのニューラルネットワーク
（ＡＮＮ）９０を含んでいる。画像処理用コンピュータ
８２は輪郭の抽出が正確に行なわれた場合には、身体の
特徴をもとに後述する方法にしたがって肘の位置を推定
する。このときの肘の位置の精度は比較的高い。しか
し、輪郭の抽出が正確に行なわれなかった場合にはこの
方法によって推定された肘の位置の精度は低い。この場
合には、ニューラルネットワーク９０によって肘の位置
が推定される。

【００７８】図３を参照して、ニューラルネットワーク
９０は入力層１０２と、第１の隠れ層１０４と、第２の
隠れ層１０６と、出力層１０８とを含む。入力層１０２
には身体のサイズと、重心位置で正規化した頭頂点
（ｘ，ｙ）と、手先点（ｘ，ｙ）とが入力される。ニュ
ーラルネットワーク９０は予め誤差逆伝搬法による学習
を行なっている。学習時には、予め分かっている頭頂点
位置および手先点位置が入力層１０２に与えられ、その
結果出力層１０８に得られた肘の位置が、教師信号とし
て画像から手作業で求めた肘の位置と比較される。そし
てその誤差が小さくなるようにニューラルネットワーク
９０内の各ニューロンの重み係数が調整される。こうし
た処理を頭頂点位置、手先点位置および肘の位置の多数
の組に対して行なうことによりニューラルネットワーク
９０の学習が行なわれる。学習が終了すると、画像処理
の結果求められた頭頂点位置および手先点位置を入力層
１０２に与えると、出力層１０８から肘の位置が出力さ
れる。こうして得られた肘の位置は学習結果を反映して
おりある程度の精度で実際の肘の位置を近似している。

【００７９】図４を参照して、画像処理装置６６が行な
う処理の制御の流れについて説明する。図４に示すステ
ップＳＰ１において、３台のＣＣＤビデオカメラ６４に
よって撮影され、クロマキー背景分離装置８０に与えら
れて背景画像が分離された正面と側面と平面からの人物
画像が取得される。図４において、正面画像、側面画像
および平面画像に対する処理の流れを互いに平行に示し
ているが、これらは実際にはプログラムの３つのスレッ
ドにより実現される。このとき撮影される人物の全身像
を図６に、正面画像、側面画像および平面画像をそれぞ
れ図７〜図９に示す。

【００８０】ステップＳＰ２において背景画像が分離さ
れた人物の正面画像と側面画像と平面画像をあるしきい
値で２値化することにより、図１０〜図１２に示すよう
なシルエット画像が抽出される。

【００８１】なお、特開平１０−２５８０４４号公報で
開示されているように赤外線カメラを用いて人物の熱画
像を撮影し、得られた熱画像をあるしきい値で２値化し
て人物に対応する領域を抽出することによりシルエット
画像を得るようにしてもよい。

【００８２】ステップＳＰ３において図１０〜図１２に
示すようなシルエット画像から各画像の重心が検出され
る。まず、各シルエット画像ｆij（ｘ方向の位置をi、
ｙ方向の位置をj、位置ijの画素値をｆijとする。他の
画像についても同様である。）から身体重心を求めるた
めに、シルエット画像に対して距離変換が施される。こ
こで距離変換とは、２値画像において、値１の画素に対
し、そこから値０の画素への最短距離を与える変換のこ
とをいう。距離変換された後の画像ｄijの例を図１３〜
図１５（これら図面ではシルエット画像の輪郭も同時に
示されている。）に示す。距離変換された画像ｄijの重
心（Ｉｃ，Ｊｃ）は次式を用いて求められる。

【００８３】

【数１】

【００８４】ただし、ここで、i, jはそれぞれ画像上の
位置（ｘ軸方向およびｙ軸方向の座標に相当する）を表
し、p, qはそれぞれ慣性モーメントの計算の際のiおよ
びjの次数を表している。すなわち、p=q=0の場合にはM
(p, q)=M(0, 0)は単純にシルエット画像の面積（二値画
像以外であれば輝度値の合計）を表す。p=1, q=0の場
合、M(p, q)=M(1, 0)は画像上のｘ方向の位置で重み付
けされた輝度値の合計を表す。p=0,q=1の場合、M(p, q)
=M(0, 1)はｙ方向の位置で重み付けされた輝度値の合計
を表す。したがって、ＩｃとＪｃとはそれぞれ、ｘ方向
およびｙ方向の距離で重み付けされた輝度値の合計を、
単純な輝度値の合計で割った値であり、すなわちそれぞ
れ領域の重心のｘ座標およびｙ座標である。

【００８５】２値であるシルエット画像より重心を直接
求める場合、腕や足の姿勢によって重心位置が著しく移
動してしまい重心位置が安定でない。しかし、距離変換
画像を用いて重心位置を求めることで、手足の姿勢の重
心位置の変化への影響を極力抑え重心位置を安定させる
ことが可能となる。このように重心を求めるのは、以下
に説明するように上半身の慣性主軸（上半身主軸）を定
めるためである。ただし距離画像を用いただけでは、上
半身主軸の決定に対する腕部分などの影響を完全には排
除しきれない。そこで、さらに以下に述べるような処理
を行なって上半身主軸の抽出を行なっている。

【００８６】再び図４を参照して、ステップＳＰ４にお
いて、上半身主軸の抽出を行なうことを目的として、腕
領域を除去する処理を行なう。具体的には、次のように
する。まず、この処理に先立ち、前のフレームから得ら
れた上半身主軸を記憶しておく。現フレームに対する図
１３〜図１５に示されるような距離変換画像の重心位置
に、前もって記憶されていた前フレームの上半身主軸を
当てはめる。この上半身主軸を中心としたガウス分布
を、身体重心の水平位置よりも上方の領域の各点の距離
値（距離変換画像の各画素の輝度値）に乗じる。この処
理の結果得られた画像（上半身距離画像）の領域の各画
素の距離値は、上半身主軸位置から離れるほど低くな
る。この上半身距離画像の各画素の距離値と所定のしき
い値とを比較して画像を二値化する。この結果得られた
画像領域、つまり、上半身主軸の抽出に影響をおよぼす
領域は胴体部にほぼ集中する。こうして求められた上半
身距離画像ｇｉｊから、既に述べた方法にしたがってそ
の重心を求めることができる。重心を通るｇｉｊの慣性
主軸の角度θは次式に示すように表わされ、上半身の傾
きとみなすことができる。

【００８７】

【数２】

【００８８】ここで、M(p, q)は、前述のとおりモーメ
ントを表す。人物が水平方向に手を伸ばした場合などは
脊髄に沿う方向に主軸が定まらないことが考えられる
が、腕領域の除去処理によりこの問題を解決できる。正
面画像、側面画像、および平面画像についてそれぞれ上
半身主軸を求めた結果を図１６〜図１８に示す。

【００８９】次に、ステップＳＰ５において正面，側
面，平面の特徴点の検出が行なわれる。以下の説明では
正面特徴点の検出処理について説明するが、側面画像お
よび平面画像に対しても同様の処理で特徴点が抽出され
る。図５を参照して、まずステップＳＰ２１において、
以下に述べる処理により図１９〜図２１に示すような輪
郭形状が獲得される。

【００９０】まず、シルエット画像において身体重心か
ら所定の方向にラスタ走査し輪郭が画素を探索する。最
初に発見された輪郭（境界）画素を開始点として反時計
回りに境界線が追跡される。こうして得られた画像にお
いては、境界（輪郭）線上の画素の画素値は「１」、そ
れ以外での画素値は「０」となる。このような２値画像
をここでは輪郭画像と呼ぶことにする。このようにして
輪郭画像が得られたら、上半身主軸から最短距離の輪郭
点（上半身中心よりも上方に位置するもの）が仮頭頂点
として選ばれる。

【００９１】ステップＳＰ２２において、以下のように
して足先点の検出が行なわれる。まず、身体重心の算出
に用いた距離変換画像（図１３〜図１５参照）の極大値
の集合を求めることで骨格画像を作成する。下半身（身
体重心の垂直位置より下方）かつ左（右）半身（身体重
心の水平位置を中心として左（右）側）に存在する骨格
画像の端点の中から「身体重心からの水平偏差が最大」
という条件を満たす端点が足先点として選ばれる。

【００９２】次に、ステップＳＰ２３において以下のよ
うにして手先点の検出が行なわれる。手先は身体の他の
部分と重なって撮像されることがあり、かつ画像処理の
対象としてシルエット画像を用いているため手先点の推
定に誤りを生じ、正しい３次元の姿勢情報が得られなく
なることがある。このため、この実施形態では図２５に
示す処理を行なう。

【００９３】まず、図２６に示すように輪郭上で仮頭頂
点１１０から足先点１１２までに相当する輪郭に含まれ
る画素数をｌｈ：ｍｈ：ｎｈの比率に分割する。中央部
分の区間に含まれる輪郭点全てを手先点の候補とする。
ここでｌｈ，ｍｈ，ｎｈは経験的に求めた定数であり、
たとえば１：２：２に設定される。より具体的には、こ
れらの値は以下のようにして定められる。

【００９４】予め定められたキャリブレーション姿勢を
とった複数の人物の画像から、輪郭線を検出する。こう
して得られた輪郭線中で、実際に観測される手先点がど
の領域にあるかを観察する。そして手先点が確実に中央
部分に入るように上記した比率ｌｈ：ｍｈ：ｎｈを決め
る。こうして経験的に定めたｌｈ：ｍｈ：ｎｈを用いる
ことにより、満足できる結果が得られた。もちろんこの
値は、対象となる被験者の人種、年令、性別などにより
それぞれ異なってくるであろう。また、それらの相違に
かかわらずある程度の精度が得られるような値がｌｈ：
ｍｈ：ｎｈとして選択されることもあり得る。なお、本
実施形態の装置ではキャリブレーション姿勢とは、両手
をからだの両側にほぼ水平に持ち上げた姿勢である。

【００９５】以上の説明を前提としてＳＰ２３で行なわ
れる処理について詳細に示した図２５以下に説明する。
まず、ステップＳＰ３１において、正面画像、側面画像
および平面画像の各々に対して、手先候補点中で垂直位
置が最高の点（手先候補点Ａ）および最低の点（手先候
補点Ｂ）と、身体重心から水平距離が最長の点（手先候
補点Ｃ）とを選ぶ。そして、ステップＳＰ３２，ＳＰ３
３，およびＳＰ３４において、順に以下の条件が満足さ
れるか否かを判定し、最初に満足された条件に従ってそ
の条件を満足した手先候補点を手先点とする。同時に、
最初に満足された条件がどの条件かにしたがって、各画
像に対して得点３，２，１を付与する（ステップＳＰ３
６、ＳＰ３７およびＳＰ３８）。この得点は、後述する
ＳＰ６の判断で用いられる。

【００９６】 手先候補点Ａの垂直位置＞仮頭頂点の
垂直位置−Ｔ１ 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
１ ｜手先候補点Ｃの水平位置−身体重心の水平位置｜
＞Ｔ２ ここでＴ１およびＴ２はそれぞれ経験的に定められた正
の定数である。この値は、人種、年令、性別など、被験
者のグループが持つ属性によって異なりうる。

【００９７】さらに、上記した３つの条件がいずれも満
足されなかったときには、候補区間の終点を手先点に定
める。このときこの画像に与えられる得点は０である
（ステップＳＰ３５）。

【００９８】なお、上記した条件中の「Ｔ１，Ｔ２」は
それぞれシルエットの外接四角形の高さによって定まる
定数である。この高さは、キャリブレーション時ではな
く、姿勢測定時に取り込んだ画像内における被験者の身
長Ｈｇｔを反映した値である。仮頭頂点の垂直位置Ｔｙ
および全身の重心の垂直位置Ｃｙを用いて、Ｔ１および
Ｔ２は以下の式により求める。

【００９９】

【数３】

【０１００】この式も、既に述べた比率ｌｈ：ｍｈ：ｎ
ｈの場合と同様、複数の人物の複数の姿勢を処理した結
果に基づいて最も精度良く手先点を判定できるように定
めている。

【０１０１】図５に戻り、ステップＳＰ２４において以
下のようにして頭頂点の検出が行なわれる。まず、図２
７に示されるように、輪郭上で仮頭頂点１１０から手先
点１１４までの輪郭をｌｐ：ｍｐ：ｎｐの比率に分割
し、中央部分に含まれる全ての輪郭点を首位置の候補と
する。そして、上半身主軸までの距離が最短である点１
１６を首位置として選ぶ。この処理を左右両方に対して
行ない、首位置１１６および首位置１１８を得る。この
左右の首位置１１６および１１８に挟まれている輪郭の
二等分点１２０を求め、これを頭頂点とする。手先点の
検出の場合と同様にして、ｌｐ：ｍｐ：ｎｐは経験的に
求めた定数である。より具体的には、複数の人物の画像
に対して輪郭線を検出する。こうして得られた輪郭線中
で、実際に観測される首位置点がどの領域にあるかを観
察する。そして首位置が確実に中央部分に入るように上
記した比率ｌｐ：ｍｐ：ｎｐを決める。こうして経験的
に定めたｌｐ：ｍｐ：ｎｐを用いることにより、満足で
きる結果が得られた。本実施形態ではこの値はｌｐ：ｍ
ｐ：ｎｐ＝１：２：２である。もちろんこの値は、対象
となる被験者の人種、年令、性別などによりそれぞれ異
なってくるであろう。また、それらの相違にかかわらず
ある程度の精度が得られるような値がｌｐ：ｍｐ：ｎｐ
として選択されることもあり得る。

【０１０２】ステップＳＰ２５において、正画画像，側
面画像，平面画像の各々において以下のようにして仮肘
点の位置が推定される。図２８にこの処理のフローチャ
ートを示す。

【０１０３】図２８を参照して、まずステップ４１にお
いて、図３０に示すように頭頂点ＨＰと手先点ＴＰとを
結ぶ直線ＨＴを引く。ステップ４２において、頭頂点Ｈ
Ｐと手先点ＴＰの間の輪郭を構成する画素群（輪郭点
群）をＣＰとする。ステップＳＰ４３において、輪郭点
群ＣＰのうち、直線ＨＴからの距離の最も遠い点を仮肘
点ＴＥに定める。これらの各点は正面，側面，平面につ
いてそれぞれ求められる。図２２〜図２４に、図１９〜
図２１の離隔画像から得られた仮肘点を、距離変換され
た画像、足先点および上半身主軸とともに示してある。

【０１０４】続いて、図４を参照して、ステップＳＰ６
を参照して、正面画像、側面画像、平面画像の３枚の画
像から２枚の画像が選択される。ここでは、図２５に示
す処理によって各画像に与えられた点数が選択の基準と
して用いられる。すなわち、正面画像、側面画像、およ
び平面画像のうちで、得点の高い物から順に２枚の画像
が選択される。

【０１０５】図３１〜図４０を参照して、図４のステッ
プＳＰ６でどのような場合に３枚の画像からどの２枚の
画像が選択されるかを具体的に説明する。まず図３１〜
図３３のシルエット画像について得られた手先候補点
を、輪郭画像、距離変換された画像および上半身主軸と
ともに図３４〜図３６に示す。図３１の正面像において
は図３４に示すように右手の手先候補点が仮頭頂点より
も上にあるので前述のの条件を満足する（得点３）。
図３２の側面像では図３５に示すように両手の手先候補
点がの条件を満足する（得点０）。図３３の平面像で
は図３６に示すように両手の手先候補点がの条件を満
たす（得点１）。したがって、図３１〜図３３に示した
例では、３次元復元は正面画像と平面画像とから行なわ
れる。

【０１０６】次に、図３７〜図３９のシルエット画像に
関して説明する。これら画像に対応する輪郭画像、距離
変換された画像、上半身主軸および手先候補点をそれぞ
れ図４０〜図４２に示す。これらから明らかなように、
図３７の正面画像および図３９の平面画像が満足するの
はの条件である（いずれも得点０）。図３８の側面画
像では図４１に示すように手先候補点が身体重心より下
にあるのでの条件が適用される（得点２）。ここで、
図３８の側面画像を用いることは決まったが、図３７の
正面画像と図３９の平面画像とのいずれを用いて３次元
復元を行なうかを決定しなければならない。この実施形
態では、二つの画像の得た得点が同じ場合には、正面像
を最も優先するものとする。したがってこの例では、３
次元復元は正面像と側面像とから行なわれる。

【０１０７】再び図４を参照して、ステップＳＰ７で、
このようにして選択された２枚の画像を用いて３次元画
像の復元が行なわれる。このように３枚の画像を用いず
に２枚の画像のみを用いて３次元画像の復元を行なうの
は、２枚の画像でも十分な精度で３次元画像の復元が行
える上に、３枚の画像を用いて３次元画像の復元を行な
うと画像間の食い違いを調整するために過大な処理が必
要となり実用的でないからである。

【０１０８】次にステップＳＰ８で、３次元復元の結果
に基づいて以下のようにして３次元の肘の位置の推定が
行なわれる。図２９に示されるように、ステップ５０に
おいて、キャリブレーション時に測定された手先点から
肘までの初期の距離をＨＬ’とする。ステップ５１にお
いて、画像から得られた手先点ＴＰから３次元の肘の仮
位置ＴＥ（説明の便宜上、３次元の肘の仮位置と２次元
画像における仮肘点とに同じＴＥという参照符号を与え
ている点に注意）までの距離ＨＬが計算される。

【０１０９】図２９に示すステップＳＰ５２においてＨ
Ｌ’とＨＬとの差の絶対値｜ＨＬ’−ＨＬ｜が予め定め
るしきい値ＭＤよりも大きいか否かが判定される。も
し、その差がしきい値ＭＤ以下であれば、ステップ５３
において３次元の肘の仮位置ＴＥが推定された肘の位置
ＥＰとして決定される。ステップ５２において、ＨＬ’
とＨＬとの差の絶対値｜ＨＬ’−ＨＬ｜が予め定めるし
きい値ＭＤよりも大きいと判定されれば、制御はステッ
プ５４に進む。

【０１１０】ステップ５４では、図４に示したニューラ
ルネットワーク９０の入力層１０２に頭頂点ＨＰと手先
点ＴＰとの座標が与えられる。これより以前にニューラ
ルネットワーク９０の学習が行なわれているべきことに
ついては既に述べたとおりである。ステップ５５で、肘
の仮位置が破棄され肘の位置ＥＰがニューラルネットワ
ーク９０の出力に設定される。

【０１１１】再び図４を参照して、このようにして求め
られた肘の位置を含む人物の特徴点の３次元位置を示す
データは人物の３次元姿勢を復元することに使用でき
る。ステップＳＰ９では、この特徴点の３次元位置を示
すデータがバッファに格納される。このデータは、画像
合成用コンピュータ６２が次の画像を生成する際にこの
画像処理装置６６に対して与える要求に応じてこのプロ
グラムの別スレッドが画像合成用コンピュータ６２に出
力する。このように画像処理装置６６からの要球に応じ
てデータを与えるようにするのは、画像合成用コンピュ
ータ６２で行なわれる処理と画像処理装置６６で行なわ
れる処理との間に速度の相違があるからである。画像処
理装置６６は、画像合成用コンピュータ６２から要求が
あるたびに、その時点で最新のデータを出力する。画像
合成用コンピュータ６２はこのデータを用いてアバター
の画像を生する。ネットワークを介して遠隔の局から送
信されて来た、別の地点にいる別の人物の３次元姿勢デ
ータに基づいて、画像合成用コンピュータ６２はこの別
の人物のアバターの画像も生成する。こうして生成され
たアバターの画像はモニタ６０上に合成して表示され
る。

【０１１２】上記したようにニューラルネットワークを
用いることにより以下のような効果が得られる。図４３
の左側は、人物が両手を上に上げているときのシルエッ
ト画像を示す。このシルエット画像では腕と頭が接触し
ているため、特開平１０−２５８０４４号公報で提案さ
れている遺伝的アルゴリズムを用いた場合、肘の位置を
誤って検出してしまう。すなわち、図４３の右側に示す
□が遺伝的アルゴリズムを用いて検出された肘の位置を
示しており、この図４３では肘の位置が手先に近い部分
によってしまっている。

【０１１３】そこで、この発明の実施形態では、図４３
の右側に示すような、頭と腕が接触する輪郭形状の場合
には、図４に示したニューラルネットワークを用いて肘
の位置が推定される。その結果、図４４の左側に示すシ
ルエット画像のように、両手を真上に上げて頭と腕が接
触していて両者のシルエット像が明瞭に分離されていな
くても、図４４の右側の□に示すように肘の位置をほぼ
正確な位置として検出できる。

【０１１４】上述のごとく、この実施形態によれば、人
体形状の正面，側面，平面の各画像の先験的知識を用い
て特徴点を検出する。頭頂点と足先点に関しては通常正
面画像および側面画像から得られる座標を正とする。手
先点に関しては検出の際に用いたルールの適用順に応じ
て、その手先点に対応した画像の信頼度、すなわち人物
の輪郭がどの程度正確に抽出されているかを評価する。
この信頼度の高い画像内の検出点の上位２点を３次元姿
勢の復元に用いる。これにより、手先点が身体の画像に
よって自己遮蔽されていても、手先位置を精度よく推定
できる。しかも、輪郭の抽出に失敗した場合には３次元
姿勢の復元の結果得られた３次元の肘の位置が上記した
条件を満たさないので、その肘の位置を破棄し、学習済
みのニューラルネットワークを用いて肘の位置を推定す
る。したがって、自己遮蔽などのために人物画像の輪郭
からは正しい肘の位置を推定できないような場合でも、
ある程度の精度で肘の位置を推定することができる。

【０１１５】なお、今回開示された実施の形態は全ての
点で例示であって、制限的なものではないと考えられる
べきである。本発明の範囲は上記した説明ではなくて特
許請求の範囲によって示され、特許請求の範囲と均等の
意味および範囲内でのすべての変更が含まれることが意
図される。

【０１１６】

【発明の効果】以上のように、この発明によれば、少な
くとも２台のカメラでそれぞれ異なる方向から人物を撮
像する。この画像を二値化して得られたシルエット画像
に対して、身体形状の先験的知識を用いて特徴部位の検
出を行なう。手先点の検出の際に用いたルールの適用順
に応じた優先度を利用し、優先度の高いルールにより採
用された検出点上位２点に対応した画像を復元に用いる
ことにより、３次元位置推定の精度を安定させることが
可能となる。しかも、所定のアルゴリズムで定められた
肘の仮位置が手先点と所定の関係を満たしている場合に
はこの肘の仮位置が肘の位置として推定される。一方、
身体の一部が他の部分によって遮蔽されていたりして、
肘の仮位置が手先点と所定の関係を満たしていない場合
には、ニューラルネットワークを用いて肘点を推定す
る。したがって、仮に肘の位置が他の部位によって遮蔽
されてたたとしても肘の位置について不正確な検出を行
なうことはなく、肘の位置を高い精度で推定することが
できる。実時間でかつ人体に何らかのデバイスを装着す
ることなく人体形状の特徴部位の位置を検出するように
しているので、ジェスチャー認識やコミュニケーション
手段として幅広い範囲に応用が期待できる。

【図面の簡単な説明】

【図１】 この発明の一実施形態のシステムの概略構成
を示すブロック図である。

【図２】 この発明の一実施形態の概略ブロック図であ
る。

【図３】 図２に示した画像処理装置に内蔵されるニュ
ーラルネットワークを示す図である。

【図４】 この発明の一実施形態の動作を説明するため
のフローチャートである。

【図５】 正面特徴点検出処理を説明するフローチャー
トである。

【図６】 カメラによって取り込まれる人物の姿勢の一
例を示す図である。

【図７】 カメラによって取り込まれた人物の正面像を
示す図である。

【図８】 カメラによって取り込まれた人物の側面像を
示す図である。

【図９】 カメラによって取り込まれた人物の平面像を
示す図である。

【図１０】 図７から得られたシルエット画像を示す図
である。

【図１１】 図８から得られたシルエット画像を示す図
である。

【図１２】 図９から得られたシルエット画像を示す図
である。

【図１３】 図１０の距離変換された画像を示す図であ
る。

【図１４】 図１１の距離変換された画像を示す図であ
る。

【図１５】 図１２の距離変換された画像を示す図であ
る。

【図１６】 正面画像から得られた上半身主軸を示す図
である。

【図１７】 側面画像から得られた上半身主軸を示す図
である。

【図１８】 平面画像から得られた上半身主軸を示す図
である。

【図１９】 図１０の画像から得られた輪郭画像を示す
図である。

【図２０】 図１１の画像から得られた輪郭画像を示す
図である。

【図２１】 図１２の画像から得られた輪郭画像を示す
図である。

【図２２】 正面画像から得られた仮肘点を示す図であ
る。

【図２３】 側面画像から得られた仮肘点を示す図であ
る。

【図２４】 平面画像から得られた仮肘点を示す図であ
る。

【図２５】 図４の手先点の検出の動作をより具体的に
示すフローチャートである。

【図２６】 手先点の検出方法を説明するための図であ
る。

【図２７】 頭頂点の検出方法を説明するための図であ
る。

【図２８】 図４の仮肘点の推定ステップをより具体的
に示すフローチャートである。

【図２９】 図４の肘の位置の推定ステップをより具体
的に示すフローチャートである。

【図３０】 図４の肘の位置の推定方法ステップで行な
われる処理を説明するための図である。

【図３１】 両手を左右に伸ばしたときの人物の正面の
シルエット画像を示す図である。

【図３２】 両手を左右に伸ばしたときの人物の側面の
シルエット画像を示す図である。

【図３３】 両手を左右に伸ばしたときの人物の平面の
シルエット画像を示す図である。

【図３４】 図３１の正面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図３５】 図３２の側面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図３６】 図３３の平面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図３７】 左手を水平に伸ばし、右手を下ろしたとき
の人物の正面のシルエット画像を示す図である。

【図３８】 左手を水平に伸ばし、右手を下ろしたとき
の人物の側面のシルエット画像を示す図である。

【図３９】 左手を水平に伸ばし、右手を下ろしたとき
の人物の平面のシルエット画像を示す図である。

【図４０】 図３７の正面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図４１】 図３８の側面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図４２】 図３９の平面シルエット画像から得られ
た、輪郭、上半身主軸、および肘点を示す画像を示す図
である。

【図４３】 上方向に手を伸ばしたときの遺伝的アルゴ
リズムによって検出された肘の位置を示す図である。

【図４４】 図４３と同じ画像から、学習済みのニュー
ラルネットワークを用いて検出された肘の位置を示す図
である。

【符号の説明】

５０ 姿勢推定装置、６０ モニタ、６２ 画像合成用
コンピュータ、６４ＣＣＤビデオカメラ、６６ 画像処
理装置、８０ クロマキー背景分離装置、８２ 画像処
理用コンピュータ、９０ ニューラルネットワーク。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０１Ｂ 11/24 Ｋ Ｇ０６Ｆ 15/70 ４６５Ａ (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 竹松 克浩 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 岩澤 昭一郎 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 海老原 一之 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内

Claims (32)

【特許請求の範囲】
1. 【請求項１】 少なくとも２台の撮像手段でそれぞれ異
   なる方向から撮像された人物の画像から当該人物の３次
   元姿勢を推定する方法であって、 前記少なくとも２台の撮像手段で撮像された画像の各々
   において人物領域を抽出して、足先点、頭頂点、手先
   点、仮肘点を含む人物の特徴部位の位置を求めるステッ
   プ、 前記少なくとも２台の撮像手段で撮像された画像の各々
   の人物領域から求められた前記特徴部位の２次元配置に
   基づいて前記人物の３次元姿勢を推定するステップ、 推定された３次元姿勢によって前記人物の３次元的な肘
   の仮位置を推定するステップ、および前記肘の仮位置が
   前記手先点の位置と所定の関係を満たしているか否かに
   応じて、前記肘の仮位置を肘の位置とする処理と、前記
   肘の仮位置を破棄して、前記人物領域に基づいて得られ
   た特徴部位の一部を学習済みのニューラルネットワーク
   に入力として与え、当該ニューラルネットワークの出力
   によって前記人物の３次元肘の位置を推定する処理との
   いずれかを選択的に行なうステップを含む、人物の３次
   元姿勢推定方法。
2. 【請求項２】 前記人物の特徴部位の位置を求める前記
   ステップは、 前記少なくとも２台の撮像手段で撮像された画像の各々
   から人物領域を抽出し、当該人物領域に距離変換を施す
   ことによって重心を求めるステップ、 各前記人物領域の、前記求められた各重心の垂直位置よ
   りも上方の画像から、上半身画像の主軸を求めるステッ
   プ、 前記距離変換によって得られた各距離変換画像の骨格画
   像を作成し、各前記骨格画像のうちの、前記重心の垂直
   位置よりも下方の端点から所定の条件を満たす端点を前
   記足先点として選ぶステップ、 前記上半身主軸と前記人物領域の輪郭形状との関係に基
   づいて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と
   前記足先点との間の区間から、所定の条件を満たす点を
   前記手先点として選ぶステップ、および前記仮頭頂点の
   位置と、前記人物領域の輪郭形状と、前記手先点の位置
   とに基づいて、前記輪郭形状のうち、所定の条件を満た
   す点を前記頭頂点として選ぶステップを含む、請求項１
   に記載の人物の３次元姿勢推定方法。
3. 【請求項３】 前記人物の特徴部位の位置を求める前記
   ステップは、さらに、前記頭頂点と前記手先点との間の
   前記輪郭線上の画素群のうち、前記頭頂点と前記手先点
   とを結ぶ線分との距離が最も大きな点を前記仮肘点とし
   て選ぶステップを含む、請求項２に記載の人物の３次元
   姿勢推定方法。
4. 【請求項４】 前記人物の３次元的な肘の位置を推定す
   るステップは、 キャリブレーション時に求められた手先点から肘位置ま
   での距離と、画像から得られた手先点から肘の仮位置ま
   での距離との差が所定のしきい値より大きいか否かを判
   定するステップ、 当該距離の差が所定のしきい値以下であると判定された
   ときに、前記肘の仮位置を肘の位置とするステップ、 当該距離の差が所定のしきい値より大きいと判定された
   ときに、前記頭頂点座標と前記手先点座標とを前記ニュ
   ーラルネットワークに与えるステップ、および前記頭頂
   点座標と前記手先点座標とが与えられたことに応答して
   前記ニューラルネットワークが出力する値を推定された
   肘の位置として出力するステップを含む、請求項３に記
   載の人物の３次元姿勢推定方法。
5. 【請求項５】 前記人物の３次元姿勢推定方法は、少な
   くとも３台の前記撮像手段でそれぞれ異なる方向から撮
   像された人物の画像から当該人物の３次元姿勢を推定す
   る方法であって、 前記手先点として選ぶステップは、前記少なくとも３つ
   の撮像手段により撮像された画像の各々において、前記
   上半身主軸と前記人物領域の輪郭形状との関係に基づい
   て、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と前記
   足先点との間の区間から、所定の条件を満たす点を前記
   手先点として選ぶステップを含み、 前記３次元姿勢を推定するステップは、 手先点を選ぶ際に満たされた条件にしたがって前記画像
   の各々について手先点の信頼性を評価するステップ、お
   よび前記評価された信頼性の高い順に前記画像のうちの
   二つを選択し、前記選択された二つの画像の人物領域か
   ら求められた前記特徴部位の２次元配置によって前記人
   物の３次元姿勢を推定するステップを含む、請求項２に
   記載の人物の３次元姿勢推定方法。
6. 【請求項６】 前記上半身画像の主軸を求めるステップ
   は、 各前記人物領域の前記上半身画像の腕領域を除去するス
   テップ、および腕領域が除去された各前記人物領域の主
   軸を計算して求めるステップを含む、請求項２に記載の
   人物の３次元姿勢推定方法。
7. 【請求項７】 前記人物の３次元姿勢推定方法は、前記
   画像から得られた前記上半身画像の主軸を記憶するステ
   ップをさらに含み、 前記腕領域を除去する前記ステップは、 前のフレームから得られ記憶されていた上半身画像の主
   軸を、現フレームの距離変換された画像の前記重心に当
   てはめるステップ、および前記当てはめられた上半身画
   像を中心としたガウス分布を前記距離変換された画像の
   上半身の領域の距離値に乗じて上半身距離画像を得るス
   テップを含む、請求項６に記載の人物の３次元姿勢推定
   方法。
8. 【請求項８】 前記主軸を計算して求めるステップは、
   前記上半身距離画像の慣性主軸を計算して上半身主軸と
   して求めるステップを含む、請求項７に記載の人物の３
   次元姿勢推定方法。
9. 【請求項９】 少なくとも２台の撮像手段でそれぞれ異
   なる方向から撮像された人物の画像から当該人物の３次
   元肘の位置を推定する方法であって、 前記少なくとも２台の撮像手段で撮像された画像の各々
   において人物領域を抽出して、足先点、頭頂点、手先
   点、仮肘点を含む人物の特徴部位の位置を求めるステッ
   プ、 前記少なくとも２台の撮像手段で撮像された画像の各々
   の人物領域から求められた前記特徴部位の２次元配置に
   基づいて前記人物の３次元姿勢を推定するステップ、 推定された３次元姿勢によって前記人物の３次元的な肘
   の仮位置を推定するステップ、および前記肘の仮位置が
   前記手先点の位置と所定の関係を満たしているか否かに
   応じて、前記肘の仮位置を肘の位置とする処理と、前記
   肘の仮位置を破棄して、前記人物領域に基づいて得られ
   た特徴部位の一部を学習済みのニューラルネットワーク
   に入力として与え、当該ニューラルネットワークの出力
   によって前記人物の３次元肘の位置を推定する処理との
   いずれかを選択的に行なうステップを含む、人物の３次
   元肘位置推定方法。
10. 【請求項１０】 前記人物の特徴部位の位置を求める前
    記ステップは、 前記少なくとも２台の撮像手段で撮像された画像の各々
    から人物領域を抽出し、当該人物領域に距離変換を施す
    ことによって重心を求めるステップ、 各前記人物領域の、前記求められた各重心の垂直位置よ
    りも上方の画像から、上半身画像の主軸を求めるステッ
    プ、 前記距離変換によって得られた各距離変換画像の骨格画
    像を作成し、各前記骨格画像のうちの、前記重心の垂直
    位置よりも下方の端点から所定の条件を満たす端点を前
    記足先点として選ぶステップ、 前記上半身主軸と前記人物領域の輪郭形状との関係に基
    づいて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と
    前記足先点との間の区間から、所定の条件を満たす点を
    前記手先点として選ぶステップ、および前記仮頭頂点の
    位置と、前記人物領域の輪郭形状と、前記手先点の位置
    とに基づいて、前記輪郭形状のうち、所定の条件を満た
    す点を前記頭頂点として選ぶステップを含む、請求項９
    に記載の人物の３次元肘位置推定方法。
11. 【請求項１１】 前記人物の特徴部位の位置を求める前
    記ステップは、さらに、前記頭頂点と前記手先点との間
    の前記輪郭線上の画素群のうち、前記頭頂点と前記手先
    点とを結ぶ線分との距離が最も大きな点を前記仮肘点と
    して選ぶステップを含む、請求項１０に記載の人物の３
    次元肘位置推定方法。
12. 【請求項１２】 前記人物の３次元的な肘の位置を推定
    するステップは、 キャリブレーション時に求められた手先点から肘位置ま
    での距離と、画像から得られた手先点から肘の仮位置ま
    での距離との差が所定のしきい値より大きいか否かを判
    定するステップ、 当該距離の差が所定のしきい値以下であると判定された
    ときに、前記肘の仮位置を肘の位置とするステップ、 当該距離の差が所定のしきい値より大きいと判定された
    ときに、前記頭頂点座標と前記手先点座標とを前記ニュ
    ーラルネットワークに与えるステップ、および前記頭頂
    点座標と前記手先点座標とが与えられたことに応答して
    前記ニューラルネットワークが出力する値を推定された
    肘の位置として出力するステップを含む、請求項１１に
    記載の人物の３次元肘位置推定方法。
13. 【請求項１３】 前記人物の３次元肘位置推定方法は、
    少なくとも３台の前記撮像手段でそれぞれ異なる方向か
    ら撮像された人物の画像から当該人物の３次元肘の位置
    を推定する方法であって、 前記手先点として選ぶステップは、前記少なくとも３つ
    の撮像手段により撮像された画像の各々において、前記
    上半身主軸と前記人物領域の輪郭形状との関係に基づい
    て、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と前記
    足先点との間の区間から、所定の条件を満たす点を前記
    手先点として選ぶステップを含み、 前記３次元姿勢を推定するステップは、 手先点を選ぶ際に満たされた条件にしたがって前記画像
    の各々について手先点の信頼性を評価するステップ、お
    よび前記評価された信頼性の高い順に前記画像のうちの
    二つを選択し、前記選択された二つの画像の人物領域か
    ら求められた前記特徴部位の２次元配置によって前記人
    物の３次元姿勢を推定するステップを含む、請求項１０
    に記載の人物の３次元肘位置推定方法。
14. 【請求項１４】 前記上半身画像の主軸を求めるステッ
    プは、 各前記人物領域の前記上半身画像の腕領域を除去するス
    テップ、および腕領域が除去された各前記人物領域の主
    軸を計算して求めるステップを含む、請求項１０に記載
    の人物の３次元肘位置推定方法。
15. 【請求項１５】 前記人物の３次元姿勢推定方法は、前
    記画像から得られた前記上半身画像の主軸を記憶するス
    テップをさらに含み、 前記腕領域を除去する前記ステップは、 前のフレームから得られ記憶されていた上半身画像の主
    軸を、現フレームの距離変換された画像の前記重心に当
    てはめるステップ、および前記当てはめられた上半身画
    像を中心としたガウス分布を前記距離変換された画像の
    上半身の領域の距離値に乗じて上半身距離画像を得るス
    テップを含む、請求項１４に記載の人物の３次元肘位置
    推定方法。
16. 【請求項１６】 前記主軸を計算して求めるステップ
    は、前記上半身距離画像の慣性主軸を計算して上半身主
    軸として求めるステップを含む、請求項１５に記載の人
    物の３次元肘位置推定方法。
17. 【請求項１７】 少なくとも２台の撮像手段でそれぞれ
    異なる方向から撮像された人物の画像から当該人物の３
    次元姿勢を推定する装置であって、 前記少なくとも２台の撮像手段で撮像された画像の各々
    において人物領域を抽出して、足先点、頭頂点、手先
    点、仮肘点を含む人物の特徴部位の位置を求めるための
    手段、 前記少なくとも２台の撮像手段で撮像された画像の各々
    の人物領域から求められた前記特徴部位の２次元配置に
    基づいて前記人物の３次元姿勢を推定するための手段、 推定された３次元姿勢によって前記人物の３次元的な肘
    の仮位置を推定するための手段、および前記肘の仮位置
    が前記手先点の位置と所定の関係を満たしているか否か
    に応じて、前記肘の仮位置を肘の位置とする処理と、前
    記肘の仮位置を破棄して、前記人物領域に基づいて得ら
    れた特徴部位の一部を学習済みのニューラルネットワー
    クに入力として与え、当該ニューラルネットワークの出
    力によって前記人物の３次元肘の位置を推定する処理と
    のいずれかを選択的に行なうための手段を含む、人物の
    ３次元姿勢推定装置。
18. 【請求項１８】 前記人物の特徴部位の位置を求めるた
    めの手段は、 前記少なくとも２台の撮像手段で撮像された画像の各々
    から人物領域を抽出し、当該人物領域に距離変換を施す
    ことによって重心を求めるための手段、 各前記人物領域の、前記求められた各重心の垂直位置よ
    りも上方の画像から、上半身画像の主軸を求めるための
    手段、 前記距離変換によって得られた各距離変換画像の骨格画
    像を作成し、各前記骨格画像のうちの、前記重心の垂直
    位置よりも下方の端点から所定の条件を満たす端点を前
    記足先点として選ぶための手段、 前記上半身主軸と前記人物領域の輪郭形状との関係に基
    づいて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と
    前記足先点との間の区間から、所定の条件を満たす点を
    前記手先点として選ぶための手段、および前記仮頭頂点
    の位置と、前記人物領域の輪郭形状と、前記手先点の位
    置とに基づいて、前記輪郭形状のうち、所定の条件を満
    たす点を前記頭頂点として選ぶための手段を含む、請求
    項１７に記載の人物の３次元姿勢推定装置。
19. 【請求項１９】 前記人物の特徴部位の位置を求めるた
    めの手段は、さらに、前記頭頂点と前記手先点との間の
    前記輪郭線上の画素群のうち、前記頭頂点と前記手先点
    とを結ぶ線分との距離が最も大きな点を前記仮肘点とし
    て選ぶための手段を含む、請求項１８に記載の人物の３
    次元姿勢推定装置。
20. 【請求項２０】 前記人物の３次元的な肘の位置を推定
    するための手段は、キャリブレーション時に得られた手
    先点から肘位置までの距離と、画像から得られた手先点
    から肘の仮位置までの距離との差が所定のしきい値より
    大きいか否かを判定するための手段、 当該距離の差が所定のしきい値以下であると判定された
    ときに、前記肘の仮位置を肘の位置とするための手段、 前記頭頂点座標と前記手先点座標とが与えられたことに
    応答して推定された肘の位置を出力するように学習済み
    のニューラルネットワーク、および前記距離の差が所定
    のしきい値より大きいと判定されたときに、前記頭頂点
    座標と前記手先点座標とを前記ニューラルネットワーク
    に与えるための手段を含む、請求項１９に記載の人物の
    ３次元姿勢推定装置。
21. 【請求項２１】 前記人物の３次元姿勢推定装置は、少
    なくとも３台の前記撮像手段でそれぞれ異なる方向から
    撮像された人物の画像から当該人物の３次元姿勢を推定
    する装置であって、 前記手先点として選ぶための手段は、前記少なくとも３
    つの撮像手段により撮像された画像の各々において、前
    記上半身主軸と前記人物領域の輪郭形状との関係に基づ
    いて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と前
    記足先点との間の区間から、所定の条件を満たす点を前
    記手先点として選ぶための手段を含み、 前記３次元姿勢を推定するための手段は、 手先点を選ぶ際に満たされた条件にしたがって前記画像
    の各々について手先点の信頼性を評価するための手段、
    および前記評価された信頼性の高い順に前記画像のうち
    の二つを選択し、前記選択された二つの画像の人物領域
    から求められた前記特徴部位の２次元配置によって前記
    人物の３次元姿勢を推定するための手段を含む、請求項
    １８に記載の人物の３次元姿勢推定装置。
22. 【請求項２２】 前記上半身画像の主軸を求めるための
    手段は、 各前記人物領域の前記上半身画像の腕領域を除去するた
    めの手段、および腕領域が除去された各前記人物領域の
    主軸を計算して求めるための手段を含む、請求項１８に
    記載の人物の３次元姿勢推定装置。
23. 【請求項２３】 前記人物の３次元姿勢推定装置は、前
    記画像から得られた前記上半身画像の主軸を記憶するた
    めの手段をさらに含み、 前記腕領域を除去するための手段は、 前のフレームから得られ記憶されていた上半身画像の主
    軸を、現フレームの距離変換された画像の前記重心に当
    てはめるための手段、および前記当てはめられた上半身
    画像を中心としたガウス分布を前記距離変換された画像
    の上半身の領域の距離値に乗じて上半身距離画像を得る
    ための手段を含む、請求項２２に記載の人物の３次元姿
    勢推定装置。
24. 【請求項２４】 前記主軸を計算して求めるための手段
    は、前記上半身距離画像の慣性主軸を計算して上半身主
    軸として求めるための手段を含む、請求項２３に記載の
    人物の３次元姿勢推定装置。
25. 【請求項２５】 少なくとも２台の撮像手段でそれぞれ
    異なる方向から撮像された人物の画像から当該人物の３
    次元肘の位置を推定する装置であって、 前記少なくとも２台の撮像手段で撮像された画像の各々
    において人物領域を抽出して、足先点、頭頂点、手先
    点、仮肘点を含む人物の特徴部位の位置を求めるための
    手段、 前記少なくとも２台の撮像手段で撮像された画像の各々
    の人物領域から求められた前記特徴部位の２次元配置に
    基づいて前記人物の３次元姿勢を推定するための手段、 推定された３次元姿勢によって前記人物の３次元的な肘
    の仮位置を推定するための手段、および前記肘の仮位置
    が前記手先点の位置と所定の関係を満たしているか否か
    に応じて、前記肘の仮位置を肘の位置とする処理と、前
    記肘の仮位置を破棄して、前記人物領域に基づいて得ら
    れた特徴部位の一部を学習済みのニューラルネットワー
    クに入力として与え、当該ニューラルネットワークの出
    力によって前記人物の３次元肘の位置を推定する処理と
    のいずれかを選択的に行なうための手段を含む、人物の
    肘位置推定装置。
26. 【請求項２６】 前記人物の特徴部位の位置を求めるた
    めの手段は、 前記少なくとも２台の撮像手段で撮像された画像の各々
    から人物領域を抽出し、当該人物領域に距離変換を施す
    ことによって重心を求めるための手段、 各前記人物領域の、前記求められた各重心の垂直位置よ
    りも上方の画像から、上半身画像の主軸を求めるための
    手段、 前記距離変換によって得られた各距離変換画像の骨格画
    像を作成し、各前記骨格画像のうちの、前記重心の垂直
    位置よりも下方の端点から所定の条件を満たす端点を前
    記足先点として選ぶための手段、 前記上半身主軸と前記人物領域の輪郭形状との関係に基
    づいて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と
    前記足先点との間の区間から、所定の条件を満たす点を
    前記手先点として選ぶための手段、および前記仮頭頂点
    の位置と、前記人物領域の輪郭形状と、前記手先点の位
    置とに基づいて、前記輪郭形状のうち、所定の条件を満
    たす点を前記頭頂点として選ぶための手段を含む、請求
    項２５に記載の人物の肘位置推定装置。
27. 【請求項２７】 前記人物の特徴部位の位置を求めるた
    めの手段は、さらに、前記頭頂点と前記手先点との間の
    前記輪郭線上の画素群のうち、前記頭頂点と前記手先点
    とを結ぶ線分との距離が最も大きな点を前記仮肘点とし
    て選ぶための手段を含む、請求項２６に記載の人物の肘
    位置推定装置。
28. 【請求項２８】 前記人物の３次元的な肘の位置を推定
    するための手段は、キャリブレーション時に得られた手
    先点から肘位置までの距離と、画像から得られた手先点
    から肘の仮位置までの距離との差が所定のしきい値より
    大きいか否かを判定するための手段、 当該距離の差が所定のしきい値以下であると判定された
    ときに、前記肘の仮位置を肘の位置とするための手段、 前記頭頂点座標と前記手先点座標とが与えられたことに
    応答して推定された肘の位置を出力するように学習済み
    のニューラルネットワーク、および前記距離の差が所定
    のしきい値より大きいと判定されたときに、前記頭頂点
    座標と前記手先点座標とを前記ニューラルネットワーク
    に与えるための手段を含む、請求項２７に記載の人物の
    肘位置推定装置。
29. 【請求項２９】 前記人物の肘位置推定装置は、少なく
    とも３台の前記撮像手段でそれぞれ異なる方向から撮像
    された人物の画像から当該人物の３次元肘の位置を推定
    する装置であって、 前記手先点として選ぶための手段は、前記少なくとも３
    つの撮像手段により撮像された画像の各々において、前
    記上半身主軸と前記人物領域の輪郭形状との関係に基づ
    いて、前記輪郭上で仮頭頂点を定め、前記仮頭頂点と前
    記足先点との間の区間から、所定の条件を満たす点を前
    記手先点として選ぶための手段を含み、 前記３次元姿勢を推定するための手段は、 手先点を選ぶ際に満たされた条件にしたがって前記画像
    の各々について手先点の信頼性を評価するための手段、
    および前記評価された信頼性の高い順に前記画像のうち
    の二つを選択し、前記選択された二つの画像の人物領域
    から求められた前記特徴部位の２次元配置によって前記
    人物の３次元姿勢を推定するための手段を含む、請求項
    ２６に記載の人物の肘位置推定装置。
30. 【請求項３０】 前記上半身画像の主軸を求めるための
    手段は、 各前記人物領域の前記上半身画像の腕領域を除去するた
    めの手段、および腕領域が除去された各前記人物領域の
    主軸を計算して求めるための手段を含む、請求項２６に
    記載の人物の肘位置推定装置。
31. 【請求項３１】 前記人物の肘位置推定装置は、前記画
    像から得られた前記上半身画像の主軸を記憶するための
    手段をさらに含み、 前記腕領域を除去するための手段は、 前のフレームから得られ記憶されていた上半身画像の主
    軸を、現フレームの距離変換された画像の前記重心に当
    てはめるための手段、および前記当てはめられた上半身
    画像を中心としたガウス分布を前記距離変換された画像
    の上半身の領域の距離値に乗じて上半身距離画像を得る
    ための手段を含む、請求項３０に記載の人物の肘位置推
    定装置。
32. 【請求項３２】 前記主軸を計算して求めるための手段
    は、前記上半身距離画像の慣性主軸を計算して上半身主
    軸として求めるための手段を含む、請求項３１に記載の
    人物の肘位置推定装置。