JP2000207568A - 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 - Google Patents
姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体Info
- Publication number
- JP2000207568A JP2000207568A JP11011734A JP1173499A JP2000207568A JP 2000207568 A JP2000207568 A JP 2000207568A JP 11011734 A JP11011734 A JP 11011734A JP 1173499 A JP1173499 A JP 1173499A JP 2000207568 A JP2000207568 A JP 2000207568A
- Authority
- JP
- Japan
- Prior art keywords
- center line
- image
- edge
- posture
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 被計測物体にマーカやセンサをつけたり、特
別の背景を用意したり、特殊なカメラを用意したりする
ことなく、簡単に被計測物体の姿勢を計測する。 【解決手段】 映像入力部101を介して被計測物体の
カメラ画像を姿勢計測画像として取り込む。姿勢計測画
像における被計測物体の位置,大きさ,姿勢を推定処理
部102で推定する。エッジ抽出手部104と中心線推
定部105と中心線検出部106とで姿勢計測処理部1
03を構成する。エッジ抽出部104で姿勢計測画像の
エッジを抽出してエッジ画像を作る。中心線推定部10
5で推定処理部102からの推定結果から被計測物体の
輪郭の中心線を推定する。中心線検出部106でエッジ
画像における推定中心線の近傍のエッジから中心線を確
定する。この確定した中心線の傾きを被計測物体の姿勢
として出力する。
別の背景を用意したり、特殊なカメラを用意したりする
ことなく、簡単に被計測物体の姿勢を計測する。 【解決手段】 映像入力部101を介して被計測物体の
カメラ画像を姿勢計測画像として取り込む。姿勢計測画
像における被計測物体の位置,大きさ,姿勢を推定処理
部102で推定する。エッジ抽出手部104と中心線推
定部105と中心線検出部106とで姿勢計測処理部1
03を構成する。エッジ抽出部104で姿勢計測画像の
エッジを抽出してエッジ画像を作る。中心線推定部10
5で推定処理部102からの推定結果から被計測物体の
輪郭の中心線を推定する。中心線検出部106でエッジ
画像における推定中心線の近傍のエッジから中心線を確
定する。この確定した中心線の傾きを被計測物体の姿勢
として出力する。
Description
【0001】
【発明の属する技術分野】この発明は、スポーツやリハ
ビリテーションなどで運動解析を行うために用いて好適
な姿勢の計測装置及び姿勢の計測プログラムを記録した
記録媒体に関するものである。
ビリテーションなどで運動解析を行うために用いて好適
な姿勢の計測装置及び姿勢の計測プログラムを記録した
記録媒体に関するものである。
【0002】
【従来の技術】動く物体の運動解析を行うための姿勢の
計測装置には次のようなものがある。 〔物体にマーカを付ける方法〕赤外光を反射するマー
カや色マーカをつけた物体をカメラで撮影する。得られ
るカメラ画像からマーカの領域を検出し、マーカの動き
から姿勢を計測する。複数のカメラで同時に物体を撮影
し、ステレオ計測によりマーカの3次元位置を求めるこ
とで3次元的な姿勢計測を行う方法もある。 〔小型のセンサを物体に装着する方法〕ジャイロや加
速度計のような位置や動きを計測するセンサを物体に装
着することにより姿勢を計測する。 〔画像処理による方法〕クロマキーで使用されるよう
な特殊な背景を設定したり、赤外線カメラを用いるなど
して物体のシルエットを抽出し、シルエットから姿勢を
計測する。シルエットからの姿勢の計測方法は、シルエ
ットの中心線(スケルトン)や輪郭から関節角度を計測
する方法、物体の形状モデルからシルエットを作成し,
実測したシルエットと一致するように形状モデルを変形
させることで姿勢を求める方法などがある。
計測装置には次のようなものがある。 〔物体にマーカを付ける方法〕赤外光を反射するマー
カや色マーカをつけた物体をカメラで撮影する。得られ
るカメラ画像からマーカの領域を検出し、マーカの動き
から姿勢を計測する。複数のカメラで同時に物体を撮影
し、ステレオ計測によりマーカの3次元位置を求めるこ
とで3次元的な姿勢計測を行う方法もある。 〔小型のセンサを物体に装着する方法〕ジャイロや加
速度計のような位置や動きを計測するセンサを物体に装
着することにより姿勢を計測する。 〔画像処理による方法〕クロマキーで使用されるよう
な特殊な背景を設定したり、赤外線カメラを用いるなど
して物体のシルエットを抽出し、シルエットから姿勢を
計測する。シルエットからの姿勢の計測方法は、シルエ
ットの中心線(スケルトン)や輪郭から関節角度を計測
する方法、物体の形状モデルからシルエットを作成し,
実測したシルエットと一致するように形状モデルを変形
させることで姿勢を求める方法などがある。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
方法およびでは、物体にマーカやセンサを装着させ
る必要があり、簡便に計測することができない。スポー
ツやリハビリテーションにおいて運動解析を行う場合に
は、物を身体に装着することで心理的負担をかけたり、
動作にも影響が出たりして計測データに問題が生じる場
合もある。また、マーカーが隠れた場合には計測不可能
である。従来の方法では、特殊な背景やカメラを用意
する必要があるため,医療やスポーツの現場への適用が
困難である。
方法およびでは、物体にマーカやセンサを装着させ
る必要があり、簡便に計測することができない。スポー
ツやリハビリテーションにおいて運動解析を行う場合に
は、物を身体に装着することで心理的負担をかけたり、
動作にも影響が出たりして計測データに問題が生じる場
合もある。また、マーカーが隠れた場合には計測不可能
である。従来の方法では、特殊な背景やカメラを用意
する必要があるため,医療やスポーツの現場への適用が
困難である。
【0004】本発明はこのような課題を解決するために
なされたもので、その目的とするところは、被計測物体
にマーカやセンサをつけたり、特別の背景を用意した
り、特殊なカメラを用意したりすることなく、簡単に被
計測物体の姿勢を計測することのできる姿勢の計測装置
及び姿勢の計測プログラムを記録した記録媒体を提供す
ることにある。
なされたもので、その目的とするところは、被計測物体
にマーカやセンサをつけたり、特別の背景を用意した
り、特殊なカメラを用意したりすることなく、簡単に被
計測物体の姿勢を計測することのできる姿勢の計測装置
及び姿勢の計測プログラムを記録した記録媒体を提供す
ることにある。
【0005】
【課題を解決するための手段】このような目的を達成す
るために、本発明は、被計測物体のカメラ画像を姿勢計
測画像として取り込み、この姿勢計測画像における被計
測物体の位置,大きさ,姿勢を推定し、この推定結果と
姿勢計測画像とから姿勢計測画像における被計測物体の
輪郭の中心線を求め、この中心線の傾きから被計測物体
の姿勢を計測するようにしたものであり、姿勢計測画像
における被計測物体の輪郭の中心線を求めるにあたっ
て、姿勢計測画像のエッジを抽出してエッジ画像を作
り、前記推定結果から姿勢計測画像における被計測物体
の輪郭の中心線を推定し、エッジ画像における推定中心
線の近傍のエッジから中心線を確定するようにしたもの
である。
るために、本発明は、被計測物体のカメラ画像を姿勢計
測画像として取り込み、この姿勢計測画像における被計
測物体の位置,大きさ,姿勢を推定し、この推定結果と
姿勢計測画像とから姿勢計測画像における被計測物体の
輪郭の中心線を求め、この中心線の傾きから被計測物体
の姿勢を計測するようにしたものであり、姿勢計測画像
における被計測物体の輪郭の中心線を求めるにあたっ
て、姿勢計測画像のエッジを抽出してエッジ画像を作
り、前記推定結果から姿勢計測画像における被計測物体
の輪郭の中心線を推定し、エッジ画像における推定中心
線の近傍のエッジから中心線を確定するようにしたもの
である。
【0006】この発明によれば、姿勢計測画像における
被計測物体の位置,大きさ,姿勢の推定結果から被計測
物体の輪郭の中心線が推定され、エッジ画像(姿勢計測
画像のエッジを抽出して作成された画像)における推定
中心線の近傍のエッジから中心線が確定され、この確定
された中心線の傾きから被計測物体の姿勢が計測され
る。
被計測物体の位置,大きさ,姿勢の推定結果から被計測
物体の輪郭の中心線が推定され、エッジ画像(姿勢計測
画像のエッジを抽出して作成された画像)における推定
中心線の近傍のエッジから中心線が確定され、この確定
された中心線の傾きから被計測物体の姿勢が計測され
る。
【0007】また、本発明は、N個(N≧2)のパーツ
より構成される被計測物体のカメラ画像を姿勢計測画像
として取り込み、この姿勢計測画像における被計測物体
の位置,大きさ,姿勢を推定し、この推定結果と姿勢計
測画像とから被計測物体の各パーツの輪郭の中心線を求
め、この各パーツの中心線の傾きから被計測物体の姿勢
を計測するようにしたものであり、姿勢計測画像におけ
る被計測物体の各パーツの輪郭の中心線を求めるにあた
って、姿勢計測画像のエッジを抽出してエッジ画像を作
り、前記推定結果から姿勢計測画像における被計測物体
の各パーツの輪郭の中心線を推定し、エッジ画像におけ
る最前面パーツの推定中心線の近傍のエッジからこの最
前面パーツの中心線を確定し、エッジ画像における最前
面パーツの確定中心線の近傍のエッジを削除して部分削
除エッジ画像を作り、この部分削除エッジ画像における
最前面パーツの後方に位置する次順パーツの推定中心線
の近傍のエッジからこの次順パーツの中心線を確定し、
被計測物体のパーツの個数NがN≧3の場合、次順パー
ツと同様にして、手前のパーツの確定中心線の近傍のエ
ッジをさらに削除した新たな部分削除エッジ画像とその
パーツの推定中心線とから、残りのパーツの中心線を確
定させて行くようにしたものである。
より構成される被計測物体のカメラ画像を姿勢計測画像
として取り込み、この姿勢計測画像における被計測物体
の位置,大きさ,姿勢を推定し、この推定結果と姿勢計
測画像とから被計測物体の各パーツの輪郭の中心線を求
め、この各パーツの中心線の傾きから被計測物体の姿勢
を計測するようにしたものであり、姿勢計測画像におけ
る被計測物体の各パーツの輪郭の中心線を求めるにあた
って、姿勢計測画像のエッジを抽出してエッジ画像を作
り、前記推定結果から姿勢計測画像における被計測物体
の各パーツの輪郭の中心線を推定し、エッジ画像におけ
る最前面パーツの推定中心線の近傍のエッジからこの最
前面パーツの中心線を確定し、エッジ画像における最前
面パーツの確定中心線の近傍のエッジを削除して部分削
除エッジ画像を作り、この部分削除エッジ画像における
最前面パーツの後方に位置する次順パーツの推定中心線
の近傍のエッジからこの次順パーツの中心線を確定し、
被計測物体のパーツの個数NがN≧3の場合、次順パー
ツと同様にして、手前のパーツの確定中心線の近傍のエ
ッジをさらに削除した新たな部分削除エッジ画像とその
パーツの推定中心線とから、残りのパーツの中心線を確
定させて行くようにしたものである。
【0008】この発明によれば、姿勢計測画像における
被計測物体の位置,大きさ,姿勢の推定結果から被計測
物体の各パーツの輪郭の中心線が推定され、エッジ画像
における最前面パーツの推定中心線の近傍のエッジから
この最前面パーツの中心線が確定される。また、エッジ
画像における最前面パーツの確定中心線の近傍のエッジ
が削除されて部分削除エッジ画像が作成され、この部分
削除エッジ画像における最前面パーツの後方に位置する
次順パーツの推定中心線の近傍のエッジからこの次順パ
ーツの中心線が確定される。被計測物体のパーツの個数
NがN≧3の場合、次順パーツと同様にして、手前のパ
ーツの確定中心線の近傍のエッジをさらに削除した新た
な部分削除エッジ画像とそのパーツの推定中心線とか
ら、残りのパーツの中心線が確定されて行く。
被計測物体の位置,大きさ,姿勢の推定結果から被計測
物体の各パーツの輪郭の中心線が推定され、エッジ画像
における最前面パーツの推定中心線の近傍のエッジから
この最前面パーツの中心線が確定される。また、エッジ
画像における最前面パーツの確定中心線の近傍のエッジ
が削除されて部分削除エッジ画像が作成され、この部分
削除エッジ画像における最前面パーツの後方に位置する
次順パーツの推定中心線の近傍のエッジからこの次順パ
ーツの中心線が確定される。被計測物体のパーツの個数
NがN≧3の場合、次順パーツと同様にして、手前のパ
ーツの確定中心線の近傍のエッジをさらに削除した新た
な部分削除エッジ画像とそのパーツの推定中心線とか
ら、残りのパーツの中心線が確定されて行く。
【0009】
【発明の実施の形態】以下、本発明を実施の形態に基づ
き詳細に説明する。 〔実施の形態1:第1発明(請求項1)、第2発明(請
求項2)、第3発明(請求項3)〕図1はこの発明の第
1の実施の形態を示す姿勢の計測装置のブロック構成図
である。
き詳細に説明する。 〔実施の形態1:第1発明(請求項1)、第2発明(請
求項2)、第3発明(請求項3)〕図1はこの発明の第
1の実施の形態を示す姿勢の計測装置のブロック構成図
である。
【0010】同図において、101は被計測物体のカメ
ラ画像を姿勢計測画像として取り込む映像入力部(画像
取込手段)、102は映像入力部101からの姿勢計測
画像における被計測物体の位置,大きさ,姿勢を推定す
る推定処理部(推定手段)、103は映像入力部101
からの姿勢計測画像と推定処理部102からの推定結果
とから姿勢計測画像における被計測物体の輪郭の中心線
を求め、この中心線の傾きを被計測物体の姿勢として計
測する姿勢計測処理部(姿勢計測手段)である。
ラ画像を姿勢計測画像として取り込む映像入力部(画像
取込手段)、102は映像入力部101からの姿勢計測
画像における被計測物体の位置,大きさ,姿勢を推定す
る推定処理部(推定手段)、103は映像入力部101
からの姿勢計測画像と推定処理部102からの推定結果
とから姿勢計測画像における被計測物体の輪郭の中心線
を求め、この中心線の傾きを被計測物体の姿勢として計
測する姿勢計測処理部(姿勢計測手段)である。
【0011】姿勢計測処理部103は、映像入力部10
1からの姿勢計測画像のエッジを抽出してエッジ画像を
作るエッジ抽出手部(エッジ抽出手段)104と、推定
処理部102からの推定結果から姿勢計測画像における
被計測物体の輪郭の中心線を推定する中心線推定部(中
心線推定手段)105と、中心線推定部105からの推
定中心線とエッジ抽出部104からのエッジ画像とを入
力とし、エッジ画像における推定中心線の近傍のエッジ
から中心線を確定する中心線検出部(中心線確定手段)
106とから構成されている。
1からの姿勢計測画像のエッジを抽出してエッジ画像を
作るエッジ抽出手部(エッジ抽出手段)104と、推定
処理部102からの推定結果から姿勢計測画像における
被計測物体の輪郭の中心線を推定する中心線推定部(中
心線推定手段)105と、中心線推定部105からの推
定中心線とエッジ抽出部104からのエッジ画像とを入
力とし、エッジ画像における推定中心線の近傍のエッジ
から中心線を確定する中心線検出部(中心線確定手段)
106とから構成されている。
【0012】中心線検出部106は、エッジ抽出部10
4からのエッジ画像と中心線推定部105からの推定中
心線を入力とし、推定中心線上の各点に対して、この推
定中心線と直交する方向にあるエッジ上の点の中で、こ
の推定中心線の両側に位置し、かつ、お互いの距離が第
1のしきい値T1以上で第2のしきい値T2(T2>T
1)以下である2点を求め、それらの中点を中心線候補
点として求める中点検出部(中心線候補点検出手段)1
07と、中点検出部108からの中心線候補点を最もよ
く近似する直線を確定中心線とする直線検出部(中心線
検出手段)108とから構成されている。直線検出部1
08は確定した中心線の傾きを姿勢計測画像における被
計測物体の姿勢として出力する。
4からのエッジ画像と中心線推定部105からの推定中
心線を入力とし、推定中心線上の各点に対して、この推
定中心線と直交する方向にあるエッジ上の点の中で、こ
の推定中心線の両側に位置し、かつ、お互いの距離が第
1のしきい値T1以上で第2のしきい値T2(T2>T
1)以下である2点を求め、それらの中点を中心線候補
点として求める中点検出部(中心線候補点検出手段)1
07と、中点検出部108からの中心線候補点を最もよ
く近似する直線を確定中心線とする直線検出部(中心線
検出手段)108とから構成されている。直線検出部1
08は確定した中心線の傾きを姿勢計測画像における被
計測物体の姿勢として出力する。
【0013】次に、人物の歩行動作の解析を行う場合を
例に、この姿勢の計測装置の動作について説明する。映
像入力部101は歩行動作を行っている人物のカメラ画
像を姿勢計測画像として取り込む。この取り込まれた姿
勢計測画像は推定処理部102および姿勢計測処理部1
03に与えられる。
例に、この姿勢の計測装置の動作について説明する。映
像入力部101は歩行動作を行っている人物のカメラ画
像を姿勢計測画像として取り込む。この取り込まれた姿
勢計測画像は推定処理部102および姿勢計測処理部1
03に与えられる。
【0014】推定処理部102は姿勢計測画像における
人物の位置、大きさ、姿勢を推定する。推定方法の一例
として、圧力センサを用いる方法がある(1998年電
子情報通信学会総合大会D−12−148、カメラと足
圧センサによる歩行時の姿勢計測)。これは圧力センサ
とカメラとの位置関係を求めておき、足圧が生じた位置
から画像での足の位置、両足を接地したときに計測した
両足の間隔から画像での人物の大きさ、足圧分布の時間
変化から姿勢をそれぞれ推定する方法である。この推定
処理部102での推定結果は姿勢計測処理部103へ与
えられる。
人物の位置、大きさ、姿勢を推定する。推定方法の一例
として、圧力センサを用いる方法がある(1998年電
子情報通信学会総合大会D−12−148、カメラと足
圧センサによる歩行時の姿勢計測)。これは圧力センサ
とカメラとの位置関係を求めておき、足圧が生じた位置
から画像での足の位置、両足を接地したときに計測した
両足の間隔から画像での人物の大きさ、足圧分布の時間
変化から姿勢をそれぞれ推定する方法である。この推定
処理部102での推定結果は姿勢計測処理部103へ与
えられる。
【0015】姿勢計測処理部103において、映像入力
部101からの姿勢計測画像はエッジ抽出部104へ与
えられ、推定処理部102からの推定結果は中心線推定
部105へ与えられる。中心線推定部105は推定処理
部102からの推定結果から姿勢計測画像における人物
の輪郭の中心線(骨格を表す中心線)を推定する。姿勢
計測画像への推定中心線(S1,S2)の表示例を図2
に示す。
部101からの姿勢計測画像はエッジ抽出部104へ与
えられ、推定処理部102からの推定結果は中心線推定
部105へ与えられる。中心線推定部105は推定処理
部102からの推定結果から姿勢計測画像における人物
の輪郭の中心線(骨格を表す中心線)を推定する。姿勢
計測画像への推定中心線(S1,S2)の表示例を図2
に示す。
【0016】エッジ抽出部104は映像入力部101か
らの姿勢計測画像のエッジを抽出してエッジ画像を作
る。姿勢計測画像にラプラシアンガウシアンフィルタを
施し、ゼロクロッシング点をエッジとして求めた例を図
3に示す。エッジ抽出部104からのエッジ画像および
中心線推定部105からの推定中心線は中心線検出部1
06の中点検出部107へ与えられる。中点検出部10
7は、エッジ抽出部104からのエッジ画像に中心線推
定部105からの推定中心線を重畳させ、次の方法で中
心線候補点を求める。
らの姿勢計測画像のエッジを抽出してエッジ画像を作
る。姿勢計測画像にラプラシアンガウシアンフィルタを
施し、ゼロクロッシング点をエッジとして求めた例を図
3に示す。エッジ抽出部104からのエッジ画像および
中心線推定部105からの推定中心線は中心線検出部1
06の中点検出部107へ与えられる。中点検出部10
7は、エッジ抽出部104からのエッジ画像に中心線推
定部105からの推定中心線を重畳させ、次の方法で中
心線候補点を求める。
【0017】中点検出部107は、推定中心線上の点L
i(i=1,2,…,n)について(図4参照)、この
推定中心線と直交する方向にあるエッジ上の点の中で、
この推定中心線の両側に位置し、かつ、お互いの距離が
第1のしきい値T1以上で第2のしきい値T2以下であ
る2点を求め、それらの中点を中心線候補点として求め
る。
i(i=1,2,…,n)について(図4参照)、この
推定中心線と直交する方向にあるエッジ上の点の中で、
この推定中心線の両側に位置し、かつ、お互いの距離が
第1のしきい値T1以上で第2のしきい値T2以下であ
る2点を求め、それらの中点を中心線候補点として求め
る。
【0018】ここで、T1とT2の値は、姿勢計測画像
での人物の脚の幅Wを推定しておき、例えば、T1=W
/5、T2=1.5Wと設定すればよい。脚の幅Wは人
物の平均的な脚の幅と人物の大きさの推定結果から求め
られる。
での人物の脚の幅Wを推定しておき、例えば、T1=W
/5、T2=1.5Wと設定すればよい。脚の幅Wは人
物の平均的な脚の幅と人物の大きさの推定結果から求め
られる。
【0019】図4の例では、推定中心線S1上の点Li
に対するエッジ上の点はP1,P2,P3,P4の4点
ある。推定中心線S1の両側の点から2点を選ぶ組み合
わせのなかで、距離がT1以上、T2以下のものは(P
1,P3)と(P2,P4)と(P1,P4)の組み合
わせである。従って、P1とP3との中点、P2とP4
との中点、およびP1とP4との中点を中心線候補点と
する。推定中心線S1上のn個の点について中心線候補
点を求めた結果を図5に示す。
に対するエッジ上の点はP1,P2,P3,P4の4点
ある。推定中心線S1の両側の点から2点を選ぶ組み合
わせのなかで、距離がT1以上、T2以下のものは(P
1,P3)と(P2,P4)と(P1,P4)の組み合
わせである。従って、P1とP3との中点、P2とP4
との中点、およびP1とP4との中点を中心線候補点と
する。推定中心線S1上のn個の点について中心線候補
点を求めた結果を図5に示す。
【0020】中点検出部107からの中心線候補点は直
線検出部108へ与えられる。直線検出部108は、中
点検出部108からの中心線候補点を最もよく近似する
直線を確定中心線とする。例えば、ハフ(Hough)
変換を用いれば、中心線候補点を最もよく近似する直線
が得られる。姿勢計測画像への確定中心線(C1,C
2)の表示例を図6(a)に示す。図6(a)では確定
中心線C1,C2の傾きが姿勢計測画像における人物の
脚の向きを正しく表していることが分かる。
線検出部108へ与えられる。直線検出部108は、中
点検出部108からの中心線候補点を最もよく近似する
直線を確定中心線とする。例えば、ハフ(Hough)
変換を用いれば、中心線候補点を最もよく近似する直線
が得られる。姿勢計測画像への確定中心線(C1,C
2)の表示例を図6(a)に示す。図6(a)では確定
中心線C1,C2の傾きが姿勢計測画像における人物の
脚の向きを正しく表していることが分かる。
【0021】なお、図6(b)に姿勢計測画像への確定
中心線(C1,C2)の別の表示例を示す。この場合、
図6(b)での確定中心線C1の傾きは、姿勢計測画像
における人物の脚の向きを正しく表していない。これ
は、左足の後ろ側の輪郭と、右脚の前側の輪郭で脚があ
ると誤認識したためである。このような問題に対して
は、人物動作を動画像として取り込み、各フレーム画像
から姿勢を計測し、動作の連続性から修正して行くこと
で解決できる。ハフ(Hough)変換では直線の候補
を複数検出することが可能である。あるフレーム画像に
おいて、直線検出部108で複数の直線が検出されたと
きには、前後のフレームでの姿勢計測結果に近いものを
選択すればよい。
中心線(C1,C2)の別の表示例を示す。この場合、
図6(b)での確定中心線C1の傾きは、姿勢計測画像
における人物の脚の向きを正しく表していない。これ
は、左足の後ろ側の輪郭と、右脚の前側の輪郭で脚があ
ると誤認識したためである。このような問題に対して
は、人物動作を動画像として取り込み、各フレーム画像
から姿勢を計測し、動作の連続性から修正して行くこと
で解決できる。ハフ(Hough)変換では直線の候補
を複数検出することが可能である。あるフレーム画像に
おいて、直線検出部108で複数の直線が検出されたと
きには、前後のフレームでの姿勢計測結果に近いものを
選択すればよい。
【0022】以上説明したように、この実施の形態1に
よれば、姿勢計測画像における被計測物体の位置、大き
さ、姿勢の推定結果と姿勢計測画像との照合により、被
計測物体にマーカやセンサをつけたり、特別の背景を用
意したり、特殊なカメラを用意したりすることなく、簡
単に被計測物体の姿勢を計測することができる。
よれば、姿勢計測画像における被計測物体の位置、大き
さ、姿勢の推定結果と姿勢計測画像との照合により、被
計測物体にマーカやセンサをつけたり、特別の背景を用
意したり、特殊なカメラを用意したりすることなく、簡
単に被計測物体の姿勢を計測することができる。
【0023】〔実施の形態2:第4発明(請求項4)〕
図7はこの発明の第2の実施の形態を示す姿勢の計測装
置のブロック構成図である。同図において、101はN
個(N≧2)のパーツより構成される被計測物体のカメ
ラ画像を姿勢計測画像として取り込む映像入力部(画像
取込手段)、102は映像入力部101からの姿勢計測
画像における被計測物体の位置,大きさ,姿勢を推定す
る推定処理部(推定手段)、200は映像入力部101
からの姿勢計測画像と推定処理部102からの推定結果
とから姿勢計測画像における被計測物体の各パーツの輪
郭の中心線を求め、この各パーツの中心線の傾きを被計
測物体の姿勢として計測する姿勢計測処理部(姿勢計測
手段)である。
図7はこの発明の第2の実施の形態を示す姿勢の計測装
置のブロック構成図である。同図において、101はN
個(N≧2)のパーツより構成される被計測物体のカメ
ラ画像を姿勢計測画像として取り込む映像入力部(画像
取込手段)、102は映像入力部101からの姿勢計測
画像における被計測物体の位置,大きさ,姿勢を推定す
る推定処理部(推定手段)、200は映像入力部101
からの姿勢計測画像と推定処理部102からの推定結果
とから姿勢計測画像における被計測物体の各パーツの輪
郭の中心線を求め、この各パーツの中心線の傾きを被計
測物体の姿勢として計測する姿勢計測処理部(姿勢計測
手段)である。
【0024】姿勢計測処理部200は、映像入力部10
1からの姿勢計測画像のエッジを抽出してエッジ画像を
作るエッジ抽出手部(エッジ抽出手段)104と、処理
制御部201と、処理制御部201を介する推定処理部
102からの推定結果から後述する如く姿勢計測画像に
おける被計測物体の各パーツの輪郭の中心線を推定する
中心線推定部(中心線推定手段)105と、中心線検出
部(最前面パーツ中心線確定手段、次順パーツ中心線確
定手段、残パーツ中心線確定手段)106’と、エッジ
削除部(エッジ削除手段)202とから構成されてい
る。
1からの姿勢計測画像のエッジを抽出してエッジ画像を
作るエッジ抽出手部(エッジ抽出手段)104と、処理
制御部201と、処理制御部201を介する推定処理部
102からの推定結果から後述する如く姿勢計測画像に
おける被計測物体の各パーツの輪郭の中心線を推定する
中心線推定部(中心線推定手段)105と、中心線検出
部(最前面パーツ中心線確定手段、次順パーツ中心線確
定手段、残パーツ中心線確定手段)106’と、エッジ
削除部(エッジ削除手段)202とから構成されてい
る。
【0025】中心線検出部106’は、中心線推定部1
05からの最前面パーツの推定中心線とエッジ抽出部1
04からのエッジ画像を入力とし、エッジ画像における
最前面パーツの推定中心線の近傍のエッジからこの最前
面パーツの中心線を確定する。また、中心線推定部10
5からの次順パーツの推定中心線とエッジ削除部202
からの処理制御部201を介する部分削除エッジ画像を
入力とし、部分削除エッジ画像における次順パーツの推
定中心線の近傍のエッジからこの次順パーツの中心線を
確定する。また、被計測物体のパーツの個数NがN≧3
の場合、次順パーツと同様にして、手前のパーツの確定
中心線の近傍のエッジをさらに削除したエッジ削除部2
02からの部分削除エッジ画像とそのパーツの推定中心
線とから、残りのパーツの中心線を確定させて行く。
05からの最前面パーツの推定中心線とエッジ抽出部1
04からのエッジ画像を入力とし、エッジ画像における
最前面パーツの推定中心線の近傍のエッジからこの最前
面パーツの中心線を確定する。また、中心線推定部10
5からの次順パーツの推定中心線とエッジ削除部202
からの処理制御部201を介する部分削除エッジ画像を
入力とし、部分削除エッジ画像における次順パーツの推
定中心線の近傍のエッジからこの次順パーツの中心線を
確定する。また、被計測物体のパーツの個数NがN≧3
の場合、次順パーツと同様にして、手前のパーツの確定
中心線の近傍のエッジをさらに削除したエッジ削除部2
02からの部分削除エッジ画像とそのパーツの推定中心
線とから、残りのパーツの中心線を確定させて行く。
【0026】エッジ削除部202は、エッジ抽出部10
4からのエッジ画像における最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像とする。
また、被計測物体のパーツの個数NがN≧3の場合、中
心線検出部106’での残りのパーツの中心線の確定に
際し、手前のパーツの確定中心線の近傍のエッジをさら
に削除した新たな部分削除エッジ画像を作成する。
4からのエッジ画像における最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像とする。
また、被計測物体のパーツの個数NがN≧3の場合、中
心線検出部106’での残りのパーツの中心線の確定に
際し、手前のパーツの確定中心線の近傍のエッジをさら
に削除した新たな部分削除エッジ画像を作成する。
【0027】次に、人物の歩行動作の解析を行う場合を
例に、この姿勢の計測装置の動作について説明する。映
像入力部101は歩行動作を行っている人物のカメラ画
像を姿勢計測画像として取り込む。この取り込まれた姿
勢計測画像は推定処理部102および姿勢計測処理部2
00に与えられる。
例に、この姿勢の計測装置の動作について説明する。映
像入力部101は歩行動作を行っている人物のカメラ画
像を姿勢計測画像として取り込む。この取り込まれた姿
勢計測画像は推定処理部102および姿勢計測処理部2
00に与えられる。
【0028】推定処理部102は姿勢計測画像における
人物の位置、大きさ、姿勢を実施の形態1と同様にして
推定する。この推定処理部102での推定結果は姿勢計
測処理部200へ与えられる。姿勢計測処理部200に
おいて、映像入力部101からの姿勢計測画像はエッジ
抽出部104へ与えられ、推定処理部102からの推定
結果は処理制御部201へ与えられる。
人物の位置、大きさ、姿勢を実施の形態1と同様にして
推定する。この推定処理部102での推定結果は姿勢計
測処理部200へ与えられる。姿勢計測処理部200に
おいて、映像入力部101からの姿勢計測画像はエッジ
抽出部104へ与えられ、推定処理部102からの推定
結果は処理制御部201へ与えられる。
【0029】処理制御部201は、推定処理部102か
らの推定結果から姿勢計測画像において人物の左右の脚
(被計測物体の左右のパーツ)のどちらが前面に位置し
ているかを判定する。例えば、この時の姿勢計測画像を
図8とすれば、前面に位置している脚は左脚であると判
定する。そして、処理制御部201は、前面に位置して
いると判定した脚、図8で言えば左脚の推定結果(位
置、大きさ、姿勢)を中心線推定部105へ送る。
らの推定結果から姿勢計測画像において人物の左右の脚
(被計測物体の左右のパーツ)のどちらが前面に位置し
ているかを判定する。例えば、この時の姿勢計測画像を
図8とすれば、前面に位置している脚は左脚であると判
定する。そして、処理制御部201は、前面に位置して
いると判定した脚、図8で言えば左脚の推定結果(位
置、大きさ、姿勢)を中心線推定部105へ送る。
【0030】中心線推定部105は、処理制御部201
からの左脚の推定結果から姿勢計測画像における人物の
左脚の輪郭の中心線S1(図8参照)を推定する。この
推定中心線S1は中心線検出部106’へ与えられる。
からの左脚の推定結果から姿勢計測画像における人物の
左脚の輪郭の中心線S1(図8参照)を推定する。この
推定中心線S1は中心線検出部106’へ与えられる。
【0031】中心線検出部106’は、エッジ抽出部1
04からのエッジ画像に中心線推定部105からの左脚
の推定中心線S1を重畳させ、実施の形態1と同様の方
法で中心線候補点を求め、この中心線候補点を最もよく
近似する直線を左脚の確定中心線C1とし(図10参
照)、この確定中心線C1の傾きを左脚の姿勢として出
力する。
04からのエッジ画像に中心線推定部105からの左脚
の推定中心線S1を重畳させ、実施の形態1と同様の方
法で中心線候補点を求め、この中心線候補点を最もよく
近似する直線を左脚の確定中心線C1とし(図10参
照)、この確定中心線C1の傾きを左脚の姿勢として出
力する。
【0032】一方、中心線検出部106’において求め
られた左脚の確定中心線C1はエッジ削除部202へ与
えられる。エッジ削除部202は、エッジ抽出部104
からのエッジ画像における左脚の確定中心線C1の近傍
のエッジを削除して部分削除エッジ画像を作成する。こ
の実施の形態では、左脚の確定中心線C1の両側で、中
心線検出部106’でのしきい値T2の幅の領域を削除
する。図9に左脚の確定中心線C1の近傍のエッジを削
除して得られる部分削除エッジ画像を例示する。
られた左脚の確定中心線C1はエッジ削除部202へ与
えられる。エッジ削除部202は、エッジ抽出部104
からのエッジ画像における左脚の確定中心線C1の近傍
のエッジを削除して部分削除エッジ画像を作成する。こ
の実施の形態では、左脚の確定中心線C1の両側で、中
心線検出部106’でのしきい値T2の幅の領域を削除
する。図9に左脚の確定中心線C1の近傍のエッジを削
除して得られる部分削除エッジ画像を例示する。
【0033】次に、処理制御部201は、最前面パーツ
の後方に位置する次順パーツとして、左脚の後方に位置
する右脚の推定結果(位置、大きさ、姿勢)を中心線推
定部105へ送る。また、処理制御部201は、エッジ
削除部202からの左脚の確定中心線C1の近傍のエッ
ジを削除した部分削除エッジ画像を中心線検出部10
6’へ送る。
の後方に位置する次順パーツとして、左脚の後方に位置
する右脚の推定結果(位置、大きさ、姿勢)を中心線推
定部105へ送る。また、処理制御部201は、エッジ
削除部202からの左脚の確定中心線C1の近傍のエッ
ジを削除した部分削除エッジ画像を中心線検出部10
6’へ送る。
【0034】中心線推定部105は、処理制御部201
からの右脚の推定結果から姿勢計測画像における人物の
右脚の輪郭の中心線S2(図8参照)を推定する。この
推定中心線S2は中心線検出部106’へ与えられる。
からの右脚の推定結果から姿勢計測画像における人物の
右脚の輪郭の中心線S2(図8参照)を推定する。この
推定中心線S2は中心線検出部106’へ与えられる。
【0035】中心線検出部106’は、エッジ削除部2
02からの処理制御部201を介する部分削除エッジ画
像に中心線推定部105からの右脚の推定中心線S2を
重畳させ、実施の形態1と同様の方法で中心線候補点を
求め、この中心線候補点を最もよく近似する直線を右脚
の確定中心線C2とし(図10参照)、この確定中心線
C2の傾きを右脚の姿勢として出力する。この実施の形
態2では、図10に示されているように、右脚の大腿部
の一部が隠れているが、正しくその姿勢を計測できてい
ることが分かる。
02からの処理制御部201を介する部分削除エッジ画
像に中心線推定部105からの右脚の推定中心線S2を
重畳させ、実施の形態1と同様の方法で中心線候補点を
求め、この中心線候補点を最もよく近似する直線を右脚
の確定中心線C2とし(図10参照)、この確定中心線
C2の傾きを右脚の姿勢として出力する。この実施の形
態2では、図10に示されているように、右脚の大腿部
の一部が隠れているが、正しくその姿勢を計測できてい
ることが分かる。
【0036】なお、この例では、人物の両足を被計測物
体のパーツとしたが、すなわち被計測物体のパーツの個
数NをN=2としたが、N≧3の場合、次順パーツと同
様にして、中心線検出部106’において、手前のパー
ツの確定中心線の近傍のエッジをさらに削除した新たな
部分削除エッジ画像(エッジ削除部202からの処理制
御部201を介する新たな部分削除エッジ画像)とその
パーツの推定中心線(中心線推定部105からの推定中
心線)とから、残りのパーツの中心線が確定されて行
く。
体のパーツとしたが、すなわち被計測物体のパーツの個
数NをN=2としたが、N≧3の場合、次順パーツと同
様にして、中心線検出部106’において、手前のパー
ツの確定中心線の近傍のエッジをさらに削除した新たな
部分削除エッジ画像(エッジ削除部202からの処理制
御部201を介する新たな部分削除エッジ画像)とその
パーツの推定中心線(中心線推定部105からの推定中
心線)とから、残りのパーツの中心線が確定されて行
く。
【0037】以上説明したように、この実施の形態2に
よれば、姿勢計測画像における被計測物体の位置、大き
さ、姿勢の推定結果と姿勢計測画像との照合により、被
計測物体にマーカやセンサをつけたり、特別の背景を用
意したり、特殊なカメラを用意したりすることなく、簡
単に被計測物体の姿勢を計測することができる。殊に、
この実施の形態2では、被計測物体が複数のパーツで構
成されていて、それらが画像上で重なる場合でも各パー
ツの姿勢の計測を正しく行うことができる。
よれば、姿勢計測画像における被計測物体の位置、大き
さ、姿勢の推定結果と姿勢計測画像との照合により、被
計測物体にマーカやセンサをつけたり、特別の背景を用
意したり、特殊なカメラを用意したりすることなく、簡
単に被計測物体の姿勢を計測することができる。殊に、
この実施の形態2では、被計測物体が複数のパーツで構
成されていて、それらが画像上で重なる場合でも各パー
ツの姿勢の計測を正しく行うことができる。
【0038】〔実施の形態3:第5発明(請求項5)〕
図11にコンピュータを使用した場合のシステム構成図
を示す。同図において、1はパーソナルコンピュータ
(パソコン)、2はカメラ、3は足圧センサである。パ
ソコン1は、CPU1−1,ROM1−2,RAM1−
3,キーボード1−4,ディスプレイ1−5、ハードデ
ィスク1−6、CD−ROMドライブ1−7、マウス1
−8等を備えている。1−9〜1−14はインターフェ
イスである。
図11にコンピュータを使用した場合のシステム構成図
を示す。同図において、1はパーソナルコンピュータ
(パソコン)、2はカメラ、3は足圧センサである。パ
ソコン1は、CPU1−1,ROM1−2,RAM1−
3,キーボード1−4,ディスプレイ1−5、ハードデ
ィスク1−6、CD−ROMドライブ1−7、マウス1
−8等を備えている。1−9〜1−14はインターフェ
イスである。
【0039】このシステムでは、被計測物体の姿勢を計
測するためのプログラム(姿勢計測プログラム)が図示
せぬCD−ROM(記録媒体)に記録された状態で提供
され、ハードディスク1−6にインストールされてい
る。CPU1−1は、カメラ2,足圧センサ3からの入
力情報を得て、ハードディスク1−6にインストールさ
れている姿勢計測プログラムに従い、ROM1−2やR
AM1−3にアクセスしながら、姿勢計測処理を行う。
測するためのプログラム(姿勢計測プログラム)が図示
せぬCD−ROM(記録媒体)に記録された状態で提供
され、ハードディスク1−6にインストールされてい
る。CPU1−1は、カメラ2,足圧センサ3からの入
力情報を得て、ハードディスク1−6にインストールさ
れている姿勢計測プログラムに従い、ROM1−2やR
AM1−3にアクセスしながら、姿勢計測処理を行う。
【0040】図12にCPU1−1が実行する姿勢計測
処理プログラムの一例(姿勢計測処理プログラム)を
示す。CPU1−1は、カメラ2を介する被計測物体の
カメラ画像を姿勢計測画像として取り込み(ステップ3
01)、この姿勢計測画像における被計測物体の位置,
大きさ,姿勢を推定する(ステップ302)。そして、
姿勢計測画像のエッジを抽出してエッジ画像を作り(ス
テップ302)、ステップ302で得た被計測物体の位
置,大きさ,姿勢の推定結果から姿勢計測画像における
被計測物体の輪郭の中心線を推定する(ステップ30
4)。
処理プログラムの一例(姿勢計測処理プログラム)を
示す。CPU1−1は、カメラ2を介する被計測物体の
カメラ画像を姿勢計測画像として取り込み(ステップ3
01)、この姿勢計測画像における被計測物体の位置,
大きさ,姿勢を推定する(ステップ302)。そして、
姿勢計測画像のエッジを抽出してエッジ画像を作り(ス
テップ302)、ステップ302で得た被計測物体の位
置,大きさ,姿勢の推定結果から姿勢計測画像における
被計測物体の輪郭の中心線を推定する(ステップ30
4)。
【0041】そして、ステップ303で作成したエッジ
画像に推定中心線を重畳させ、実施の形態1で説明した
と同様の方法で中心線候補点を求める(ステップ30
5)。そして、この中心線候補点を最もよく近似する直
線を確定中心線とし(ステップ306)、この確定中心
線の傾きを被計測物体の姿勢として出力する(ステップ
307)。
画像に推定中心線を重畳させ、実施の形態1で説明した
と同様の方法で中心線候補点を求める(ステップ30
5)。そして、この中心線候補点を最もよく近似する直
線を確定中心線とし(ステップ306)、この確定中心
線の傾きを被計測物体の姿勢として出力する(ステップ
307)。
【0042】〔実施の形態4:第6発明(請求項6)〕
図13にCPU1−1が実行する姿勢計測処理プログラ
ムの他の例(姿勢計測処理プログラム)を示す。CP
U1−1は、カメラ2を介するN個(N≧2)のパーツ
より構成される被計測物体のカメラ画像を姿勢計測画像
として取り込み(ステップ401)、この姿勢計測画像
における被計測物体の位置,大きさ,姿勢を推定する
(ステップ402)。そして、姿勢計測画像のエッジを
抽出してエッジ画像を作り(ステップ403)、ステッ
プ402で得た被計測物体の位置,大きさ,姿勢の推定
結果から姿勢計測画像における被計測物体の各パーツの
輪郭の中心線を推定する(ステップ404)。
図13にCPU1−1が実行する姿勢計測処理プログラ
ムの他の例(姿勢計測処理プログラム)を示す。CP
U1−1は、カメラ2を介するN個(N≧2)のパーツ
より構成される被計測物体のカメラ画像を姿勢計測画像
として取り込み(ステップ401)、この姿勢計測画像
における被計測物体の位置,大きさ,姿勢を推定する
(ステップ402)。そして、姿勢計測画像のエッジを
抽出してエッジ画像を作り(ステップ403)、ステッ
プ402で得た被計測物体の位置,大きさ,姿勢の推定
結果から姿勢計測画像における被計測物体の各パーツの
輪郭の中心線を推定する(ステップ404)。
【0043】そして、被計測物体の各パーツの推定中心
線から最前面パーツの推定中心線を求め(ステップ40
5)、ステップ403で作成したエッジ画像に最前面パ
ーツの推定中心線を重畳させ、実施の形態1で説明した
と同様の方法で中心線候補点を求める(ステップ40
6)。そして、この中心線候補点を最もよく近似する直
線を確定中心線とし(ステップ407)、この確定中心
線の傾きを最前面パーツの姿勢として出力する(ステッ
プ408)。
線から最前面パーツの推定中心線を求め(ステップ40
5)、ステップ403で作成したエッジ画像に最前面パ
ーツの推定中心線を重畳させ、実施の形態1で説明した
と同様の方法で中心線候補点を求める(ステップ40
6)。そして、この中心線候補点を最もよく近似する直
線を確定中心線とし(ステップ407)、この確定中心
線の傾きを最前面パーツの姿勢として出力する(ステッ
プ408)。
【0044】また、全てのパーツの推定中心線に対して
確定中心線を求めたか否かをチェックする(ステップ4
09)。この場合、最前面パーツの推定中心線に対して
確定中心線を求めただけであるので、ステップ409の
NOに応じてステップ410へ進み、ステップ403で
作成したエッジ画像における最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像を作る。
確定中心線を求めたか否かをチェックする(ステップ4
09)。この場合、最前面パーツの推定中心線に対して
確定中心線を求めただけであるので、ステップ409の
NOに応じてステップ410へ進み、ステップ403で
作成したエッジ画像における最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像を作る。
【0045】そして、最前面パーツの後方に位置する次
順パーツの推定中心線を求め(ステップ411)、ステ
ップ410で求めた部分削除エッジ画像に次順パーツの
推定中心線を重畳させ、上記と同様の方法で中心線候補
点を求める(ステップ406)。そして、この中心線候
補点を最もよく近似する直線を確定中心線とし(ステッ
プ407)、この確定中心線の傾きを次順パーツの姿勢
として出力する(ステップ408)。
順パーツの推定中心線を求め(ステップ411)、ステ
ップ410で求めた部分削除エッジ画像に次順パーツの
推定中心線を重畳させ、上記と同様の方法で中心線候補
点を求める(ステップ406)。そして、この中心線候
補点を最もよく近似する直線を確定中心線とし(ステッ
プ407)、この確定中心線の傾きを次順パーツの姿勢
として出力する(ステップ408)。
【0046】被計測物体のパーツの個数NがN≧3の場
合、ステップ409でのNOに応じてステップ410へ
進み、先のステップ410で作成した部分削除エッジ画
像における次順パーツの確定中心線の近傍のエッジをさ
らに削除して新たなる部分削除エッジ画像を作る。そし
て、次順パーツの後方に位置する次々順パーツの推定中
心線を求め(ステップ411)、ステップ410で作成
した新たなる部分削除エッジ画像と次々順パーツの推定
中心線とから次々順パーツの中心線を確定する(ステッ
プ406,407)。以下、同様にして、残りのパーツ
の中心線を確定して行く。
合、ステップ409でのNOに応じてステップ410へ
進み、先のステップ410で作成した部分削除エッジ画
像における次順パーツの確定中心線の近傍のエッジをさ
らに削除して新たなる部分削除エッジ画像を作る。そし
て、次順パーツの後方に位置する次々順パーツの推定中
心線を求め(ステップ411)、ステップ410で作成
した新たなる部分削除エッジ画像と次々順パーツの推定
中心線とから次々順パーツの中心線を確定する(ステッ
プ406,407)。以下、同様にして、残りのパーツ
の中心線を確定して行く。
【0047】
【発明の効果】以上説明したことから明らかなように本
発明によれば、姿勢計測画像における被計測物体の位
置,大きさ,姿勢の推定結果から被計測物体の輪郭の中
心線を推定し、姿勢計測画像のエッジを抽出して作成し
たエッジ画像における推定中心線の近傍のエッジから中
心線を確定することにより、特殊なカメラを用意したり
することなく、簡単に被計測物体の姿勢を計測すること
ができるようになる。また、本発明によれば、エッジ画
像における最前面パーツの確定中心線の近傍のエッジを
削除して部分削除エッジ画像を作成し、この部分削除エ
ッジ画像における最前面パーツの後方に位置する次順パ
ーツの推定中心線の近傍のエッジからこの次順パーツの
中心線を確定し、被計測物体のパーツの個数NがN≧3
の場合、次順パーツと同様にして、手前のパーツの確定
中心線の近傍のエッジをさらに削除した新たな部分削除
エッジ画像とそのパーツの推定中心線とから、残りのパ
ーツの中心線を確定して行くことにより、被計測物体が
複数のパーツで構成されていて、それらが画像上で重な
る場合でも各パーツの姿勢の計測を正しく行うことがで
きるようになる。
発明によれば、姿勢計測画像における被計測物体の位
置,大きさ,姿勢の推定結果から被計測物体の輪郭の中
心線を推定し、姿勢計測画像のエッジを抽出して作成し
たエッジ画像における推定中心線の近傍のエッジから中
心線を確定することにより、特殊なカメラを用意したり
することなく、簡単に被計測物体の姿勢を計測すること
ができるようになる。また、本発明によれば、エッジ画
像における最前面パーツの確定中心線の近傍のエッジを
削除して部分削除エッジ画像を作成し、この部分削除エ
ッジ画像における最前面パーツの後方に位置する次順パ
ーツの推定中心線の近傍のエッジからこの次順パーツの
中心線を確定し、被計測物体のパーツの個数NがN≧3
の場合、次順パーツと同様にして、手前のパーツの確定
中心線の近傍のエッジをさらに削除した新たな部分削除
エッジ画像とそのパーツの推定中心線とから、残りのパ
ーツの中心線を確定して行くことにより、被計測物体が
複数のパーツで構成されていて、それらが画像上で重な
る場合でも各パーツの姿勢の計測を正しく行うことがで
きるようになる。
【図1】 本発明の第1の実施の形態(実施の形態1)
を示す姿勢の計測装置のブロック構成図である。
を示す姿勢の計測装置のブロック構成図である。
【図2】 姿勢計測画像への推定中心線(S1,S2)
の表示例を示す図である。
の表示例を示す図である。
【図3】 エッジ画像の例を示す図である。
【図4】 推定中心線からの中心線候補点の求め方を説
明する図である。
明する図である。
【図5】 推定中心線上のn個の点について中心線候補
点を求めた結果を例示する図である。
点を求めた結果を例示する図である。
【図6】 姿勢計測画像への確定中心線(C1,C2)
の表示例を示す図である。
の表示例を示す図である。
【図7】 本発明の第2の実施の形態(実施の形態2)
を示す姿勢の計測装置のブロック構成図である。
を示す姿勢の計測装置のブロック構成図である。
【図8】 姿勢計測画像への推定中心線(S1,S2)
の表示例を示す図でである。
の表示例を示す図でである。
【図9】 左脚の確定中心線の近傍のエッジを削除して
得られる部分削除エッジ画像を例示する図である。
得られる部分削除エッジ画像を例示する図である。
【図10】 姿勢計測画像への確定中心線(C1,C
2)の表示例を示す図である。
2)の表示例を示す図である。
【図11】 コンピュータを使用した場合のシステム構
成図である。
成図である。
【図12】 CPUが実行する姿勢計測処理プログラム
の一例(姿勢計測処理プログラム)を示すフローチャ
ートである。
の一例(姿勢計測処理プログラム)を示すフローチャ
ートである。
【図13】 CPUが実行する姿勢計測処理プログラム
の他の例(姿勢計測処理プログラム)を示すフローチ
ャートである。
の他の例(姿勢計測処理プログラム)を示すフローチ
ャートである。
101…映像入力部、102…推定処理部、103…姿
勢計測処理部、104…エッジ抽出部、105…中心線
推定部、106,106’…中心線検出部、107…中
点検出部、108…直線検出部、200…姿勢計測処理
部、201…処理制御部、202…エッジ削除部、S
1,S2…推定中心線、C1,C2…確定中心線、1…
パーソナルコンピュータ(パソコン)、2…カメラ、3
…足圧センサ、1−1…CPU、1−2…ROM、1−
3…RAM、1−4…キーボード、1−5…ディスプレ
イ、1−6…ハードディスク、1−7…CD−ROMド
ライブ、1−8…マウス、1−9〜1−14…インター
フェイス。
勢計測処理部、104…エッジ抽出部、105…中心線
推定部、106,106’…中心線検出部、107…中
点検出部、108…直線検出部、200…姿勢計測処理
部、201…処理制御部、202…エッジ削除部、S
1,S2…推定中心線、C1,C2…確定中心線、1…
パーソナルコンピュータ(パソコン)、2…カメラ、3
…足圧センサ、1−1…CPU、1−2…ROM、1−
3…RAM、1−4…キーボード、1−5…ディスプレ
イ、1−6…ハードディスク、1−7…CD−ROMド
ライブ、1−8…マウス、1−9〜1−14…インター
フェイス。
Claims (6)
- 【請求項1】 被計測物体のカメラ画像を姿勢計測画像
として取り込む画像取込手段と、 前記姿勢計測画像における被計測物体の位置,大きさ,
姿勢を推定する推定手段と、 前記姿勢計測画像と前記推定手段での推定結果とから前
記姿勢計測画像における被計測物体の輪郭の中心線を求
め、この中心線の傾きから被計測物体の姿勢を計測する
姿勢計測手段とを備えた姿勢の計測装置であって、 前記姿勢計測手段は、 前記姿勢計測画像のエッジを抽出してエッジ画像を作る
エッジ抽出手段と、 前記推定手段での推定結果から前記姿勢計測画像におけ
る被計測物体の輪郭の中心線を推定する中心線推定手段
と、 この中心線推定手段からの推定中心線と前記エッジ抽出
手段からのエッジ画像とを入力とし、エッジ画像におけ
る推定中心線の近傍のエッジから中心線を確定する中心
線確定手段とを備えたことを特徴とする姿勢の計測装
置。 - 【請求項2】 請求項1において、前記中心線確定手段
は、 前記推定中心線上の各点に対して、この推定中心線と直
交する方向にあるエッジ上の点の中で、この推定中心線
の両側に位置し、かつ、お互いの距離が第1のしきい値
T1以上で第2のしきい値T2(T2>T1)以下であ
る2点を求め、それらの中点を中心線候補点として求め
る中心線候補手点検出手段と、 この手段によって求められた中心線候補点を近似する直
線を確定中心線とする中心線検出手段とを備えたたこと
を特徴とする姿勢の計測装置。 - 【請求項3】 請求項2において、前記第1のしきい値
T1および第2のしきい値T2は、前記姿勢計測画像に
おける被計測物体の大きさの推定結果から設定されるこ
とを特徴とする姿勢の計測装置。 - 【請求項4】 N個(N≧2)のパーツより構成される
被計測物体のカメラ画像を姿勢計測画像として取り込む
画像取込手段と、 前記姿勢計測画像における被計測物体の位置,大きさ,
姿勢を推定する推定手段と、 前記姿勢計測画像と前記推定手段での推定結果とから被
計測物体の各パーツの輪郭の中心線を求め、この各パー
ツの中心線の傾きから被計測物体の姿勢を計測する姿勢
計測手段とを備えた姿勢の計測装置であって、 前記姿勢計測手段は、 前記姿勢計測画像のエッジを抽出してエッジ画像を作る
エッジ抽出手段と、 前記推定手段での推定結果から前記姿勢計測画像におけ
る被計測物体の各パーツの輪郭の中心線を推定する中心
線推定手段と、 この中心線推定手段からの最前面パーツの推定中心線と
前記エッジ抽出手段からのエッジ画像を入力とし、エッ
ジ画像における最前面パーツの推定中心線の近傍のエッ
ジからこの最前面パーツの中心線を確定する最前面パー
ツ中心線確定手段と、 前記エッジ画像における前記最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像を作成す
るエッジ削除手段と、 前記中心線推定手段からの最前面パーツの後方に位置す
る次順パーツの推定中心線と前記エッジ削除手段からの
部分削除エッジ画像を入力とし、部分削除エッジ画像に
おける次順パーツの推定中心線の近傍のエッジからこの
次順パーツの中心線を確定する次順パーツ中心線確定手
段と、 前記被計測物体のパーツの個数NがN≧3の場合、前記
次順パーツと同様にして、手前のパーツの確定中心線の
近傍のエッジをさらに削除した新たな部分削除エッジ画
像とそのパーツの推定中心線とから、残りのパーツの中
心線を確定させて行く残パーツ中心線確定手段とを備た
ことを特徴とする姿勢の計測装置。 - 【請求項5】 コンピュータによって被計測物体の姿勢
を計測するためのプログラムを記録した記録媒体であっ
て、 コンピュータに、 被計測物体のカメラ画像を姿勢計測画像として取り込ま
せる機能、この姿勢計測画像における被計測物体の位
置,大きさ,姿勢を推定させる機能、 前記姿勢計測画像のエッジを抽出してエッジ画像を作成
させる機能、 前記被計測物体の位置,大きさ,姿勢の推定結果から前
記姿勢計測画像における被計測物体の輪郭の中心線を推
定させる機能、 前記エッジ画像における推定中心線の近傍のエッジから
中心線を確定させる機能、 この確定中心線の傾きから被計測物体の姿勢を計測させ
る機能を実現させるための姿勢の計測プログラムを記録
した記録媒体。 - 【請求項6】 コンピュータによって被計測物体の姿勢
を計測するためのプログラムを記録した記録媒体であっ
て、 コンピュータに、 N個(N≧2)のパーツより構成される被計測物体のカ
メラ画像を姿勢計測画像として取り込ませる機能、 この姿勢計測画像における被計測物体の位置,大きさ,
姿勢を推定させる機能、 前記姿勢計測画像のエッジを抽出してエッジ画像を作成
させる機能、 前記被計測物体の位置,大きさ,姿勢の推定結果から前
記姿勢計測画像における被計測物体の各パーツの輪郭の
中心線を推定させる機能、 前記エッジ画像における最前面パーツの推定中心線の近
傍のエッジからこの最前面パーツの中心線を確定させる
機能、 前記エッジ画像における前記最前面パーツの確定中心線
の近傍のエッジを削除して部分削除エッジ画像を作成さ
せる機能、 この部分削除エッジ画像における前記最前面パーツの後
方に位置する次順パーツの推定中心線の近傍のエッジか
らこの次順パーツの中心線を確定させる機能、 前記被計測物体のパーツの個数NがN≧3の場合、前記
次順パーツと同様にして、手前のパーツの確定中心線の
近傍のエッジをさらに削除した新たな部分削除エッジ画
像とそのパーツの推定中心線とから、残りのパーツの中
心線を確定させて行く機能、 この確定させた各パーツの中心線の傾きから被計測物体
の姿勢を計測させる機能を実現させるための姿勢の計測
プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11011734A JP2000207568A (ja) | 1999-01-20 | 1999-01-20 | 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11011734A JP2000207568A (ja) | 1999-01-20 | 1999-01-20 | 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000207568A true JP2000207568A (ja) | 2000-07-28 |
Family
ID=11786274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11011734A Pending JP2000207568A (ja) | 1999-01-20 | 1999-01-20 | 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000207568A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008090908A1 (ja) | 2007-01-23 | 2008-07-31 | Nec Corporation | マーカ生成及びマーカ検出のシステム、方法とプログラム |
JP2013097459A (ja) * | 2011-10-28 | 2013-05-20 | Denso Corp | 歩行者認識装置 |
WO2013088517A1 (ja) * | 2011-12-13 | 2013-06-20 | 株式会社日立製作所 | 停立人物の向き推定方法 |
WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
WO2014104357A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理システム、動作情報処理装置及び医用画像診断装置 |
CN111353416A (zh) * | 2020-02-26 | 2020-06-30 | 广东温氏种猪科技有限公司 | 基于牲畜三维测量的姿态检测方法、系统及存储介质 |
-
1999
- 1999-01-20 JP JP11011734A patent/JP2000207568A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008090908A1 (ja) | 2007-01-23 | 2008-07-31 | Nec Corporation | マーカ生成及びマーカ検出のシステム、方法とプログラム |
US8655076B2 (en) | 2007-01-23 | 2014-02-18 | Nec Corporation | Marker generating and marker detecting system, method and program |
US9760804B2 (en) | 2007-01-23 | 2017-09-12 | Nec Corporation | Marker generating and marker detecting system, method and program |
JP2013097459A (ja) * | 2011-10-28 | 2013-05-20 | Denso Corp | 歩行者認識装置 |
WO2013088517A1 (ja) * | 2011-12-13 | 2013-06-20 | 株式会社日立製作所 | 停立人物の向き推定方法 |
JPWO2013088517A1 (ja) * | 2011-12-13 | 2015-04-27 | 株式会社日立製作所 | 停立人物の向き推定方法 |
US9235895B2 (en) | 2011-12-13 | 2016-01-12 | Hitachi, Ltd. | Method for estimating direction of person standing still |
WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
WO2014104357A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理システム、動作情報処理装置及び医用画像診断装置 |
CN111353416A (zh) * | 2020-02-26 | 2020-06-30 | 广东温氏种猪科技有限公司 | 基于牲畜三维测量的姿态检测方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
US9235753B2 (en) | Extraction of skeletons from 3D maps | |
CN107273846B (zh) | 一种人体体型参数确定方法及装置 | |
JP2006236255A (ja) | 人物追跡装置および人物追跡システム | |
TWI704530B (zh) | 注視度判斷裝置及方法 | |
WO2009061283A2 (en) | Human motion analysis system and method | |
JP2000251078A (ja) | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
US20220309819A1 (en) | Skeleton information determination apparatus, skeleton information determination method and computer program | |
JP4288428B2 (ja) | 映像解析システムおよび映像解析方法 | |
JP2967086B1 (ja) | 多眼画像処理による人物の三次元姿勢推定方法 | |
KR20100025048A (ko) | 모션 캡쳐를 위한 영상 분석 방법 및 장치 | |
CN114463663A (zh) | 一种人员身高的计算方法、装置、电子设备及存储介质 | |
JP2000207568A (ja) | 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 | |
JP7136344B2 (ja) | カメラの較正方法、カメラ及びプログラム | |
KR20190055632A (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
Kochi et al. | 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera | |
CN115272417A (zh) | 图像数据的处理方法、图像处理设备以及可读存储介质 | |
JP3400961B2 (ja) | 人物像の姿勢推定装置および人物像の姿勢推定プログラムを記録した記録媒体 | |
CN113140031B (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 | |
US10909718B2 (en) | Method for estimating body orientation | |
CN113536909A (zh) | 一种基于眼动数据的预瞄距离计算方法、系统和设备 | |
JP3474772B2 (ja) | センサキャリブレーション方法及び装置及びセンサキャリブレーションプログラムを記録した記録媒体 | |
US20240020976A1 (en) | Information processing program, device, and method | |
KR20100060622A (ko) | 인체 자세 판별 시스템 및 그 방법 |