JP2002008043A

JP2002008043A - 動作解析装置及び動作解析方法

Info

Publication number: JP2002008043A
Application number: JP2000181614A
Authority: JP
Inventors: Eiji Fukumiya; 英二福宮; Hiroyuki Yoshida; 裕之吉田; Masabumi Yoshizawa; 正文吉澤; Shogo Hamazaki; 省吾濱崎; Takaaki Nishi; 隆暁西
Original assignee: Japan Science and Technology Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Japan Science and Technology Agency; Panasonic Holdings Corp
Priority date: 2000-06-16
Filing date: 2000-06-16
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】同一色のマーカを用いても、可視光を利用し
た動作解析を行えるようにする。【解決手段】マーカを取り付けた対象を、所定時系列
に従って複数の方向から撮像する。画像に基づいて各マ
ーカの３次元位置を算出し、時系列における直前の３次
元位置を参照して各マーカの予測位置を求める。撮像開
始当初に、複数方向画像取得手段が出力する画像に基づ
いて、これらのマーカの位置関係から各マーカを識別
し、撮像開始当初以降、各マーカの予測位置を参照し
て、マーカの動きに追従しながら、求めた３次元位置
が、どのマーカのものであるかを識別し、識別結果と３
次元位置を対応付けて記憶する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、関節を持つ対象
（例えば、人間などの動物あるいは多節ロボットなど）
の動きを解析する動作解析装置及びその方法に関する。
より詳しくは、関節付近など、対象の動作を代表する複
数の部位に、マーカを取り付け、このマーカの動きを計
測することにより、対象そのものの動作を解析する技術
に関するものである。

【０００２】

【従来の技術】従来、このような動作解析には、種々の
技術があるが、比較的小規模で導入しやすいタイプとし
て、可視光を利用するカメラなどの撮像手段（通常、オ
クルージョンを防止するため、複数台使用する）を用い
て、対象を撮像するものがある。

【０００３】この種の従来技術では、例えば、特開平４
−９３７０４号公報に記載されているように、複数のマ
ーカを部位毎に色分けすることにより、区別している。
例えば、右肩には赤色のマーカを取り付け、左肩には青
色のマーカを取り付けるなどする。

【０００４】そして、撮像手段により得られた画像にお
いて、赤色領域のみ抽出して右肩の位置を計測し、青色
領域により左肩の位置を知るものである。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うにすると、次のような問題点がある。即ち、マーカを
色分けして区別しているから、ある部位とその部位に取
り付けられるマーカの色は、予め決められたとおりの、
対応関係になっていなければならない。

【０００６】したがって、例えば、右肩に青色のマーカ
を取り付け、左肩に赤色のマーカを取り付けてしまった
場合のように、対応関係を取り違えてしまうと、結果と
して、でたらめな計測を行うこととなり、解析そのもの
が無意味になってしまう。

【０００７】また、色分けではなく、マーカの点滅タイ
ミングで各マーカを区別するなど、他の手法も考えられ
るが、マーカそのものを取り付けるべき部位毎に物理的
に区別し、マーカの属性と取り付け部位との対応関係を
決めてしまうと、上述と同様に、対応関係の取り違えに
よる問題点が発生する。

【０００８】さらに、例えば、２０カ所の部位を計測す
るには、２０色（他の区別法でも同様）のマーカが、最
低１個以上全種（つまり１セット以上）揃っていない
と、計測できない。つまり、セットのうち一部（例え
ば、緑色のマーカのみ）でも欠けがあれば、解析不能に
なる。

【０００９】加えて、マーカの色に依存すると、取り付
ける部位の数が増えるにつれ、マーカの色も増加し、マ
ーカ同士の区別が付きにくくなるし、背景や対象そのも
のとの色の混同を生じやすくなる。

【００１０】そこで本発明は、同種のマーカを用いて
も、マーカによる動作解析を行える動作解析装置及びそ
の方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の動作解析装置で
は、マーカを取り付けた対象を、所定時系列に従って複
数の方向から撮像した画像情報を出力する複数方向画像
取得手段と、複数方向画像取得手段が出力する画像情報
に基づいて各マーカの３次元位置情報を算出する３次元
位置算出手段と、時系列における直前の３次元位置情報
を参照して各マーカの予測位置を求める動き予測手段
と、撮像開始当初に、複数方向画像取得手段が出力する
画像情報に基づいて、これらのマーカの位置関係から各
マーカを識別すると共に、撮像開始当初以降、動き予測
手段が出力する各マーカの予測位置を参照して、３次元
位置算出手段が算出した３次元位置情報が、どのマーカ
のものであるかを識別するマーカ識別手段と、時系列に
従って、各マーカ毎に３次元位置算出手段が算出した３
次元位置情報を記憶する記憶手段とを備える。

【００１２】この構成により、マーカの取り付け部位の
取り違え自体をなくすことができる。

【００１３】

【発明の実施の形態】請求項１記載の動作解析装置で
は、マーカを取り付けた対象を、所定時系列に従って複
数の方向から撮像した画像情報を出力する複数方向画像
取得手段と、複数方向画像取得手段が出力する画像情報
に基づいて各マーカの３次元位置情報を算出する３次元
位置算出手段と、時系列における直前の３次元位置情報
を参照して各マーカの予測位置を求める動き予測手段
と、撮像開始当初に、複数方向画像取得手段が出力する
画像情報に基づいて、これらのマーカの位置関係から各
マーカを識別すると共に、撮像開始当初以降、動き予測
手段が出力する各マーカの予測位置を参照して、３次元
位置算出手段が算出した３次元位置情報が、どのマーカ
のものであるかを識別するマーカ識別手段と、時系列に
従って、各マーカ毎に３次元位置算出手段が算出した３
次元位置情報を記憶する記憶手段とを備える。

【００１４】この構成において、マーカ識別手段によっ
て、撮像開始当初に各マーカが識別され、当初における
各マーカの３次元位置情報と各マーカの識別結果とが対
応付けられる。このためには、対象の当初姿勢を一定に
させるなど、軽微な手間をかけるだけでよい。

【００１５】そして当初以降、マーカ識別手段が、予測
位置に基づいて、各マーカの動きに追従しながら、各マ
ーカを識別してゆく。

【００１６】こうすることにより、各マーカは全く同じ
ものを用いても差し支えなく、本質的に、マーカの取り
付け部位の取り違え自体をなくすことができ、結局、解
析結果の信頼性を向上できる。また、マーカを取り付け
る際の、手間や負担を軽減できる。さらには、マーカ
は、個数さえ十分にあれば良く、セットの一部欠け等を
心配する必要がない。

【００１７】請求項２記載の動作解析装置では、マーカ
識別手段による識別結果を検証する検証手段を備える。

【００１８】このように、検証を行うことにより、マー
カの追従ミスがないことを確認して、解析結果の信頼性
を向上できる。

【００１９】請求項３記載の動作解析装置では、検証手
段は、マーカ間の距離を算出し、算出した距離が適正か
否かにより、識別結果の適否を定める距離検証手段を含
む。

【００２０】この構成により、関節間の距離など、動き
によっても、ほとんど変化がない、マーカ間の距離を検
証することで、識別の誤りがないことを確認できる。

【００２１】請求項４記載の動作解析装置では、距離検
証手段は、撮像開始当初における各マーカの３次元位置
情報に基づいて、各マーカ間の基準距離を算出し、撮像
開始当初以降における各マーカの３次元位置情報に基づ
いて、各マーカ間の測定距離を算出し、この測定距離と
基準距離とを対比することにより、識別結果の適否を定
める。

【００２２】この構成では、まず基準距離を実測し、こ
の基準距離と以降の測定距離とが、対比される。したが
って、対象の個体差（例えば、対象が人間であるとき、
身長、年齢、性別などにより、腕の長さや肩幅などが異
なる）を反映し、対象個々にあわせて、正確に動作解析
を行える。

【００２３】請求項５記載の動作解析装置では、検証手
段は、各マーカの３次元位置情報に基づいて、対象の関
節の測定回転角度を算出し、この測定回転角度が、予め
設定された可動範囲内にあるか否かにより、識別結果の
適否を定める回転角度検証手段を含む。

【００２４】このように、測定回転角度が可動範囲内に
あることを検証することで、識別の誤りがないことを確
認できる。

【００２５】請求項６記載の動作解析装置では、回転角
度検証手段は、対象の動きにおいて、動きの起点となる
上位の関節から動きの終点となる下位の関節の順に、各
関節の回転角度を算出する。

【００２６】この構成により、対象の関節構造の階層を
反映し、各関節の回転角度の算出精度を向上できる。

【００２７】次に図面を参照しながら、本発明の実施の
形態について説明する。さて、構成の説明に先立ち、図
８〜図１１を用いて、本例における対象と、マーカを取
り付ける部位などについて説明する。ここでは、対象と
して人間を取り上げ、人間の動きを解析する。このよう
な解析は、例えば、身体障害、疾病等がある人物の、リ
ハビリテーション支援などに好適である。勿論、このこ
とは、本発明の動作解析装置の用途を限定するものでは
ない。

【００２８】さて、本発明では、図８に示しているよう
に、撮像前に、複数の部位（関節付近で対象の動きを代
表する位置）にマーカを取り付ける。そして、これらの
各部位には、ユニークな識別子を付ける。例えば、胸骨
上点には、「ｍＢｒｅａｓｔｂｏｎｅ」という識別子が
付けられ、そこに１つのマーカが取り付けられる。

【００２９】ここで、これらのマーカは、色分けする必
要はない。むしろ、マーカ抽出を容易にするために、本
例では、同一色、同一形状（球）のマーカを用いる。こ
うすることで、マーカの取り付け部位の取り違えや、マ
ーカのセットにおける一部欠け等の問題を、本質的に排
除できる。

【００３０】このほか、本例では、計２０カ所の部位
に、マーカを取り付け、これらのマーカの動きを解析す
ることにより、対象の動き（より正確には、関節の動
き）を計測する。勿論、このような取り付け要領は、一
例に過ぎず、対象の動きを必要十分に計測できる限り、
マーカの取り付け変更や個数の増減は、任意である。

【００３１】さて、図８を注視すれば、明らかなよう
に、対象が動いても、ほとんど距離（３次元空間におけ
る距離）が変化しない、マーカの組がある。例えば、左
手をどのように動かしても、左手の外側上か（識別子
「ｍＥｌｂｏｗ１」）と左の肩峰点（識別子「ｍＬＳｈ
ｏｌｄｅｒ」）との距離は、ほぼ一定である。これは、
これらの部位間（つまりマーカ間）の距離は、左の上腕
骨の長さによって決定され、上腕骨の長さは、骨折など
の非日常的事態が発生しない限り、撮像の開始から終了
までの短い時間では、変化しないからである。

【００３２】以上の考察に基づいて、本発明では、特定
の組からなるマーカ間の距離を算出し、マーカの識別結
果を検証する距離検証手段７を設けている。具体的に
は、一方のマーカの３次元位置が（ｘ1，ｙ1，ｚ1）で
あり、他方のマーカの３次元位置が（ｘ2，ｙ2，ｚ2）
であるとき、図１に示す距離検証手段７は、次式で距離
ｄを求める。

【００３３】

【数１】

【００３４】勿論、距離ｄに対して、単調に増加／減少
する他の式で、距離を評価するようにしても良い。

【００３５】また、マーカを取り付ける、各部位におけ
る基準位置、座標系軸方向（Ｘ，Ｙ，Ｚ軸方向ベクト
ル）は、図９及び図１０にまとめた通りである。

【００３６】さらに本例では、対象である人間の骨格
（関節と骨からなる構造体）を、図１１（ａ）のように
モデル化している。図１１において、「ｌ＿ｓｈｏｌｄ
ｅｒ」は左肩の関節、「ｒ＿ｋｎｅｅ」は右膝の関節、
「ｗａｉｓｔ」は第５腰椎、「ｎａｖｅｌ」は第１腰椎
にあたる。そして、これらの関節の各座標軸を図示する
と、図１１（ｂ）のようになる。なお、図１１（ｂ）に
おいて、Ｚ軸は、紙面奥行き方向である。

【００３７】また本例では、図１１（ａ）のような対象
の姿勢を、基本姿勢と呼ぶ。そして、マーカを取り付け
た後、撮像開始当初に、対象（人間）にこの基本姿勢を
とってもらう。こうして、撮像開始当初の画像に基づい
て、図１に示したマーカ識別手段５が、後述するよう
に、グループ分けを行って、各マーカを識別し、「ｍＰ
ｒｏｍｉｎｅｎｃｅ」等の識別子を付与する。そして、
撮像開始当初以降、各マーカの予測位置によって、各マ
ーカの動きに追従することとした。

【００３８】そして、図１１（ｂ）において、対象（人
間）の動きの中心は、「ｗａｉｓｔ」であるとすると、
人間の動きは、図１２に示すような、階層構造をなすも
のと考えることができる。

【００３９】本発明では、以上の知見により、モデル化
した各関節における、回転角度を、動きの起点となる上
位の関節から、動きの終点となる下位の関節の順に、算
出することとした。例えば、「ｌ＿ｅｌｂｏｗ」まで算
出を行う場合には、「ｗａｉｓｔ」→「ｎａｖｅｌ」→
「ｌ＿ｂｒｅｓｔｂｏｎｅ」→「ｌ＿ｓｈｏｌｄｅｒ」
→「ｌ＿ｅｌｂｏｗ」の順で、算出が行われる。

【００４０】このため、図１に示す回転角度検証手段８
は、この要領で、関節構造の階層を反映して、各関節の
回転角度を算出する。したがって、ランダムに１つずつ
関節の回転角度を算出するよりも、算出精度を向上でき
る。

【００４１】また、上位の関節から、その１つ下位の関
節の、回転角度を算出するには、図１３にまとめた計算
法に従うと良い。図１３では、上位の関節として、「ｌ
＿ｓｈｏｌｄｅｒ」（左の肩の関節）をとり、その１つ
下位の関節として、「ｌ＿ｅｌｂｏｗ」（左の肘の関
節）をとっている。他の上位／下位の関節についても、
同様の計算法を適用でき、図１の回転角度検証手段８
は、関節の回転角度（Ψ，Θ，φ）を次式で算出する。

【００４２】

【数２】

【００４３】以上の説明をふまえて、次に図１に基づ
き、本形態の動作解析装置の構成を説明する。図１は、
本発明の一実施の形態における動作解析装置の機能ブロ
ック図である。

【００４４】図１において、複数方向画像取得手段１
は、互いに異なる方向から対象を撮像するカメラ群（オ
クルージョン防止のため、３台以上が望ましい）と、キ
ャプチャボード等からなる。そして、これらのカメラ群
の撮像タイミングは、同期しており、これらのカメラ群
は、一定時系列（フレーム間の時間）ごとに順次、マー
カを取り付けた対象を撮像する。

【００４５】ここで、動作解析は、撮像と平行して実時
間処理を行っても良いし、一連の動きを、一旦、記録媒
体（例えば、デジタルビデオテープなど）に記録した
後、解析を行うようにしても良い。但し以下、説明を簡
単にするため、実時間処理を行う場合のみを説明する。

【００４６】マーカ画像抽出手段２は、複数方向画像取
得手段１が出力する画像情報から、マーカの画像のみを
抽出する。抽出するにあたっては、例えば、ＲＧＢ値に
より、色抽出を行う。さて本例では、上述したように、
対象として人間を選び、マーカの色を一定色（例えば、
赤色など）にしている。

【００４７】そして、マーカ画像抽出手段２は、この一
定色のＲＧＢ値と、複数方向画像取得手段１が出力する
画像における全画素のＲＧＢ値を比較し、ＲＧＢ値が一
致する画素を黒とし、一致しない画素を白とする。即
ち、本例では、マーカ画像抽出手段２の抽出結果におい
て、黒の画素からなる領域が抽出領域、白の画素からな
る領域が非抽出領域となる。なお、抽出領域と非抽出領
域が明確に区別できれば、他の区別法によってもよい。

【００４８】２次元位置算出手段３は、マーカ画像抽出
手段２が出力する抽出結果において、抽出領域の基準点
の２次元座標（マーカの２次元位置）を求める。本例で
は、基準点を、抽出領域の重心としたが、他に、抽出領
域のＸＹ座標の平均値や、抽出領域に外接する矩形の中
心点など、マーカの２次元位置を表現できる手法であれ
ば、任意に変更できる。

【００４９】３次元位置算出手段４は、２次元位置算出
手段３が出力するマーカの２次元位置と、複数方向画像
取得手段１の幾何学的パラメータとから、マーカの３次
元位置を算出する。この３次元位置は、三角測量の原理
を用いたり、及び又は、複数方向画像取得手段１が出力
する複数方向の画像情報の対応点等から決定する。

【００５０】マーカ識別手段５は、撮像開始当初に、複
数方向画像取得手段１が出力する画像情報に基づいて、
これらのマーカの位置関係から各マーカを識別すると共
に、撮像開始当初以降、動き予測手段６が出力する各マ
ーカの予測位置を参照して、３次元位置算出手段４が算
出した３次元位置情報が、どのマーカのものであるかを
識別する。マーカ識別手段５がマーカの識別を済ます
と、図２に示すような構造で、各マーカの識別子と、各
フレームにおける当該マーカの３次元位置情報とが、記
憶手段９のマーカデータ記憶部１０に、格納される。

【００５１】動き予測手段６は、後述するように、記憶
手段９のマーカデータ記憶部１０に、フレーム毎に蓄積
される、マーカの３次元位置に基づいて、各マーカの動
きを予測した、予測位置（３次元）を出力する。なお詳
細は、後述する。

【００５２】また本形態の動作解析装置は、距離検証手
段７、回転角度検証手段８の２つの検証手段を備える。

【００５３】距離検証手段７は、上述したように、マー
カ間の距離を算出し、検証を行う。図３に示すように、
距離を算出すべきマーカの組は、予め定められており、
距離検証手段７は、各フレームにおいて、図３の識別子
１のマーカと識別子２のマーカとの距離を算出して、図
３に示す構造で、記憶手段９のマーカ間距離記憶部１１
に測定距離を格納する。

【００５４】また、図３の「基準距離」は、撮像開始当
初における測定距離である。距離検証手段７は、後述す
るように、各マーカの組につき、マーカ間距離記憶部１
１の測定距離と基準距離とを対比して、検証結果を生成
する。

【００５５】回転角度検証手段８は、上述した計算法
で、図１１に示した各関節の回転角度（Ψ，Θ，φ）を
算出し、図４に示す構造をなす、回転角度記憶部１２の
測定回転角度のフィールドに、算出した各値を格納す
る。なお、図４の可動範囲とは、該当関節の機構上の制
限により、関節角度のとりうる最大範囲であり、該当関
節について既知であり、解析前に予め設定してある。

【００５６】このほか、制御手段１４は、図５に示すフ
ローチャートに沿った、制御プログラムを実行しなが
ら、上記各手段を制御するものであり、記憶手段９の一
時記憶部１３は、制御手段１４が、このプログラムの実
行について、必要な情報を一時格納するためのものであ
る。

【００５７】次に、図５〜図７を用いて、本形態の動作
解析装置の動作を説明する。まず、撮像を行うに先立
ち、対象の各取り付け部位に、マーカを取り付け（ステ
ップ１）、対象に、図１１（ａ）に示すような、基本姿
勢をとらせる。

【００５８】そして、撮像を開始する。まず、制御手段
１４は、最終フレーム番号ｍｅｎｄを一時記憶部１３に
格納し、フレーム番号ｍを「１」に初期化する（ステッ
プ２）。

【００５９】ステップ３では、制御手段１４は、フレー
ム番号ｍが最終フレーム番号ｍｅｎｄに至っていないこ
とを確認した上で、複数方向画像取得手段１に、複数の
方向から同時に対象を撮像させ、複数枚の２次元画像を
取得する（ステップ４）。

【００６０】次に、制御手段１４は、これらの２次元画
像をマーカ画像抽出手段２に渡し、マーカの領域のみを
抽出させる（ステップ５）。また、制御手段１４は、マ
ーカ画像抽出手段２による抽出結果を２次元位置算出手
段３に渡し、２次元画像にあらわれている各マーカの２
次元位置を算出させる（ステップ６）。

【００６１】そして、制御手段１４は、複数方向画像取
得手段１による２次元画像と、２次元位置算出手段３に
よる各マーカの２次元位置を、３次元位置算出手段４に
渡す。３次元位置算出手段４は、予め与えられている各
カメラなどの幾何学的パラメータと、制御手段１４から
受け取った情報から、各マーカの３次元位置を算出し、
制御手段１４に返す（ステップ７）。制御手段１４は、
受け取った各マーカの３次元位置を、一時記憶部１３に
格納する。

【００６２】次に、制御手段１４は、一時記憶部１３に
格納した各マーカの３次元位置と、フレーム番号ｍと
を、マーカ識別手段５に渡し、識別に着手させる（ステ
ップ８）。ここで、マーカ識別手段５は、図６のフロー
チャートに沿って、各マーカの識別を行う。この識別に
は、撮像開始当初の（１）識別子付与処理と、撮像開始
当初以降の予測結果を参照した（２）動き追従処理と
が、ある。

【００６３】まず、マーカ識別手段５は、ステップ２０
にて、フレーム番号ｍが１かどうかチェックする。ｍ＝
１ならば、ステップ２６，２７の（１）識別子付与処理
を行い、ｍ≠１ならば（２）動き追従処理を行う。

【００６４】このうち、（１）識別子付与処理では、対
象が、図１１（ａ）のような、基本姿勢にあることを利
用し、マーカを、次の要領で、対象の中央部Ａ、左半身
Ｂ、右半身Ｃの３つに、グループ分けする。

【００６５】まず、全マーカのうち、Ｙ座標が大きいも
のから２つ選び、これらをマーカＭ１，Ｍ２とする。こ
れらのマーカＭ１，Ｍ２を、ＸＺ平面（図１１（ｂ）の
座標系ではなく、ワールド座標系）に投影した点を、Ｐ
１，Ｐ２とし、線分Ｐ１Ｐ２と、Ｘ軸が平行になるよう
に、座標系をＹ軸周りに回転させた新しい座標系（Ｘ’
軸、Ｚ’軸）を求める。

【００６６】線分Ｐ１Ｐ２の中点を求め、この中点か
ら、対象の右手側（Ｘ’軸方向）にマーカの幅だけ離れ
た第１の仮想線を考え、この中点から、対象の左手側
（Ｘ’軸方向）にマーカの幅だけ離れた第２の仮想線を
考える。なお、これらの第１，第２の仮想線は、Ｙ軸と
平行である。

【００６７】そして、これら第１，第２の仮想線に挟ま
れた領域にあるマーカを、体の中央部のグループＡと
し、第１の仮想線よりも対象の左手側にあるマーカを、
左半身のグループＢとし、第２の仮想線よりも対象の右
手側にあるマーカを、右半身のグループＣとする。

【００６８】次に、グループＡについて、マーカが２つ
あることを確認した上で、Ｙ座標が大きいものに「ｍＢ
ｒｅａｓｔｂｏｎｅ」の識別子を付与し、小さいものに
「ｍＰｒｏｍｉｎｅｎｃｅ」の識別子を付与する。

【００６９】次にグループＢ、Ｃについて、それぞれマ
ーカが９個ずつ存在することを確認した上で、Ｙ座標が
最大のものにつき、グループＢでは「ｍＬＳｈｏｌｄｅ
ｒ」の識別子を付与し、グループＣでは「ｍＲＳｈｏｌ
ｄｅｒ」の識別子を付与する。

【００７０】また、Ｙ座標が小さい方から２つ取り出
し、その中で、グループＢにおいては、Ｚ’座標が大き
いものに「ｍＬＡｎｋｌｅ」の識別子を付与し、小さい
ものに「ｍＬＦＦｉｎｇｅｒ」の識別子を付与する。グ
ループＣにおいては、Ｚ’座標が大きいものに「ｍＲＡ
ｎｋｌｅ」の識別子を付与し、小さいものに「ｍＲＦＦ
ｉｎｇｅｒ」の識別子を付与する。

【００７１】さらに、グループＢ、Ｃについて、残りの
マーカのうち、接近している（一定距離以下の）マーカ
の２組を取り出す。これらの２つの組のうち、距離が大
きい組を組ＭＥとし、小さい組を組ＭＷとする。

【００７２】そして、組ＭＥのマーカについて、グルー
プＢでは、Ｘ’座標の大きい順に「ｍＬＥｌｂｏｗ
１」、「ｍＬＥｌｂｏｗ２」の識別子を付与する。同様
に、グループＣでは、Ｘ’座標の大きい順に「ｍＲＥｌ
ｂｏｗ２」、「ｍＲＥｌｂｏｗ１」の識別子を付与す
る。

【００７３】また、組ＭＷのマーカについて、グループ
Ｂでは、Ｘ’座標の大きい順に「ｍＬＷｒｉｓｔ１」、
「ｍＬＷｒｉｓｔ２」の識別子を付与する。同様に、グ
ループＣでは、Ｘ’座標の大きい順に「ｍＲＷｒｉｓｔ
２」、「ｍＲＷｒｉｓｔ１」の識別子を付与する。

【００７４】そして、残った２つのマーカについて、グ
ループＢでは、Ｙ座標の大きい順に「ｍＬＨｉｐ」、
「ｍＬＫｎｅｅ」の識別子を付与する。同様に、グルー
プＣでは、Ｙ座標の大きい順に「ｍＲＨｉｐ」、「ｍＲ
Ｋｎｅｅ」の識別子を付与する。

【００７５】以上のように、マーカ識別手段５は、識別
子付与処理を行い、図６のステップ２７が完了する。な
お、必ずしも、このようなグループ分けをしなくとも良
く、基本姿勢におけるマーカの位置を確認できさえすれ
ば、他の要領を用いても差し支えない。

【００７６】（２）動き追従処理は、次のように行われ
る。なお、動き追従処理を行う前には、前フレームの処
理終了時に、予測位置ｅが更新されている。そして、マ
ーカ識別手段５は、マーカカウンタ（１，２，…，マー
カ数ｎをとる）ｉを「１」に初期化し（ステップ２
１）、マーカカウンタｉがマーカ数ｎを超えていないこ
とを確認した上で（ステップ２２）、マーカカウンタｉ
が指す予測位置ｅiを取り出し、制御手段１４から受け
取った３次元位置Ｐiのうち、予測位置ｅiに最も近い３
次元位置Ｐiを検索する（ステップ２３）。

【００７７】そして、マーカ識別手段５は、検索の結果
得られた、３次元位置Ｐiと予測位置ｅiを制御手段１４
に返す。すると、制御手段１４は、マーカデータ記憶部
１０をアクセスして、当該予測位置ｅiが指す、３次元
位置Ｐのフレーム番号ｍのフィールドに返された３次元
位置Ｐiを格納する（ステップ２４）。

【００７８】そして、以上の処理が、マーカカウンタｉ
がマーカ数ｎを超えるまで、マーカカウンタｉをインク
リメントしながら、繰り返される（ステップ２５）。

【００７９】さて図５のステップ８が終了すると、制御
手段１４は、フレーム番号ｍを距離検証手段７に渡し、
図３の各測定距離を算出して更新するように指示する。
これを受けて、ステップ９〜ステップ１２の処理が行わ
れる。

【００８０】まず、距離検証手段７は、図３の識別子１
と識別子２について、フレーム番号ｍにおける３次元位
置（２つ）を取り出し、（数１）によって距離ｄを算出
し、測定距離のフィールドに保存する（ステップ９）。

【００８１】ここで、撮像開始当初（ｍ＝１）では（ス
テップ１０）、算出した測定距離をそのまま基準距離の
フィールドにも保存する（ステップ１１）。なお、基準
距離は、一旦保存されると、後に更新されることはな
い。

【００８２】一方、当初以降（ｍ≠１）では（ステップ
１０）、距離検証手段７は、基準距離と測定距離とを対
比して、不適な関係が存在しないかどうか検証する（ス
テップ１２）。例えば、基準距離と測定距離の差の絶対
値が、基準距離の１０％以内であるとき「適」とし、そ
うでないとき「不適」と検証する。

【００８３】そして、ステップ１１が終了するか、また
は、ステップ１２で不適がなければ、ステップ１３へ移
り、不適があれば、ステップ１５のエラー処理へ移る。

【００８４】ステップ１３では、制御手段１４は、回転
角度検証手段８へ検証を指示する。これを受けた回転角
度検証手段８は、上述のように、階層構造を反映して、
各関節の測定回転角度（φ，Θ，Ψ）を求め、図４の該
当フィールドに値を保存する。そして、保存した各値
と、該当可動範囲とを対比し、もし１つでも不適なもの
があれば（ステップ１４）、ステップ１５のエラー処理
へ移り、１つもなければ、ステップ１６へ移る。

【００８５】ステップ１６では、制御手段１４が動き予
測手段６へ指示し、動き予測手段６は図７のフローチャ
ートに沿って、図２の予測位置ｅのフィールドを更新す
る。即ち、動き予測手段６は、ステップ３０にて、フレ
ーム番号ｍをチェックし、ｍ＝１（撮像開始当初）であ
れば、変位ｄmをゼロベクトルとして（ステップ３
１）、現在（当初）の３次元位置Ｐmをそのまま予測位
置ｅとする。

【００８６】一方、当初以降（ｍ≠１）では、前フレー
ムとの３次元位置の変位ｄm（＝Ｐm−Ｐm-1）を求め
（ステップ３２）、現フレームの３次元位置Ｐmに変位
ｄmを加えたものを、予測位置ｅとする（ステップ３
３）。そして、動き予測手段６は、各マーカについて、
図２の予測位置ｅのフィールドを、求めた値に更新す
る。

【００８７】なお、以上の動き予測は、マーカの動きに
追従できれば、十分であり、速度、加速度などを反映さ
せるなど、種々変更して差し支えない。

【００８８】さて、図５において、ステップ１６が終了
したら、フレーム番号ｍをインクリメントし（ステップ
１７）、ｍ＝ｍｅｎｄとなるまで、ステップ４〜ステッ
プ１７が繰り返される。

【００８９】なお、ステップ１５のエラー処理について
は、図示しているように、エラーが発生した時点で処理
打ち切りにしても良いし、何らかのリカバリー処理をし
て、ループに復帰するようにしても良い。また、図２〜
図４に示したデータ構造は、一例に過ぎず、種々変更し
ても良い。

【００９０】

【発明の効果】本発明によれば、マーカを色などで、物
理的に区別する必要がないため、マーカ取付位置の取り
違いが本質的に発生しないし、マーカは、個数さえ十分
にあれば良く、セットの一部欠け等を心配する必要がな
い。

【００９１】また、色選別性能限界によるマーカ数の上
限は存在しないし、マーカ数を増やしても背景色や対象
自体の色の制限は増えない。

【００９２】さらに、検証を行うことによって、マーカ
の追従ミスをチェックすることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態における動作解析装置の
機能ブロック図

【図２】同マーカデータ記憶部の構造図

【図３】同マーカ間距離記憶部の構造図

【図４】同回転角度記憶部の構造図

【図５】同動作解析装置のフローチャート

【図６】同識別処理のフローチャート

【図７】同予測位置算出のフローチャート

【図８】同マーカ取り付け位置の例示図

【図９】同マーカ取り付け位置の解説図

【図１０】同マーカ取り付け位置の解説図

【図１１】（ａ）同対象のモデル図（ｂ）同関節のモデル図

【図１２】同関節の階層構造図

【図１３】同上位から下位への回転角度計算解説図

【符号の説明】

１複数方向画像取得手段２マーカ画像抽出手段３２次元位置算出手段４３次元位置算出手段５マーカ識別手段６動き予測手段７距離検証手段８回転角度検証手段９記憶手段１４制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉田裕之大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者吉澤正文大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者濱崎省吾大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者西隆暁大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B057 BA02 DA07 DB03 DC03 DC08 DC30 5L096 CA05 FA19 FA66 FA67 HA02

Claims

【特許請求の範囲】

【請求項１】対象の動作を代表する複数の部位に取り付
けられたマーカの動きを計測して、対象の動作を解析す
る動作解析装置であって、マーカを取り付けた対象を、所定時系列に従って複数の
方向から撮像した画像情報を出力する複数方向画像取得
手段と、前記複数方向画像取得手段が出力する画像情報に基づい
て各マーカの３次元位置情報を算出する３次元位置算出
手段と、前記時系列における直前の３次元位置情報を参照して各
マーカの予測位置を求める動き予測手段と、撮像開始当初に、前記複数方向画像取得手段が出力する
画像情報に基づいて、これらのマーカの位置関係から各
マーカを識別すると共に、撮像開始当初以降、前記動き
予測手段が出力する各マーカの予測位置を参照して、前
記３次元位置算出手段が算出した３次元位置情報が、ど
のマーカのものであるかを識別するマーカ識別手段と、前記時系列に従って、各マーカ毎に前記３次元位置算出
手段が算出した３次元位置情報を記憶する記憶手段とを
備えることを特徴とする動作解析装置。
【請求項２】前記マーカ識別手段による識別結果を検証
する検証手段を備えることを特徴とする請求項１記載の
動作解析装置。
【請求項３】前記検証手段は、マーカ間の距離を算出
し、算出した距離が適正か否かにより、識別結果の適否
を定める距離検証手段を含むことを特徴とする請求項２
記載の動作解析装置。
【請求項４】前記距離検証手段は、撮像開始当初におけ
る各マーカの３次元位置情報に基づいて、各マーカ間の
基準距離を算出し、撮像開始当初以降における各マーカ
の３次元位置情報に基づいて、各マーカ間の測定距離を
算出し、この測定距離と基準距離とを対比することによ
り、識別結果の適否を定めることを特徴とする請求項３
記載の動作解析装置。
【請求項５】前記検証手段は、各マーカの３次元位置情
報に基づいて、対象の関節の測定回転角度を算出し、こ
の測定回転角度が、予め設定された可動範囲内にあるか
否かにより、識別結果の適否を定める回転角度検証手段
を含むことを特徴とする請求項２記載の動作解析装置。
【請求項６】前記回転角度検証手段は、対象の動きにお
いて、動きの起点となる上位の関節から動きの終点とな
る下位の関節の順に、各関節の回転角度を算出すること
を特徴とする請求項５記載の動作解析装置。
【請求項７】対象の動作を代表する複数の部位に取り付
けられたマーカの動きを計測して、対象の動作を解析す
る動作解析方法であって、マーカを取り付けた対象を、所定時系列に従って複数の
方向から撮像した画像情報を出力する複数方向画像取得
ステップと、前記複数方向画像取得ステップで得られた画像情報に基
づいて各マーカの３次元位置情報を算出する３次元位置
算出ステップと、前記時系列における直前の３次元位置情報を参照して各
マーカの予測位置を求める動き予測ステップと、撮像開始当初に、前記複数方向画像取得ステップで得ら
れた画像情報に基づいて、これらのマーカの位置関係か
ら各マーカを識別すると共に、撮像開始当初以降、前記
動き予測ステップで得られた各マーカの予測位置を参照
して、前記３次元位置算出ステップで得た３次元位置情
報が、どのマーカのものであるかを識別するマーカ識別
ステップと、前記時系列に従って、各マーカ毎に前記３次元位置算出
ステップで算出した３次元位置情報を記憶する記憶ステ
ップとを備えることを特徴とする動作解析方法。
【請求項８】前記マーカ識別ステップにおける識別結果
を検証する検証ステップを備えることを特徴とする請求
項７記載の動作解析方法。
【請求項９】前記検証ステップは、マーカ間の距離を算
出し、算出した距離が適正か否かにより、識別結果の適
否を定める距離検証ステップを含むことを特徴とする請
求項８記載の動作解析方法。
【請求項１０】前記距離検証ステップでは、撮像開始当
初における各マーカの３次元位置情報に基づいて、各マ
ーカ間の基準距離を算出し、撮像開始当初以降における
各マーカの３次元位置情報に基づいて、各マーカ間の測
定距離を算出し、この測定距離と基準距離とを対比する
ことにより、識別結果の適否を定めることを特徴とする
請求項９記載の動作解析方法。
【請求項１１】前記検証ステップは、各マーカの３次元
位置情報に基づいて、対象の関節の測定回転角度を算出
し、この測定回転角度が、予め設定された可動範囲内に
あるか否かにより、識別結果の適否を定める回転角度検
証ステップを含むことを特徴とする請求項８記載の動作
解析方法。
【請求項１２】前記回転角度検証ステップでは、対象の
動きにおいて、動きの起点となる上位の関節から動きの
終点となる下位の関節の順に、各関節の回転角度を算出
することを特徴とする請求項１１記載の動作解析方法。