JP2014117409A - 身体関節位置の計測方法および装置 - Google Patents

Abstract

【課題】計測する関節の上位の体節の動きを固定せずに関節位置を計測する方法および装置を提供する。
【解決手段】計測対象の身体関節に最も近い下位体節が関節を中心として三次元的な回転運動を行う間に、関節を挟んで上位と下位の体節表面上に設けた一対の標点の位置と姿勢を４ポーズ以上で計測する。次に、下位側の標点の位置と姿勢を、上位側の標点の位置と姿勢を基準とする座標系に座標変換する。続いて、座標変換された４以上の下位側の標点の位置と姿勢を用いて、下位側の標点の軌跡が描く球の中心を関節の位置として算出する。
【選択図】図３

Description

本発明は、現実の人物や物体の動きをデジタル的に記録するモーションキャプチャ技術に関し、特に、人や動物などの運動中の関節位置を計測する方法およびその装置に関する。

従来、モーションキャプチャ装置を用いて、現実の人物や物体の動きをデジタル的に記録することが行われている。モーションキャプチャ装置は、一般に、被験者（または被験体）に装着するマーカーと、マーカーを検出するトラッカーと、トラッカーからの情報に基づいて被験者の動きをデジタル化して記録するコンピュータとを備えている。トラッカーは、例えば、カメラである。この場合、複数のカメラで被験者の動きを撮影し、コンピュータで複数のカメラからの情報に基づいてマーカーの三次元的位置を特定する。

モーションキャプチャ装置により得られた３次元形状モデルは、例えば、バーチャルリアリティに利用することができる。バーチャルリアリティは、例えば、コンピュータ内に仮想的空間を構築し、その仮想空間の情報をコンピュータグラフィックスとしてヘッドマウントディスプレイに出力してユーザに提示するという技術である。このようなバーチャルリアリティを利用すれば、実物がなくても実物が存在するのと同様の情報をユーザへ与えることができる。

上記のようなバーチャルリアリティを利用して狭隘箇所での作業性評価を行う場合には、ユーザの腕が周辺物体と干渉せずに作業できるかを検証する。このために、ユーザの腕の３次元形状モデルが必要である。腕の３次元形状モデルは腕の関節位置を特定することで作成可能である。そこで、従来、身体関節の三次元的位置を計測する技術が提案されている。例えば、特許文献１には、生物の運動中の関節中心を計測する関節中心計測方法が示されている。ここでは、計測対象となる関節の近位の体節に標点セットを取り付け、この体節に三次元的な回転運動をさせて標点セットの三次元的位置を計測し、この三次元的位置情報を用いて関節中心位置を推定する。

特開２００５−２４５４７６号公報

特許文献１に記載された関節中心計測方法では、計測する関節の上位の体節の動きを固定した状態で、標点セットを取り付けた下位の体節に三次元的な回転運動をさせる。例えば、肘関節を計測する場合には、上腕の位置と姿勢を固定した状態で前腕を回転運動させる。しかし、一部の関節では上位の体節の動きを固定することが困難であり、計測中に上位の体節が動けば推定される関節中心位置の精度が著しく低下するおそれがある。また、中心位置を推定したい関節が複数存在し、それらが或る一つの体節の下位と上位の関係（例えば、肩関節と肘関節）にある場合、これらを同時に計測することができなかった。

本発明は以上の事情に鑑みてされたものであり、その目的は、計測する関節の上位の体節の動きを固定せずに関節位置を計測する方法および装置を提供することにある。

本発明に係る身体関節位置の計測方法は、
計測対象の身体関節に最も近い下位体節が前記関節を中心として三次元的な回転運動を行う間に、前記関節を挟んで上位と下位の体節表面上に設けた一対の標点の位置と姿勢を４ポーズ以上で計測する標点位置計測ステップと、
前記一対の標点のうち下位側の標点の位置と姿勢を、前記一対の標点のうち上位側の標点の位置と姿勢を基準とする座標系に座標変換する座標変換ステップと、
座標変換された４以上の前記下位側の標点の位置と姿勢を用いて、前記下位側の標点の軌跡が描く球の中心を前記関節の位置として算出する関節位置解析ステップとを備えるものである。

上記において、前記標点位置計測ステップが、前記関節を挟んで上位と下位の体節表面上に取り付けられた一対の標点セットを複数のカメラで同期して４ポーズ以上撮像するステップと、前記撮像により得られた４ポーズ以上の画像データを用いて各標点セットの位置と姿勢を前記標点の位置と姿勢として算出するステップとを含んでいてよい。

上記発明によれば、上位側の標点の位置と姿勢を基準とする座標系で表された下位側の標点の位置と姿勢を用いて関節の位置を算出するので、上位側の標点の位置と姿勢が一定である必要がない。つまり、被験者の身体関節位置を計測する際に、計測対象の関節の上位の体節の動きを固定する必要がない。上位の体節の動きが拘束されないので、被験者は比較的無理のない動きで下位の体節を動かすことができる。また、上位の体節の動きの固定が難しい関節であっても、その関節位置を精度よく計測することができる。このように、被験者の計測時の動き方によって計測される身体関節位置の精度が変動することがないので、安定した精度で身体関節位置を計測することができる。

本発明は、上記身体関節位置の計測方法において、前記関節位置解析ステップで、座標変換された前記下位側の標点の位置と姿勢が５以上あるときに、最小二乗法を用いて一つの前記関節の位置を算出するものである。

上記方法によれば、５以上の座標変換された前記下位側の標点の位置と姿勢に対して誤差が最小となる解（関節の位置）を得ることができる。

本発明は、上記身体関節位置の計測方法において、連なる３以上の体節の各々に標点を設け、これらの体節の間に存在する複数の関節の各々について、その関節を挟んで上位と下位の体節表面上に設けられた一対の標点を用いた前記標点位置計測ステップ、前記座標変換ステップおよび前記関節位置解析ステップを行って前記複数の関節の位置を計測するものである。

また、本発明は、上記身体関節位置の計測方法において、前記計測対象の身体関節が複数あり、これら複数の関節の各々について前記標点位置計測ステップ、前記座標変換ステップおよび前記関節位置解析ステップを行って前記複数の関節の位置を計測するものである。

上記いずれの方法によっても、複数の関節位置を同時に計測することが可能である。例えば、計測対象の複数の関節が、或る一つの体節の上位と下位の関係（例えば、肩関節と肘関節）にあっても、これらの関節を同時に計測することができる。複数の関節位置を同時に計測することによって、関節同士の位置精度を高めることができる。さらに、関節位置の計測を短時間で終了することができる。

本発明に係る身体関節位置の計測装置は、
計測対象の身体関節を挟んで上位と下位の体節表面上に取り付けられる一対の標点セットと、
前記下位の体節が前記関節を中心として三次元的な回転運動を行う間に、前記一対の標点セットを同期して４ポーズ以上撮像する複数のカメラと、
前記カメラより取得した４ポーズ以上の画像データを用いて前記関節の位置を算出する１以上のコンピュータとを備えており、
前記１以上のコンピュータが、
前記４ポーズ以上の画像データを用いて前記一対の標点セットの位置と姿勢を算出する標点位置計測部と、
前記一対の標点セットのうち下位側の標点セットの位置と姿勢を、前記一対の標点セットのうち上位側の標点セットの位置と姿勢を基準とする座標系に座標変換する座標変換部と、
座標変換された４以上の前記下位側の標点セットの位置と姿勢を用いて、前記下位側の標点セットの軌跡が描く球の中心を前記関節の位置として算出する関節位置解析部とを備えているものである。

上記発明によれば、上位側の標点の位置と姿勢を基準とする座標系で表された下位側の標点の位置と姿勢を用いて関節の位置を算出するので、上位側の標点の位置と姿勢が一定である必要がない。つまり、被験者の身体関節位置を計測する際に、計測対象の関節の上位の体節の動きを固定する必要がない。上位の体節の動きが拘束されないので、被験者は比較的無理のない動きで下位の体節を動かすことができる。また、上位の体節の動きの固定が難しい関節であっても、その関節位置を精度よく計測することができる。このように、被験者の計測時の動き方によって計測される身体関節位置の精度が変動することがないので、安定した精度で身体関節位置を計測することができる。

本発明は、上記身体関節位置の計測装置において、前記関節位置解析部が、座標変換された前記下位側の標点セットの位置と姿勢が５以上あるときに、最小二乗法を用いて一つの前記関節の位置を算出するものである。

上記構成によれば、５以上の座標変換された前記下位側の標点セットの位置と姿勢に対して誤差が最小となる解（関節の位置）を得ることができる。

本発明は、上記身体関節位置の計測装置において、前記下位の体節の更に下位の体節に取り付けられる標点セットを備えており、
前記複数のカメラが、前記一対の標点セットと前記更に下位の体節に取り付けられる標点セットが１画像に収まるように同期して４ポーズ以上撮像し、
前記１以上のコンピュータが、前記下位の体節に取り付けられる標点セットと前記更に下位の体節に取り付けられる標点セットとを一対の標点セットとして、前記下位の体節と前記更に下位の体節の間の関節の位置を計測するように構成されているものである。

また、本発明は、上記身体関節位置の計測装置において、前記一対の標点セットを複数備えており、
前記複数のカメラが、複数の前記一対の標点セットが１画像に収まるように同期して４ポーズ以上撮像し、
前記１以上のコンピュータが、複数の前記一対の標点セットの各々について、前記一対の標点セットが取り付けられた体節の間の関節の位置を計測するように構成されているものである。

上記いずれの構成によっても、複数の関節位置を同時に計測することが可能である。例えば、位置を計測する関節が、或る一つの体節の上位と下位の関係（例えば、肩関節と肘関節）にあっても、これらの関節を同時に計測することができる。複数の関節位置を同時に計測することによって、関節同士の位置精度を高めることができる。さらに、関節位置の計測を短時間で終了することができる。

本発明では、上位側の標点の位置と姿勢を基準とする座標系で表された下位側の標点の位置と姿勢を用いて関節の位置を算出するので、上位側の標点の位置と姿勢が一定である必要がない。よって、被験者の身体関節位置を計測する際に、計測する関節の上位の体節の動きが拘束されず、被験者は比較的無理のない動きで下位の体節を動かすことができる。

本発明の第１実施形態に係る身体関節位置の計測装置の概略構成を示す図である。 肩関節位置を計測するために被験者に標点セットを取り付けた状態を示す図である。 コンピュータの処理の流れを説明するフローチャートである。 本発明の第２実施形態に係る身体関節位置の計測装置の概略構成を示す図である。 肩、肘および手首の各関節位置を計測するために被験者に標点セットを取り付けた状態を示す図である。

次に、図面を参照しながら本発明の実施形態を説明する。

〔第１実施形態〕
図１は、本発明の第１実施形態に係る身体関節位置の計測装置の概略構成を示す図である。同図に示すように、身体関節位置の計測装置１０は、複数の標点セット１２と、複数の標点セット１２を撮像する撮像システム１５と、撮像システム１５から取得した画像データを利用して計測対象の関節位置を算出するための処理を行うコンピュータ１６とで構成されている。以下、身体関節位置の計測装置１０の各構成要素について詳細に説明する。

まず、標点セット１２について説明する。本実施の形態に係る標点セット１２は、１つの標点（代表となる点）を有しており、その標点の位置と姿勢を計測できるように４つのマーカー１１を備えている。この標点セット１２を用いれば、標点セット１２が取り付けられた身体（つまり、標点が設けられた身体）の位置と姿勢を計測することができる。ただし、標点セット１２の具体的な形状は、位置および姿勢を検出できるものであれば本実施の形態に限定されない。また、複数のマーカーの単なる集合を１つの標点セットとしてもよい。

上記構成の標点セット１２は、計測対象の身体関節を挟んで上位と下位の体節表面上にそれぞれ取り付けられる。計測対象の身体関節の上位の体節または下位の体節において、標点セット１２が取り付けられる位置は限定されない。以下では、これら一対の標点セット１２，１２のうち上位の体節に取り付けられる標点セット１２を上位側標点セット１２１といい、下位の体節に取り付けられる標点セット１２を下位側標点セット１２２ということがある（図２、参照）。

次に、撮像システム１５について説明する。撮像システム１５は、少なくとも２方向から一対の標点セット１２，１２を撮像できるように、複数のカメラ１３（またはビデオカメラ）を備えている。複数のカメラ１３はその光軸が平行とならないように配置される。図１に示す撮像システム１５は２台のカメラ１３，１３を備えているが、これらのうちいずれか一方でも一対の標点セット１２，１２を撮像できないような場合は、３台以上のカメラが備えられる。

撮像システム１５の全てのカメラ１３は、時間的に同期して撮像を行う。このために、全てのカメラ１３は１つの同期装置１４に接続されて、同期装置１４により全てのカメラ１３が同時に撮像するようにその動作が制御される。なお、撮像システム１５には、同期用発光装置を備えることもできる。

続いて、コンピュータ１６について説明する。コンピュータ１６は、一対の標点セット１２，１２が撮像された複数の画像データを撮像システム１５より取得し、この画像データを解析する情報処理装置である。コンピュータ１６には、キーボード１８などの入力手段、ディスプレイ１７などの出力手段が接続されている。コンピュータ１６は、入力手段から情報を取得したり出力手段へ情報を出力したりするためのＩ／Ｏ部、情報やプログラムなどを格納するための記憶部、撮像システム１５から画像データを取得するための画像入力部、演算処理を行う演算処理部など（いずれも図示せず）を備えている。このような構成のコンピュータ１６は、標点位置計測処理を行う標点位置計測部１６１と、座標変換処理を行う座標変換部１６２と、関節位置解析処理を行う関節位置解析部１６３としての機能を有する。これらの機能は、コンピュータ１６の演算処理部が記憶部に格納された所定のプログラムを実行することにより実現される。なお、ここではこれらの機能を一台のコンピュータ１６に備えているが、複数のコンピュータに分散して備えてもよい。

〔身体関節位置の計測方法〕
次に、上述の身体関節位置の計測装置１０を利用した身体関節位置の計測方法を、被験者の肩関節の位置を計測する例１を用いて説明する。図２は肩関節位置を計測するために被験者に標点セットを取り付けた状態を示す図、図３はコンピュータの処理の流れを説明するフローチャートである。

まず、図２に示すように、計測対象の身体関節Ｊを挟んで上位と下位の体節表面上に一対の標点ｐ_１，ｐ_２を設ける。ここでは、計測対象の身体関節Ｊを挟んで上位と下位の体節表面上に一対の標点セット１２（１２１），１２（１２２）を取り付ける。体節に取り付けられる標点セット１２の位置は特に限定されない。なお、人体は大きく分けて、頭部と、体幹部と、左右の上腕、前腕、手、大腿、膝下および足と、といった複数の体節に分類することができる。連なる体節の間に関節が存在する。上記において「上位と下位の体節」とは、被験者の頭部から見た上位と下位の関係の体節を意味する。例えば、計測対象の身体関節が肘のときは、上位の体節は上腕であり、下位の体節は前腕である。また、例えば、計測対象の身体関節が膝のときは、上位の体節は大腿であり、下位の体節は膝下である。

図２に示す例１では、被験者の肩関節Ｊの位置を計測するために、被験者の背中に上位側標点セット１２１を取り付け、同じく上腕に下位側標点セット１２２を取り付けている。上位側標点セット１２１の位置は被験者の背中であれば特に限定されない。同様に、下位側標点セット１２２の位置は被験者の上腕であれば特に限定されない。なお、例１では肩関節の位置を計測するが、計測対象の関節は、その下位の体節が当該関節を中心として３次元的な回転運動を行うことができればよく、本例に限定されない。

次に、被験者に測定対象の関節Ｊを中心としてその下位体節に３次元的な回転運動を行わせる。この間に、一対の標点ｐ_１，ｐ_２の三次元的な位置情報（位置と姿勢）を複数ポーズで計測する。このために、以下に示すように、撮像システム１５で一対の標点セット１２，１２の画像データを生成し、コンピュータ１６で画像データを用いて標点位置計測処理を実行する。

撮像システム１５では、一対の標点セット１２，１２の画像データを生成するために、一対の標点セット１２，１２を１つの画像に収めるように複数のカメラ１３で同期して撮像する。一対の標点セット１２，１２は４以上の相互に異なるポーズ（位置および姿勢）で撮像される。このようにして、４ポーズ以上の画像データが生成される。例１では、被験者が肩関節Ｊを中心に上腕を回転させる間に、一対の標点セット１２，１２を２台のカメラ１３，１３で４ポーズ以上撮像して、４ポーズ以上の画像データを生成する。生成された画像データは、撮像システム１５（カメラ１３）からコンピュータ１６へ送られ、コンピュータ１６に取り込まれる。

図３に示すように、コンピュータ１６は４ポーズ以上の画像データを取得し（ステップＳ１）、これらの画像データを用いて標点位置計測処理を行う（ステップＳ２）。以下に、標点位置計測処理について詳細に説明する。

（標点位置計測処理）
コンピュータ１６は、１ポーズにつき複数の画像データを用いて、各画像データに形成された各マーカー１１の像のカメラ座標を取得し、各マーカー１１のカメラ座標をワールド座標に変換する。そして、コンピュータ１６は、各マーカー１１のワールド座標から、各標点セット１２の三次元的位置、すなわち、位置と姿勢を求める。なお、マーカーの像が形成された２つ以上の画像データからマーカーのワールド座標を得る方法（例えば、Direct Linear Transformation methodなど）と、標点セットに含まれる複数のマーカーのワールド座標から標点セット（標点）の三次元的位置を得る方法は、いずれも公知である。よって、これらに関してキャリブレーションの方法や演算方法などを含むこれ以上の詳細な説明は省略する。

以上の標点位置計測処理により、一対の標点ｐ_１，ｐ_２のワールド座標系の位置と姿勢が４ポーズ以上で計測される。続いて、コンピュータ１６は、４ポーズ以上の一対の標点ｐ_１，ｐ_２のワールド座標系の位置と姿勢に係る情報を用いて座標変換処理を行う（ステップＳ３）。以下に、座標変換処理について詳細に説明する。

（座標変換処理）
コンピュータ１６は、下位の標点ｐ_２のワールド座標系の位置と姿勢を、上位の標点ｐ_１のワールド座標系の位置と姿勢を基準とする座標系に座標変換する。以下では説明のために、上位の標点ｐ_１のワールド座標の位置と姿勢を位置姿勢Ｐ_１、下位の標点ｐ_２のワールド座標の位置と姿勢を位置姿勢Ｐ_２、位置姿勢Ｐ_１を基準とする下位の標点ｐ_２の位置と姿勢を位置姿勢Ｐ_３とする。つまり、位置姿勢Ｐ_３は、位置姿勢Ｐ_１に相対的な下位の標点ｐ_２の位置と姿勢である。事象を２次元的に捉えると、これら位置姿勢Ｐ_１，Ｐ_２，Ｐ_３には式［Ｐ_３＝Ｐ_２−Ｐ_１］の関係が成立する。

ここで、次の（数１）に示すような、位置と姿勢を表す４×４のマトリックスＴを作成する。マトリックスＴの１行目はｘ軸の向きを表すベクトル、２行目はｙ軸の向きを表すベクトル、３行目はｚ軸の向きを表すベクトル、４行目は平行移動量を表すベクトルである。

上記（数１）を用いて位置姿勢Ｐ_１と位置姿勢Ｐ_２をそれぞれマトリックスＴで表すとき、位置姿勢Ｐ_３のマトリックスＴ_３は次の（数２）で表すことができる。

上記数２において、下付きの添え字の１，２，３はそれぞれ位置姿勢Ｐ_１，Ｐ_２，Ｐ_３に対応している。したがって、上記数２は、（位置姿勢Ｐ_３のマトリックスＴ_３）＝（位置姿勢Ｐ_１のマトリックスＴ_１）^Ｔ（位置姿勢Ｐ_２のマトリックスＴ_２）と読むことができる。この数２を各ポーズに当てはめて、４ポーズ以上についてそれぞれLX₃，LY₃，LZ₃を算出する。

以上の座標変換処理により、４ポーズ以上について、上位の標点ｐ_１の位置姿勢Ｐ_１を基準とする下位の標点ｐ_２の位置姿勢Ｐ_３が得られる。続いて、コンピュータ１６は、４ポーズ以上の下位の標点ｐ_２の位置姿勢Ｐ_３に係る情報を用いて関節位置解析処理を行う（ステップＳ４）。以下に、関節位置解析処理について詳細に説明する。

（関節位置解析処理）
コンピュータ１６は、座標変換された４以上の下位の標点ｐ_２の位置姿勢Ｐ_３に係る情報を用いて、関節位置解析処理を行う。ここでは、上位の標点ｐ_１から下位の標点ｐ_２を見たときに、下位の標点ｐ_２が計測対象の関節Ｊを中心とする球面上を移動するという事象に基づいて、関節Ｊの位置を推定する。換言すれば、上位の標点ｐ_１から見た下位の標点ｐ_２の軌跡が描く球の中心を計測対象の関節Ｊの位置と推定する。例１に当てはめると、被験者の背中に取り付けた上位側標点セット１２１から見た下位側標点セット１２２の軌跡が描く球の中心を肩関節Ｊの位置と推定し、肩関節Ｊの位置を求める。

肩関節Ｊの位置を求めるための具体的な計算は次に示す通りである。４ポーズ以上の下位の標点ｐ_２の全てが関節Ｊの位置を中心とする球面上にあり、その球の中心の座標を（ａ，ｂ，ｃ）とする。すると、次の（数３）に示す式１が成立する。

式１の両辺の差の二乗の総和が最小になるときに、最も近似された値を得ることができる。そこで、式１は次の（数４）に示される式２に置き換えることができる。さらに、式２において、Ａ＝−２ａ，Ｂ＝−２ｂ，Ｃ＝−２ｃ，Ｄ＝ａ^２＋ｂ^２＋ｃ^２−ｒ^２を代入すると、（数４）に示される式３となる。

式３において、両辺を微分した値が０となるときに式１の両辺の差の二乗の総和が最小の値となる。そこで、式３をＡ、Ｂ、Ｃ、Ｄでそれぞれ微分して、次の（数５）に示す式４、式５、式６および式７を得る。

上記式４、式５、式６および式７を一つの行列で表すと、次の（数６）に示す式８となる。

上記式８の両辺に逆行列を左からかけると、次の（数７）に示す式９となる。

最後に、上記式９と、式２に代入したＡ＝−２ａ，Ｂ＝−２ｂ，Ｃ＝−２ｃ，Ｄ＝ａ^２＋ｂ^２＋ｃ^２−ｒ^２とを利用して、最も近似された球の中心座標を求める。そして、求められた球の中心座標が計測された関節の位置となる。算出された関節の位置は、出力手段等により計測結果として出力される。

上記関節位置解析処理において、画像データが５ポーズ以上ある場合は、最小二乗法等を用いて関節の位置の１つの解を得る。このようにして、５以上の座標変換された下位の標点ｐ_２の位置と姿勢に対して誤差が最小となる解（関節の位置）を得ることができる。

以上説明した身体関節位置の計測方法では、上位の標点ｐ_１の位置姿勢Ｐ_１を基準とする座標系で表された下位の標点ｐ_２の位置姿勢Ｐ_３を用いて関節の位置を算出する。よって、上位の標点ｐ_１の位置姿勢Ｐ_１が全てのポーズを通じて一定である必要がない。つまり、被験者の身体関節位置を計測する際に、計測対象の関節の上位の体節の動きの動きを固定する必要がない。このように被験者の動きが拘束されないので、被験者は比較的無理のない動きで計測対象の関節の下位の体節を動かすことができる。また、上位の体節の動きの固定が難しい関節であっても、その関節位置を精度よく計測することができる。このように被験者の計測時の動き方によって計測される身体関節位置の精度が変動するようなことがなく、安定した精度で身体関節位置を計測することができる。

〔第２実施形態〕
次に、本発明の第２実施形態を説明する。第２実施形態では、一度に複数の関節位置を計測することができる身体関節位置の計測装置１０および計測方法について説明する。第２実施形態に係る身体関節位置の計測装置１０および計測方法は、主に、標点セット１２を３つ以上備えている点と、コンピュータ１６が複数の一対の標点セット１２，１２について関節位置を計測するための処理を行う点で上記第１実施形態と相違する。よって、本実施形態の説明においては、前述の第１実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。

図４は本発明の第２実施形態に係る身体関節位置の計測装置の概略構成を示す図である。図４に示すように、身体関節位置の計測装置１０は、複数の標点セット１２と、撮像する撮像システム１５と、コンピュータ１６とで構成されている。

標点セット１２は、計測対象の各関節において、関節を挟んで上位の体節の身体表面と下位の体節の身体表面のそれぞれに取り付けられる。連なる２以上の関節の位置を計測する場合には、計測される関節と関節の間に位置する体節には１つの標点セットが設けられる。図５では、連なる３つの関節位置を計測する例２として、肩、肘および手首の各関節位置を計測するために被験者に標点セットを取り付けた状態を示している。同図では、肩関節Ｊ_１、肘関節Ｊ_２および手首関節Ｊ_３の位置を計測するために、被験者の背中に第１標点セット１２ａ、上腕に第２標点セット１２ｂ、前腕に第３標点セット１２ｃ、手の甲に第４標点セット１２ｄをそれぞれ取り付けている。これらの標点セット１２ａ，１２ｂ，１２ｃ，１２ｄはそれぞれ標点ｐ_１，ｐ_２，ｐ_３，ｐ_４に対応している。

上記のように身体に設けられた標点の位置と姿勢が、計測対象の複数の関節を中心としてその下位の体節が三次元的な回転運動を行う間の４ポーズ以上で計測される。例２では、被験者が肩関節Ｊ_１を中心に上腕を、肘関節Ｊ_２を中心に前腕を、手首関節Ｊ_３を中心に手をそれぞれ三次元的に回転させる間の４ポーズ以上で、各標点ｐ_１，ｐ_２，ｐ_３，ｐ_４の位置と姿勢が計測される。

標点の位置と姿勢を計測するために、撮像システム１５の複数のカメラ１３で複数の標点セット１２を４以上の相互に異なるポーズ（位置および姿勢）で撮像して、４ポーズ以上の画像データを生成する。次いで、コンピュータ１６は、生成された４ポーズ以上の画像データを用いて標点位置計測処理を行う。このようにして計測された標点の位置と姿勢を用いて、コンピュータ１６は座標変換処理および関節位置解析処理を行って、計測対象の複数の関節の位置を算出する。

上記コンピュータ１６の一連の処理では、計測対象の複数の関節の各々について、その関節を挟んで上位と下位の体節表面上に設けられた一対の標点セット（標点）の像を用いて、上記第１実施形態で説明した通りの標点位置計測処理、座標変換処理および関節位置解析処理が行われる。例２では、第１標点セット１２ａと第２標点セット１２ｂの像を用いた標点位置計測処理、座標変換処理および関節位置解析処理が行われ、肩関節Ｊ_１の位置が計測される。また、第２標点セット１２ｂと第３標点セット１２ｃの像を用いた標点位置計測処理、座標変換処理および関節位置解析処理が行われ、肘関節Ｊ_２の位置が計測される。また、第３標点セット１２ｃと第４標点セット１２ｄの像を用いた標点位置計測処理、座標変換処理および関節位置解析処理が行われ、手首関節Ｊ_３の位置が計測される。以上のようにして、連なる３つ以上の関節位置が同時に計測される。

なお、例２では連なる３つの関節位置が同時に計測されるが、例えば、肩関節と股関節のように離れた複数の関節位置を同時に計測するようにコンピュータ１６による処理を変更することもできる。この場合には、計測対象の複数の身体関節の各々について、その関節を挟んで上位と下位の体節表面上に一対の標点を設け、これら複数の一対の標点の各々について第１実施形態で説明した身体関節位置の計測方法に則って処理を行えばよい。

以上説明した通り、本実施形態の身体関節位置の計測装置および方法によれば、複数の関節位置を同時に計測することが可能である。例えば、計測対象の複数の関節が、或る一つの体節の上位と下位の関係（例えば、肩関節と肘関節）にあっても、これらの関節を同時に計測することができる。このように、複数の関節位置を同時に計測することによって、関節位置の計測を短時間で終了することができる。さらに、計測された関節同士の位置精度を高めることができる。

また、例２で説明したように肩関節、肘関節および手首関節の位置を計測できれば、これらの関節位置から腕の向きや大きさを計算することができる。例えば、個人の体格に応じた仮想の腕モデルは、肩関節、肘関節および手首関節の位置に円筒のモデルを挿入することで作成できる。このような腕モデルの作成のために本発明を適用すれば、比較的短時間でユーザの体格に応じた腕モデルを作成することが可能となる。さらに、この腕モデルをバーチャルリアリティを利用したユーザの作業性の評価に用いれば、作業性の評価を比較的短時間で行うことができる。

１０ 身体関節位置の計測装置
１１ マーカー
１２ 標点セット
１３ カメラ
１４ 同期装置
１５ 撮像システム
１６ コンピュータ
１６１ 標点位置計測部
１６２ 座標変換部
１６３ 関節位置解析部
１７ ディスプレイ
１８ キーボード

Claims (9)

1. 計測対象の身体関節に最も近い下位体節が前記関節を中心として三次元的な回転運動を行う間に、前記関節を挟んで上位と下位の体節表面上に設けた一対の標点の位置と姿勢を４ポーズ以上で計測する標点位置計測ステップと、
   前記一対の標点のうち下位側の標点の位置と姿勢を、前記一対の標点のうち上位側の標点の位置と姿勢を基準とする座標系に座標変換する座標変換ステップと、
   座標変換された４以上の前記下位側の標点の位置と姿勢を用いて、前記下位側の標点の軌跡が描く球の中心を前記関節の位置として算出する関節位置解析ステップとを備える、
   身体関節位置の計測方法。
2. 前記標点位置計測ステップは、
   前記関節を挟んで上位と下位の体節表面上に取り付けられた一対の標点セットを複数のカメラで同期して４ポーズ以上撮像するステップと、
   前記撮像により得られた４ポーズ以上の画像データを用いて各標点セットの位置と姿勢を前記標点の位置と姿勢として算出するステップとを含む、
   請求項１に記載の身体関節位置の計測方法。
3. 前記関節位置解析ステップで、座標変換された前記下位側の標点の位置と姿勢が５以上あるときに、最小二乗法を用いて一つの前記関節の位置を算出する、
   請求項１または２に記載の身体関節位置の計測方法。
4. 連なる３以上の体節の各々に標点を設け、これらの体節の間に存在する複数の関節の各々について、その関節を挟んで上位と下位の体節表面上に設けられた一対の標点を用いた前記標点位置計測ステップ、前記座標変換ステップおよび前記関節位置解析ステップを行って前記複数の関節の位置を計測する、
   請求項１〜３のいずれか一項に記載の身体関節位置の計測方法。
5. 前記計測対象の身体関節が複数あり、これら複数の関節の各々について前記標点位置計測ステップ、前記座標変換ステップおよび前記関節位置解析ステップを行って前記複数の関節の位置を計測する、
   請求項１〜３のいずれか一項に記載の身体関節位置の計測方法。
6. 計測対象の身体関節を挟んで上位と下位の体節表面上に取り付けられる一対の標点セットと、
   前記下位の体節が前記関節を中心として三次元的な回転運動を行う間に、前記一対の標点セットを同期して４ポーズ以上撮像する複数のカメラと、
   前記カメラより取得した４ポーズ以上の画像データを用いて前記関節の位置を算出する１以上のコンピュータとを備えており、
   前記１以上のコンピュータが、
   前記４ポーズ以上の画像データを用いて前記一対の標点セットの位置と姿勢を算出する標点位置計測部と、
   前記一対の標点セットのうち下位側の標点セットの位置と姿勢を、前記一対の標点セットのうち上位側の標点セットの位置と姿勢を基準とする座標系に座標変換する座標変換部と、
   座標変換された４以上の前記下位側の標点セットの位置と姿勢を用いて、前記下位側の標点セットの軌跡が描く球の中心を前記関節の位置として算出する関節位置解析部とを備えている、
   身体関節位置の計測装置。
7. 前記関節位置解析部が、座標変換された前記下位側の標点セットの位置と姿勢が５以上あるときに、最小二乗法を用いて一つの前記関節の位置を算出する、
   請求項６に記載の身体関節位置の計測装置。
8. 前記下位の体節の更に下位の体節に取り付けられる標点セットを備えており、
   前記複数のカメラが、前記一対の標点セットと前記更に下位の体節に取り付けられる標点セットが１画像に収まるように同期して４ポーズ以上撮像し、
   前記１以上のコンピュータが、前記下位の体節に取り付けられる標点セットと前記更に下位の体節に取り付けられる標点セットとを一対の標点セットとして、前記下位の体節と前記更に下位の体節の間の関節の位置を計測するように構成されている、
   請求項６または７に記載の身体関節位置の計測装置。
9. 前記一対の標点セットを複数備えており、
   前記複数のカメラが、複数の前記一対の標点セットが１画像に収まるように同期して４ポーズ以上撮像し、
   前記１以上のコンピュータが、複数の前記一対の標点セットの各々について、前記一対の標点セットが取り付けられた体節の間の関節の位置を計測するように構成されている、
   請求項６または７に記載の身体関節位置の計測装置。

Images