JP2015227813A - センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置 - Google Patents

センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置 Download PDF

Info

Publication number
JP2015227813A
JP2015227813A JP2014113520A JP2014113520A JP2015227813A JP 2015227813 A JP2015227813 A JP 2015227813A JP 2014113520 A JP2014113520 A JP 2014113520A JP 2014113520 A JP2014113520 A JP 2014113520A JP 2015227813 A JP2015227813 A JP 2015227813A
Authority
JP
Japan
Prior art keywords
sensor module
sensor
optical
optical marker
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014113520A
Other languages
English (en)
Other versions
JP6145072B2 (ja
Inventor
智宏 牛久保
Tomohiro Ushikubo
智宏 牛久保
薫 今岡
Kaoru Imaoka
薫 今岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anima Corp
Original Assignee
Anima Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anima Corp filed Critical Anima Corp
Priority to JP2014113520A priority Critical patent/JP6145072B2/ja
Publication of JP2015227813A publication Critical patent/JP2015227813A/ja
Application granted granted Critical
Publication of JP6145072B2 publication Critical patent/JP6145072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】光学式モーションキャプチャを利用して、センサーモジュールの位置精度を向上させる。
【解決手段】光学式モーションキャプチャ3と、少なくとも3軸ジャイロセンサーを備えたセンサーモジュール2と、を備えた動作計測において、センサーモジュール2と同一剛体上に光学式マーカー1を設け、センサーモジュール2に対する光学式マーカー1の位置関係が記憶されており、センサーモジュール2の座標値を、位置関係と、光学式マーカー1の座標値と、センサーモジュール2の姿勢情報と、を用いて取得する。
【選択図】図1

Description

本発明は、センサーモジュールの位置の取得方法及び装置に係り、詳しくは、光学式モーションキャプチャによる動作計測と慣性センサーモジュールによる動作計測とを同時行うことで、センサーモジュールのより正確な位置情報を取得する技術に関するものである。このような慣性センサーモジュールとしては、9軸センサー、6軸センサーを例示することができる。
三次元動作分析の計測方式としては、光学式モーションキャプチャ(典型的には、赤外線反射方式が採用される)による動作分析システムが良く知られている。光学式モーションキャプチャでは、複数の光学マーカー(赤外線反射マーカー)を被験者の所定部位に取り付け、複数のカメラで被験者の動作を撮影することで、光学マーカーの移動軌跡から被験者の動作を計測する。光学式モーションキャプチャシステムは、医療、スポーツ、ロボティックス、コンピュータグラフィックス等の分野で広く用いられている。
一方、加速度センサーやジャイロスコープ等の慣性センサーを用いて動作計測を行うことも知られており、近年、6軸センサー(3軸加速度センサー、3軸ジャイロスコープを備えたセンサーモジュール)や9軸センサー(3軸加速度センサー、3軸ジャイロスコープ、3軸地磁気センサーを備えたセンサーモジュール)を用いた動作分析が行われ始めている。
9軸センサー等のセンサーモジュールを用いて位置を推定する場合には、初期位置に対して、センサーモジュールの加速度センサーによって取得された加速度を2回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。
一方、光学式モーションキャプチャによる動作分析は、位置の計測精度は6軸センサーや9軸センサーよりも良いという特徴があるが、光学マーカーがカメラから見えている必要があるため、動作によっては、多くのカメラ台数が必要になり、必要なコストが上昇するというデメリットがある。
ここで、光学式モーションキャプチャの動作分析と、慣性センサーを用いた動作分析を組み合わせることで、それぞれの長所を活かした相乗的な計測を行うことが期待される。しかしながら、単に被験者に光学式モーションキャプチャ用の光学マーカーと9軸センサー等のセンサーモジュールを取り付けただけでは、得られる計測データが増加するだけであり、両システムの欠点を解決することはできない。光学式モーションキャプチャと慣性センサーによる計測をいかに協働させて、有効な同時計測を行うかが重要である。
光学式モーションキャプチャと慣性センサーによる計測を同時に行うという視点は、特許文献1に記載されているが、その開示内容は、光学式モーションキャプチャ装置と慣性センサーの双方からの情報を同期させる手段を提供するものに留まる。
特開2013−192591
本発明は、光学式モーションキャプチャとセンサーモジュールによる同時計測を有効に用いるための手段を提供するものであり、特に、光学式モーションキャプチャを利用して、センサーモジュールの位置精度を向上させることを目的とするものである。
本発明が採用した第1の技術手段は、
光学式モーションキャプチャと、
少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
センサーモジュールと同一剛体上に光学式マーカーを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
前記センサーモジュールの座標値を、前記位置関係と、前記光学式マーカーの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する、
センサーモジュール位置の取得方法、である。
1つの態様では、前記センサーモジュールの世界座標系における座標値を、前記位置関係、前記光学式モーションキャプチャによって取得された世界座標系における前記光学式マーカーの座標値、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得した変換情報を用いて取得する。
1つの態様では、センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される。
1つの態様では、センサーモジュール座標系における前記光学式マーカーの座標値は、
前記センサーモジュールの3つ以上の異なる姿勢において、各姿勢における変換情報を、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得し、
各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用して取得する。
本発明が採用した第2の技術手段は、
光学式モーションキャプチャと、
少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
センサーモジュールと同一剛体上に設けた光学式マーカーと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する記憶手段と、
前記センサーモジュールの座標値を、前記位置関係と、前記光学式マーカーの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する演算手段と、
を備えた、センサーモジュール位置の取得装置、である。
1つの態様では、前記演算手段は、前記センサーモジュールの世界座標系における座標値を、前記位置関係、前記光学式モーションキャプチャによって取得された世界座標系における光学式マーカーの座標値、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得した変換情報を用いて取得する。
1つの態様では、当該装置は、
センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報を記憶する記憶手段と、
前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて前記変換情報を計算する手段と、
を備えている。
センサーモジュール座標系における光学式マーカーの座標値は、
前記センサーモジュールの3つ以上の異なる姿勢において、各姿勢における変換情報を、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得する手段と、
各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用して、センサーモジュール座標系における光学式マーカーの座標値を演算する手段と、
によって取得する。
本発明が採用した第3の技術手段は、
光学式モーションキャプチャと、
少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
同一剛体上に1つのセンサーモジュールと1つの光学式マーカーを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
前記センサーモジュールの座標値を、前記位置関係と、前記光学式モーションキャプチャによって取得された前記光学式マーカーの座標値と、前記センサーモジュールの3軸ジャイロセンサーによって取得された前記センサーモジュールの姿勢情報と、を用いて推定し、
前記剛体の位置が、前記推定されたセンサーモジュールの座標値から得られ、前記剛体の傾きが、前記センサーモジュールの3軸ジャイロセンサーによって取得された姿勢情報から得られる、
動作計測方法、である。
本発明が採用した第4の技術手段は、
光学式モーションキャプチャと、
少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
同一剛体上に設けた1つのセンサーモジュール及び1つの光学式マーカーと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する手段と、
前記センサーモジュールの座標値を、前記位置関係と、前記光学式モーションキャプチャによって取得された前記光学式マーカーの座標値と、前記センサーモジュールの3軸ジャイロセンサーによって取得された前記センサーモジュールの姿勢情報と、を用いて推定する手段と、
前記剛体の位置が、前記推定されたセンサーモジュールの座標値から得られ、前記剛体の傾きが、前記センサーモジュールの3軸ジャイロセンサーによって取得された姿勢情報から得られる、
動作計測システム、である。
上記第1〜第4の技術手段について、以下の態様を採用することができる。
1つの態様では、前記センサーモジュールは、加速度センサーを含んでいる。後述する実施形態では、前記センサーモジュールは、3軸加速度センサー、3軸ジャイロスコープ、3軸地磁気センサーを備えた9軸センサーである。
1つの態様では、前記光学式マーカーは、前記センサーモジュール上に装着されている。
1つの態様では、前記光学式マーカーと前記センサーモジュールは、同一剛体上に離間して装着されている。
光学式マーカーをセンサーモジュール上に装着する場合において、一度取得した位置関係を記憶部に記憶しておけば、同一のセンサーモジュール上の同一位置に光学式マーカーを装着する場合には、記憶されている値を用いてもよい。
また、センサーモジュールの設計時に、センサーモジュールの位置(センサー座標系の原点)が取得されており、センサーモジュールの形状・寸法、センサーモジュールに装着された光学式マーカーの寸法(マーカーの中心位置)、センサーモジュールの外形に対する光学式マーカーの取付位置が判っているような場合に、センサーモジュール座標系における前記光学式マーカーの座標値を計算で精度良く取得できる場合もあり得る。
本発明に係る動作計測システムの基本的なハードウェアは、光学式モーションキャプチャを構成するものとして光学式マーカー、複数のカメラ、コンピュータであり、センサーモジュールによる動作計測を構成するものとして、9軸センサー等のセンサーモジュール、コンピュータとなる。動作計測システムに用いられるコンピュータは1台でも複数台でもよい。各フレームで時系列に取得された計測データ(カメラ画像、加速度データ、角速度データ等)はコンピュータの記憶部に記憶され、コンピュータの演算部において計測データを用いて所定の演算が実行され、演算結果は記憶部に記憶される。記憶部にはまた、計測に先立って取得した情報が記憶されている。
光学式マーカーとしては、赤外線反射マーカーや赤外線LEDを例示することができる。
後述する実施形態では、計算に用いられる各種情報を主として行列で示しているが、行列表現は1つの態様に過ぎないものであり、各種情報を他の表現形式で規定することが可能であることが当業者に理解される。
本発明では、同一の剛体に慣性センサーモジュールと光学式マーカー(補正用マーカー)を取り付け、これらの位置関係を利用することで、センサーモジュールの位置情報を精度良く取得することができる。
センサーモジュールが加速度センサーを備えている場合には、加速度データを用いて当該センサーモジュールの位置情報を取得可能であるが、その位置精度は一般に光学式モーションキャプチャに比べて劣り、光学式モーションキャプチャで取得される位置情報を用いることで、センサーモジュールの位置情報を補正し、位置精度を向上させることができる。
また、センサーモジュールの位置精度を向上させるために同一剛体上に光学式マーカーが設けられるわけであるが、このセンサーモジュールのジャイロセンサーを用いて、光学式マーカーが設けられた剛体の姿勢・方向を取得することができる。
すなわち、マーカー側の視点から考えると、光学式マーカー1つの場合には、光学式マーカーを取り付けた剛体の方向を決定することはできないのに対して、動作計測において、ジャイロセンサーが加わることにより、光学式マーカー3個未満であっても剛体の方向を決めることができるようになり、赤外線反射マーカー等の光学式マーカーを利用した動作計測に新たな機能が追加されることになる。
光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測の同時計測を示す概念図である。 センサーモジュール上に装着された補正用マーカーを示す。 同一の剛体リンク上に離間して装着された補正用マーカーとセンサーモジュールを示す。 9軸センサーのセンサー座標系と世界座標系との一致に用いられる治具を示す。
[A]光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測
[A−1]光学式モーションキャプチャシステムによる動作計測
光学式モーションキャプチャシステムは、被験者の複数の所定部位(頭、首、肩、肘、手首等)や道具等に装着した複数の光学式マーカー1(例えば、赤外線反射マーカー)と、光学式マーカー1を装着した被験者の運動を複数角度から同時に撮影する複数台のカメラ3と、各カメラ3で取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置(被験者の姿勢)を取得する処理部と、計測データや計測データに基づいて計算されたデータを記憶する記憶部と、処理部による処理結果(被験者の姿勢の時系列データとして取得される運動データ)等を表示する表示部と、からなる。
処理部、記憶部、表示部は、コンピュータ(例えば、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータ)4から構成され、具体的には、カメラ3によって取得された画像情報および画像処理部で計算された情報を記憶する記憶部、画像情報や測定結果、分析結果を表示する表示部、画像情報に対して画像処理を施すための画像処理部、光学式マーカー1の三次元位置の時系列データを計算する演算部を備えている。
[A−2]センサーモジュールを用いた動作計測システム
センサーモジュールを用いた動作計測システムは、被験者の所定部位に装着した9軸センサー2と、9軸センサー2からの計測データを受信する受信機(図示せず)と、受信機で得られた各種データに基づく計算を実行するコンピュータ4と、から構成される。9軸センサー2は、3軸加速度センサー、3軸ジャイロスコープ、3軸地磁気センサー、制御部(MCU等)、バッテリ、無線通信機能(ブルートゥース等)を備えたセンサーモジュールである。センサーモジュールは、被験者の身体の所定部位(例えば、左上腕、右上腕、左前腕、右前腕、左手首、右手首、体幹等)や道具等に装着される。加速度データ、角速度データは、地磁気データは、各センサーモジュールが持つ通信機能を介してデータ蓄積・計算用コンピュータ4に送信され、計測データを解析し運動を再構成する。
コンピュータ4は、受信機より得たセンサーデータを保存し、被験者の姿勢を再構成して、動作分析を行う。コンピュータ4は、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータから構成することができる。入力部から入力されたセンサーデータ(加速度データ、角速度データ、地磁気データ)は記憶部に記憶され、演算部によって所定の計算が実行されて(例えば、加速度データの積分による位置情報、角速度データの積分による角度情報)、計算結果は記憶部に記憶されると共に、必要に応じて、出力部から出力、あるいは/および表示部で表示される。光学式モーションキャプチャによる計測と9軸センサー2による計測を同期して実行し、同期して計測データを取得することで、各時刻(フレーム)において、光学式マーカー1の位置情報と、9軸センサー2から取得される各データが対応して得られ、記憶部に記憶される。
[B]光学式モーションキャプチャを用いた9軸センサーの位置情報の取得
[B−1]概要
9軸センサーはその加速度センサーにより計測された加速度データを用いて位置情報を取得することができるが、位置情報を取得するためには加速度データを2回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。そこで、光学式モーションキャプチャを利用して、隠れ光学式マーカー1の位置情報取得に用いられる9軸センサー2の位置精度を向上させることを考える。図3、図4に示すように、補正用の光学式マーカー1´を用意し、補正用マーカー1´と同一剛体(体節等)5上に9軸センサー2を設け、9軸センサー2に対する補正用マーカー1´の位置関係を記憶しておき、その位置関係を用いて、補正用マーカー1´の位置情報(光学式モーションキャプチャで取得する)から9軸センサー2の位置情報を取得する。図3に示す態様では、補正用マーカー1´は、所定の剛体(体節等)に設けた9軸センサー2上に装着されており、9軸センサー2を所定の剛体に取り付けることで、9軸センサー2と補正用マーカー1´は同一の剛体に設けられる。図4に示す態様では、補正用マーカー1´と9軸センサー2は、同一の剛体(体節等)5上に離間して装着されている。位置関係が一意に決定されていれば、補正用マーカー1´と9軸センサー2は、接触していても、離間していてもよい。
[B−2]センサーの位置とマーカーの位置関係の決定
補正用マーカー1´を9軸センサー2と同一剛体(体節等)5に固定した状態で、9軸センサー2を回転させて9軸センサー2のジャイロセンサーを用いて回転行列を取得する。この回転情報を用いて、計測前に9軸センサー2の位置と補正用マーカー1の位置関係を決定し、記憶部に記憶しておく。計測の前に9軸センサーの位置と補正用マーカーの位置関係を決定するための計算について以下に述べる。ここで上記位置関係を規定する求めたい値は
である。
第nフレームでの、9軸センサーの世界座標系における座標値を
とする(この値は未知数である。)。ここでは、より精度の高い9軸センサーの位置情報を取得することを目的とし、9軸センサーの位置情報の取得に、当該9軸センサーの加速度センサーから得られる加速度データを用いない。
第nフレームでの、絶対座標系から9軸センサー座標系への変換行列を
とする。この変換行列は、センサー座標系を世界座標系に一致させた時(較正時)の9軸センサーの姿勢情報を記憶しておき、この姿勢情報と、9軸センサーのジャイロセンサーによって時刻tで取得された回転行列と、を用いて計算することができる。
第nフレームでの、補正用マーカーの世界座標における座標値を
とする。補正用マーカーの世界座標系における座標値は、光学式モーションキャプチャのカメラ画像から取得することができる。
世界座標系と9軸センサーの座標系を一致させ、9軸センサーの位置を原点に位置させた際の補正用マーカーの座標値を
とする。この値はセンサー座標系における補正用マーカーの位置と同義であり、この値も未知数である。
このとき次の関係が成り立っている。
となる。この時、右辺は補正用マーカーが原点に来るように移動したときの9軸センサーの位置になる。
第iフレーム、第jフレーム、第kフレームにおいて、原点から補正用マーカーまでの距離は一定であることから次の関係が成り立つ。
この連立方程式を解くことで、センサー座標系における補正用マーカーの座標値
を求めることができる。
要約すると、センサーモジュール(9軸センサー)座標系における補正用マーカーの座標値は、
前記センサーモジュール(9軸センサー)の3つ以上の異なる姿勢において、各姿勢における変換情報(変換行列)を、前記センサーモジュール(9軸センサー)のジャイロセンサーによって取得された回転情報(回転行列)を用いて取得し、
各姿勢において、前記センサーモジュール(9軸センサー)から前記補正用マーカーへの距離が同一であることを利用して取得する。
計算は、コンピュータ4の演算部によって実行され、計算結果は、コンピュータ4の記憶部に記憶される。
[B−3]補正用マーカー位置を用いた9軸センサーの位置の取得
計測中に9軸センサー2の位置精度向上用に取り付けた補正用マーカー1´がカメラで撮影される時に、次のような計算を行って、9軸センサー2の座標値を計算する。計測中の補正用マーカー1´の位置から9軸センサー2の座標値を計算するときの計算式は次のようになる。
求める9軸センサーの絶対座標系での位置を
とする。
センサー座標系における補正用マーカーの位置を
とする。この位置情報は、[B−2]で取得されている。
補正用マーカーの絶対座標系での位置を
とする。補正用マーカーの三次元座標値は、光学式モーションキャプチャによって取得される。
絶対座標系から9軸センサーのセンサー座標系への変換行列を
とすると
より
となる。
計算は、コンピュータ4の演算部によって実行され、計算結果は、コンピュータ4の記憶部に記憶される。
変換行列Mw→sの計算の1つの態様を[D]に記載する。
[C]同一剛体上に設けた1つの光学式マーカーと1つの9軸センサーを用いた動作計測
[C−1]概要
本実施形態では、光学式マーカー(赤外線反射マーカー)と、ジャイロセンサーを含むセンサー(9軸センサー)を 同一剛体上に乗せるということにより、新たな機能を持つセンサーを提供するものである。すなわち、本実施形態では、9軸センサーの位置を精度よく検出でき、また、単一の赤外線反射マーカーでは剛体の方向(姿勢・向き)を検出できないのに対して、剛体の方向の検出が可能となる。9軸センサー側からの視点で見ると、光学式マーカーが新たに取り付けられることによって、「センサーの位置を精度よく決定することが難しい9軸センサーの位置精度が向上される」ことを意味し、一方、光学式マーカー側の視点で見ると、ジャイロセンサーを備えた9軸センサーを取り付けることにより、「剛体上に取りつた光学式マーカー1個では、剛体の方向を決めることができないが、ジャイロセンサーが加わることにより光学式マーカーが1個であっても剛体の方向を決めることができる」ことを意味する。
本実施形態に係る動作計測は、以下のように規定することができる。
光学式モーションキャプチャと、
少なくとも3軸ジャイロセンサーを備えたセンサーモジュール(9軸センサー)と、
を備えた動作計測において、
同一剛体上に1つのセンサーモジュール(9軸センサー)と1つの光学式マーカーを設け、前記センサーモジュール(9軸センサー)に対する前記光学式マーカーの位置関係が記憶されており、
前記センサーモジュール(9軸センサー)の座標値を、前記位置関係と、前記光学式モーションキャプチャによって取得された前記光学式マーカーの座標値と、前記センサーモジュール(9軸センサー)の3軸ジャイロセンサーによって取得された前記センサーモジュール(9軸センサー)の姿勢情報と、を用いて推定し、
前記剛体の位置が、前記推定されたセンサーモジュール(9軸センサー)の座標値から得られ、前記剛体の傾きが、前記センサーモジュール(9軸センサー)の3軸ジャイロセンサーによって取得された姿勢情報から得られる。
[C−2]アプリケーションの具体例
椅子からの立ち上がりの際の体幹の動きを測定するような場合には体幹を1つの剛体として捉える必要がある。体幹を1つの剛体として捉えたいような計測の場合には、3軸の傾きを光学式マーカーのみの計測によって計測するのは難しい。通常、光学式マーカーは骨のランドマークに取り付けるが、体幹には骨がたくさんあるため、同一体節上の3つのランドマークを選択して光学式マーカーを取り付け、それによって体節の上下・左右・前後軸を決めるのが難しい。例えば、左右肩峰・第七頸椎にマーカーを取り付け、その面を水平面とすることは可能であるが、左右片峰は第七頸椎とは独立に動かすことができてしまい正確な水平面を表すことができない。また、左右胸鎖関節と第七頸椎であれば、同一剛体とみなすことはできるが、この3点から作られる平面は水平面と一致しない。
これに対して、1つの9軸センサー+1つの光学式マーカー(補正用マーカー)のセットを脊椎等に取り付けることで、体幹の傾きと位置が分かる。この9軸センサーと光学式マーカーのセットを脊椎等に取り付けると、椅子からの立ち上がり時の体幹の上下軸・左右軸・前後軸周りの角度を求めることができると同時に脊椎等の位置の時間変化も同時に分かる。本発明は、光学式モーションキャプチャの動作分析と、慣性センサーを用いた動作分析を組み合わせることで、それぞれの長所を活かした相乗的な計測を行うものであり、以下に述べるような手法の不具合を解消でき、有利な手法を提供する。
第七頸椎と肩峰に光学式マーカー・第七頸椎に9軸センサーを取り付けた例を挙げる。この時に、第七頸椎に単純に9軸センサーを取り付け、その上に光学式マーカーを取り付けただけで、それぞれから計測されたデータ(光学式マーカーの座標、9軸センサーの計測データ)のみを用いて動作計測を行うことも考えられるが、光学式マーカーの位置は9軸センサーの位置と同じではないので、本発明のように9軸センサーの位置を推定した場合に比べて、光学式マーカーの座標値は9軸センサーの大きさの分だけ正しい位置からずれた位置になる。肩峰がどの程度、前に出ているかの情報を得るために、第七頸椎と左右肩峰の作る角度を計測すると、単純に光学式マーカーを9軸センサーに張り付けただけでは、推定した9軸センサーの座標値を用いた場合に比べて後方に光学式マーカーが位置することとなり、9軸センサーを付けない場合に比べて光学式マーカーの位置が後方の位置となる。そのため、誤差要因となる。
[D]絶対座標系から9軸センサー座標系への変換行列をMw→sの決定
[D−1]概要
9軸センサーの座標系と世界座標系(三次元動作分析の座標系)は一致していないため、計測前に座標系を一致させるための較正作業が必要となる。計測前に図5に示すような治具6を使って、各9軸センサーの座標系と世界座標系(カメラ座標系)との間の関係を計算するための変換行列を作成する。治具6は、平面視長方形状を有し、上面60には、縦横方向に間隔を存して方形状の凹部61が形成されており、各凹部61に9軸センサー2を嵌め込むようになっている。この治具6には直角三角形の頂点を形成するように3つの光学式マーカー1A、1B、1Cが3つ設けてある。3つのマーカー1A、1B、1Cの作る直角三角形の直角の点につけられたマーカー1Aと長辺側につけられたマーカー1Bの方向を一つ目の軸とし、直角の点につけられたマーカー1Aと短辺側につけられたマーカー1Cの方向をもう一つの軸とする。この軸をそれぞれ、前後軸・左右軸とすると、9軸センサー2の前後軸・左右軸をこの治具6の前後軸・左右軸と一致するように置く。前後軸と左右軸が決まっているため、上下軸は計算により求めることができる。
[D−2]
あるタイミングで、光学式モーションンキャプチャによる動作計測と、9軸センサー2による動作計測を同時に行う。3つのマーカー1A、1B、1Cの座標値をそれぞれ
とし、
とするとき、
が3つのマーカー1A、1B、1Cの回転行列となる。この時に9軸センサー2から得られる回転行列をRsとする(Rsはセンサー内で直接計算されて出力される)。
上記の作業によって、9軸センサー2の座標系からマーカー1A、1B、1Cの座標系に変換する行列

となる。ここで、rは図5の治具を用いて行列を作成するために用いるデータを取得する参照となるフレームを意味する添え字である。
上記の行列とフレーム番号nで取得されたセンサーの回転行列を
としたとき、
フレーム番号nにおける9軸センサーのセンサー座標系から世界座標系に変換する行列

となり、世界座標系から9軸センサーのセンサー座標系への変換行列は
となる。
このように、計測前の較正において、センサーモジュール(9軸センサー)座標系を世界座標系に一致させた時のセンサーモジュール(9軸センサー)の姿勢情報を求めておき、前記姿勢情報と、前記センサーモジュール(9軸センサー)のジャイロセンサーによって取得された回転情報(回転行列)と、を用いて、センサーモジュール(9軸センサー)座標系と世界座標系間の変換情報(変換行列)が取得される。
9軸センサー座標系を世界座標系に一致させるための9軸センサーの軸(上下・前後・左右の軸)の較正手法は、上記の治具6を用いる手法には限定されず、当業者において他の手法が適宜採用し得るものである。例えば、世界座標系の左右と前後に線を引いておき、図6の治具からマーカーを外したうえで、治具の長辺と世界座標系の前後軸、治具の短辺と世界座標系の左右軸を合わせたうえで、センサーのオフセット取得機能を使用して、センサーの座標系をマーカーの座標系を一致させることも可能である。
1 光学式マーカー
1´ 補正用の光学式マーカー
2 9軸センサー
3 カメラ
4 コンピュータ
5 剛体

Claims (12)

  1. 光学式モーションキャプチャと、
    少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
    を備えた動作計測において、
    センサーモジュールと同一剛体上に光学式マーカーを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
    前記センサーモジュールの座標値を、前記位置関係と、前記光学式マーカーの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する、
    センサーモジュール位置の取得方法。
  2. 前記センサーモジュールの世界座標系における座標値を、前記位置関係、前記光学式モーションキャプチャによって取得された世界座標系における前記光学式マーカーの座標値、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得した変換情報を用いて取得する、
    請求項1に記載のセンサーモジュールの位置の取得方法。
  3. センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される、
    請求項2に記載のセンサーモジュールの位置の取得方法。
  4. 前記光学式マーカーは、前記センサーモジュール上に装着されている、請求項1〜3いずれか1項に記載のセンサーモジュールの位置の取得方法。
  5. センサーモジュール座標系における前記光学式マーカーの座標値は、
    前記センサーモジュールの3つ以上の異なる姿勢において、各姿勢における変換情報を、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得し、
    各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用して取得する、請求項2〜4いずれか1項に記載のセンサーモジュールの位置の取得方法。
  6. 光学式モーションキャプチャと、
    少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
    を備えた動作計測システムにおいて、
    センサーモジュールと同一剛体上に設けた光学式マーカーと、
    前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する記憶手段と、
    前記センサーモジュールの座標値を、前記位置関係と、前記光学式マーカーの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する演算手段と、
    を備えた、センサーモジュール位置の取得装置。
  7. 前記演算手段は、前記センサーモジュールの世界座標系における座標値を、前記位置関係、前記光学式モーションキャプチャによって取得された世界座標系における光学式マーカーの座標値、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得した変換情報を用いて取得する、
    請求項6に記載のセンサーモジュールの位置の取得装置。
  8. センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報を記憶する記憶手段と、
    前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて前記変換情報を計算する手段と、
    を備えた、請求項7に記載のセンサーモジュールの位置の取得装置。
  9. 前記光学式マーカーは、前記センサーモジュール上に装着されている、請求項6〜8いずれか1項に記載のセンサーモジュールの位置の取得装置。
  10. センサーモジュール座標系における光学式マーカーの座標値は、
    前記センサーモジュールの3つ以上の異なる姿勢において、各姿勢における変換情報を、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて取得する手段と、
    各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用して、センサーモジュール座標系における光学式マーカーの座標値を演算する手段と、
    によって取得する、請求項6〜9いずれか1項に記載のセンサーモジュールの位置の取得装置。
  11. 光学式モーションキャプチャと、
    少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
    を備えた動作計測において、
    同一剛体上に1つのセンサーモジュールと1つの光学式マーカーを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
    前記センサーモジュールの座標値を、前記位置関係と、前記光学式モーションキャプチャによって取得された前記光学式マーカーの座標値と、前記センサーモジュールの3軸ジャイロセンサーによって取得された前記センサーモジュールの姿勢情報と、を用いて推定し、
    前記剛体の位置が、前記推定されたセンサーモジュールの座標値から得られ、前記剛体の傾きが、前記センサーモジュールの3軸ジャイロセンサーによって取得された姿勢情報から得られる、
    動作計測方法。
  12. 光学式モーションキャプチャと、
    少なくとも3軸ジャイロセンサーを備えたセンサーモジュールと、
    を備えた動作計測システムにおいて、
    同一剛体上に設けた1つのセンサーモジュール及び1つの光学式マーカーと、
    前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する手段と、
    前記センサーモジュールの座標値を、前記位置関係と、前記光学式モーションキャプチャによって取得された前記光学式マーカーの座標値と、前記センサーモジュールの3軸ジャイロセンサーによって取得された前記センサーモジュールの姿勢情報と、を用いて推定する手段と、
    前記剛体の位置が、前記推定されたセンサーモジュールの座標値から得られ、前記剛体の傾きが、前記センサーモジュールの3軸ジャイロセンサーによって取得された姿勢情報から得られる、
    動作計測システム。
JP2014113520A 2014-05-30 2014-05-30 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置 Active JP6145072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014113520A JP6145072B2 (ja) 2014-05-30 2014-05-30 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014113520A JP6145072B2 (ja) 2014-05-30 2014-05-30 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置

Publications (2)

Publication Number Publication Date
JP2015227813A true JP2015227813A (ja) 2015-12-17
JP6145072B2 JP6145072B2 (ja) 2017-06-07

Family

ID=54885362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014113520A Active JP6145072B2 (ja) 2014-05-30 2014-05-30 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置

Country Status (1)

Country Link
JP (1) JP6145072B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144491A (ja) * 2016-02-15 2017-08-24 オムロン株式会社 接触判定装置、制御装置、接触判定システム、接触判定方法及び接触判定プログラム
WO2017141577A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 衝撃予測装置、衝撃予測システム、制御装置、衝撃予測方法及び衝撃予測プログラム
CN107423733A (zh) * 2017-09-06 2017-12-01 成都豪宇韬鹰科技有限公司 基于标记点身份识别的动作捕捉系统
JP2017215262A (ja) * 2016-06-01 2017-12-07 京セラ株式会社 検出方法、被検出物、及びシステム
JP2018038679A (ja) * 2016-09-08 2018-03-15 富士ゼロックス株式会社 立位姿勢評価装置
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN111240468A (zh) * 2019-12-31 2020-06-05 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN112923923A (zh) * 2021-01-28 2021-06-08 深圳市瑞立视多媒体科技有限公司 一种imu与刚体姿态、位置对齐的方法、装置、设备以及可读存储介质
CN112945231A (zh) * 2021-01-28 2021-06-11 深圳市瑞立视多媒体科技有限公司 一种imu与刚体姿态对齐的方法、装置、设备以及可读存储介质
CN113576459A (zh) * 2020-04-30 2021-11-02 本田技研工业株式会社 分析装置、分析方法、存储有程序的存储介质及校正方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289645A (ja) * 2007-05-24 2008-12-04 Shimadzu Corp モーショントラッカ装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289645A (ja) * 2007-05-24 2008-12-04 Shimadzu Corp モーショントラッカ装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144491A (ja) * 2016-02-15 2017-08-24 オムロン株式会社 接触判定装置、制御装置、接触判定システム、接触判定方法及び接触判定プログラム
WO2017141575A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 接触判定装置、制御装置、接触判定システム、接触判定方法及び接触判定プログラム
WO2017141577A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 衝撃予測装置、衝撃予測システム、制御装置、衝撃予測方法及び衝撃予測プログラム
US10695919B2 (en) 2016-02-15 2020-06-30 Omron Corporation Contact determination device, control device, contact determination system, contact determination method, and non-transitory computer-readable recording medium
JP2017215262A (ja) * 2016-06-01 2017-12-07 京セラ株式会社 検出方法、被検出物、及びシステム
JP2018038679A (ja) * 2016-09-08 2018-03-15 富士ゼロックス株式会社 立位姿勢評価装置
CN107423733A (zh) * 2017-09-06 2017-12-01 成都豪宇韬鹰科技有限公司 基于标记点身份识别的动作捕捉系统
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN110544278B (zh) * 2018-05-29 2022-09-16 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN111240468A (zh) * 2019-12-31 2020-06-05 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111240468B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN113576459A (zh) * 2020-04-30 2021-11-02 本田技研工业株式会社 分析装置、分析方法、存储有程序的存储介质及校正方法
US20210343028A1 (en) * 2020-04-30 2021-11-04 Honda Motor Co., Ltd. Analysis device, analysis method, non-transient computer-readable recording medium stored with program, and calibration method
JP7335199B2 (ja) 2020-04-30 2023-08-29 本田技研工業株式会社 解析装置、解析方法、プログラム、および較正方法
CN112923923A (zh) * 2021-01-28 2021-06-08 深圳市瑞立视多媒体科技有限公司 一种imu与刚体姿态、位置对齐的方法、装置、设备以及可读存储介质
CN112945231A (zh) * 2021-01-28 2021-06-11 深圳市瑞立视多媒体科技有限公司 一种imu与刚体姿态对齐的方法、装置、设备以及可读存储介质

Also Published As

Publication number Publication date
JP6145072B2 (ja) 2017-06-07

Similar Documents

Publication Publication Date Title
JP6145072B2 (ja) センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
Zhou et al. Reducing drifts in the inertial measurements of wrist and elbow positions
CN108939512B (zh) 一种基于穿戴式传感器的游泳姿态测量方法
JP4136859B2 (ja) 位置姿勢計測方法
WO2016183812A1 (zh) 一种混合运动捕捉系统及方法
Tian et al. Accurate human navigation using wearable monocular visual and inertial sensors
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
US20170000389A1 (en) Biomechanical information determination
CN107613867B (zh) 动作显示系统以及记录介质
JP2008261755A5 (ja)
JP7215965B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
KR20120131553A (ko) 동작 추적 방법.
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
KR20110064712A (ko) 통합센서 기반의 모션 캡쳐 시스템
CN114608554A (zh) 一种手持slam设备以及机器人即时定位与建图方法
JP5870656B2 (ja) 軌跡演算装置および軌跡演算方法
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
CN111158482B (zh) 一种人体动作姿态捕捉方法及系统
Islam et al. Full-body tracking using a sensor array system and laser-based sweeps
CN112556681B (zh) 一种基于视觉的果园机械导航定位方法
JP5726024B2 (ja) 情報処理方法および装置
KR20120028416A (ko) 통합 움직임 감지 장치
Barraza-Madrigal et al. Instantaneous position and orientation of the body segments as an arbitrary object in 3D space by merging gyroscope and accelerometer information
JP2021173724A (ja) 解析装置、解析方法、プログラム、および較正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170512

R150 Certificate of patent or registration of utility model

Ref document number: 6145072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250