JP2023035981A - 運動解析方法及び装置 - Google Patents
運動解析方法及び装置 Download PDFInfo
- Publication number
- JP2023035981A JP2023035981A JP2022135699A JP2022135699A JP2023035981A JP 2023035981 A JP2023035981 A JP 2023035981A JP 2022135699 A JP2022135699 A JP 2022135699A JP 2022135699 A JP2022135699 A JP 2022135699A JP 2023035981 A JP2023035981 A JP 2023035981A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- measurement target
- analysis
- information
- dynamics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】対象の身体の部分の運動計測に基づいて運動解析を行う。【解決手段】対象の身体の部分を計測対象部位として、当該身体の部分の運動データを取得するステップと、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を用いて、対象の身体の非計測対象部位の運動を代表する第2運動情報を推定するステップと、前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出するステップと、前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行うステップと、からなる。【選択図】図2
Description
新規性喪失の例外適用申請有り
本発明は、運動解析方法及び装置に係り、より詳しくは、身体の部分の運動計測に基づく動力学解析方法及び装置に関するものである。
モ―ションキャプチャは人間の動作の取得や解析に不可欠な技術であり、スポーツ、ヘルスケア、医療、リハビリテーション、バイオメカニクス、ロボティクス、コンピュータグラフィックス、コンピュータアニメーション等の分野で広く用いられている。モーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いた方式が知られている。これらのモーションキャプチャ方式は、対象の身体に複数のマーカや複数のセンサを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。また、赤外線カメラを用いた光学式モーションキャプチャでは計測場所が限定されてしまうという欠点がある。深度カメラやRGBカメラを用いたマーカレスモーションキャプチャも提案されており、これらの手法は、対象がマーカやセンサを装着する必要が無い点において完全無拘束であるという利点はあるが、計測場所が限定的である。
近年、IMU(Inertial Measurement Unit)を搭載したウェアラブル機器、例えば、モーションキャプチャスーツが開発されている。IMU (Inertial Measurement Unit)は、加速度・ジャイロ・地磁気センサを一体にした9軸センサである。IMUをボディスーツとして着用することで、身体への個別のIMUセンサの装着が不要となり、また、比較的低拘束で動作計測を行うことができる。無線通信機能を備えたIMUモーションキャプチャスーツは屋外の運動の計測にも適している。IMUモーションキャプチャスーツを用いることで、ランニングなどの屋外でのスポーツ時の身体運動の計測が比較的容易になると考えられる。
運動解析には、運動学解析や動力学解析があるが、動力学解析では身体全体の運動計測に基づいて解析を行う必要がある。例えば、ランニング時の運動解析では下肢の筋張力推定や筋活動などの力学解析が重要であるが、そのためには、力学計算の性質上、上肢の運動を含めた全身の運動計測が必要である。一方、IMUを装着したボディスーツを用いて身体全体を計測する場合には、依然として、装着する人の拘束感が高いといった課題がある。
IMUを各部位に搭載したIMUタイツを着用することによって下半身の運動を計測することができる。しかし、下半身の運動情報のみでは下半身の動力学解析や筋張力解析を行うことはできず、上半身の運動情報が必要となる。ここで、例えば、IMUタイツによって計測された下半身の運動情報だけを用いて下半身の動力学解析を実行できれば、運動計測時の対象の負担を低減することができる。すなわち、身体の一部の部位の計測値から身体の所定部位(例えば、計測対象部位)に働く力・モーメント、筋張力などの推定ができればこの問題を解決できる。
David E. Orin, A. Goswami, and Sung-Hee. Lee:"Centroidal dynamics of a humanoid robot",Autonomous Robots,vol. 35,no. 2-3,pp. 161-176,2013
H. Dai, A. Valenzuela, and R. Tedrakes: "Whole-body Motion Planning with Simple Dynamics and Full Kinematics",IEEE-RAS International Conference on Humanoid Robots,2014.
S. Hochreiter and J. Schmidhuber:" Long short-term memory",Neural Comput.,vol. 9,no.8,pp. 1735-1780,1997.
Diederik P. Kingma and J. Ba:"Adam: A Method for Stochastic Optimizationl",arXiv,2014.
Y. Nakamura, K. Yamane, Y. Fujita, and I. Suzuki. Somatosensory computation for man-machine interface from motion-capture data and musculoskeletal human model. Trans. Rob., 21(1):58-66, Feb 2005.
本発明は、対象の身体の部分の運動計測に基づいて運動解析(特に、動力学解析)を行うことを目的とするものである。
本発明が採用した第1の技術手段は、
対象の身体の部分を計測対象部位とし、当該身体の部分の運動データを取得し、
前記運動データに基づいて得られた前記計測対象部位の第1運動情報を用いて、対象の身体の非計測対象部位の運動を代表する第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
からなる運動解析方法、である。
1つの態様では、前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器が用意されており、
前記第2運動情報の推定は、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を前記推定器に入力することで実行される。
対象の身体の部分を計測対象部位とし、当該身体の部分の運動データを取得し、
前記運動データに基づいて得られた前記計測対象部位の第1運動情報を用いて、対象の身体の非計測対象部位の運動を代表する第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
からなる運動解析方法、である。
1つの態様では、前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器が用意されており、
前記第2運動情報の推定は、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を前記推定器に入力することで実行される。
本発明が採用した第2の技術手段は、
記憶部と、処理部と、を備え、
前記記憶部には、
対象の身体の部分を計測対象部位として計測された、当該身体の部分の運動データと、
前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器、
が格納されており、
前記処理部は、
前記推定器を用いて、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を入力とし、前記非計測対象部位の第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
ように構成されている、
運動解析装置、である。
記憶部と、処理部と、を備え、
前記記憶部には、
対象の身体の部分を計測対象部位として計測された、当該身体の部分の運動データと、
前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器、
が格納されており、
前記処理部は、
前記推定器を用いて、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を入力とし、前記非計測対象部位の第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
ように構成されている、
運動解析装置、である。
1つの態様では、前記推定器は、学習済モデルである。
1つの態様では、前記学習済モデルは、ニューラルネットワークである。
1つの態様では、前記ニューラルネットワークは、再帰型ニューラルネットである。
1つの態様では、前記再帰型ニューラルネットは、LSTMである。
本発明に係る推定器は上記手法に限定されるものではなく、ニューラルネットワーク以外にも、例えば、HMM(隠れマルコフモデル)を用いて時系列データを統計情報として記録し統計的に推論する方法、時系列データを記録しておきそれを規範にして最小二乗法やその他の最適化法を用いて推論する方法を採用することができる。
1つの態様では、前記学習済モデルは、ニューラルネットワークである。
1つの態様では、前記ニューラルネットワークは、再帰型ニューラルネットである。
1つの態様では、前記再帰型ニューラルネットは、LSTMである。
本発明に係る推定器は上記手法に限定されるものではなく、ニューラルネットワーク以外にも、例えば、HMM(隠れマルコフモデル)を用いて時系列データを統計情報として記録し統計的に推論する方法、時系列データを記録しておきそれを規範にして最小二乗法やその他の最適化法を用いて推論する方法を採用することができる。
1つの態様では、前記第2運動情報は、前記非計測対象部位の重心動力学(Centroidal Dynamics)の変数である。
1つの態様では、前記変数は、重心に作用する運動量と角運動量である。
第2運動情報は、前記非計測対象部位の重心動力学(Centroidal Dynamics)に限定されるものではなく、例えば、非計測対象部位上の1つあるいは複数の代表点の位置情報を含んでもよい。
1つの態様では、前記変数は、重心に作用する運動量と角運動量である。
第2運動情報は、前記非計測対象部位の重心動力学(Centroidal Dynamics)に限定されるものではなく、例えば、非計測対象部位上の1つあるいは複数の代表点の位置情報を含んでもよい。
計測対象部位の運動データには、当該計測対象部位に含まれる各関節の関節角及び関節位置の時系列データが含まれ、これらのデータから各リンクの位置や姿勢を得ることができる。計測対象部位の運動データは、当該計測対象部位に含まれる各関節及び各リンクについての情報から特定される。
1つの態様では、前記第1運動情報は、前記計測対象部位において選択されたリンクあるいは関節についての情報である。
前記情報には、非限定的例示において、速度、角速度、姿勢が含まれる。
1つの態様では、前記選択されたリンクあるいは関節は、前記計測対象部位のリンクあるいは関節において、前記非計測対象部位に隣接するリンクあるいは関節である。
1つの態様では、前記第1運動情報は、前記リンクの姿勢、速度、角速度である。
第1運動情報は、複数のリンクについての情報(当該リンクに関連する関節の情報を含む)に基づいて算出された情報であってもよい。
第1運動情報の計算において、計測データに加えて、骨格モデル情報(リンク長、リンク質量等)を用いてもよい。
第1運動情報に、計測対象部位の重心動力学(Centroidal Dynamics)の変数を含めてもよい。
1つの態様では、前記第1運動情報は、前記計測対象部位において選択されたリンクあるいは関節についての情報である。
前記情報には、非限定的例示において、速度、角速度、姿勢が含まれる。
1つの態様では、前記選択されたリンクあるいは関節は、前記計測対象部位のリンクあるいは関節において、前記非計測対象部位に隣接するリンクあるいは関節である。
1つの態様では、前記第1運動情報は、前記リンクの姿勢、速度、角速度である。
第1運動情報は、複数のリンクについての情報(当該リンクに関連する関節の情報を含む)に基づいて算出された情報であってもよい。
第1運動情報の計算において、計測データに加えて、骨格モデル情報(リンク長、リンク質量等)を用いてもよい。
第1運動情報に、計測対象部位の重心動力学(Centroidal Dynamics)の変数を含めてもよい。
1つの態様では、前記動力学解析対象部位は、前記計測対象部位の全部あるいは一部、または、前記非計測対象部位の全部あるいは一部、または、全身である。
1つの態様では、前記計測対象部位は下半身であり、前記非計測対象部位は上半身であり、
前記動力学解析対象部位は、前記下半身である。
後述する実施例では、上半身と下半身を分ける関節として第5腰椎(5th lumbar vertebra)とHip(仙骨、骨盤、寛骨、恥骨を一体としたベースリンク)の間の関節(L5関節)を設定している。
1つの態様では、前記第1運動情報は、L5関節を持つベースリンク(骨盤)の姿勢、速度、角速度である。
1つの態様では、前記第2運動情報は、上半身の重心動力学(Centroidal Dynamics)の変数(運動力、角運動量)である。
前記動力学解析対象部位は、前記下半身である。
後述する実施例では、上半身と下半身を分ける関節として第5腰椎(5th lumbar vertebra)とHip(仙骨、骨盤、寛骨、恥骨を一体としたベースリンク)の間の関節(L5関節)を設定している。
1つの態様では、前記第1運動情報は、L5関節を持つベースリンク(骨盤)の姿勢、速度、角速度である。
1つの態様では、前記第2運動情報は、上半身の重心動力学(Centroidal Dynamics)の変数(運動力、角運動量)である。
1つの態様では、前記計測対象部位は、両手手首及び両足首の全部あるいは一部を含み、
前記動力学解析対象部位は、前記非計測対象部位の全部あるいは一部を含む。
前記動力学解析対象部位は、前記非計測対象部位の全部あるいは一部を含む。
1つの態様では、前記運動データは、対象の計測対象部位に装着されたウェアラブルセンサによって取得される。
1つの態様では、前記ウェアラブルセンサはIMU(Inertial Measurement Unit)である。
1つの態様では、前記ウェアラブルセンサはIMU(Inertial Measurement Unit)である。
本発明は、また、コンピュータを、上記装置の記憶部、処理部として機能させるコンピュータプログラムまたは当該コンピュータプログラムを記憶したコンピュータ可読媒体、あるいは、コンピュータに上記方法を実行させるためのコンピュータプログラムまたは当該コンピュータプログラムを記憶したコンピュータ可読媒体として提供され得る。
本発明では、対象の身体の部分の運動計測に基づいて運動解析(特に、動力学解析)を行うことが可能となり、対象がウェアラブルセンサを身体の一部に装着して運動することで、運動時の動力学解析が可能である。例えば、対象がIMUを装着したタイツを着用して運動することで、下半身の動力学解析を行うことができる。
図1に示すように、本実施形態に係る運動解析装置のハードウェアは、ウェアラブルセンサとしての複数のIMU(Inertial Measurement Unit)と、1つあるいは複数のコンピュータと、からなる。本実施形態に係る運動解析装置は、身体の部分の運動データを取得するモーションキャプチャ部と、取得された運動データを用いて運動解析を行う運動解析部と、からなり、モーションキャプチャ部は、複数のIMUとコンピュータから構成され、運動解析部はコンピュータから構成される。1つの態様では、ウェアラブルセンサは、複数のIMUを備えたウェアラブルデバイスであり、IMUによってウェアラブルデバイスを着用した対象の運動時のデータを計測する。本実施形態では、ウェアラブルデバイスとコンピュータは物理的に離隔しているが、ウェアラブルデバイスに、メモリ、あるいは、メモリ及びプロセッサを搭載して、ウェアラブルデバイス側でデータを保存したり、データ処理を行ったりしてもよい。本実施形態に係るウェアラブルデバイスは、IMUの計測データをコンピュータに無線で送信する無線通信機能を備えており、対象の運動時の計測データは、リアルタイムでコンピュータに送信される。
コンピュータは、入力部、処理部、記憶部(RAM、ROM)、出力部を備えている。本実施形態に係るコンピュータや種類や位置は限定されない。コンピュータは、例えば、パーソナルコンピュータ、スマートフォン、ラップトップ、タブレットのいずれかであってもよく、また、コンピュータはウェアラブルデバイスと一体化されていてもよく、あるいは、クラウドベースであってもよい。複数のIMUを装着した対象の運動時の計測データは、コンピュータに送信され、コンピュータの入力部で受信された計測データは、記憶部に格納される。処理部では、計測データを用いて、所定の処理が実行され、処理データは、記憶部に格納され、また、必要に応じて、出力部から出力される。モーションキャプチャシステムは、1つあるいは複数のディスプレイを備えていてもよく、処理データを適宜ディスプレイに表示してもよい。
記憶部には、計測データや処理データに加えて、処理部が所定の処理を実行するためのプログラムや、処理部の処理で用いられる推定器(1つの態様では、学習済モデル)が格納されている。記憶部には、さらに、筋骨格モデルや、対象の身体情報や体格情報、その他の処理部の処理(例えば、動力学解析、筋張力解析、筋活動解析等)で用いられ得る情報が格納されていてもよい。
本実施形態に係る運動解析装置は、任意のウェアラブルデバイスとして、スマートフォンやスマートウォッチ等を含んでいてもよく、ランニング等の運動時のGPS(Global Positioning System)情報や生体情報(心拍や血圧)から身体情報を得ることによって、運動情報と組み合わせて運動の評価を行ってもよい。ウェアラブルデバイスとして、筋電センサを含んでいてもよい。限定的な空間での運動の場合には、フォースプレートを用いて床反力を取得してもよい。本実施形態に係る運動解析装置はビデオカメラを備えていてもよく、ビデオカメラによって対象の運動を撮影してもよい。
本実施形態において、複数のIMUは、予め決められた身体の部分(計測対象部位)の運動データを取得するように、対象の身体の部分(計測対象部位)に取り付けられる。1つないし複数のIMUを搭載したウェアラブルデバイスは、例えば、ボディスーツ、タイツ、スパッツ、ベスト、ウェストベルト、アームカバー、リストバンド、アンクルバンド、ヘアバンド、運動靴、手袋、帽子、腕時計、あるいはトレーニングウェアに面ファスナで張付けるものなどの形式で提供され得る。身体の部分の運動計測のためには、複数のIMUや、複数のIMUを搭載したウェアラブルデバイスを用いることが有利であるが、本発明に適用され得る動作計測方式は、慣性センサを用いた方式に限定されない。
1つの態様では、対象の下半身が計測対象部位であり、上半身が非計測対象部位である。この場合、例えば、対象は複数のIMUが搭載されたパンツを着用して運動を行うことで、IMUの計測データから運動時の対象の下半身の運動データ(対象の下半身の各関節の関節角及び関節位置の時系列データ)が取得される。
対象の身体における計測対象部位と非計測対象部位の組み合わせは、下半身と上半身に限定されるものではなく、任意に設定できる。例えば、両手首、両足首を計測対象部位とし、その他の部位を非計測対象部位としてもよい。この場合、対象の両手首、両足首にIMU(例えば、IMUを備えたリストバンドやアンクルバンド)を取り付けることになる。あるいは、両手首、両足首に加えて、腰部を計測対象部位としてもよい。この場合、この場合、対象の腰部にIMU(例えば、IMUを備えたベルトやベスト)を取り付けることになる。
後述する実施例では、ランニング時の運動解析について言及しているが、運動解析の対象となる運動はランニングに限定されるものではなく、運動の種類は限定されない。1つの態様では、運動解析の対象となる運動は、ランニングのような繰り返し動作を含む運動である。1つの態様では、運動解析の対象となる運動は、予め動きが決められた運動である。また、運動解析において、運動解析の対象となる運動に特有の拘束条件を用いてもよい。計測対象部位や動力学解析対象部位は、運動に応じて選択され得る。複数種類の運動を解析対象とする場合には、運動の種類ごとに学習済モデルが用意され得る。
図2~図5を参照しつつ、本実施形態に係る身体の部分の運動計測に基づく運動解析について説明する。図2は対象の身体の部分の運動計測に基づく運動解析の流れを示し、図3は図2に対応した運動解析スキームを示す。図4は対象の下半身の運動計測に基づく運動解析の流れを示し、図5は、図4に対応しており、本実施形態に係る上半身のCentroidal Dynamicsを説明する図である。
図2に示すように、まず、対象の運動時における身体の部分(計測対象部位)の運動データ(計測データ)を取得する。身体の部分の運動データは、例えば、対象の身体の部分に装着したIMUによって取得される。図3に示すように、対象の身体において、計測対象となる部分を設定することで、対象の身体の全身は、計測対象部位と非計測対象部位に分けられる。また、対象の身体において、動力学解析対象となる部位が設定され、設定された動力学解析対象部位の逆動力学計算に必要な情報が取得される。動力学解析対象部位は、計測対象部位の全部あるいは一部、または、非計測対象部位の全部あるいは一部である。
図4、図5に示す態様では、対象の計測対象部位は下半身である。下半身の運動データは、例えば、対象が複数のIMUを搭載したパンツを着用して運動を行うことで取得することができる。運動時のIMUの計測データはコンピュータに送信され、記憶部に格納される。処理部は、計測データを用いて、対象の計測対象部位(例えば、下半身)の各関節の関節角及び関節位置の時系列データを取得し、記憶部に格納する。図4、図5に示す態様では、動力学解析対象部位は下半身である。
処理部において、計測された運動データに基づいて、対象の身体の他の部分(非計測対象部位)の運動を代表する運動情報の推定が実行される。非計測対象部位の運動を代表する運動情報の推定は、学習済モデルを用いて実行される。記憶部には、計測対象部位の運動データに基づいて生成された入力(計測対象部位の運動を代表する代表運動情報)に応答して、非計測対象部位の運動を代表する運動情報を推定して出力する学習済モデルが格納されている。処理部は、計測対象部位の計測データに基づいて入力(計測対象部位の代表運動情報)を生成し、学習済モデルを用いて、非計測対象部位の運動を代表する運情情報を推定する。推定された運動情報は記憶部に格納される。学習済モデルの構築については後述する。
図4、図5に示す態様では、対象の非計測対象部位は上半身であって、非計測対象部位の運動を代表する運動情報は、対象の上半身(非計測対象部位)のCentroidal Dynamicsの変数(運動量、角運動量)である。Centroidal Dynamics(重心動力学)とは外部から加わる力に対する身体全体の挙動を重心に注目して表現する考え方である(非特許文献1、2)。本実施形態では、図5に示すように、全身を上下半身に分けて上半身(非計測対象部位)のCentroidal Dynamicsを表現する。このように、身体の部分についてのCentroidal Dynamicsによる表現法は新しい考え方である。本実施形態では、図5に示すように、上半身と下半身を分ける関節として第5腰椎(5th lumbar vertebra)とHip(仙骨、骨盤、寛骨、恥骨を一体としたベースリンク)の間の関節(L5関節)を設定している。
運動解析装置の記憶部には、下半身の計測データに基づいて生成される入力(非計測対象部位の運動を代表する運動情報)に応答して、上半身の運動を代表する運動情報である上半身(非計測対象部位)のCentroidal Dynamicsの変数(運動量、角運動量)を推定して出力する学習済モデルが格納されている。1つの態様では、下半身の計測データに基づいて生成される入力(非計測対象部位の運動を代表する運動情報)は、L5関節を持つベースリンク(骨盤)の姿勢、速度、角速度である(図10参照)。処理部は、下半身の計測データに基づいて入力(L5関節を持つベースリンク(骨盤)の姿勢、速度、角速度である)を生成し、学習済モデルを用いて、上半身の運動を代表する運情情報(Centroidal Dynamicsの運動量、角運動量)を推定する。推定された運動情報(Centroidal Dynamicsの運動量、角運動量)は記憶部に格納される。
図2、図3に示すように、処理部において、推定された運動情報を用いて、非計測対象部位の運動が動力学解析対象部位に与える動力学的な影響(力学情報)を算出する。動力学解析対象部位は、計測対象部位の場合と、非計測対象部位の場合がある。どのような力学情報を計算(推定)するかは、どの部位を動力学解析対象部位とするかに依存し得る。本実施形態では、計測対象部位によって決まる動力学解析対象部位があり、動力学解析対象部位の計算に必要で直接計測情報から求められない力学情報については、学習に基づいた推論を行う。図4、図5に示す態様では、動力学解析対象部位は計測対象部位(下半身)であり、処理部において、対象の上半身(非計測対象部位)のCentroidal Dynamicsの変数(運動量、角運動量)を用いて、上半身の運動が下半身に与える動力学的な影響(力学情報:L5関節に上半身が加える力とモーメント)を算出する。
処理部において、計測データを用いて、対象の計測対象部位の各関節の関節角及び関節位置の時系列データが取得され、このデータと上記力学情報(非計測対象部位の運動が動力学解析対象部位に与える動力学的な影響)を用いて、対象の運動時における動力学解析対象部位の動力学解析が実行される。1つの態様では、動力学分析対象部位は、計測対象部位である。処理部において、計測対象部位の運動情報と、力学情報と、を用いて、計測対象部位の動力学分析を実行する。図4、図5に示す態様では、処理部において、対象の下半身の運動情報(運動データ)と、上半身の運動が下半身に与える動力学的な影響(力学情報:L5関節に上半身が加える力とモーメント)を用いて、対象の運動時における下半身の動力学解析が実行される。
図4、図5に示す態様では、対象の身体を上半身(非計測対象部位)と下半身(計測対象部位)の2分割としたが、複数の計測対象部位や複数の非計測対象部位を設定してもよい。例えば、対象の両手首、両足首にIMUを取り付ける場合には、計測対象部位は4つであり、さらに、対象の腰部にIMUを取り付ける場合には、計測対象部位は5つとなる。対象の両手首、両足首が計測対象部位の場合には、動力学解析対象部位は、非計測対象部位の全部あるいは一部であって、動力学解析対象部位は、例えば、上肢(肩関節、肘関節)や下肢(膝関節)である。また、動力学解析対象部位は、全身であってもよく、例えば、通常の全身モーションキャプチャに必要な個数よりも少ない個数のIMUを身体の所定部位に装着することで、全身の動力学解析を行うようにしてもよい。
図6~図10を参照しつつ、計測データに基づく、非計測対象部位の運動を代表する運動情報の推定、非計測対象部位の運動が動力学解析対象部位(例えば、計測対象部位)の運動に与える力学情報の推定、について説明する。まず、図6~図8を参照しつつ、計測データに基づく、非計測対象部位の運動を代表する運動情報の推定に用いられる学習済モデルの構築について説明する。
図6に示すように、対象の所定の運動時において、対象の身体の部分(計測対象部位)の運動を代表する運動情報と、対象の身体の他の部分(非計測対象部位)の運動を代表する運動情報との関係について考える。身体の骨格構造はリンク構造であり、運動時には、身体の計測対象部位と非計測対象部位は相互作用することから、計測対象部位の運動を代表する第1運動情報と、非計測対象部位の運動を代表する第2運動情報の相関性を見出すことで、計測データに基づいて算出した第1運動情報から第2運動情報を推定することが可能である。さらに、運動の種類が予め決められている場合(例えば、ジャンプ、スクワット等)には、決められた運動に関する情報を用いることによって推定がより容易となる。
計測対象部位の運動を代表する運動情報は、例えば、計測対象部位において選択された任意の関節やリンクの運動情報(例えば、姿勢、速度、角速度)である。選択された関節は、例えば、計測対象部位において、非計測対象部位に隣接する関節である。図7に示す態様では、運動時における計測対象部位は下半身であり、計測対象部位の運動を代表する運動情報は、ベースリンク(骨盤)の姿勢、速度、角速度である。
非計測対象部位の運動を代表する運動情報は、例えば、非計測対象部位を代表する位置や関節に作用する運動情報である。非計測対象部位を代表する位置として、非計測対象部位の重心を例示することができ、この場合、非計測対象部位の運動を代表する運動情報は、非計測対象部位のCentroidal Dynamicsの変数(例えば、運動量、角運動量)である。図7に示す態様では、運動時における非計測対象部位は上半身であり、非計測対象部位の運動を代表する運動情報は、上半身のCentroidal Dynamicsの運動量、角運動量である。
対象が所定の運動を行う時の全身のモーションキャプチャを実行し、計測データを用いて、計測対象部位の運動を代表する運動情報、非計測対象部位の運動を代表する運動情報をそれぞれ算出する。例えば、所定の運動がランニングの場合には、トレッドミル上で走行する対象のモーションキャプチャを実行して得られた計測データを用いて、計測対象部位の運動を代表する運動情報、非計測対象部位の運動を代表する運動情報をそれぞれ算出してもよい。この時のモーションキャプチャの方式は限定されない。
計測対象部位の運動を代表する運動情報を入力、非計測対象部位の運動を代表する運動情報を出力として、モデル学習を行い、学習済モデルを得る。図7に示す態様では、運動時における対象の下半身の運動を代表する運動情報(ベースリンク(骨盤)の姿勢、速度、角速度)を入力とし、運動時における対象の上半身の運動を代表する運動情報(上半身のCentroidal Dynamicsの運動量、角運動量)、及び、上半身の重心とL5関節の相対位置を出力として、モデル学習を行い、学習済モデルを得る。学習済モデルは、運動解析装置の記憶部に格納される。
典型的には、学習にはニューラルネットワークが用いられる。学習アルゴリズムとしては、再帰型ニューラルネット(RNN:Recurrent Neural Network)を例示することができ、後述する実験例では、LSTM(Long Short-Term Memory)を用いて学習を行う。本発明に用いられ得る学習アルゴリズムは、RNNに限定されるものではなく、畳み込みニューラルネット(CNN:Convolution Neural Network)やその他の学習アルゴリズムを用いることが可能である。ニューラルネットワーク以外にも、例えば、HMM(隠れマルコフモデル)を用いて時系列データを統計情報として記録し統計的に推論する方法、時系列データを記録しておきそれを規範にして最小二乗法やその他の最適化法を用いて推論する方法など挙げることができる。
図8にLSTMのネットワークの構造を示す。下側の入力層xtには、下半身の運動情報が入力され、上側の出力総ytには、上半身の運動量・角運動量が出力される。より具体的には、これ以降、単純化のためにベースリンク(骨盤)の座標系の原点をL5関節位置に置く。入力情報は、ベースリンク(骨盤)の姿勢、速度、角速度
であり、出力情報は、L5関節の位置と上半身の重心の相対位置、上半身のCentroidal Dynamicsの運動量、角運動量
であり、入力が時系列ごとにLSTMブロックに入り、出力のデータを得るような構造となっている。
であり、出力情報は、L5関節の位置と上半身の重心の相対位置、上半身のCentroidal Dynamicsの運動量、角運動量
であり、入力が時系列ごとにLSTMブロックに入り、出力のデータを得るような構造となっている。
図9、図10を参照しつつ、計測データに基づく、非計測対象部位の運動を代表する運動情報の推定、非計測対象部位の運動が動力学解析対象部位の運動に与える力学情報の算出について説明する。計測データに基づく、非計測対象部位の運動を代表する運動情報の推定は、上述の学習済モデルを用いて行われる。
図9に示すように、身体の部分に装着したウェアラブルセンサを用いたモーションキャプチャを実行して、対象の運動時における身体の部分についての計測データを取得する。計測データを用いて、運動時における身体の部分(計測対象部位)の運動を代表する運動情報を算出する。算出された運動情報を学習済モデルに入力することで、運動時における身体の他の部分(非計測対象部位)の運動を代表する運動情報が推定されて出力される。推定された運動情報を用いて、非計測対象部位の運動が動力学解析対象部位(例えば、計測対象部位)に与える動力学的な影響(力学情報)を算出する。
図10に示す態様では、下半身に装着したウェアラブルセンサを用いたモーションキャプチャを実行して、対象の運動時における下半身についての計測データを取得する。計測データを用いて、運動時における下半身(計測対象部位)の運動を代表する運動情報( ベースリンク(骨盤)の姿勢、速度、角速度)を算出する。算出された運動情報を学習済モデル(LSTMが例示される)に入力することで、運動時における上半身(非計測対象部位)の運動を代表する運動情報( Centroidal Dynamicsの運動量、角運動量)、上半身の重心とL5関節を含むベースリンク(骨盤)の相対位置が推定され、出力される。推定された運動情報を用いて、上半身の運動が下半身(動力学解析対象部位)に与える動力学的な影響(力学情報:L5関節に上半身が加える力とモーメント)を算出する。
本実施形態に係る運動解析装置は、対象の身体の部分の運動計測に基づいて運動解析を実行する。運動解析には動力学解析が含まれる。運動解析は、さらに、筋張力解析、筋活動解析を含んでもよい。
図11は、図3、図10に対応する運動解析を示している。図11に示すように、対象の下半身にIMUを搭載したタイツを着用して実行される下半身モーションキャプチャでは、対象の下半身の各関節の関節角及び関節位置の時系列データが取得され、このデータを用いて対象の下半身についての運動学計算が実行される。対象の下半身の運動学計算によって取得されたベースリンク(骨盤)の姿勢、速度、角速度を入力として、LSTMに与えることで、出力として、上半身の重心の運動量、角運動量が推定される。推定された上半身の重心の運動量、角運動量を用いて、L5関節に上半身が加える力とモーメントを算出する。計測データに基づく対象の下半身の各関節の関節角及び関節位置の時系列データと、推定されたL5関節に上半身が加える力とモーメントを用いて、対象の下半身の逆動力学計算が実行され、関節トルクが取得される。さらに、関節トルクを用い、運動時の下半身の筋張力を推定し、下半身の筋活動解析の推定を行ってもよい。
図12は、本実施形態に係る運動解析の全体の流れを示している。身体の部分(計測対象部位)に装着したIMUウェアラブルセンサを用いたモーションキャプチャにより、身体の部分についての関節角及び関節位置の時系列データの取得を取得し、身体の部分(計測対象部位)の運動情報(運動データ)が取得される。計測対象部位の運動情報に基づいて、身体の他の部分(非計測対象部位)の運動が動力学解析対象部位(例えば、計測対象部位)に与える動力学的な影響(力学情報)を算出(推定)する。ニューラルネットワーク等を用いた学習により、計測対象部位の運動データから非計測対象部位の動力学解析に必要な力学情報を推論する。
本実施形態では、計測対象部位によって決まる動力学解析対象部位がある。例えば、計測対象部位が下半身の場合に、1つの態様では、下半身が動力学解析対象部位となる。例えば、両手首、両足首が計測対象部位の場合に、1つの態様では、上肢や下肢が動力学解析対象部位となる。動力学解析対象部位の計算に必要で直接計測情報から求められない力学情報については、学習に基づいた推論を行う。
身体の部分(計測対象)の運動情報と推定された力学情報を用いて、逆動力学計算を実行することで、動力学解析対象部位(例えば、計測対象部位である身体の部分)についての関節トルクを取得する。さらに、取得された関節トルクを用いて、筋を模倣したワイヤーを備えた筋骨格モデルにおける筋をモデル化した全身に分布させたワイヤーの張力(筋張力)を最適化計算(2次計画法や線形計画法)により取得してもよい(非特許文献5参照)。さらに、ワイヤー張力を用いて筋活動度(取得された筋張力を当該筋の想定した最大筋張力で割った値)を算出し、筋活動度の程度に応じた色が割り当てられた筋骨格画像を生成し、視覚化された筋活動度を伴う筋骨格画像を所定のフレームレートで出力して動画としてディスプレイに表示してもよい。例えば、対象の下半身が計測対象部位かつ動力学解析対象部位の場合には、下半身の関節トルクが取得され、下半身の筋張力及び筋活動度が取得される。
本実施例は、下半身のような身体の一部の計測から、その部位の力学解析を行うことについて言及する。直接計測できない身体部位を必要最小限の変数で代表させることで、その変数の動態を直接計測できる身体部位の情報から推定する。本実施例では、新たに身体の部分部位のCentroidal Dynamicsを定義する。直接計測できない部分部位のCentroidal Dynamicsによって、その他の身体部位に対する力学的な影響を表現する。Centroidal Dynamics(重心動力学)とは外部から加わる力に対する身体全体の挙動を重心に注目して表現する考え方であり、全身に加わる外力が全身の運動に及ぼす効果を、重心の運動として表現したものである(非特許文献1、2)である。
本実施例では、全身を上下半身に分けてそれぞれのCentroidal Dynamicsを表現する。このような表現法は新しい考え方である。上半身の運動を上半身のCentroidal Dynamicsで表すことで、非計測対象部位である上半身の運動を少ない数の変数で表現でき、また、上半身が下半身に及ぼす動力学的な影響を正確に評価することができる。そして、上半身のCentroidal Dynamicsの各変数の変化を、ランニング時に計測された下半身の運動情報から学習結果に基づいて推定する。
a) 上半身のCentroidal Dynamicsを用いた運動解析
図5に示すように、本実施例では、上半身と下半身を分ける関節として第5腰椎(5th lumbar vertebra)とHip(ベースリンク)の間の関節(L5関節)を設定する。図5において、θUは、L5関節の上側に位置するリンクの姿勢を示しており、θLは、L5関節の上側に位置するリンクの姿勢、ベースリンクの位置を示している。上半身のCentroidal Dynamicsを計算し、上半身が下半身に与える影響の計算手法を示す。本実施形態では、図5に示すように、対象の上半身を1つの剛体として考えた場合の上半身のcentroidal dynamicsを計算する。Centroidal dynamicsでは重心の運動量と角運動量を用いて重心に作用するダイナミクスを考える。そして、上半身のCentroidal dynamics から上半身の影響を力とモーメントとして計算し、上半身から作用する力とモーメントを下半身の任意の関節に代表させて作用させることで、下半身に上半身の影響を反映させることを考える。本実施例では、上半身と下半身を分ける関節としてL5関節を設定するが、下半身を代表する関節(例えば、下半身の代表運動情報を算出する際に用いられる関節)はL5関節に限定されるものではない。
図5に示すように、本実施例では、上半身と下半身を分ける関節として第5腰椎(5th lumbar vertebra)とHip(ベースリンク)の間の関節(L5関節)を設定する。図5において、θUは、L5関節の上側に位置するリンクの姿勢を示しており、θLは、L5関節の上側に位置するリンクの姿勢、ベースリンクの位置を示している。上半身のCentroidal Dynamicsを計算し、上半身が下半身に与える影響の計算手法を示す。本実施形態では、図5に示すように、対象の上半身を1つの剛体として考えた場合の上半身のcentroidal dynamicsを計算する。Centroidal dynamicsでは重心の運動量と角運動量を用いて重心に作用するダイナミクスを考える。そして、上半身のCentroidal dynamics から上半身の影響を力とモーメントとして計算し、上半身から作用する力とモーメントを下半身の任意の関節に代表させて作用させることで、下半身に上半身の影響を反映させることを考える。本実施例では、上半身と下半身を分ける関節としてL5関節を設定するが、下半身を代表する関節(例えば、下半身の代表運動情報を算出する際に用いられる関節)はL5関節に限定されるものではない。
図5を参照しつつ、上半身と下半身をL5関節で分けた時の上半身のCentroidal Dynamicsについて説明する。上半身の質量、重心、運動量、角運動量をそれぞれmU,pU∈R3,lU∈R3,qU∈R3とする。
上半身の重心にかかる力とモーメントからL5関節に上半身が加える力fL5とモーメントnL5を計算すると式(7),(8)のように表せる。
ここで、pL5∈R3はL5関節の位置であり、下半身のIMUモーションキャプチャの計測結果から計算できる。
ここで、pL5∈R3はL5関節の位置であり、下半身のIMUモーションキャプチャの計測結果から計算できる。
b) ランニング動作における上半身Centroidal Dynamicsの特徴分析
ランニング時の上半身・下半身Centroidal dynamicsの相対運動解析について予備的実験を行った。ランニング時の対象の上半身・下半身それぞれのcentroidal dynamicsを計算する。下半身の重心は、上半身の重心と同様に計算することができる。上半身の重心と下半身の重心の移動平均の差分を取ることで上半身の重心運動について分析した。ここでの移動平均はランニング動作時に発生する低周波成分に対応する。次に、上半身の重心と下半身の重心の移動平均の差分の2次のフーリエ級数近似を考える。上半身の重心と下半身の重心の移動平均の差分の結果とフーリエ級数近似の結果から、下半身の低周波成分を取り除いた場合の上半身の重心は周期的な運動としてフーリエ級数で近似可能であるという知見が得られた。
ランニング時の上半身・下半身Centroidal dynamicsの相対運動解析について予備的実験を行った。ランニング時の対象の上半身・下半身それぞれのcentroidal dynamicsを計算する。下半身の重心は、上半身の重心と同様に計算することができる。上半身の重心と下半身の重心の移動平均の差分を取ることで上半身の重心運動について分析した。ここでの移動平均はランニング動作時に発生する低周波成分に対応する。次に、上半身の重心と下半身の重心の移動平均の差分の2次のフーリエ級数近似を考える。上半身の重心と下半身の重心の移動平均の差分の結果とフーリエ級数近似の結果から、下半身の低周波成分を取り除いた場合の上半身の重心は周期的な運動としてフーリエ級数で近似可能であるという知見が得られた。
次に、下半身と上半身の運動の境目としてL5関節を選択し、L5関節からみた上半身のCentroidal dynamicsについて考える。L5関節から見た上半身の重心位置、上半身の角運動量に対して2次のフーリエ級数近似を行ったところ、ランニング動作時のL5関節からみた上半身のcentroidal dynamicsは周期的な運動として考えることができ、フーリエ級数で近似することが可能であることを示した。
c) LSTMを用いた上半身Centroidal dynamicsの学習
下半身の運動情報を入力としたLSTMネットワークによる上半身のCentroidal Dynamicsの推定手法を提案する。本実施例では、直接計測できる下半身の運動情報から、直接計測できない上半身のCentroidal Dynamicsを推定する問題を考えた場合に、上半身とL5関節位置の相対運動が2次のフーリエ級数で近似可能であり、周期的な運動として表現される知見が得られていることから、時系列情報を扱いやすい再帰型ニューラルネット(Recurrent neural network: RNN) の一種である長短期記憶ネットワーク(Long short term memory network: LSTM network)(非特許文献3)を用いて推定する。
下半身の運動情報を入力としたLSTMネットワークによる上半身のCentroidal Dynamicsの推定手法を提案する。本実施例では、直接計測できる下半身の運動情報から、直接計測できない上半身のCentroidal Dynamicsを推定する問題を考えた場合に、上半身とL5関節位置の相対運動が2次のフーリエ級数で近似可能であり、周期的な運動として表現される知見が得られていることから、時系列情報を扱いやすい再帰型ニューラルネット(Recurrent neural network: RNN) の一種である長短期記憶ネットワーク(Long short term memory network: LSTM network)(非特許文献3)を用いて推定する。
LSTMの入力としてベースリンク(骨盤)の姿勢のオイラー角αL5∈R3、速度
角速度ωL5∈R3、出力としてL5関節の位置と上半身の重心の相対位置pU-pL5、上半身のCentroidal Dynamicsの運動量lU、角運動量qUを設定する。
角速度ωL5∈R3、出力としてL5関節の位置と上半身の重心の相対位置pU-pL5、上半身のCentroidal Dynamicsの運動量lU、角運動量qUを設定する。
図8に示すように、LSTM networkにおいて、入力が時系列ごとにLSTMブロックに入り、出力のデータを得るような構造とする。本稿ではLSTM Blockの隠れユニットの数は250とし、反復回数を250[epoch]として学習を行った。学習に使用する損失関数lをLSTM Blockの出力から実際の真値との半二乗平均として式(9)で計算する。
ここで、Rは応答の数、tijはターゲットの出力、yijは応答jに対するネットワークの予測値、Sはシーケンス長、iはシーケンスのインデックス、jは応答のインデックスである。計算した損失関数lに対して、確率的勾配降下法の種類の一つであるAdaptive moment estimation(ADAM)(非特許文献4)を使用して最適化を行う。
ここで、Rは応答の数、tijはターゲットの出力、yijは応答jに対するネットワークの予測値、Sはシーケンス長、iはシーケンスのインデックス、jは応答のインデックスである。計算した損失関数lに対して、確率的勾配降下法の種類の一つであるAdaptive moment estimation(ADAM)(非特許文献4)を使用して最適化を行う。
d) 上半身Centroidal Dynamics推定に関する実験検証
学習したLSTMネットワークを用いて、実験検証を行った。以下に述べるように、検証の結果、真値とテストデータでの推定値を比較したところ、おおむね推定できていることを確認した。本検証は主として、上半身Centroidal dynamicsを推定するためのアルゴリズムを確認するものであり、学習データも十分であるとは言えない点に留意されたい。多様なデータ(例えば、多様な体格の人のデータ、多様な走り方のデータ、 多様なコースや路面状況のデータ)を含む十分な学習データを用いて推定器を構築することで、推定器の性能を向上させることが可能であろう。
学習したLSTMネットワークを用いて、実験検証を行った。以下に述べるように、検証の結果、真値とテストデータでの推定値を比較したところ、おおむね推定できていることを確認した。本検証は主として、上半身Centroidal dynamicsを推定するためのアルゴリズムを確認するものであり、学習データも十分であるとは言えない点に留意されたい。多様なデータ(例えば、多様な体格の人のデータ、多様な走り方のデータ、 多様なコースや路面状況のデータ)を含む十分な学習データを用いて推定器を構築することで、推定器の性能を向上させることが可能であろう。
d-1) 上半身Centroidal Dynamicsのフーリエ近似
本実施例ではLSTMの出力値として上半身の運動量と角運動量についての推定を行うため、それらの変数について、上半身とL5関節位置の相対運動が周期運動として表現されることと同様に2次のフーリエ級数で近似でき、周期運動とみなせるかを検証した。基礎実験として光学式モーションキャプチャを用いて、トレッドミルの速度が8[km/h](ジョギング)、傾斜0[deg]の条件で、トレッドミルを用いたランニングの計測実験を行った。計測実験で得たデータを用いて、上半身の運動量lUと上半身の角運動量qUを計算し、2次のフーリエ級数で近似を行った結果を図13、図14に示す。参照値の上半身のcentroidal dynamicsについて、L5関節との相対運動の値から上半身の運動量、角運動量に変更した場合においても、2次のフーリエ級数による近似は十分出来ており、ランニングなどの周期的な運動において、上半身のCentroidal Dynamicsは比較的に単純な波形の動態を見せることを確認した。
本実施例ではLSTMの出力値として上半身の運動量と角運動量についての推定を行うため、それらの変数について、上半身とL5関節位置の相対運動が周期運動として表現されることと同様に2次のフーリエ級数で近似でき、周期運動とみなせるかを検証した。基礎実験として光学式モーションキャプチャを用いて、トレッドミルの速度が8[km/h](ジョギング)、傾斜0[deg]の条件で、トレッドミルを用いたランニングの計測実験を行った。計測実験で得たデータを用いて、上半身の運動量lUと上半身の角運動量qUを計算し、2次のフーリエ級数で近似を行った結果を図13、図14に示す。参照値の上半身のcentroidal dynamicsについて、L5関節との相対運動の値から上半身の運動量、角運動量に変更した場合においても、2次のフーリエ級数による近似は十分出来ており、ランニングなどの周期的な運動において、上半身のCentroidal Dynamicsは比較的に単純な波形の動態を見せることを確認した。
d-2) IMUモーションキャプチャスーツを用いた検証実験
上半身のCentroidal Dynamicsの推定の検証を行うために、IMUモーションキャプチャを用いて全長約75mの安田講堂前の芝生の周りを2周する計測実験を行った。被験者は20代の1人の被験者である。条件として2周する際に、1周目は軽いジョギング程度の速度、2周目はそれよりも速い速度で走行した。検証のため、被験者は、下半身のみではなく、全身のIMU スーツを着用して計測実験を行った。
上半身のCentroidal Dynamicsの推定の検証を行うために、IMUモーションキャプチャを用いて全長約75mの安田講堂前の芝生の周りを2周する計測実験を行った。被験者は20代の1人の被験者である。条件として2周する際に、1周目は軽いジョギング程度の速度、2周目はそれよりも速い速度で走行した。検証のため、被験者は、下半身のみではなく、全身のIMU スーツを着用して計測実験を行った。
d-3) 上半身Centroidal Dynamicsの推定と検証
上記検証実験で計測したデータを入出力の学習データとして用いる。この時、入出力データともに全体の前半70%を学習データとして用い、残りの後半30%をテストデータとして使用した。学習時の損失関数とRoot mean square error(RMSE)の軌跡から学習が収束していくことを確認した。
上記検証実験で計測したデータを入出力の学習データとして用いる。この時、入出力データともに全体の前半70%を学習データとして用い、残りの後半30%をテストデータとして使用した。学習時の損失関数とRoot mean square error(RMSE)の軌跡から学習が収束していくことを確認した。
図15~図17は、上半身Centroidal Dynamicsの参照値と推定値の比較を示すものであり、学習の結果を使用して推定値を計算し、参照値と比較した図である。図中の点線が推定値を表し、実線が参照値を表している。また、一点鎖線は学習データとテストデータを分ける線である。図15は、上半身の重心とL5 関節位置の相対位置を示しており、左からx,y,z の要素を示す。図16は、上半身の運動量を示しており、左からx,y,z の要素を示す。図17は、上半身の角運動量を示しており、左からx軸まわり、y軸まわり、z軸まわりの要素を示す。比較の結果、おおむね真値付近に推定値が推移しており、ランニングなどの周期運動において、上半身のCentroidal Dynamicsは下半身の運動情報から推定可能であると考えられえる。
図18~図24を参照しつつ、対象の身体の部分の運動データに基づく対象のバイオメカニクス解析について説明する。図18(b)のように下半身の運動のみを計測している場合には、図18(a)のような上半身から下半身への内力が計算できないため、全身の運動を考慮した下半身の逆動力学計算を行うことが出来ない。本実施形態では、下半身の計測のみでは下半身のバイオメカニクス解析が行えないという問題に対して、図18(c)、図19のように下半身の運動のみから上半身の運動を推定し、上半身から下半身へ働く内力を計算し、下半身のバイオメカニクス解析(関節トルク、筋張力の取得)を行う。本実施形態では、未計測部分の運動を計測部分の運動から推定する。既述のように、ランニングのような周期的な運動時のCentroidal Dynamicsは低次のフーリエ級数で近似可能であり、下半身の運動データからLong short term memory(LSTM)ネットワークを用いて上半身のCentroidal Dynamicsを学習・推定する。本実施形態では、上半身の重心の運動である上半身のCentroidal Dynamicsを推定し、推定した上半身Centroidal Dynamicsを用いて、上半身から下半身に働く内力を計算し、下半身のみの運動情報から逆動力学計算を行って下半身の関節トルクを計算し、筋張力を推定する。
図20に本実施形態に係る運動解析システムの全体図を示す。本実施形態に係る運動解析システムは、IMUモーションキャプチャから下半身の運動情報を当該システムへの入力として取得する逆運動学計算部分と、第1ブロックと、第2ブロックと、からなる。第1ブロックは、下半身の順運動学から第5腰椎関節(Lumber 5, L5関節)の運動情報(姿勢、並進速度、角速度)を計算する部分、上半身のCentroidal Dynamicsの推定部分、上半身の重心に働く力とトルクを計算する部分、上半身から下半身へ働く力(力・トルク)の計算部分で構成される。第2ブロックは、逆動力学部分、筋張力計算部分で構成され、本実施形態では、推定した上半身Centroidal Dynamicsから計算される上半身から下半身に働く内力を用いて、下半身の逆動力学計算を行って関節トルクを取得し、関節トルクを用いて筋張力計算を行う。本実施形態に係る運動解析システムについて、図21~図24を参照しつつ、さらに詳細に説明する。
図21にIMUスーツのIMUセンサの値を入力とした下半身の関節角度の計算を示す。各IMUのデータ(各IMUセンサの加速度・角速度・地磁気)、q0(ベースリンクの位置・姿勢)が、Body Filter For IMU suitに入力され、IMU用の骨格の各リンクに固定されたマーカーデータに基づいて、計算用骨格を用いた逆運動学計算が実行され、
が取得される。ここで、
q0は、ベースリンクの位置・姿勢を表し、
θLは、下半身の関節角度を表し、下半身の各関節角度を並べたベクトルである。
下半身の運動情報(関節角度情報)
は、本実施形態に係る運動解析システムへの入力として用いられる。
が取得される。ここで、
q0は、ベースリンクの位置・姿勢を表し、
θLは、下半身の関節角度を表し、下半身の各関節角度を並べたベクトルである。
下半身の運動情報(関節角度情報)
は、本実施形態に係る運動解析システムへの入力として用いられる。
図22、図23を参照しつつ、上半身Centroidal Dynamics 推定器を用いた運動解析について説明する。上半身のCentroidal Dynamics は上半身の重心に働く運動量と角運動量を示す。上半身の重心にかかる力fUと上半身の重心まわりに働くモーメントnUはそれぞれ式(5),式(6)で計算できる。また、上半身の重心にかかる力と上半身の重心周りに働くモーメントから上半身から下半身に働く内力として表されるL5関節で働く力fL5とモーメントnL5は式(7),式(8)で表される。
図22に上半身Centroidal Dynamicsの推定器を示す。本実施形態では、上半身Centroidal Dynamics 推定器としてLSTMネットワークを採用する。予め、LSTMに入力と出力の関係を満たす教師データを与えて学習させておき、推定時には入力を与えれば出力が取得されるようにする。上半身Centroidal Dynamicsの推定器において、
を入力として、順運動学を実行することで、L5関節の姿勢、並進速度、角速度が取得され、これらをLSTMに入力することで、上半身の運動量、角運動量、L5関節と重心の相対位置、が取得される(図8参照)。
を入力として、順運動学を実行することで、L5関節の姿勢、並進速度、角速度が取得され、これらをLSTMに入力することで、上半身の運動量、角運動量、L5関節と重心の相対位置、が取得される(図8参照)。
図23に上半身Centroidal Dynamicsを用いた内力の計算を示す。上半身の運動量、角運動量に基づいて、上半身Centroidal Dynamicsが計算される(式(5),式(6)参照)。L5関節で働く力fL5とモーメントnL5は式(7),式(8)で表される。
本実施形態では、推定された上半身Centroidal Dynamicsを用いて、下半身の運動情報のみで逆動力学計算・筋張力計算を行う。図24に下半身の関節角度を入力として筋張力を計算するシステムを示す。下半身の関節角度情報
と、L5関節で働くfL5とモーメントnL5を入力として、逆運動学計算が実行され、関節トルクτLが取得される。関節トルクτLを用いて、筋張力計算が実行され、筋張力fLが推定される。以下に、より具体的に説明する。
と、L5関節で働くfL5とモーメントnL5を入力として、逆運動学計算が実行され、関節トルクτLが取得される。関節トルクτLを用いて、筋張力計算が実行され、筋張力fLが推定される。以下に、より具体的に説明する。
図24における(1)逆動力学計算について説明する。本実施形態に係る浮遊リンク系の運動方程式は、以下の通りである。
本実施形態に係る浮遊リンク系は、浮遊ベースリンクを含む剛体リンク系であって、上半身を代表する1つの剛体リンクと、下半身の剛体リンク構造と、からなる(図19参照)上記式において、計算可能な項について具体的に示す。
本実施形態に係る浮遊リンク系は、浮遊ベースリンクを含む剛体リンク系であって、上半身を代表する1つの剛体リンクと、下半身の剛体リンク構造と、からなる(図19参照)上記式において、計算可能な項について具体的に示す。
Claims (15)
- 対象の身体の部分を計測対象部位とし、当該身体の部分の運動データを取得し、
前記運動データに基づいて得られた前記計測対象部位の第1運動情報を用いて、対象の身体の非計測対象部位の運動を代表する第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
からなる運動解析方法。 - 前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器が用意されており、
前記第2運動情報の推定は、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を前記推定器に入力することで実行される、
請求項1に記載の運動解析方法。 - 前記第2運動情報は、前記非計測対象部位の重心動力学(Centroidal Dynamics)の変数である、請求項1に記載の運動解析方法。
- 前記第1運動情報は、前記計測対象部位において選択されたリンクあるいは関節についての情報である、
請求項1に記載の運動解析方法。 - 前記動力学解析対象部位は、前記計測対象部位の全部あるいは一部、または、前記非計測対象部位の全部あるいは一部、または、全身である、
請求項1に記載の運動解析方法。 - 前記計測対象部位は下半身であり、前記非計測対象部位は上半身であり、
前記動力学解析対象部位は、前記下半身である、
請求項1~5いずれか1項に記載の運動解析方法。 - 前記計測対象部位は、両手手首及び両足首の全部あるいは一部を含み、
前記動力学解析対象部位は、前記非計測対象部位の全部あるいは一部を含む、
請求項1~5いずれか1項に記載の運動解析方法。 - 前記運動データは、対象の計測対象部位に装着されたウェアラブルセンサによって取得される、
請求項1に記載の運動解析方法。 - 記憶部と、処理部と、を備え、
前記記憶部には、
対象の身体の部分を計測対象部位として計測された、当該身体の部分の運動データと、
前記計測対象部位の第1運動情報の入力に応じて、前記非計測対象部位の運動を代表する第2運動情報を推定して出力する推定器、
が格納されており、
前記処理部は、
前記推定器を用いて、前記運動データに基づいて得られた前記計測対象部位の第1運動情報を入力とし、前記非計測対象部位の第2運動情報を推定し、
前記第2運動情報を用いて、前記非計測対象部位の運動が動力学解析対象部位に与える力学情報を算出し、
前記運動データと前記力学情報を用いて、前記動力学解析対象部位の動力学解析を行う、
ように構成されている、
運動解析装置。 - 前記第2運動情報は、前記非計測対象部位の重心動力学(Centroidal Dynamics)の変数である、請求項9に記載の運動解析装置。
- 前記第1運動情報は、前記計測対象部位において選択されたリンクあるいは関節についての情報である、
請求項9に記載の運動解析装置。 - 前記動力学解析対象部位は、前記計測対象部位の全部あるいは一部、または、前記非計測対象部位の全部あるいは一部、または、全身である、
請求項9に記載の運動解析装置。 - 前記計測対象部位は下半身であり、前記非計測対象部位は上半身であり、
前記動力学解析対象部位は、前記下半身である、
請求項9に記載の運動解析装置。 - 前記計測対象部位は、両手手首及び両足首の全部あるいは一部を含み、
前記動力学解析対象部位は、前記非計測対象部位の全部あるいは一部を含む、
請求項9に記載の運動解析装置。 - コンピュータを、請求項9~14にいずれか1項に記載の記憶部、処理部として機能させるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021141519 | 2021-08-31 | ||
JP2021141519 | 2021-08-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023035981A true JP2023035981A (ja) | 2023-03-13 |
Family
ID=85505120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022135699A Pending JP2023035981A (ja) | 2021-08-31 | 2022-08-29 | 運動解析方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023035981A (ja) |
-
2022
- 2022-08-29 JP JP2022135699A patent/JP2023035981A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7458650B2 (ja) | 泳者のモーションの能力測定基準を系統的に表すためのシステム及び方法 | |
Wang et al. | Inertial sensor-based analysis of equestrian sports between beginner and professional riders under different horse gaits | |
Ahmadi et al. | 3D human gait reconstruction and monitoring using body-worn inertial sensors and kinematic modeling | |
Baghdadi et al. | Hip and trunk kinematics estimation in gait through Kalman filter using IMU data at the ankle | |
US9510789B2 (en) | Motion analysis method | |
JP7107264B2 (ja) | 人等の身体動作推定システム | |
Joukov et al. | Online tracking of the lower body joint angles using IMUs for gait rehabilitation | |
Salehi et al. | Body-IMU autocalibration for inertial hip and knee joint tracking | |
Palani et al. | Real-time joint angle estimation using mediapipe framework and inertial sensors | |
CN110456902A (zh) | 跟踪用户移动以控制计算机系统中的骨架模型 | |
Yi et al. | Detecting and correcting IMU movements during joint angle estimation | |
Quental et al. | A multibody methodological approach to the biomechanics of swimmers including hydrodynamic forces | |
JP2023035981A (ja) | 運動解析方法及び装置 | |
Seth et al. | Wearable Sensing System to perform Realtime 3D posture estimation for lower back healthcare | |
KR20230166319A (ko) | 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체 | |
CN114224325A (zh) | 利用惯性传感器计算关节力矩和角度的步态分析系统及方法 | |
US10549426B2 (en) | Method for estimating movement of a poly-articulated mass object | |
Romantsova et al. | Metrological parameters of information and measurement systems for the study of a kinematic portrait of a person | |
Liu et al. | Kinematic Analysis of Intra-Limb Joint Symmetry via Multi-Sensor Fusion | |
Macaro et al. | Using machine learning techniques and wearable inertial measurement units to predict front crawl elbow joint angle: a pilot study | |
Megharjun et al. | A Kalman filter based full body gait measurement system | |
Wai et al. | The Biomechanics Analysis: Development of Biomechanics Analysis Algorithm With OpenPose Motion Capture System | |
Lin | Automated rehabilitation exercise motion tracking | |
Phan et al. | A constrained nonlinear optimization solution for 3D orientation estimation of the human limb | |
Abib | Walking gait features extraction and characterization using wearable devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220901 |