JP2021108825A

JP2021108825A - 深層筋状態の推定装置

Info

Publication number: JP2021108825A
Application number: JP2020001654A
Authority: JP
Inventors: 和寛瀧本; Kazuhiro Takimoto
Original assignee: Iwadate Masanori
Current assignee: Iwadate Masanori
Priority date: 2020-01-08
Filing date: 2020-01-08
Publication date: 2021-08-02
Anticipated expiration: 2040-01-08
Also published as: JP6997228B2

Abstract

【課題】トレーニングやリハビリテーションを効率化するための深層筋状態の推定装置を提供する。【解決手段】人体モデル３４を、骨格データ３１、表層筋データ３２及び深層筋データ３３に分割し、一般の人体モデル３４にユーザＵのパラメータを反映させて初期ユーザモデル３５を構築する。ユーザＵの動きを撮影装置で撮影し、その際のユーザＵの表層筋データ３２を取得する。深層筋推定部は、初期ユーザモデル３５をバーチャル空間内で前記ユーザＵと同じ動きをさせ、筋出力・神経伝達・骨格・人体強度などのパラメータを用いて深層強化学習等のアルゴリズムでシミュレーションを行う。骨格データ３１と表層筋データ３２はユーザＵから取得し、深層筋データ３３は上記シミュレーションにより取得し、最適化ユーザモデル３６を構築する。当該モデルを用いて、効率のよいトレーニング方法等の指導が可能となる。【選択図】図３

Description

本発明は、人体の筋肉の内、身体の奥にある筋肉である深層筋の状態を推定する装置に関する。

身体機能の向上のためのトレーニングや、身体機能の回復のためのリハビリテーションについては、様々な器具や方法が提案されている。例えば、特許文献１には、筋電位の測定が可能な無線通信センサを、トレーニングを行うユーザに装着し、無線でトレーニング中の筋電位のデータを取得することが行われている。当該システムにより、ユーザの身体の内部の動作を把握して、より高度なトレーニングの指導を行うことが可能となるとされている。

特開２０１９−１２６６４９号公報

上記特許文献１に記載のシステムでは、筋電位を測定するセンサとして、ユーザの腕等に皮膚に押し当てて固定ベルトで固定するセンサが用いられている。このような筋電位を測定するセンサは、人体の筋肉の内、表層にある表層筋の動きを検出するものである。従って、特許文献１に記載のシステムでは、筋肉のデータとして得られるデータは表層筋のデータのみであり、身体の奥にある深層筋の状態は知ることができない。

ところで、運動競技のトレーニングについて考察すると、例えばスキー競技において、熟練度の低い者（初心者）は、ターンの際に直感的に足の外側の筋肉、即ち表層筋に意識が集中する傾向にある。一方で、熟練度の高い者（熟練者）は、初心者に比べて表層筋の稼働割合が低い傾向がある。

このように、熟練者において、表層筋の稼働割合が低いということは、熟練者は、深層筋の使い方が初心者に比べて優れているという仮説が成り立つ。例えば、上記スキーのターンの際に、熟練者は、自己の身体にかかる遠心力に対して、主に深層筋である腸腰筋（大腰筋、小腰筋及び腸骨筋）を利用して上半身と下半身のバランスをとることで、表層筋の稼働割合を下げていると考えられる。

従って、表層筋のみならず、深層筋についても、その動きのデータをとることができれば、熟練者の表層筋及び深層筋の動きを再現するようなトレーニング方法を明らかにすることができ、或いは、リハビリテーションにおいても、効率のよい訓練方法を明らかにすることができる。

しかしながら、深層筋は、表層筋のように皮膚にセンサを固定しただけでデータを得ることができない。実際に深層筋の筋電位等を測定する場合は、皮膚からワイヤ電極等を差し込んでデータを取得する必要があるが、このようなワイヤ電極等を刺した状態では、ユーザは普段通りに動くことができなくなり、ユーザの運動時のデータを取得することが困難となる。

本発明は、上記事情に鑑み、表層筋のみならず、深層筋の状態を正確に推定することができる推定装置を提供することを目的とする。特に、ユーザにワイヤ電極等を刺すことなく、また、筋電位に頼らずに深層筋の状態を正確に推定することができる推定装置を提供することを目的とする。

上記目的を達成するために、本発明の深層筋状態の推定装置は、人体の構成要素である骨格データ、表層筋データ及び深層筋データを含む人体モデルを３Ｄデータとして記憶し、ユーザの身体的特徴に関するデータを入力可能な入力手段と、前記ユーザの身体の各部の動きをデータとして収録可能なデータ収録手段と、前記ユーザの表層筋の状態を検知する表層筋データ取得手段と、前記入力手段に入力された前記身体的特徴に関するデータを前記人体モデルに反映して初期ユーザモデルを構築するモデル構築手段と、前記データ収録手段によって収録された動きデータと同一の動きとなるように前記初期ユーザモデルを動かすシミュレーションを行い、前記シミュレーションの際の前記骨格データの動きと前記表層筋データを用いて深層筋の状態を推定する推定手段を備えていることを特徴とする。

本発明の深層筋状態の推定装置によれば、人体モデルにユーザの骨格データを反映して初期ユーザモデルを構築し、この初期ユーザモデルを用いてユーザの動きと同じ動きとなるようにシミュレーションを行い、その動きの際の深層筋の状態を推定している。このように本発明では、入手が容易な骨格データ及び表層筋データを取得し、測定が困難な深層筋データはシミュレーションによって推定している。従って、深層筋の状態についてワイヤ電極等を用いることなく推定することができる。

本発明の深層筋状態の推定装置において、前記ユーザの身体的特徴は、少なくともユーザの身長、体重、及び骨格の大きさを含む。これらの情報は、ユーザの身体の表面、或いは計測器により取得することができるため、ワイヤ電極等を用いる必要がない。

また、本発明の深層筋状態の推定装置においては、前記ユーザの足裏荷重を測定する足裏荷重センサをさらに備え、前記推定手段は、前記足裏荷重センサの出力を加えて前記深層筋の状態を推定してもよい。当該構成によれば、足裏荷重のかかり具合と、ユーザの表層筋の状態が判明するので、より正確に深層筋の状態を推定することができる。

また、本発明の深層筋状態の推定装置において、前記推定手段は、前記初期ユーザモデルが持つパラメータの内、少なくとも筋出力、神経伝達、骨格・人体強度について、再帰型ニューラルネットワークを含む深層強化学習のアルゴリズムを用いて推定を行ってもよい。当該推定手段によれば、正確な骨格データ及び正確な表層筋データにより、より高い精度の深層筋状態の推定が可能となる。

ここで、筋出力とは、単一の筋肉に関する出力（筋力）であり、具体的には筋収縮長（単位ｍｍ）と収縮速度（単位ｍｍ／ｓ）を入力とし、最大張力（単位Ｎ）を出力とする関数によって示される。調整されるパラメータは、その関数の各係数である。

また、神経伝達とは、人体の特定の動作において各筋肉が動作する順序のことであり、脳の運動野と脊髄反射による各筋肉の制御タイミング（≒運動神経伝達）をいう。具体的には、各筋肉ごとについて、与えられた動作指示（収縮の開始指示・速度指示・収縮の停止指示）を時間軸上にプロットした動作のタイムライン形式のデータのことである。

骨格・人体強度とは、人体を構成する個別の筋肉・骨に関する材料力学的特性と、人体の筋骨格系全体の構造力学的特性を示すそれぞれのパラメータ群のことをいう。

当該骨格・人体強度のうち、材料力学的特性については、骨と筋肉に関する密度、重心位置、及び粘弾性のことをいう。

当該骨格・人体強度のうち、構造力学的特性については、前記の材料力学的特性によって決定づけられる身体全体の重心位置、各関節における特性（骨末端形状、軟骨の粘弾性、関節液）による回転時の動摩擦抵抗係数、及び筋肉の重なり圧力と筋膜の摩擦による動摩擦抵抗係数のことをいう。

本発明の深層筋状態の推定装置によれば、表層筋のみならず、深層筋の状態を正確に推定することができる推定装置を提供することができる。特に、ユーザにワイヤ電極等を刺すことなく、また、筋電位に頼らずに深層筋の状態を正確に推定することができる推定装置を提供することができる。

本発明の実施形態である深層筋状態の推定装置の概要を示す説明図。本実施形態の深層筋状態の推定装置の機能的構成を示す説明図。人体を骨格データ、表層筋データ、深層筋データ、及びその他のデータに分け、これらを一体にして人体モデルを求め、さらに初期ユーザモデル及び最適化ユーザモデルを求める状態を示す説明図。本実施形態の深層筋状態の推定装置の入力手段の一例を示す説明図。（Ａ）は本実施形態の深層筋状態の推定装置での表層筋データの収録例を示す説明図、（Ｂ）はシミュレーションの際の深層筋状態のイメージの一例を示す説明図、（Ｃ）はシミュレーションの際の深層筋状態が変化した状態を示す説明図。

次に、図１〜図５を参照して、本発明である深層筋状態の推定装置について、その実施形態の一例を説明する。本実施形態の深層筋推定装置１は、物理エンジンを実装したバーチャル空間上で、ユーザの深層筋の活動レベルを推定する装置であり、深層筋の活動レベルが表現された深層筋活動モデル（後述する最適化ユーザモデル３６）を自動生成することができる。

本実施形態の深層筋推定装置１は、図１に示すように、パーソナルコンピュータを含む解析端末２と、一般的な人体モデル３４を３Ｄデータとして記憶している人体モデルＤＢ３（ＤＢはデータベースの略。以下同様。）と、被験者であるユーザＵに装着される複数のセンサ４と、ユーザＵの動きを撮影する撮影装置５と、ユーザＵの足裏の荷重を測定する足裏荷重センサ６を備えている。

解析端末２は、機能的構成として、図２に示すように、パーソナルコンピュータの本体２１と、解析者又はユーザＵが身体的特徴に関するデータを入力可能な入力手段２２と、センサ４からの表層筋データを取得する表層筋データ取得部２３を備えている。

また、本体２１内には、ユーザＵの身体的特徴を反映した初期ユーザモデル３５を構築するモデル構築部２４と、得られたデータによるシミュレーションを行ってユーザＵの深層筋の状態を推定する深層筋推定部２５を備えている。

人体モデルＤＢ３には、人間の骨格データ３１、表層筋データ３２、深層筋データ３３を含む人体の各構成要素に関する人体モデル３４が記憶されている（図３参照）。一般的な人体は、解剖学によってすべての筋肉および骨格の位置、大きさ、重さ、可動域、また臓器の重心など、各部位の部品的特性が解明されている。これらの情報を３Ｄモデルに反映させたモデルが人体モデル３４である。本実施形態においては、この人体モデルＤＢ３は、解析端末２とは別個に設けられているが、解析端末２の内部に人体モデルＤＢ３を構築してもよい。

入力手段２２は、図1に示す解析端末２を構成するパーソナルコンピュータのディスプレイ２６、キーボード２７及びマウス２８から構成される。このディスプレイ２６は、タッチ入力が可能なものであってもよい。入力手段２２としては、この他にバーコードリーダ、スキャナ、又はプリンタ（複合機）等の機器を備えていてもよい。

また、図４は、本実施形態における入力手段２２の一例を示す説明図であり、ディスプレイ２６に表示される入力画面２９の一例を示す。この入力画面２９では、ユーザＵの身長、体重、体脂肪率、首周りの太さ、腕周り１で上腕二頭筋の周りの太さ、腕周り２で撓側手根屈筋の周りの太さ、胸囲の太さ、胴周りの太さ、太ももの太さ、ふくらはぎの太さ、足のサイズ等のサイズの入力が可能となっている。また、図４の右側には、人体の図形と共に、各部の長さとして、骨格の関節間の長さを入力する画面が設けられている。

図１及び図２に戻って、センサ４は、表層筋の活動レベルを検知するセンサであり、例えば、表層筋の筋電位、筋出力、及び神経伝達等を測定するセンサがこれに該当する。このセンサ４は、ユーザＵの皮膚に直接装着することにより、皮膚の下の表層筋の筋電位等の検出が可能となる。表層筋データ取得部２３は、このセンサ４の出力から、表層筋の活動レベルを検出する。本実施形態では、このセンサ４と表層筋データ取得部２３が、本発明の表層筋データ取得手段に相当する。

また、本実施形態においては、センサ４の他に、足裏荷重センサ６を用いる。この足裏荷重センサ６は、靴の形状をしており、靴底の部分に荷重を測定するセンサが設置され、ユーザＵの足裏のどこに荷重がかかっているかを検出することができる。

センサ４及び足裏荷重センサ６は、例えば、図５（Ａ）に示す箇所に装着する。センサ４は、図５（Ａ）に示すように、表層筋のデータが取得しやすく、且つ、ユーザＵの動きの妨げになりにくい箇所に装着する。なお、図５（Ａ）は模式図であり、実際はより多くのセンサ４をユーザＵの皮膚の表面に装着する。

撮影装置５は、本発明のデータ収録手段に相当し、本実施形態においては、マーカ等を必要としないマーカレスモーションキャプチャで収録可能なカメラを用いている。また、撮影装置５は、カメラの他に、映像の撮影を行うソフトウエア及び種々の機器を備えている。

モデル構築部２４は、本発明のモデル構築手段に相当し、解析端末２の本体２１のハードウエア（ＣＰＵ、記憶装置、インターフェース等）と、本体２１内に記憶されたソフトウエアにより形成された機能部である。このモデル構築部２４は、人体モデルＤＢ３及びセンサ４等によって得られたデータから、後述する初期ユーザモデル３５及び最適化ユーザモデル３６等の種々のモデルを構築することができる。

深層筋推定部２５は、本発明の推定手段に相当し、撮影装置５によって収録された動きデータを用いて、後述する初期ユーザモデル３５に同じ動きをさせるシミュレーションを行い、ユーザＵの深層筋の状態を推定する機能部である。

本実施形態において、人体モデルＤＢ３及び解析端末２は、インターネット等のネットワーク（図示省略）を介して接続されている。また、撮影装置５、センサ４、足裏荷重センサ６は、有線または無線で解析端末２に接続されている。本実施形態の場合、センサ４及び足裏荷重センサ６は、無線で解析端末２と接続することにより、ユーザＵが自然に動きやすいようにすることができる。

次に、本実施形態の深層筋推定装置１によって、ユーザＵの深層筋の状態を推定する際の作動について説明する。まず、深層筋の推定にあたって、ユーザＵの身体的特徴をデータ化する作業を行う。具体的には、入力手段２２にユーザＵの身長、体重、及び骨格の位置、大きさ等の骨格データ３１を入力する。骨格データ３１は、図４に示すデータ入力画面２９において入力を行う。

このように、入力手段２２によるユーザＵの身体的特徴の入力が終了すると、解析端末２のモデル構築部２４が、一般的な人体モデル３４にユーザＵの身体的特徴を反映させて初期ユーザモデル３５を構築する（図３参照）。この初期ユーザモデル３５は、身体の動作分析に必要な身体部位（骨格及び筋肉等）の物理特性が表現された筋骨格基本モデルとなる。当該初期ユーザモデル３５は、現実の人体と同様に様々な動作が可能であるが、その部品として用いられた筋肉や骨格の物理特性を超えて動作することはない。

次に、ユーザＵの身体動作を測定するため、ユーザＵの皮膚に直接接触するように、センサ４を装着する。センサ４は、装着面を皮膚に密着させ、バンド等の固定手段でユーザＵに固定する。固定箇所は、表層筋の筋電位を測定できる箇所であり、かつ、ユーザＵの自然な動きが妨げられない箇所を選択する。また、ユーザＵの足に足裏荷重センサ６を装着する。

次に、センサ４及び足裏荷重センサ６を装着したユーザＵに、特定の動きをしてもらい、その様子を撮影装置５にて撮影する。特定の動きとは、ユーザＵの歩行動作や階段の上り下り、或いはランニング等の動きである。

例えば、ユーザＵが歩行を行う場合は、その動作を行っている際のユーザＵの身体の各部の動きを撮影装置５で撮影し、センサ４及び表層筋データ取得部２３によって表層筋の筋電位を測定し、足裏荷重センサ６によって足裏荷重の状態を測定する。

この撮影装置５によって撮影された映像のデータが動きデータとなる。動きデータは、ユーザＵの頭部の位置や移動軌跡、肩や肘等の各関節の位置や移動軌跡、各関節の角度等を映像から抽出して、バーチャル空間内におけるモデルの各部位の座標変位データとしてデータ化する。

当該撮影装置５による撮影と、センサ４の出力、これに足裏荷重センサ６の出力を加えて、ユーザＵの骨格の動きと、表層筋の活動レベル、及び足裏の圧力分布の変化を記録する。この記録されたユーザＵの各データは、初期ユーザモデル３５のバーチャル空間上における拘束条件として深層筋推定部２５に入力される。

次に、深層筋推定部２５は、初期ユーザモデル３５を用いて深層強化学習を利用したシミュレーションを行う。具体的には、深層筋推定部２５が、初期ユーザモデル３５に、実際にユーザＵが行った歩行と同一の動作をさせる。そして、ユーザＵの実際の動作から得られた拘束条件が入力されたバーチャル空間において、初期ユーザモデル３５の動きがユーザＵの動きと一致するように動作させる。

深層筋は、ユーザＵの身体の各部位に複数存在しており、どの深層筋がどのような動きをしているかは不明である。本実施形態においては、深層筋推定部２５は、初期ユーザモデル３５が持ちうる全てのパラメータ（筋出力・神経伝達・骨格・人体強度など）を深層強化学習を用いた独自のアルゴリズムによって、何千何万パターンも変えシミュレーションを行う。また、動作の経時変化が人体におよぼす影響を考慮する場合として、例えば、再帰型ニューラルネットワーク（ＲＮＮ）の考え方を応用した再帰型強化学習等のアルゴリズムを用いることができる。

本実施形態では、当該深層強化学習を利用したシミュレーションにおいて、初期ユーザモデル３５の動作と、ユーザＵの実際の動作との差異が小さくなるほど報酬関数が高くなるように設定されている。

深層強化学習を用いた推定の際には、初期ユーザモデル３５が持つパラメータの内、少なくとも筋出力、神経伝達、骨格・人体強度を用いる。筋出力は、センサ４及び表層筋データ取得部２３によって得られる。神経伝達は、動きデータ及び表層筋の筋電位等を用いて、ユーザＵの特定の動きの際の、表層筋に関する収縮の開始指示・速度指示・収縮の停止指示によって求められる。

また、骨格・人体強度は、身体全体の重心位置、各関節における特性による回転時の動摩擦抵抗係数、及び筋肉の重なり圧力と筋膜の摩擦による動摩擦抵抗係数を、初期ユーザモデル３５が既に持つユーザＵの身体的特徴と、実際の動きデータ及び筋電位等から求める。

本実施形態においては、初期ユーザモデル３５を用いた深層強化学習によって、初期ユーザモデル３５の複数の深層筋に様々なデータを割り当ててシミュレーションを行うことにより、実際のユーザＵの深層筋の動きに近いと思われる深層筋の動きを推定することが可能となる。

例えば、図５（Ｂ）に示すように深層筋の動きを大きくした場合の初期ユーザモデル３５の動作と、図５（Ｃ）に示すように深層筋の動きを小さくした場合の初期ユーザモデル３５の動作をシミュレーションし、その際のユーザＵの実際の動作との差異がどのように変化するか等の検証を行う。

そして、深層筋推定部２５は、その推定された深層筋の活動条件を備えたユーザモデルである最適化ユーザモデル３６を生成する（図３参照）。この最適化ユーザモデル３６は、骨格データ３１及び表層筋データ３２は、ユーザＵから取得したデータとなっており、深層筋データ３３は、シミュレーションによって最適化されたデータとなっている。このため、推測された深層筋データ３３は、ユーザＵの深層筋の活動レベルとの相関関係が高いものとなる。

本実施形態の深層筋推定装置１によれば、上記のように、ユーザＵの深層筋の実情に近い深層筋データ３３が得られる。このため、例えば、物理エンジンを実装したバーチャル空間上で最適化ユーザモデル３６を活動させた場合、ユーザＵの実際の深層筋の動きに近い動きを深層筋データ３３が示すことになる。

従って、例えばユーザＵに運動競技のトレーニングを行う場合、最適化ユーザモデル３６の各種データ（表層筋データ３２及び深層筋データ３３）と、ユーザＵの骨格に近い骨格を有する競技者の各種データを比較して、どのようなトレーニングをすれば競技者と同様の筋肉の使い方ができるか、指標を示すことができる。

或いは、ユーザＵが怪我などからリハビリテーションを行う場合、健常時の各種データと、怪我などを経験した際の各種データを比較することにより、どのようなリハビリテーショントレーニングを行うことが効率的か、指標を示すことができる。

なお、上記実施形態においては、解析端末２は、パーソナルコンピュータを用いているが、これに限らず、タブレット端末等の携帯端末を用いてもよい。また、撮影装置５は、マーカレスモーションキャプチャが可能なカメラを用いているが、これに限らず、マーカを用いたモーションキャプチャを行うカメラを用いてもよい。

１…深層筋推定装置、２…解析端末、３…人体モデルＤＢ、４…センサ、５…撮影装置、６…足裏荷重センサ、２１…本体、２２…入力手段、２３…表層筋データ取得部、２４…モデル構築部、２５…深層筋推定部、２６…ディスプレイ、２７…キーボード、２８…マウス、２９…入力画面、３１…骨格データ、３２…表層筋データ、３３…深層筋データ、３４…人体モデル、３５…初期ユーザモデル、３６…最適化ユーザモデル。

Claims

人体の構成要素である骨格データ、表層筋データ及び深層筋データを含む人体モデルを３Ｄデータとして記憶し、
ユーザの身体的特徴に関するデータを入力可能な入力手段と、
前記ユーザの身体の各部の動きをデータとして収録可能なデータ収録手段と、
前記ユーザの表層筋の状態を検知する表層筋データ取得手段と、
前記入力手段に入力された前記身体的特徴に関するデータを前記人体モデルに反映して初期ユーザモデルを構築するモデル構築手段と、
前記データ収録手段によって収録された動きデータと同一の動きとなるように前記初期ユーザモデルを動かすシミュレーションを行い、前記シミュレーションの際の前記骨格データの動きと前記表層筋データを用いて深層筋の状態を推定する推定手段を備えていることを特徴とする深層筋状態の推定装置。
請求項１に記載の深層筋状態の推定装置であって、
前記ユーザの身体的特徴は、少なくともユーザの身長、体重、及び骨格の大きさを含むことを特徴とする深層筋状態の推定装置。
請求項１又は２に記載の深層筋状態の推定装置であって、
前記ユーザの足裏荷重を測定する足裏荷重センサをさらに備え、
前記推定手段は、前記足裏荷重センサの出力を加えて前記深層筋の状態を推定することを特徴とする深層筋状態の推定装置。
請求項１〜３のいずれか１項に記載の深層筋状態の推定装置であって、
前記推定手段は、前記初期ユーザモデルが持つパラメータの内、少なくとも筋出力、神経伝達、骨格・人体強度について、再帰型ニューラルネットワークを含む深層強化学習のアルゴリズムを用いて推定を行うことを特徴とする深層筋状態の推定装置。