以下、図面を参照してこの発明に係わる実施形態を説明する。
図1は、運動上達のためのフィードバックシステム100の一例を示す図である。図1に示すように、フィードバックシステムは、運動と心理状態判定装置130及びフィードバック装置140を備える。運動と心理状態判定装置130は、センシング部131、状態判定部132を備える。
本実施形態では、フィードバックシステム100を構成する運動と心理状態判定装置130による運動中の運動と心理状態の判定を中心に説明する。また、運動の例として、野球の投球動作を取り上げて説明する。なお、本実施形態で説明するフィードバックシステムは、運動上達や高いパフォーマンスの発揮のためだけに限定されるものではなく、リハビリテーション、技能伝承等に利用することもできる。
センシング部131は、一次被検者及び二次被検者に取り付けられる複数の筋電位センサ110と少なくとも1つの心電位センサ120からの信号をセンシングする。また、センシング部131は、胸部から取得される信号をセンシングしてもよいし、胸部から得られる信号に代えて手首から得られる信号をセンシングしてもよいし、胸部から得られる信号と手首から得られる信号とをセンシングし両者のセンシング結果からどちらか一方のセンシング結果を利用するようにしてもよい。なお、心電位センサ120を取り付ける被験者(動作主体)は人に限定されるものではなく、動作主体であれば例えば人以外の動物であっても構わない。複数の筋電位センサ110と少なくとも1つの心電位センサ120は、電極等で構成され、各筋電位センサ110は筋の活動レベルに応じた筋電位信号(生体情報)を出力し、各心電位センサ120は心電位信号(生体情報)を出力する。例えば、複数の筋電位センサ110と心電位センサ120はウェアに取付けられたウェアラブルセンサであって、各筋電位センサ110と心電位センサ120は一次被検者及び二次被検者の体の胸等に対応するようにウェアに取付けられている。これにより、複数の筋電位センサ110と心電位センサ120は一次被検者及び二次被検者の体の複数箇所からの筋の活動レベルに応じた筋電位信号と一次被検者及び二次被検者の胸等からの心電位信号(一次被検者からの一次生体情報及び二次被検者からの二次生体情報)を出力することができ、例えば、投球動作開始前から投球動作終了までの一定期間(即ち所定運動中)にわたる筋と心電位信号を出力することができる。また、複数の筋電位センサ110をリストバンド、グローブ等に取り付け、リストバンド、グローブ等の装着位置に応じた筋の活動レベルに応じた筋電位信号を取得するようにしてもよい。また、心電位センサ120をリストバンド、ヘアバンド等に取り付け、リストバンド、ヘアバンド等の装着位置から心電位信号を取得するようにしてもよい。なお、一次生体情報は、上記した心電位信号だけに限定されるものではなく、心電位信号、脈波、呼吸、発汗、脳波、眼球運動、及び瞳孔径のうちの少なくとも一つを一次生体情報とすることができる。
図2は、センシング部の一例を示す図である。
複数の筋電位センサ110と心電位センサ120からの複数の筋電位信号と複数の心電位信号はセンシング部131に入力される。図2に示すように、センシング部131は、信号増幅器131a等を備え、センシング部131は、信号増幅器131aにより増幅された複数の筋電位信号と心電位信号をセンシングし、例えば、投球動作開始前から投球動作終了までの一定期間にわたる筋電位データと心電位データを取得する。
例えば、一次被検者に複数の筋電位センサ110と心電位センサ120を取り付け(一次被検者が複数の筋電位センサ110と心電位センサ120が取り付けられたウェアを着用し)、センシング部131が一定期間にわたる筋電位データと心電位データ(一次生体情報)を取得する。同様に、二次被検者に複数の筋電位センサ110と複数の心電位センサ120を取り付け(二次被検者が複数の筋電位センサ110と心電位センサ120が取り付けられたウェアを着用し)、センシング部131が一定期間にわたる筋電位データと心電位データ(二次生体情報)を取得する。なお、一次被検者と二次被検者が同一のウェアを着用してもよいし、一次被検者と二次被検者の体格が異なる場合には異なるウェアを着用してもよいが、この場合、各ウェアにおける複数の筋電位センサ110と複数の心電位センサ120の取り付け位置は実質的に対応する同一の位置となる。
例えば、一次被検者とは、上級者又はプロの投手等であり、二次被検者とは、野球の投球技術を上達したい者(上達志望者)である。上級者又はプロの投手1人からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよいし、上級者又はプロの投手100人からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよい。例えば、統計的に上級者又はプロの投手100人からの筋電位データと心電位データを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データを一次被検者からの筋電位データと心電位データとしてもよい。
また、同一人物の100回の投球動作中の筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよい。例えば、上級者又はプロの投手1人の100回の投球動作からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとしてもよいし、一次被検者と二次被検者とを同一人物(上達志望者)とし、上達志望者の100回の投球動作(例えば練習中の投球動作)からの筋電位データと心電位データを取得し一次被検者からの筋電位データと心電位データとし、上達志望者の1回の投球動作(例えば試合本番の投球動作)からの筋電位データと心電位データを取得し二次被検者からの筋電位データと心電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外(不調時)に二次被検者となる方法が考えられる。また、統計的に100回の投球動作(例えば練習中の投球動作)からの筋電位データと心電位データを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データを一次被検者からの筋電位データと心電位データとしとし、上達志望者の1回の投球動作(例えば試合本番の投球動作)からの心電位データを取得し二次被検者からの心電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外(不調時)に二次被検者となる方法が考えられる。また、統計的に100回の投球動作からの筋電位データと心電位データとを処理し理想の筋電位データと心電位データを算出し、算出された筋電位データと心電位データとを一次被検者からの心電位データとしてもよい。
図3は、状態判定部の一例を示す図である。
図3に示すように、状態判定部132は、判定器132a、運動と心理状態記憶部132b、切り替え器132c、比較器132dを備える。例えば、判定器132aは、一次被検者からの筋電位データと心電位データに基づき一次被検者の運動と心理状態を判定し、切り替え器132cは、オペレータからの入力(一次被検者からの情報入力指示)に基づき、一次被検者の運動と心理状態を運動と心理状態記憶部132bへ送り、運動と心理状態記憶部132bは一次被検者の運動と心理状態を基準運動状態と基準心理状態として記憶する。また、判定器132aは、二次被検者からの筋電位データと心電位データに基づき二次被検者の運動状態と心理状態を判定し、切り替え器132cは、オペレータからの入力(二次被検者からの情報入力指示)に基づき、二次被検者の運動状態と心理状態を比較器132cへ送る。比較器132cは、一次被検者の運動状態と心理状態と二次被検者の運動状態と心理状態とを比較し、比較結果(差異)を出力する。例えば、一次被検者の運動状態と心理状態に対する二次被検者の運動状態と心理状態(運動状態と心理状態の良し悪し)を出力する。なお、比較結果は、一次被検者と二次被検者の筋電位データおよび心電位データや、運動状態と心理状態とを示す値の変化量等を含んでもよい。
図4は、運動状態と心理状態とのフィードバックシステム100のフィードバック装置140の一例を示す図である。
フィードバック装置140は、信号生成部141と、合成音/画像生成部142と、を備える。
信号生成部141は、状態判定部132から出力された運動状態と心理状態と(運動状態と心理状態との良し悪し)を示す信号や、筋電位データおよび心電位データや、運動状態と心理状態とを示す値の変化量等を受信する。信号生成部141は、受信した運動状態および心理状態、筋電位データおよび心電位データや、運動状態および心理状態を示す値の変化量に基づいて、運動状態および心理状態が良いことを示すものであるか判断する。受信した信号が、運動状態と心理状態とが良いことを示すものである場合、信号生成部141はフィードバックを誇張する信号を出力する。受信した信号が、運動状態と心理状態とが良い事を示すものでない場合、信号生成部141は、フィードバックを矮小する信号を出力する。
フィードバックを誇張する信号は、例えば、受信した判定結果をより良い判定とした信号であってもよく、誇張度合のレベルや誇張した物理量を示す信号であってもよい。また、フィードバックを誇張する信号は、誇張するための音響信号や画像(映像)信号を含んでいてもよい。フィードバックを矮小する信号は、例えば、受信した判定結果をより悪い判定とした信号であってもよく、矮小度合のレベルや矮小した物理量を示す信号であってもよい。また、フィードバックを矮小する信号は、矮小するための音響信号や画像(映像)信号を含んでいてもよい。
なお、上記の例では、信号生成部141は、運動状態および心理状態が良いか悪いかにより、フィードバックを変更するように信号を出力していたが、運動状態と心理状態との判定結果は3以上の段階であってもよく、その場合には、信号生成部141は、段階的にフィードバックを誇張或いは矮小する信号を出力する。
合成音/画像生成部142は、信号生成部141からフィードバックを誇張或いは矮小する信号を受信する。合成音/画像生成部142は、受信した信号に応じて、筋電位データ、心電位データ、音、音声、等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つを誇張或いは矮小して、外部の出力装置200へ出力する。なお、合成音/画像生成部142には必要に応じて外部から画像(又は映像)或いは音響信号が入力され、これらの画像或いは音響信号を合成することができる。出力装置200は、例えば液晶表示装置などの表示装置やスピーカやイヤホン等を含む。
以下、図5A及び図5Bを参照して、運動状態の判定処理と心理状態の判定処理について分けて説明するが、これら判定処理は独立した処理であってもよいし、一方の判定結果を他方の判定結果に反映させるような関連した処理であってもよい。
図5Aは、運動と心理状態判定装置130による運動状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部131は、一次被検者から一次生体情報(筋電位データ)を取得し(ST11A)、判定器132aは、一次被検者の一次生体情報から運動状態を判定し(ST12A)、運動と心理状態記憶部132bは、一次被検者の運動状態を記憶する(ST13A)。例えば、一人の一次被検者からの一次生体情報に基づく運動状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の運動状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の運動状態として記憶してもよい。
続いて、センシング部131は、二次被検者から二次生体情報(筋電位データ)を取得し(ST14A)、判定器132aは、一次被検者の一次生体情報から運動状態を判定し(ST15A)、比較器132dは、一次被検者からの運動状態と二次被検者からの運動状態とを比較し(ST16A)、比較結果を出力する(ST17A)。例えば、一次被検者の運動状態の変化特性と二次被検者の運動状態の変化特性に基づき、一次被検者の運動状態と二次被検者の運動状態とを対応付けて、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器132dは、一次被検者の運動状態に対する二次被検者の運動状態(運動状態の良し悪し、筋肉の使い方の良し悪し)を出力する。例えば、投球動作中の一次被検者からの筋電位データと実質的に同一の投球動作中の二次被検者からの筋電位データは、特定の動作タイミングで類似の特徴量を含む。「特定の動作タイミング」とは、一連の動作イベントからなる動作(例えば、投球動作)における特定の動作イベント(例えば、足挙げやボールリリースなど)のタイミング(時間または時間区間)を意味する。時系列の一次被検者の筋電位データと時系列の二次被検者の筋電位データから特定の動作タイミングで得られた特徴量を抽出し、一次被検者の筋電位データと二次被検者の筋電位データから抽出された特徴量に基づき、一次被検者の筋電位データと二次被検者の筋電位データを対応付けて、筋電位データの比較、筋電位データの差分検出が可能となる。
例えば、一人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、一人の一次被検者の運動状態に対する二次被検者の運動状態(筋肉の使い方等)の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の運動状態と二次被検者の運動状態とを比較し、各一次被検者の運動状態に対する二次被検者の運動状態(筋肉の使い方等)の良し悪しを出力することもできる。
本実施形態では、運動と心理状態記憶部132bが、基準(正解)となる運動状態を保持するケースについて説明したが、基準となる運動状態をサーバ等から受信し、受信した運動状態を用いるようにしてもよい。
図5Bは、運動と心理状態判定装置130による心理状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部131は、一次被検者から一次生体情報(心電位データ)を取得し(ST11B)、判定器132aは、一次被検者の一次生体情報から心理状態を判定し(ST12B)、運動と心理状態記憶部132bは、一次被検者の心理状態を記憶する(ST13B)。例えば、一人の一次被検者からの一次生体情報に基づく心理状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の心理状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の心理状態として記憶してもよい。
続いて、センシング部131は、二次被検者から二次生体情報(心電位データ)を取得し(ST14B)、判定器132aは、一次被検者の一次生体情報から心理状態を判定し(ST15B)、比較器132dは、一次被検者からの心理状態と二次被検者からの心理状態とを比較し(ST16B)、比較結果を出力する(ST17B)。例えば、一次被検者の心理状態の変化特性と二次被検者の心理状態の変化特性に基づき、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器132dは、一次被検者の心理状態に対する二次被検者の心理状態(心理状態の良し悪し)を出力する。
例えば、一人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、一人の一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、各一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを比較結果として出力することもできる。また、複数人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、各一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを出力することもできる。なお、状態判定部は、心理状態とともに二次被験者の心電位をフィードバック装置140へ出力してもよい。
また、試合本番中の第1の時刻(5回の守備)における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第1の心理状態を判定し、試合本番中の第2の時刻(7回の守備)における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第2の心理状態を判定し、第1の心理状態と第2の心理状態を比較し、比較結果として、時間経過(例えば疲労)による二次被検者の心理状態の変化を出力することもできる。
本実施形態では、運動と心理状態記憶部132bが、基準(正解)となる心理状態を保持するケースについて説明したが、基準となる心理状態をサーバ等から受信し、受信した心理状態を用いるようにしてもよい。
次に、筋電位データ(運動状態)と心電位データ(心理状態)との関係性を利用した判定処理の一例について説明する。過度の緊張はスムーズな運動を阻害することが知られている。例えば、運動と心理状態判定装置130は、心理状態が運動状態に悪影響を及ぼしているか否かを判定することができる。
図5Cは、運動と心理状態判定装置での心電位データによる筋電位データへの影響の判定処理の一例を示すフローチャートである。
状態判定部132は、一次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係(例えば理想的な関係)を分析する(ST11C)。同様に、状態判定部132は、二次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係(例えば理想的ではない関係)を分析する(ST12C)。
状態判定部132は、一次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係と、二次被検者の筋電位データ(運動状態)と心電位データ(心理状態)の関係を比較し(ST13C)、二次被検者の心電位データ(心理状態)による筋電位データ(運動状態)への影響を判定する(ST14C)。例えば、緊張により運動が乱れているなどを判定することができる。
また、統計的に、心電位データの変化に応じた筋電位データの変化を捉えることにより、心電位データが筋電位データに影響を及ぼしたことを判定することができる。また、このときの心電位データと筋電位データの関係から、心電位データが筋電位データに影響を及ぼしている状態を検出(判定)することもでき、その結果を出力することもできる。
例えば、投手Aの練習中の筋電位データと心電位データ(一次被検者の筋電位データと心電位データに相当)を蓄積し、状態判定部132は、蓄積した投手Aの練習中の筋電位データ(運動状態)と心電位データ(心理状態)と、投手Aの試合中の筋電位データ(運動状態)と心電位データ(運動状態)(二次被検者の筋電位データと心電位データに相当)とを比較する。つまり、同一人物の過去に蓄積された筋電位データと心電位データ(運動状態と心理状態)と、現在の筋電位データと心電位データ(運動状態と心理状態)を比較する。過去(練習中)の運動状態(及び心理状態)に対して現在(試合中)の運動状態(及び心理状態)が悪い場合、心理状態が影響し運動状態が悪くなっていると判定する。即ち、同一人物の運動状態が極端に悪化していることから、その原因は心理状態にあると判定している。また、過去と現在の時間差が小さい場合に限り、その原因は心理状態にあると判定してもよい。
なお、上記説明では、筋電位データと心電位データをセンシングするケースについて説明したが、心電位データのセンシングは必須ではない。例えば、状態判定部132が、筋電位データに基づく運動状態の判定結果から心理状態を判定するようにしてもよい。例えば、統計的に、運動状態の判定結果から心理状態を判定することができる。また、練習時の運動状態と試合時の運動状態とを比較して比較結果から心理状態の変化を判定することもできる。さらに、運動状態の変化から心理状態の変化を判定することもできる。例えば、試合前半等(第1の時間)の運動状態と試合後半等(第2の時間)の運動状態の変化から心理状態の変化を判定することができる。
図6Aは、フィードバック装置140による運動状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部141が、判定結果を受信する(ステップST21A)。信号生成部141は、判定結果(運動状態の良し悪し、筋電位心電位データ、運動状態を示す値の変化量等)から、二次被験者の運動状態(筋肉の使い方等)が良いか悪いかを判断する(ステップST22A)。信号生成部141は、受信した信号が、運動状態が良いこと、或いは、筋肉の使い方が良いことを示すものである場合、フィードバックを誇張する信号を合成音/画像生成部142へ出力する。信号生成部141は、受信した信号が、運動状態が良い事、或いは、筋肉の使い方が良いことを示すものでない場合、フィードバックを矮小する信号を合成音/画像生成部142へ出力する。
合成音/画像生成部142は、信号生成部141からフィードバックを誇張或いは矮小する信号を受信する。合成音/画像生成部142は、フィードバックを誇張する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つを含む信号を誇張して(ステップST23A)、外部の出力装置200へフィードバック信号を出力する。合成音/画像生成部142は、フィードバックを矮小する信号を受信した場合、筋電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも1つを含む信号を矮小して(ステップST24A)、外部の出力装置200へフィードバック信号を出力する。
なお、フィードバックを誇張する場合、合成音/画像生成部142は、筋電位をより良い値に修正して出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音/画像生成部142は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。
フィードバックを矮小する場合、合成音/画像生成部142は、筋電位をより悪い値に修正して出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音/画像生成部142は、二次被験者の運動状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号等の音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。
図6Bは、フィードバック装置140による心理状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部141が、判定結果を受信する(ステップST21B)。信号生成部141は、判定結果(心理状態の良し悪し、心電位データ、心理状態を示す値の変化量等)から、二次被験者の心理状態が良いか悪いかを判断する(ステップST22B)。信号生成部141は、受信した信号が、心理状態が良いことを示すものである場合、フィードバックを誇張する信号を合成音/画像生成部142へ出力する。信号生成部141は、受信した信号が、心理状態が良い事を示すものでない場合、フィードバックを矮小する信号を合成音/画像生成部142へ出力する。
合成音/画像生成部142は、信号生成部141からフィードバックを誇張或いは矮小する信号を受信する。合成音/画像生成部142は、フィードバックを誇張する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つを含む信号を誇張して(ステップST23B)、外部の出力装置200へフィードバック信号を出力する。合成音/画像生成部142は、フィードバックを矮小する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも1つを含むフ信号を矮小して(ステップST24B)、外部の出力装置200へフィードバック信号を出力する。
なお、フィードバックを誇張する場合、合成音/画像生成部142は、心電位をより良い値に修正して出力してもよく、良い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音/画像生成部142は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。
フィードバックを矮小する場合、合成音/画像生成部142は、心電位をより悪い値に修正して出力してもよく、悪い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音/画像生成部142は、二次被験者の心理状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号等の音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。
図6Cは、心電位データによる筋電位データへの影響(関連性)のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部141が、判定結果を受信する(ステップST21C)。信号生成部141は、判定結果に心電位データによる筋電位データへの影響(関連性)が含まれているか判断する(ステップST22B)。信号生成部141は、受信した信号が、心電位データによる筋電位データへの影響(関連性)を含むものである場合、心電位データによる筋電位データへの影響(関連性)があることをフィードバックするための信号を出力する。信号生成部141は、受信した信号が、心電位データによる筋電位データへの影響(関連性)を含むものでない場合、処理を終了する。
合成音/画像生成部142は、信号生成部141から心電位データによる筋電位データへの影響(関連性)をフィードバックするための信号を受信する。合成音/画像生成部142は、心電位データによる筋電位データへの影響(関連性)をフィードバックするための信号を受信した場合、筋電位、心電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つとともに、関連性があることを示す通知を出力する(ステップST23C)。
なお、関連性があることを示す通知は、例えば音や音声により関連性をフィードバックするための音響信号であってもよく、画像や映像により関連性をフィードバックするための画像(映像)信号でもよく、例えば所定のランプを点灯させて関連性をフィードバックするための信号であってもよく、これらを組み合わせても構わない。
以下、センシング部131と状態判定部132についてまとめる。ここでは、心理状態のセンシングと判定と比較だけでなく、運動状態のセンシングと判定と比較についても説明する。
1.センシング部131
センシング部131は、一人ないし複数の対象から生体情報(運動信号及び心理信号)を計測する。生体情報をどのような手段で取得するかは問わない。
<運動信号のセンシング>
センシング部131は、一つないし複数の筋から、筋電位信号(生体電極)を計測する。さらに、センシング部131は、一箇所ないし複数の部位の加速度信号(加速度センサ)や圧力信号(圧力センサ)、関節角度信号(曲げセンサ)を計測することもできる。
<心理信号のセンシング>
センシング部131は、例えば心理状態を判定するために、自律神経活動を計測することもできる。例えば、センシング部131は、心電位信号(生体電極)や脈波(光センサ)を計測する。これにより、自律神経活動(興奮/リラックス)を検出できる。
また、センシング部131は、その他の生理反応を計測することもできる。例えば、センシング部131は、呼吸や発汗、脳波、眼球運動、瞳孔径を計測する。これにより、情動(興奮/リラックス)や感情(サプライズや選好)、注意、意図などを検出できる。
野球の装備で考えられる計測対象として、ヘルメット、帽子(脳波)、サングラス(眼球運動(注視方向、マイクロサッケード)、瞳孔径)、手袋(発汗、脈波、圧、加速度)、アンダーウェア(筋電、心電、呼吸、加速度)、シューズ(発汗、脈波、圧、加速度)がある。
2.状態判定部132
<(運動)判定器132a>
判定器132aは、計測された筋電位信号などから、下記のような運動状態を判定する。
判定器132aは、運動パターン(コツや力み)を判定する。例えば、判定器132aは、ある動き(加速度や関節角度の変化)に対する筋活動パターンや筋活動の相互タイミングなどを判定する。
判定器132aは、姿勢パターン(バランス)を判定する。例えば、判定器132aは、足底圧力の変化に対する筋の組み合わせの活動状態や活動タイミングなどを判定する。例えば、判定器132aは、スキーのときの足底の圧力変化と筋の使い方などを判定する。
判定器132aは、筋疲労度を判定する。例えば、判定器132aは、一つないし複数の筋電位信号を周波数解析することで判定(疲労すると、筋活動のパワーが低周波帯域にシフトする)する。例えば、この判定結果は、選手の交代時の判断に用いることができる。
<(運動)比較器132d>
比較器132dは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、特定の対象である一次被検者の運動状態と二次被検者の運動状態とを比較する。事前に、判定器132aが、特定の上級者や一流選手など(手本)の一次被検者の運動状態を判定し、比較器132dは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器132dは、ある集団の一次被検者から得られた運動状態と二次被検者から得られた運動状態を比較する。例えば、事前に、判定器132aが、ある集団の一次被検者から得られる運動状態(平均パターン、データマイニングで特徴づけられたパターンなど)を判定し、比較器132dは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器132dは、自分(二次被検者)を一次被検者とし、一次被検者の運動状態と二次被検者の運動状態とを比較する。比較器132dは、普段(練習等で100球投げたときの平均値)の運動状態と現在(試合等の本番)の運動状態とを比較する。
また、比較器132dが、パートナー間の運動状態の関係を比較(判定)するようにしてもよい。例えば、判定器132aが、投手と打者の運動状態(例えば力み度)を判定し、比較器132dは、投手と打者の運動状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。
<(心理状態)判定器132a>
判定器132aは、心電位信号や脈波から得られる心拍数や血流の変動(ゆらぎ)を周波数解析することで自律神経状態(交感神経と副交感神経の活動のバランス=緊張/リラックス)を判定できる(例えば、非特許文献3)。緊張/リラックス状態を定量化する手法として、例えば、心拍数変動の低周波数成分(LF: 0.05-0.15 Hz)と高周波数成分(HF: 0.15-0.4 Hz)を算出して、HFはリラックス度、LF/HFは緊張度、として評価することができる。
他に、判定器132aは、呼吸や発汗、脳波、眼球運動、瞳孔径などから、情動(興奮/リラックス)や感 情(サプライズや選好)、注意、意図などの状態も判定できる
<(心理状態)比較器132d>
比較器132dは、心理状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、ある集団の一次被検者から得られた自律神経状態と二次被検者から得られた自律神経状態を比較する。例えば、事前に、判定器132aが、ある集団の一次被検者から得られる自律神経状態(平均値、データマイニングで特徴づけられた値など)を判定し、比較器132dは、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。
また、比較器132dは、自分(二次被検者)を一次被検者とし、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。比較器132dは、第1の状況(普段、例えば練習中)での自律神経状態と第2の状況(現在、例えば試合等の本番中)での自律神経状態とを比較する。
また、比較器132dは、パートナー間の心理状態の関係を比較(判定)する。例えば、判定器132aが、投手と打者の心理状態を判定し、比較器132dは、投手と打者の心理状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。
<(運動状態と心理状態)比較器132d>
比較器132dは、運動状態や自律神経状態を組み合わせることで、「自律神経状態と運動状態の関係性」を比較(判定)する。例えば、緊張すると、運動が乱れるなどの関係がわかる。
続いて、運動状態と自律神経の状態の判定について詳しく説明する。
事例1として、実戦におけるプロの投手の総合的な状態モニタリングについて説明する。
1.投手Aが上下半身両方に、筋電位センサ110(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身に心電位センサ120(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身用のウェアには筋電位を計測するために、例えば、着用者の腕、肩、胸囲、腰に対応する複数箇所に筋電位センサ110が配置されている。また、上半身用のウェアには心電位を計測するために、例えば、着用者の心臓周囲に対応する箇所に心電位センサ120が配置されている。下半身用のウェアには、下半身の疲労度を測定するために、着用者の臀部(下肢のその他の筋でもよい)の筋電位を計測するために、着用者の臀部に対応する複数箇所に筋電位センサ110が配置されている。
2.状態判定部132は、上半身及び下半身の筋電位を周波数解析し、筋の疲労度合いを推定することができる。一方で、状態判定部132は、心電位に基づく心拍変動の解析から、投手の交感神経と副交感神経の活動バランスを推定することができる。
3.筋電位センサ110、心電位センサ120、及びセンシング部131は、普段の練習および試合から投手Aの筋電位および心電位を継続的に測定し、以下に列挙するような様々な状況におけるデータを長期的に取り貯める。
3.1 ブルペンで打者が立っていない非実戦的な状況
3.2 打者と対戦する状況(練習)
3.3 打者と対戦する状況(試合)
以上の状況から取得した以下のようなデータを、生体状態推定器として機能する状態判定部132に投入する。状態判定部132は、「4.1」、「4.2」、及び「4.3」を入力として直近の将来の投球パフォーマンスを推定するためのモデルを逐次更新する。
3.4.1 筋電位から推定される客観的筋疲労度
3.4.2 全身の筋活動パターンから推定される運動連鎖の効率
3.4.3 心拍変動から推定される自律神経活動バランス
3.4.4 投球速度、コントロールのばらつき等のパフォーマンス指標
<ユーザ使用例1:実戦場面を想定>
上記3.4.1〜3.4.4の情報は、二次被検者(データを測定されている本人)、および周囲の人間が常時モニターできる状態にある。つまり、フィードバック装置140が、上記3.4.1〜3.4.4の情報を出力する。
4.試合前半:投手Aは、試合開始直後(立ち上がり)のパフォーマンスが不安定であることが課題の一つである。長期的なデータ計測から、心電位から推定されるメンタルの状態が過緊張状態に陥ることが、頻繁に生じることがわかっている。さらに、過緊張状態と投球パフォーマンスの低下に相関があることもわかっている。そのため、試合中にそのような状況に陥った場合、投手コーチが「間を取る」などの対応をすることによって、投手Aが大きくパフォーマンスを乱すことは少なくなった。
5.試合中盤:疲労が増大していることが、モニターしている筋電位データから推測されるが、筋活動から推測される筋状態は良い状態を保っていると推測される場合(例えば疲労の蓄積は小さいと推測される場合)、首脳陣は続投させることを決断する。
6.試合後半:筋疲労、メンタル面双方において、状態の劣化が推定され、全身の筋活動パターンにも疲労時特有のパターンが見られた場合、打者に打ち込まれる前に、投手Aを降板させることを決断する。
7.上記のような使用により、より良いタイミングでの選手交代が可能となるだけでなく、無理をさせる機会が減ることによるケガのリスク減少も期待できる。
<ユーザ使用例2:試合で生じた課題を練習で克服する>
8.投手Aには、試合で普段の練習通りのパフォーマンスを発揮できないという課題がある((メンタルが影響しているのかもしれないが)フィジカルに原因があるのではないかと周囲の人間は推測している)。
9.上記課題を克服するために、前項3.1〜3.3各々の投球時の、全身の筋活動パターン、自律神経活動バランスおよび投球パフォーマンス指標を比較する。
10.その結果、投手Aはブルペンでの投球時のみ非常にリラックスした状態で投球をしており、打者との対戦シーン、特に試合での対戦シーンにおいて、メンタル面での変動が大きいことが判明する。さらには、メンタル面の変動を生じさせる試合状況もピックアップできる。
11.投手Aは「10.」のフィードバックを受けて、当該試合状況下における対応(状況の整理、気持ちの持ち方等)を指導者と議論する。さらに、練習において、当該状況を再現した実戦練習を行うことで、試合時のパフォーマンスの不安定さを改善することが期待できる。
事例2として、オーバートレーニング予防としての心拍変動解析について説明する。
12.若手野球選手A(投手)は、シーズン中に、多くの試合と並行して、高強度なトレーニングを行わなくてはならない。疲労が蓄積した状態で試合に望むと、パフォーマンスを発揮できないだけでなく、ケガのリスクを増大させることにもつながる。そのため、当日の選手のコンディションをモニタリングすることで、流動的にその日の登板可否を判断する仕組みが有用となる。
13.起床時の心電位から得られる心拍変動データからオーバートレーニング症候群を検知する。
若手野球選手Aは起床時から日常的に心電位および筋電位を計測することで、心拍変動および筋電位データを継続的に取り貯めている。オーバートレーニングに陥った選手には、起床時の心拍数増大や心拍変動の減少が見られることが報告されている。また、筋電位から推定される筋疲労度合いと、心拍変動から推定される疲労度には関連があることも報告されている。これらと本人の主観的な疲労度と合わせて、コンディショニングコーチは投手Aの登板可否を当日の朝に判断する。
同時に、同様の測定において最もコンディションが良いと推定される投手Bを若手野球選手Aの代わりに登板させることを決定する。
図7は、合成音/画像生成部の構成の一例を示すブロック図である。
まず概要を説明する。この実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。
「動作主体」は人であってもよいし、人以外(例えば、動物)であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体(フィードバック対象の動作主体を含む)とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体(フィードバック対象の動作主体を含む)などである。
複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の1回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位(例えば、上半身や足など)の画像であってもよい。
「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与(寄与)する単数または複数の筋の筋電位(例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位)を含む。信号生成部141の出力が誇張或いは矮小した筋電位信号である場合には、信号生成部141の出力は筋電位信号として可視化装置11に入力されてもよい。
「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値(例えば、単調増加関数値)である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの(周波数スペクトル等)でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。
複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。
複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。
「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、(F−1)縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、(F−2)横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、(F−3)横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の(F−1)〜(F−3)の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。
「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値(割った値)とした場合、拮抗筋の活動水準(主動筋活動に対する拮抗筋活動の割合)を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。
「筋活動度画像」が複数の筋電位から得られる複数の筋(例えば、ある動作主体の動作または一連の動作に関与する複数の筋)の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報(例えば、筋活動の開始タイミングのばらつきや相対値や適切さ)を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、(F−4)各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、(F−5)各筋に対応する識別子(番号等)を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、(F−6)複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、(F−7)複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、(F−8)複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。
筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。
「特定の動作タイミング」とは、一連の動作イベントからなる動作(例えば、投球運動)における特定の動作イベント(例えば、足挙げやボールリリースなど)のタイミング(時間または時間区間)を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。
なお、「複数の心電位」、「心活動度画像」、「心活動度」、複数の心活動度の「ばらつき」、複数の心活動度の相対値、についても、「複数の筋電位」、「筋活動度画像」、「筋活動度」、複数の筋活動度の「ばらつき」、複数の筋活動度の相対値に関する上記記載と同様に説明することができる。
例えば、「複数の心電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。「複数の心電位」は、例えば、「複数の画像」に表された動作主体の動作に関与(寄与)する単数または複数の心電位を含む。信号生成部141の出力が誇張或いは矮小した心電位信号である場合には、誇張或いは矮小した心電位信号は心電位信号として可視化装置11に入力されてもよい。
「心活動度画像」は、例えば、複数の心活動度の関係から得られる値を表す画像、複数の心活動度のばらつきを表す画像、複数の心活動度の相対値を表す画像、または複数の心活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の心活動度のそれぞれが、複数の心電位のそれぞれに対応する。「心活動度」は、心電位またはその関数値である。心電位の関数値の例は、心拍数であり、所定の時間区間での心拍数を「心活動度」とすることができる。あるいは、「心活動度画像」が、心活動度を周波数領域に変換して得られた複数の値に由来するもの(周波数スペクトル等)でもよい。以上のような画像により、動作に伴う心活動の状態を可視的にフィードバックできる。
複数の心活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。
複数の心活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、もしくは「比率」、またはこれらの何れかの関数値である。
以下、図面を用いて各実施形態を詳細に説明する。
[第1実施形態]
第1実施形態を説明する。
<構成>
図7に例示するように、合成音/画像生成部142は、例えば可視化装置11を有する。出力装置200は、画像提示装置12を有する。なお、可視化装置11の一部の構成は、信号生成部141に含まれていてもよい。可視化装置11は、動作タイミング検出部111と特徴量算出部112と特徴量記憶部113と動作タイミング照合部114と照合結果記憶部115と重畳画像作成部116と筋活動度(および心活動度)画像生成部117と合成部118とを有する。図8に例示するように、動作タイミング照合部114は、特徴量抽出部1141と類似度算出部1142と動作タイミング検出部1143と画像抽出部1144と筋活動度(および心活動度)抽出部1145と終了判定部1146とを有する。可視化装置11は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータ、スマートフォンやタブレットなどのモバイル端末が所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置12は、例えば、液晶ディスプレイ等の表示装置である。
<事前処理>
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部111に、特定の動作主体(例えば一次被験者)の一連の動作をカメラで撮影して得られた時系列の画像(映像)およびこの動作主体の一連の筋活動(および心活動)を測定して得られた時系列の筋電位を表す筋電位信号(および心電位を表す心電位信号)の少なくとも一方、ならびに、1個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号(および心電位信号)は、事前に得られて記憶装置(図示せず)に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。
筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋(主動筋や拮抗筋等)の近傍の単数または複数の測定箇所(例えば、皮膚表面)に電極(例えば筋電位センサ)を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、1個の測定箇所からは1系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
心電位信号は、電極等で構成された心電位センサにより測定される。各心電位センサは筋の活動レベルに応じた心電位信号(生体情報)を出力する。例えば、少なくとも1つの心電位センサは、一次被検者及び二次被検者の体の少なくとも1箇所(胸等)に対応するようにウェアに取付けられている。例えば、1個の測定箇所からは1系統の時系列の心電位を表す心電位信号が得られる。
タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、投球運動は「(a)脚上げ」「(b)踏み出し」「(c)接地」「(d)ボールリリース」といった複数の動作イベントからなる。このとき「(d)ボールリリース」の動作タイミングを表す時間(または時間区間)を指定するのであれば、投球運動の開始時(「(a)脚上げ」の開始時)に対する「(d)ボールリリース」の開始時(または開始時と終了時)の相対的な時間を指定してもよいし、「(d)ボールリリース」の開始時(または開始時と終了時)の絶対的な時間を指定してもよい。また、タイミング指定情報が2以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「(b)踏み出し」と「(d)ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。なお、タイミング指定情報は、一次被験者、例えば所定運動中の上級者やプロ(基準となる選手)の動作タイミングであってもよい。
動作タイミング検出部111は、入力された時系列の画像および/または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および/または筋電位信号(および心電位信号)を抽出する。動作タイミング検出部111は、タイミング指定情報で特定される時間または時間区間の画像および/または筋電位信号(および心電位信号)のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および/または筋電位信号(および心電位信号)を抽出してもよい。あるいは、動作タイミング検出部111は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および/または筋電位信号(および心電位信号)を抽出してもよい。例えば、タイミング指定情報が、投球動作における「(b)踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部111は、「(b)踏み出し」の開始時から終了時までの画像および/または筋電位信号(および心電位信号)のみを抽出してもよいし、さらに「(b)踏み出し」の開始時よりも前や後の時間区間の画像および/または筋電位信号(および心電位信号)を抽出してもよい。あるいは、「(b)踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および/または筋電位信号(および心電位信号)のみを抽出してもよい。抽出された画像および/または筋電位信号(および心電位信号)は特徴量算出部112に送られる。複数の動作タイミングに対して画像および/または筋電位信号(および心電位信号)が抽出された場合には、抽出された画像および/または筋電位信号(および心電位信号)とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される。
特徴量算出部112は、入力された画像および/または筋電位信号が表す筋電位に由来する特徴量(動作タイミングの特徴量)を算出し、或いは、入力された画像および/または心電位信号が表す心電位に由来する特徴量(例えば心拍数)を算出して出力する。入力された画像および/または筋電位信号(および心電位信号)が複数の動作タイミング(例えば、「(b)踏み出し」と「(d)ボールリリース」の動作タイミング)に対応する場合には、特徴量算出部112は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位(および心電位)に由来するものであってもよいし、画像と筋電位(および心電位)との両方に由来するものであってもよい。画像と筋電位(および心電位)との両方に由来する特徴量は、画像に由来する特徴量と筋電位(および心電位)に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位(および心電位)に対応する値との関数値(例えば、相対値)に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位(上半身や足等)の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。「心電位に対応する値」は、心電位または心電位の関数値である。「心電位に対応する値」は「心活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。
《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のMHIがある。以下にMHIによる特徴量を例示する。
ただし、H(x,y,t)は時間tでの座標(x,y)の特徴量(MHIのピクセル値)を表す。d(x,y,t)は動き検出関数であり、d(x,y,t)=1は時間tで画像の座標(x,y)のピクセル値に変化があったことを示す。大きいtほど新しい時間を表す。ρは正値の減衰量である。max(α,β)はα≧βのときαを返し、α<βのときにβを返す。H(x,y,t)の初期値は例えば0とする。例えば、動作タイミングが特定の時間tである場合、この時間tでのすべての座標(x,y)でのH(x,y,t)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)を要素とする集合を特徴量とする。例えば、野球の投球動作における、「(a)脚上げ」「(b)踏み出し」「(c)接地」「(d)ボールリリース」という4個の動作イベントにそれぞれ対応する時間tでのH(x1,y1,t),…,H(x2,y2,t)からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、この時間区間[t1,t2]でのすべての座標(x,y)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)でのH(x,y,t)(ただし、t=t1,…,t2)を要素とする集合を特徴量とする。あるいは、時間区間[t1,t2]でのすべての座標(x,y)でのH(x,y,t)を所定の時間区間Tごとに時間平均した値H(x,y,T)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてH(x,y,t)やH(x,y,T)を周波数領域に変換したものを特徴量としてもよい。
《動作タイミングの筋電位(および心電位)に由来する特徴量の例1》
動作タイミングで筋活動(および心電位)に特徴的な変化があるような場合(例えば、「(d)ボールリリース」で上肢筋活動に大きなピークが現れる)、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値の時間変化量、または、筋電位(および心電位)に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個(ただし、Iは1以上の整数)の測定箇所で得られた筋電位信号(および心電位信号)Vi(t)およびVi(t−1)(ただし、iは測定箇所に対応するチャネルi=1,…,I)が入力される場合、筋電位信号Vi(t),Vi(t−1)がそれぞれ示す筋電位の大きさMi(t),Mi(t−1)の時間変化量ΔMi(t)=Mi(t)−Mi(t−1)または時間変化量ΔM1(t),・・・,ΔMI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での時間変化量ΔMi(t)=Mi(t)−Mi(t−1)からなる集合を特徴量としてもよいし、時間変化量ΔMi(t)を所定の時間区間Tごとに時間平均した時間変化量ΔMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。
《動作タイミングの筋電位(および心電位)に由来する特徴量の例2》
入力された筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個の測定箇所で得られた筋電位信号Vi(t)が示す筋電位の大きさMi(t)またはM1(t),・・・,MI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での筋電位の大きさMi(t)からなる集合を特徴量としてもよいし、筋電位の大きさMi(t)を所定の時間区間Tごとに時間平均したMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。
《動作タイミングの画像と筋電位(および心電位)との両方に由来する特徴量の例1》
画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)との相対値や、H(x,y,T)とΔMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルiの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のH(x,y,t)とΔMi(t)との相対値(例えば、H(x,y,t)/ΔMi(t))や、このようなH(x,y,T)とΔMi(T)との相対値(例えば、H(x,y,T)/ΔMi(T))や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Tごとに時間平均して得られたH(x,y,T)とMi(T)との相対値や、H(x,y,T)とMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。
《動作タイミングの画像と筋電位(および心電位)との両方に由来する特徴量の例2》
画像に由来する特徴量と筋電位信号(および心電位信号)が表す筋電位(および心電位)に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とを要素とする集合や、H(x,y,t)とΔMi(t)とMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とMi(T)とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位(および心電位)との両方に由来する特徴量の例1の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。
上述のように得られた動作タイミングの特徴量は特徴量記憶部113に格納される。
<画像生成処理>
動作タイミング照合部114に、特定の動作主体の一連の動作(例えば、投球運動)をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動(および心活動)を測定して得られた時系列の筋電位(および心電位)を表す筋電位信号(および心電位信号)が入力される。これらの画像および筋電位信号(および心電位信号)は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの(単数の動作主体による複数回の動作過程で得られたもの)であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの(複数の動作主体による複数回の動作過程で得られたもの)であってもよい。複数の筋電位(および心電位)は、動作主体の単数の測定箇所で得られたものであってもよいし、筋電位については複数の測定箇所で得られたものであってもよい。動作タイミング照合部114は、特徴量記憶部113から読み出した特徴量を用い、入力された画像および筋電位信号(および心電位信号)から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位(および心電位)から特定の動作タイミングで得られた動作主体の複数の筋電位(および心電位)を抽出する。動作タイミング照合部114は、抽出した複数の筋電位(および心電位)のそれぞれに対応する筋活動度を得、複数の画像および筋活動度(および心活動度)を照合結果記憶部115に格納する。以下、この処理の詳細を例示する。
≪動作タイミング照合の詳細の例示≫
図8は、動作タイミング照合部114の構成の一例を示すブロック図である。
動作タイミング照合部114の特徴量抽出部1141に、動作タイミング照合の処理が未処理の時間区間[ts,te](ただし、ts<te)での時系列の画像および時系列の筋電位を表す筋電位信号(および心電位信号)の少なくとも一方が入力される。時間区間[ts,te]は、1回の一連の動作(例えば、投球動作)が行われる時間区間、またはそれと仮定された時間区間である。時間区間[ts,te]の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部1141は、時間区間[ts,te]に属する複数の時間または時間区間について、当該時間または時間区間での画像および/または筋電位信号(および心電位信号)が表す筋電位(および心電位)に由来する特徴量を算出して出力する。ただし、特徴量抽出部1141は、前述の特徴量算出部112と同じ方法で特徴量を算出する。特徴量は類似度算出部1142に送られる。
類似度算出部1142は、得られた各時間または各時間区間での特徴量と、特徴量記憶部113から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部113に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部1142は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部1143に送られる。
動作タイミング検出部1143は、時間区間[ts,te]内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部1143に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部1143は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部1144および筋活動度抽出部1145に送られる。
画像抽出部1144には、時間区間[ts,te]での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部1144は、動作タイミングを表す時間または時間区間での画像(特定の動作タイミングで得られた画像)を抽出し、照合結果記憶部115(図7)に格納する。
筋活動度(および心活動度)抽出部1145には、時間区間[ts,te]での時系列の筋電位(および心電位)を表す筋電位信号(および心電位信号)と動作タイミングを表す時間または時間区間とが入力される。筋活動度(および心活動度)抽出部1145は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号(および心電位信号)が表す筋電位および心電位(特定の動作タイミングで得られた動作主体の筋電位および心電位)に対応する値を筋活動度(および心活動度)として算出し、照合結果記憶部115に格納する。「筋活動度(および心活動度)」の例は前述の通りであり、例えば、筋電位(および心電位)の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。
終了判定部1146は、動作タイミング照合部114に入力された時系列の画像および筋電位信号(および心電位信号)に未処理の時間区間[ts,te]が存在するかを判定する。ここで、未処理の時間区間[ts,te]が存在する場合には動作タイミング照合の処理の最初に戻る。一方、未処理の時間区間[ts,te]が存在しない場合には動作タイミング照合の処理の処理を終了する。
以上により、照合結果記憶部115には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される(≪動作タイミング照合の詳細の例示≫の終わり)。
動作タイミングでのすべての画像と筋活動度とが照合結果記憶部115に格納されると、次に合成画像の生成に移る。
重畳画像作成部116(図7)は、照合結果記憶部115に格納された動作主体の複数の画像を読み出し、これらを重畳した重畳画像(特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像)を生成して出力する。重畳画像は合成部118に送られる。例えば、信号生成部141の出力が重畳する画像(又は映像)信号である場合には、信号生成部141の出力は画像(又は映像)信号として合成部118に入力されてもよい。例えば、信号生成部141の出力が画像等に重畳する文字データである場合には、信号生成部141の出力は重畳画像作成部116に入力されてもよい。
筋活動度(および心活動度)画像生成部117は、少なくとも、照合結果記憶部115に格納された複数の筋活動度(および心活動度)を読み出し、これら複数の筋電位度(および心電位度)に由来する筋活動度画像(および心活動度画像)を生成して出力する。以下に筋活動度画像(および心活動度画像)の具体例を示す。
≪筋活動度画像の例1≫
筋活動度画像(および心活動度画像)は、例えば、複数の筋活動度(および複数の心活動度)の関係から得られる値を表す画像を含む。このとき、複数の筋活動度(又は複数の心活動度)の関係から得られる値は、複数時刻において測定された複数の筋活動度(又は複数の心活動度)の関係から得られる値を含む。例えば、筋活動度画像(および心活動度画像)は、(1−a)複数の筋活動度(および心活動度)のばらつきを表す画像、(1−b)複数の筋活動度(および心活動度)の相対値を表す画像、または(1−c)複数の筋活動度(および心活動度)の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
(1−a)複数の筋活動度(および心活動度)のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度(および心活動度)のばらつきを表す画像である。このような画像は、筋電位(の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度(および心活動度)のばらつきを表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位(および心電位)に対応する複数の筋活動度(および心活動度)のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。
(1−b)複数の筋活動度(および心活動度)の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度(および心活動度)の相対値を表す画像である。具体的には、例えば1回目の動作での筋活動度(および心活動度)と2回目以降に行われた動作での筋活動度(および心活動度)との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度(および心活動度)の相対値を表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位(および心電位)に対応する複数の筋活動度(および心活動度)の相対値を表す画像である。
(1−c)複数の筋活動度(および心活動度)の相対値のばらつきを表す画像の例は、上述の(1−b)複数の筋活動度(および心活動度)の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。
≪筋活動度画像の例2≫
筋活動度(および心活動度)画像生成部117が、さらに照合結果記憶部115に格納された動作主体の複数の画像(特定の動作タイミングで得られた複数の画像)を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位(および心電位)のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像(および心活動度画像)を生成してもよい。統合特徴量の例は、前述の特徴量算出部112が算出する特徴量として例示した「画像と筋電位(および心電位)との両方に由来する特徴量」である。例えば、統合特徴量は、筋電位(および心電位)の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位(および心電位)に対応する筋活動度(又は心活動度)と、に由来する特徴量である。特徴量算出部112が生成する特徴量と筋活動度(および心活動度)画像生成部117が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像(および心活動度画像)の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像(および心活動度画像)の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
≪筋活動度画像の例3≫
その他、上述の筋活動度画像(および心活動度画像)の例1の何れかの画像と筋活動度画像(および心活動度画像)の例2の何れかの画像とが生成されてもよい。
合成部118は、入力された重畳画像および筋活動度画像(および心活動度画像)を合成して合成画像を生成して出力する。重畳画像と筋活動度画像(および心活動度画像)とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像(および心活動度画像)とを重畳する場合、筋活動度画像(および心活動度画像)に対応する筋の位置またはその近傍に当該筋活動度画像(および心活動度画像)を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置12はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動(および心活動)とを同時に表示できる。
図9は、合成音/画像生成部の構成の他の例を示すブロック図である。
まず概要を説明する。この実施形態では、筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。
「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。
「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係(例えば順序関係)などである。
「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値(例えば、単調増加関数値)である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。
複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。
複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位(複数回の動作を繰り返した過程で得られた筋電位)に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。
「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、(F−1)ばらつきの大きさを音響特徴(例えば、基本周波数、音色、音の大きさなど)にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、(F−2)ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号(例えば、ステレオ再生される左右の音響信号)である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の(F−1)や(F−2)の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。
「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値(割った値)とした場合、拮抗筋の活動水準(主動筋活動に対する拮抗筋活動の割合)が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。
「音響信号」が、複数の筋電位から得られる複数の筋(例えば、ある動作主体の動作または一連の動作に関与する複数の筋)の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報(例えば、筋活動の開始タイミングのばらつきや相対値や適切さ)を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、(F−3)互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、(F−4)複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、(F−5)複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋(拮抗筋)の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。
以下、図面を参照しつつ、各実施形態を詳細に説明する。
[第2実施形態]
第2実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。
<構成>
図9に例示するように、合成音/画像生成部142は、例えば、筋活動可聴化装置21を有し、出力装置200は音響信号提示装置22を有する。なお、可聴化装置21の一部は、信号生成部141に含まれていてもよい。本形態の筋活動可聴化装置21は、筋活動度抽出部211と関係由来情報抽出部212と音響信号合成部213とを有する。
図10は、可聴化装置21の構成の一例を示すブロック図である。
図10に例示するように、筋活動度抽出部211は、筋活動度算出部2111−nおよび2112−n(ただし、n=1,・・・,Nであり、Nは1以上の整数)を有する。関係由来情報抽出部212は、筋活動度変調部2121−n(ただし、n=1,・・・,N)を有する。音響信号合成部213は、音響信号生成部2131−n(ただし、n=1,・・・,N)と合成部2132とを有する。なお、N=1の場合には、音響信号合成部213が合成部2132を含まなくてもよい。本形態の可聴化装置21は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置22は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。
<処理>
以下、本形態の活動可聴化装置21の処理を説明する。
≪筋活動度抽出部211の処理≫
筋活動度算出部2111−nには主動筋の筋電位を表す筋電位信号(以下「主動筋電位信号」という)が入力され、筋活動度算出部2112−nには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号(以下「拮抗筋電位信号」という)が入力される。運動状態判定装置130の判定結果が筋電位信号を誇張又は矮小したものである場合には、判定結果は筋電位信号として筋活動度抽出部に入力されてもよい。筋活動度算出部2111−nと筋活動度算出部2112−nとの組には、ある動作に関与する主動筋と拮抗筋とからなる組(以下「筋の組」という)に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計N組の測定箇所(例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面)に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
筋活動度算出部2111−nは、入力された主動筋電位信号が表す筋電位に対応する筋活動度(以下「主動筋活動度」)を得て出力し、筋活動度算出部2112−nは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度(以下「拮抗筋活動度」)を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。
≪関係由来情報抽出部212の処理≫
筋活動度変調部2121−nに、筋活動度算出部2111−nから出力された主動筋活動度と筋活動度算出部2112−nから出力された拮抗筋活動度が入力される。筋活動度変調部2121−nは、入力された主動筋活動度と拮抗筋活動度との間の相対値(すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値)を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部2121−nは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部2121−nは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。
≪音響信号合成部213の処理≫
筋活動度変調部2121−nから出力された「力み指標」は音響信号生成部2131−nに入力される。音響信号生成部2131−nは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の(F−1)や(F−2)の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴(基本周波数、音色など)を変えることが望ましい。言い換えると、音響信号生成部2131−1〜2131−Nから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第1音響特徴にマッピングし、筋の組の違いを第2音響特徴(ただし、第2音響特徴は第1音響特徴と異なる)で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い(すなわち、音響信号を出力するスピーカの違い)で表してもよい。
音響信号生成部2131−1〜2131−Nから出力された音響信号は合成部2132に入力される。合成部2132はそれらを合成した音響信号を出力する。Nチャネルの音響信号を出力する場合には、音響信号生成部2131−1〜2131−Nから出力された音響信号を同期させた音響信号を出力する。なお、N=1の場合には、合成部2132は入力された音響信号をそのまま出力する。信号生成部141の出力が重畳する音響信号である場合には、音響信号として合成部2132に入力されてもよい。前述したように音響信号合成部213が合成部2132を含まない場合には、音響信号合成部213は音響信号生成部2131−1から出力された音響信号を出力する。
上述のように出力された音響信号は音響信号提示装置22に入力される。音響信号提示装置22は、入力された音響信号を音として出力する。Nチャネルの音響信号の場合、音響信号提示装置22はNチャネルの音響信号を音として出力する(例えば、ステレオ再生)。
<本形態の特徴>
以上のように、本形態の可聴化装置21は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、N≧2の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
(1)上記目的を達成するために、運動状態と心理状態とのフィードバック方法は、所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の運動状態と心理状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の運動状態と心理状態を判定し、前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態とを比較し、前記一次被検者の運動状態および心理状態と前記二次被検者の運動状態および心理状態の比較結果に応じて、より良い値に修正することで誇張された或いはより悪い値に修正することで矮小された筋電位データ、もしくは、より良い値に修正することで誇張された或いはより悪い値に修正することで矮小された心電位データに基づき、二次被験者へのフィードバック信号である画像信号を生成して出力する。