JP2009297240A - 学習支援装置および学習支援方法 - Google Patents

Abstract

【課題】身体運動をより短期間で学習することができる学習支援装置を提供すること。
【解決手段】学習支援装置１００は、身体運動を学習するための装置であって、ユーザの運動の外観を取得する外観運動計測部２００および外観運動取得部３３０と、外観から、ユーザの筋に発生した筋張力を算出する筋張力計算部３４０と、筋張力を、手本となる運動を行ったときに発生する筋張力と比較する提示対象指定部３５０および筋張力比較部３６０と、比較結果を提示する情報提示部３１０とを有する。
【選択図】図１

Description

本発明は、身体運動を学習するための学習支援装置および学習支援方法に関する。

従来、スポーツ等の身体運動の学習において、コーチの指導を受けたり、上級者の運動の姿を見たり、ビデオや鏡を活用して自分の運動の姿を見るということが広く行われている。ところが、特にこれから運動を始める初心者や、なかなか上達しない初級者は、言葉や運動の姿から目標となる運動をうまくイメージできない場合が多く、このような場合には上達は難しい。

そこで、特許文献１には、身体運動の手本となる人（モデル）とトレーニングを行うユーザとの間のフォームの差を解析する技術が開示されている。特許文献１記載の技術は、手本となる運動の外観（例えば、ゴルフスィングにおけるゴルフクラブのヘッドスピード）と、ユーザの運動の外観とを比較し、その差を提示する。これにより、ユーザは、手本となる運動と自分の運動との差異を認識することができる。
特開２００２−２５３７１８号公報 特開２００３−３３９６７３号公報 大武、山根、中村、「袈裟斬り動作の体性感覚に基づく主観評価と運動計測に基づく客観評価」、２１回日本ロボット学会学術講演会、２Ｊ２６、２００３

しかしながら、特許文献１記載の技術では、ユーザにとって、手本となる運動と自分の運動との差異を認識することはできても、なぜそのような差異が生じたか、どのようにすればその差異が縮まるのかを理解することは容易ではない。なぜなら、差異を縮めるには、各時点における身体の各部位の位置を上手くコントロールすることが必要であり、このコントロールは、力の入れ具合や力を入れるタイミングという、外観からは認識し難い要素の調整により実現されるものだからである。したがって、特許文献１記載の技術では、身体運動を短期間で学習することは困難である。

本発明は、かかる点に鑑みてなされたものであり、身体運動をより短期間で学習することができる学習支援装置および学習支援方法を提供することを目的とする。

本発明の学習支援装置は、身体運動を学習するための学習支援装置であって、ユーザの運動の外観に関する情報を取得する外観運動取得部と、前記外観に関する情報から、前記ユーザの筋に発生した筋張力を算出する筋張力計算部と、前記筋張力を、手本となる運動を行ったときに発生する筋張力と比較する筋張力比較部と、前記比較結果を提示する情報提示部とを有する。

本発明の学習支援方法は、身体運動を学習するための学習支援方法であって、ユーザの運動の外観に関する情報を取得するステップと、前記外観に関する情報から、前記ユーザの筋に発生した筋張力を算出するステップと、前記筋張力を、手本となる運動を行ったときに発生する筋張力と比較するステップと、前記比較結果を提示するステップとを有する。

本発明によれば、手本となる運動とユーザの運動との間の筋張力の差異が提示されるので、ユーザは、力の入れ具合や力を入れるタイミングをより的確に調整することができ、身体運動をより短期間で学習することができる。

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る学習支援装置の構成を示すブロック図である。実施の形態１は、本発明を、ゴルフクラブのスィングの学習を支援する学習支援装置に適用した例である。

図１において、学習支援装置１００は、外観運動計測部２００および制御端末３００から構成される。外観運動計測部２００は、例えば、後述する複数の計測機器の集合である。制御端末３００は、例えば、キーボード、マウスまたはタッチパネル等の入力装置と、液晶ディスプレイ等の表示装置とを備えたパーソナルコンピュータまたはワークステーションである。外観運動計測部２００および制御端末３００は、無線通信または有線通信により、互いに情報を送受信することが可能となっている。

外観運動計測部２００は、制御端末３００により制御され、ユーザの身体運動に伴って発生する運動情報を計測し、計測した運動情報を、制御端末３００に送信する。運動情報は、身体を外側から撮影した画像および身体の外部（表面を含む）に表出した物理量の計測データ（以下適宜「外観」と総称する）であり、後述する筋肉の動き等の身体内部に関する情報とは区別されるものである。外観運動計測部２００は、後述するように、通信回路を備えた、カメラおよび床反力計等の計測機器により実現される。

制御端末３００は、外観運動計測部２００から受信した運動情報から、ユーザの筋に発生した筋張力を算出し、手本となる運動を行ったときに発生する筋張力との比較結果をユーザに提示する。制御端末３００は、情報提示部３１０、データ保持部３２０、外観運動取得部３３０、筋張力計算部３４０、提示対象指定部３５０、筋張力比較部３６０、および画像生成部３７０を有する。

情報提示部３１０は、液晶ディスプレイ等の表示装置（図示せず）を有し、制御端末３００で生成された操作画面またはコンピュータグラフィックス（computer graphics：ＣＧ）を表示する。

データ保持部３２０は、制御端末３００で取得または生成される各種データを保持する。

外観運動取得部３３０は、外観運動計測部２００から受信した運動情報に基づいてユーザの計測結果一覧表４１０を生成し、データ保持部３２０に格納する。計測結果一覧表は、運動の外観の計測結果をまとめた情報である。また、外観運動取得部３３０は、計測結果一覧表４１０に基づいて、ユーザの外観運動情報４２０を生成し、データ保持部３２０に格納する。外観運動情報は、筋張力計算に必要な各種物理量をまとめた情報である。また、外観運動取得部３３０は、運動情報に基づいてユーザの外観の画像データ４３０を生成し、データ保持部３２０に格納する。

また、外観運動取得部３３０は、手本となる運動の外観の計測結果をまとめた手本の計測結果一覧表５１０と、手本の計測結果一覧表５１０に基づいて生成される手本の外観運動情報５２０と、手本となる運動の外観の画像データ５３０とを、予めデータ保持部３２０に格納している。

筋張力計算部３４０は、予め、ユーザの筋骨格モデル６１０と、手本となる運動の筋張力を計算するための筋骨格モデル（以下「手本の筋骨格モデル」という）６２０とを予め格納している。筋骨格モデルとは、骨格、筋、腱、および靭帯を、手本の運動を作り出す身体またはユーザの身体にできるだけ忠実に、かつ、運動学計算および力学計算に利用可能な形でモデル化した情報である。

また、筋張力計算部３４０は、ユーザの外観運動情報４２０に基づいて、ユーザの筋張力計算結果一覧表４４０を生成し、データ保持部３２０に格納する。筋張力計算結果一覧表は、時刻ごとの各筋の筋張力をまとめた情報である。また、筋張力計算部３４０は、ユーザの筋張力計算結果一覧表４４０に基づいて、ユーザの筋張力相対比情報４５０を生成し、データ保持部３２０に格納する。筋張力相対比情報は、時刻ごとの各筋の筋張力相対比をまとめたものである。筋張力相対比とは、筋張力を筋張力の最大値で除した値である。

また、筋張力計算部３４０は、手本の外観運動情報５２０と手本の筋骨格モデル６２０とに基づいて生成される手本の筋張力計算結果一覧表５４０と、手本の筋張力計算結果一覧表５４０に基づいて生成される筋張力相対比情報５５０とを、予めデータ保持部３２０に格納している。

提示対象指定部３５０は、運動情報が取得された期間のシーンおよび身体の部位のうち、解析結果の提示の対象となる部位（例えば、外観の差異を特徴的に示す部位）の選択を、ユーザから受け付ける。そして、提示対象指定部３５０は、選択されたシーンの時刻および体の部位を、ユーザの運動と手本となる運動との差異（以下「運動差異」という）を、解析の対象および解析結果の提示の対象として指定する。

筋張力比較部３６０は、外観運動情報４２０、５２０と、筋張力計算結果一覧表４４０、５４０とに基づいて、提示対象指定部３５０により特定された時刻および体の部位において、運動差異に最も影響を与えた筋を推定する。具体的には、筋張力比較部３６０は、手本となる運動で発生する筋張力と、ユーザの運動で発生する筋張力との比較を行う。

画像生成部３７０は、筋骨格モデル６１０、６２０、計測結果一覧表４１０、５１０、および外観運動情報４２０、５２０に基づいて、ユーザと手本の運動の外観の画像を生成する。また、画像生成部３７０は、筋骨格モデルを用いてＣＧアニメーションを作成する機能（例えば非特許文献１参照）を有する。画像生成部３７０は、筋張力計算結果一覧表４４０、５４０、および筋張力相対比情報４５０、５５０に基づいて、生成した外観画像に、運動差異に最も影響を与えた筋を強調した画像を重ね合わせたＣＧ画像を生成し、生成した画像を情報提示部３１０に表示させる。

制御端末３００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、および通信回路を備える。この場合、制御端末３００の上記各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

図２は、外観運動計測部２００の取り付け状態および練習シーンの様子の一例を示す図である。

図２に示すように、外観運動計測部２００は、例えば、それぞれ異なる色が付された複数のマーカ２１０−１〜２１０−１２、複数のカメラ２２０−１〜２２０−３、および２つの床反力計２３０−１、２３０−２を有する。マーカ２１０−１〜２１０−１２は、ユーザ７１０の頭、右肩、左肩、右腕関節、左腕関節、右腰、左腰、右膝関節、左膝関節、右足甲、および左足甲と、ゴルフクラブのクラブヘッド７２０とに取り付けられている。カメラ２２０−１〜２２０−３は、それぞれ異なる角度から、ユーザ７１０の外観およびユーザ７１０に取り付けられたマーカ２１０を撮影する。床反力計２３０−１、２３０−２には、それぞれユーザ７１０の右足と左足が載せられる。

外観運動計測部２００は、単位時間ごとにカメラ２２０−１〜２２０−３で撮影された画像データと、単位時間ごとに床反力計２３０−１、２３０−２で測定される床反力値とから成る時系列データを、運動情報として制御端末３００へ送信する。

また、ユーザ７１０が床反力計２３０−１、２３０−２に載った状態でユーザ７１０から、情報提示部３１０の画面が見えるように、制御端末３００は据え置かれている。情報提示部３１０には、後述するように、ユーザの筋肉の動かし方に関する評価結果を提示するための評価結果表示画面が表示される。ユーザ７１０は、図２に示す状態でスィングの練習を行うことにより、評価結果表示画面の内容を見ながら、筋肉の動かし方を調整し、結果として表出する外観を、手本の外観に近付けることができる。

学習支援装置１００は、ユーザに対して有益な情報を画面で提示することにより、ユーザの身体運動の学習を支援する装置である。ここで、動作説明に先立って、学習支援装置１００の画面遷移について簡単に説明する。

図３は、学習支援装置１００の表示画面の遷移を示す図である。

図３に示すように、学習支援装置１００の表示画面は、初期操作画面と、学習操作画面と、評価結果表示画面とに大きく分かれる。

学習支援装置１００は、まず、初期操作画面を表示し、図２で説明した外観運動計測部２００のセッティングが完了した後に、計測スタートボタンが押下されると、筋張力計算等の処理が開始され、処理が完了すると、学習操作画面を表示させる。学習操作画面では、撮影画像に対して、スロー再生および一時停止等の操作が可能となっており、運動差異を解析する対象となる時刻や体の部位を、ユーザが任意に選択することができるようになっている。そして、学習支援装置１００は、学習操作画面で最終的に決定ボタンが押下されると、選択された対象について、運動差異に最も影響を与えた筋の判定およびＣＧ作成等の処理が開始され、処理が完了すると、評価結果表示画面を表示させる。評価結果表示画面では、ユーザの筋肉の動かし方に関する評価結果を提示する。各画面の詳細については後述する。

以下、上記構成を有する学習支援装置１００の動作について説明する。

図４は、学習支援装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１０００で、学習支援装置１００は、ユーザの運動（モーション）の計測を行う。具体的には、学習支援装置１００は、情報提示部３１０で、初期操作画面を表示し、ユーザの運動の計測の開始と終了とを受け付ける。

図５は、初期操作画面の外観の一例を示す平面図である。

図５に示すように、初期操作画面７２０は、計測スタートボタン７２１と、終了ボタン７２２を配置している。情報提示部３１０は、計測スタートボタン７２１が押下されると、外観運動計測部２００に対し、運動情報の取得および制御端末３００への運動情報の送信を開始させる。そして、情報提示部３１０は、終了ボタン７２２が押下されると、外観運動計測部２００に対し、運動情報の取得および制御端末３００への運動情報の送信を停止させる。

ユーザは、計測スタートボタン７２１を押下した後、床反力板２３０−１、２３０−２の上でスィングを行い、スィングが終了すると、終了ボタン７２２を押下し、次の学習操作画面が表示されるのを待つ。

そして、図４のステップＳ２０００で、制御端末３００は、ユーザの筋張力の計算を行う。具体的には、制御端末３００は、外観運動取得部３３０で、ユーザの計測結果一覧表４１０、ユーザの外観運動情報４２０、およびユーザの画像データ４３０を順に生成し、データ保持部３２０に格納する。そして、制御端末３００は、筋張力計算部３４０で、ユーザの筋張力計算結果一覧表４４０、およびユーザの筋張力相対比情報４５０を順に生成し、データ保持部３２０に格納する。

まず、外観運動取得部３３０は、カメラ２２０−１〜２２０−３からの画像データと、床反力計２３０−１、２３０−２からの床反力値とを、運動情報として、同期して収集する。外観運動取得部３３０は、収集した運動情報に基づいて、ユーザの計測結果一覧表４１０を生成する。

図６は、ユーザの計測結果一覧表４１０の構成の一例を示す図である。

ユーザの計測結果一覧表４１０は、時刻４１１、画像データの識別子４１２、左の床反力４１３、および右の床反力４１４から構成される。時刻４１１には、スィングの最初（時刻ｔ_０、例えば、計測スタートボタン７２１が押下された時刻）から終わり（時刻ｔ_ｎ、例えば終了ボタン７２２が押下された時刻）までの、画像データが取得された時刻（以下「データ取得時刻」という）として、「ｔ_０」〜「ｔ_ｎ」というｎ個の時刻が記述される。画像データの識別子４１２には、取得された画像データの識別子が記述される。左の床反力４１３には、左の床反力計２３０−１の計測結果、つまり、ユーザの左足に掛かる床反力の値が記述される。右の床反力４１４には、右の床反力計２３０−２の計測結果、つまり、ユーザの右足に掛かる床反力の値が記述される。

そして、外観運動取得部３３０は、カメラ２２０−１〜２２０−３から受信した画像データに基づいて、ユーザの体の所定の部位ごとに、各データ取得時刻における三次元位置を取得する。ここでは、上記所定の部位は、マーカ２１０の取り付け位置の部位に一致しているものとする。

具体的には、まず、外観運動取得部３３０は、反射マーカを使用した輝度抽出法、カラーマーカを使用したカラー抽出法等により、カメラ２２０−１〜２２０−３の撮影画像からマーカ２１０を検出し、カメラ２２０ごとの座標系におけるマーカ２１０の座標を検出する。

そして、外観運動取得部３３０は、カメラ２２０−１〜２２０−３の同時刻の撮影画像におけるマーカ２１０の座標と、カメラ２２０−１〜２２０−３の位置および撮影範囲に基づいて、三角測量の原理を用いて各マーカ２１０の三次元位置を算出する。外観運動取得部３３０は、データ取得時刻ごとに各マーカ２１０の三次元位置を算出し、その結果、ユーザの体の所定の部位の三次元位置の時系列データを生成する。

ここで、説明を簡単にするために、制御端末３００は、ゴルフボールが置かれたときのゴルフボールの中心位置を原点とすると、この原点を基準とした所定位置に固定されて据え置かれているものとする。また、本実施の形態で用いる座標系は、制御端末３００からゴルフボールへと向かう方向ベクトルをＸ軸とし、垂直成分をＺ軸とし、Ｘ軸とＺ軸の外積方向をＹ軸とする座標系とする。ユーザの体の部位の三次元位置（以下単に「位置」という）は、この基準座標系で表現される。

そして、外観運動取得部３３０は、上記位置の時系列データに基づいて、各部位の、各データ取得時刻における速度、加速度、関節角度、関節角速度および関節角加速度を算出し、ユーザの外観運動情報４２０を生成する。

図７は、ユーザの外観運動情報４２０の構成の一例を示す図である。

図７に示すように、ユーザの外観運動情報４２０は、時刻４２１と、部位ごとにまとめられた、位置４２２、速度４２３、加速度４２４、関節角度４２５、関節角速度４２６、および関節加速度４２７とにより構成される。

時刻４２１は、ユーザの計測結果一覧表４１０の時刻４４１と同一である。位置４２２には、該当する部位の位置（マーカの位置）が記述される。速度４２３には、位置を時間微分することで得られる、部位の速度が記述される。加速度４２４には、速度を時間微分することで得られる、部位の加速度が記述される。関節角度４２５には、隣の所定の部位に対する部位の相対位置から求められる、所定の部位との間にある所定の関節を中心とした部位の角度が記述される。関節角速度４２６は、関節角度を時間微分することで得られる角速度である。関節角加速度４２７は、関節角速度を時間微分することで得られる角加速度である。

外観運動取得部３３０は、各時刻４２１の各部位の位置４２２に基づいて、上述の計算を行い、外観運動情報５００を生成または更新する。

外観運動取得部３３０は、ユーザの外観運動情報４２０の生成を完了すると、筋張力計算部３４０に対して、筋張力計算依頼を行う。筋張力計算依頼とは、ユーザの外観運動情報４２０に基づいてユーザの筋張力計算結果一覧表４４０およびユーザの筋張力相対比情報４５０の作成を指示するものである。

図４のステップＳ２０００で、筋張力計算部３４０は、筋張力計算を行う。具体的には、筋張力計算部３４０は、外観運動取得部３３０から筋張力計算依頼を受けると、ユーザの計測結果一覧表４１０の左の床反力４１３および右の床反力４１４と、ユーザの外観運動情報４２０の位置４２２、関節角度４２５、関節角速度４２６、および関節角加速度４２７とを、計算に用いるパラメータとして入力する。そして、入力したパラメータに基づいて、各時刻において各筋に発生した筋張力を算出し、算出結果をまとめたユーザの筋張力計算結果一覧表４４０を生成する。

ここで、筋張力計算の手法の一例について説明する。

まず、筋骨格モデルの計算手法の一例について説明する。

筋張力計算部３４０は、筋骨格モデルに対して、筋張力から運動を算出する順動力学計算と、逆に運動から筋張力を算出する逆運動力学計算とを実行する。これらの計算手法は、例えば、特許文献２に記載されている。

上記計算に用いられる筋骨格モデルは、例えば、以下の手法により得ることができる。従来、ＭＲＩ／ＣＴ（magnetic resonance imaging / computed tomography）等の医療データから作られた、骨、筋、腱、および靭帯を含む人体の詳細なモデル（以下「標準モデル」という）が存在する。なお、標準モデルを一から新たに作成する場合、データ作成に多大な時間と労力が必要となる。したがって、ＭＲＩ／ＣＴ画像から取得した新しい骨格系モデルと、既に得られている標準モデルの骨格系モデルとを比較することで、新しい骨格系モデルにおける筋、腱、および靭帯の幾何情報を計算し、筋骨格モデルを作成することが行われている。具体的には、骨格系上に配置された特徴点を利用して、既に得られている標準モデルにおける骨格系モデルと、新しい骨格系モデルとを最もよく重ねる変換パラメータを算出する。そして、算出されたパラメータを用いて、既に得られている標準モデルにおける筋、腱、および靭帯の幾何情報を、新しい骨格系モデル上に配置し、新たな筋骨格モデルを生成する。

このような技術を使うことで、本実施の形態で用いられるユーザの筋骨格モデルや手本の筋骨格モデルを容易かつ短時間で生成することができる。

次に、筋張力計算部３４０による筋張力の計算手法の一例について説明する。

本実施の形態では、骨格を剛体リンクで、筋、腱、および靭帯をワイヤ／バーチャルリンクで定義した筋骨格モデルを用いる。ワイヤは、一本の筋または靭帯を、始点、終点、および経由点によりモデル化するものである。バーチャルリンクは、端点が２つ以上ある筋または靭帯をモデル化するために導入された特殊なリンクであり、質量および慣性モーメントをもたない仮想的な骨として扱うものである。

筋張力計算部３４０は、筋骨格モデルを用いて、剛体リンクの角度、位置、および角速度に基づき、各ワイヤの長さの関節角度に関するヤコビアンＪ_Ｌを計算する。剛体リンクの位置、角度、および角速度は、ユーザの外観運動情報４２０に記述された、部位の位置４２２、関節角度４２５、関節角速度４２６が該当する。

そして、筋張力計算部３４０は、剛体リンクの角度、角速度、角加速度（つまり、該当部位の位置４２２、関節角度４２５、関節角速度４２６）、および左右の床反力４１３、４１４に基づき、ニュートン・オイラー法を用いて、剛体リンクの接続箇所の力である関節トルクτ_Ｇを計算し、以下の式（１）により、ワイヤ／バーチャルリンクに発生する力（筋張力）ｆを求める。

筋張力計算部３４０は、このような筋張力計算の手法を用いて、計測されたユーザの運動の始めから終わりまでの各時刻について、全ての筋の筋張力を算出し、ユーザの筋張力計算結果一覧表４４０を生成または更新する。

図８は、ユーザの筋張力計算結果一覧表４４０の構成の一例を示す図である。

図８に示すように、ユーザの筋張力計算結果一覧表４４０は、時刻４４１と、筋の識別子４４２とに対応付けて、各時刻において各筋に発生した筋張力ｆ_１，０〜ｆ_Ｍ，ｎが記述される。時刻４４１は、ユーザの外観運動情報４２０の時刻４２１と同一である。ここでは、筋の識別子４４２として、「第１の筋」、「第２の筋」、・・・、「第Ｍの筋」というＭ個の識別子が設定されているものとする。

筋の識別子４４２に対応する筋の名称は、例えば、筋対応表で設定されている。

図９は、筋対応表の構成の一例を示す図である。

図９に示すように、筋対応表４６０では、筋張力計算結果一覧表で用いられる筋の識別子４６１に対応付けて、筋の名称４６２が記述されている。筋対応表４６０は、後述の学習操作画面や評価結果表示画面での筋に関する説明において用いられる。

筋張力計算部３４０は、ユーザの筋張力計算結果一覧表４４０を生成してデータ保持部３２０に蓄積した後、ユーザの筋張力計算結果一覧表４４０に基づいて、ユーザの筋張力相対比情報４５０を作成または更新する。具体的には、ユーザの筋張力相対比情報４５０は、各時刻において各筋に発生した筋張力ｆを、それぞれの筋で発生することが想定される筋張力の最大値で除した値（以下「筋張力相対比」）が格納される。

図１０は、ユーザの筋張力相対比情報４５０の構成の一例を示す図である。

図１０に示すように、ユーザの筋張力相対比情報４５０は、時刻４５１と、筋の識別子４５２とに対応付けて、各時刻において各筋に発生した筋張力相対比ｆ_１，０／ｆ_１ＭＡＸ〜ｆ_Ｍ，ｎ／ｆ_ＭＭＡＸが記述される。時刻４５１および筋の識別子４５２は、ユーザの筋張力計算結果一覧表４４０の時刻４４１および筋の識別子４４２と同一である。

筋張力相対比が最も高い時刻は、その筋の筋張力がピークとなった時刻である。ユーザの筋張力相対比情報４５０は、後述する評価結果表示画面に表示されるＣＧアニメーションを生成する際に利用される。

筋張力計算部３４０は、ユーザの筋張力相対比情報４５０の生成を完了すると、情報提示部３１０に対して、画面遷移依頼を行う。画面遷移依頼とは、学習操作画面の表示に切り替え、計測結果一覧表４１０、５１０、画像データ４３０、５３０、筋張力計算結果一覧表４４０、５４０、筋張力相対比情報４５０、５５０に基づいて、学習操作画面を構成することを指示するものである。

図４のステップＳ３０００で、情報提示部３１０は、ユーザが手本との比較を行うことを希望する運動区間の特定を行う。具体的には、情報提示部３１０は、画面遷移依頼を受けると、学習操作画面の表示に切り替え、提示対象指定部３５０から表示内容の制御を受けて、運動情報が取得された期間のシーンおよび身体の部位に対する選択をユーザから受け付ける。学習操作画面の表示内容の制御およびユーザからの入力内容の解析は、提示対象指定部３５０により行われる。

図１１は、学習操作画面の外観の一例を示す平面図である。

図１１に示すように、学習操作画面７３０は、手本画像表示領域７３１、ユーザ画像表示領域７３２、時間通知領域７３３、再生ボタン７３４、スロー再生ボタン７３５、一時停止ボタン７３６、停止ボタン７３７、領域選択ボタン７３８、領域クリアボタン７３９、および決定ボタン７４０を有する。

手本画像表示領域７３１は、手本の画像データ５３０を表示させるための領域である。ユーザ画像表示領域７３２は、ユーザの画像データ４３０を表示させるための領域である。時間通知領域７３３は、手本の画像データ５３０に基づいて生成される手本となるフォームの映像（以下「手本映像」という）と、ユーザの画像データ４３０に基づいて生成されるユーザのフォームの映像（以下「ユーザ映像」という）の再生時点を通知するとともに、経過オブジェクト７３３_ｍを用いて再生時点を任意に指定するための領域である。再生ボタン７３４は、手本映像およびフォーム映像の再生を開始させるためのボタンである。スロー再生ボタン７３５は、手本映像およびフォーム映像のスロー再生を開始させるためのボタンである。一時停止ボタン７３６は、手本映像およびフォーム映像の再生を一時停止させるためのボタンである。停止ボタン７３７は、手本映像およびフォーム映像の再生を停止させるためのボタンである。領域選択ボタン７３８は、評価の対象となる身体の部位を、領域設定オブジェクト７３２_ｍで選択するためのボタンである。領域クリアボタン７３９は、領域設定オブジェクト７３２_ｍをクリアするためのボタンである。決定ボタン７４０は、評価の対象を、手本画像表示領域７３１およびユーザ画像表示領域７３２に表示中の時点および領域設定オブジェクト７３２_ｍにより囲まれている身体の部位に決定するためのボタンである。手本画像表示領域７３１は、ユーザ操作によりいずれかの操作ボタンが押下されるごとに、対応する処理を行う。

手本画像表示領域７３１を用いてユーザが評価の対象を決定する際の、ユーザの操作および学習操作画面７３０の表示内容の変化は、例えば、以下のような態様となる。

まず、スィング動作の後、ユーザにより再生ボタン７３４が押下される。次に、学習操作画面７３０は、計測結果一覧表４１０、５１０および画像データ４３０、５３０に基づいて、手本画像表示領域７３１に手本映像を、ユーザ画像表示領域７３２にユーザ映像をそれぞれ表示する。手本映像およびユーザ映像の再生時点は、同一のデータ取得時刻に対応している。ユーザは、各時点における手本映像とユーザ映像とを比較観察する。

そして、ユーザにより、時間通知領域７３３の経過オブジェクト７３３_ｍが左右にスライドされると、学習操作画面７３０は、手本映像およびユーザ映像の巻き戻しまたは早送りを行う。巻き戻し先の位置または早送り先の位置は、経過オブジェクト７３３_ｍの位置に基づいて計算される。

また、ユーザにより、スロー再生ボタン７３５が押下されると、学習操作画面７３０は、手本映像およびユーザ映像を通常より遅い再生速度で表示する。ユーザが気になるシーンが表示され、ユーザにより一時停止ボタン７３６が押下されると、学習操作画面７３０は、手本映像およびユーザ映像の再生を一時停止する。

そして、一時停止中の状態で、ユーザにより領域選択ボタン７３８が押下されると、学習操作画面７３０は、身体の任意の部位を選択することが可能な選択モードに遷移する。選択モードにおいて、学習操作画面７３０は、ユーザ操作により拡大縮小および移動が可能な領域設定オブジェクト７３２_ｍを、ユーザ画像表示領域７３２上に表示させる。

例えば、ユーザは、気になる部位の近くでマウスを右クリックし、右クリックしながら動かすことにより、カーソルの移動量と向きに応じた楕円形状の領域設定オブジェクト７３２_ｍを、設定することができる。なお、学習操作画面７３０には、領域設定オブジェクト７３２_ｍに囲まれた部分に該当する筋に関する説明が、図９に示す筋対応表４６０を用いて表示されるが、ここでは図示を省略している。

また、ユーザにより、操作を誤った場合に、領域クリアボタン７３９が押下されると、学習操作画面７３０は、直前に設定された領域設定オブジェクト７３２_ｍを消去し、その設定を解除する。

以上のユーザ操作の繰り返しにより、最終的に、ユーザが気になるシーンおよび画像領域が設定され、ユーザにより決定ボタン７４０が押下されると、提示対象指定部３５０は、その設定内容を確定して一時的に保持する。

提示対象指定部３５０は、学習操作画面７３０でユーザにより指定されたシーンおよび領域から、シーンが発生した時刻と評価対象部位とを特定し、特定した時刻および部位（以下「評価対象時刻」および「評価対象部位」という）を、筋張力比較部３６０に通知する。

なお、ここでは、ユーザの正面方向から撮影した映像のみを表示する場合について説明したが、複数の方向から撮影した複数の映像を表示してもよい。また、手本映像とユーザ映像とを重ね合わせて表示してもよい。これらの場合には、より詳細に手本のフォームとユーザのフォームとの比較を行うことができる。

図４のステップＳ４０００で、筋張力比較部３６０は、手本となる運動と比較したときのユーザの運動の評価を行う。具体的には、筋張力比較部３６０は、まず、評価対象時刻および評価対象部位に基づいて、ユーザの評価対象データおよび手本の評価対象データを生成する。評価対象データとは、比較の対象となるパラメータをまとめたものである。そして、筋張力比較部３６０は、手本となる運動とユーザの運動との差に最も影響を与えた筋を判定する影響度判定処理を実行して、評価結果をまとめた評価結果一覧表を生成する。

以下、筋張力比較部３６０による影響度判定処理について、評価対象時刻はｔ_ａ、評価対象部位は右足関節であり、右足関節に関連する筋の筋識別子は第１の筋〜第Ｎの筋であるものとして説明を行う。また、記号ｕは、ユーザの右足関節に関するパラメータであることを示し、記号ｓは手本の右足関節に関するパラメータであることを示す。

図１２は、ユーザの評価対象データの構成の一例を示す図である。

図１２に示すように、ユーザの評価対象データ７５０は、時刻７５１、加速度７５２、および筋の状態７５３から構成される。また、筋の状態７５３は、筋の識別子７５４および筋張力７５５から構成される。

時刻７５１には、評価対象時刻を基準として評価の対象に含めるデータ取得時刻が記述される。ここでは、評価対象に含める時刻範囲を、ｔ_ａ−ｂ〜ｔ_ａ＋ｂとする。加速度７５２には、ユーザの外観運動情報４２０の該当する加速度が記述され、ここでは、加速度ａ_{ｕ，ａ−ｂ}〜ａ_{ｕ，ａ＋ｂ}が記述される。筋の状態７５３のうち、筋の識別子７５４には、評価対象部位の筋である第１の筋〜第Ｎの筋が記述され、筋張力７５５には、ユーザの筋張力計算結果一覧表４４０の該当する筋張力が記述され、ここでは、筋張力ｆ_ｕ１〜ｆ_ｕＮが記述される。

図１３は、手本の評価対象データの構成の一例を示す図である。

図１２に示すように、手本の評価対象データ７６０は、ユーザの評価対象データ７５０と同様に、時刻７６１、加速度７６２、および筋の状態７６３から構成される。また、筋の状態７６３は、筋の識別子７６４および筋張力７６５から構成される。

時刻７６１は、ユーザの評価対象データ７５０の時刻７５１と同一である。加速度７６２には、手本の外観運動情報５２０の該当する加速度が記述され、ここでは、加速度ａ_{ｓ，ａ−ｂ}〜ａ_{ｓ，ａ＋ｂ}が記述される。筋の識別子７６４は、ユーザの評価対象データ７５０の筋の識別子７５４と同一である。筋張力７６５には、手本の筋張力計算結果一覧表５４０の該当する筋張力が記述され、ここでは、筋張力ｆ_ｓ１〜ｆ_ｓＮが記述される。

筋張力比較部３６０は、ユーザの評価対象データおよび手本の評価対象データの生成を完了すると、影響度判定処理を実行する。

図１４は、影響度判定処理の一例を示すフローチャートである。

まず、ステップＳ４１００で、筋張力比較部３６０は、ユーザの評価対象データおよび手本の評価対象データから一定の大きさ以上の筋張力変数を選択し、数値解析を実施する。筋張力変数とは、時刻と筋の識別子との組み合わせにより特定される筋張力のパラメータを指定する変数であり、以下、記号ｆで示されるものとする。

数値解析は、具体的には、以下の様に行う。まず、筋張力比較部３６０は、ユーザの評価対象データおよび手本の評価対象データから、発生した最大の筋張力が所定値α以下である筋を特定し、特定した筋を、評価対象から除外する。例えば、第ｊ＋１の筋〜第Ｎの筋に該当する筋の筋張力が、所定値α以下である場合、第１の筋〜第ｊの筋が、評価対象となる。

なお、所定値αおよび後述する所定値β、γ_１、γ_２は、生体力学的、生理学的、もしくは医学的な知見、大量のデータからデータマイニングにより抽出した知識、または過去の評価実験の結果等に基づいて定義される。

そして、筋張力比較部３６０は、ユーザの評価対象データおよび手本の評価対象データのうち、評価対象となる筋の加速度および筋張力について、所定の数値解析を実行する。ここでは、手本とユーザの動きの差に影響を与えた筋を１つに絞るために、つまり、身体の外観の動きと筋張力との相関を評価するために、加速度ａを目的変数、筋張力ｆを説明変数として重回帰分析を実行する。

ここで、例えば、ユーザの評価対象データから以下の式（２）が得られ、手本の評価対象データから以下の式（３）が得られたものとして、以下の説明を行う。ｋは偏回帰係数であり、定数ｕは切片である。

そして、ステップＳ４２００において、筋張力比較部３６０は、式（２）の筋張力変数の順位付けを行う。

筋張力変数の順位付けは、具体的には、以下の様に行う。まず、筋張力比較部３６０は、重回帰分析の結果得られた、筋張力変数の偏回帰係数（以下単に「係数」という）ｋの大きさや符号を指標として、所定の評価を実行する。

例えば、｜ｋ_１｜≧｛｜ｋ_２｜，・・・｜ｋ_ｊ｜｝の場合、つまり、係数ｋ_１が最大の場合、筋張力変数ｆ_１が加速度ａに最も影響を及ぼしていることになる。したがって、係数ｋの順位付けは、運動の外観に影響を及ぼす筋張力変数ｆの順位付けとなる。

筋張力比較部３６０は、係数ｋが所定値β以上のものを選択し、選択した係数ｋに対して、絶対値が大きい順に、順位付けを行う。例えば、｜ｋ_１｜≧｜ｋ_２｜≧｜ｋ_３｜≧・・・｜ｋ_ｊ−１｜＞βの場合、筋張力変数ｆ_１、ｆ_２、ｆ_３、・・・、ｆ_ｊ−１、に、１番、２番、３番、・・・、ｊ−１番が付与される。

そして、ステップＳ４３００で、筋張力比較部３６０は、筋張力変数ｆの順位に従って、評価値を計算し、評価一覧表を生成する。評価値は、運動差異に与える影響度の大きさを示す値である。評価一覧表は、各筋張力変数の評価値をまとめた情報である。評価値Ａは、ユーザの評価対象データの係数をｋ_ｎと置き、手本の評価対象データの係数をｋ_ｎ'と置くと、以下の式（４）を用いて算出される。

図１５は、評価一覧表の構成の一例を示す図である。

図１５に示すように、評価一覧表７７０は、順位７７１、筋張力変数７７２、および評価値７７３から構成される。順位７７１には、上述の順位が記述される。筋張力変数７７２には、順位に対応する筋張力変数が記述される。評価値７７３には、筋張力変数に対して算出された評価値が記述される。

そして、ステップＳ４４００で、筋張力比較部３６０は、評価一覧表７７０から、順位が高いものを優先させて筋張力変数ｆを１つ選択し、手本とユーザとの間で力の入れ方が大きく異なっているか否かを判断する。この判断により、例えば、手本の動きが脱力しているときに、ユーザが無駄な力を過度に入れていないか、または、手本の動きが加速しているときに、ユーザがブレーキをかけていないか、を判断することができる。具体的には、筋張力比較部３６０は、選択した筋張力変数ｆの係数Ａ（ｋ'，ｋ）が、以下の（５）を満たすか否かを判断する。

筋張力比較部３６０は、手本とユーザとの間で力の入れ方が大きく異なっていない場合、つまり、式（５）が満たされない場合には（Ｓ４４００：ＮＯ）、該当する筋が手本とユーザの動きの差に与える影響は小さいと判断し、ステップＳ４５００に進む。

ステップＳ４５００で、筋張力比較部３６０は、評価一覧表７７０の全ての筋張力変数ｆに対してステップＳ４４００の評価を行ったか否かを判断する。筋張力比較部３６０は、まだ評価を行っていない筋張力変数ｆが残っている場合には（Ｓ４５００：ＮＯ）、ステップＳ４４００に戻り、次の筋張力変数ｆに対して評価を行う。

筋張力比較部３６０は、いずれかの筋張力変数ｆにおいて、手本とユーザとの間で力の入れ方が大きく異なっている場合、つまり、式（５）が満たされた場合には（Ｓ４４００：ＹＥＳ）、手本とユーザとの間の筋張力変数ｆの差が有意であると判断し、ステップＳ４６００に進む。

ステップＳ４６００で、筋張力比較部３６０は、該当する筋張力変数ｆに関連付けられた筋の識別子を画像生成部３７０に通知して、一連の処理を終了する。また、このとき、筋張力比較部３６０は、提示対象指定部３５０から受け取った評価対象部位も、画像生成部３７０に渡す。

一方、筋張力比較部３６０は、ステップＳ４６００に進まないまま、全ての筋張力変数ｆに対するステップＳ４４００の評価が終了した場合、つまり、式（５）を満たす筋張力変数ｆが存在しなかった場合は（Ｓ４５００：ＹＥＳ）、ステップＳ４７００に進む。

ステップＳ４７００で、筋張力比較部３６０は、評価一覧表７７０から、順位が高いものを優先させて筋張力変数ｆを１つ選択し、手本とユーザとの間で力を入れるタイミングまたは力を抜くタイミングはほぼ合っているものの力の大きさが著しく異なっているか否かを判断する。具体的には、筋張力比較部３６０は、選択した筋張力変数ｆの係数Ａ（ｋ'，ｋ）が、以下の（６）を満たすか否かを判断する。

筋張力比較部３６０は、手本とユーザとの間で力の大きさが著しく異なっていない場合、つまり、式（６）が満たされない場合には（Ｓ４７００：ＮＯ）、該当する筋が手本とユーザの動きの差に与える影響は小さいと判断し、ステップＳ４８００に進む。

ステップＳ４８００で、筋張力比較部３６０は、評価一覧表７７０の全ての筋張力変数ｆに対してステップＳ４７００の評価を行ったか否かを判断する。筋張力比較部３６０は、まだ評価を行っていない筋張力変数ｆが残っている場合には（Ｓ４８００：ＮＯ）、ステップＳ４７００に戻り、次の筋張力変数ｆに対して評価を行う。

筋張力比較部３６０は、いずれかの筋張力変数ｆにおいて、手本とユーザとの間で力の入れ方が大きく異なっている場合、つまり、式（６）が満たされた場合には（Ｓ４７００：ＹＥＳ）、手本とユーザとの間の筋張力変数ｆの差が有意であると判断し、ステップＳ４６００に進む。そして、該当する筋張力変数ｆに関連付けられた筋の識別子が、画像生成部３７０に通知される。

一方、筋張力比較部３６０は、ステップＳ４６００に進まないまま、全ての筋張力変数ｆに対するステップＳ４７００の評価が終了した場合、つまり、式（６）を満たす筋張力変数ｆが存在しなかった場合は（Ｓ４８００：ＹＥＳ）、ステップＳ４９００に進む。

ステップＳ４９００で、筋張力比較部３６０は、「筋レベルで有意な差は存在しない」旨を意味する情報を、画像生成部３７０に渡して、一連の処理を終了する。

このような影響度判定処理により、係数ｋが高い順に評価値をチェックしていき、最初に式（５）または式（６）の条件を満たした筋張力変数に対応する筋が、運動差異に最も影響を与えた筋として抽出される。

なお、評価項目ごとに各筋張力変数の評価に点数をつけ、複数の項目を絡めた算出式に基づいて、運動差異に最も影響を与えた筋を推定してもよい。

また、数値計算は、ニューラルネットワークまたはベイジアンネットワークにより、加速度と筋張力の関係をモデル化することにより行ってもよい。

また、複数の筋に基づいて運動を定義し、運動差異を評価するようにしてもよい。この場合には、抽出する筋の上限数をあらかじめ規定し、その数に達するまで上記手順を実施することにより実現可能である。しかしながら、一般的には、動作理解において、筋の数を少なくすることが望ましい。

図４のステップＳ５０００で、画像生成部３７０は、データ保持部３２０に保持された情報、および筋張力計算部３４０に保持された筋骨格モデル６１０、６２０に基づいて、評価結果表示画面を生成する。また、画像生成部３７０は、評価結果表示画面において、外観強調オブジェクトおよび筋特定オブジェクトを表示させる。外観強調オブジェクトは、評価対象部位を強調するためのオブジェクトである。筋特定オブジェクトは、筋張力変数ｆに関連付けられた筋の識別子が示す筋（以下「注目筋」という）を強調するためのオブジェクトである。

評価結果表示画面の生成手順は、具体的には、以下の通りである。まず、画像生成部３７０は、筋骨格モデル６１０、６２０、計測結果一覧表４１０、５１０、外観運動情報４２０、５２０、筋張力計算結果一覧表４４０、５４０、および筋張力相対比情報４５０、５５０に基づいて、ＣＧアニメーションを生成する。そして、画像生成部３７０は、筋張力計算結果一覧表４４０、５４０に基づいて、例えば、外観強調オブジェクトおよび筋特定オブジェクトの位置、色、および太さ等を決定する。

画像生成部３７０のＣＧアニメーション作成機能は、一般的な筋骨格モデルを用いたＣＧアニメーションとは、以下の２つの特徴において異なることが望ましい。１つ目は、該当する筋のみを表示対象とすることである。これは、筋張力計算結果一覧表４４０、５４０と、筋張力相対比情報４５０、５５０から、注目筋についてのみ表示対象とすることにより実現される。２つ目は、筋張力が大きいときに、外観強調オブジェクトおよび筋特定オブジェクトに対して、色の変化だけでなく、最大値に対する相対比により筋を太く表示する変化を与えることである。筋張力の大きさを色変化で表すことは、一般的に行われている。運動差異に対する影響が小さい他の筋を表示せず、表示対象となる筋の数を絞ることによって、本来であれば他の筋が表示される領域をも、注目筋の表示領域として利用することができ、結果として、注目筋を太く表示することが可能となる。

画像生成部３７０は、ＣＧアニメーションの作成を完了すると、情報提示部３１０に対して、ＣＧアニメーションを組み込んだ評価結果表示画面を、情報提示部３１０に表示させる。

図１６は、評価結果表示画面の外観の一例を示す平面図であり、図１１の学習操作画面７３０に対応するものである。図１１と同一部分には同一符号を付し、これについての説明を省略する。

図１６に示すように、評価結果表示画面７８０は、手本画像表示領域７３１およびユーザ画像表示領域７３２のそれぞれに、外観強調オブジェクト７８１および筋特定オブジェクト７８２を含む、手本映像およびユーザ映像のＣＧアニメーションを表示する。外観強調オブジェクト７８１は、外観の動きとして差の大きかった領域、つまり、注目筋に関係する部位を囲むように配置される。筋特定オブジェクト７８２は、注目筋の位置を示している。

ここでは、ユーザが、手本に比べて、右足で地面を蹴るような感覚で十分に右膝を左側（内側）へ送り込むことができていない事例を示している。この場合、図１６に示すように、外観特定オブジェクト７８１は、右足の膝より下を示すように配置される。また、筋特定オブジェクト７８２は、色や太さにより発生した筋張力の大きさを示す。なお、評価結果表示画面７８０には、筋特定オブジェクト７８２に該当する筋に関する説明が、図９に示す筋対応表４６０を用いて表示されるが、ここでは図示を省略している。

ユーザは、このような評価結果表示画面７８０を見ることにより、どの筋に注意して、どのような力の入れ具合で練習を行えば良いかを感覚的に認識することができる。

評価結果表示画面７８０は、終了ボタン７３７が押下されると、例えば、図５に示す初期操作画面７２０に遷移する。これにより、評価結果表示画面７８０で認識した点に留意しながらスィングの練習を行うことができ、効率的にフォームの改善を図ることができる。

以上説明したように、本実施の形態によれば、手本となる運動とユーザの運動との間の筋張力の差異が提示され、運動差異から、その差異の発生に関連する筋肉を推定することができる。これにより、ユーザは、力の入れ具合や力を入れるタイミングをより的確に調整することができ、身体運動をより短期間で学習することができる。すなわち、無駄な動きや、間違った体の使い方を容易に理解することが可能となり、怪我の防止や、学習効率の向上に役立つ。

また、手本映像とユーザ映像とを提示して評価対象を任意に指定することができるので、ユーザは、自己が特に改善させたい部位について集中的に学習を行うことができ、ユーザの能力および嗜好に適合した学習内容を実現することができる。

また、運動差異に影響を与えた筋と、手本との筋張力の差異の程度が、ユーザ映像上に表示されるので、ユーザは、なぜ運動差異が生じたか、どのようにすればその差異が縮まるのかを、感覚的に理解することができる。

また、運動差異に最も影響を与えた筋についてのみ情報表示を行うので、ユーザは、最も重要なポイントに絞って学習を行うことができる。

正しい身体運動とは、体の各部位をうまくコントロールすることであり、その急所は力の入れ方と関係が深い。しかしながら、力の入れ方は、外観の観察結果からは分かり難い。さらに、力の入れ方は、指導者と学習者で共有しようとしても困難である。結果として、従来、初心者や、なかなか上達しない初級者は、無理に力んだ状態や、必要なところの力まで抜いてしまう状態を強引に作り出すことにより、手本に似通った外観の形や動きを真似ることが多くなり、上達することが困難であった。

本実施の形態の学習支援装置１００を利用することにより、このような問題を解決し、正しい身体運動をより短時間で学習することが可能である。正しい身体運動は、その後の上達の重要な要素であるばかりでなく、故障の原因となる体の特定場所に負担をかけすぎる行為を防ぐことができる等、その効果は大きい。

また、目標とする運動動作との外観上の違いを確認するだけでなく、その違いの原因となる筋肉の動きが通知されるので、動作理解を深めることができる。更に、指導者が学習者に指導する場合に、指導者と学習者との間での共有が困難であった力の入れ具合を、具体的に筋張力が大きくなったか小さくなったかを見ることにより、指導者および学習者の感覚に依存することなく、定量的に共有することが可能となる。

また、ユーザの運動の計測が行われた始めから終わりまで全ての区間において、体の全ての部位について一括して筋張力を計算した後、ユーザが選択したシーンおよび部位について影響度を判定するようにした。このような処理は、例えば、ユーザがあるシーンについての評価結果を参照した後、別のシーンについての評価結果を参照するというような、再利用性の高い用途において特に有効である。すなわち、対象シーンの筋張力計算をその都度行う必要がないため、再利用時の応答性を高めることができる。

但し、本発明は、このような処理への適用に限定されるものではない。再利用性の低い用途に対しては、選択されたシーンに絞って筋張力計算をすることで、応答性を高めることができる。このように、筋張力計算の対象データの数および筋張力計算を行う処理手順については種々の形態をとり得る。

なお、ユーザの運動を計測する手段として、撮影画像に対する画像解析ではなく、加速度センサ、ジャイロセンサ、ゴニオメータ、ロータリーエンコーダ、磁気センサ等各種センサを用いることができる。また、床反力は、ユーザの履物に埋め込んだ圧力センサの出力から推定してもよい。また、ユーザの足の裏の複数個所について加重を運動情報として検出し、加重に基づいてユーザの重心位置を算出し、検出した重心位置およびその移動を、運動動作の比較に用いても良い。

また、手本となる運動は、シミュレーションにより作成された運動または上級者の運動であってもよいし、過去のユーザの運動であってもよい。後者の場合には、ユーザ自身のフォームの変化を容易に把握することができる。

また、制御端末３００は、インターネットのような公共ネットワークと接続し、ユーザと物理的に離れた場所に設置されていてもよい。この場合、ユーザ側に、ブラウザ等のアプリケーションソフトを使って制御端末３００にアクセスし、運動情報を制御端末３００へ送信するとともに、評価結果を制御端末３００から受信して表示することができる通信端末を配置する必要がある。

（実施の形態２）
本発明の実施の形態２として、計測結果の中からユーザに提示すべき身体の部位を、自動で推定するようにした学習支援装置について説明する。

図１７は、本発明の実施の形態２に係る学習支援装置の構成を示すブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図１７に示すように、本実施の形態に係る学習支援装置１００ａの制御端末３００ａは、図１の提示対象指定部３５０に代えて、提示対象推定部３８０ａを有する。

提示対象推定部３８０ａは、運動情報が取得された身体の部位の中から、運動差異に大きな影響を及ぼしている部位を判定する。そして、提示対象推定部３８０ａは、判定した部位を、ユーザと手本との間の運動差異の解析対象および解析結果の提示の対象とすべき部位であると推定する。すなわち、本実施の形態の提示対象推定部３８０ａは、図１の提示対象指定部３５０とは異なり、ユーザ入力による解析対象の指定を行わない。

以下、実施の形態１との相違部分である提示対象推定部３８０ａの動作について説明する。

提示対象推定部３８０ａは、情報提示部３１０に画面遷移依頼が行われると、実施の形態１の図１１と同一の学習操作画面を表示する。但し、本実施の形態の学習操作画面は、必ずしも、領域設定オブジェクト７３２_ｍ、領域選択ボタン７３８、および領域クリアボタン７３９を有さなくてもよい。

そして、提示対象推定部３８０ａは、学習操作画面で、ユーザによりシーンが指定されると、指定されたシーンにおける各部位の加速度の変化から、手本とユーザとの間の外観の違いに最も影響を与えた部位を推定する。

「投げる」、「打つ」等の、身体の末端部分の速度が大きいことがパフォーマンスを左右する運動では、下肢、胴、上腕、前腕、および手が所定の順序性をもって動きを開始することが、良いフォームの条件である場合が多い。そこで、本実施の形態では、身体内部の変化（筋骨格の動き）を時間差なく外部に表出する物理量である加速度に着目して、外観特徴点推定処理を実行する。外観特徴点推定処理は、加速度の時系列データにおいてピーク（最大値、最小値、極大値、または極小値）が出現する時刻の比較、および速度または加速度の変化パターンの比較によって、指定されたシーンにおいて手本とユーザとの間の外観の違いに最も影響を与えた部位を推定する処理である。

提示対象推定部３８０ａは、外観特徴点推定処理に先立って、手本の外観運動情報５２０に基づいて、手本のピーク順序一覧表を作成する。また、提示対象推定部３８０ａは、ユーザの外観運動情報４２０に基づいて、ユーザのピーク順序一覧表を作成する。ピーク順序一覧表は、加速度のピークの発生時刻の発生順序で各部位を、並べた情報である。

図１８は、手本のピーク順序一覧表の構成の一例を示す図である。

図１８に示すように、手本のピーク順序一覧表７９０は、時刻７９１および部位７９２から構成される。時刻７９１には、各部位の加速度がピークとなる時刻が、時刻の早いものから順に記述される。部位７９２には、対応する時刻に加速度がピークとなる部位が記述される。

図１９は、ユーザのピーク順序一覧表の構成の一例を示す図である。

図１９に示すように、ユーザのピーク順序一覧表８００は、時刻８０１および部位８０２から構成される。時刻８０１には、各部位の加速度がピークとなった時刻が、時刻の早いものから順に記述される。部位８０２には、対応する時刻に加速度がピークとなった部位が記述される。

ここでは、手本のピーク順序一覧表７９０における「ｔ_ｉｓ」という時刻の順位と、ユーザのピーク順序一覧表８００における「ｔ_ｉｕ」という時刻の順位とが、同一のｉ番目であるものとする。また、手本のピーク順序一覧表７９０における「ｔ_ｊｓ」という時刻の順位と、ユーザのピーク順序一覧表８００における「ｔ_ｊｕ」という時刻の順位とが、ｉ番目よりも後のｊ番目であるものとする。

図１８の手本のピーク順序一覧表７９０と図１９のユーザのピーク順序一覧表８００とを比較すると、ｉ番目に加速度のピークを迎える部位が、手本では「右足」であるのに対し、ユーザでは「左腕」となっている。また、ｊ番目に加速度のピークを迎える部位が、手本では「左腕」となっているのに対し、ユーザでは「右足」となっている。この場合、手本とユーザとで、右足と左腕の加速タイミングが逆転していることになる。これは、ゴルフにおいて初心者に見られる「ダウンスィング時に足を動かすより先に手を動かす」動作を示す例である。

また、提示対象推定部３８０ａは、外観特徴点推定処理に先立って、手本の外観運動情報５２０に基づいて、手本のピークパターン一覧表を作成する。また、提示対象推定部３８０ａは、ユーザの外観運動情報４２０に基づいて、ユーザのピークパターン一覧表を作成する。ピークパターン一覧表は、加速度のピークの発生時刻の発生順序で、各部位のピーク速度の値を並べた情報である。

図２０は、手本のピークパターン一覧表の構成の一例を示す図である。

図２０に示すように、手本のピークパターン一覧表８１０は、部位ごとにまとめられた、時刻８１１、ピーク加速度の値８１２、およびピーク速度の値８１３から構成される。時刻８１１には、手本の各部位の加速度が、最大値、最小値、極大値、または極小値を取る時刻が記述される。ピーク加速度の値８１２には、対応する時刻における加速度が記述される。ピーク速度の値８１３には、対応する加速度の発生直後の速度が記述される。

図２１は、ユーザのピークパターン一覧表の構成の一例を示す図である。

図２１に示すように、ユーザのピークパターン一覧表８２０は、部位ごとにまとめられた、時刻８２１、ピーク加速度の値８２２、およびピーク速度の値８２３から構成される。時刻８２１には、ユーザの各部位の加速度が極大値または極小値を取る時刻が記述される。ピーク加速度の値８２２には、対応する時刻における加速度が記述される。ピーク速度の値８２３には、対応する加速度の発生直後の速度が記述される。

提示対象推定部３８０ａは、手本のピーク順序一覧表、ユーザのピーク順序一覧表、手本のピークパターン一覧表、およびユーザのピークパターン一覧表の生成を完了すると、外観特徴点推定処理を実行する。

図２２は、外観特徴点推定処理の一例を示すフローチャートである。

まず、ステップＳ３１００ａで、提示対象推定部３８０ａは、各部位に対して、手本となる運動とユーザの運動との間で、加速度ピークの伝達の順序性が一致しているか否かを判断する。具体的には、提示対象推定部３８０ａは、手本のピーク順序一覧表とユーザのピーク順序一覧表とを比較し、上記順序性が一致していない部位が存在するか否かを判断する。提示対象推定部３８０ａは、上記順序性が一致していない場合には（Ｓ３１００ａ：ＮＯ）、ステップＳ３２００ａへ進み、上記順序性が一致している場合には（Ｓ３１００ａ：ＹＥＳ）、ステップＳ３３００ａに進む。図１８および図１９に示す例では、提示対象推定部３８０ａは、右足と左腕の順序が逆であるため、順序性が一致してないとして、ステップＳ３２００ａに進む。

初心者においては、複数個所の関節を同時に動かそうとしてより複雑な動作に陥ったり、本来動かすべきでない部位を動かすことによって、本来動かすべき部位に対してブレーキを掛けてしまうことが多い。ステップＳ３１００ａの判断により、このような事象の発生を検出することができる。

ステップＳ３２００ａで、提示対象推定部３８０ａは、順序性が一致していない部位と、ピーク加速度の発生時刻とを、筋張力比較部３６０に通知して、一連の処理を終了する。すなわち、提示対象推定部３８０ａは、ピークを迎える順序が手本とユーザとの間で異なる部位を、手本とユーザとの間の外観の違いに最も影響を与えた部位であると推定する。図１８および図１９に示す例では、提示対象推定部３８０ａは、順序が異なる部位のうち、手本においてピークを迎える順序が最も早い部位（図１８、図１９の例では「右足」）を選択し、「右足」という部位と、ユーザ映像の対応する時刻（同じ順位の部位のピーク加速度の発生時刻）「ｔ_ｉｕ」という時刻とを、筋張力比較部３６０に出力する。

一方、ステップＳ３３００ａで、提示対象推定部３８０ａは、順序性は一致しているものの加速度または速度の変化パターンに差がある部位が存在するか否かを判断する。具体的には、提示対象推定部３８０ａは、手本のピークパターン一覧表およびユーザのピークパターン一覧表に基づいて、手本とユーザとの間の加速度または速度の変化パターンを比較し、変化パターンが一致していない部位が存在するか否かを判断する。

ここで、変化パターンの一致不一致の判断処理について説明する。以下、ピークパターン一覧表におけるピーク加速度の値を「評価加速度」といい、ピークパターン一覧表におけるピーク速度の値を「評価速度」という。

図２３は、変化パターンの一致不一致の判断処理を説明するための図である。

図２３に示すように、横軸（Ｘ軸）を評価加速度Ａとし、縦軸（Ｙ軸）を評価速度Ｖとした、２次元の座標系９００を想定する。評価対象となる値（以下「評価値」という）は、（Ａ，Ｖ）で表現される。

また、空間９００において、以下の式（７）で表わされる４本の直線で区切られた、５つの領域を想定する。

式（７）は、評価実験結果、検証結果を基に学習対象となるモーションごとに最適化され、予め決定されたものである。

評価速度Ｖ＝０側に最も近い第１の領域９１１は、ブレーキ作用が大きく、加速度の大きさに対して速度が小さいことを示す領域である。以下の式（８）を満たす評価値は、第１の領域９１１に属する評価値である。

評価速度Ｖ＝０側に２番目に近い第２の領域９１２は、ブレーキ作用がやや大きく、第１の領域９１１ほどではないが、加速度の大きさに対して速度が小さいことを示す領域である。以下の式（９）を満たす評価値は、第２の領域９１２に属する評価値である。

評価速度Ｖ＝０側に３番目に近い第３の領域９１３は、加速度の大きさと速度の大きさとのバランスが取れていることを示す領域である。以下の式（１０）を満たす評価値は、第３の領域９１３に属する評価値である。

評価速度Ｖ＝０側に４番目に近い第４の領域９１４は、アクセル作用がやや大きく、第５の領域９１５ほどではないが、加速度の大きさに対して速度が大きいことを示す領域である。以下の式（１１）を満たす評価値は、第４の領域９１４に属する評価値である。

評価速度Ｖ＝０側から最も遠い第５の領域９１５は、アクセル作用が大きく、加速度の大きさに対して速度が大きいことを示す領域である。以下の式（１２）を満たす評価値は、第５の領域９１５に属する評価値である。

提示対象推定部３８０ａは、ピークパターン一覧表８１０、８２０に含まれる評価値（Ａ_１，Ｖ_１）、（Ａ_２，Ｖ_２）に対して、上記式（８）〜式（１２）のいずれに該当するかを判定、つまり、どの領域に位置するかを判定する。そして、提示対象推定部３８０ａは、手本とユーザとの間で評価値の位置する領域が異なる部位に対して、変化パターンが一致していないと判断する。

例えば、手本の評価値９２１の座標（Ａ_１，Ｖ_１）が第３の領域９１３に位置し、ユーザの評価値９２２の座標（Ａ_２，Ｖ_２）が第２の領域９１２に位置していたとする。この場合、提示対象推定部３８０ａは、手本の評価値９２１とユーザの評価値９２２とが、異なる領域に存在していることから、ユーザの動きが手本と同様の動きをしていないと判断する。通常、運動時の身体の末端の加速度および速度は、体格が大きいほど大きな値を取る。したがって、このような加速度と速度との相関で運動を評価することにより、体格差の影響を除去した状態で、変化パターンの一致不一致の判断を行うことが可能となる。

このような変化パターンの一致不一致の判断によって、上級者同士で比較する場合や、上級者が昨日の自分と今日の自分とを比較する場合等に、運動差異に影響を及ぼしている部位を特定することが可能となる。通常、加速度の効果が速度として表れるまでには遅れが存在する。この遅れの発生区間にも運動は継続しており、ねじられた筋がねじりを戻す力によって加速する現象（アクセル作用）や、力むことによって関節を動かしたい方向と逆の方向に筋が作用することで加速の大きさが小さくなる現象（ブレーキ作用）が発生する。したがって、ステップＳ３３００ａの判断処理により、体を正しい順序で動かした状態において効率よく力を伝達するために注目すべき部位を特定することができる。

提示対象推定部３８０ａは、手本とユーザとの間で変化パターンが一致していない場合には（Ｓ３３００ａ：ＹＥＳ）、ステップＳ３４００ａに進み、手本とユーザとの間で変化パターンが一致している場合には（Ｓ３３００ａ：ＮＯ）、ステップＳ３５００ａに進む。

なお、提示対象推定部３８０ａは、領域に基づいてではなく、座標系９００における手本の評価値９２１とユーザの評価値９２２との距離に基づいて、変化パターンの一致不一致を判定するようにしてもよい。この場合、例えば、閾値をＴｈ、距離をＤとしたとき、以下の式（１３）を満たす場合に、手本とユーザとの間で変化パターンが一致していないと判断すればよい。

ステップＳ３４００ａで、提示対象推定部３８０ａは、差の大きい部位、つまり変化パターンが一致していない部位と、ピーク加速度の発生時刻とを、筋張力比較部３６０に通知して、一連の処理を終了する。

一方、ステップＳ３５００ａで、提示対象推定部３８０ａは、どの部位においても手本とユーザとの間に大きな違いが無いこと、つまり、ユーザのフォームが手本のフォームに非常に近いことを、筋張力比較部３６０に通知して、一連の処理を終了する。なお、どの部位においても手本とユーザとの間に大きな違いが無い場合には、特に重要な部位としてデフォルトで設定された部位を通知したり、実施の形態１と同様にユーザから部位の指定を受け付けるようにしてもよい。

このような外観特徴点推定処理により、運動差異を解析すべき対象を自動で推定することができる。

このように、本実施の形態によれば、改善すべき優先度の高い部位、つまり、手本とユーザとの間の外観の動きの差異に大きな影響を及ぼす身体の部位を、自動で抽出することができる。これにより、短所を見つけ出すために必要な経験や運動理論等の前提知識を持たないユーザでも、効果的に改善学習を行うことが可能となり、指導者の補助が無くても効率的な独習を行うことが可能となる。

また、指導を受けるための場所の制約や、時間の制約を克服することができるので、練習機会をより柔軟に確保することができる。

更に、自動抽出にあたって、先に加速度ピークの順序性の一致不一致を判断し、次に加速度等の変化パターンの一致不一致を判断するというように、初心者向きの判断処理と上級者向きの判断処理とを分離して実施するため、習熟度レベルに応じた効果的なポイント指摘が可能となる。

本発明に係る学習支援装置および学習支援方法は、身体運動をより短期間で学習することができるので、スポーツ、リハビリ、熟練を要する作業等の学習支援装置および学習支援方法として有用である。

本発明の実施の形態１に係る学習支援装置の構成を示すブロック図 実施の形態１における外観運動計測部の取り付け状態および練習シーンの様子の一例を示す図 実施の形態１に係る学習支援装置の表示画面の遷移を示す図 実施の形態１に係る学習支援装置の動作の一例を示すフローチャート 実施の形態１における初期操作画面の外観の一例を示す平面図 実施の形態１におけるユーザの計測結果一覧表の構成の一例を示す図 実施の形態１におけるユーザの外観運動情報の構成の一例を示す図 実施の形態１におけるユーザの筋張力計算結果一覧表の構成の一例を示す図 実施の形態１における筋対応表の構成の一例を示す図 実施の形態１におけるユーザの筋張力相対比情報の構成の一例を示す図 実施の形態１における学習操作画面の外観の一例を示す平面図 実施の形態１におけるユーザの評価対象データの構成の一例を示す図 実施の形態１における手本の評価対象データの構成の一例を示す図 実施の形態１における影響度判定処理の一例を示すフローチャート 実施の形態１における評価一覧表の構成の一例を示す図 評価結果表示画面の外観の一例を示す平面図 本発明の実施の形態２に係る学習支援装置の構成を示すブロック図 実施の形態２における手本のピーク順序一覧表の構成の一例を示す図 ユーザのピーク順序一覧表の構成の一例を示す図 実施の形態２における手本のピークパターン一覧表の構成の一例を示す図 実施の形態２におけるユーザのピークパターン一覧表の構成の一例を示す図 実施の形態２における外観特徴点推定処理の一例を示すフローチャート 実施の形態２における変化パターンの一致不一致の判断処理を説明するための図

符号の説明

１００、１００ａ 学習支援装置
２００ 外観運動計測部
２１０ マーカ
２２０ カメラ
２３０ 床反力計
３００、３００ａ 制御端末
３１０ 情報提示部
３２０ データ保持部
３３０ 外観運動取得部
３４０ 筋張力計算部
３５０ 提示対象指定部
３６０ 筋張力比較部
３７０ 画像生成部
３８０ａ 提示対象推定部

Claims (8)

1. 身体運動を学習するための学習支援装置であって、
   ユーザの運動の外観に関する情報を取得する外観運動取得部と、
   前記外観に関する情報から、前記ユーザの筋に発生した筋張力を算出する筋張力計算部と、
   前記筋張力を、手本となる運動を行ったときに発生する筋張力と比較する筋張力比較部と、
   前記比較結果を提示する情報提示部と、
   を有する学習支援装置。
2. 手本となる運動を行ったときに発生する筋張力を、複数の筋について記憶するデータ保持部と、
   前記複数の筋のうち、前記比較結果の提示の対象となる筋を指定する提示対象指定部と、を更に有し、
   前記筋張力計算部は、
   前記ユーザの筋に発生した筋張力を、前記複数の筋について算出する、
   請求項１記載の学習支援装置。
3. 手本となる運動を行ったときに発生する筋張力を、複数の筋について記憶するデータ保持部、を更に有し、
   前記筋張力計算部は、
   前記ユーザの筋に発生した筋張力を、前記複数の筋について算出し、
   前記筋張力比較部は、
   前記比較結果から、手本となる運動とユーザの運動との差に最も影響を与えた筋を判定し、
   前記情報提示部は、
   手本となる運動とユーザの運動との差に最も影響を与えた筋を提示する、
   請求項１記載の学習支援装置。
4. 前記情報提示部は、
   前記複数の筋のうち、手本となる運動とユーザの運動との差に最も影響を与えた筋のみを提示する、
   請求項３記載の学習支援装置。
5. 前記筋張力計算部は、
   前記ユーザの身体の複数の部位の複数の時点における加速度としてのユーザ加速度を取得し、
   前記データ保持部は、
   手本となる運動を行ったときの、前記複数の部位の複数の時点における加速度としての手本加速度を記憶し、
   前記筋張力比較部は、
   手本となる運動とユーザの運動との間で筋張力の差が小さい筋を前記判定の対象外とし、かつ、前記判定の対象となる筋の筋張力を説明変数とし前記ユーザ加速度と前記手本加速度との差を目的変数とした数値解析を実施した後、前記説明変数の係数の大きさに基づいて、手本となる運動とユーザの運動との差に最も影響を与えた筋を判定する、
   請求項３に記載の学習支援装置。
6. 前記データ保持部は、
   手本となる運動を行ったときの、身体の複数の部位の複数の時点における加速度を更に記憶し、
   前記外観運動取得部は、
   前記ユーザの身体の前記複数の部位の、複数の時点における加速度を取得し、
   前記提示対象指定部は、
   前記ユーザの身体の前記複数の部位のそれぞれが、加速度の最大値、最小値、極大値、または極小値を取る時点と、前記手本となる運動を行ったときの前記複数の部位のそれぞれが、加速度の最大値、最小値、極大値、または極小値を取る時点とに基づいて、前記比較結果の提示の対象となる筋を指定する、
   請求項２記載の学習支援装置。
7. 前記外観運動取得部は、
   前記ユーザの部位の位置、速度、加速度、角速度、角加速度、床反力、加重の少なくとも１つを、前記外観に関する情報として取得する、
   請求項１記載の学習支援装置。
8. 身体運動を学習するための学習支援方法であって、
   ユーザの運動の外観に関する情報を取得するステップと、
   前記外観に関する情報から、前記ユーザの筋に発生した筋張力を算出するステップと、
   前記筋張力を、手本となる運動を行ったときに発生する筋張力と比較するステップと、
   前記比較結果を提示するステップと、
   を有する学習支援方法。
   

Images