JP2021049208A - 運動評価システム - Google Patents

Abstract

【課題】容易に身体運動を評価することができる運動評価システムの提供。【解決手段】運動評価システムは、少なくとも１つの身体の部位の位置に係る基準値を記憶する基準値記憶部を備える。運動中の身体が撮像される。運動評価システムは、身体を撮像した画像を解析して、画像中において身体の部位を特定する部位特定部を備える。運動評価システムは、画像における部位の位置および基準値を比較して運動の評価値を決定する評価部を備える。【選択図】図１

Description

本発明は、運動評価システムに関する。

従来、トレーニングジム等の運動施設の利用者が、熟練した指導者が作成したトレーニングメニューを利用者端末にダウンロードして、その利用者に合ったトレーニングメニューを、指導者がその運動施設にいなくても遠隔指導を受けているような状態で、トレーニングメニューを実施できる技術が開示されている（例えば、特許文献１）。

特開２０１５−０８３１０５号公報

しかしながら、特許文献１は、パーソナライズされたトレーニングメニューを一定程度実施可能な技術を開示するものの、特許文献１に開示の技術によって、利用者が、指導者からリアルタイムにフィードバックを受けながらトレーニングを行うことは困難である。

本発明はこのような背景を鑑みてなされたものであり、指導者とユーザとの円滑なコミュニケーションを図りながら、効率的なトレーニングを実現することを目的とする。

上記課題を解決するための本発明の主たる発明は、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、指導者とユーザとの円滑なコミュニケーションを図りながら、効率的なトレーニングを実現することができる。

本実施形態に係る運動評価システムの全体構成例を示す図である。 ユーザ端末１０のハードウェア構成例を示す図である。 ユーザ端末１０のソフトウェア構成例を示す図である。 サーバ装置２０のハードウェア構成例を示す図である。 サーバ装置２０のソフトウェア構成例を示す図である。 評価情報記憶部が格納するデータの内容を示す図である。 本実施形態に係るトレーニングメニュー生成方法を示すフローチャートである。 本実施形態に係る運動評価方法を示すフローチャートである。 ユーザ端末１０に表示される、ユーザ情報に含まれる身体計測に係る情報の一例を示す図である。 ユーザ端末１０によって撮像される、ユーザの身体運動の様子の一例を示す図である。 サーバ装置２０によって生成される評価情報の一例を示す図である 指導者端末３０に表示される、コミュニケーション用画面の一例を示す図である。 指導者端末３０に表示される、ユーザの身体部位に対応する評価情報の一例を示す図である。 指導者端末３０に表示される、ユーザの身体運動の比較の一例を示す図である。 指導者端末３０に表示される、コミュニケーション用画面の他の一例を示す図である。 指導者端末３０に表示される、コミュニケーション用画面のさらに他の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による運動評価システムは、以下のような構成を備える。

［項目１］
ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、
前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、
前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、
ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、
前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システム。
［項目２］
項目１に記載の運動評価システムであって、
前記評価情報生成部は、前記指導者端末から受信したフィードバック情報を基に前記評価情報を生成し、
前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システム。
［項目３］
項目１に記載の運動評価システムであって、
さらに、複数の推奨トレーニングコンテンツを格納し、
前記画面生成部は、前記指導者端末から受信した前記複数の推奨トレーニングコンテンツのうちいずれかのトレーニングコンテンツを、前記コミュニケーション用画面の少なくとも一部に表示するよう画面を生成する、運動評価システム。
［項目４］
項目１に記載の運動評価システムであって、
前記評価情報は、前記部位の角速度データを含む、運動評価システム。
［項目５］
項目１に記載の運動評価システムであって、
前記評価情報は、前記部位の角速度データと回数データとを含む、運動評価システム。
［項目６］
項目１に記載の運動評価システムであって、
前記ユーザ端末から受信した、前記部位の選択に応じて、当該選択した部位の評価情報を表示するよう画面を生成する、運動評価システム。
［項目７］
項目１に記載の運動評価システムであって、
前記コミュニケーション用画面は、ユーザ端末と指導者端末との間で送受信されたメッセージを表示する、メッセージ表示領域と、
前記評価情報を表示する付加情報表示領域と、を有する、運動評価システム。

本発明の一実施形態に係る運動評価システムは、ユーザの身体運動を評価し、ユーザ端末に表示されるユーザーインターフェース画面上に評価情報を提供する、というものである。ユーザの身体運動には、例えば、野球のピッチング、スクワット、ランニングなどがある。本実施形態の運動評価システムは、ユーザが身体運動をしている様子を撮像した画像（静止画像であっても動画像であってもよいが、本実施形態では動画像であるものとする。）から、身体の部位またはトレーニング器具等のオブジェクトの部位を特定し、その部位の絶対的な位置および複数部位の相対的な位置関係に基づいて身体の姿勢および動きを評価する。

図１は本実施形態に係る運動評価システムの全体構成例を示す図である。同図に示すように、本実施形態の運動評価システムは、ユーザ端末１０、サーバ装置２０及び指導者端末４０を含んで構成される。ユーザ端末１０とサーバ装置２０とは通信ネットワーク３０を介して互いに通信可能に接続されている。通信ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）であり、公衆電話回線網、専用電話回線網、携帯電話回線網、イーサネット（登録商標）、無線通信路などにより構築される。

ユーザ端末１０は、身体運動を行うユーザまたはその支援者が操作するコンピュータである。ユーザ端末１０は、例えば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末１０はカメラ等の撮像装置を備えており、これにより運動中におけるユーザの身体を撮像することができる。本実施形態では、運動中のユーザの身体を撮像した動画像はユーザ端末１０からサーバ装置２０に送信されるものとする。また、トレーニングジム等に備えられたカメラまたは携帯型カメラ等ユーザ端末１０以外の撮像装置によりユーザの身体を撮像することもできる。

サーバ装置２０は、身体運動を評価するコンピュータである。サーバ装置２０は、例えば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータなどである。サーバ装置２０は、ユーザ端末１０が撮影した動画像を受信し、受信した動画像を解析して身体運動の評価を行う。また、サーバ装置２０は、身体運動の改善策に係る提案も行う。身体運動の評価および改善策の提案の詳細については後述する。

指導者端末４０は、身体運動に関する評価情報に対し、指導者からのフィードバック情報をさらに受け付けるコンピュータである。指導者端末４０は、例えば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。本実施形態では、運動中のユーザの身体を撮像した動画像はユーザ端末１０からサーバ装置２０に送信され、動画像を基にサーバ装置２０により評価がなされるものとするが、このサーバ装置２０による評価処理を、ユーザ端末１０または指導者端末４０により実行することもできる。

図２は、ユーザ端末１０のハードウェア構成例を示す図である。ユーザ端末１０は、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、タッチパネルディスプレイ１０５、カメラ１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。タッチパネルディスプレイ１０５は、データの入出力を行うデバイスである。ユーザ端末１０はまた、キーボードやマウス、ボタン、マイクロフォンなどの入力装置、スピーカやプリンタなどの出力装置をさらに備えるようにしてもよい。なお、指導者端末４０のハードウェア構成についても、ユーザ端末１０のものと同等にすることができる。

図３は、ユーザ端末１０のソフトウェア構成例を示す図である。ユーザ端末１０は、撮像部１１１、送受信部１１２、及び画面生成部１１３等の機能部と、画像データ記憶部１３１等の記憶部とを備える。

なお、上記各機能部は、ユーザ端末１０が備えるＣＰＵ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、ユーザ端末１０が備えるメモリ１０２および記憶装置１０３が提供する記憶領域の一部として実現される。

撮像部１１１は、ユーザの運動中における身体を撮像する。撮像部１１１は、カメラ１０６を制御することにより、身体を撮像した動画像を取得することができる。なお、ユーザまたはユーザの支援者は、ユーザ端末１０を平坦な場所に設置し、カメラ１０６の光軸をユーザが運動を行う場所に向け、ビデオ撮影の開始を指示し、これに応じて撮像部１１１はカメラ１０６を動作させて、動画像を取得すればよい。撮像部１１１は、取得した動画像を画像記憶部１３１に記憶する。

画像記憶部１３１は、撮像部１１１が撮像した画像を記憶する。本実施形態では、画像は動画像である。画像記憶部１３１は、例えばファイルとして動画像を記憶することができる。

送受信部１１２は、撮像部１１１が撮像した画像に基づいて身体運動の評価を行うことのリクエスト（以下、評価リクエストという。）をサーバ装置２０に送信したり、サーバ装置２０から、ユーザの身体運動に対する評価情報、及び評価情報として指導者端末４０から受け付けたフィードバック情報及びメッセージを受け付けたり、外部装置との情報の送受信を行う。

評価リクエストには、ユーザＩＤ、モード、身体情報および画像データが含まれる。ユーザＩＤはユーザを特定する情報である。モードは、ユーザが行う運動を示す情報である。モードは、例えば、「ピッチング」、「スクワット」、「ランニング」等とすることができる。なお、モードは、ユーザが、所定の選択肢から選択することもできるし、ユーザの身体の動きを撮像した動画像から、後述する、サーバー装置２０の画像解析部２１２がモードを識別することもできる。身体情報は、計測器や画像分析等による様々な身体計測方法により取得可能な、ユーザの身体に関する情報である。例えば、身長、体重、睡眠、体脂肪、血圧、消費カロリー、体水分率、骨格筋、基礎代謝、体年齢、ＢＭＩ等が挙げられる。

画面生成部１１３は、ユーザ端末１０と指導者端末４０とのコミュニケーションのためのコミュニケーション用画面を生成し、コミュニケーション用画面に、サーバ装置２０から受け付けた評価情報等を表示する処理を行う。例えば、画面生成部１１３は、評価情報に含まれている位置情報に基づいて、動画に重畳させて、身体の部位を表す図形（例えば、端部や間接を表す円とそれらを結ぶ線）を表示することで、ボーンの動きを動画に重ねて表示することができる。また、画面生成部１１３は、例えば、部位の位置の時系列的な変化をグラフ表示することができる。さらに、画面生成部１１３は、ユーザの所定の身体の部位について、時系列による所定の位置に対する相対的な距離をグラフ等により可視化して表示することができる。

また、画面生成部１１３は、評価情報に含まれている姿勢情報および動き情報に基づいて、動画の表示に併せて、評価ランクおよび評価コメントを表示することができる。例えば、画面生成部１１３は、動画の再生時間が、姿勢情報に含まれている時点の前後近傍（例えば、５秒前後など任意の長さとすることができる。）にきたところで、姿勢情報に含まれている評価ランクおよび評価コメントを表示することができる。また、画面生成部１１３は、動画の再生時間が、動き情報に含まれている期間内にきたところで、動き情報に含まれている評価ランクおよび評価コメントを表示することができる。また、画面生成部１１３は、姿勢情報に含まれている姿勢値を表示することができる。また、画面生成部１１３は、動き情報に含まれている姿勢値のリストに基づいて、姿勢値の時系列的な変換をグラフ表示することができる。また、画面生成部１１３は、予め定義された動きの角速度、所定の動きの回数毎の平均速度を数値や棒グラフ等によって可視化して表示することができる。

また、画面生成部１１３は、指導者端末４０から受け付けたフィードバック情報を評価情報に含むように表示することができる。

また、画面生成部１１３は、動画からチェックポイントの画像を抽出して表示することができる。画面生成部１１３は、画像記憶部１３１に記憶されている動画の画像データから、チェックポイント情報に含まれている時点に対応するフレームを読み出して静止画像として表示することができる。また、画面生成部１１３は、例えば、読み出したフレームから身体部分のみを抽出して表示するようにしてもよい。その他については後述する。

図４は、サーバ装置２０のハードウェア構成例を示す図である。サーバ装置２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図５は、サーバ装置２０のソフトウェア構成例を示す図である。同図に示すように、サーバ装置２０は、送受信部２１１、画像解析部２１２、評価情報生成部２１３等の各機能部と、ユーザデータ記憶部２３１、画像データ記憶部２３２、評価情報記憶部２３３等の各記憶部とを備える。

なお、上記各機能部は、サーバ装置２０が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置２０が備えるメモリ２０２および記憶装置２０３が提供する記憶領域の一部として実現される。

送受信部２１１は、ユーザ端末１０から送信される評価リクエストを受信し、受信した評価リクエストに含まれているユーザデータ及び画像データを含む情報（以下、画像情報という。）を各々、ユーザデータ記憶部２３１、画像データ記憶部２３２に登録する。画像情報には、撮影されたユーザを示すユーザＩＤに対応付けて、画像データが含まれる。また、送受信部２１１が、評価リクエストに対して生成された評価情報、評価情報に含まれる指導者端末４０から受け付けたフィードバック情報、及びユーザ端末１０あるいは指導者端末４０から受け付けたメッセージ等を、ユーザ端末１０または指導者端末４０に送信する。

評価情報記憶部２３３は、例えば図６に示すように、評価情報のほか、身体運動に係る姿勢（部位の位置や角度）の基準値を含む情報（以下、基準情報という。）等を記憶する。

評価情報には、モード、ユーザＩＤ、位置情報、姿勢情報、動き情報およびチェックポイント情報が含まれる。

位置情報は、身体の各部位（例えば、頭、肩、肘、腰、膝、足首など）、または、ユーザが使うトレーニング器具（例えば、シャフト）といった対象物の部位の画像中の位置を示す。位置情報には、動画の時間軸上の時点に対応付けて、部位と、当該部位の位置とが含まれる。位置情報に基づいて、身体の骨格の状態（ボーン）を表示することができる。すなわち、例えば、位置情報が示す位置に、部位を示す図形（例えば円など）を画像に重畳させて表示することができる。なお、１つの時点について複数の部位の位置が含まれ得る。なお、２つの部位の間を結ぶ部位（例えば、手首と肘を結ぶ前腕や腰と膝を結ぶ大腿など）については、位置情報が含まれていなくてよい。この場合、所定の２つの部位を示すマーク（円など）のペアの間を線で結ぶことにより、これらの２つの部位の間を結ぶ部位を表現することができる。位置情報は、動画を構成する各フレームについて含まれていてもよいし、キーフレームごとに含まれていてもよいし、任意の数ごとのフレームごとに含まれていてもよいし、ランダムな時点について含まれていてもよい。マイフレームに位置情報が含まれていない場合、最も近い過去の時点の位置情報に基づいてボーンを表示するようにすることができる。

姿勢情報は、ユーザの身体の姿勢に係る情報である。例えば、スクワットの場合、姿勢情報には、動画の時間軸上の時点に対応付けて、評価対象となる部位、姿勢値等を含むことができる。また、評価ランク、評価コメント等を含むことができる。姿勢値とは、姿勢を表す値である。姿勢値は、例えば、地面から部位までの距離、２つの部位間の距離、間接部位の角度（第１の端部の部位から間接部位への直線と、第２の端部の部位から間接部位への直線とが作る角度）、身体の中心線に対するトレーニング器具（例えば、シャフト）の角度などである。評価ランクは、評価値をランクにより表した値である。評価ランクは、例えば、５段階の１ないし５や、ＡＢＣなどで表現される。評価コメントは、姿勢に関する評価に係るコメントである。例えば、モードが「スクワット」で、屈曲が十分でない場合に、「腰が下がっていない」といった評価コメントが含まれうる。

動き情報は、ユーザの身体の動きに係る情報である。例えば、スクワットの場合、動き情報には、動画の時間軸上の期間に対応付けて、評価対象となる部位、姿勢値のリスト、所定の動きの回数、速度／角速度等を含むことができる。また、評価ランク、評価コメント等を含むこともできる。姿勢値のリストは、期間内における時系列の姿勢値である。評価コメントは、動きに関する評価に係るコメントである。例えば、モードが「スクワット」で、膝の伸展がスムーズでない場合に、「膝の動きがスムーズではありません」といった評価コメントが含まれうる。

チェックポイント情報は、ユーザの身体の一連の動作の中で、姿勢などをチェックするべきポイント（以下、チェックポイントという。）を示す情報である。チェックポイントとしては、例えば、モードが「ピッチング」である場合、足を上げたところや、上げた足を下ろして体重移動したところ、ボールをリリースしたところなどである。チェックポイント情報には、動画の時間軸上の時点に対応付けて、チェックポイントを示す情報（以下、チェックポイントＩＤという。）を記憶している。すなわち、チェックポイントＩＤが示すチェックポイントが表示されている動画中のフレーム（静止画像）を特定することができる。

基準情報には、部位の絶対位置または他の部位もしくは他の基準物に対する相対位置に関する基準情報（以下、位置基準情報という。）と、関節部位を含む３つの部位について、２つの部位のそれぞれと関節部位とを結ぶ直線により形成される角度の基準情報（以下、角度基準情報という。）とが含まれる。

位置基準情報には、モードとチェックポイントＩＤとに対応付けて、部位と、当該部位の基準となる位置が含まれる。部位は複数あってもよい。位置について、鉛直方向の位置は、例えば、身体の中心線上の距離や地面からの高さとしてもよいし、いずれかの足先からの距離とすることができる。水平方向の位置は、所定の基準物（例えば、マウンドプレートや床上のマークなど）からの距離としてもよいし、肩や胸、足などの基準部位からの距離としてもよい。位置基準情報は、予め登録されているものとする。

角度基準情報には、モードとチェックポイントＩＤとに対応付けて、２つの部位（部位１および部位２）と、１つの関節部位と、部位１と関節部位とを結ぶ直線と、部位２と関節部位とを結ぶ直線との間の角度の基準値とが含まれる。

また、評価情報記憶部２３３は、評価を行うための情報（以下、評価条件情報という。）を記憶する。評価条件情報には、カテゴリ、条件、評価ランク、コメントが含まれている。カテゴリは、評価のカテゴリである。カテゴリとしては、例えば、「球速」「コントロール」などとすることができる。条件は、画像における身体の各部位の位置または動き（時系列における位置の変化）に対する条件である。例えば、ピッチングフォームを分析する場合、ボールをリリースするチェックポイントについて、肘の角度や腕の回転速度などに対する条件を評価条件情報に設定することができる。また、ランニングを分析する場合は、ピッチやストライドの距離などに対する条件を評価条件情報に設定することができる。または、スクワットを分析する場合は、床上のマークに対する腰の位置までの距離、または、ユーザが直立してシャフトを持つ位置から移動した距離を評価条件情報に設定することができる。評価ランクは、上記条件が満たされた場合の評価値である。コメントは、上記条件が満たされた場合における、身体の姿勢や動きについての説明である。

画像解析部２１２は、画像データを解析する。画像解析部２１２は、画像データを解析して身体の各部位の特徴量を抽出し、各部位の画像における位置を特定する。なお、画像解析部２１２による画像解析の手法については一般的なものを採用するものとして、ここでは詳細な説明を省略する。画像解析部２１２は、フレームごとまたはキーフレーム毎に画像データを解析するようにしてもよいし、ランダムなタイミングで解析するようにしてもよい。

画像解析部２１２はまた、チェックポイントＩＤごとに、画像データから抽出した各部位の位置と、評価情報記憶部２３３に記憶されている位置基準情報とを比較し、最も近い時点をチェックポイントの時点として特定する。

評価情報生成部２１３は、画像データに基づいてユーザの身体の動きを評価する。本実施形態では、評価情報生成部２１３は、画像データから特定された各部位の位置および部位の動きが満たす条件を含む評価条件情報を評価情報記憶部２３３から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。

評価情報生成部２１３は、画像解析部２１２が特定した動画の時間軸における時点と各部位の位置とを含む位置情報を生成する。評価情報生成部２１３が取得した評価ランクおよびコメントについて、部位の位置が条件を満たす場合には、時点、部位および姿勢値と、評価ランクおよびコメントとを含む姿勢情報を生成し、部位の動き（時系列における位置の変化や角速度）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む動き情報を生成する。また、評価情報生成部２１３は、画像解析部２１２が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。

図７は、本実施形態に係るトレーニングメニュー生成方法を示すフローチャートである。

ユーザ端末１０は、ユーザからユーザ情報の入力を受け付ける（Ｓ１０１）。例えば、図９に示すように、ユーザ情報として、ユーザＩＤ／パスワード、ユーザ名、身長、体重、体調、体脂肪、ゴール（例：「体重を６０ｋｇにする」「スイングスピードの向上」「投球スピードの向上」「健康維持」「けが防止」）等が挙げられる。その他、ユーザは、例えば、「ピッチング」、「スクワット」、「ランニング」等のモード、例えば、身長、体重、睡眠、体脂肪、血圧、消費カロリー、体水分率、骨格筋、基礎代謝、体年齢、ＢＭＩ等の身体情報の入力を受け付けることもできる。ユーザ端末１０の送受信部１１２は、サーバ装置２０に対し、ユーザ情報等を送信する。

次に、サーバ装置２０の送受信部２１１は、ユーザ端末１０からユーザ情報等を受け付けると、ユーザ情報記憶部２３１にユーザ情報等を格納する。サーバ装置２０の送受信部２１１は、指導者端末４０に対し、ユーザ情報等を送信する。

次に、指導者端末４０は、アプリケーションを介して、サーバ装置２０にアクセスし、サーバ装置２０に格納されたユーザ情報等を参照する（Ｓ１０３）。具体的には、指導者端末４０のアプリケーションのユーザーインターフェース画面上に、指導者が選択した所定のユーザのユーザ情報等が表示される。

続いて、指導者端末４０は、指導者の入力に基づいて、所定のユーザ向けのトレーニングメニューを作成する（Ｓ１０４）。トレーニングメニューは、予めサーバ装置２０に格納されており、指導者は、指導者端末４０を操作して、サーバ装置にアクセスすることでトレーニングメニューのリストを確認することができる。トレーニングメニュー作成の手順として、例えば、あるユーザのユーザ情報に含まれるゴール設定が「球速向上」である場合、指導者は、指導者端末４０に表示されるメニュー作成用画面を介して、そのユーザ向けにトレーニングメニューとして、「プラン名」、「目標」（例：「球速向上」）、「トータル日数」（例：「２０日」）、「１週間当たり」（例：「２日」）、「１日当たり」（例：「３０分」）といった項目に入力を行い、また、日々実施する具体的なトレーニングメニューを、メニューを記載したファイルを選択することで追加する。トレーニングメニューとして、指導者は、複数のメニューのリスト（例えば、「スクワット」、「アームカール」等）から所望のメニューを選択することができる。ここで、サーバ装置２０は、トレーニングメニューを、画像ファイル及び／または動画ファイルと関連付けて管理することができる。例えば、トレーニングメニューに関連するページに、トレーニング手順をテキスト情報で記載し、画像データや動画データを埋め込むことができる。または、トレーニングメニューとして、動画ファイルそのものとすることもできる。

指導者が、指導者端末４０においてトレーニングメニューを作成し、保存することで、サーバ装置２０は、作成されたトレーニングメニューをユーザ情報と関連付けて登録する（Ｓ１０５）。

ここで、サーバ装置２０は、登録されたトレーニングメニューを、ユーザに関連付けて管理されているカレンダーに登録することができる（Ｓ１０６）。例えば、指導者が、ユーザのトレーニングメニューとして、合計２０日、週２回、１日３０分、１日目に「スクワット」、２日目に「アームカール」といったように作成した場合、サーバ装置２０が、対象ユーザのユーザ情報を参照し、ユーザ情報に含まれるカレンダーを確認する。サーバ装置２０は、例えば、ユーザのカレンダーに対し、トレーニングの予定を定期的に追加する（または、追加することを提案する）こともできるし（例えば、毎週火曜、木曜の午前１時間等）、ユーザの空き時間を確認し、空き時間に予定を追加する（または、追加することを提案する）こともできる。ここで、サーバ装置２０は、トレーニングの性質に基づいて予定を決定したり、ユーザの過去のトレーニングの履歴、身体情報または体調情報に基づいて予定を決定することもできる。また、サーバ装置２０は、ユーザがある週に１日で２日分のトレーニングを消化した場合、その週に実施する予定をキャンセルしたり、他方で、ユーザがトレーニングを実施しなかった場合に、実施すべきであったトレーニングの予定を追加するよう処理することもできる。

ユーザ端末１０は、サーバ装置２０に格納されたトレーニングメニューにアクセスし、登録されたトレーニングメニューを参照することで、トレーニングメニューを開始する（Ｓ１０７）。

以上により、指導者は、共有されたユーザ情報に基づいて、その知見により個々のユーザに応じたトレーニングメニューを作成することができ、指導者に対して遠隔に所在するユーザは、作成されたトレーニングメニューを実行することができる。

図８は、本実施形態に係る運動評価方法を示すフローチャートである。

トレーニングメニューを実行するに際し、ユーザ端末１０において撮像部１１１は、モードの入力を受け付け、ユーザの運動中における身体を撮像し、動画データを取得する（Ｓ２０１）。例えば、図１０に示すように、ユーザ端末１０は、「スクワット」にモード選択を受付け、ユーザがスクワットする動画を撮像する。

続いて、送受信部１１２は、ユーザを示すユーザＩＤ、受け付けたモード、身体情報および動画データを含む評価リクエストをサーバ装置２０に送信する（Ｓ２０２）。ここで、ユーザ端末１０は、ユーザーインターフェース画面上に表示される、ユーザ端末１０と指導者端末４０との間のコミュニケーション画面を介してユーザからメッセージを受け付けることもできる。

サーバ装置２０において送受信部２１１が評価リクエストを受信すると、画像解析部２１２は動画データを解析して特徴量を抽出し（Ｓ２０３）、各部位の位置を特定する（Ｓ２０４）。ここで画像解析部２１２は、画像上の位置を特定するようにしてもよいし、身体情報を用いて実寸の位置（身体の中心線上の距離、地面からの高さ、身体の重心等の基準点からの距離など）を特定するようにしてもよい。評価情報生成部２１３は、各部位の位置や部位の動き情報（位置の時系列的な変化や角速度）を取得し、評価条件情報から評価ランクおよびコメントを生成する（Ｓ２０５）。評価情報生成部２１３は、生成した評価情報を、対象ユーザに対応する評価情報として、評価情報記憶部２３３に格納する。送受信部２１１は、評価情報を生成して指導者端末４０に送信する（Ｓ２０６）。

例えば、図１１に示すように、サーバ装置２０の画像解析部２１２は、ユーザ端末１０から受け付けた、スクワットを行うユーザの動画データを解析して特徴量を抽出し、評価情報生成部２１３は、ユーザの腰部等といった特定の部位やユーザが使うトレーニング器具の部位の、時系列的な位置の変化と角速度等の動き情報を所定回数分だけ取得する。続いて、評価情報生成部２１３は、取得した動き情報を基に、１回当たりの平均速度を算出し、平均速度が評価条件情報（例えば、他のユーザ平均）を上回るか否かにより、評価ランクおよびコメントを生成する。図１１に示すように、ユーザが直立した状態で保持するシャフトを基準位置とみなし、「評価内容」として、シャフトの基準位置から身体の中心線上の移動距離、移動速度、身体の中心線に対する水平方向に延びるシャフトの傾き等を評価する。ここで、ＶＢＴ（Ｖｅｌｏｃｉｔｙ Ｂａｓｅｄ Ｔｒａｉｎｉｎｇ）の理論を適用し、画像解析部２１２は、動画データを基に、例えば、スクワットにおいて、テストに係る所定回数分のユーザの平均速度を測定し、続いて、評価対象となるスクワットの動作において、平均速度を下回った時点で、ユーザ端末に対してトレーニングを中止するよう通知を送信したり、評価を中止したりすることができる。

指導者端末４０は、受信した評価情報をユーザーインターフェース画面上に表示し、指導者から評価情報に対するフィードバック情報を受け付ける（Ｓ２０７）。例えば、図１１に示す、指導者端末４０のユーザーインターフェース画面において、「評価項目」として、シャフトの傾き、移動距離、移動速度を、各々イラストを用いて可視化し、スクワットの各回数のシャフトの移動速度の遷移をグラフ表示している。さらに、評価に基づいて、指導者が推薦する動画を表示し、、さらに、指導者からのフィードバックを受け付ける項目を表示する。図１１において、例えば、「フィードバックを記載してトレーニーに送信しましょう」というコメント記入欄が設けられている。さらに、図１１に示すように、「おすすめＴＲ（トレーニング）」として、指導者がユーザに対して推奨するトレーニングを複数の動画データから選択可能なオプションが提供される。

ここで、図１２に示す、指導者端末４０のユーザーインターフェース画面において、指導者は、ユーザ端末１０に対して送信する評価情報を選択することができる。例えば、指導者端末４０は、ユーザーインターフェース画面において、送信する項目として、「評価内容」、「評価項目」、「おすすめＴＲ」のいずれか、及び／または、動画のみを送信することを選択することができるオプションを表示することができる。

また、図１２に示すように、指導者端末４０において、ユーザ端末１０とのメッセージの交換を可能とする、コミュニケーション用画面を表示し、ユーザからのメッセージに対し、指導者は、フィードバック情報として「全ての項目について平均値以上です」というコメントを含む、「評価項目」と「おすすめＴＲ」等の評価情報を送信することができる。

さらに、図１３に示すように、指導者端末４０のユーザーインターフェース画面において、指導者が角度を表示する、ユーザの身体の部位（関節）を選択可能な画面を表示し、指導者の選択に応じて、選択された部位の角度を表示することができる。指導者は、選択した角度を参照してフィードバック情報を入力することができる。

さらに、図１４に示すように、指導者端末４０のユーザーインターフェース画面において、指導者の要求に応じて、ユーザ端末１０に関連するユーザの動画データと、評価の参考となる他のユーザの動画データとを比較して表示することができる。指導者は、比較動画を参照してフィードバック情報を入力することができる。

さらに、図１５に示すように、指導者端末４０のユーザーインターフェース画面において、指導者が、ユーザ端末１０に関連するユーザのユーザ情報を付加的な情報を表示する領域において参照しながら、ユーザに対するコメントを入力することが可能な、コミュニケーション用画面を表示することができる。さらに、指導者は、コミュニケーション用画面のうちの付加的な情報を表示する領域において、そのユーザの所定の期間における身体情報（例えば、体脂肪や体重）の履歴を参照することができる。

さらに、図１６に示すように、指導者端末４０のユーザーインターフェース画面において、指導者が、ユーザのチェックポイントにおける動きを参照しながら、ユーザに対するコメントを入力することが可能なコミュニケーション用画面を表示することができる。例えば、図１６において、ユーザのピッチング動作において、足を上げたところや、上げた足を下ろして体重移動したところ、ボールをリリースしたところなどのチェックポイントに対応する動画中のフレームを、コミュニケーション用画面のうち付加的な情報を表示する領域に表示することで、指導者は、チェックポイントの動作を参照しながらコメントを入力することができる。

サーバ装置２０の送受信部２１１は、指導者端末４０よりフィードバック情報を含む評価情報を受信し、評価情報記憶部２３３に格納された、対象ユーザに対応する評価情報を更新する（Ｓ２０８）。

ユーザ端末１０の送受信部１１２は、サーバ装置２０よりフィードバック情報を含む評価情報を受信し、画面生成部１１３は、ユーザ端末１０のユーザーインターフェース画面に表示する、評価情報を含む画面を生成する（Ｓ２０９）。例えば、ユーザ端末１０の画面生成部１１３は、図１２に示す指導者端末４０のユーザーインターフェース画面に表示されるような、コミュニケーション用画面の一部に、サーバ装置２０及び指導者端末４０によって生成されたフィードバック情報を含む評価情報を表示するよう画面を生成する。ここで、評価情報において、指導者が推奨する動画を含むことができる。

また、図１３に示す、指導者端末４０のユーザーインターフェース画面に表示されるように、ユーザ端末１０による選択要求に応じて、サーバ端末２０は、ユーザの身体の特定の部位の軌跡といった動き情報を含む評価情報を送信し、ユーザ端末１０の画面生成部１１３は、ユーザ端末１０のユーザーインターフェース画面に評価情報を表示するよう画面を生成することができる。

また、図１４に示す、指導者端末４０のユーザーインターフェース画面に表示されるように、ユーザ端末１０による選択要求に応じて、ユーザ端末１０の画面生成部１１３は、ユーザ端末１０に関連するユーザの動画データと、評価の参考となる他のユーザの動画データとを比較して表示するよう画面を生成することができる。

さらに、図１５及び図１６に示す、指導者端末４０のユーザーインターフェース画面に表示されるように、ユーザ端末１０の画面生成部１１３は、コミュニケーション用画面の一部に付加的な情報を表示する領域に、ユーザ情報やユーザの身体情報の履歴を表示したり、ユーザのチェックポイントにおける動きを表示するよう画面を生成することができる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

また、本実施形態では、所定の機能の実行及び情報の記憶を、ユーザ端末、指導者端末またはサーバ装置で行うものとしているが、これに限らず、いずれか一方の装置で当該機能の実行及び情報の記憶を行うこととしてもよい。または、本実施形態とは異なる形態で、機能部及び記憶部を分散して設けてもよい。例えば、ユーザ端末において、ユーザの身体運動を撮像するだけでなく、解析及び評価処理を実行することとしてもよい。これにより、ネットワークによる遅延を生じることなく、より高速な解析及び評価を実現することができる。また、サーバ装置は、ユーザ端末から送信された動画データを指導者端末に転送する、転送装置として機能することもできる。これにより、サーバ装置による処理資源を節約することができ、高機能な指導者端末に解析及び評価処理を委ねることができる。さらに、ユーザの身体運動を撮像、解析、及び評価する機能の一部または全部を、ユーザが所在する室内または空間に設置されたカメラ装置が備えることもできる。

また、本実施形態を、リハビリ患者のリハビリ運動、整体師の身体動作への評価にも適用することができる。例えば、リハビリ患者の所定の反復動作をユーザ端末によって撮像し、画像解析によって評価を実施し、指導者が、指導者端末を介して評価コメントや推奨療法を入力することで、患者に対してフィードバックを提供することもできるし、整体師についても、所定の施術に係る身体動作について、同様の方法によって評価し、指導者が、指導者端末を介して、評価コメントや推奨施術を入力することでフィードバックを提供することができる。同様に、所定の身体動作やゴルフクラブ等所定の器具を用いた運動についても、本実施形態を適用することができる。

１０ ユーザ端末
２０ サーバ装置
３０ 通信ネットワーク
４０ 指導者端末

Claims (7)

1. ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、
   前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、
   前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、
   ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、
   前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システム。
2. 請求項１に記載の運動評価システムであって、
   前記評価情報生成部は、前記指導者端末から受信したフィードバック情報を基に前記評価情報を生成し、
   前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システム。
3. 請求項１に記載の運動評価システムであって、
   さらに、複数の推奨トレーニングコンテンツを格納し、
   前記画面生成部は、前記指導者端末から受信した前記複数の推奨トレーニングコンテンツのうちいずれかのトレーニングコンテンツを、前記コミュニケーション用画面の少なくとも一部に表示するよう画面を生成する、運動評価システム。
4. 請求項１に記載の運動評価システムであって、
   前記評価情報は、前記部位の角速度データを含む、運動評価システム。
5. 請求項１に記載の運動評価システムであって、
   前記評価情報は、前記部位の角速度データと回数データとを含む、運動評価システム。
6. 請求項１に記載の運動評価システムであって、
   前記ユーザ端末から受信した、前記部位の選択に応じて、当該選択した部位の評価情報を表示するよう画面を生成する、運動評価システム。
7. 請求項１に記載の運動評価システムであって、
   前記コミュニケーション用画面は、ユーザ端末と指導者端末との間で送受信されたメッセージを表示する、メッセージ表示領域と、
   前記評価情報を表示する付加情報表示領域と、を有する、運動評価システム。
   
   
   
   

Images