JP2022002673A - 身体運動支援システム - Google Patents

Abstract

【課題】容易に身体運動を評価することができるようにする。【解決手段】ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援サーバであって、少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶部と、前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定部と、前記画像における前記部分の位置および前記基準値に基づいて前記運動の評価値を決定する評価部と、を備える。【選択図】図１

Description

本発明は、身体運動支援システムに関する。

道具（装置を含む）を用いて行う身体運動が幅広く存在する。例えば競技のカテゴリの一つである球技では、ボールという道具と、競技によってはそれを主に手や足、身体等で保持、取り付けた道具で扱うこととなる。また、それら競技等の練習、さらには筋力トレーニング、リハビリなどにおいて、競技に用いる道具や、トレーニング用、リハビリ用の道具を用いることは広く普及している。

ここで、トレーニングマシンに着目する。ユーザがトレーニングマシンを用いてトレーニングを行う際、マシンの挙動を検知し、運動量などを測定する発明が開示されている（特許文献１）。

特開２００５−１９８８６７号公報

しかしながら、特許文献１の技術はトレーニングマシンという道具自体に、測定のための装置を取り付ける必要があり、簡便性や安全性の面で課題がある。また、道具の種類や、当該道具を使用方法によっては、当該道具に測定のための装置を取り付けることが困難な場合もある。

本発明はこのような背景を鑑みてなされたものであり、身体運動に用いる道具の動きを容易に検知、評価し、更なる技能の向上やトレーニング、リハビリ等の効果の向上に向けたアドバイス等をすることによって、運動の支援をできる技術を提供することを目的とする。

本発明は、ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援システムであって、少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶部と、前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定部と、前記画像における前記部分の位置および前記基準値を比較して前記運動の評価値を決定する評価部と、を備えることを特徴とする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

本発明によれば、容易に道具を用いた身体運動の技能や効果を評価し、技能向上、効果向上に資する支援をすることができる。

本実施形態に係る身体運動支援システムの全体構成例を示す図である。 ユーザ端末１０のハードウェア構成例を示す図である。 ユーザ端末１０のソフトウェア構成例を示す図である。 身体情報記憶部１３０が記憶する身体情報の構成例を示す図である。 評価リクエスト送信部１１２がサーバ装置２０に送信する評価リクエストの構成例を示す図である。 評価情報受信部１１３がサーバ装置２０から受信する評価情報の構成例を示す図である。 改善策リクエスト送信部１１６がサーバ装置２０に送信する改善策リクエストの構成例を示す図である。 改善策情報の構成例を示す図である。 サーバ装置２０のハードウェア構成例を示す図である。 サーバ装置２０のソフトウェア構成例を示す図である。 画像データ記憶部２３１に記憶される画像情報の構成例を示す図である。 基準情報記憶部２３２が記憶する基準情報の構成例を示す図である。 評価条件情報記憶部２３３に記憶されている評価条件情報の構成例を示す図である。 改善策情報記憶部２３４に記憶される改善策情報の構成例を示す図である。 グループ解析情報記憶部２３５に記憶されるグループ解析情報の構成例を示す図である。 本実施形態の身体運動支援サーバにおいて実行される処理の流れを示す図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す他の図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す他の図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す他の図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す他の図である。 ユーザ端末１０に提示される、スクワットのモードにおける動画の評価画面の一例を示す他の図である。 支援者端末５０に提示される、集合トレーニングにおける動画の評価画面の一例を示す図である。 支援者端末５０に提示される、集合トレーニングにおける動画の評価画面の一例を示す他の図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による身体運動支援サーバは、以下のような構成を備える。

［項目１］
ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援システムであって、
少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶機能と、
前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定機能と、
前記画像における前記部分の位置および前記基準値に基づいて前記運動の評価値を決定する評価機能と、
を備えることを特徴とする身体運動支援システム。
［項目２］
前記評価機能は、前記基準値から前記位置までの距離に応じて前記評価値を決定すること、
を特徴とする、項目１に記載の身体運動支援システム。
［項目３］
前記評価機能は前記道具の部分と前記身体の部位の関係から前記運動の評価値を決定すること、
を特徴とする、項目１または２に記載の身体運動支援システム。
［項目４］
前記部分および前記部分に対する条件に対応付けて、前記部分の位置についてのコメントを記憶するコメント記憶機能と、
前記位置が満たす前記条件に対応する前記コメントを出力するコメント出力機能と、をさらに備えること、
を特徴とする、項目１から３に記載の身体運動支援システム。
［項目５］
前記運動に係る改善の目標と、前記位置に対する条件とに対応付けて、前記身体運動に係る改善策のアドバイスを記憶する改善策情報記憶機能と、
前記位置が満たす前記条件に対応する前記アドバイスを出力するアドバイス出力機能と、をさらに備えること、
を特徴とする、項目１から４に記載の身体運動支援システム。
［項目６］
ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援サーバであって、
少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶機部と、
前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定部と、
前記画像における前記部分の位置および前記基準値を比較して前記運動の評価値を決定する評価部と、
を備えることを特徴とする身体運動支援サーバ。
［項目７］
ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援方法であって、
少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶ステップと、
前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定ステップと、
前記画像における前記部分の位置および前記基準値を比較して前記運動の評価値を決定する評価ステップと、
を備えることを特徴とする身体運動支援方法。

本発明の一実施形態に係る身体運動支援サーバは、ユーザが道具を用いて行う身体運動において、道具の動きを評価しようとするものである。

ユーザの道具を用いた身体運動には、たとえば、サッカー、バレーボール、バスケットボールなどの、ボールのみを道具として扱う競技、野球、テニス、卓球、ゴルフなどのボールとその他道具を用いる競技、また剣道、フェンシングなどのボール以外の道具を用いる競技、また、ジャグリングなどの道具を用いて行う身体運動、バーベルやトレーニング用の器具やマシンを用いる身体運動、さらに、道具を用いて行う各種リハビリ、杖などの道具を用いた被介護者の動作、楽器を用いる演奏等が含まれるが、これに限定されない。

本実施形態の身体運動支援サーバは、たとえば、ユーザが道具を用いて身体運動をしている様子を撮像した画像（静止画像であっても動画像であってもよいが、本実施形態では動画像であるものとする。）から、道具および道具の部分を特定し、その部分の絶対的な位置および複数の異なる部分の相対的な位置関係などに基づいて、道具の動きを評価する。なお、身体の部位を特定し、前記道具の部分と、前記身体の部位の相対的な位置関係などに基づいて道具の動きを評価してもよい。

図１は本実施形態に係る身体運動支援サーバの全体構成例を示す図である。同図に示すように、本実施形態の身体運動支援サーバは、ユーザ端末１０およびサーバ装置２０を含んで構成される。さらに、撮像端末３０を含んでもよい。ユーザ端末１０とサーバ装置２０と撮像端末３０は、通信ネットワーク４０を介して互いに通信可能に接続されている。通信ネットワーク４０は、たとえば、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり、公衆電話回線網、専用電話回線網、携帯電話回線網、イーサネット（登録商標）、無線通信路などにより構築される。

＝＝ユーザ端末１０＝＝
ユーザ端末１０は、身体運動を行うユーザまたはその支援者が操作するコンピュータである。ユーザ端末１０は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末１０はカメラ等の撮像装置を備えており、これにより運動中におけるユーザの身体を撮像することができる。本実施形態では、運動中のユーザの身体を撮像した動画像はユーザ端末１０からサーバ装置２０に送信されるものとする。なお、ユーザ端末１０は撮像端末３０を兼ねていてもよい。また、ユーザ端末１０は図１において１台しか記載していないが、複数であってもよいことは言うまでもない。

＝＝サーバ装置２０＝＝
サーバ装置２０は、道具の動きを評価するコンピュータである。サーバ装置２０は、たとえば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータなどである。サーバ装置２０は、ユーザ端末１０が撮影した動画像を受信し、受信した動画像を解析して身体運動の評価を行う。また、サーバ装置２０は、身体運動の改善策に係る提案も行う。身体運動の評価および改善策の提案の詳細については後述する。

＝＝撮像端末３０＝＝
撮像端末３０は、ユーザが身体運動を行う場所に設置、または取り付けられた、ユーザを撮像するコンピュータ、または通信機能を持つカメラなどである。撮像端末３０は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。撮像端末３０はカメラ等の撮像装置を備えており、これにより運動中におけるユーザの身体を撮像することができる。本実施形態では、運動中のユーザの身体を撮像した動画像は撮像端末３０からサーバ装置２０に送信されるものとする。なお、撮像端末３０に記憶された、ユーザを撮像したデータを、ユーザまたはその支援者、身体運動支援サーバを用いて事業を行う事業者が、サーバ装置２０に直接インプットしてもよいし、ネットワークを介してインプットしてもよい。

＝＝支援者端末５０＝＝
支援者端末５０は、トレーナー、理学療法士、介護士等の、身体運動を行うユーザに対して指導、教示、説明、支援等を行う役割を担う人（支援者）が操作するコンピュータである。支援者端末５０は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。

図２は、ユーザ端末１０のハードウェア構成例を示す図である。ユーザ端末１０は、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、タッチパネルディスプレイ１０５、カメラ１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、通信ネットワーク４０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。タッチパネルディスプレイ１０５は、データの入出力を行うデバイスである。ユーザ端末１０はまた、キーボードやマウス、ボタン、マイクロフォンなどの入力装置、スピーカやプリンタなどの出力装置をさらに備えるようにしてもよい。

図３は、ユーザ端末１０のソフトウェア構成例を示す図である。ユーザ端末１０は、撮像部１１１、評価リクエスト送信部１１２、評価情報受信部１１３、評価表示部１１４、チェックポイント表示部１１５、改善策リクエスト送信部１１６、改善策情報受信部１１７、改善策情報表示部１１８の各機能部と、身体情報記憶部１３０、画像記憶部１３１、評価情報記憶部１３２および改善策記憶部１３３の各記憶部とを備える。

なお、上記各機能部は、ユーザ端末１０が備えるＣＰＵ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、ユーザ端末１０が備えるメモリ１０２および記憶装置１０３が提供する記憶領域の一部として実現される。

撮像部１１１は、ユーザが道具を用いて行う身体運動中の画像を、動画を含めて撮像する。撮像部１１１は、カメラ１０６を制御することにより、道具を用いた身体運動を撮像した動画像を取得することができる。なお、ユーザまたはユーザの支援者は、ユーザ端末１０を平坦な場所や壁などに設置し、カメラ１０６の光軸をユーザが運動を行う場所に向け、ビデオ撮影の開始を指示し、これに応じて撮像部１１１はカメラ１０６を動作させて、動画像を取得すればよい。撮像部１１１は、取得した動画像を画像記憶部１３１に記憶する。

画像記憶部１３１は、撮像部１１１が撮像した画像を記憶する。本実施形態では、画像は動画像であるが、それに限定されない。画像記憶部１３１は、たとえばファイルとして動画像を記憶することができる。

身体情報記憶部１３０は、ユーザの身体や身体能力、トレーニング効果に影響を及ぼす要素等に関する情報（以下、身体情報という。）を記憶する。図４は、身体情報記憶部１３０が記憶する身体情報の構成例を示す図である。同図に示すように、身体情報には、身長、体重、性別、利き手、腕の長さ、足の長さ、手の大きさ、指の長さ、握力、筋力、柔軟性、肩の強さ、ゲノム、エピゲノム、遺伝子多型、腸内細菌叢、食事などが含まれる。

評価リクエスト送信部１１２は、撮像部１１１が撮像した画像に基づいて、道具を用いた身体運動の評価を行うことのリクエスト（以下、評価リクエストという。）をサーバ装置２０に送信する。

図５は、評価リクエスト送信部１１２がサーバ装置２０に送信する評価リクエストの構成例を示す図である。同図に示すように、評価リクエストには、ユーザＩＤ、モード、身体情報および画像データが含まれる。ユーザＩＤはユーザを特定する情報である。モードは、ユーザが行う運動を示す情報である。モードは、たとえば、「ベンチプレス」や「テニスのサーブ」、「歩行リハビリ」などとすることができる。なお、モードは、所定の選択肢から選択されるものとする。身体情報は、身体情報記憶部１３０に記憶されている身体情報である。画像データは撮像部１１１が取得した動画像のデータである。

評価情報受信部１１３は、評価リクエストに応じてサーバ装置２０から応答される、道具を用いた身体運動の評価に関する情報（以下、評価情報という。）を受信する。評価情報受信部１１３は、受信した評価情報を評価情報記憶部１３２に登録する。

図６は、評価情報受信部１１３がサーバ装置２０から受信する評価情報の構成例を示す図である。同図に示すように、評価情報には、モード、ユーザＩＤ、道具位置情報、身体部位位置情報、姿勢情報、動き情報およびチェックポイント情報が含まれる。

ユーザＩＤおよびモードは評価リクエストに含まれていたユーザＩＤとモードである。撮像された画像には、モードが示す運動をユーザが行った身体を撮影したものであることを示す。

道具位置情報は、道具の各部分（たとえば、野球に用いるバット全体や、両端、グリップ、ボールがミートした場所、重心、その他任意の部分など。また、バーベル全体やシャフト、プレート（重りの部分）、グリップした部分、シャフトの中心、重心、その他任意の部分など。道具全体も含む。）の画像中の位置を示す。道具位置情報には、動画の時間軸上の時点に対応付けて、道具の各部分と、当該部分の位置とが含まれる。道具位置情報に基づいて、道具の動きや、身体の部位との関係性を表示することができる。すなわち、たとえば、道具位置情報が示す位置に、部分を示す図形（たとえば円など）を画像に重畳させて表示することができる。なお、１つの時点について複数の部分の位置が含まれ得る。さらに、２つの部分の間を結ぶ部分（たとえば、バーベルを右手と左手で握った部分の中間点など）については、道具位置情報が含まれていなくてよい。この場合、所定の２つの部分を示すマーク（円など）のペアの間を線で結ぶことにより、これらの２つの部分の間を結ぶ部分を表現することができる。道具部分位置情報は、動画を構成する各フレームについて含まれていてもよいし、キーフレーム（のちに説明するチェックポイントに関するフレームを含む）ごとに含まれていてもよいし、任意の数ごとのフレームごとに含まれていてもよいし、ランダムな時点について含まれていてもよい。マイフレームに位置情報が含まれていない場合、最も近い過去の時点の位置情報に基づいて前記図形を表示するようにすることができる。

身体位置情報は、身体の各部位（たとえば、頭、肩、肘、腰、膝、足首など）の画像中の位置を示す。身体位置情報には、動画の時間軸上の時点に対応付けて、部位と、当該部位の位置とが含まれる。身体位置情報に基づいて、身体の骨格の状態（ボーン）を表示することができる。すなわち、たとえば、身体位置情報が示す位置に、部位を示す図形（たとえば円など）を画像に重畳させて表示することができる。なお、１つの時点について複数の部位の位置が含まれ得る。なお、２つの部位の間を結ぶ部位（たとえば、手首と肘を結ぶ前腕や腰と膝を結ぶ大腿など）については、位置情報が含まれていなくてよい。この場合、所定の２つの部位を示すマーク（円など）のペアの間を線で結ぶことにより、これらの２つの部位の間を結ぶ部位を表現することができる。位置情報は、動画を構成する各フレームについて含まれていてもよいし、キーフレーム（のちに説明するチェックポイントに関するフレームを含む）ごとに含まれていてもよいし、任意の数ごとのフレームごとに含まれていてもよいし、ランダムな時点について含まれていてもよい。マイフレームに位置情報が含まれていない場合、最も近い過去の時点の位置情報に基づいてボーンを表示するようにすることができる。

道具向き情報は、ユーザが用いている道具の向きや道具の部分が向いている方向などに係る情報である。道具向き情報には、動画の時間軸上の時点に対応付けて、評価対象となる道具の部分と、道具動き値と、評価ランクと、評価コメント等が含まれる。道具向き値とは、道具の向きを表す値である。道具向き値は、たとえば、地面から道具のとある部分までの距離、道具の２つの部分間の距離、部分の角度（道具の第１の部分と、例えばユーザが当該道具を握っている部分への直線と、道具の第２の部分と、例えばユーザが当該道具を握っている部分への直線とが作る角度）、道具のとある部位の動きなどである。評価ランクは、評価値をランクにより表した値である。評価ランクは、たとえば、５段階の１ないし５や、ＡＢＣなどで表現される。評価コメントは、姿勢に関する評価に係るコメントである。たとえば、モードが「アップライトロウ」で、地面からバーベルの右端と左端の距離が異なる場合に、「左右に異なる力が掛かっています」といった評価コメントが含まれうる。

道具動き情報は、ユーザが用いている道具の動きに係る情報である。道具動き情報には、動画の時間軸上の期間に対応付けて、評価対象となる道具の部分と、前記道具向き値のリストと、評価ランクと、評価コメントとが含まれる。道具向き値のリストは、期間内における時系列の道具向き値である。評価コメントは、道具の動きに関する評価に係るコメントである。たとえば、モードが「アップライトロウ」で、バーベルの上下運動が十分でない場合に、「バーベルが十分に持ち上げられていません」といった評価コメントが含まれうる。

姿勢情報は、ユーザの身体の姿勢に係る情報である。姿勢情報には、動画の時間軸上の時点に対応付けて、評価対象となる部位と、姿勢値と、評価ランクと、評価コメントとが含まれる。姿勢値とは、姿勢を表す値である。姿勢値は、たとえば、地面から部位までの距離、２つの部位間の距離、間接部位の角度（第１の端部の部位から間接部位への直線と、第２の端部の部位から間接部位への直線とが作る角度）などである。評価ランクは、評価値をランクにより表した値である。評価ランクは、たとえば、５段階の１ないし５や、ＡＢＣなどで表現される。評価コメントは、姿勢に関する評価に係るコメントである。たとえば、モードが「リフティング」で、屈曲が十分でない場合に、「腰が下がっていない」といった評価コメントが含まれうる。（関節可動域等の柔軟性、数値（角度や距離で出す）→（確認）アドバイスにも影響）

身体動き情報は、ユーザの身体の動きに係る情報である。身体動き情報には、動画の時間軸上の期間に対応付けて、評価対象となる部位と、姿勢値のリストと、評価ランクと、評価コメントとが含まれる。姿勢値のリストは、期間内における時系列の姿勢値である。評価コメントは、動きに関する評価に係るコメントである。たとえば、モードが「リフティング」で、膝の伸展がスムーズでない場合に、「膝の動きがスムーズではありません」といった評価コメントが含まれうる。

関係情報は、前記道具と前記身体のそれぞれ一つ以上の位置関係の情報を示す。関係情報には、動画の時間軸上の時点に対応付けて、道具の部分の位置、向き、動き等の情報と、身体の部位、姿勢、動き等の情報との関係の情報が含まれる。例えば、道具位置情報と身体位置情報に基づいて、両者がどのような位置関係にあるのかを表示することができる。すなわち、たとえば、道具位置情報が示す位置に、部分を示す図形（たとえば円など）を画像に重畳させ、さらに身体位置情報が示す位置に、部位を示す図形（たとえば円など）て表示することができる。なお、１つの時点について複数の部分、部位の位置が含まれ得る。なお、部分と部位の間を結ぶ箇所（たとえば、バットの先端部分とユーザがバットを握っている部位の中心点など）については、位置情報が含まれていなくてよい。この場合、所定の２つの部分と部位を示す図形（円など）のペアの間を線で結ぶことにより、これらの２つの部分と部位の間を結ぶ箇所を表現することができる。関係情報は、動画を構成する各フレームについて含まれていてもよいし、キーフレームごと、チェックポイント（詳細は後述する）ごとに含まれていてもよいし、任意の数ごとのフレームごとに含まれていてもよいし、ランダムな時点について含まれていてもよい。マイフレームに位置情報が含まれていない場合、最も近い過去の時点の位置情報に基づいて、部分や部位を示す図形、それらを結ぶ線を表示するようにすることができる。

チェックポイント情報は、ユーザが用いる道具の動きまたはユーザの身体の一連の動作の中で、道具の向きや身体の姿勢などをチェックするべきポイント（以下、チェックポイントという。）を示す情報である。チェックポイントとしては、たとえば、モードが「ウェイトリフティング」である場合、バーベルが一番高い位置に到達したところや、一番低い位置に到達したところ、持ち上がる瞬間などである。モードが「ピッチング」である場合、足を上げたところや、上げた足を下ろして体重移動したところ、ボールをリリースしたところなどである。チェックポイント情報には、動画の時間軸上の時点に対応付けて、チェックポイントを示す情報（以下、チェックポイントＩＤという。）を記憶している。すなわち、チェックポイントＩＤが示すチェックポイントが表示されている動画中のフレーム（静止画像）を特定することができる。

評価表示部１１４は、評価情報を表示する。たとえば、評価表示部１１４は、評価情報に含まれている道具位置、道具向き、道具動き情報や身体位置、姿勢、身体動き情報などに基づいて、動画に重畳させて、道具の部分や身体の部位を表す図形（たとえば、道具の端部や身体の重心を表す円、それらを結ぶ線など）を表示することで、道具の部分や身体の部位の動きを動画に重ねて表示することができる。また、評価表示部１１４は、たとえば、道具の部分の位置、道具の向き、道具の動きなどや、身体の部位の位置、姿勢、身体の動きなどの時系列的な変化をグラフ表示することができる。

また、評価表示部１１４は、評価情報に含まれている道具向き情報および道具動き情報に基づいて、動画の表示に併せて、評価ランクおよび評価コメントを表示することができる。たとえば、評価表示部１１４は、動画の再生時間が、道具向き情報に含まれている時点の前後近傍（たとえば、５秒前後など任意の長さとすることができる。）にきたところで、道具向き情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、動画の再生時間が、道具動き情報に含まれている期間内にきたところで、道具動き情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、姿勢情報に含まれている姿勢値を表示することができる。また、評価表示部１１４は、道具動き情報に含まれている道具向き値のリストに基づいて、道具向き値の時系列的な変換をグラフ表示することができる。

また、評価表示部１１４は、評価情報に含まれている姿勢情報および動き情報に基づいて、動画の表示に併せて、評価ランクおよび評価コメントを表示することができる。たとえば、評価表示部１１４は、動画の再生時間が、姿勢情報に含まれている時点の前後近傍（たとえば、５秒前後など任意の長さとすることができる。）にきたところで、姿勢情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、動画の再生時間が、動き情報に含まれている期間内にきたところで、動き情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、姿勢情報に含まれている姿勢値を表示することができる。また、評価表示部１１４は、動き情報に含まれている姿勢値のリストに基づいて、姿勢値の時系列的な変換をグラフ表示することができる。なお、当該評価ランクと当該評価コメントは、前段落に記載した、道具向き情報および道具動き情報に基づいて、動画の表示に合わせて表示された評価ランクおよび評価コメントと併せて表示してもよい。

チェックポイント表示部１１５は、動画からチェックポイントの画像を抽出して表示することができる。チェックポイント表示部１１５は、画像記憶部１３１に記憶されている動画の画像データから、チェックポイント情報に含まれている時点に対応するフレームを読み出して静止画像として表示することができる。また、チェックポイント表示部１１５は、たとえば、読み出したフレームから身体部分のみを抽出して表示するようにしてもよい。

改善策リクエスト送信部１１６は、道具の扱い方および身体運動に関する改善策を取得するためのリクエスト（以下、改善策リクエストという。）をサーバ装置２０に送信する。図７は、改善策リクエストの構成例を示す図である。同図に示すように、改善策リクエストには、ユーザＩＤ、モードおよび目的等が含まれている。目的は、ユーザが改善を行う目的である。目的としては、たとえば、「ボールのスピードを上げる」、「筋力をアップする」、「下半身を安定させる」などとすることができる。目的についても、所定の選択肢から選択されるものとする。

改善策情報受信部１１７は、改善策リクエストに応じてサーバ装置２０から送信される改善策に関する情報（以下、改善策情報という。）を受信する。改善策情報受信部１１７は、受信した改善策情報を改善策記憶部１３３に記憶する。改善策情報の構成例を図８に示す。同図に示すように改善策情報には目的とアドバイスと基準情報とが含まれる。本実施形態では、アドバイスは、改善策を表した文字列であることを想定するが、画像や動画などにより改善策を提示するコンテンツであってもよい。基準情報は、好適な道具の向きや動き（各部分の位置や向き、動き、速度等）、身体の姿勢（各部位の位置や角度等）である。なお、改善策情報受信部１１７は、改善策リクエストが無くても、評価結果と基準値を基に改善策情報送信部２１６が送信した改善策情報を受信してもよい。

改善策情報表示部１１８は、改善策を表示する。改善策情報表示部１１８は、改善策情報に含まれているアドバイスを表示する。また、改善策情報に部位の好適な位置や角度が含まれている場合には、

図９は、サーバ装置２０のハードウェア構成例を示す図である。サーバ装置２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク４０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図１０は、サーバ装置２０のソフトウェア構成例を示す図である。同図に示すように、サーバ装置２０は、評価リクエスト受信部２１１、画像解析部２１２、評価部２１３、評価情報送信部２１４、改善策リクエスト受信部２１５、改善策情報送信部２１６の各機能部と、画像データ記憶部２３１、基準情報記憶部２３２、評価条件情報記憶部２３３、改善策情報記憶部２３４の各記憶部とを備える。

なお、上記各機能部は、サーバ装置２０が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置２０が備えるメモリ２０２および記憶装置２０３が提供する記憶領域の一部として実現される。

評価リクエスト受信部２１１は、ユーザ端末１０から送信される評価リクエストを受信する。評価リクエスト受信部２１１は、受信した評価リクエストに含まれている画像データを含む情報（以下、画像情報という。）を画像データ記憶部２３１に登録する。図１１は、画像データ記憶部２３１に記憶される画像情報の構成例を示す図である。同図に示すように、画像情報には、撮影されたユーザを示すユーザＩＤに対応付けて、画像データが含まれる。画像データは、評価リクエストに含まれていたものである。

基準情報記憶部２３２は、道具を用いた身体運動に係る、道具位置、道具動き（道具の向きや動き等）、姿勢（部位の位置や角度等）等、また道具と身体の関係から導き出す関係に関する基準値を含む情報（以下、基準情報という。）を記憶する。図１２は、基準情報記憶部２３２が記憶する基準情報の構成例を示す図である。同図に示すように、基準情報には、道具を用いた身体運動を行った際に、道具の部分の絶対位置や、道具の部分がどのように動いたのかという情報（移動速度や移動距離、移動の方向など）、部位の絶対位置または他の部位もしくは他の基準物に対する相対位置に関する基準情報（以下、位置基準情報という。）と、関節部位を含む３つの部位について、２つの部位のそれぞれと関節部位とを結ぶ直線により形成される角度の基準情報（以下、角度基準情報という。）、さらに、道具の部分と身体の部位の関係に関する情報とが含まれるが、これに限定されない。

道具位置基準情報には、モードとチェックポイントＩＤとに対応付けて、道具の部分と、当該部分の基準となる位置が含まれる。部分は複数あってもよい。部分の位置について、鉛直方向の位置は、たとえば、地面からの高さとしてもよいし、いずれかの足先からの距離とすることができる。また、たとえばモードが「ウェイトリフティング」の場合は、両肩を結ぶ線とシャフトの間の距離など、身体の部位や部位と部位を繋ぐ線からの距離としてもよい。部位の水平方向の位置は、所定の基準物（たとえば、マウンドプレートや床上のマークなど）からの距離としてもよいし、肩や胸、足などの基準部位からの距離としてもよい。位置基準情報は、予め登録されているものとする。

道具動き基準情報には、モードとチェックポイントＩＤとに対応付けて、道具の部位の移動速度や移動距離、ある時点での移動の方向やある期間での移動の軌跡などの情報の基準値等とが含まれる。

位置基準情報には、モードとチェックポイントＩＤとに対応付けて、部位と、当該部位の基準となる位置が含まれる。部位は複数あってもよい。位置について、鉛直方向の位置は、たとえば、地面からの高さとしてもよいし、いずれかの足先からの距離とすることができる。水平方向の位置は、所定の基準物（たとえば、マウンドプレートや床上のマークなど）からの距離としてもよいし、肩や胸、足などの基準部位からの距離としてもよい。位置基準情報は、予め登録されているものとする。

角度基準情報には、モードとチェックポイントＩＤとに対応付けて、２つの部位（部位１および部位２）と、１つの関節部位と、部位１と関節部位とを結ぶ直線と、部位２と関節部位とを結ぶ直線との間の角度の基準値とが含まれる。

関係基準情報には、モードとチェックポイントＩＤとに対応付けて、道具の部分と身体の部位との関係で表される基準に関する情報が含まれる。関係基準情報には、モードとチェックポイントＩＤとに対応付けて、一つ以上の部分と部位において、移動速度、移動距離、角度等から得られる情報が含まれる。関係基準情報には、たとえば、モードがバッティングの場合、ボールをミートした時点でのバットの先端の移動速度と、バットとバットを持つ利き腕からなる角度など、が基準情報として含まれる。

評価条件情報記憶部２３３は、評価を行うための情報（以下、評価条件情報という。）を記憶する。図１３は、評価条件情報記憶部２３３に記憶されている評価条件情報の構成例を示す図である。評価条件情報には、カテゴリ、条件、評価ランク、コメントが含まれている。カテゴリは、評価のカテゴリである。カテゴリとしては、たとえば、「筋力」、「球速」、「コントロール」などとすることができる。条件は、画像における道具の各部分の位置、向きまたは動き（時系列における位置の変化）など、また、身体の各部位の位置または動き（時系列における位置の変化）に対する条件である。たとえば、ウェイトリフティングの動きを分析する場合、バーベルを持ち上げる瞬間のチェックポイントについて、肘の角度や腕を伸ばす速度などに対する条件、また、バーベルを持ち上げて下ろす期間中のシャフトの動きや上下する速度などに対する条件を評価条件情報に設定することができる。また、ピッチングフォームを分析する場合、ボールをリリースするチェックポイントについて、肘の角度や腕の回線速度などに対する条件を評価条件情報に設定することができる。評価ランクは、上記条件が満たされた場合の評価値である。コメントは、上記条件が満たされた場合における、身体の姿勢や動きについての説明である。

画像解析部２１２（部分・部位特定部）は、画像データを解析する。画像解析部２１２は、画像データを解析して道具の各部分、身体の各部位の特徴量を抽出し、各部分、各部位の、画像における位置を特定する。また、画像解析部２１２は、画像データを解析して道具の各部分の特徴量を抽出し、各部分が向いている方向を特定する。なお、画像解析部２１２による画像解析の手法については一般的なものを採用するものとして、ここでは詳細な説明を省略する。画像解析部２１２は、フレームごとまたはキーフレームごとに画像データを解析するようにしてもよいし、チェックポイントごとに画像データを解析するようにしてもよいし、ランダムなタイミングで解析するようにしてもよい。

画像解析部２１２はまた、チェックポイントＩＤごとに、画像データから抽出した各部位の位置と、基準情報記憶部２３２に記憶されている位置基準情報とを比較し、最も近い時点をチェックポイントの時点として特定する。

評価部２１３は、画像データに基づいてユーザの用いた道具の動きを評価する。本実施形態では、評価部２１３は、画像データから特定された道具の各部分の位置および部分の動きが満たす条件を含む評価条件情報を評価条件情報記憶部２３３から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。なお、評価部２１３は、当該道具の動きを評価して、身体運動の回数をカウントしてもよい。

評価部２１３は、画像データに基づいてユーザの身体の動きを評価する。本実施形態では、評価部２１３は、画像データから特定された各部位の位置および部位の動きが満たす条件を含む評価条件情報を評価条件情報記憶部２３３から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。なお、評価部２１３は、当該身体の動きを評価して、身体運動の回数をカウントしてもよい。

評価部２１３は、画像データに基づいてユーザの用いた道具と身体の動きを評価する。本実施形態では、評価部２１３は、画像データから特定された道具の各部分と身体の各部位の位置および、前記部分と前記部位の動きまたは関係が満たす条件を含む評価条件情報を評価条件情報記憶部２３３から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。なお、評価部２１３は、当該道具と当該身体の動きを評価して、身体運動の回数をカウントしてもよい。

評価情報送信部２１４は、評価情報をユーザ端末１０に送信する。評価情報送信部２１４は、画像解析部２１２が特定した動画の時間軸における時点と道具の各部分の位置とを含む道具位置情報を生成する。評価部２１３が取得した評価ランクおよびコメントについて、道具の部分の位置が条件を満たす場合には、時点、部分および道具向き値と、評価ランクおよびコメントとを含む姿勢情報を生成し、部分の動き（時系列における位置の変化）が条件を満たす場合には、時点、部分および道具向き値のリストと、評価ランクおよびコメントとを含む道具動き情報を生成する。また、評価情報送信部２１４は、画像解析部２１２が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。評価情報送信部２１４は、生成した道具位置情報、道具向き情報、道具動き情報およびチェックポイント情報を含む評価情報を作成してユーザ端末１０に送信する。なお、評価部２１３および評価情報送信部２１４は、本発明のコメント出力部に該当しうる。

評価情報送信部２１４は、評価情報をユーザ端末１０に送信する。評価情報送信部２１４は、画像解析部２１２が特定した動画の時間軸における時点と各部位の位置とを含む位置情報を生成する。評価部２１３が取得した評価ランクおよびコメントについて、部位の位置が条件を満たす場合には、時点、部位および姿勢値と、評価ランクおよびコメントとを含む姿勢情報を生成し、部位の動き（時系列における位置の変化）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む動き情報を生成する。また、評価情報送信部２１４は、画像解析部２１２が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。評価情報送信部２１４は、生成した位置情報、姿勢情報、動き情報およびチェックポイント情報を含む評価情報を作成してユーザ端末１０に送信する。なお、評価部２１３および評価情報送信部２１４は、本発明のコメント出力部に該当しうる。

改善策情報記憶部２３４は、改善策に係る情報（以下、改善策情報という。）を記憶する。図１４は、改善策情報記憶部２３４に記憶される改善策情報の構成例を示す図である。同図に示すように、改善策情報には、目的、カテゴリおよび条件に対応付けてアドバイスが含まれる。条件は、道具自体への条件（バーベルの重量等）、道具の使い方、身体条件（柔軟性など）に対する条件であってもよいし、道具の部位の位置や向き、動きに対する条件でもよく、身体の部位の位置や動きに対する条件であってもよい。

改善策リクエスト受信部２１５は、ユーザ端末１０から送信される改善策リクエストを受信する。

改善策情報送信部２１６は、改善策リクエストに含まれているモードおよび目的に対応する改善策情報のうち、評価リクエストに含まれていたユーザの身体情報や、画像解析部２１２が特定した各部分や各部位の位置や向き、動き等が条件を満たされるものを検索する。改善策情報送信部２１６は、検索した改善策情報のアドバイスを取得し、目的およびアドバイスを設定した改善策情報を作成し、作成した改善策情報をユーザ端末１０に応答する。改善策情報送信部２１６は、また、基準情報に含まれている各部分や各部位の位置や向き、速度、角度等を改善策情報に含めて送信する。なお、改善策情報送信部２１６は、改善策リクエスト無くても、評価情報と基準値を基に改善策を検索してもよく、当該改善策を改善策情報送信部２１６がユーザ端末１０に送信してもよい。

図１５は、本実施形態の身体運動支援サーバにおいて実行される処理の流れの一例を示す図である。

ユーザ端末１０において撮像部１１１は、モードの入力を受け付け、ユーザの運動中における身体を撮像し、動画データを取得する（Ｓ３２１）。評価リクエスト送信部１１２は、ユーザを示すユーザＩＤ、受け付けたモード、身体情報および動画データを含む評価リクエストをサーバ装置２０に送信する（Ｓ３２２）。

サーバ装置２０において評価リクエスト受信部２１１が評価リクエストを受信すると、画像解析部２１２は動画データを解析して特徴量を抽出し（Ｓ３２３）、各部分、各部位の位置を特定する（Ｓ３２４）。ここで画像解析部２１２は、画像上の位置を特定するようにしてもよいし、身体情報を用いて実寸の位置（地面からの高さ、身体の重心等の基準点からの距離など）を特定するようにしてもよい。評価部２１３は、各部分、各部位の位置や部分、部位の動き（位置の時系列的な変化）が条件を満たす評価条件情報から評価ランクおよびコメントを取得する（Ｓ３２５）。評価情報送信部２１４は、評価情報を作成してユーザ端末１０に送信する（Ｓ３２６）。

ユーザ端末１０において評価表示部１１４は、受信した評価情報に基づいて、動画データ上に道具の位置、向き、動きなどを表示する（Ｓ３２７）。また、ユーザ端末１０において評価表示部１１４は身体の姿勢を示す各部の位置（ボーン）を表示するとともに、評価ランクやコメントを表示してもよい（Ｓ３２７）。ここで評価表示部１１４は、部分の位置や向き、動きなど、また、部位の位置や動きの時系列的な変化などをグラフ表示してもよい。また、チェックポイント表示部１１５が、動画からチェックポイントの画像を抽出して表示してもよい。改善策リクエスト送信部１１６は、ユーザからの指示に応じて、改善策リクエストをサーバ装置２０に送信する（Ｓ３２８）。

サーバ装置２０において、改善策リクエスト受信部２１５は、ユーザ端末１０から送信される改善策リクエストを受信すると、改善策情報送信部２１６は、条件が満たされる改善策情報を検索し、検索した改善策情報に含まれているアドバイスを取得し（Ｓ３２９）、取得したアドバイスを含む改善策情報を作成してユーザ端末１０に送信する（Ｓ３３０）。

ユーザ端末１０において改善策情報受信部１１７が改善策情報を受信すると、改善策情報表示部１１８は、受信した改善策情報に含まれるアドバイスを表示するとともに、好適な道具の使い方を動画データに重畳させて表示することができる（Ｓ３３１）。

ユーザ端末１０において改善策情報受信部１１７が改善策情報を受信すると、改善策情報表示部１１８は、受信した改善策情報に含まれるアドバイスを表示するとともに、好適な身体の姿勢をボーンの形態で動画データに重畳させて表示することができる（Ｓ３３１）。

以上のようにして、本実施形態の身体運動支援サーバによれば、容易に身体運動についての評価を行うことができる。とくにスポーツに係る身体運動について、道具の各部分、身体の各部位の位置関係や動きについて評価することができるので、具体的な改善努力につながりやすく、成績向上が期待される。また、本実施形態の身体運動支援サーバでは、コメントやアドバイスも提供されるため、ユーザは容易に現状と改善策とを把握することが可能になる。

図１７は、道具を用いた身体運動の評価を表示する画面の一例を示す図である。図１７は、ウェイトリフティングモードでの動画を撮像した場合を説明している。図１７に示すように、画面４１では、バーベルのシャフトの位置を示す印４１１を表示している。バーベルのシャフトの動きを線４１２で表示している。

図１８は、道具を用いた身体運動の評価を表示する画面の一例を示す他の図である。図１８は、ウェイトリフティングモードでの動画を撮像した場合を説明している。ウェイトリフティングモードにおいて評価部２１３が評価を行った結果として、例えば一例としてバーベルのシャフトの傾き、シャフトの移動距離、移動速度（線４２１）などが表示されている図である。図１８においては、基準値（線４２２）を表示している。実際の測定結果（線４２３）を表示し、さらに、基準値との差異を数値等で表示してもよいし、グラフ等で示してもよい。ユーザはこれを参考にして直すべき動きや姿勢などを検討することができる。

図１９は、道具を用いた身体運動の評価を表示する画面の一例を示す他の図である。図１９は、ウェイトリフティングモードでの動画を撮像した場合を説明している。ウェイトリフティングモードにおいて評価部２１３が評価を行った結果として、例えば、一例としてバーベルの最下点における身体の関節の角度などの基準値（線４３１）とともに評価結果（線４３２）などが表示されている図である。また、基準値との差異を数値等で表示してもよいし、グラフ等で示してもよい。さらに、身体と道具の関係による評価結果を表示してもよい。ユーザはこれを参考にして直すべき動きや姿勢などを検討することができる。

図２０は、道具を用いた身体運動の評価を表示する画面の一例を示す他の図である。図２０は、ウェイトリフティングモードでの動画を撮像した場合を説明している。ウェイトリフティングモードにおいて評価部２１３が評価を行った結果として、線４４１では、画像から特定した道具の部分や身体の部位の所定の位置を線で結んで表示したボーンが表示されている。なお、ボーンは撮像した画像に重ねて表示してもよい。また、線４４２は、身体の各部位の加速度を表示している。さらに、ウェイトを何回持ち上げたかなどのカウント結果を表示してもよい。また、線４４３に示すように、評価結果と目的等に合わせた次のトレーニング結果を示してもよい。

図２１は、道具を用いた身体運動の評価を表示する画面の一例を示す他の図である。図２１は、ウェイトリフティングモードでの動画を撮像した場合を説明している。ウェイトリフティングモードにおいて評価部２１３が評価を行った結果として、各種基準値との比較によって得られた評価（線４４１）を表示している。

グループ解析部２１７は、複数のユーザが同時に本システムを利用し、少数の支援者が遠隔で指導等を行うシーン（例えばオンラインミーティングツールやオンラインコミュニケーションツール等を用いたトレーニング指導や遠隔リハビリ支援など）で用いられることを想定している。このようなシーンにおいては、支援者一人に対してユーザが複数いることがある。支援者端末にはリアルタイムで複数のユーザを撮像した画像情報が表示されるものの、どのユーザが効果的にトレーニングできているのか、どのユーザが疲労しているのかなどの詳細なユーザの状態を把握することは難しく、結果的に効果が薄くなってしまっている。また、支援者とユーザ間の、実施したトレーニング内容を基にしたコミュニケーションも取り辛く、継続性が低くなるという課題もある。グループ解析部２１７は、このような課題を解決するものである。

グループ解析部２１７は、各ユーザの画像に対して評価部２１３が行った評価情報を解析し、解析した情報をグループ解析情報記憶部２３５に記憶する。グループ解析部２１７は、ユーザが行った身体運動（道具を用いた運動を含む）について評価部２１３が評価した評価情報をもとに、行ったトレーニングの反復回数や、基準値に近い（または基準値から遠い）順番など、行った（行っているものをリアルタイムに解析してもよい）身体運動が効果的（または非効果的）であったユーザのランキングを作成する。また、各ユーザをランキングの上位グループ、下位グループなどのカテゴライズを行ってもよい。また、身体運動を継続して行う中で、道具の部分や身体の部位などの位置や移動速度、移動距離、関節の角度などが基準値から離れていくことで、ユーザの疲労度が高まっていることを判定、また基準値からの乖離度で疲労度の程度を推定してもよい。さらに、所定の反復回数を完了する時間をセット毎に計測し、完了時間が増えることで疲労度を判定してもよいし、増えた時間や前セットの完了時間との比較によって疲労度を推定してもよい。

さらに、グループ解析部２１７は、支援者の運動開始または終了の合図など実際に身体運動が始まるまでの時間などを評価し、ユーザの集中度を推定してもよい。さらに、グループ解析部２１７は、同時にトレーニング等に参加しているユーザ間で、前記評価情報から偏差値を算出してもよいし、前記偏差値でランキングを作成してもよい。さらに、グループ解析部２１７は、別のタイミングで同じ身体運動を行ったユーザ間で、前記評価情報から偏差値を算出してもよいし、前記偏差値でランキングを作成してもよい。さらに、前記ランキングや疲労度、集中度などから、指導が必要なユーザや直接コメントをした方が継続性等の面で効果があると考えられるユーザ等を特定してもよい。さらに、グループ解析部２１７は、ユーザが以前に同様の身体運動を行った際の評価情報と、新たに行った身体運動の画像から評価した評価情報を比較してもよい。

グループ解析情報記憶部２３５は、グループ解析部２１７が行ったグループ解析情報を記憶する。図１５はグループ解析情報記憶部２３５に記憶されるグループ解析情報の構成例を示す図である。グループ解析情報には大きく順位情報、状況情報、注意情報が含まれる。前記順位情報は、前記評価情報をもとにした順位、ランキング、また順位が上位グループ、下位グループに含まれるかなどのカテゴリ情報などが含まれる。状況情報には、疲労度や集中度などが含まれる。注意情報には、特に指導を行う必要があるユーザなどの情報が含まれる。

グループ解析情報提示部２１８は、グループ解析情報記憶部２３５に記憶されたグループ解析情報を、ユーザ端末１０および支援者端末５０に提示する。グループ解析情報提示部２１８は、ユーザ端末１０に対して、当該ユーザの、同時に身体運動を行っているユーザ間、また、別のタイミングで同様の身体運動を行ったユーザも含めたユーザ間でのランキングや偏差値、上位、下位などのカテゴリなどを提示する。更に、グループ解析情報提示部２１８は、評価情報記憶部１３２に記憶される情報を合わせて提示してもよい。更に、グループ解析情報提示部２１８は、支援者端末５０に対して、各ユーザのランキングや偏差値情報を提示してもよいし、ランキングの上位（または下位）のユーザを色付けするなど、画面上に見やすく（当該ユーザの映っている画面を大きく提示、上部に提示するなど）提示してもよい。

図２２は、グループ解析情報提示部２１８がユーザ端末１０に提示して作成された画面の一例を示す図である。図２２は、スクワットモードでの動画を撮像した場合を説明している。図２２に示すように、画面４６では、自身のグループ内での順位を線４６１で表示している。また、線４６２では実行した運動の回数を示している。線４６３では手本となるトレーナーのリアルタイムの動画（または録画した動画）を表示する。

図２３は、グループ解析情報提示部２１８が支援者端末５０に提示して作成された画面の一例を示す図である。支援者端末５０では、各ユーザを撮像した動画とともに、各ユーザの評価結果やグループ解析情報等が表示される。

図２４は、グループ解析情報提示部２１８が支援者端末５０に提示して作成された画面の一例を示す図である。画面４７は、ユーザを撮像した画像が並んでおり、評価やグループ解析により、グループの中でもより指導（支援等含む）が必要なユーザが支援者にとって分かりやすいように表示される。画面４７では一例として、指導が必要なユーザを写した画面の右上に印が表示されている。また、画面４８は各ユーザの詳細を示す画面であり、評価結果（ボーンや姿勢値、道具の向き値、身体運動の反復回数等）、グループ解析結果（グループ内での順位やその推移等）、当該ユーザに対して改善策情報送信部２１６が送信したアドバイス等、撮像された画像を録画（または評価が下がった時点の前後数秒などの一部の動画）を閲覧できる機能等が表示される。また、画面４７と画面４８が組みあ合わされた画面であってもよい。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。

たとえば、本実施形態では、サーバ装置２０において画像の解析を行うものとしたが、これに限らず、ユーザ端末１０において画像の解析を行い、各部分、各部位の位置関係を特定するようにしてもよい。

また、本実施形態では、部分、部位の位置は２次元の画像上の位置であることを想定したが、これに限らず、３次元の位置としてもよい。たとえば、ユーザ端末１０が、カメラ１０６に加えてデプスカメラを備えている場合に、カメラ１０６からの画像と、デプスカメラからの深度マップとに基づいて、部分、部位の３次元の位置を特定することができる。また、たとえば、２次元画像から３次元を推定して、部分、部位の３次元の位置を特定してもよい。なお、カメラ１０６に代えてデプスカメラを設けるようにし、デプスカメラからの深度マップのみから３次元の位置を特定することも可能である。この場合、ユーザ端末１０から画像データとともに、または画像データに代えて深度マップをサーバ装置２０に送信するようにし、サーバ装置２０の画像解析部２１２が３次元の位置を解析するようにすることができる。

また、本実施形態では、道具を用いた運動中のユーザの身体を撮像した画像がユーザ端末１０からサーバ装置２０に送信されるものとしたが、これに限らず、ユーザ端末１０において画像から特徴量を抽出し、特徴量をサーバ装置２０に送信するようにしてもよいし、ユーザ端末１０が特徴量に基づいて道具の部分、身体の部位を推定し、部分、部位の絶対的な位置（画像のＸＹ座標上の位置としてもよいし、基準位置（たとえば、地面や足先、頭、身体の重心など）からの実寸での距離としてもよいし、その他の任意の座標系での位置とすることもできる。）または複数部分間、複数部位間、複数部分部位間の相対的な位置関係を取得し、これらの絶対的な位置や相対的な位置関係をサーバ装置２０に送信するようにしてもよい。

また、本実施形態では、改善策情報にはサーバ装置２０側で準備されたコンテンツが提供されるものとしたが、これに限らず、たとえば、基準値を含めるようにして、基準値に基づく正しい動きや姿勢（各部分の位置や向き等、各部位の位置や角度等）となる印やボーンを動画または動画から抽出した静止画に重畳して表示するようにしてもよい。これにより、どのような動きや姿勢とするべきかを容易に把握することができる。

また、本実施形態では、道具の部分や向き、身体の部位の位置または動き等（経時的な位置）について評価するものとしたが、これに限らず、ユーザが装着している道具の位置を特定して評価するようにしてもよい。

また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、道具のレコメンデーションを行うようにしてもよい。この場合、サーバ装置２０は、ユーザの身体情報（身長、体重等）に対応付けて、道具と当該道具のサイズ（長さ等）の基準値を記憶しておき、画像データからユーザが使用している道具の特徴量を抽出して道具の形状を特定し、当該形状と身体情報に含まれるユーザのサイズ（たとえば身長等）に基づいて道具の大きさを推定し、推定した道具の大きさと、基準値との差が所定の閾値以上であれば、基準値のサイズの道具をレコメンドすることができる。さらに、道具自体への条件（バーベルの重量等）、道具の使い方、身体条件（柔軟性など）、道具の部位の位置や向き、動きなどの情報から、目的に応じた道具をレコメンドしてもよい。

また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、行っている身体運動を中断させてもよい。この場合、サーバ装置２０は、ユーザの身体情報（目的、身長、体重等）に対応付けて、身体運動を中断すべき基準値を記憶しておき、画像データからユーザが行っている身体運動の回数や速度など（例えば、バーベルを持ち上げるスピードが極端に落ちてしまう、また、一度に行う回数が多すぎるなど）が基準値から外れた場合に、身体運動を中断させる。この場合、ユーザ端末１０に対して中止するようにコメントを出してもよいし、画面を消すなどディスプレイの表示を変化させることによってユーザに知らせてもよいし、アラート音などの音を出してもよいし、バイブレーションによってユーザに知らせてもよい。

また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、病気の判定やその改善に向けた身体運動を提示してもよい。この場合、サーバ装置２０は、前記身体情報にユーザが入力した症状や、評価情報から、ユーザが発症していると想定される病気の候補を抽出し、絞り込みのためのスクリーニングテストを提示する。ユーザがスクリーニングテストを行い、病名が絞り込めた段階で、医師の診察を受けることや、改善に向けた身体運動、または身体運動を行うための道具や、食事などの物品のレコメンドなどを行ってもよい。

また、道具の部位の位置を推定することにより、サーバ装置２０は、道具のスピード、加速度、移動距離、軌道等を推定することができる。また、サーバ装置２０は、時系列での道具の位置の変化のパターンを抽出することにより、パターンの回数を、道具を使った動作の回数として推定することができる。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ある姿勢または動きを検出した場合に、その動作に対する課題を提案するようにしてもよい。この場合、サーバ装置２０は、ひとつまたは一連の姿勢または動きに対応付けて、評価コメントに代えて、課題を記憶しておき、当該課題を出力すればよい。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ある道具の動き、道具の向き、姿勢または身体の部位の動きを検出した場合に、行うべきトレーニング、リハビリ、演奏、またはその準備段階であるストレッチや筋力トレーニング、姿勢など、目的等に応じて身体運動を改善する内容を提示するようにしてもよい。この場合、サーバ装置２０は、ひとつまたは一連の道具の部位の動き、道具の部位の向き、身体の姿勢または身体の部位の動きに対応付けて、評価コメントに代えて、トレーニング等の実施内容を記憶しておき、当該内容を出力すればよい。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ユーザが行った動作を自動検出するようにすることもできる。この場合、サーバ装置２０は、たとえばシュートやパスなどの所定の動作を行う道具の各部分の位置や姿勢（身体の各部位の位置）を基準情報として記憶しておき、画像から解析した道具の部分や身体の部位の位置と基準情報とを比較して、画像中のユーザが行った動作を特定することができる。

また、本実施形態では、過去に撮像した画像を解析して運動の評価を行うものとしたが、これに限らず、リアルタイムに解析処理を行い、所定の動作を検出した場合に、次にとるべき戦術をレコメンドするようにしてもよい。この場合、姿勢または動きに対応付けて、評価コメントに代えて戦術を記憶しておき、リアルタイムに戦術を出力すればよい。

また、本実施形態では、所定の機能の実行および情報の記憶を、ユーザ端末１０またはサーバ装置２０で行うものとしているが、これに限らず、いずれか一方の装置で当該機能の実行および情報の記憶を行うこととしてもよい。または、本実施形態とは異なる形態で、機能部および記憶部を分散して設けてもよい。

１０ ユーザ端末
２０ サーバ装置
３０ 撮像端末
４０ 通信ネットワーク
５０ 支援者端末
１１１ 撮像部
１１２ 評価リクエスト送信部
１１３ 評価情報受信部
１１４ 評価表示部
１１５ チェックポイント表示部
１１６ 改善策リクエスト送信部
１１７ 改善策情報受信部
１１８ 改善策情報表示部
１３０ 身体情報記憶部
１３１ 画像記憶部
１３２ 評価情報記憶部
１３３ 改善策記憶部
２１１ 評価リクエスト受信部
２１２ 画像解析部
２１３ 評価部
２１４ 評価情報送信部
２１５ 改善策リクエスト受信部
２１６ 改善策情報送信部
２１７ グループ解析部
２１８ グループ解析提示部
２３１ 画像データ記憶部
２３２ 基準情報記憶部
２３３ 評価条件情報記憶部
２３４ 改善策情報記憶部
２３５ グループ解析情報記憶部

Claims (7)

1. ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援システムであって、
   少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶機能と、
   前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定機能と、
   前記画像における前記部分の位置および前記基準値に基づいて前記運動の評価値を決定する評価機能と、
   を備えることを特徴とする身体運動支援システム。
2. 前記評価機能は、前記基準値から前記位置までの距離に応じて前記評価値を決定すること、
   を特徴とする、請求項１に記載の身体運動支援システム。
3. 前記評価機能は前記道具の部分と前記身体の部位の関係から前記運動の評価値を決定すること、
   を特徴とする、請求項１または２に記載の身体運動支援システム。
4. 前記部分および前記部分に対する条件に対応付けて、前記部分の位置についてのコメントを記憶するコメント記憶機能と、
   前記位置が満たす前記条件に対応する前記コメントを出力するコメント出力機能と、をさらに備えること、
   を特徴とする、請求項１から３に記載の身体運動支援システム。
5. 前記運動に係る改善の目標と、前記位置に対する条件とに対応付けて、前記身体運動に係る改善策のアドバイスを記憶する改善策情報記憶機能と、
   前記位置が満たす前記条件に対応する前記アドバイスを出力するアドバイス出力機能と、をさらに備えること、
   を特徴とする、請求項１から４に記載の身体運動支援システム。
6. ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援サーバであって、
   少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶機部と、
   前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定部と、
   前記画像における前記部分の位置および前記基準値を比較して前記運動の評価値を決定する評価部と、
   を備えることを特徴とする身体運動支援サーバ。
7. ユーザが道具を用いて行う身体運動の効果向上を支援する身体運動支援方法であって、
   少なくとも１つの前記道具の位置に係る基準値を記憶する基準値記憶ステップと、
   前記道具を撮像した画像を解析して前記道具の部分を特定する部分特定ステップと、
   前記画像における前記部分の位置および前記基準値を比較して前記運動の評価値を決定する評価ステップと、
   を備えることを特徴とする身体運動支援方法。
   

Images