JP2022043264A - 運動評価システム - Google Patents

Abstract

【課題】容易に身体運動を評価することができるようにする。【解決手段】身体の運動の評価を行う運動評価システムは、少なくとも１つの身体の部位の位置に係る基準値を記憶する基準値記憶部を備える。運動中の身体が撮像される。運動評価システムは、身体を撮像した画像を解析して、画像中において身体の部位を特定する部位特定部を備える。運動評価システムは、画像における部位の位置および基準値を比較して運動の評価値を決定する評価部を備える。【選択図】図１

Description

特許法第３０条第２項適用申請有り 平成３０年１１月１日にウェブサイト「ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／ｌｓｒＡｇＡＫＶｘＭＡ」に公開

本発明は、運動評価システムに関する。

従来、身体運動分野における分析技術として、動画像に繰り返し表れる動作パターンを抽出し、抽出した動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較し、比較結果を動画像や静止画像として出力する技術（特許文献１）、また、スポーツにおいては、例えば、ゴルフにおいて、装置をユーザの身体に装着して、モーションセンサによりゴルフウィングを解析する技術（特許文献２）、また、２台のカメラで投球の各段階（軸足の設置、体幹の水平回転）を撮影し、移行時間を算出する技術（特許文献３）などが開示されている。

特開２０１７－２２９０８１号公報 特開２０１０－０６８９４７号公報 特開２０１８－１１４１３８号公報

しかしながら、特許文献１ないし３のいずれの技術も、複数の動画像、特定の装置、複数台のカメラといった設備やリソースを必要とし、一人のユーザがこれらの装置等を取り入れて、身体運動の分析を行い、分析結果を理解することは困難である。

本発明はこのような背景を鑑みてなされたものであり、容易に身体運動を評価することのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、身体の運動の評価を行うシステムであって、少なくとも１つの前記部位の位置に係る基準値を記憶する基準値記憶部と、前記身体を撮像した画像を解析して前記身体の部位を特定する部位特定部と、前記画像における前記部位の位置および前記基準値を比較して前記運動の評価値を決定する評価部とを備えることとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、容易に身体運動を評価することができる。

本実施形態に係る運動評価システムの全体構成例を示す図である。 ユーザ端末１０のハードウェア構成例を示す図である。 ユーザ端末１０のソフトウェア構成例を示す図である。 身体情報記憶部１３０が記憶する身体情報の構成例を示す図である。 評価リクエスト送信部１１２がサーバ装置２０に送信する評価リクエストの構成例を示す図である。 評価情報受信部１１３がサーバ装置２０から受信する評価情報の構成例を示す図である。 改善策リクエスト送信部１１６がサーバ装置２０に送信する改善策リクエストの構成例を示す図である。 改善策情報の構成例を示す図である。 サーバ装置２０のハードウェア構成例を示す図である。 サーバ装置２０のソフトウェア構成例を示す図である。 画像データ記憶部２３１に記憶される画像情報の構成例を示す図である。 基準情報記憶部２３２が記憶する基準情報の構成例を示す図である。 評価条件情報記憶部２３３に記憶されている評価条件情報の構成例を示す図である。 改善条件記憶部２３４に記憶される改善条件情報の構成例を示す図である。 本実施形態の運動評価システムにおいて実行される処理の流れを示す図である。 ピッチングモードでの動画を撮像した場合を説明する図である。 チェックポイントの画像を表示する例を示す図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す図である。 ウェイトリフティングのモードにおける動画の評価画面の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による運動評価システムは、以下のような構成を備える。

［項目１］
身体の運動の評価を行うシステムであって、
少なくとも１つの前記部位の位置に係る基準値を記憶する基準値記憶部と、
前記身体を撮像した画像を解析して前記身体の部位を特定する部位特定部と、
前記画像における前記部位の位置および前記基準値を比較して前記運動の評価値を決定する評価部と、
を備えることを特徴とする運動評価システム。
［項目２］
項目１に記載の運動評価システムであって、
前記評価部は、前記基準値から前記位置までの距離に応じて前記評価値を決定すること、
を特徴とする運動評価システム。
［項目３］
項目１に記載の運動評価システムであって、
前記基準値記憶部は、第１および第２の前記部位のそれぞれと第３の前記部位とを結ぶ直線の間の角度についての前記基準値を記憶し、
前記部位特定部は、前記第１ないし第３の部位のそれぞれを前記画像から特定し、
前記評価部は、特定された前記第１ないし第３の部位についての前記角度を算出し、算出した前記角度と前記基準値とを比較して、前記評価値を決定すること、
を特徴とする運動評価システム。
［項目４］
項目１に記載の運動評価システムであって、
前記部位および前記位置に対する条件に対応付けて、前記部位についてのコメントを記憶するコメント記憶部と、
前記位置が満たす前記条件に対応する前記コメントを出力するコメント出力部と、
をさらに備えることを特徴とする運動評価システム。
［項目５］
項目１に記載の運動評価システムであって、
前記運動に係る改善の目標と、前記位置に対する条件とに対応付けて、前記運動に係る改善策のアドバイスを記憶する改善策情報記憶部と、
前記位置が満たす前記条件に対応する前記アドバイスを出力するアドバイス出力部と、
をさらに備えることを特徴とする運動評価システム。

本発明の一実施形態に係る運動評価システムは、ユーザの身体運動を評価しようとするものである。ユーザの身体運動には、たとえば、野球のピッチングやウェイトリフティングなどがある。本実施形態の運動評価システムは、ユーザが身体運動をしている様子を撮像した画像（静止画像であっても動画像であってもよいが、本実施形態では動画像であるものとする。）から、身体の部位を特定し、その部位の絶対的な位置および複数部位の相対的な位置関係に基づいて身体の姿勢および動きを評価する。

図１は本実施形態に係る運動評価システムの全体構成例を示す図である。同図に示すように、本実施形態の運動評価システムは、ユーザ端末１０およびサーバ装置２０を含んで構成される。ユーザ端末１０とサーバ装置２０とは通信ネットワーク３０を介して互いに通信可能に接続されている。通信ネットワーク３０は、たとえば、インターネットやＬＡＮ（Local Area Network）であり、公衆電話回線網、専用電話回線網、携帯電話回線網、イーサネット（登録商標）、無線通信路などにより構築される。

ユーザ端末１０は、身体運動を行うユーザまたはその支援者が操作するコンピュータである。ユーザ端末１０は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末１０はカメラ等の撮像装置を備えており、これにより運動中におけるユーザの身体を撮像することができる。本実施形態では、運動中のユーザの身体を撮像した動画像はユーザ端末１０からサーバ装置２０に送信されるものとする。

サーバ装置２０は、身体運動を評価するコンピュータである。サーバ装置２０は、たとえば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータなどである。サーバ装置２０は、ユーザ端末１０が撮影した動画像を受信し、受信した動画像を解析して身体運動の評価を行う。また、サーバ装置２０は、身体運動の改善策に係る提案も行う。身体運動の評価および改善策の提案の詳細については後述する。

図２は、ユーザ端末１０のハードウェア構成例を示す図である。ユーザ端末１０は、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、タッチパネルディスプレイ１０５、カメラ１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。タッチパネルディスプレイ１０５は、データの入出力を行うデバイスである。ユーザ端末１０はまた、キーボードやマウス、ボタン、マイクロフォンなどの入力装置、スピーカやプリンタなどの出力装置をさらに備えるようにしてもよい。

図３は、ユーザ端末１０のソフトウェア構成例を示す図である。ユーザ端末１０は、撮像部１１１、評価リクエスト送信部１１２、評価情報受信部１１３、評価表示部１１４、チェックポイント表示部１１５、改善策リクエスト送信部１１６、改善策情報受信部１１７、改善策表示部１１８の各機能部と、身体情報記憶部１３０、画像記憶部１３１、評価情報記憶部１３２および改善策記憶部１３３の各記憶部とを備える。

なお、上記各機能部は、ユーザ端末１０が備えるＣＰＵ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、ユーザ端末１０が備えるメモリ１０２および記憶装置１０３が提供する記憶領域の一部として実現される。

撮像部１１１は、ユーザの運動中における身体を撮像する。撮像部１１１は、カメラ１０６を制御することにより、身体を撮像した動画像を取得することができる。なお、ユーザまたはユーザの支援者は、ユーザ端末１０を平坦な場所に設置し、カメラ１０６の光軸をユーザが運動を行う場所に向け、ビデオ撮影の開始を指示し、これに応じて撮像部１１１はカメラ１０６を動作させて、動画像を取得すればよい。撮像部１１１は、取得した動画像を画像記憶部１３１に記憶する。

画像記憶部１３１は、撮像部１１１が撮像した画像を記憶する。本実施形態では、画像は動画像である。画像記憶部１３１は、たとえばファイルとして動画像を記憶することができる。

身体情報記憶部１３０は、ユーザの身体に関する情報（以下、身体情報という。）を記憶する。図４は、身体情報記憶部１３０が記憶する身体情報の構成例を示す図である。同図に示すように、身体情報には、身長、体重、柔軟性などが含まれる。

評価リクエスト送信部１１２は、撮像部１１１が撮像した画像に基づいて身体運動の評価を行うことのリクエスト（以下、評価リクエストという。）をサーバ装置２０に送信する。

図５は、評価リクエスト送信部１１２がサーバ装置２０に送信する評価リクエストの構成例を示す図である。同図に示すように、評価リクエストには、ユーザＩＤ、モード、身体情報および画像データが含まれる。ユーザＩＤはユーザを特定する情報である。モードは、ユーザが行う運動を示す情報である。モードは、たとえば、「ピッチング」や「リフティング」などとすることができる。なお、モードは、所定の選択肢から選択されるものとする。身体情報は、身体情報記憶部１３０に記憶されている身体情報である。画像データは撮像部１１１が取得した動画像のデータである。

評価情報受信部１１３は、評価リクエストに応じてサーバ装置２０から応答される、身体の運動の評価に関する情報（以下、評価情報という。）を受信する。評価情報受信部１１３は、受信した評価情報を評価情報記憶部１３２に登録する。

図６は、評価情報受信部１１３がサーバ装置２０から受信する評価情報の構成例を示す図である。同図に示すように、評価情報には、モード、ユーザＩＤ、位置情報、姿勢情報、動き情報およびチェックポイント情報が含まれる。

ユーザＩＤおよびモードは評価リクエストに含まれていたユーザＩＤとモードである。撮像された画像には、モードが示す運動をユーザが行った身体を撮影したものであることを示す。

位置情報は、身体の各部位（たとえば、頭、肩、肘、腰、膝、足首など）の画像中の位置を示す。位置情報には、動画の時間軸上の時点に対応付けて、部位と、当該部位の位置とが含まれる。位置情報に基づいて、身体の骨格の状態（ボーン）を表示することができる。すなわち、たとえば、位置情報が示す位置に、部位を示す図形（たとえば円など）を画像に重畳させて表示することができる。なお、１つの時点について複数の部位の位置が含まれ得る。なお、２つの部位の間を結ぶ部位（たとえば、手首と肘を結ぶ前腕や腰と膝を結ぶ大腿など）については、位置情報が含まれていなくてよい。この場合、所定の２つの部位を示すマーク（円など）のペアの間を線で結ぶことにより、これらの２つの部位の間を結ぶ部位を表現することができる。位置情報は、動画を構成する各フレームについて含まれていてもよいし、キーフレームごとに含まれていてもよいし、任意の数ごとのフレームごとに含まれていてもよいし、ランダムな時点について含まれていてもよい。マイフレームに位置情報が含まれていない場合、最も近い過去の時点の位置情報に基づいてボーンを表示するようにすることができる。

姿勢情報は、ユーザの身体の姿勢に係る情報である。姿勢情報には、動画の時間軸上の時点に対応付けて、評価対象となる部位と、姿勢値と、評価ランクと、評価コメントとが含まれる。姿勢値とは、姿勢を表す値である。姿勢値は、たとえば、地面から部位までの距離、２つの部位間の距離、間接部位の角度（第１の端部の部位から間接部位への直線と、第２の端部の部位から間接部位への直線とが作る角度）などである。評価ランクは、評価値をランクにより表した値である。評価ランクは、たとえば、５段階の１ないし５や、ＡＢＣなどで表現される。評価コメントは、姿勢に関する評価に係るコメントである。たとえば、モードが「リフティング」で、屈曲が十分でない場合に、「腰が下がっていない」といった評価コメントが含まれうる。

動き情報は、ユーザの身体の動きに係る情報である。動き情報には、動画の時間軸上の期間に対応付けて、評価対象となる部位と、姿勢値のリストと、評価ランクと、評価コメントとが含まれる。姿勢値のリストは、期間内における時系列の姿勢値である。評価コメントは、動きに関する評価に係るコメントである。たとえば、モードが「リフティング」で、膝の伸展がスムーズでない場合に、「膝の動きがスムーズではありません」といった評価コメントが含まれうる。

チェックポイント情報は、ユーザの身体の一連の動作の中で、姿勢などをチェックするべきポイント（以下、チェックポイントという。）を示す情報である。チェックポイントとしては、たとえば、モードが「ピッチング」である場合、足を上げたところや、上げた足を下ろして体重移動したところ、ボールをリリースしたところなどである。チェックポイント情報には、動画の時間軸上の時点に対応付けて、チェックポイントを示す情報（以下、チェックポイントＩＤという。）を記憶している。すなわち、チェックポイントＩＤが示すチェックポイントが表示されている動画中のフレーム（静止画像）を特定することができる。

評価表示部１１４は、評価情報を表示する。たとえば、評価表示部１１４は、評価情報に含まれている位置情報に基づいて、動画に重畳させて、身体の部位を表す図形（たとえば、端部や間接を表す円とそれらを結ぶ線）を表示することで、ボーンの動きを動画に重ねて表示することができる。また、評価表示部１１４は、たとえば、部位の位置の時系列的な変化をグラフ表示することができる。

また、評価表示部１１４は、評価情報に含まれている姿勢情報および動き情報に基づいて、動画の表示に併せて、評価ランクおよび評価コメントを表示することができる。たとえば、評価表示部１１４は、動画の再生時間が、姿勢情報に含まれている時点の前後近傍（たとえば、５秒前後など任意の長さとすることができる。）にきたところで、姿勢情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、動画の再生時間が、動き情報に含まれている期間内にきたところで、動き情報に含まれている評価ランクおよび評価コメントを表示することができる。また、評価表示部１１４は、姿勢情報に含まれている姿勢値を表示することができる。また、評価表示部１１４は、動き情報に含まれている姿勢値のリストに基づいて、姿勢値の時系列的な変換をグラフ表示することができる。

チェックポイント表示部１１５は、動画からチェックポイントの画像を抽出して表示することができる。チェックポイント表示部１１５は、画像記憶部１３１に記憶されている動画の画像データから、チェックポイント情報に含まれている時点に対応するフレームを読み出して静止画像として表示することができる。また、チェックポイント表示部１１５は、たとえば、読み出したフレームから身体部分のみを抽出して表示するようにしてもよい。

改善策リクエスト送信部１１６は、身体運動に関する改善策を取得するためのリクエスト（以下、改善策リクエストという。）をサーバ装置２０に送信する。図７は、改善策リクエストの構成例を示す図である。同図に示すように、改善策リクエストには、ユーザＩＤ、モードおよび目的が含まれている。目的は、ユーザが改善を行う目的である。目的としては、たとえば、「ボールのスピードを上げる」、「筋力をアップする」、「下半身を安定させる」などとすることができる。目的についても、所定の選択肢から選択されるものとする。

改善策情報受信部１１７は、改善策リクエストに応じてサーバ装置２０から送信される改善策に関する情報（以下、改善策情報という。）を受信する。改善策情報受信部１１７は、受信した改善策情報を改善条件記憶部１３３に記憶する。改善策情報の構成例を図８に示す。同図に示すように改善策情報には目的とアドバイスと基準情報とが含まれる。本実施形態では、アドバイスは、改善策を表した文字列であることを想定するが、画像や動画などにより改善策を提示するコンテンツであってもよい。基準情報は、好適な身体の姿勢（各部位の位置や角度）である。

改善策表示部１１８は、改善策を表示する。改善策情報表示部１１８は、改善策情報に含まれているアドバイスを表示する。また、改善策情報に部位の好適な位置や角度が含まれている場合には、

図９は、サーバ装置２０のハードウェア構成例を示す図である。サーバ装置２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図１０は、サーバ装置２０のソフトウェア構成例を示す図である。同図に示すように、サーバ装置２０は、評価リクエスト受信部２１１、画像解析部２１２、評価部２１３、評価情報送信部２１４、改善策リクエスト受信部２１５、改善策情報送信部２１６の各機能部と、画像データ記憶部２３１、基準情報記憶部２３２、評価条件情報記憶部２３３、改善条件記憶部２３４の各記憶部とを備える。

なお、上記各機能部は、サーバ装置２０が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置２０が備えるメモリ２０２および記憶装置２０３が提供する記憶領域の一部として実現される。

評価リクエスト受信部２１１は、ユーザ端末１０から送信される評価リクエストを受信する。評価リクエスト受信部２１１は、受信した評価リクエストに含まれている画像データを含む情報（以下、画像情報という。）を画像データ記憶部２３１に登録する。図１１は、画像データ記憶部２３１に記憶される画像情報の構成例を示す図である。同図に示すように、画像情報には、撮影されたユーザを示すユーザＩＤに対応付けて、画像データが含まれる。画像データは、評価リクエストに含まれていたものである。

基準情報記憶部２３２は、身体運動に係る姿勢（部位の位置や角度）の基準値を含む情報（以下、基準情報という。）を記憶する。図１２は、基準情報記憶部２３２が記憶する基準情報の構成例を示す図である。同図に示すように、基準情報には、部位の絶対位置または他の部位もしくは他の基準物に対する相対位置に関する基準情報（以下、位置基準情報という。）と、関節部位を含む３つの部位について、２つの部位のそれぞれと関節部位とを結ぶ直線により形成される角度の基準情報（以下、角度基準情報という。）とが含まれる。

位置基準情報には、モードとチェックポイントＩＤとに対応付けて、部位と、当該部位の基準となる位置が含まれる。部位は複数あってもよい。位置について、鉛直方向の位置は、たとえば、地面からの高さとしてもよいし、いずれかの足先からの距離とすることができる。水平方向の位置は、所定の基準物（たとえば、マウンドプレートや床上のマークなど）からの距離としてもよいし、肩や胸、足などの基準部位からの距離としてもよい。位置基準情報は、予め登録されているものとする。

角度基準情報には、モードとチェックポイントＩＤとに対応付けて、２つの部位（部位１および部位２）と、１つの関節部位と、部位１と関節部位とを結ぶ直線と、部位２と関節部位とを結ぶ直線との間の角度の基準値とが含まれる。

評価条件情報記憶部２３３は、評価を行うための情報（以下、評価条件情報という。）を記憶する。図１３は、評価条件情報記憶部２３３に記憶されている評価条件情報の構成例を示す図である。評価条件情報には、カテゴリ、条件、評価ランク、コメントが含まれている。カテゴリは、評価のカテゴリである。カテゴリとしては、たとえば、「球速」「コントロール」などとすることができる。条件は、画像における身体の各部位の位置または動き（時系列における位置の変化）に対する条件である。たとえば、ピッチングフォームを分析する場合、ボールをリリースするチェックポイントについて、肘の角度や腕の回線速度などに対する条件を評価条件情報に設定することができる。評価ランクは、上記条件が満たされた場合の評価値である。コメントは、上記条件が満たされた場合における、身体の姿勢や動きについての説明である。

画像解析部２１２（部位特定部）は、画像データを解析する。画像解析部２１２は、画像データを解析して身体の各部位の特徴量を抽出し、各部位の画像における位置を特定する。なお、画像解析部２１２による画像解析の手法については一般的なものを採用するものとして、ここでは詳細な説明を省略する。画像解析部２１２は、フレームごとまたはキーフレーム毎に画像データを解析するようにしてもよいし、ランダムなタイミングで解析するようにしてもよい。

画像解析部２１２はまた、チェックポイントＩＤごとに、画像データから抽出した各部位の位置と、基準情報記憶部２３２に記憶されている位置基準情報とを比較し、最も近い時点をチェックポイントの時点として特定する。

評価部２１３は、画像データに基づいてユーザの身体の動きを評価する。本実施形態では、評価部２１３は、画像データから特定された各部位の位置および部位の動きが満たす条件を含む評価条件情報を評価条件記憶部２３３から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。

評価情報送信部２１４は、評価情報をユーザ端末１０に送信する。評価情報送信部２１４は、画像解析部２１２が特定した動画の時間軸における時点と各部位の位置とを含む位置情報を生成する。評価部２１３が取得した評価ランクおよびコメントについて、部位の位置が条件を満たす場合には、時点、部位および姿勢値と、評価ランクおよびコメントとを含む姿勢情報を生成し、部位の動き（時系列における位置の変化）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む動き情報を生成する。また、評価条件送信部２１４は、画像解析部２１２が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。評価情報送信部２１４は、生成した位置情報、姿勢情報、動き情報およびチェックポイント情報を含む評価情報を作成してユーザ端末１０に送信する。なお、評価部２１３および評価情報送信部２１４は、本発明のコメント出力部に該当しうる。

改善条件記憶部２３４は、改善策に係る情報（以下、改善条件情報という。）を記憶する。図１４は、改善条件記憶部２３４に記憶される改善条件情報の構成例を示す図である。同図に示すように、改善条件情報には、目的、カテゴリおよび条件に対応付けてアドバイスが含まれる。条件は、身体条件（柔軟性など）に対する条件であってもよいし、身体の部位の位置や動きに対する条件であってもよい。

改善策リクエスト受信部２１５は、ユーザ端末１０から送信される改善策リクエストを受信する。

改善策情報送信部２１６は、改善策リクエストに含まれているモードおよび目的に対応する改善条件情報のうち、評価リクエストに含まれていたユーザの身体情報や、画像解析部２１２が特定した各部位の位置や動きが条件を満たされるものを検索する。改善策情報送信部２１６は、検索した改善策情報のアドバイスを取得し、目的およびアドバイスを設定した改善策情報を作成し、作成した改善策情報をユーザ端末１０に応答する。改善策情報送信部２１６は、また、基準情報に含まれている各部位の位置や角度を改善策情報に含めて送信する。

図１５は、本実施形態の運動評価システムにおいて実行される処理の流れを示す図である。

ユーザ端末１０において撮像部１１１は、モードの入力を受け付け、ユーザの運動中における身体を撮像し、動画データを取得する（Ｓ３２１）。評価リクエスト送信部１１２は、ユーザを示すユーザＩＤ、受け付けたモード、身体情報および動画データを含む評価リクエストをサーバ装置２０に送信する（Ｓ３２２）。

サーバ装置２０において評価リクエスト受信部２１１が評価リクエストを受信すると、画像解析部２１２は動画データを解析して特徴量を抽出し（Ｓ３２３）、各部位の位置を特定する（Ｓ３２４）。ここで画像解析部２１２は、画像上の位置を特定するようにしてもよいし、身体情報を用いて実寸の位置（地面からの高さ、身体の重心等の基準点からの距離など）を特定するようにしてもよい。評価部２１３は、各部位の位置や部位の動き（位置の時系列的な変化）が条件を満たす評価条件情報から評価ランクおよびコメントを取得する（Ｓ３２５）。評価情報送信部２１４は、評価情報を作成してユーザ端末１０に送信する（Ｓ３２６）。

ユーザ端末１０において評価表示部１１４は、受信した評価情報に基づいて、動画データ上に身体の姿勢を示す各部の位置（ボーン）を表示するとともに、評価ランクやコメントを表示する（Ｓ３２７）。ここで評価表示部１１４は、部位の位置や動きの時系列的な変化をグラフ表示してもよい。また、チェックポイント表示部１１５が、動画からチェックポイントの画像を抽出して表示してもよい。改善策リクエスト送信部１１６は、ユーザからの指示に応じて、改善策リクエストをサーバ装置２０に送信する（Ｓ３２８）。

サーバ装置２０において、改善策リクエスト受信部２１５は、ユーザ端末１０から送信される改善策リクエストを受信すると、改善策情報送信部２１６は、条件が満たされる改善条件情報を検索し、検索した改善条件情報に含まれているアドバイスを取得し（Ｓ３２９）、取得したアドバイスを含む改善策情報を作成してユーザ端末１０に送信する（Ｓ３３０）。

ユーザ端末１０において改善策情報受信部１１７が改善策情報を受信すると、改善策表示部１１８は、受信した改善策情報に含まれるアドバイスを表示するとともに、好適な身体の姿勢をボーンの形態で動画データに重畳させて表示することができる（Ｓ３３１）。

以上のようにして、本実施形態の運動評価システムによれば、容易に身体運動についての評価を行うことができる。とくにスポーツに係る身体運動について、身体の各部位の位置関係や動きについて評価することができるので、具体的な改善努力につながりやすく、成績向上が期待される。また、本実施形態の運動評価システムでは、コメントやアドバイスも提供されるため、ユーザは容易に現状と改善策とを把握することが可能になる。

図１６ないし図２０は、身体運動の評価または改善策を表示する画面の一例を示す図である。

図１６は、ピッチングモードでの動画を撮像した場合を説明している。同図に示すように、画面４１では、身体の各部位の位置を示すボーン４１１（例えば、眼、耳、関節等１７か所の特徴点を各々接続した線として定義されてもよい）により身体の姿勢を表示している。また、基準値からの乖離に応じたコメントがコメント欄４１２に表示されている。ユーザはこれを参考にして直すべき姿勢などを検討することができる。

図１７は、チェックポイントの画像を表示する例を示している。画面４２には、チェックポイントの選択欄４２１が表示されており、ここからチェックポイントが選択できる。図１７の例では、リリースポイントのチェックポイント４２２が選択され、当該チェックポイントに対応する動画中の画像４２３が表示されている。これにより、各チェックポイントにおける自分の身体の姿勢や動きを容易に把握することができる。チェックポイントの推定方法として、例えば、投手の上半身が正面（投球方向）を向いたとき、投手右手（利き手）の座標が最も高くなったとき、かつ、投手の両肩の距離が最も開いたとき（距離が長いとき）、等の条件を満たしたときにリリースポイントに達した、と判定することができる。

図１８ないし図２０は、ウェイトリフティングのモードにおける動画の評価画面の一例を示す図である。画面４３の例では、ボーン４３１では、画像から特定した部位の所定の位置（ユーザの臀部が最下点に達した位置）に加えて、基準情報として設定されている好適な姿勢も併せて表示されている。さらに、画面４３では、シャフトの動きに係る情報４３２が表示されている。このように、身体の部位のみでなく、ユーザが使用している道具についても位置や動きを特定することが可能である。これにより、たとえば、ウェイトを何回持ち上げたかを画像からカウントすることができる。また、図１９に示すように、動画とともに、評価あるいは改善策に係るコメントまたはアドバイス４３３を画面４３に表示することができる。また、図２０の例では、膝の曲がる角度の時系列的なグラフ４３４が表示されている。グラフ４３４における変化をさらに解析することにより、異常値４３５を検出することもできる。また、図示しないが、グラフ４３４とともに／または、膝の曲がる速度の時系列的なグラフを表示することもできる。これらのグラフによって、そのユーザの適正なウェイトの重量及び回数を提示することができる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

たとえば、本実施形態では、サーバ装置２０において画像の解析を行うものとしたが、これに限らず、ユーザ端末１０において画像の解析を行い、各部位の位置関係を特定するようにしてもよい。

また、本実施形態では、部位の位置は２次元の画像上の位置であることを想定したが、これに限らず、３次元の位置としてもよい。たとえば、ユーザ端末１０が、カメラ１０６に加えてデプスカメラを備えている場合に、カメラ１０６からの画像と、デプスカメラからの深度マップとに基づいて、部位の３次元の位置を特定することができる。なお、カメラ１０６に代えてデプスカメラを設けるようにし、デプスカメラからの深度マップのみから３次元の位置を特定することも可能である。この場合、ユーザ端末１０から画像データとともに、または画像データに代えて深度マップをサーバ装置２０に送信するようにし、サーバ装置２０の画像解析部２１２が３次元の位置を解析するようにすることができる。

また、本実施形態では、運動中のユーザの身体を撮像した画像がユーザ端末１０からサーバ装置２０に送信されるものとしたが、これに限らず、ユーザ端末１０において画像から特徴量を抽出し、特徴量をサーバ装置２０に送信するようにしてもよいし、ユーザ端末１０が特徴量に基づいて身体の部位を推定し、部位の絶対的な位置（画像のＸＹ座標上の位置としてもよいし、基準位置（たとえば、地面や足先、頭、身体の重心など）からの実寸での距離としてもよいし、その他の任意の座標系での位置とすることもできる。）または複数部位間の相対的な位置関係を取得し、これらの絶対的な位置や相対的な位置関係をサーバ装置２０に送信するようにしてもよい。

また、本実施形態では、改善策情報にはサーバ装置２０側で準備されたコンテンツが提供されるものとしたが、これに限らず、たとえば、基準値を含めるようにして、基準値に基づく正しい姿勢（各部位の位置や角度）となるボーンを動画または動画から抽出した静止画に重畳して表示するようにしてもよい。これにより、どのような姿勢とするべきかを容易に把握することができる。

また、本実施形態では、身体の部位の位置または動き（経時的な位置）について評価するものとしたが、これに限らず、ユーザが把持または装着している道具の位置を特定して評価するようにしてもよい。この場合、道具の位置についての基準情報と評価条件情報を登録しておき、道具の特徴量を抽出して位置を特定して、身体部位の位置と同様に評価を行うようにすればよい。

また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、用具のレコメンデーションを行うようにしてもよい。この場合、サーバ装置２０は、ユーザの身体情報（身長、体重等）に対応付けて、用具と当該用具のサイズ（長さ等）の基準値を記憶しておき、画像データからユーザが使用している用具の特徴量を抽出して用具の形状を特定し、当該形状と身体情報に含まれるユーザのサイズ（たとえば身長等）に基づいて用具の大きさを推定し、推定した用具の大きさと、基準値との差が所定の閾値以上であれば、基準値のサイズの用具をレコメンドすることができる。

また、道具の位置を推定することにより、サーバ装置２０は、道具のスピードを推定することができる。また、サーバ装置２０は、時系列での道具の位置の変化のパターンを抽出することにより、パターンの回数を、道具を使った動作の回数として推定することができる。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ある姿勢または動きを検出した場合に、その動作に対する課題を提案するようにしてもよい。この場合、サーバ装置２０は、ひとつまたは一連の姿勢または動きに対応付けて、評価コメントに代えて、課題を記憶しておき、当該課題を出力すればよい。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ある姿勢または動きを検出した場合に、行うべきトレーニングを提示するようにしてもよい。この場合、サーバ装置２０は、ひとつまたは一連の姿勢または動きに対応付けて、評価コメントに代えて、トレーニング内容を記憶しておき、当該内容を出力すればよい。

また、本実施形態では、運動の評価を行うものとしたが、これに限らず、プレイヤーが行った動作を自動検出するようにすることもできる。この場合、サーバ装置２０は、たとえばシュートやパスなどの所定の動作を行う姿勢（身体の各部位の位置）を基準情報として記憶しておき、画像から解析した身体の部位の位置と基準情報とを比較して、画像中のプレイヤーが行った動作を特定することができる。

また、本実施形態では、過去に撮像した画像を解析して運動の評価を行うものとしたが、これに限らず、リアルタイムに解析処理を行い、所定の動作を検出した場合に、次にとるべき戦術をレコメンドするようにしてもよい。この場合、姿勢または動きに対応付けて、評価コメントに代えて戦術を記憶しておき、リアルタイムに戦術を出力すればよい。

また、本実施形態では、所定の機能の実行及び情報の記憶を、ユーザ端末またはサーバ装置で行うものとしているが、これに限らず、いずれか一方の装置で当該機能の実行及び情報の記憶を行うこととしてもよい。または、本実施形態とは異なる形態で、機能部及び記憶部を分散して設けてもよい。

１０ ユーザ端末
２０ サーバ装置
３０ 通信ネットワーク
１１１ 撮像部
１１２ 評価リクエスト送信部
１１３ 評価情報受信部
１１４ 評価表示部
１１５ チェックポイント表示部
１１６ 改善策リクエスト送信部
１１７ 改善策情報受信部
１１８ 改善策表示部
１３０ 身体情報記憶部
１３１ 画像記憶部
１３２ 評価情報記憶部
１３３ 改善策記憶部
２１１ 評価リクエスト受信部
２１２ 画像解析部
２１３ 評価部
２１４ 評価情報送信部
２１５ 改善策リクエスト受信部
２１６ 改善策情報送信部
２３１ 画像データ記憶部
２３２ 基準情報記憶部
２３３ 評価条件情報記憶部
２３４ 改善条件情報記憶部

Claims (5)

1. 身体の運動の評価を行うシステムであって、
   少なくとも１つの前記部位の位置に係る基準値を記憶する基準値記憶部と、
   前記身体を撮像した画像を解析して前記身体の部位を特定する部位特定部と、
   前記画像における前記部位の位置および前記基準値を比較して前記運動の評価値を決定する評価部と、
   を備えることを特徴とする運動評価システム。
2. 請求項１に記載の運動評価システムであって、
   前記評価部は、前記基準値から前記位置までの距離に応じて前記評価値を決定すること、
   を特徴とする運動評価システム。
3. 請求項１に記載の運動評価システムであって、
   前記基準値記憶部は、第１および第２の前記部位のそれぞれと第３の前記部位とを結ぶ直線の間の角度についての前記基準値を記憶し、
   前記部位特定部は、前記第１ないし第３の部位のそれぞれを前記画像から特定し、
   前記評価部は、特定された前記第１ないし第３の部位についての前記角度を算出し、算出した前記角度と前記基準値とを比較して、前記評価値を決定すること、
   を特徴とする運動評価システム。
4. 請求項１に記載の運動評価システムであって、
   前記部位および前記位置に対する条件に対応付けて、前記部位についてのコメントを記憶するコメント記憶部と、
   前記位置が満たす前記条件に対応する前記コメントを出力するコメント出力部と、
   をさらに備えることを特徴とする運動評価システム。
5. 請求項１に記載の運動評価システムであって、
   前記運動に係る改善の目標と、前記位置に対する条件とに対応付けて、前記運動に係る改善策のアドバイスを記憶する改善策情報記憶部と、
   前記位置が満たす前記条件に対応する前記アドバイスを出力するアドバイス出力部と、
   をさらに備えることを特徴とする運動評価システム。
   

Images