JP2021154102A - エクササイズコース採点方法、エクササイズコース採点システム、及びプログラム - Google Patents

Abstract

【課題】エクササイズコース採点方法を提供する。【解決手段】本発明のエクササイズコース採点方法は、コースビデオを再生して、コースビデオに対応するコーチ運動データを取得し、コーチ運動データからコーチ区画を取得するステップと、慣性測定ユニットにより生徒運動データを取得し、生徒運動データから生徒区画を取得し、生徒区画の長さがコーチ区画の長さより大きくなるステップと、生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜すステップと、第１の運動タイプに対して、生徒セグメントとコーチ区画の安定性により運動スコアを計算するステップと、第２の運動タイプに対して、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算するステップと、を備える。これにより異なる運動タイプに対して異なる採点方法を採用し、公知技術よりも更に適切に運動スコアを計算することができる。【選択図】図３

Description

本発明は、エクササイズコースを様々な運動タイプに分けて運動スコアを計算する方法、システム及びプログラムに関する。

近年、人々のフィットネス志向が高まるにつれて、ますます多くの人が自分の運動習慣を確立しようとする意思を持っている。また、今のように情報が豊富な環境では、インターネットなどのリソースを通じてフィットネス関連のコーチングビデオを検索し、ビデオのトレーナーがお手本としてやってみせる動きを模倣して運動をする人も多くなっている。しかし、一般の人は模倣しようとしても、お手本の模倣のために必要な動きを必ずしも正しく行うことができないため、運動効果が得られるレベルに達する前に、間違った行動をとることで負傷する可能性がある。また、一般のユーザーは部外者であるフィットネス指導者の支援がなければ、運動中に運動の質を少しずつ改善できているかどうかを知ることができず、その結果達成感が得られないため、運動を続けようとするモチベーションが下がってしまう場合がある。

現在の一般的なモーション判定システムは以下の通りである。
まず、マルチレンズ写真機材を使用して、コンピュータービジョン処理技術によって、分析のためにユーザーのモーションジェスチャーをキャプチャする。このためのシステムはハードウェアのコストであれデジタルコンテンツの製造コストであれ比較的高額となるため、販売促進が困難になる。
一般的な方法では、少なくとも加速度計と磁力計を含むウェアラブル慣性測定ユニットを使用して、運動中の３次元空間でのセンサーの加速度と角速度の変化を記録する。こうして空間内の運動軌跡を計算し、記録することにより、データの比較・分析をする。しかしながら、異なるタイプの運動には異なる特徴があるので、異なるタイプの運動を適切に分析及び比較する方法を開発することが、当業者にとって関心を持つべき課題である。

本発明の実施例は、慣性測定ユニットを含むウェアラブル装置を有するエクササイズコース採点システムに適用され、以下のステップを備えるエクササイズコース採点方法である。
コースビデオを再生して、コースビデオに対応するコーチ運動データを取得し、コーチ運動データからコーチ区画（指定期間内のコーチ運動データに基づく区画を意味する）を取得することと、慣性測定ユニットにより生徒運動データを取得し、生徒運動データから生徒区画（指定期間内の生徒運動データに基づく区画を意味する）を取得し、生徒区画の長さがコーチ区画の長さより大きくなるステップ。
生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜すステップ。
第１の運動タイプに対して、生徒セグメントとコーチ区画の安定性により運動スコアを計算するステップ。
第２の運動タイプに対して、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算するステップ。
以上のステップを備えることにより、運動タイプに応じて、適切な運動スコアを付与することができる。

いくつかの実施例において、以下のような構成を有していてもよい。
生徒区画の開始点がコーチ区画の開始点の前にある。
生徒区画の終了点がコーチ区画の終了点の後にある。
また、上記の生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜すステップは、生徒区画とコーチ区画に対してオープンビギンエンドダイナミックタイムワーピングアルゴリズムを実行して生徒セグメントを取得するステップを含む。

いくつかの実施例において、生徒セグメントの安定性により運動スコアを計算するステップは、以下のステップを備えていてもよい。
生徒セグメントの複数のサンプリングポイントでの力の平均絶対誤差を計算して生徒安定性とするステップ。
コーチ区画の複数のサンプリングポイントでの力の平均絶対誤差を計算してコーチ安定性とするステップ。
生徒安定性とコーチ安定性の間の安定性比を計算するステップ。

いくつかの実施例において、生徒セグメントの安定性により運動スコアを計算するステップは、以下のステップを更に備えていてもよい。
ロジット関数に基づいて安定性比を安定性スコアに転換するステップ。
コーチ運動データにおける各区画に対して対応するコーチ安定性を計算し、且つ区画のコーチ安定性の第１の範囲における第１の回数と第２の範囲における第２の回数を統計するステップ。
第１の回数を第１の回数と第２の回数の総和で割って安定重みを計算するステップ。
安定性スコアと安定重みにより運動スコアを計算するステップ。

いくつかの実施例において、上記の安定性スコアと安定重みにより運動スコアを計算するステップは、方程式（１）に従って計算されてもよい。

ここで、Ｓｃｏｒｅは運動スコアであり、Ｓ_stabilityは安定性スコアであり、ｗは安定重みであり、Ｓ₁は実数である。

いくつかの実施例において、上記の控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算するステップは、以下のステップをさらに備えていてもよい。
生徒セグメントとコーチ区画の間の力誤差と方向誤差を計算するステップ。
力重みと方向重みを計算し、且つ力誤差と方向誤差の値のうちの大きな方が誤差臨界値より大きい場合、対応する力重み又は方向重みを増加させるステップ。
力誤差、方向誤差、力重みと方向重みにより運動スコアを計算するステップ。

いくつかの実施例において、上記の力誤差及び上記の方向誤差は以下のように計算されてもよい。
上記の力誤差は、生徒セグメントのペアとなるサンプリングポイントでのＬ２ノルムとコーチ区画の対応するサンプリングポイントでのＬ２ノルムとの間の差異により計算される。
上記の方向誤差は、生徒セグメントのペアとなるサンプリングポイントとコーチ区画の対応するサンプリングポイントとの間のコサイン類似度により計算される。

いくつかの実施例において、上記の力誤差、方向誤差、力重みと方向重みにより運動スコアを計算するステップは、方程式（２）に従って計算されてもよい。

ここで、Ｓｃｏｒｅは運動スコアであり、Ｄ_aは方向誤差であり、ｗ_aは方向重みであり、Ｄ_mは力誤差であり、ｗ_mは力重みである。

別の本発明の実施例は、以下の装置を備えるエクササイズコース採点システムである。
生徒運動データを取得するための慣性測定ユニットを含むウェアラブル装置。
ディスプレイによりコースビデオを再生して、コースビデオに対応するコーチ運動データを取得することに用いられるスマート装置。
スマート装置は、以下の複数のステップを含み且つ実行し、又は生徒運動データとコーチ運動データを計算モジュールに伝送してステップを実行するためのものである。
生徒運動データから生徒区画を取得し、且つコーチ運動データからコーチ区画を取得し、生徒区画の長さがコーチ区画の長さより大きくなるステップ。
生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜すステップ。
第１の運動タイプに対して、生徒セグメントとコーチ区画の安定性により運動スコアを計算するステップ。
第２の運動タイプに対して、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算するステップ。

別の本発明の実施例は、計算モジュール又はスマート装置によって実行されて以下の複数のステップを完成するプログラムであって、以下の複数のステップを含むプログラムである。
コースビデオを再生して、コースビデオに対応するコーチ運動データを取得し、コーチ運動データからコーチ区画を取得するステップ。
慣性測定ユニットにより生徒運動データを取得し、生徒運動データから生徒区画を取得し、生徒区画の長さがコーチ区画の長さより大きくなるステップ。
生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜すステップ。
第１の運動タイプに対して、生徒セグメントとコーチ区画の安定性により運動スコアを計算するステップ。
第２の運動タイプに対して、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算するステップ。

上記の方法によって、異なる運動タイプに対して異なる採点方法を採用することにより、公知技術よりも更に適切に運動スコアを計算することができる。

一実施例によるエクササイズコース採点システムを示す模式図である。 一実施例によるエクササイズコース採点システム１００の部分フロー図である。 一実施例によるコーチ運動データと生徒運動データを示す模式図である。 一実施例によるエクササイズコース採点方法を示すフロー図である。

本文に使用される「第１の」、「第２の」、…等については、次序又は順位を特定する意味ではなく、同一の技術用語で記述される素子又は操作を区別するためだけのものである。

本発明は、スマート装置及びクラウドアプリケーションサービスを組み合せるエクササイズコース採点方法を提供する。これは、生徒がエクササイズコースビデオに基づいて運動すると同時に、体の部分での生徒の運動データを取り、生徒の運動データとコーチの運動データを比較して、ユーザーの運動成果を評価するものである。これにより、生徒は必要な動作を正しく実行しているかどうかを明確に知ることができ、更に運動の効果が向上し、運動への意欲が高まる。特に、異なるタイプの運動では、スコアの計算に異なる方法が使用される。ジェスチャーがあまり重要ではない運動タイプや速い動きについて、より大きな許容度が与えられる。

図１Ａは、一実施例によるエクササイズコース採点システムを示す模式図である。
図１Ａを参照する。エクササイズコース採点システム１００は、少なくとも１つのウェアラブル装置１１０、ディスプレイ１２０とスマート装置１３０を含む。

ウェアラブル装置１１０は、例えば運動ブレスレットとして装着され、生徒１１２によって着用されてよいが、他の実施例において、腕時計、ストラップ、又は他の体に着用可能な装置として装着されてもよい。
ウェアラブル装置１１０は、１つの慣性測定ユニットを備え、少なくともＸ、Ｙ、Ｚ等の３つの軸の加速度値を測定するための加速度センサーを含み、いくつかの実施例において、慣性測定ユニットが角速度センサー及び／又は磁力計を更に含んでもよい。ここで、慣性測定ユニットによって測定されたデータは、生徒運動データと呼ばれる。ウェアラブル装置１１０は、例えばブルートゥース（登録商標）通信モジュール、ワイヤレスフィデリティ（wireless fidelity；ＷｉＦｉ）モジュール又は他の適切な低電力ワイヤレス送信モジュールのようなワイヤレス通信モジュールを更に含む。いくつかの実施例において、ウェアラブル装置１１０は、ディスプレイパネル又は他の任意の素子を更に含んでよいが、本発明はこれに限定されない。ディスプレイ１２０は、コーチが動きを実演している１つのコースビデオを再生することに用いられる。

スマート装置１３０は、プロセッサ１３１、メモリ１３２とワイヤレス通信モジュール１３３を含み、メモリ１３２にプログラムコードが格納され、プロセッサ１３１によって実行される。
プロセッサ１３１は、１つの中央処理装置、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、画像処理チップ、特殊アプリケーション集積回路等であってもよいが、本発明はこれらに限定されない。ワイヤレス通信モジュール１３３は、例えばブルートゥース（登録商標）通信モジュール、ワイヤレスフィデリティ（wireless fidelity；ＷｉＦｉ）モジュール又は他の適切な低電力ワイヤレス送信モジュールであり、ウェアラブル装置１１０から生徒運動データを受信することに用いられる。

図１Ｂは、一実施例によるエクササイズコース採点システム１００の部分フロー図である。
図１Ａと図１Ｂを参照する。先ずコースビデオを製造して、ステップ１５１において、コースビデオを撮り、同時にコーチ運動データを記録する。いくつかの実施例においては、先ず複数台のビデオカメラによりコーチの動きを撮ることができ、これらのビデオカメラが異なる位置と角度に立て、これらの撮られたビデオを編集した後コースビデオを製造することができる。特に、撮影中にコーチも１つ又は複数のウェアラブル装置１１０が着用され、慣性測定ユニットによって感知された信号もコーチ運動データとして記録される。例として、コーチ運動データは、複数のサンプリングポイントを含み、サンプリングポイントのそれぞれがＸ、Ｙ、Ｚ等の３つの加速度値を含む。

ステップ１５２において、コースビデオのポストプロダクションを行い、タイムコードに基づいてコーチ運動データとコースビデオとを同期する。
上記のタイムコードは、例えば映画テレビ技術者協会（Society of Motion Picture and Television Engineers；ＳＭＰＴＥ）によって決められたタイムコードであるが、他の実施例において任意のフォーマットのタイムコードを採用してもよく、本発明はこれに限定されない。これにより、このタイムコードによりコーチ運動データのそれぞれのサンプリングポイントがコースビデオにおけるどのビデオ又はどの画像に対応するかがわかる。例として、ウェアラブル装置１１０において慣性測定ユニットのサンプリング周波数が２５Ｈｚであるとすると、１つの１分間のビデオの対応するコーチ運動データは６０×２５＝１５００のサンプリングポイントがあることになる。しかしながら、本発明はサンプリング周波数を限定しない。
次に、コースビデオとコーチ運動データは、クラウドデータベース１４０に格納される。

ユーザーが運動し始める時に、スマート装置１３０は、クラウドデータベース１４０からコースビデオとコーチ運動データを取得しディスプレイ１２０によりコースビデオを再生する。同時に、ステップ１５３において、スマート装置１３０は、ウェアラブル装置１１０により生徒運動データを取得する（ワイヤレス通信モジュールによる）。いくつかの実施例において、プロセッサ１３１は、コースビデオが再生する前にウェアラブル装置１１０から生徒運動データを受信するが、これらの生徒運動データが破棄され、コースビデオが再生を開始してこそその時の生徒運動データが保存される。
このように、取得された生徒運動データがコースビデオに対応し、例えば生徒運動データにおける各サンプリングポイントがコースビデオにおけるどのフレームに対応するかがわかる。

ステップ１５４において、運動が中止される時又は終わる時に（コースビデオが終わる時）、取得された生徒運動データが収集される。ステップ１５３において、生徒運動データとコースビデオとの間の対応関係が既に分かり、且つＳＭＰＴＥタイムコードによりコースビデオとコーチ運動データとの間の対応関係を取得することができるので、コースビデオのフレーム番号により対応する生徒運動データとコーチ運動データを取得することができる。

ステップ１５５において、コーチ運動データを複数のコーチ区画に分け、それぞれのコーチ区画の運動スコアを計算する。最後に、ステップ１５６において運動スコア１２１を表示する。これにより生徒１１２は自分が必要な動きをしたかどうかが明らかに分かり、更に運動効果を改善し、そして運動意欲を向上させることができる。いくつかの実施例において、運動スコアはプロセッサ１３１によって計算されるが、他の実施例において運動スコアはクラウドのサーバー、又は他の電子装置によって計算されてもよい。例えば、図１Ａにおいて、スマート装置１３０は、クラウドの計算モジュール１４１に接続されてよく、この計算モジュール１４１がサーバー、仮想マシン、又はコンピューティングサービスを提供するネットワークアプリケーションであってもよいが、本発明はこれらに限定されない。
プロセッサ１３１は、コーチ運動データと生徒運動データを計算モジュール１４１に伝送することができ、計算モジュール１４１によって運動スコアを計算した後でプロセッサ１３１に送り返す。図１Ｂの実施例においては運動を中止した時又は終わった後で運動スコアを計算するが、いくつかの実施例において、生徒運動データを取得しながら運動スコアを計算してもよく、つまり運動スコアをリアルタイムで表示してもよい。いくつかの実施例において、運動中に生徒運動データの量が十分である時に、直ちにスマート装置１３０内で採点計算を行ってもよく、あるいは運動の後で、生徒運動データを計算モジュール１４１に伝送して、運動スコアを計算してもよい。以下、運動スコアの計算を詳しく説明する。

図２を参照する。図２は、実施例によるコーチ運動データと生徒運動データを示す模式図である。図２におけるコーチ運動データ２１０と生徒運動データ２２０は１次元信号（即ち、各サンプリングポイントに１つの加速度値だけがある）として示されているが、これは単なる模式図であり、実際にそれぞれのサンプリングポイントは複数の加速度値（即ち、１つのベクトルを構成する）が必要であり、コーチ運動データ２１０と生徒運動データ２２０がベクトルのコレクションである。具体的には、コーチ運動データ２１０は方程式（３）として表示される。

ｉは正の整数であり、第ｉのサンプリングポイントを示し、ここで、ａ^C _i,x，ａ^C _i,y，ａ^C _i,zはそれぞれコーチ運動データ２１０の第ｉのサンプリングポイントのＸ軸、Ｙ軸、Ｚ軸における加速度値を示す。また、生徒運動データ２２０は方程式（４）として表される。

ａ^s _i,x，ａ^s _i,y，ａ^s _i,zはそれぞれ生徒運動データ２２０の第ｉのサンプリングポイントのＸ軸、Ｙ軸、Ｚ軸における加速度値を示す。図２において、コーチ運動データ２１０と生徒運動データ２２０とは同じコースビデオに対応するので、コーチ運動データ２１０と生徒運動データ２２０とは類似すればするほど、計算されたスコアが高くなるはずである。注意すべきなのは、コーチ運動データ２１０の長さは、生徒運動データ２２０の長さと異なる場合がある。いくつかの実施例において、生徒運動データ２２０のサンプリング周波数がコーチ運動データ２１０のサンプリング周波数と異なると、サンプリング周波数が大きな一方に対して再サンプリング（resampling）を行ってもよく、これにより両者のサンプリング周波数を同じにする。

いくつかの実施例において、慣性測定ユニットが角加速度計を更に含む場合、６軸センサーデータフュージョンアルゴリズムを使用して、３次元の加速度ベクトルＦ_c［ｉ］、Ｆ_s［ｉ］を取得することができ、これにより、動きの姿勢や動きの方向を適切に判別でき、より多様な動きを判別でき、より優れた識別率を提供することができる。慣性測定ユニットは、３軸磁力計を更に含む場合、９軸センサーデータフュージョンアルゴリズムを使用して、３次元の加速度ベクトルＦ_c［ｉ］、Ｆ_s［ｉ］をもっと正確に取得することができ、より迅速に比較し、そして正確に類似性の計算を行うようにする。上記のフュージョンアルゴリズムは、任意の方向と方位参照システム（attitude and heading reference system；ＡＨＲＳ）アルゴリズムを採用することができるが、本発明はこれに限定されない。

まず、コーチ運動データ２１０からコーチ区画２１１を取得し、このコーチ区画２１１の長さが異なる運動タイプにより決められてもよく、長さが２秒〜１０秒であってもよいが、本発明はこれに限定されない。また、生徒運動データ２２０からも生徒区画２２１を取得する。また、生徒区画２２１の長さがコーチ区画２１１の長さより大きい。例として、生徒区画２２１の開始点がコーチ区画２１１の開始点の前にあってもよく、生徒区画２２１の終了点がコーチ区画２１１の終了点の後にあってもよい。これは、生徒がコーチの動きを模倣する時に遅れたり、早くなる可能性があるためであり、生徒区画２２１の長さが長くこれらの現象に対してより大きな許容度を保つことができる。コーチ区画２１１の長さが４秒であり且つサンプリング周波数が２５Ｈｚであると仮定すると、コーチ区画２１１が合計４×２５＝１００のサンプリングポイントを有し、以下、正の整数Ｍとして表示される。生徒区画２２１は、コーチ区画２１１の１秒先にあり、１秒延長し、且つ生徒区画２２１のサンプリング周波数も２５Ｈｚであるとすると、生徒区画２２１は合計１００＋２×２５＝１５０のサンプリングポイントを有することになり、以下、正の整数Ｎとして表示される。

次に、生徒区画２２１の中でコーチ区画２１１と最も類似している生徒セグメント２３０を捜し、いくつかの実施例において生徒区画２２１とコーチ区画２１１に対してオープンビギンエンドダイナミックタイムワーピングアルゴリズム（open-begin-end dynamic time warping；ＯＢＥ−ＤＴＷ）を実行して生徒セグメント２３０を取得する。当業者は、一般的なダイナミックタイムワーピングアルゴリズム（ＤＴＷ：動的時間伸縮法）を技術常識として理解できるため、ここでは説明しないが、ＯＢＥ−ＤＴＷは開始点と終了点とが同じであるという制限を解除し、これにより生徒区画２２１から部分的に一致するセグメントを見つけるものである。このアルゴリズムは、方程式（５）〜（７）で示されてもよい。

ここで、Ｆ_s ^(d,e)は生徒区画２２１におけるサブコレクションを示し、第ｄのサンプリングポイント〜第ｅのサンプリングポイントからなり、ｄ、ｅが正の整数であり、セグメントＦ_s ^(d,e)の長さが生徒区画２２１の長さと同じであってもよく異なってもよい。このアルゴリズムは、生徒区画２２１から正の整数ｄ、ｅを見つけて、これにより誤差Ｄ(Ｆ_c，Ｆ_s ^(d,e))を最小にするものである。ここで、Ｃｏｓｔ_OBE-DTWはＯＢＥ−ＤＴＷに基づいてペアとなるサンプリングポイントの間の誤差の平均を示し、生徒区画２２１においてペアとなるサンプリングポイントが生徒セグメント２３０を構成する。例として、生徒セグメント２３０におけるサンプリングポイント２３１は、コーチ区画２１１におけるサンプリングポイント２３２とペアとなるが、注意すべきなのは、生徒セグメント２３０におけるサンプリングポイントが重なり（コーチ区画２１１における複数のサンプリングポイントとペアとなり）、且つ必ずしも連続的ではない（あるサンプリングポイントがコーチ区画２１１とペアとならない）場合があることである。いくつかの実施例において、異なるタイプにより異なる誤差を採用してもよい。動き方向を主として評価すると、Ｃｏｓｔ_OBE-DTWはコサイン類似度（cosine similarity）の平均を指し、動き力を主として評価すると、Ｃｏｓｔ_OBE-DTWはＬ２ノルム（ユラ距離とも呼ばれる）の平均を指す。また、Ｎ_matchedは見つけられた生徒セグメントの長さであり、ａは実数であり、試験によって決められてよい（例えば２）。上記の方程式（５）は、生徒セグメントの長さによりＤ(Ｆ_c，Ｆ_s ^(d,e))を調整し、見つけられた生徒セグメント２３０の長さはコーチ区画２１１よりも小さいか大きくなる可能性があるので、あるセグメントの長さがコーチ区画２１１の長さに近ければ近いほど、優先的に選択されることとなり、この点で従来のＯＢＥ−ＤＴＷと異なる。図２に示すように、生徒の動きがコーチの動きよりわずかに遅れているので、上記のアルゴリズムにより生徒区画２２１の前の部分が破棄され、後半段の生徒区画２２１のみに一致し、このように生徒の遅れる動きへより大きな許容度を与えることができる。

生徒セグメント２３０を見つけてから生徒セグメント２３０の運動タイプを分析し、異なる運動タイプは異なるスコア計算方式を採用する。ここに少なくとも２種類の運動タイプを設ける。第１の運動タイプは、安定した静的運動を指し、第２の運動タイプは、一般又は快速のダイナミック運動を指す。いくつかの実施例において、各サンプリングポイントのＸ軸、Ｙ軸、Ｚ軸における加速度値の絶対値を加えて力が得られ、方程式（８）で示される。

方程式（８）における加速度値は、コーチ運動データ又は生徒運動データに属してもよい。運動タイプを判断する場合、コーチ運動データの力を採用することができ、次にすべての力ｘ［ｉ］の平均、標準差又は平均絶対差（mean absolute deviation）等の統計値により運動の分類を行い、例えば平均絶対差が閾値よりも小さくなると第１の運動タイプであると判断でき、前記閾値以上であると第２の運動タイプであると判断できる。いくつかの実施例において、コーチ運動データの属する運動アイテム（例えばボクシングエアロビクス、ラテンダンス、断続的な強度のエクササイズ、ヨガ等）により分類し、又はコーチ区画２１１（又は生徒区画２２１）の長さにより分類することができる。いくつかの実施例において、生徒区画２２１に対して、第１の運動タイプの重み（０〜１の間に介在する）と第２の運動タイプの重み（０〜１の間に介在する）を計算してもよく、且つそれぞれ第１の運動タイプのスコアと第２の運動タイプのスコアを計算してから、また重みにより２つのスコアを加算することができ、且つ異なる生徒区画２２１が異なる運動タイプに属するか又は異なる運動タイプ重みを有してよい。本発明は、如何に運動を分類するかについてはその手段を限定しない。以下、２種類の運動タイプに分けて運動スコアの計算を説明する。

［第１の運動タイプ］
上記の平均絶対偏差は、以下方程式（９）で示されてもよく、ここに平均絶対偏差を安定性ＭＡＤと呼ぶ。

ここで、μはすべての力ｘ［ｉ］の平均である。方程式（９）は生徒運動データの安定性ＭＡＤを計算するためのものであり、以下、生徒安定性をＭＡＤ_userと呼ぶ。方程式（９）はコーチ運動データの安定性を計算することに用いられてもよい。これは、方程式（９）における正の整数ＮをＭに置き換えればよく、以下、これをコーチ安定性ＭＡＤ_refと呼ぶ。次に、生徒安定性ＭＡＤ_userとコーチ安定性ＭＡＤ_refにより運動スコアを計算することができ、また両者が類似するほど、計算された運動スコアが高くなる。いくつかの実施例において、生徒安定性ＭＡＤ_userとコーチ安定性ＭＡＤ_refの間の安定性比例ｒを方程式（１０）にしたがって計算することができる。

次に、方程式（１１）から（１３）を用い、ロジット関数（logit function）に基づいて安定性比に対してシフト、スケーリング及び反転を行うことにより、安定性スコアに換算する。

ここで、Ｓ_stability（ｒ）は安定性スコアを示す。
Ｓ_stability（ｒ）は実数であり、ｒ＝１である場合、つまり生徒安定性ＭＡＤ_userとコーチ安定性ＭＡＤ_refとが同じである場合、この実数が指摘できるスコアを示す。
ｒ_boundは実数であり、安定性比ｒの臨界値を定義し、ｒ_bound＝５とされる場合、生徒安定性がコーチ安定性の５倍となると（ｒ＝１／５）満点１００が得られ、生徒安定性がコーチ安定性の５分１となると（ｒ＝５）零点となる。
ｑは実数であり、方程式（１２）の変化趨勢を制御するためのものであり、試験によって得られる。
いくつかの実施例において、上記のロジット関数は、テーブルを検索することで実装され得る。

運動状況の多様性に応じて、採点の条件が厳しすぎると、静的と見なされる多くの動きが動的アクションとして分類され、誤判断も多くなる。このような問題を解決するため、この実施例では二重閾値法を使用し、静的運動を真の静的及びファジー静的に細分する。
具体的には、まず静的しきい値の上限ｔ_hと実際の静的しきい値ｔという２つのしきい値をここで定義する。ただし静的しきい値の上限ｔ_hは実際の静的しきい値ｔよりも大きくなり、これによってこれらの２つのしきい値が第１の範囲［０，ｔ］と第２の範囲（ｔ，ｔ_h）を決定する。
次に、コーチの運動データを複数の区画に分割し、各区画に対応するコーチの安定性ＭＡＤ_refを計算し、方程式（１４）によってこれらのコーチ安定性ＭＡＤ_refの第１の範囲［０，ｔ］における第１の回数と第２の範囲（ｔ，ｔ_h）における第２の回数を統計し、第１の回数を第１の回数と第２の回数の総和で割って安定重みｗを計算する。

ここで、ｃｏｕｎｔ_underは第１の回数であり、ｃｏｕｎｔ_fuzzyは第２の回数である。最後に、方程式（１５）を用いて安定性スコアＳ_stability（ｒ）と安定重みｗにより運動スコアを計算する。

ここで、Ｓｃｏｒｅは運動スコアである。Ｓ₁は実数であり、試験によって設定されてもよく、例えば９０である。

［第２の運動タイプ］
この運動タイプは、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算する。まず生徒セグメントとコーチ区画の間の力誤差を計算し、この力誤差がＳ関数（sigmoid function）によってシフトとスケーリングを行うことができる。具体的には、Ｓ関数は方程式（１６）の通りである。

ここで、ｍ、ｑはパラメーターである。いくつかの実施例において、Ｓ関数は、テーブルを検索することで実装され得る。コーチ区画において各サンプリングポイントの力は、方程式（１７）で示されてよい。

ここで、数式（１）はＬ２ノルムを示し、Ｍはコーチ区画の長さである。

次に、方程式（１８）を用いてコーチ運動データの動的係数を計算する。

ここで、ｗは区画のサイズを示し、ｓｔｄ（ｍａｇ_c，ｉ，ｗ）は力ｍａｇ_c［］が第ｉのサンプリングポイント〜第ｉ＋ｗのサンプリングポイントにおける標準差であり、ｍｅａｎ（ｍａｇ_c，ｉ，ｗ）は力ｍａｇ_c［］が第ｉのサンプリングポイント〜第ｉ＋ｗのサンプリングポイントにおける平均値である。次に、方程式（１９）を用いてＳ関数によって転換される。

ここで、Ｐはコレクションを示し、生徒セグメントとコーチ区画の間のペアとなるサンプリングポイントを含む。このコレクションはＯＢＥ−ＤＴＷアルゴリズムによるものであり、例えば図２におけるサンプリングポイント２３１はサンプリングポイント２３２とペアとなり、（ｉ_c，ｉ_s）はコレクションＰにおけるペアとされる各ペアを示す。ｍ_m、ｑ_mは実数であり、力差異の許容度を制御するためのものであり、試験によって任意に設けられてもよい。Ｄ_mは差し引かれるスコアを示し、即ち上記の力誤差を示す。動的係数ｍａｇ_upper［ｉ_c］はコーチ運動データにより適切に力誤差Ｄ_mを調整する。コーチ運動データの力の標準差が大きい場合、この動きが模倣されにくいことを示すので、差し引かれるスコアＤ_mが少ない。別の見方をすると、力誤差Ｄ_mが生徒セグメントの各サンプリングポイントでのＬ２ノルムである数式（２）とコーチ区画の対応するサンプリングポイントでのＬ２ノルムの間の差異により計算される。

また、角度差異は、方程式（２０）に従って計算される。

ここで、ｍ_a、ｑ_aは実数であり、角度差異の許容度を制御するためのものであり、試験によって任意に設けられてもよい。Ｄ_aは差し引かれるスコアを示し、即ち上記の方向誤差を示す。別の見方をすると、方向誤差Ｄ_aは、生徒セグメントの各サンプリングポイントＦ_s［ｉ_s］とコーチ区画の対応するサンプリングポイントＦ_c［ｉ_c］の間のコサイン類似度により計算される。言い換えると、力誤差Ｄ_mは生徒の動きの力が正しいかどうかを判断するためのものであり、方向誤差Ｄ_aは生徒の動きの方向が正しいかどうかを判断するためのものである。生徒がコーチに従って動く場合、力と方向の差異がそれほど大きくないため、この時に差し引かれるスコアは少ない。しかしながら、生徒とコーチとの動きの差異が非常に大きい場合に、方向又は力の類似度が大きい場合がある。この場合には高得点を付与すべきではなく、これはこれでまた２つの重みを設けて力誤差Ｄ_mと方向誤差Ｄ_aを混合する必要がある。

具体的には、この実施例においてまた力重みｗ_mと方向重みｗ_aを設ける場合がある。このとき、力誤差と方向誤差のうちの大きな一方が誤差臨界値（生徒とコーチの動きの差異が大きいことを示す）より大きい場合、対応する力重み又は方向重みを増加させ、またもう一方の重みが減少する。このように、方向又は力の類似度が大きい場合でも高得点が付与されることはない。いくつかの実施例において、上記の重みを増加させるステップはＳ関数により調整され、方程式（２１）によって計算される。

また、力重みｗ_mと方向重みｗ_aの総和は１であり、力重みｗ_mと方向重みｗ_aが仮想コードにより決定される。
Ｉｆ Ｄ_a＞Ｄ_m：
ｗ_a：＝ＤＡＭ_q,m（ｗ_a，Ｄ_a）
ｗ_m：＝１−ｗ_a
ｅｌｓｅ
ｗ_m：＝ＤＡＭ_q,m（ｗ_m，Ｄ_m）
ｗ_a：＝１−ｗ_m

ここで、ｑは実数であり、重みが増加する幅を決めるためのものである。ｍは実数であり、Ｓ関数のＸ軸におけるシフトを決めるためのものであり、つまり上記の臨界値を示す。実数ｑ、ｍは試験によって任意に設けられてよい。言い換えると、方向誤差Ｄ_aが大きい場合、方向誤差Ｄ_aはＳ関数に入力され、方向誤差Ｄ_aが臨界値より大きい場合、急速に上昇し、残りの状態では変化の幅がかなり低い。

最後に、方程式（２２）を用いて力誤差、方向誤差、力重みと方向重みにより運動スコアを計算する。

図２に戻ると、コーチ区画２１１について運動スコアを計算した後、次のコーチ区画２１２の運動スコアを計算することができる。特にコーチ区画２１２とコーチ区画２１１とは部分的に重なる。例えばコーチ区画２１１を右へある距離だけ移動させてコーチ区画２１２を得てから、コーチ区画２１２の運動スコアを計算する。移動距離が小さすぎると、多くの不要な計算を増加させ且つ動き分析の解像度を向上させることができず、移動距離が大きすぎると、多くの計算量を低下させ且つ動き分析の解像度も低下させる。いくつかの実施例において、上記の移動距離は０．１５秒である。

図３は、実施例によるエクササイズコース採点方法を示すフロー図である。図３を参照する。ステップ３０１において、コースビデオを再生して、コースビデオに対応するコーチ運動データを取得し、コーチ運動データからコーチ区画を取得する。ステップ３０２において、慣性測定ユニットにより生徒運動データを取得し、生徒運動データから生徒区画を取得し、生徒区画の長さがコーチ区画の長さより大きい。ステップ３０３において、生徒区画におけるコーチ区画と最も類似している生徒セグメントを捜す。ステップ３０４において、運動タイプを判断する。第１の運動タイプである場合、ステップ３０５において、生徒セグメントとコーチ区画の安定性により運動スコアを計算するが、第２の運動タイプである場合、ステップ３０６において、控除メカニズムで生徒セグメントとコーチ区画の間の差異により運動スコアを計算する。別の実施例において、ステップ３０４は、第１の運動タイプの重みと第２の運動タイプの重みを計算することによって置き換えることができる。ステップ３０５とステップ３０６はいずれも実行され、後のステップ３０５、３０６で計算された運動スコアは第１の運動タイプの重みと第２の運動タイプの重みに従って合計される。以上のように、第１の運動タイプの重みと第２の運動タイプの重みは、運動アイテム（例えばボクシングエアロビクス、ラテンダンス、断続的な強度のエクササイズ、ヨガ等）に基づいてテーブルを検索することで決められ、或いはコーチ区画２１１（又は生徒区画２２１）の長さに基づいて決められる。しかしながら、図３において各ステップについてはすでに詳しく説明したので、ここに説明しない。注意すべきなのは、図３において各ステップは複数のプログラムコード又は回路として実装されてもよく、本発明はこれに限定されない。また、図３の方法は、以上の実施例と共に使用してもよく、単独で使用してもよい。言い換えると、図３の各ステップの間に他のステップを追加してもよい。別の観点からは、本発明もプログラムを提供し、このプログラムが任意のプログラム言語及び／又はプラットフォームで作成されてもよい。このプログラムが計算モジュール１４１又はスマート装置１３０にロードされ実行される場合、上記の方法を完成することができる。

いくつかの実施例において、上記のＬ２ノルムは、Ｌ１ノルム、最大ノルム、ヒストグラム距離（histogram distance）又は他の適切な距離計算方式で置き換えてよい。
いくつかの実施例において、上記のＯＢＥ−ＤＴＷは、他のタイプのＤＴＷで置き換えても、又は最長共通サブシーケンス（longest common subsequence；ＬＣＳ）等の類似性アルゴリズムで置き換えてもよい。

本発明を実施形態で上記の通り開示したが、これは本発明を限定するためのものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、各種の変更や修正を加えることができる。従って、本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

１００：エクササイズコース採点システム
１１０：ウェアラブル装置
１１２：生徒
１２０：ディスプレイ
１２１：スコア
１３０：スマート装置
１３１：プロセッサ
１３２：メモリ
１３３：ワイヤレス通信モジュール
１４０：クラウドデータベース
１４１：計算モジュール
１５１〜１５６：ステップ
２１０：コーチ運動データ
２２０：生徒運動データ
２１１、２１２：コーチ区画
２２１：生徒区画
２３０：生徒セグメント
２３１、２３２：サンプリングポイント
３０１〜３０６：ステップ

Claims (10)

1. 慣性測定ユニットを含むウェアラブル装置を有するエクササイズコース採点システムに適用されるエクササイズコース採点方法であって、
   コースビデオを再生して、前記コースビデオに対応するコーチ運動データを取得し、前記コーチ運動データからコーチ区画を取得するステップと、
   前記慣性測定ユニットにより生徒運動データを取得し、前記生徒運動データから生徒区画を取得し、前記生徒区画の長さが前記コーチ区画の長さより大きくなるステップと、
   前記生徒区画における前記コーチ区画と最も類似している生徒セグメントを捜すステップと、
   第１の運動タイプに対して、前記生徒セグメントと前記コーチ区画の安定性により運動スコアを計算するステップと、
   第２の運動タイプに対して、控除メカニズムで前記生徒セグメントと前記コーチ区画の間の差異により前記運動スコアを計算するステップと、
   を備えるエクササイズコース採点方法。
2. 前記生徒区画の開始点が前記コーチ区画の開始点の前にあり、
   前記生徒区画の終了点が前記コーチ区画の終了点の後にあり、
   前記生徒区画における前記コーチ区画と最も類似している前記生徒セグメントを捜すステップは、
   前記生徒区画と前記コーチ区画に対してオープンビギンエンドダイナミックタイムワーピングアルゴリズムを実行して前記生徒セグメントを取得するステップを含む請求項１に記載のエクササイズコース採点方法。
3. 前記生徒セグメントの安定性により前記運動スコアを計算するステップは、
   前記生徒セグメントの複数のサンプリングポイントでの力の平均絶対誤差を計算して生徒安定性とするステップと、
   前記コーチ区画の複数のサンプリングポイントでの力の平均絶対誤差を計算してコーチ安定性とするステップと、
   前記生徒安定性と前記コーチ安定性との安定性比を計算するステップと、
   を備える請求項１に記載のエクササイズコース採点方法。
4. 前記生徒セグメントの安定性により前記運動スコアを計算するステップは、
   ロジット関数に基づいて前記安定性比を安定性スコアに転換するステップと、
   前記コーチ運動データにおける各区画に対応する前記コーチ安定性を計算し、且つ各前記区画の前記コーチ安定性の第１の範囲における第１の回数と第２の範囲における第２の回数を統計処理するステップと、
   前記第１の回数を前記第１の回数と前記第２の回数の総和で割って安定重みを計算するステップと、
   前記安定性スコアと前記安定重みにより前記運動スコアを計算するステップと、
   を更に備える請求項３に記載のエクササイズコース採点方法。
5. 前記安定性スコアと前記安定重みにより前記運動スコアを計算するステップは、方程式（１）に従って計算され、
   

   

   Ｓｃｏｒｅは前記運動スコアであり、Ｓ_stabilityは前記安定性スコアであり、ｗは前記安定重みであり、Ｓ₁は実数である請求項４に記載のエクササイズコース採点方法。
6. 前記控除メカニズムで前記生徒セグメントと前記コーチ区画の間の差異により前記運動スコアを計算するステップは、
   前記生徒セグメントと前記コーチ区画の間の力誤差と方向誤差を計算するステップと、
   力重みと方向重みを計算し、且つ前記力誤差と前記方向誤差のうちの値の大きな方が誤差臨界値より大きい場合、対応する前記力重み又は前記方向重みを増加させるステップと、
   前記力誤差、前記方向誤差、前記力重みと前記方向重みにより前記運動スコアを計算するステップと、
   を備える請求項１に記載のエクササイズコース採点方法。
7. 前記力誤差は、ペアとなるサンプリングポイントでの前記生徒セグメントのＬ２ノルムと対応するサンプリングポイントでの前記コーチ区画のＬ２ノルムの間の差異により計算され、
   前記方向誤差は、前記ペアとなるサンプリングポイントの前記生徒セグメントと前記対応するサンプリングポイントでの前記コーチ区画の間のコサイン類似度により計算される請求項６に記載のエクササイズコース採点方法。
8. 前記力誤差、前記方向誤差、前記力重みと前記方向重みにより前記運動スコアを計算するステップは、方程式（２）に従って計算することであり、
   

   

   Ｓｃｏｒｅは前記運動スコアであり、Ｄ_aは前記方向誤差であり、ｗ_aは前記方向重みであり、Ｄ_mは前記力誤差であり、ｗ_mは前記力重みである請求項７に記載のエクササイズコース採点方法。
9. 生徒運動データを取得するための慣性測定ユニットを含むウェアラブル装置と、
   ディスプレイによりコースビデオを再生して、前記コースビデオに対応するコーチ運動データを取得することに用いられるスマート装置と、を備えるエクササイズコース採点システムであって、
   前記スマート装置は、以下の複数のステップを実行し又は前記生徒運動データと前記コーチ運動データを計算モジュールに伝送して前記ステップを実行するためのものであり、
   前記複数のステップは、
   前記生徒運動データから生徒区画を取得し、且つ前記コーチ運動データからコーチ区画を取得し、前記生徒区画の長さが前記コーチ区画の長さより大きくなるステップと、
   前記生徒区画における前記コーチ区画と最も類似している生徒セグメントを捜すステップと、
   第１の運動タイプに対して、前記生徒セグメントと前記コーチ区画の安定性により運動スコアを計算するステップと、
   第２の運動タイプに対して、控除メカニズムで前記生徒セグメントと前記コーチ区画の間の差異により前記運動スコアを計算することと、を含むエクササイズコース採点システム。
10. 計算モジュール又はスマート装置によって実行されて以下の複数のステップを完成するプログラムであって、
    前記複数のステップは、
    コースビデオを再生して、前記コースビデオに対応するコーチ運動データを取得し、前記コーチ運動データからコーチ区画を取得するステップと、
    慣性測定ユニットにより生徒運動データを取得し、前記生徒運動データから生徒区画を取得し、前記生徒区画の長さが前記コーチ区画の長さより大きくなるステップと、
    前記生徒区画における前記コーチ区画と最も類似している生徒セグメントを捜すステップと、
    第１の運動タイプに対して、前記生徒セグメントと前記コーチ区画の安定性により運動スコアを計算するステップと、
    第２の運動タイプに対して、控除メカニズムで前記生徒セグメントと前記コーチ区画の間の差異により前記運動スコアを計算するステップと、を含むプログラム。

Images