JP2020092944A - ユーザー動作の評価システム及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザー動作の評価を安定的に行うことを可能にする、ユーザー動作の評価システム及びコンピュータプログラムを提供する。【解決手段】本発明によれば、ユーザー動作の評価システムであって、撮影部と、計測部と、特定部と、評価部を備え、前記撮影部は、前記ユーザーが評価対象動作を実行している間の前記ユーザーの動きを撮影して撮影データを取得し、前記計測部は、前記撮影データから前記ユーザーの動きを計測して計測データを取得し、前記特定部は、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定し、前記評価部は、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する、システムが提供される。【選択図】図１

Description

本発明は、ユーザー動作の評価システム及びコンピュータプログラムに関する。

特許文献１には、運動動作を行っているユーザーの画像を取得し、その画像に基づいて人間動作スクリーニングスコアを生成し、そのスコアに基づいてパーソナル化エクササイズプログラムを生成する方法が開示されている。

特開２０１６−７３７８９号公報

しかし、ユーザーの動作は撮影中に変化するので、単純にユーザー画像を取得し、取得した画像に基づいてユーザーの動作の評価を行うと安定した結果が得られない場合がある。

本発明はこのような事情に鑑みてなされたものであり、ユーザー動作の評価を安定的に行うことを可能にする、ユーザー動作の評価システム及びコンピュータプログラムを提供するものである。

本発明によれば、ユーザー動作の評価システムであって、撮影部と、計測部と、特定部と、評価部を備え、前記撮影部は、前記ユーザーが評価対象動作を実行している間の前記ユーザーの動きを撮影して撮影データを取得し、前記計測部は、前記撮影データから前記ユーザーの動きを計測して計測データを取得し、前記特定部は、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定し、前記評価部は、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する、システムが提供される。

本発明では、評価対象区間の計測データに基づいてユーザー動作の評価を行うので、評価を安定的に行うことができる。

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記記載のシステムであって、前記評価対象動作は所定ポーズ状態での静止動作である、システムである。
好ましくは、前記記載のシステムであって、前記計測データは、Ｍフレームで構成され、前記評価値は、前記Ｍフレーム中の、任意のフレームを始点とする連続するＬフレームでの前記ユーザーの動き示す統計値であり、前記特定部は、前記始点となるフレームが異なるＰ通りのＬフレームについて評価値を算出し、前記特定条件は、前記Ｐ通りの評価値を前記ユーザーの動きが小さい順に並べたときの順位がＱ位以内であることであり、Ｑ＜Ｐであり、前記特定部は、Ｑ通りのＬフレームのうちの１つを前記評価対象区間とする、システムである。
好ましくは、前記記載のシステムであって、Ｑ≦Ｐ／５である、システムである。
好ましくは、前記記載のシステムであって、Ｑ＝１である、システムである。
好ましくは、前記記載のシステムであって、前記評価項目は、前記評価対象動作を実行する際の代償動作に関連した項目であり、前記評価部は、前記代償動作の大きさに基づいて前記評価を実行する、システムである。
好ましくは、前記記載のシステムであって、前記評価部は、項目別評価部と、部位別評価部を備え、前記項目別評価部は、前記評価対象動作に関連付けられた複数の評価項目について評価を実行し、前記複数の評価項目のそれぞれは、前記ユーザーの１又は複数の身体部位に関連付けられ、前記部位別評価部は、複数の前記評価項目のそれぞれについての前記評価の結果と前記関連付けに基づいて、前記ユーザーの複数の身体部位のそれぞれについて部位別評価を行う、システムである。
好ましくは、前記記載のシステムであって、提案部をさらに備え、前記提案部は、前記評価に基づいて運動プログラムの提案を行う、システムである。
好ましくは、前記記載のシステムであって、前記運動プログラムは、前記複数の身体部位のうち前記部位別評価の結果が所定基準以下である身体部位に関するものである、システムである。
好ましくは、前記記載のシステムであって、前記運動プログラムは、前記複数の身体部位のうち前記部位別評価の結果が最も悪い身体部位に関するものである、システムである。
好ましくは、前記記載のシステムであって、描画部をさらに備え、前記描画部は、前記評価の結果を前記ユーザーの身体部位と関連付けて図示する、システムである。

本発明の別の観点によれば、コンピュータに、撮影ステップと、計測ステップと、特定ステップと、評価ステップを備えるユーザー動作の評価方法を実行させるコンピュータプログラムであって、前記撮影ステップでは、前記ユーザーが評価対象動作を実行している間の前記ユーザーの動きを撮影して撮影データを取得し、前記計測ステップでは、前記撮影データから前記ユーザーの動きを計測して計測データを取得し、前記特定ステップでは、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定し、前記評価ステップでは、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する、コンピュータプログラムが提供される。。

本発明の第１実施形態の評価システム１の構成図であり、評価システム１を構成する親装置２及び子装置３をユーザー４の周囲に配置した状態を示す平面図である。 携帯情報端末１０のハードウェア構成図である。 携帯情報端末１０の電気的構成を示す機能ブロック図である。 評価システム１の評価機能に関する機能ブロック図である。 本発明の第１実施形態の評価方法の処理の流れを示すフローチャートである。 二次元姿勢推定で推定可能な特徴点の位置を示す説明図である。 図７Ａは、計測データのうちの評価対象区間を特定するステップＳ１３の説明図であり、図７Ｂは、特徴点の動き量の算出方法の説明図である。 評価結果をユーザー４の身体部位と関連付けて図示した例である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。

１．第１実施形態
１−１．評価システム１の全体構成
図１に示すように、本発明の第１実施形態の評価システム１は、親装置２と、１又は複数の子装置３を備える。親装置２が子装置３を制御することによって評価システム１による評価方法が実行される。親装置２と子装置３は、どちらも、複数のアプリケーションプログラムをインストール可能な、スマートフォンやタブレットなどの携帯情報端末１０によって構成される。親装置２と子装置３を構成する携帯情報端末１０は、サイズや性能などの仕様が同一であっても互いに異なっていてもよい。

本実施形態では、親装置２及び子装置３は、それぞれカメラ２０を備える。親装置２は、ユーザー４を前側から撮影するように配置されている。３台の子装置３は、それぞれ、ユーザー４を右側、後側、左側から撮影するように配置されている。なお、図１に示す構成は例示であって、親装置２及び子装置３の配置や、子装置３の数は、評価対象動作に応じて適宜変更可能である。例えば、前側と後側からの画像のみが必要である場合には、親装置２を前側又は後側に配置し、子装置３を後側又は前側に配置することができる。子装置３は不要な場合はなくてもよい。また、評価対象動作に応じて、親装置２及び子装置３のうち、オンとオフ（有効と無効）とを切り替えるように制御してもよい。

１−２．携帯情報端末１０の構成
図２に示すように、携帯情報端末１０の筐体１２には、その正面１２Ａに、画面に画像を表示する画像表示手段であるタッチパネルディスプレイ１４が備えられる。タッチパネルディスプレイ１４は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びタッチセンサを備える。ＬＣＤは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。

また、携帯情報端末１０の正面１２Ａには、音が入力されるマイクロフォン１６、音を出力するスピーカ１８、及び被写体を撮像するカメラ２０が備えられる。カメラ２０は、筐体１２の正面１２Ａだけでなく筐体１２の背面にも備えられる。さらに、筐体１２の側面１２Ｂには、携帯情報端末１０を起動又は停止させるための電源ボタンやスピーカ１８が出力する音のボリューム調整ボタン等の操作ボタン２２が備えられる。

また、携帯情報端末１０の筐体１２には、メモリカードが挿入されるスロットやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等が備えられる。

図３は、携帯情報端末１０の電気的構成を示す機能ブロック図である。

携帯情報端末１０は、上記構成に加え、主制御部２４、主記憶部２６、補助記憶部２８、通信部３０を備える。

主制御部２４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、携帯情報端末１０の全体の動作を制御する。

主記憶部２６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、主制御部２４による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。

補助記憶部２８は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部２４の処理に利用されるプログラム等を保存する。補助記憶部２８に記憶されるプログラムは、例えば、携帯情報端末１０の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのアプリケーションプログラム等である。また、補助記憶部２８には、詳細を後述する本実施形態に係る評価方法を実行するためのプログラムが予め記憶されている。

通信部３０は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、携帯電話網等の通信網に接続する機能を有する。なお、通信部３０は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。

これら主制御部２４、主記憶部２６、補助記憶部２８、通信部３０、タッチパネルディスプレイ１４、マイクロフォン１６、スピーカ１８、カメラ２０、及び操作ボタン２２は、システムバス３３を介して相互に電気的に接続されている。従って、主制御部２４は、主記憶部２６及び補助記憶部２８へのアクセス、タッチパネルディスプレイ１４に対する画像の表示、ユーザーによるタッチパネルディスプレイ１４や操作ボタン２２に対する操作状態の把握、マイクロフォン１６への音の入力、スピーカ１８からの音の出力、カメラ２０に対する制御、及び通信部３０を介した各種通信網や他の情報処理装置へのアクセス等を行える。親装置２と子装置３は、それぞれの通信部３０を通じて互いに通信可能に構成されている。

１−３．本実施形態に係る評価機能に関する機能ブロック図
図４は、本実施形態に係る評価機能に関する機能ブロック図である。

親装置２の主制御部２４は、データ取得部２ａと、評価部２ｅと、提案部２ｆと、描画部２ｇを備える。データ取得部２ａは、撮影部２ａ１と、計測部２ａ２と、特定部２ａ３を備える。評価部２ｅは、項目別評価部２ｅ１と、部位別評価部２ｅ２を備える。子装置３の主制御部２４は、撮影部３ａを備える。

データ取得部２ａは、ユーザー４が評価対象動作を実行している間のユーザー４の動きについてのデータを取得する。撮影部２ａ１，３ａは、ユーザー４が評価対象動作を実行している間のユーザー４の動きを撮影して撮影データを取得する。計測部２ａ２は、前記撮影データからユーザー４の動きを計測して計測データを取得する。特定部２ａ３は、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定する。評価部２ｅは、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する。提案部２ｆは、前記評価に基づいて運動プログラムの提案を行う。描画部２ｇは、評価の結果や運動プログラムの提案をユーザー４の身体部位と関連付けて図示する。

項目別評価部２ｅ１は、ユーザー４の評価対象動作に関連付けられた複数の評価項目について評価を実行する。複数の評価項目のそれぞれは、ユーザー４の１又は複数の身体部位に関連付けられる。部位別評価部２ｅ２は、複数の前記評価項目のそれぞれについての前記評価の結果と前記関連付けに基づいて、ユーザー４の複数の身体部位のそれぞれについて部位別評価を行う。

本実施形態では、子装置３が撮影した撮影データが親装置２に送られ、評価のための各種処理は、親装置２で行われることが想定されているので、子装置３の主制御部２４は、撮影部３ａのみを備えるように構成しているが、親装置２の主制御部２４で行っている機能の少なくとも１つを子装置３の主制御部２４で実行してもよい。

例えば、子装置３が、自身が撮影した撮影データについて、計測データの取得及び評価対象区間の特定を行った上で、そのデータを親装置２に送信するようにしてもよい。また、子装置３が、自身が撮影した撮影データについて、計測データの取得及び評価対象区間の特定を行い、それに基づいて複数の評価項目について評価を実行し、その結果を親装置２に送信してもよい。このように、評価に必要な機能の一部を子装置３で実行することによって、親装置２での処理負担を軽減するとともに通信量を削減することが可能になる。

また、データ取得部２ａと、評価部２ｅと、提案部２ｆと、描画部２ｇ等は、評価システム１を構成する何れの装置に配置されていてもよい。例えば、親装置２及び子装置３とは別の装置（サーバー等）を設け、その装置において、評価に必要な各種処理を行ってもよい。この場合、親装置２では負荷の高い処理を行う必要がないので、スペックの低い機器を親装置２として用いることが可能になる。

親装置２及び子装置３の主制御部２４が備える各機能ブロックは、補助記憶部２８に記憶されているコンピュータプログラムによって実現される。コンピュータプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよく、このコンピュータプログラムを主記憶部２６に読み出して実行してもよく、補助記憶部２８にインストールした後に補助記憶部２８から主記憶部２６に読み出して実行してもよい。

１−４．評価方法の詳細
図５を用いて、本実施形態の評価システム１を用いたユーザー動作の評価方法について詳細に説明する。

＜事前準備＞
評価を開始する前に、評価システム１の親装置２及び子装置３を図１に示すように配置し、ユーザー４に対して、評価対象動作についての説明を行う。評価対象動作は、ユーザー４の運動能力や身体状態の評価に用いることができる任意の動作であり、所定ポーズ状態での静止動作であってもよく、動きのある動作であってもよい。静止動作の方がユーザー４の状態の評価の精度を高めやすいので、評価対象動作は静止動作が好ましい。評価対象動作は、１つであっても複数であってもよい。評価対象動作が複数である場合、それぞれの評価対象動作について撮影が行われる。

＜ステップＳ１＞
まず、親装置２において評価対象動作の選択が行われる。一例では、評価システム用のアプリケーションを立ち上げると、タッチパネルディスプレイ１４において、評価対象動作の候補が表示され、その候補のうちの１つを選択することによって、ステップＳ１が実行される。

その後、評価システム１又はオペレーターが、ユーザー４に対して評価対象動作を行うように指示する。ユーザー４は、この指示に従って、評価対象動作を行う。

＜ステップＳ２〜Ｓ１０＞
次に、親装置２が撮影開始の入力を受け付ける（ステップＳ２）と、親装置２が子装置３に対して撮影開始の指示を行う（ステップＳ３）。子装置３が撮影開始の指示を受信すると（ステップＳ４）、子装置３の撮影部３ａは直ちに又は所定のタイミングで撮影を開始する（ステップＳ５）。また、親装置２の撮影部２ａ１も所定のタイミングで撮影を開始する（ステップＳ６）。親装置２と子装置３は、撮影開始のタイミングを一致させて同期撮影させることが好ましい。これによって、ある特定時点でのユーザー４の動作を複数の方向から撮影することが可能になる。

次に、所定のタイミングで親装置２及び子装置３の撮影を終了する（ステップＳ７〜Ｓ８）。撮影開始から所定時間（例えば３０秒）経過後に撮影が終了されるようにしてもよく、親装置２に対して撮影終了の旨の指示を行い、その入力に基づいて親装置２及び子装置３の撮影を終了させるようにしてもよい。

次に、子装置３は、子装置３で撮影した撮影データを親装置２に送信し（ステップＳ９）、親装置２は、これを受信する（ステップＳ１０）。

撮影がＮフレーム／秒でＴ秒間行われた場合、撮影データに含まれるフレーム数Ｍは、Ｎ×Ｔで算出される。Ｎ，Ｔは、正の実数であり、Ｍは自然数である。各フレームには静止画像が含まれる。Ｎは例えば３０であり、Ｔは例えば１０である。この場合、撮影データには、３００枚の静止画像が含まれることとなる。

＜ステップＳ１１＞
次に、親装置２は、全ての評価対象動作について、撮影が完了したかどうかを確認し（ステップＳ１１）、完了した場合には、次のステップに進み、完了していない場合にはステップＳ１に戻る。

ステップＳ１に戻った後は、次の評価対象動作を選択し（ステップＳ１）、ステップＳ２〜ステップＳ１１を実行する。例えば、評価対象動作を評価対象動作Ｘから評価対象動作Ｙに変更する。ユーザー４に対しても、変更後の評価対象動作を行うように指示し、その後、撮影が行われる。

以上のステップによって、全ての評価対象動作について撮影データが得られる。

＜ステップＳ１２＞
次に、親装置２の計測部２ａ２は、各撮影データからユーザー４の動きを計測して計測データを取得する（ステップＳ１２）。取得した計測データは、主記憶部２６、補助記憶部２８等の記憶部に適宜記憶される。

この計測は、撮影データを構成する各静止画像に対する二次元姿勢推定によって行うことができる。二次元姿勢推定では、例えば深層学習を用いたアルゴリズムによって、静止画像中のユーザー４の複数の特徴点の座標を推定することによって、ユーザー４の姿勢を二次元的に推定することができる。

複数の特徴点の配置の例は、図６に示す通りである。特徴点０〜１３は、それぞれ、頭、首、左肩、左肘、左手、右肩、右肘、右手、左股関節、左膝、左足、右股関節、右膝、右足に対応する。従って、二次元姿勢推定によって各静止画像において評価対象動作を行っているユーザー４の特徴点０〜１３の座標を取得すると、これらの座標に基づいて、ユーザーの姿勢を推定することができる。従って、複数の静止画像に対して二次元姿勢推定を行うことによってユーザー４の動き（より詳しくは骨格の動き）を計測することができる。なお、特徴点の数や配置は、本実施形態のものに限定されず、適宜変更可能である。

計測データは、各撮影データと対応付けられて取得される。例えば、所定の評価対象動作に対し前後左右から撮影した場合、各評価対象動作について４つの撮影データがあるので、合計８つの撮影データがあり、各撮影データについて、計測データが取得される。

また、計測データは、例えば、各撮影データを構成する各静止画像について二次元姿勢推定で得られた複数の特徴点の座標で構成される。従って、撮影データがＭフレームで構成される場合、その撮影データに対応する計測データもＭフレームで構成される。なお、全ての特徴点について計測を行う必要はなく、各評価対象動作に関連付けられた評価項目の評価に必要な特徴点についてのみ計測を行ってもよい。評価項目については後述する。

＜ステップＳ１３＞
次に、親装置２の特定部２ａ３は、ステップＳ１２で取得した計測データのうち、評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定する（ステップＳ１３）。

特定条件とは、ユーザー４の動作の状態が評価対象動作の評価に適した状態となる条件であり、例えば、評価対象動作が静止動作である場合、特定条件は、ユーザー４の動きを示す評価値が所定基準以下（例：最小）となることである。また例えば、特定条件は、ユーザー４の所定動作の動作量が、所定量以上となったことであってもよい。

ユーザー４の動きを示す評価値は、例えば、計測データを構成するＭフレーム中の、任意のフレームを始点とする連続するＬフレームでのユーザー４の動きを示す統計値である。Ｍ及びＬは自然数であり、Ｌ＜Ｍであり、Ｌ＜０．８Ｍが好ましく、Ｌ＜０．６Ｍが好ましい。ＬがＭの値に近すぎると、評価に適した区間の特定の困難な場合があるからである。

例えば、図７Ａに示すように、Ｍ＝３００で、Ｌ＝１５０とし、始点となるフレームをＦ６１とすると、評価値は、フレームＦ６１〜Ｆ２１０の間でのユーザー４の動きを示す統計値となり、始点となるフレームをＦ６２とすると、評価値は、フレームＦ６２〜Ｆ２１１の間でのユーザー４の動きを示す統計値となる。統計値は、例えば、フレームごとのユーザー４の動き量の単純和又はこれに基づく値（例：単純平均）によって算出可能である。

始点を変えると評価値の値が変わる。そこで、親装置２の特定部２ａ３は、始点となるフレームが異なるＰ通りのＬフレームについて評価値を算出する。Ｐは自然数である。例えば始点をフレームをＦ６１からＦ１５１まで移動させると、９０通りの１５０フレームについて評価値が算出される。この場合、特定条件は、例えば、Ｐ通りの評価値を前記ユーザーの動きが小さい順に並べたときの順位がＱ位以内であることである。Ｑは自然数である。Ｑ＜Ｐであり、Ｑ≦Ｐ／５が好ましく、Ｑ≦Ｐ／１０がさらに好ましく、Ｑ＝１がさらに好ましい。そして、特定部２ａ３は、Ｑ通りのＬフレームのうちの１つを評価対象区間とする。例えば、Ｐ＝９０で、Ｑ＝１０であれば、９０通りの評価値の中から値が小さい１０個の評価値を抜き出し、この１０個の評価値の何れかに対応する１５０フレームが評価対象区間となる。また、Ｐ＝９０で、Ｑ＝１であり、フレームＦ１２１から始まる１５０フレーム（つまり、フレームＦ１２１〜Ｆ２７０）の評価値が最小であれば、フレームＦ１２１〜Ｆ２７０が評価対象区間となる。なお、フレームＦ０〜Ｆ６０を始点とするＬフレームについて評価値を算出してもよいが、撮像開始直後のデータは信頼性が低いので、本実施形態では、フレームＦ０〜Ｆ６０を始点とするＬフレームについては評価値を算出していない。つまり、計測データのうち最初の複数のフレームを除外して評価対象区間を特定することによって評価の信頼性を高めている。

フレームごとのユーザー４の動き量は、計測データ中の特徴点の動き量に基づいて算出可能である。一例では、図７Ｂに示すように、あるフレーム（フレームＦ１２１）についての特徴点の動き量は、直前１５フレーム（フレームＦ１０６〜Ｆ１２０）の特徴点の平均位置と、フレームF１２１を含む直後１５フレーム（フレームＦ１２１〜Ｆ１３５）の特徴点の平均位置の差に基づいて算出できる。なお、動き量は、別の方法で算出してもよく、例えば、直前３０フレームの前半１５フレームと後半１５フレームのそれぞれの特徴点の平均位置に基づいて算出してもよい。また、１５フレームの平均位置を用いる代わりに、別のフレーム数の平均位置を用いてもよい。

特徴点の動き量は、１又は複数の特徴点を用いて算出可能である。複数の特徴点を用いて特徴点の動き量を算出する場合、例えば、各特徴点の動き量を統計処理することによって特徴点の動き量を算出可能である。ここでの統計処理とは、例えば、単純和、加重和、又はこれに基づく値（単純平均、加重平均）などの統計的に求まる値を算出する処理である。

＜ステップＳ１４＞
次に、親装置２の項目別評価部２ｅ１は、ステップＳ１３で特定した評価対象区間の計測データに基づいて、評価対象動作に関連付けられた複数の評価項目について評価を実行する（ステップＳ１４）。

評価項目としては、評価対象動作を実行する際の代償動作に関連した項目が挙げられる。代償動作とは、評価対象動作を実行するために止むを得ずに行う動作である。

ユーザー４のコンディションが良好である場合には、代償動作を行うことなく、評価対象動作を理想的な状態で行うことができる。従って、代償動作の大きさは、ユーザー４のコンディションを反映するので、代償動作に関連した項目を評価項目とすることによって、ユーザー４のコンディションを適切に評価することが可能になる。また、項目別評価部２ｅ１は、代償動作の大きさに基づいて評価を実行することができる。

また、表１に示すように、複数の評価項目のそれぞれは、ユーザー４の１又は複数の身体部位に関連付けられている。例えば、評価対象動作Ｘの際に代償動作Ｘ１が生じる原因としては、脊柱周りの筋力又は柔軟性に問題があると考えられるので、脊柱に重み値３が割り当てられている。評価対象動作Ｘの際の代償動作Ｘ２は、股関節、膝、足の問題が原因であり、その中でも股関節や足の問題が代償動作Ｘ２に与える影響が大きいと考えられている。このため、代償動作Ｘ２は、股関節、膝、足に、それぞれ、重み値３，２，３が割り当てられている。なお、ここでは、評価項目を、ユーザー４の１又は複数の身体部位に重み付けを行って関連付けているが、重み付けを行わずに、身体部位が評価項目に関連するかどうかだけについて関連付けを行ってもよい。例えば、代償動作Ｘ２は、股関節、膝、足に関連する場合、股関節、膝、足の値を「１」とし、肩及び脊柱の値を「０」とする。

さらに、表１では、評価対象動作Ｘの際の代償動作Ｘ１に関連する身体部位の重み値の合計が３で、評価対象動作Ｘの際の代償動作Ｘ２に関連する身体部位の重み値の合計が８となっているので、代償動作Ｘ２が最終的な評価に与える影響は、代償動作Ｘ１よりも大きくなっている。言い換えると、複数の評価項目間で重み付けがなされている。これによって、評価項目ごとの重要性を評価に反映させることができ、評価の精度を高めることができる。なお、複数の評価項目間で重み付けをせずに、各評価項目と関連する身体部位の重み値の合計が一致するようにしてもよい。

評価は、各評価項目について点数又はランクをつけることによって行うことができる。点数は、例えば、評価対象フレーム（つまり評価対象区間の１５０フレーム）の静止画像のそれぞれについての評価項目の値（例えば、代償動作Ｘ１）から算出した統計値に基づく値を評価の点数とすることができる。統計値としては、平均値、最大値、最小値、合計値、最頻値などが挙げられる。また、この点数に基づいてランク付けすることができる。例えば、Ａ，Ｂ，Ｃの三段階のランク付けであれば、点数が第１閾値以上をランクＣ、第２閾値以上第１閾値未満をランクＢ、第２閾値未満をランクＡにすることができる。

また、その他の観点でのランク付けも可能である。例えば、評価対象動作が静止動作であり、評価対象フレームのうち、特徴点の動き量が基準値以上であるフレーム数が所定の割合（例えば６０％）以上である場合には、静止状態が維持できていないとしてランクＣにすることができる。また、例えば評価対象フレームのうち、評価項目の値が基準値以上であるフレーム数が所定の割合（例えば６０％）以上である場合には、ランクＢにすることができる。このようにランク付けは種々の観点で行うことができる。また、ランクの数は、２つであっても４つ以上であってもよい。

以上の方法によって、全ての評価項目について、点数又はランク付けによる評価が行われる。ランク付けの評価の例を表１に示す。

＜ステップＳ１５＞
次に、親装置２の部位別評価部２ｅ２は、複数の評価項目のそれぞれについての、ステップＳ１４での評価の結果と、表１に示す評価項目と身体部位の関連付けに基づいて、ユーザー４の複数の身体部位のそれぞれについて部位別評価を行う（ステップＳ１５）。

表２に示すように、部位別評価は、表１に示す結果を各身体部位について評価のランクごとに重み値を集計することによって行うことができる。例えば、股関節については、ランクＡで重み値３の評価項目が１つなので、ランクＡの集計値が３であり、ランクＢで重み値３の評価項目が１つなので、ランクＢの集計値が３、ランクＣで重み値３の評価項目が２つなので、ランクＣの集計値が６となる。

身体部位の状態は、ランクＣの集計値、ランクＢの集計値、ランクＡの集計値の順で評価することによって把握することが好ましい。表２の場合、ランクＣの集計値が最も大きいのが股関節なので、股関節の状態が最も悪いと言える。

図８に示すように、評価の結果は、親装置２の描画部２ｇがユーザー４の身体部位と関連付けて図示する。図８では、ランクと集計値を各身体部位に図示している。なお、図示は、例えばランクＡ，Ｂ，Ｃをそれぞれ、青、黄、赤などに対応付けて行ってもよい。

＜ステップＳ１６＞
次に、親装置２の提案部２ｆは、ステップＳ１５での評価に基づいて運動プログラムの提案を行う。提案する運動プログラムは、一例では、複数の身体部位のうち部位別評価の結果が最も悪い身体部位に関するものである。提案部２ｆは、記憶部に記憶されている複数の運動プログラムの中から、上記評価結果に基づいて、１又は複数の運動プログラムを提案する。各身体部位及びランクごとに、１又は複数の運動プログラムが記憶されている。

運動プログラムの選択方法の一例は、以下の通りである。まず、表２の集計表のランクＣの集計値に着目し、集計値が最大である身体部位を特定する。表２の場合は股関節である。次に、集計値に基づいて、運動プログラムを選択する。股関節のランクＣについて３つのプログラムが準備されているとすると、集計値が第１閾値以下の場合、「股関節Ｃ１」のプログラムが選択され、集計値が第１閾値超第２閾値以下の場合「股関節Ｃ２」が選択され、集計値が第２閾値超の場合、「股関節Ｃ３」が選択される。例えば第２閾値が５の場合、表２のケースでは、「股関節Ｃ３」が選択される。

「股関節Ｃ３」は、股関節の状態が非常に悪いユーザー４に対するプログラムであり、例えば、股関節を緩やかにストレッチするような非常に軽い運動で構成されたプログラムである。「股関節Ｃ２」、「股関節Ｃ１」は、もう少し股関節の状態がよいユーザー４に対するプログラムであり、「股関節Ｃ３」よりも股関節への負荷が高い運動で構成されたプログラムである。これらのブログラムは、ユーザー４の股関節の状態を改善することを目的に設計されている。

なお、状態が最低評価の身体部位（例えばランクＣの集計値が最大である身体部位）が複数ある場合には、表１において評価項目が多い身体部位から運動プログラムを選択することとしてもよい。評価項目数が多いということは、それだけ身体を動かす際の動作の頻度が高いということであり、改善を優先すべきと考えられるからである。また、状態が最低評価の身体部位が複数あり、それらの評価項目数も同数の場合には、より下側に位置する部位（すなわち足に近い部位）についての運動プログラムを選択することとしてもよい。足に近い部位の状態は、それよりも上側の部位にも影響を与えるので、足に近い部位の状態の改善が優先されるからである。

表２の集計表においてランクＣの集計値が全ての身体部位において０である場合には、ランクＢの集計値に着目し、ランクＣの場合と同様の方法で運動プログラムの選択を行う。

ランクＢ及びＣの集計値が全ての身体部位において０である場合は、全ての評価項目についてランクＡであったということであるので、ユーザー４のコンディションは良好であり、その状態を維持するための運動プログラムが提案される。

提案するプログラムは、複数の身体部位のうち前記部位別評価の結果が所定基準以下である身体部位に関するものであってもよい。

例えば、所定基準が「ランクＣ」である場合、ランクＣの集計値が０でない全ての身体部位に関する運動プログラムが提案される。表２の場合、脊柱、股関節、膝、足においてランクＣの集計値が０でないので、これらの身体部位に関する運動プログラムが提案される。提案された運動プログラムの中からユーザー４が任意の運動プログラムを選択してもよく、別の条件に基づいて選択してもよい。

＜運動プログラムの実施・再評価＞
ユーザー４は、提案された運動プログラムを実施する。運動プログラムを１又は複数回実施した後に、再度、評価システム１を用いた評価を行うことが好ましい。

例えば、運動プログラムを実施した成果によってユーザー４の股関節の状態が改善され、再評価では、表２の集計表が表３に示すように変化したとする。この場合、股関節についての運動プログラムはもはや不要であるので、ランクＣの集計値が最大である脊柱又は足についての運動プログラムが提案される。

２．第２実施形態
第２実施形態は、第１実施形態と類似しており、ステップＳ１５以降の具体的方法の違いが主な相違点である。以下、相違点を中心に説明する。

＜ステップＳ１５＞
本実施形態では、表４に示すように、部位別評価は、表１に示す結果を各身体部位について、重み値にランク係数を掛けて得られる値を集計することによって行うことができる。ここでは、ランク係数は、ランクＡ，Ｂ，Ｃがそれぞれ１，５，１５となるように設定したが、この値は適宜変更してもよい。

身体部位の状態は、集計値に基づいて把握することができる。表４の場合、股関節の集計値が最大であるので、股関節の状態が最も悪いと言える。

＜ステップＳ１６＞
本実施形態での運動プログラムの選択方法の一例は、以下の通りである。まず、表４の集計表の集計値が最大である身体部位を特定する。表４の場合は股関節である。次に、集計値に基づいて、運動プログラムを選択する。例えば、股関節について、集計値の値が２０以下、２１〜４０、４１〜６０、６１〜８０、８１〜１００、１０１〜１２０、１２１以上という区分けで、別々の運動プログラムが準備されているとすると、表４の場合は集計値が１０８であるので、集計値１０１〜１２０に対応する運動プログラムが提案されることになる。

３．その他の実施形態
・上記実施形態では、評価項目についての評価の結果に基づく部位別評価に基づいて運動プログラムの提案を行っているが、評価項目についての評価の結果から運動プログラムの提案を行ってもよい。例えば、ランクＡ，Ｂ，Ｃの比率に応じて運動プログラムを選択可能である。
・上記実施形態では、評価値に基づいて選択されたＬフレームを評価対象区間としているが、例えば、ユーザーの動きの停止を検出した時点からのＬフレームを評価対象区間としてもよい。
・上記実施形態では、スマートフォンやタブレットなどの携帯情報端末１０を用いて評価システム１を構成しているが、評価システム１を構成している装置の少なくとも１つは、通信可能で且つ撮影機能を有する任意の装置（例：Webカメラ）であってもよい。

１ ：評価システム
２ ：親装置
２ａ ：データ取得部
２ａ１ ：撮影部
２ａ２ ：計測部
２ａ３ ：特定部
２ｅ ：評価部
２ｅ１ ：項目別評価部
２ｅ２ ：部位別評価部
２ｆ ：提案部
２ｇ ：描画部
３ ：子装置
３ａ ：撮影部
４ ：ユーザー
１０ ：携帯情報端末
１２ ：筐体
１２Ａ ：正面
１２Ｂ ：側面
１４ ：タッチパネルディスプレイ
１６ ：マイクロフォン
１８ ：スピーカ
２０ ：カメラ
２２ ：操作ボタン
２４ ：主制御部
２６ ：主記憶部
２８ ：補助記憶部
３０ ：通信部
３３ ：システムバス

Claims (12)

1. ユーザー動作の評価システムであって、
   撮影部と、計測部と、特定部と、評価部を備え、
   前記撮影部は、前記ユーザーが評価対象動作を実行している間の前記ユーザーの動きを撮影して撮影データを取得し、
   前記計測部は、前記撮影データから前記ユーザーの動きを計測して計測データを取得し、
   前記特定部は、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定し、
   前記評価部は、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する、システム。
2. 請求項１に記載のシステムであって、
   前記評価対象動作は所定ポーズ状態での静止動作である、システム。
3. 請求項２に記載のシステムであって、
   前記計測データは、Ｍフレームで構成され、
   前記評価値は、前記Ｍフレーム中の、任意のフレームを始点とする連続するＬフレームでの前記ユーザーの動き示す統計値であり、
   前記特定部は、前記始点となるフレームが異なるＰ通りのＬフレームについて評価値を算出し、
   前記特定条件は、前記Ｐ通りの評価値を前記ユーザーの動きが小さい順に並べたときの順位がＱ位以内であることであり、Ｑ＜Ｐであり、
   前記特定部は、Ｑ通りのＬフレームのうちの１つを前記評価対象区間とする、システム。
4. 請求項３に記載のシステムであって、
   Ｑ≦Ｐ／５である、システム。
5. 請求項３又は請求項４に記載のシステムであって、
   Ｑ＝１である、システム。
6. 請求項１〜請求項５の何れか１つに記載のシステムであって、
   前記評価項目は、前記評価対象動作を実行する際の代償動作に関連した項目であり、
   前記評価部は、前記代償動作の大きさに基づいて前記評価を実行する、システム。
7. 請求項１〜請求項６の何れか１つに記載のシステムであって、
   前記評価部は、項目別評価部と、部位別評価部を備え、
   前記項目別評価部は、前記評価対象動作に関連付けられた複数の評価項目について評価を実行し、
   前記複数の評価項目のそれぞれは、前記ユーザーの１又は複数の身体部位に関連付けられ、
   前記部位別評価部は、複数の前記評価項目のそれぞれについての前記評価の結果と前記関連付けに基づいて、前記ユーザーの複数の身体部位のそれぞれについて部位別評価を行う、システム。
8. 請求項１〜請求項７の何れか１つに記載のシステムであって、
   提案部をさらに備え、
   前記提案部は、前記評価に基づいて運動プログラムの提案を行う、システム。
9. 請求項７を引用する請求項８に記載のシステムであって、
   前記運動プログラムは、前記複数の身体部位のうち前記部位別評価の結果が所定基準以下である身体部位に関するものである、システム。
10. 請求項７を引用する請求項８に記載のシステムであって、
    前記運動プログラムは、前記複数の身体部位のうち前記部位別評価の結果が最も悪い身体部位に関するものである、システム。
11. 請求項１〜請求項１０の何れか１つに記載のシステムであって、
    描画部をさらに備え、
    前記描画部は、前記評価の結果を前記ユーザーの身体部位と関連付けて図示する、システム。
12. コンピュータに、撮影ステップと、計測ステップと、特定ステップと、評価ステップを備えるユーザー動作の評価方法を実行させるコンピュータプログラムであって、
    前記撮影ステップでは、前記ユーザーが評価対象動作を実行している間の前記ユーザーの動きを撮影して撮影データを取得し、
    前記計測ステップでは、前記撮影データから前記ユーザーの動きを計測して計測データを取得し、
    前記特定ステップでは、前記計測データのうち、前記評価対象動作に対応付けられる特定条件を満足する評価対象区間を特定し、
    前記評価ステップでは、前記評価対象区間の計測データに基づいて、前記評価対象動作に関連付けられた評価項目について評価を実行する、コンピュータプログラム。