JP2015146980A - 運動支援システム、運動支援装置及び運動支援方法 - Google Patents

Abstract

【課題】評価対象者の動作に対する評価精度を高めることができる運動支援システム、運動支援装置及び運動支援方法を提供する。
【解決手段】運動支援システム１１は、運動するユーザーを撮像する複数の撮像装置２０と、各撮像装置２０によって撮像された映像に基づき、ユーザーの３Ｄモデルデータを生成する３Ｄ生成部４１と、基準３Ｄモデルデータを記憶する評価基準記憶部４３と、基準３Ｄモデルデータと３Ｄ生成部４１によって生成されたユーザーの３Ｄモデルデータとを身体の部位毎に比較することにより、ユーザーの動作を評価する評価部４５とを備える。
【選択図】図２

Description

本発明は、評価対象者の動作を評価する運動支援システム、運動支援装置及び運動支援方法に関する。

特許文献１には、手本となる基準動作と、評価対象者の動作とを対比して評価するシステムの一例が記載されている。同システムにおいてダンス領域の周囲には同ダンス領域における評価対象者の動作を非接触で検出する複数のセンサーが設けられており、これら各センサーの検出領域は互いに重複しないように設定されている。

こうしたシステムにあっては、あるセンサーの検出領域を評価対象者の身体の一部（例えば、右手）が横切ると、当該センサーからの出力信号が変化する。そして、当該センサーからの出力信号が変化するタイミングと、上記基準動作を評価対象者が忠実に行ったときに当該センサーからの出力信号が変化する理想タイミングとを比較して評価するようになっている。

特開２００１−２３９０５４号公報

ところで、上記システムにあっては、あるセンサーの検出領域を評価対象者の身体の一部が横切ると、当該センサーからの出力信号が変化するものの、身体のどの部位が検出領域を横切ったのかを特定することはできない。そのため、評価対象者の動作を適切に評価できるとは言い難かった。

本発明の目的は、評価対象者の動作に対する評価精度を高めることができる運動支援システム、運動支援装置及び運動支援方法を提供することにある。

上記目的を達成する運動支援システムは、評価対象者の動作を撮像する複数の撮像装置と、前記各撮像装置によって撮像された映像に基づき、前記評価対象者の３Ｄモデルデータを生成する３Ｄ生成部と、運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータを記憶する評価基準記憶部と、前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較することにより、当該評価対象者の動作を評価する評価部と、を備える。

上記構成によれば、評価対象者の動作を複数の撮像装置によって撮像することにより、当該評価対象者の３Ｄモデルデータが生成される。そして、この３Ｄモデルデータと基準３Ｄモデルデータとの比較を評価対象者の身体の部位（手や足）毎に行うことにより、評価基準、すなわち手本となる基準動作を基準とする「評価対象者の動作の評価」を行うことができる。これにより、評価対象者の身体のどの部位の動作が、手本と相違しているかなどを適切に評価することが可能となる。したがって、評価対象者の動作に対する評価精度を高めることができる。

上記運動支援システムは、前記３Ｄ生成部によって生成される３Ｄモデルデータに基づき、前記評価対象者の身体の部位に関する情報を部位毎に取得する部位情報取得部と、前記部位情報取得部によって取得された各部位情報に基づき、基準体型を前記評価対象者の体型に近づけ、前記基準３Ｄモデルデータを当該基準体型に基づいたデータに補正する基準３Ｄ補正部と、を備えるようにしてもよい。この場合、前記評価部は、前記基準３Ｄ補正部によって補正された前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較することにより、当該評価対象者の動作を評価することが好ましい。

上記構成によれば、基準体型を評価対象者の体型に近づけ、当該基準体型に基づいた基準３Ｄモデルデータが生成される。そして、こうした基準３Ｄモデルデータを評価基準として採用することにより、評価対象者と基準体型との相違による評価精度のばらつきを抑えることができる分、評価対象者の動作の評価精度を高めることができる。

上記運動支援システムは、前記評価部による評価結果に基づき、前記評価対象者の動作を前記基準３Ｄモデルデータが示す評価基準の動作に近づけるための案内を、前記評価部による評価の終了後に行う案内部をさらに備えることが好ましい。この構成によれば、こうした案内を評価対象者に対して行うことにより、評価対象者の運動を、手本となる動作に近づけるための支援を適切に実施することができる。

上記運動支援システムは、前記基準３Ｄモデルデータが示す評価基準の動作と、前記３Ｄ生成部によって生成される３Ｄモデルデータが示す前記評価対象者の動作とを表示画面に表示させる表示制御部を備えることが好ましい。この構成によれば、評価対象者の動作と評価基準である基準動作とのずれを、評価対象者に視認させることができる。

上記運動支援システムにおいて、前記表示制御部は、前記基準３Ｄモデルデータが示す評価基準の動作と、前記３Ｄ生成部によって生成される３Ｄモデルデータが示す前記評価対象者の動作とを前記表示画面で重ねて表示させるようにしてもよい。この構成によれば、評価基準の動作と評価対象者の動作を表示画面で重ねて表示させることにより、評価対象者の身体のどの部位の動作が、手本と相違しているかをより明確化させることができる。

上記運動支援システムは、前記評価部による評価結果を評価履歴として記憶する履歴記憶部と、前記履歴記憶部に記憶されている評価履歴に基づき、前記評価対象者による動作と前記基準３Ｄモデルデータが示す評価基準の動作とが相違しやすいポイントを抽出し、当該抽出したポイントを前記評価対象者による動作の開始前又は動作の最中に報知する報知部と、を備えることが好ましい。この構成によれば、評価対象者による動作の開始前又は動作の最中に、評価対象者が間違えやすいポイントを、当該評価対象者に知らせることができる。したがって、評価対象者の運動を適切に支援することができる。

上記運動支援システムにおいて、前記評価部は、前記評価基準の動作に対する前記評価対象者の動作の遅れ、及び、前記評価基準となる部位の移動量と前記評価対象者の部位の移動量との相違の少なくとも一方を評価することができる。

また、上記目的を達成する運動支援装置は、評価対象者の動作を撮像する複数の撮像装置によって撮像された映像に基づき、当該評価対象者の３Ｄモデルデータを生成する３Ｄ生成部と、運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータを記憶する評価基準記憶部と、前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の体の部位毎に比較し、当該評価対象者の動作を評価する評価部と、を備える。この構成によれば、上記運動支援システムと同等の作用効果を得ることができる。

また、上記目的を達成する運動支援方法は、複数の撮像装置によって評価対象者の動作を撮像し、同各撮像装置によって撮像された映像に基づき、当該評価対象者の３Ｄモデルデータを生成させる３Ｄ生成ステップと、運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータと前記３Ｄ生成ステップで生成した３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較させ、当該評価対象者の動作を評価させる評価ステップと、を有する。この構成によれば、上記運動支援システムと同等の作用効果を得ることができる。

運動支援システムの一実施形態を示す概略構成図。 （ａ）は運動支援装置の機能構成を示すブロック図、（ｂ）は履歴記憶部の記憶内容を説明する図。 （ａ）はユーザーの３Ｄモデルデータに基づいた動画の１シーンを示す図、（ｂ）は基準３Ｄモデルデータに基づいた動画の１シーンを示す図。 ２つの動画を重ね合わせて表示している様子を示す図。 ユーザーのダンスを評価する際の処理手順を説明するフローチャート。 基準体型を補正する際の処理手順を説明するフローチャート。 評価結果を報知する際の処理手順を説明するフローチャート。

以下、運動支援システムの一実施形態について図１〜図７に従って説明する。
図１に示すように、本実施形態の運動支援システム１１は、所定の運動領域１２で運動する評価対象者であるユーザー１３を撮像する複数の撮像装置２０と、ユーザーの運動を評価する運動支援装置４０と、運動支援装置４０によって制御される出力装置３０とを備えている。

撮像装置２０は、運動領域１２内に位置するユーザー１３を包囲するように配置されている。こうした撮像装置２０は、ＲＧＢカメラ２１と、深度センサー２２（「Ｄｅｐｔｈセンサー」ともいう。）とを有している。そして、撮像装置２０は、ＲＧＢカメラ２１によって運動領域１２内のユーザー１３を撮像した際に、撮像装置２０から被写体であるユーザーまでの距離やユーザーの奥行きなどを深度センサー２２によって計測することができる。そして、撮像装置２０は、ＲＧＢカメラ２１による撮像結果と、深度センサー２２によって計測された情報とを含む撮像情報を運動支援装置４０に送信する。すると、運動支援装置４０では、各撮像装置２０からの撮像情報に基づき、周知の方法によってユーザー１３を３次元化した映像データである３Ｄモデルデータが生成される。

ここでいう「３Ｄモデルデータ」とは、３次元の立体映像のデータのことである。この３Ｄモデルデータに基づいた映像（動画、静止画を含む。）を表示装置などで表示させる場合、ユーザーの所望する方向から見た映像を表示装置で表示させることができる。

出力装置３０は、動画などの映像を表示させる映像出力装置３１と、音声を出力するスピーカーなどの音声出力装置３２とを有している。映像出力装置３１としては、例えば、スクリーンなどに映像を投影させるプロジェクター、ユーザー１３が装着可能なヘッドマウントディスプレイ、所定位置に設置されるモニターを挙げることができる。

この運動支援システム１１では、運動領域１２でのユーザー１３のダンス（動作の一例）が撮像装置２０によって撮像される。すると、このユーザー１３のダンスが、運動支援装置４０に予め登録されている評価基準となるダンスである基準ダンスに基づいて、ユーザー１３の身体の部位（右腕、左腕、右足、左足など）毎に評価される。しかも、本実施形態では、ユーザー１３のダンスを複数の撮像装置２０によって撮像されるため、ユーザー１３のダンスを様々な方向から見た上で評価することが可能である。そして、ユーザー１３のダンスの終了後にあっては、ユーザー１３のダンスに対する評価結果が映像出力装置３１に出力（表示）される。

次に、図２〜図４を参照して、運動支援装置４０について説明する。
図２（ａ）に示すように、運動支援装置４０は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成されるマイクロコンピューターを備えている。こうした運動支援装置４０は、機能部として、３Ｄ生成部４１、部位情報取得部４２、評価基準記憶部４３、基準３Ｄ補正部４４、評価部４５、出力制御部４６、案内部４７、履歴記憶部４８、更新部４９、報知部５０及び入力処理部５１を有している。

３Ｄ生成部４１は、各撮像装置２０によって撮像された映像に基づき、ユーザー１３の動作を３次元化した動画データである３Ｄモデルデータを生成する。このとき、３Ｄ生成部４１は、撮像装置２０によって撮像された映像の中で動いていると思われる動作物（評価対象となるユーザー１３も含む。）の３Ｄモデルデータを生成する。そのため、３Ｄ生成部４１では、評価対象となるユーザー１３の３Ｄモデルデータだけではなく、ユーザー１３以外の動作物の３Ｄモデルデータも生成されることがある。このように複数の動作物の３Ｄモデルデータが生成された場合、３Ｄ生成部４１は、ユーザー１３の３Ｄモデルデータを選び出す。そして、３Ｄ生成部４１は、選び出したユーザー１３の３Ｄモデルデータを部位情報取得部４２及び評価部４５に出力する。

部位情報取得部４２は、３Ｄ生成部４１で生成されたユーザー１３の３Ｄモデルデータを解析し、ユーザー１３の身体の各部位に関する情報を取得する。例えば、部位情報取得部４２は、ユーザーの身長、足の長さ、足において股関節から膝までの長さ、足において膝からかかとまでの長さ、手の長さ、手において肩から肘までの長さ、手において肘から手先までの長さなどを取得する。このとき、身体の部位に関する情報として、部位（例えば、腕）の太さを取得するようにしてもよい。そして、部位情報取得部４２は、取得したユーザー１３の身体の各部位に関する情報を基準３Ｄ補正部４４に出力する。

評価基準記憶部４３は、ユーザー１３の動作（この場合はダンス）を評価する際の手本（評価基準）である基準動作（基準ダンス）の３Ｄモデルデータである基準３Ｄモデルデータを記憶している。本実施形態の運動支援システム１１では、複数種類のダンスを評価することができるようになっている。そのため、複数種類の基準３Ｄモデルデータが評価基準記憶部４３に記憶されている。なお、基準ダンスは、基準体型の人間を基準に作成されたものである。

基準３Ｄ補正部４４は、基準ダンスを行う人間の基準体型をユーザー１３の体型に近づける体型補正を行う。すなわち、この体型補正では、基準体型の各部位（足や手など）の長さや太さが、部位情報取得部４２によって取得されたユーザー１３の身体の各部位に関する情報に基づき調整される。例えば、基準体型の足の長さよりもユーザーの足の長さが長い場合、基準体型の足の長さが、ユーザーの足の長さと等しくなるまで伸長される。

また、基準３Ｄ補正部４４は、基準３Ｄモデルデータをこうした体型補正によって補正した基準体型に基づいたデータに補正する。この補正後の基準３Ｄモデルデータは、体型補正後の基準体型の人間が理想通りにダンスを行った場合のデータに相当する。そして、基準３Ｄ補正部４４は、こうした補正後の基準３Ｄモデルデータを評価部４５に出力する。

評価部４５は、３Ｄ生成部４１から入力された３Ｄモデルデータと、基準３Ｄ補正部４４から入力された補正後の基準３Ｄモデルデータとに基づいてユーザー１３のダンスを評価する。本実施形態では、評価部４５は、ユーザーのダンスと基準ダンスとが相違するポイントを身体の部位毎に抽出し、この抽出結果に基づいた評価を行う。ここでは、例えば、動作タイミング、任意のタイミングでの部位の位置や向き、部位が変位（移動、回転を含む。）する際の変位速度（移動速度、回転速度を含む。）、部位が変位する際の軌跡などの観点で、ユーザー１３のダンスを評価することができる。

・動作タイミングの遅れ
例えば、右手を上に突き上げる動作を行う際に、基準ダンスでの右手を上に突き上げるタイミングよりも、ユーザー１３が右手を上に突き上げるタイミングが早かったり遅かったりした場合、動作タイミングにずれが生じていると判断することができる。

・任意のタイミングでの部位の位置や向き
例えば、基準ダンスでは、左手が頭よりも上方に位置しているにも拘わらず、ユーザー１３の左手が頭よりも下方に位置している場合、左手の位置にずれが生じていると判断することができる。また、基準ダンスでは、顔が右を向いているにも拘わらず、ユーザー１３の顔が正面を向いている場合、顔の向きが相違していると判断することができる。

・部位が変位する際の変位速度
例えば、右手を一定方向に回す動作を行う際に、基準ダンスでの右手の変位速度よりも、ユーザー１３の右手の変位速度が速かったり遅かったりした場合、右手の変位速度にずれが生じていると判断することができる。

・部位が変位する際の軌跡
例えば、右手を一定方向に回す動作を行う際に、基準ダンスで回される右手の変位軌跡よりも、ユーザー１３が回す右手の変位軌跡がずれている場合、ユーザー１３のダンスが基準ダンスと相違していると判断することができる。

そして、評価部４５は、３Ｄモデルデータ及び基準３Ｄモデルデータを、評価結果と共に出力制御部４６に出力する。また、評価部４５は、評価結果を案内部４７及び更新部４９に出力する。

案内部４７は、評価部４５から入力された評価結果を解析し、ユーザー１３のダンスを基準ダンスに近づけるための案内（アドバイス）に関する情報である案内情報を生成し、この案内情報を出力制御部４６に出力する。例えば、案内部４７は、ユーザーの右手の動作に関して基準ダンスとの相違が生じやすいと判断できる場合、「特に右手の動作を注意してダンスを行うとよい」旨の案内情報を生成して出力する。

更新部４９は、評価部４５から入力された評価結果に基づき、履歴記憶部４８に記憶されている内容を更新する。
図２（ｂ）に示すように、履歴記憶部４８には、ユーザーがダンスを行った際における評価履歴が、ダンスの種類毎に記憶されている。例えば、ユーザー「Ａ」が第１のダンス「○○」を行った場合の評価履歴が「Ｐａ１」として記憶されている。また、ユーザー「Ａ」が第２のダンス「××」を行った場合の評価履歴が「Ｐａ２」として記憶されている。同様に、ユーザー「Ｂ」が第１のダンス「○○」を行った場合の評価履歴が「Ｐｂ１」として記憶され、ユーザー「Ｂ」が第２のダンス「××」を行った場合の評価履歴が「Ｐｂ２」として記憶されている。なお、この評価履歴は、過去にユーザーがダンスを行った際にミスが頻発しやすいポイントを含んでいる。

すなわち、更新部４９は、今回のユーザー（例えば、「Ａ」）のダンス（例えば、第１のダンス「○○」）でミスが生じた部分を、該当する評価履歴（例えば、「Ｐａ１」）に付け加える。

図２（ａ）に戻り、報知部５０は、ユーザー１３がダンスを開始する前に、今回ダンスを行うユーザーと、ダンスの種類とを特定する。続いて、報知部５０は、特定したユーザー（例えば、「Ａ」）とダンスの種類（例えば、第１のダンス「○○」）とに対応する評価履歴（この場合、「Ｐａ１」）を履歴記憶部４８から取得する。そして、報知部５０は、ユーザー１３がダンスを行っている最中に、当該ユーザー１３がダンスを行う際に基準ダンスと相違しやすいポイントに関する情報を出力装置３０に適宜出力する報知処理を実施する。例えば、ダンスの最中の第１のタイミング（例えば、ダンスの開始から１分が経過した時点）で、右手の動きに遅れが生じやすいことが評価履歴から把握できている場合、報知部５０は、第１のタイミングよりも少し前（例えば、５秒前）に、「右手の動きに注意」などの案内を出力装置３０に実行させる。

ここで、一のユーザー（例えば、「Ａ」）が第１のダンスを複数回実行した場合において間違えたポイントとしては、毎回間違えるポイントだけではなく、第１のダンスの複数回の実行のうち１回だけ間違えたポイントもある。そこで、報知部５０は、一のユーザーが１回でも間違えたことのあるポイントについては常に報知するようにしてもよいし、所定回数（例えば、３回）以上間違えたことのあるポイントのみを報知するようにしてもよい。

出力制御部４６は、映像出力装置３１を制御する表示制御部４６１と、音声出力装置３２を制御する音声制御部４６２を含む。表示制御部４６１は、ユーザー１３のダンスの終了後に、評価部４５による評価結果を表示制御部４６１に表示させる。すなわち、表示制御部４６１は、図３（ａ）に示す３Ｄモデルデータに基づいた動画Ｘ１（ユーザーのダンスをモデル化した動画）と、図３（ｂ）に示す基準３Ｄモデルデータに基づいた動画Ｘ２とを映像出力装置３１に出力させる。このとき、表示制御部４６１は、こうした２つの動画Ｘ１，Ｘ２を、評価部４５による評価結果とともに表示させる。なお、図３（ａ）では、ユーザー１３のダンスと基準ダンスとが相違するポイントＰが、破線で囲まれたかたちで表示される。

なお、映像出力装置３１での表示態様は、ユーザー１３によって選択することが可能である。例えば、ユーザー１３が２つの動画Ｘ１，Ｘ２を並べて表示させることを要求している場合、表示制御部４６１は、図３（ａ）に示す動画Ｘ１と、図３（ｂ）に示す動画Ｘ２とを、映像出力装置３１の画面上で並べて表示させる。また、ユーザー１３が２つの動画Ｘ１，Ｘ２を重ねて表示させることを要求している場合、表示制御部４６１は、図４に示すように、２つの動画Ｘ１，Ｘ２を重ねた状態で映像出力装置３１の画面上に表示させる。このとき、表示制御部４６１は、２つの動画Ｘ１，Ｘ２のうち何れか一方（例えば、基準３Ｄモデルデータに基づいた動画Ｘ２）を半透明化する処理を行った上で、表示制御を行う。

図２（ａ）に戻り、入力処理部５１は、ユーザー１３によって操作される図示しない操作部からの信号を処理する。例えば、入力処理部５１は、評価部４５による評価結果を出力装置３０に出力させる際の出力態様に関する要求が信号として入力された場合、その要求を出力制御部４６に出力する。また、入力処理部５１は、用意されている複数種類のダンスのうち一のダンスが選択された場合、基準３Ｄ補正部４４に、当該選択された一のダンスの基準３Ｄモデルデータを評価基準記憶部４３から取得させるための指示を出力する。また、入力処理部５１は、何れのユーザー（Ａ又はＢ）を把握できている場合には、上記選択された一のダンスとユーザーとに対応する評価履歴を取得させるための指示を報知部５０に出力する。

次に、図５に示すフローチャートを参照して、運動支援装置４０が実行する処理ルーチンについて説明する。
図５に示すように、ステップＳ１１において、入力処理部５１が、今回の評価対象となるユーザー１３を特定する。続いて、次のステップＳ１２において、入力処理部５１が、ユーザー１３が行うダンスの種類を特定する。そして、ステップＳ１３において、報知部５０が、入力処理部５１によって特定されたユーザー及びダンスの種類に応じた評価履歴を履歴記憶部４８から読み出す。次のステップＳ１４において、３Ｄ生成部４１が、各撮像装置２０によって撮像される映像に基づき、ユーザー１３の３Ｄモデルデータの生成を開始する。

次のステップＳ１５において、入力処理部５１が、ダンス（運動）の開始を指示する。すると、音声制御部４６２は、決定されたダンスに対応する音楽を音声出力装置３２から出力させる。このとき、表示制御部４６１は、決定されたダンスに対応する基準３Ｄモデルデータを評価基準記憶部４３から読み出し、この基準３Ｄモデルデータに基づいた動画Ｘ２を映像出力装置３１に表示させるようにしてもよい。

そして、ダンスの実施中のステップＳ１６において、報知部５０が、上記報知処理を実施する。この場合、ダンスを行っているユーザー１３が以前に間違えた動きが開始される前に、表示制御部４６１は、当該ユーザー１３に対して注意喚起を促すメッセージ（例えば、「右手の動きに注意」）を映像出力装置３１から出力させる。なお、音声制御部４６２が、当該メッセージを音声出力装置３２から出力させることもある。

続いて、次のステップＳ１７において、入力処理部５１が、ダンスが終了したか否かを判定する。未だダンスが行われている最中である場合（ステップＳ１７：ＮＯ）、処理が前述したステップＳ１６に移行される。一方、ダンスが終了した場合（ステップＳ１７：ＹＥＳ）、３Ｄ生成部４１は、ユーザー１３の３Ｄモデルデータの生成を終了させる。すると、処理が次のステップＳ１８に移行される。すなわち、ステップＳ１５の処理が実行された時点から、ステップＳ１７の判定結果が肯定（ＹＥＳ）となる時点までは、ユーザー１３の３Ｄモデルデータの生成が行われる。したがって、本実施形態では、ステップＳ１５〜ステップＳ１７により、複数の撮像装置２０によってユーザー１３のダンスを撮像し、各撮像装置２０によって撮像された映像に基づき、ユーザー１３の３Ｄモデルデータを生成させる「３Ｄ生成ステップ」の一例に相当する。

ステップＳ１８において、３Ｄ生成部４１が、複数の動作物の３Ｄモデルデータのうち、１つの動作物の３Ｄモデルデータを取り出す。次のステップＳ１９において、３Ｄ生成部４１は、取り出した動作物の３Ｄモデルデータが、ユーザー１３のダンスに関連するデータ、すなわちユーザー１３の３Ｄモデルデータであるか否かを判定する。例えば、３Ｄモデルデータに基づいた動画に、五体（頭、両手、両足）に相当する部位が全てある場合に、３Ｄモデルデータが、ユーザー１３のダンスに関連するデータであると判定することができる。

そして、３Ｄモデルデータが、ユーザー１３のダンスに関連するデータではないと判定された場合（ステップＳ１９：ＮＯ）、処理が次のステップＳ２０に移行される。次のステップＳ２０において、３Ｄ生成部４１が、生成した全ての動作物の３Ｄモデルデータの取り出しが完了したか否かを判定する。全ての動作物の３Ｄモデルデータの取り出しが完了している場合、ユーザー１３の今回のダンスの実施期間では、ユーザー１３のダンスに関するデータの生成が失敗したと判断することができる。この場合、ユーザー１３の今回のダンスを評価することができない。

そのため、全ての動作物の３Ｄモデルデータの取り出しが未だ完了していない場合（ステップＳ２０：ＮＯ）、処理が前述したステップＳ１８に移行される。そして、ステップＳ１８では、複数の動作物の３Ｄモデルデータのうち、未だ取り出していない動作物の３Ｄモデルデータが新たに取り出される。一方、全ての動作物の３Ｄモデルデータの取り出しが完了している場合（ステップＳ２０：ＹＥＳ）、処理が次のステップＳ２１に移行される。そして、ステップＳ２１において、３Ｄ生成部４１がデータ生成の失敗の旨を入力処理部５１に出力し、入力処理部５１がエラー処理を実施する。すると、表示制御部４６１がその旨のメッセージを映像出力装置３１に出力するともに、音声制御部４６２がその旨のメッセージを音声出力装置３２に出力する。そして、本処理が終了される。

その一方で、ステップＳ１９において、ステップＳ１８で取り出した動作物の３Ｄモデルデータが、ユーザー１３のダンスに関連するデータであると判定された場合（ＹＥＳ）、処理が次のステップＳ２２に移行される。次のステップＳ２２において、部位情報取得部４２及び基準３Ｄ補正部４４により、評価基準の体型の補正処理が実施される。この補正処理の手順については、図６を用いて後述する。続いて、ステップＳ２３において、評価部４５が、今回のユーザー１３のダンスを評価する評価処理を実施する。この評価処理では、ダンスの評価基準となる基準３Ｄモデルデータとユーザー１３の３Ｄモデルデータとをユーザー１３の身体の部位毎に比較することにより、ユーザー１３のダンスが評価される。したがって、本実施形態では、ステップＳ２３が、「評価ステップ」の一例に相当する。

そして、ステップＳ２４において、出力制御部４６が、評価部４５による評価結果を報知する報知処理を実施する。この評価結果の報知処理については、図７を用いて後述する。次のステップＳ２５において、更新部４９が、評価部４５による評価結果に基づいて履歴記憶部４８に記憶されている内容を更新する履歴更新処理を実施する。その後、本処理が終了される。

なお、本処理が終了された以降では、案内部４７が上記案内情報を生成して出力制御部４６に出力する。そして、出力制御部４６は、ユーザー１３のダンスを基準ダンスに近づけるためのアドバイスを、映像出力装置３１及び音声出力装置３２から出力させる。

次に、図６に示すフローチャートを参照して、上記ステップＳ２２の評価基準の体型の補正処理について説明する。
図６に示すように、ステップＳ３１において、部位情報取得部４２が、３Ｄ生成部４１からユーザー１３の３Ｄモデルデータを取得する。次のステップＳ３２において、部位情報取得部４２が、ユーザー１３の身体の各部位のサイズ（長さ、太さなど）を抽出し、抽出したユーザー１３の各部位に関する情報を基準３Ｄ補正部４４に出力する。

そして、ステップＳ３３において、基準３Ｄ補正部４４は、今回のダンスの種類に対応する基準３Ｄモデルデータを評価基準記憶部４３から取得する。次のステップＳ３４において、基準３Ｄ補正部４４が、基準体型をユーザー１３の体型に近づける体型補正を行う。そして、ステップＳ３５において、基準３Ｄ補正部４４は、体型補正後の基準体型に基づいて基準３Ｄモデルデータを補正し、この補正後の基準３Ｄモデルデータを評価部４５に出力する。その後、本処理が終了される。

次に、図７に示すフローチャートを参照して、上記ステップＳ２４の評価結果の報知処理について説明する。
図７に示すように、ステップＳ４１において、表示制御部４６１が、評価部４５からユーザー１３の３Ｄモデルデータを取得する。続いて、次のステップＳ４２において、表示制御部４６１が、評価部４５から補正後の基準３Ｄモデルデータを取得する。そして、ステップＳ４３において、表示制御部４６１が、ユーザーの３Ｄモデルデータに基づいた動画Ｘ１と、基準３Ｄモデルデータに基づいた動画Ｘ２とを重ね合わせる重ね合わせ処理を実施する。このとき、表示制御部４６１は、基準３Ｄモデルデータに基づいた動画Ｘ２が半透明となるような画像処理も合わせて実施する。

続いて、ステップＳ４４において、表示制御部４６１が、映像出力装置３１での動画の出力を開始させる。このとき、音声制御部４６２は、ユーザー１３が今回のダンスを行った際に出力された音楽を音声出力装置３２から出力させるようにしてもよい。

そして、次のステップＳ４５において、動画が映像出力装置３１で表示されている中で、表示制御部４６１は、ユーザー１３のダンスと基準ダンスとの相違点があるか否かを判定する。相違点がある場合（ステップＳ４５：ＹＥＳ）、処理がステップＳ４６に移行される。このステップＳ４６において、表示制御部４６１が、その相違点を通知する。この場合、映像出力装置３１の表示画面では、相違点が強調して表示される（図４参照）。また、表示画面に、ユーザー１３のダンスと基準ダンスとの相違点を示すメッセージ（例えば、「右手が曲がっていますよ」）を表示させるようにしてもよい。さらには、音声制御部４６２は、ユーザー１３のダンスと基準ダンスとの相違点を指摘するメッセージを音声として音声出力装置３２から出力させるようにしてもよい。その後、処理が次のステップＳ４７に移行される。

一方、ユーザー１３のダンスと基準ダンスとの相違点がない場合（ステップＳ４５：ＮＯ）、ステップＳ４６の処理を実行することなく、処理が次のステップＳ４７に移行される。

ステップＳ４７において、表示制御部４６１が、入力処理部５１から動画の表示角度の切り替え要求があるか否かを判定する。切り替え要求がない場合（ステップＳ４７：ＮＯ）、ステップＳ４８の処理を実行することなく、処理がステップＳ４９に移行される。一方、切り替え要求がある場合（ステップＳ４７：ＹＥＳ）、処理が次のステップＳ４８に移行される。そして、ステップＳ４８において、表示制御部４６１が、映像出力装置３１の表示画面での動画の表示角度を切り替えるための処理を実施する。そして、処理が次のステップＳ４９に移行される。

なお、ユーザーによる操作部の操作によって、拡大表示や縮小表示が要求されることがある。この場合、入力処理部５１から拡大表示や縮小表示の要求が表示制御部４６１に入力される。そして、表示制御部４６１は、その要求に応じた倍率に動画を拡大させたり縮小させたりすることとなる。

ステップＳ４９において、表示制御部４６１が、動画の表示が終了したか否かを判定する。映像の表示が未だ終了していない場合（ステップＳ４９：ＮＯ）、評価結果の報知が未だ完了していないと判断することができるため、処理が前述したステップＳ４５に移行される。一方、映像の表示が終了した場合（ステップＳ４９：ＹＥＳ）、評価結果の報知が完了したと判断することができるため、本処理が終了される。

以上、上記実施形態によれば、以下のような効果を得ることができる。
（１）ユーザー１３のダンスを複数の撮像装置２０によって撮像することにより、ユーザー１３の３Ｄモデルデータが生成される。そして、この３Ｄモデルデータと基準３Ｄモデルデータとの比較をユーザー１３の身体の部位（手や足）毎に行うことにより、基準ダンスを基準とする「ユーザー１３の動作の評価」を身体の部位毎に行うことができる。これにより、ユーザー１３の身体のどの部位の動作が、手本である基準ダンスと相違しているかなどを適切に評価することが可能となる。したがって、ユーザー１３のダンスの評価精度を高めることができる。

（２）本実施形態では、基準体型をユーザー１３の体型に近づける体型補正を行い、補正後の基準体型に基づいた基準３Ｄモデルデータが生成される。そして、こうした補正後の基準３Ｄモデルデータを評価基準として採用することにより、ユーザー１３と基準体型との体格差に起因する評価精度のばらつきを抑えることができる分、ユーザー１３のダンスの評価精度を高めることができる。

また、３次元の映像に基づき、ユーザー１３の身体の各部位に関する情報が取得される。そのため、２次元の映像に基づいてユーザー１３の身体の各部位に関する情報を取得する場合と比較して、ユーザー１３の身体の各部位に関する情報を精度よく取得することができる。したがって、基準体型を精度よく補正することができる。

さらに、どのような体型のユーザー１３のダンスを評価することができるように様々な体型に基づいた基準３Ｄモデルデータを予め用意しておく場合と比較して、評価基準記憶部４３の記憶容量を少なくすることができる。

（３）また、評価結果の報知後にあっては、評価結果に基づき、ユーザー１３のダンスを基準ダンスに近づけるためのアドバイスを実施することができる。そのため、ユーザー１３の今後のダンス技術の向上に貢献することができる。

（４）また、評価結果をユーザー１３に報知するに際し、ユーザー１３の３Ｄモデルデータに基づいた動画Ｘ１と基準３Ｄモデルデータに基づいた動画Ｘ２とが映像出力装置３１の表示画面に表示される。そのため、ユーザー１３は、自身のダンスと基準ダンスとを比較し、身体のどの部位が基準ダンスと相違しているのかを的確に把握することができる。

（５）本実施形態では、映像出力装置３１の表示画面に、ユーザー１３の３Ｄモデルデータに基づいた動画Ｘ１と基準３Ｄモデルデータに基づいた動画Ｘ２とを重ねて表示させることもできる。こうした表示を実施することにより、ユーザー１３は、自身のダンスと基準ダンスとの相違を明確に理解することができる。

（６）本実施形態では、評価結果が評価履歴として履歴記憶部４８に記憶される。そして、ユーザー１３の次回以降のダンスの実行時にあっては、ユーザー１３が間違えやすいポイントを、ダンスの最中に知らせることができる。したがって、ユーザー１３のダンス技術の向上を適切に支援することができる。

（７）本実施形態では、３Ｄモデルデータが生成されるため、ユーザー１３のダンスを様々な方向から見た評価を行うことができる。そして、ユーザーの３Ｄモデルデータに基づいた動画Ｘ１と基準３Ｄモデルデータに基づいた動画Ｘ２とを映像出力装置３１に出力させる場合であっても、ユーザー１３の所望する角度の動画をユーザー１３に提供することができる。

なお、上記実施形態は以下のように変更してもよい。
・上記実施形態では、履歴記憶部４８に記憶されている評価履歴に基づいたアドバイスをユーザー１３がダンスを行っている最中に行っているが、当該アドバイスをユーザー１３がダンスを行う前に行うようにしてもよい。この場合であっても、ユーザー１３のダンスを適切に支援することができる。

・評価履歴に基づいたアドバイスは行わなくてもよい。
・ユーザー１３の３Ｄモデルデータに基づいた動画Ｘ１と基準３Ｄモデルデータに基づいた動画Ｘ２とを重ねて表示するに際し、動画Ｘ２ではなく、ユーザー１３の３Ｄモデルデータに基づいた動画Ｘ１を半透明にした上で、２つの動画Ｘ１，Ｘ２を重ね合わせて映像出力装置３１に表示させるようにしてもよい。

・ユーザー１３の３Ｄモデルデータに基づいた動画Ｘ１と基準３Ｄモデルデータに基づいた動画Ｘ２とを重ねて表示しないようにしてもよい。また、評価結果をユーザー１３に知らせるに際し、基準３Ｄモデルデータに基づいた動画Ｘ２を映像出力装置３１に表示させなくてもよい。

・評価結果の報知後では、当該評価結果に基づいたアドバイスを実施しなくてもよい。
・ユーザー１３のダンスの評価結果を動画によって知らせるに際し、ユーザー１３のダンスと基準ダンスとが相違するポイントを集める編集処理を行い、この編集処理で編集した部分をダイジェスト的に出力させるようにしてもよい。

・ユーザー１３のダンスの評価結果を、動画によって知らせるのではなく、音声によって知らせるようにしてもよい。
・ユーザー１３のダンスの評価結果を点数化し、その点数をユーザー１３に知らせるようにしてもよい。

・ユーザー１３の身体の各部位に関する情報を、ユーザー１３がダンスを開始する前に取得するようにしてもよい。この場合、ユーザー１３のダンスの開始前に、基準体型をユーザー１３の体格に近づける体格補正を実施することができる。そのため、ユーザー１３がダンスを行っている最中では、補正後の基準３Ｄモデルデータに基づいた動画を映像出力装置３１に出力させるようにしてもよい。

・上記実施形態では、基準体型を自動的に補正するようにしているが、ユーザー１３による手動操作によって基準体型を補正するようにしてもよい。例えば、ユーザー１３の体格に関する特徴（例えば、身長、性別、年齢、体重）をユーザー１３に入力させ、この入力結果に基づいて基準体型を補正させるようにしてもよい。

・基準体型の補正を省略するようにしてもよい。
・上記実施形態では、ユーザー１３のダンスが終了された後に、同ユーザー１３のダンスを評価するようにしているが、ユーザー１３がダンスの撮影と当該ダンスの評価とを並行して行うようにしてもよい。例えば、ユーザー１３のダンスを行っている期間を一定間隔で区切り、Ｎ番目の区間でのユーザー１３のダンスを、Ｎ＋１番目の区間中に評価するようにしてもよい。また、直近の所定時間内でのユーザー１３のダンスだけを用い、ユーザー１３のダンスを評価するようにしてもよい。

・上記実施形態では、ユーザー１３のダンスを評価する場合について説明しているが、運動支援システムを、ダンス以外の他の運動を評価するためのシステムに具体化してもよい。例えば、ゴルフクラブや野球のバットをスイングさせる際のユーザー１３の運動を評価するようにしてもよい。この場合、ユーザー１３と、同ユーザー１３が握っている道具とを一つの動作物とし、同動作物の３Ｄモデルデータを生成することが好ましい。

また、運動支援システムを、ユーザー１３の楽器演奏や料理などのカルチャーの学習用のシステムに具体化してもよいし、ユーザー１３のダイエットやリハビリテーションを支援するためのシステムに具体化してもよい。

１１…運動支援システム、１３…評価対象者であるユーザー、２０…撮像装置、３１…映像出力装置（表示画面の一例）、４０…運動支援装置、４１…３Ｄ生成部、４２…部位情報取得部、４３…評価基準記憶部、４４…基準３Ｄ補正部、４５…評価部、４６１…表示制御部、４７…案内部、４８…履歴記憶部、５０…報知部。

Claims (9)

1. 評価対象者の動作を撮像する複数の撮像装置と、
   前記各撮像装置によって撮像された映像に基づき、前記評価対象者の３Ｄモデルデータを生成する３Ｄ生成部と、
   運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータを記憶する評価基準記憶部と、
   前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較することにより、当該評価対象者の動作を評価する評価部と、を備える
   運動支援システム。
2. 前記３Ｄ生成部によって生成される３Ｄモデルデータに基づき、前記評価対象者の身体の部位に関する情報を部位毎に取得する部位情報取得部と、
   前記部位情報取得部によって取得された各部位情報に基づき、基準体型を前記評価対象者の体型に近づけ、前記基準３Ｄモデルデータを当該基準体型に基づいたデータに補正する基準３Ｄ補正部と、を備え、
   前記評価部は、前記基準３Ｄ補正部によって補正された前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較することにより、当該評価対象者の動作を評価する
   請求項１に記載の運動支援システム。
3. 前記評価部による評価結果に基づき、前記評価対象者の動作を前記基準３Ｄモデルデータが示す評価基準の動作に近づけるための案内を、前記評価部による評価の終了後に行う案内部をさらに備える
   請求項１又は請求項２に記載の運動支援システム。
4. 前記基準３Ｄモデルデータが示す評価基準の動作と、前記３Ｄ生成部によって生成される３Ｄモデルデータが示す前記評価対象者の動作とを表示画面に表示させる表示制御部を備える
   請求項１〜請求項３のうち何れか一項に記載の運動支援システム。
5. 前記表示制御部は、前記基準３Ｄモデルデータが示す評価基準の動作と、前記３Ｄ生成部によって生成される３Ｄモデルデータが示す前記評価対象者の動作とを前記表示画面で重ねて表示させる
   請求項４に記載の運動支援システム。
6. 前記評価部による評価結果を評価履歴として記憶する履歴記憶部と、
   前記履歴記憶部に記憶されている評価履歴に基づき、前記評価対象者による動作と前記基準３Ｄモデルデータが示す評価基準の動作とが相違しやすいポイントを抽出し、当該抽出したポイントを前記評価対象者による動作の開始前又は動作の最中に報知する報知部と、を備える
   請求項１〜請求項５のうち何れか一項に記載の運動支援システム。
7. 前記評価部は、前記評価基準の動作に対する前記評価対象者の動作の遅れ、及び、前記評価基準となる部位の移動量と前記評価対象者の部位の移動量との相違の少なくとも一方を評価する
   請求項１〜請求項６のうち何れか一項に記載の運動支援システム。
8. 評価対象者の動作を撮像する複数の撮像装置によって撮像された映像に基づき、当該評価対象者の３Ｄモデルデータを生成する３Ｄ生成部と、
   運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータを記憶する評価基準記憶部と、
   前記基準３Ｄモデルデータと前記３Ｄ生成部によって生成された３Ｄモデルデータとを前記評価対象者の体の部位毎に比較し、当該評価対象者の動作を評価する評価部と、を備える
   運動支援装置。
9. 複数の撮像装置によって評価対象者の動作を撮像し、同各撮像装置によって撮像された映像に基づき、当該評価対象者の３Ｄモデルデータを生成させる３Ｄ生成ステップと、
   運動の評価基準となる３Ｄモデルデータである基準３Ｄモデルデータと前記３Ｄ生成ステップで生成した３Ｄモデルデータとを前記評価対象者の身体の部位毎に比較させ、当該評価対象者の動作を評価させる評価ステップと、を有する
   運動支援方法。