JP2016077346A - 運動支援システム、運動支援方法、及び運動支援プログラム - Google Patents

運動支援システム、運動支援方法、及び運動支援プログラム Download PDF

Info

Publication number
JP2016077346A
JP2016077346A JP2014209064A JP2014209064A JP2016077346A JP 2016077346 A JP2016077346 A JP 2016077346A JP 2014209064 A JP2014209064 A JP 2014209064A JP 2014209064 A JP2014209064 A JP 2014209064A JP 2016077346 A JP2016077346 A JP 2016077346A
Authority
JP
Japan
Prior art keywords
subject
motion
display
viewpoint
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014209064A
Other languages
English (en)
Inventor
杢屋 銑一
Senichi Mokuya
銑一 杢屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014209064A priority Critical patent/JP2016077346A/ja
Publication of JP2016077346A publication Critical patent/JP2016077346A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】撮像装置により撮像された対象者の動作に基づいた映像を表示部に表示させることによる当該対象者の運動支援を効果的に行うことができる運動支援システム、運動支援方法、及び運動支援プログラムを提供する。【解決手段】運動支援システムは、3Dモデルデータを生成する3D生成部8と、対象者の動作を解析し、当該対象者の身体の注視部位を決定する動作解析部12と、3Dモデルデータに基づき、表示視点を決定する視点決定部13と、3Dモデルデータに基づき、表示視点から見た対象者の動作を2次元化した動画をモニター7に表示させる表示制御部15とを備える。そして、視点決定部13は、表示制御部15が対象者の動作をモニター7に表示させるに際して注視部位がモニター7に表示される視点を表示視点として決定する。【選択図】図2

Description

本発明は、対象者の運動支援を行う運動支援システム、運動支援方法、及び運動支援プログラムに関する。
特許文献1には、対象者によるゴルフクラブのスウィング動作を上達させるための運動支援システムの一例が記載されている。このシステムには、対象者のスウィング動作を撮像する撮像装置と、撮像装置により撮像されたスウィング動作を表示するモニター(表示部の一例)と、モニターでの映像の再生、停止などを対象者に選択させる操作部とが設けられている。そして、スウィング動作を行った対象者がゴルフクラブのヘッドによって操作部を操作することにより、当該対象者は、立ち位置を変えることなく自身のスウィング動作をモニターで確認することができる。このように自身のスウィング動作をモニター上で対象者に確認させることにより、対象者のスウィング動作の矯正の支援が可能となる。
特開2006−68231号公報
ところで、特許文献1に記載の運動支援システムでは、撮像装置を複数設け、各撮像装置によって対象者のスウィング動作を撮像することにより、複数の視点から見た対象者のスウィング動作をモニターで再生させることが可能となる。しかしながら、撮像装置の設置位置から見たスウィング動作の映像をモニターで再生させることはできるものの、撮像装置の設置位置とは異なる位置から見たスウィング動作の映像をモニターで再生させることはできない。すなわち、対象者は、上達するために注視すべき身体の部位である注視部位(例えば、肘)の位置や動きをモニター上で確認することができないことがある。そして、このように自身の身体の注視部位の動きをモニター上で確認することができない場合には、対象者のスウィング動作の矯正を支援できるとは言い難い。
本発明の目的は、撮像装置により撮像された対象者の動作に基づいた映像を表示部に表示させることによる当該対象者の運動支援を効果的に行うことができる運動支援システム、運動支援方法、及び運動支援プログラムを提供することにある。
上記課題を解決するための運動支援システムは、対象者の動作を撮像する複数の撮像装置によって撮像された動画に関する情報に基づき、当該対象者の動作を3次元化した動画データである3Dモデルデータを生成する3D生成部と、対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定する動作解析部と、3D生成部によって生成された3Dモデルデータに基づき、表示視点を決定する視点決定部と、3D生成部によって生成された3Dモデルデータに基づき、視点決定部によって決定された表示視点から見た対象者の動作を表示部に表示させる表示制御部と、を備えている。このシステムでは、視点決定部は、表示制御部が対象者の動作を表示部に表示させるに際して注視部位が同表示部に表示される視点を表示視点として決定する。
上記システムでは、対象者の一連の動作が複数の撮像装置に撮像されると、3Dモデルデータが生成される。そして、こうした3Dモデルデータを用いることにより、撮像装置の設置位置とは異なる視点から見た対象者の動作を表示部に表示させることが可能となる。また、こうした対象者の一連の動作を解析することにより、当該動作の上達を図る上で注視すべき対象者の身体の注視部位が決定される。そして、この注視部位が表示部に表示されるように表示視点が決定され、当該表示視点から見た対象者の動作が表示部に表示される。このため、対象者は表示部で表示された映像を見ることにより、当該動作の上達を図る上で注視すべき身体の部位を的確に把握することができる。その結果、同様な一連の動作を対象者が次回に行う場合、注視部位の位置や動きを意識しながら一連の動作を当該対象者に行わせることができ、ひいては対象者の動作の矯正を適切に支援することができる。したがって、撮像装置によって撮像された対象者の動作に基づいた映像を表示部に表示させることによる当該対象者の運動支援を効果的に行うことができるようになる。
また、上記システムの視点決定部は、表示制御部が対象者の動作を表示部に表示させるに際して注視部位が障害物によって遮られない視点を表示視点として決定することが望ましい。
表示部に表示される映像は、対象者の一連の動作を2次元化したものであるため、視点によっては身体の注視部位が、障害物(すなわち、身体の他の部位や器具など)によって遮られてしまうことがある。
上記システムによれば、身体の注視部位が障害物によって遮られることなく表示部に表示されるため、対象者は、表示部に表示された映像を確認することにより、自身が注視すべき身体の部位を正確に把握することができる。
また、上記システムは、基準となる動作である基準動作を3次元化した動画データである基準3Dモデルデータを記憶する基準記憶部を備え、動作解析部では、3D生成部によって生成された3Dモデルデータと基準3Dモデルデータとに基づき、対象者の動作と基準動作とを身体の部位毎に比較することにより注視部位を決定することが望ましい。
上記システムによれば、基準となる動作、すなわちお手本となる動作と、対象者の動作とが身体の部位(手や足)毎に比較される。これにより、対象者の動作と基準動作とのずれを身体の部位毎に取得することができ、対象者の身体において注視すべき部位を適切に決定することが可能になる。
また、上記システムの動作解析部は、3Dモデルデータと基準3Dモデルデータとに基づき、対象者の動作と基準動作とのずれが最も大きい身体の部位を注視部位として決定することが望ましい。
上記システムによれば、対象者の動作と基準動作とのずれが最も大きい部位が注視部位に決定され、同注視部位を視認可能な視点から見た対象者の動作が表示部に表示される。このため、対象者は、表示部に表示された映像を見ることにより、当該動作を行うに当たって最も矯正すべき身体の部位を的確に把握することができる。その結果、同様な動作を対象者が次回に行う場合、注視部位の位置や動きを意識しながら一連の動作を当該対象者に行わせることができ、ひいては対象者の動作を効果的に矯正することが可能になる。
また、上記システムの表示制御部は、視点決定部によって決定された表示視点から見た対象者の動作と、同表示視点から見た基準動作との両方を表示部に重ねて表示させることが望ましい。
上記システムによれば、対象者の動作と基準動作との両方を表示部に重ねて表示させるため、対象者の動作と基準動作とのずれを対象者に把握させることが可能となる。
また、上記システムの視点決定部は、対象者の動作と基準動作との両方を表示部に重ねて表示させるに際して、注視部位が障害物によって遮られない視点の範囲内において、対象者の動作と基準動作とのずれが表示部で最大となる視点を表示視点として決定することが望ましい。
対象者の動作と基準動作との両方を重ねて表示部に表示させる場合には、視点によっては対象者の動作と基準動作とのずれが表示部に表れにくい。
上記システムによれば、対象者の動作と基準動作とのずれが最も大きく表示部で表れるように表示視点が決定される。このため、対象者は、表示部に表示された映像を確認することにより、注視部位において自身の動作と基準動作とのずれ度合いを正確に把握することができる。
また、上記システムの動作解析部は、センサーが取り付けられている器具を用いて対象者が動作を行った場合に、前記センサーから出力された信号に基づき、対象者が動作を行っている最中での器具の動作を解析して注視部位を決定することが望ましい。
器具を用いて対象者が動作を行ったときには、器具の動作は対象者の動作を反映したものになる。このため、器具の動作を解析することによって、対象者の動作を推定することができる。この点、上記システムでは、センサーからの出力信号に基づいて器具の動作が解析される。そして、この器具の動作の解析結果から対象者の動作を推定することにより、器具を用いて動作を行う際において対象者が注視すべき身体の部位、すなわち注視部位を適切に決定することが可能になる。
また、上記システムは、サーバーと、同サーバーと通信可能な情報端末と、を備えていてもよい。こうしたシステムでは、サーバーは、動作解析部と視点決定部とを有し、情報端末は、3D生成部と表示制御部とを有していることが望ましい。
上記システムによれば、情報端末で生成された3Dモデルデータをサーバーが受信すると、同サーバーでは、対象者の動作が解析され、当該対象者における身体の注視部位が決定される。また、サーバーでは、決定した注視部位に基づき表示視点が決定され、同表示視点に関する情報が情報端末に送信される。すると、情報端末では、サーバーで決定された表示視点から見た対象者の動作を表示部に表示させるための表示制御が実行される。その結果、表示部に表示された映像を対象者が見ることにより、当該対象者は、一連の動作を行うに当たって注視すべき身体の部位を的確に把握することができる。
また、上記システムは、サーバーと、同サーバーと通信可能な情報端末と、表示部を有し、情報端末と通信可能なモバイル端末と、を備えていてもよい。こうしたシステムでは、サーバーは、動作解析部と視点決定部とを有し、情報端末は、3D生成部と表示制御部とを有しており、情報端末の表示制御部は、視点決定部によって決定された表示視点から見た対象者の動作に関する情報である動作情報をモバイル端末に送信することにより、対象者の動作をモバイル端末の表示部に表示させることが望ましい。
上記システムによれば、情報端末で生成された3Dモデルデータをサーバーが受信すると、同サーバーでは、対象者の動作が解析され、当該対象者における身体の注視部位が決定される。また、サーバーでは、決定した注視部位に基づき表示視点が決定され、同表示視点に関する情報が情報端末に送信される。すると、モバイル端末の表示部に、サーバーで決定された表示視点から見た対象者の動作が表示される。そして、表示部に表示された映像を対象者が見ることにより、当該対象者は、一連の動作を行うに当たって注視すべき身体の部位を的確に把握することができる。
また、上記課題を解決するための運動支援方法は、複数の撮像装置が撮像した対象者の動作に関する情報に基づき、当該対象者の動作を3次元化した動画データである3Dモデルデータを生成させる3D生成ステップと、対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定させる動作解析ステップと、3D生成ステップで生成した3Dモデルデータに基づき、表示視点を決定する視点決定ステップと、3D生成ステップで生成した3Dモデルデータに基づき、視点決定ステップで決定した表示視点から見た対象者の動作を生成して表示部に表示させる表示ステップと、を有している。この方法の視点決定ステップでは、表示ステップで対象者の動作を表示部に表示させるに際して注視部位が同表示部に表示される視点が表示視点とされる。
上記方法によれば、上記システムと同様の作用効果を得ることができる。
また、上記課題を解決するための運動支援プログラムは、対象者の動作を表示部に表示させる表示制御を行うコンピューターに実行させるための表示制御プログラムであって、コンピューターを備える端末は、運動支援システムと通信可能であり、運動支援システムは、複数の撮像装置によって撮像された対象者の動作の情報に基づき、同対象者の動作を3次元化した動画データである3Dモデルデータを生成し、同対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定し、同3Dモデルデータと同注視部位とに関する情報を前記端末に送信するようになっており、コンピューターに、運動支援システムから受信した注視部位に関する情報に基づき、対象者の動作を表示部に表示させるに際して、注視部位が表示部に表示される視点を表示視点として決定させる表示視点決定ステップと、運動支援システムから受信した3Dモデルデータに関する情報と、視点決定ステップで決定した表示視点とに基づき、表示視点から見た対象者の動作を表示部に表示させる表示ステップと、を実行させる。
この運動支援プログラムを実行するコンピューターを備える端末と、運動支援システムとを通信させることにより、上記システムと同様の作用効果を得ることができる。
運動支援システムの第1の実施形態を示す概略構成図。 運動支援装置の機能構成を示すブロック図。 (a)は対象者の3Dモデルデータに基づいた対象者のスウィング動作の1シーンを示す図、(b)は基準3Dモデルデータに基づいた基準動作の1シーンを示す図。 対象者のスウィング動作と基準動作とを重ねたときの動画の1シーンを示す図。 初期視点記憶部に記憶されている初期視点の3次元座標を示すテーブル。 モニターでの表示態様の一例を示す図。 同実施形態が実行する一連の処理を示すフローチャート。 対象者のスウィング動作をモニターに表示させる際の動作開始から動作終了までの注視部位と表示視点との関係を示す図。 運動支援システムの第2の実施形態においてモニターに表示させた映像の1シーンを示す図。 同実施形態における表示視点の設定態様を示す図。 運動支援システムの第3の実施形態が実行する一連の処理を示すフローチャート。 同実施形態にかかる注視部位決定処理の処理ルーチンを示すフローチャート。 対象者のスウィング動作をモニターに表示させる際の動作開始から動作終了までの注視部位と表示視点との関係を示す図。 センサーが取り付けられたゴルフクラブの斜視図。 運動支援システムの第4の実施形態の機能構成を示すブロック図。 同実施形態が実行する一連の処理を示すフローチャート。 運動支援システムの第5の実施形態を示す概略構成図。 同実施形態の機能構成を示すブロック図。 履歴記憶部に記憶されている内容を示すテーブル。 同実施形態にかかる情報端末が実行する一連の処理を示すフローチャート。 同実施形態にかかるサーバーが実行する一連の処理を示すフローチャート。 運動支援システムの第6の実施形態を示す概略構成図。 同実施形態の機能構成を示すブロック図。 運動支援システムの第7の実施形態の機能構成を示すブロック図。 同実施形態にかかる情報端末が実行する一連の処理を示すフローチャート。 同実施形態にかかるモバイル端末が実行する一連の処理を示すフローチャート。
(第1の実施形態)
以下、運動支援システムの第1の実施形態について図1〜図8に従って説明する。
図1に示すように、本実施形態の運動支援システムの一例である運動支援装置には、所定の運動領域に位置する対象者1の動作(ここでは、対象者1によるゴルフクラブのスウィング動作)を撮像する複数の撮像装置2から撮像情報が入力される。これら各撮像装置2は、運動領域を包囲するように配置されている。こうした撮像装置2には、対象者1の動作を撮像するRGBカメラ3と、撮像装置2から対象者1までの距離や対象者1の奥行きなどを計測する深度センサー4とが設けられている。なお、撮像情報は、これらRGBカメラ3と深度センサー4とから得られた情報とを含んでいる。
運動支援装置5は、各撮像装置2から受信した撮像情報、すなわち撮像装置2によって撮像された動画に関する情報に基づき、周知の方法によって対象者1の動作を3次元化した動画データである3Dモデルデータを生成する。そして、運動支援装置5は、この3Dモデルデータに基づいた映像、すなわち2次元化した動画を表示装置6に表示させる。なお、3Dモデルデータは、3次元化した動画データであるため、この3Dモデルデータに基づいた映像を表示装置6などで表示させる場合、任意の方向から見た対象者1の映像を表示装置6で表示させることができる。
表示装置6は、文字や動画などの映像を表示させる表示部としてのモニター7を備えている。なお、表示装置6は、スクリーンなどに映像を投影させるプロジェクターを採用してもよく、この場合、スクリーンが表示部として機能する。また、対象者1が装着可能なヘッドマウントディスプレイを表示装置として採用してもよく、この場合、ヘッドマウントディスプレイのディスプレイ部分が表示部として機能する。
この運動支援装置5は、運動領域で対象者1がゴルフクラブのスウィング動作などの動作を行った際に、撮像装置2から送信された撮像情報に基づき、対象者1のスウィング動作を解析する。すなわち、運動支援装置5は、予め記憶している当該動作の基準となる基準動作と、対象者1のスウィング動作とを身体の部位(右腕、左腕、右足、左足など)毎に比較し、対象者1の身体において注視すべき部位である注視部位を抽出して決定する。そして、運動支援装置5は、こうした解析を行うことにより、モニター7に対象者1の動作を表示させる際に注視部位が見えるように表示視点を決定し、同表示視点から見た対象者1のスウィング動作をモニター7に表示させる。
次に、図2〜図8を参照して、運動支援装置5について説明する。
図2に示すように、運動支援装置5には、CPU、ROM及びRAMなどで構成されるマイクロコンピューターが設けられている。こうした運動支援装置5は、CPUがプログラムを実行することによって構成される機能部として、3D生成部8、部位情報取得部9、基準3D記憶部10、基準3D補正部11、動作解析部12、視点決定部13、案内部14、及び表示制御部15などを備えている。
3D生成部8は、各撮像装置2によって撮像された動画に関する情報に基づき、対象者1のスウィング動作を3次元化した動画データである3Dモデルデータを生成する。3D生成部8は、対象者1と一体となって動作している器具(ここでは、ゴルフクラブ)が存在する場合、器具も対象者1の一部とみなし、対象者1のスウィング動作の3Dモデルデータを生成する。そして、3D生成部8は、生成した対象者1の3Dモデルデータを部位情報取得部9に出力する。
部位情報取得部9は、対象者1のスウィング動作の3Dモデルデータを解析し、対象者1の身体の各部位に関する情報を取得する。例えば、部位情報取得部9は、対象者1の身長、足の長さ、足において股関節から膝までの長さ、足において膝からかかとまでの長さ、手の長さ、手において肩から肘までの長さ、手において肘から手先までの長さなどを取得する。また、身体の部位に関する情報として、部位(例えば、腕)の太さや位置情報を取得する。
基準3D記憶部10には、対象者1のゴルフクラブのスウィング動作を評価する際のお手本となる基準動作(ゴルフクラブの理想的なスウィング動作)の3Dモデルデータである基準3Dモデルデータが記憶されている。本実施形態では、基準3D記憶部10には、例えば、ドライバーのスウィング動作や、パターのスウィング動作など、複数種類のスウィング動作を評価することができるように、それぞれの基準3Dモデルデータが記憶されている。ここでは、ドライバーのスウィング動作を例に説明を行う。なお、基準3Dモデルデータは、基準体型の人間を基準に作成されたものである。
基準3D補正部11は、基準3D記憶部10に記憶されている基準3Dモデルデータと、部位情報取得部9によって取得された対象者1の身体の各部位の情報とに基づいて、基準3Dモデルデータの情報を対象者1の体型に近づける体型補正を行う。すなわち、この体型補正では、基準3Dモデルデータの各部位(脚や腕など)の長さや太さが、部位情報取得部9によって取得された対象者1の身体の各部位に関する情報に基づき調整される。例えば、基準体型の足の長さよりも対象者1の足の長さが長い場合、基準体型の足の長さが、対象者1の足の長さと等しくなるまで伸長される。また、基準体型に比べて対象者1の脚が細い場合、対象者1の脚の太さと等しくなるまで基準体型の脚が細くされる。したがって、こうして体型補正が行われた後のデータである補正後の基準3Dモデルデータは、対象者1が理想通りにスウィング動作を行った場合の3Dモデルデータに相当する。そして、基準3D補正部11は、補正後の基準3Dモデルデータを動作解析部12に出力する。
動作解析部12は、対象者1のスウィング動作を解析し、当該対象者1の身体において注視すべき部位である注視部位(例えば、膝)を決定する。例えば、動作解析部12は、3D生成部8から入力された3Dモデルデータと、基準3D補正部11から入力された補正後の基準3Dモデルデータとに基づき、次のようにして対象者1の動作を解析する。
すなわち、動作解析部12は、図3(a)に示す対象者1の3Dモデルデータと、図3(b)に示す補正後の基準3Dモデルデータとを取得する。
そして、動作解析部12は、対象者1の3Dモデルデータと補正後の基準3Dモデルデータとに基づき、対象者1のスウィング動作と基準動作とを身体の部位毎に比較し、対象者1のスウィング動作を解析する。この際、動作解析部12は、図4に示すように対象者1のスウィング動作と基準動作とを重ねた場合に、対象者1のスウィング動作と基準動作とのずれ量が大きい身体の部位を抽出する。例えば、動作解析部12は、一連の動作(この場合、スウィング動作)の中で身体の各部位において対象者1のスウィング動作と基準動作とのずれ量が所定量以上となっている部位を、対象者1がスウィング動作を向上させる上で注視すべき身体の部位である注視部位の候補として抽出する。そして、動作解析部12は、これら注視部位の候補の中から、ずれ量が最大となる身体の部位(例えば肘)を注視部位とする。動作解析部12は、注視部位を決定すると、同注視部位の3次元座標を記憶する。なお、動作解析部12は、身体の各部位において対象者1の動作と基準動作とのずれ量が所定量以上となっている部位がない場合には、対象者1の身体全体を注視部位として決定する。そして、動作解析部12は、決定した注視部位に関する情報を視点決定部13及び案内部14に出力する。
ここで、対象者1のスウィング動作と基準動作とのずれとして、例えば、動作タイミングのずれ、任意のタイミングでの部位の位置や向きのずれ、部位が変位(移動、回転を含む。)する際の変位速度(移動速度、回転速度を含む。)のずれを挙げることができる。
・動作タイミングのずれ
例えば、対象者1のスウィング動作を行っている最中における腰の回転開始が、基準動作での腰の回転開始よりも早かったり遅かったりした場合、動作タイミングがずれていると判断することができる。そして、対象者1がスウィング動作を行う際での腰の回転開始と基準動作での腰の回転開始とのずれが大きいほど、腰におけるずれ量が大きいと判断することができる。
・任意のタイミングでの部位の位置や向きのずれ
例えば、ゴルフクラブがゴルフボールに触れるインパクトの瞬間での対象者1の顔の位置や向きが、基準動作での顔の位置や向きと相違している場合、その相違が大きいほど、顔におけるずれ量が大きいと判断することができる。
・部位が変位する際の変位速度のずれ
例えば、対象者1のスウィング動作を行っている最中における腕の変位速度が、基準動作での腕の変位速度よりも速い場合や遅い場合に、変位速度にずれが生じていると判断することができる。
図2に戻り、視点決定部13は、入力された対象者1の3Dモデルデータと注視部位に関する情報とに基づき、モニター7に対象者1の動作を表示させる際の表示視点を決定する。そして、視点決定部13は、決定した表示視点に関する情報を表示制御部15に出力する。なお、視点決定部13には、初期視点記憶部16が設けられている。
図5に示すように、初期視点記憶部16には、基準3Dモデルデータに基づき、身体の部位毎に設定された初期視点の3次元座標が予め記憶されている。初期視点とは、対応する部位とは異なる他の部位やゴルフクラブなどの異物などの障害物に遮られないときには、当該対応する部位を最も効果的にモニター7に表示させることの可能な表示視点のことである。例えば、頭に対応する初期視点は(80、1.7、0)であり、肘に対応する初期視点は(0、1.3、40)である。この場合、(80、1.7、0)を表示視点と決定し、対象者1のスウィング動作をモニター7に表示させた場合、同モニター7に表示された映像を見ることにより、対象者1がスウィング動作を行う際における同対象者1の顔の動きを正確に把握することができる。
すなわち、決定された注視部位が頭である場合、視点決定部13は、頭に対応する初期視点(80、1.7、0)を仮想表示視点に設定する。視点決定部13は、この仮想表示視点から見た対象者1のスウィング動作をモニター7に表示させると仮定した場合に、注視部位である頭が上記障害物に遮られないか否かを判定する。そして、注視部位である頭が障害物に遮られないと判定した場合、視点決定部13は、この仮想表示視点を表示視点として決定する。
一方、注視部位である頭が障害物に遮られると判定した場合、視点決定部13は、仮想表示視点から所定距離だけ離れている位置を新たに仮想表示視点に再設定する。そして、上記と同様に、視点決定部13は、新たな仮想表示視点から見た対象者1のスウィング動作をモニター7に表示させると仮定した場合に、注視部位である頭が上記障害物に遮られないか否かを判定する。そして、注視部位である頭が障害物に遮られないと判定した場合、視点決定部13は、この仮想表示視点を表示視点として決定する。一方、注視部位である頭が障害物に遮られると判定した場合、視点決定部13は、仮想表示視点を再設定する。そして、こうした仮想表示視点の再設定を繰り返し実行することにより、視点決定部13は、表示視点を決定する。
なお、決定された表示視点の座標位置から注視部位の座標位置までの距離が長い場合には、対象者1のスウィング動作をモニター7に表示する際にモニター7に表示される注視部位が小さくなり、モニター7上での注視部位の動きや位置が確認しにくくなることがある。このため、視点決定部13は、表示視点の決定に加え、表示倍率を決定している。そして、視点決定部13は、表示視点に関する情報に加え、表示倍率に関する情報も表示制御部15に出力する。
図2に戻り、案内部14は、動作解析部12から入力された解析結果に基づき、対象者1の動作を基準動作に近づけるための案内(アドバイス)に関する情報である案内情報を生成する。そして、案内部14は、生成した案内情報を表示制御部15に出力する。
例えば、図4に示すように、案内部14は、対象者1の注視部位(肘)が基準動作よりも曲がっていると判断できる場合、「肘を伸ばしましょう」といった旨の案内情報を生成する。
表示制御部15では、入力された表示視点及び表示倍率に関する情報と、入力された3Dモデルデータとに基づき、同表示視点から見た対象者1のスウィング動作を、決定された表示倍率にてモニター7で表示させるための2次元の動画データを生成する。そして、図6に示すように、表示制御部15は、生成した動画データをモニター7に送信することにより、表示視点から見た対象者1のスウィング動作を、決定された表示倍率にてモニター7で表示させる。
次に、図7に示すフローチャートを参照して、運動支援装置5のマイクロコンピューターが実行する処理ルーチンについて説明する。
図7に示すように、この一連の処理ではまず、各撮像装置2からの撮像情報が運動支援装置5に入力されたか否かを判断する(ステップS71)。なお、撮像情報が入力されたか否かは、例えば撮像装置2を作動させるためのスイッチがオン操作されたか否かに基づいて判断することができる。
そして、このステップS71の処理において、撮像情報が入力されたと判断した場合(ステップS71:YES)には、3D生成部8が、各撮像装置2によって撮像された対象者1の動作に関する情報に基づいて3Dモデルデータを生成する(ステップS72)。したがって、本実施形態では、このステップS72の処理が「3D生成ステップ」に相当する。
そして次に、部位情報取得部9が、3Dモデルデータを解析し、対象者1の身体の各部位に関する部位情報を取得する(ステップS73)。
続いて、基準3D補正部11が、基準3D記憶部10から基準3Dモデルデータを読み込み(ステップS74)、基準体型を対象者1の体型に近づける体型補正を行う(ステップS75)。これにより、補正後の基準3Dモデルデータが生成される。
そして次に、動作解析部12が、補正後の基準3Dモデルデータと対象者1の3Dモデルデータとに基づき、対象者1の動作と基準動作とのずれを解析し、対象者1の身体における注視部位を決定する(ステップS76)。したがって、本実施形態では、このステップS76の処理が「動作解析ステップ」に相当する。
続いて、視点決定部13が、表示制御部15による表示制御によって対象者1のスウィング動作をモニター7に表示させるに際して、注視部位が障害物によって遮られない視点を表示視点として決定する(ステップS77)。したがって、本実施形態では、このステップS77の処理が「視点決定ステップ」に相当する。なお、この場合、このステップS77では、表示視点とともに表示倍率もまた決定される。
そして次に、案内部14が、対象者1のスウィング動作を基準動作に近づけるための案内(アドバイス)に関する情報である案内情報を生成する(ステップS78)。
続いて、表示制御部15は、3Dモデルデータ、表示視点及び表示倍率に基づいた表示制御を行うことにより、決定された表示視点から見た対象者1のスウィング動作を、決定された表示倍率でモニター7に2次元化して表示させる(ステップS79)。したがって、ステップS79の処理が「表示ステップ」に相当する。この際、表示制御部15は、上記の案内情報に基づいたアドバイスもモニター7に表示させる。そして、こうした表示制御部15による表示制御が終了すると、この一連の処理が終了される。なお、ステップS71の処理において、各撮像装置2から撮像情報が入力されていないと判断した場合(ステップS71:NO)には、以降の処理を行わずに一連の処理を終了する。
次に、本実施形態の作用について説明する。
本実施形態では、対象者1の一連の動作であるスウィング動作を複数の撮像装置2に撮像させることにより、3Dモデルデータが生成される。すると、対象者1のスウィング動作と基準動作が比較され、注視部位が決定される。
例えば、図8に示すように、対象者1の動作開始から終了までの期間、対象者1の注視部位が肘に決定されるものとする。そして、モニター7で対象者のスウィング動作を再生させるに際し、肘の位置や動きを対象者1に注目させるための表示視点として視点Aが決定される。すると、視点Aから見た対象者1のスウィング動作が、モニター7で再生される。そして、モニター7で再生された映像を対象者1が視認することにより、同対象者1は、スウィング動作を上達させるために肘の動きや位置に注意する必要があることを認識することができる。
なお、対象者1のスウィング動作がモニター7で再生される場合、案内情報も対象者1のスウィング動作と併せてモニター7に表示される。このため、対象者1は、スウィング動作を次回以降に行うに際し、肘の動きをどのように直すべきかを把握することができる。
以上説明した第1の実施形態によれば、以下の効果を得ることができる。
(1)対象者1はモニター7に表示された映像を見ることにより、スウィング動作の上達を図る上で注視すべき身体の部位を的確に把握することができる。その結果、同様な一連の動作を対象者1が次回に行う場合、注視部位の位置や動きを意識しながらスウィング動作を当該対象者1に行わせることができ、ひいては対象者1の動作の矯正を適切に支援することができる。したがって、撮像装置2によって撮像された対象者1のスウィング動作に基づいた映像をモニター7に表示させることによる当該対象者1の運動支援を効果的に行うことができる。
(2)表示制御部15が対象者1のスウィング動作をモニター7に表示させるに際して対象者1の注視部位が障害物によって遮られない視点が表示視点として決定される。このため、対象者1のスウィング動作をモニター7で再生させるに際し、注視部位がモニター7上で確実に映し出される。したがって、モニター7に表示された映像を対象者1に確認させることにより、自身が注視すべき身体の部位を正確に把握させることができる。
(3)本実施形態では、対象者1のスウィング動作と手本となる基準動作とを身体の部位毎に比較することにより注視部位が決定される。このため、基準動作とのずれの大きい対象者1の身体の部位が適切に抽出される。したがって、対象者1の身体において注視すべき部位を適切に決定することが可能になる。
(4)具体的には、対象者1の動作と基準動作との比較により、ずれが最も大きい身体の部位が注視部位として決定される。すなわち、モニター7で再生されたスウィング動作を対象者1に視認させることにより、スウィング動作を向上させる上で最も矯正すべき身体の部位を対象者1に的確に把握させることができる。
(5)さらに、本実施形態では、対象者1の動作と基準動作とに基づき注視部位を決定するに際し、スウィング動作を向上させるためのアドバイスである案内情報が生成される。そして、モニター7で対象者1のスウィング動作を再生するに際して案内情報もまたモニター7に表示される。このため、対象者1のスウィング動作を向上させるための運動支援の効率を高めることができる。
(第2の実施形態)
次に、運動支援システムの第2の実施形態について図9及び図10を参照して説明する。なお、第2の実施形態では、図7に示す一連の処理においてステップS77、及びステップS79の処理が第1の実施形態と異なっている。本実施形態では、第1の実施形態と相違する部分について主に説明するものとし、第1の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。
本実施形態の運動支援装置では、図7のステップS79の処理が実行されると、表示制御部15が対象者1のスウィング動作と基準動作との両方を重ねてモニター7に表示させる。この際、対象者1のスウィング動作と基準動作との両方を単純に重ねると、モニター7での映像が見にくくなるおそれがある。
そこで、運動支援装置は、対象者1のスウィング動作と基準動作との両方を重ねる場合、対象者1のスウィング動作及び基準動作の一方を半透明化し、両方の動作を重ねてモニター7に表示させる。本実施形態の運動支援装置は、基準動作を半透明化し、半透明化した基準動作を対象者1のスウィング動作に重ねて表示させる。
すなわち、ステップS77において、視点決定部13は、対象者1の動作と基準動作との両方をモニター7に重ねて表示させるに際して、対象者1の注視部位が障害物によって遮られない視点の範囲内において、対象者1の動作と基準動作とのずれがモニター7で最大となる視点を表示視点として決定する。なお、こうした表示視点の決定方法として例えば次のようなものがある。
図9に示すように、視点決定部13は、まず、対象者1の3Dモデルデータと補正後の基準3Dモデルデータとに基づき、対象者1のスウィング動作と基準動作とを重ねる。そして、視点決定部13は、注視部位として例えば腕が決定されている場合には、対象者1の腕の位置と基準動作での腕の位置とのずれがモニター7で最も大きく見える視点を探索し、探索した視点を仮想表示視点とする。続いて、視点決定部13は、この仮想表示視点から注視部位(ここでは腕)をみたときに、同注視部位が障害物によって遮られないか否かを判定する。視点決定部13は、注視部位が障害物によって遮られないと判定した場合、仮想表示視点を表示視点として決定する。一方、視点決定部13は、注視部位が障害物によって遮られると判定した場合、上記のずれがモニター7で次に大きく見える視点を新たな仮想視点とする。そして、上記と同様に、視点決定部13は、新たな仮想表示視点から注視部位をみたときに、同注視部位が上記障害物に遮られないか否かを判定する。
こうして表示視点が決定されると、ステップS79において、表示制御部15は、3Dモデルデータに基づき、視点決定部13によって決定された表示視点から見た対象者1のスウィング動作を2次元化した動画に関する動画データを生成する。また、表示制御部15は、補正後の基準3Dモデルデータに基づき、視点決定部13によって決定された表示視点から見た基準動作を2次元化した動画に関する動画データを生成する。そして、表示制御部15は、これらの動画データをモニター7に送信することにより、表示視点から見た対象者1のスウィング動作と基準動作との両方をモニター7で表示させる。なお、こうして動画をモニター7に表示させる際に、表示制御部15は、案内部14によって生成された案内情報も表示させてもよい。
次に、図10を参照して、本実施形態の作用について説明する。
図10に示すように、本実施形態では、視点決定部13によって決定された表示視点から見た対象者1のスウィング動作と、同表示視点から見た基準動作との両方が重なった状態でモニター7に表示される。この際、対象者1の注視部位と基準動作での注視部位とのずれが大きく見えるように、対象者1のスウィング動作基準動作とがモニター7上で重ねて表示される。
以上説明した第2の実施形態によれば、上記(1)〜(5)と同等の効果に加え、以下の効果を得ることができる。
(6)表示視点から見た対象者1のスウィング動作と、同表示視点から見た基準動作との両方がモニター7に重ねて表示される。そのため、対象者1のスウィング動作と基準動作とのずれを、対象者1に的確に把握させることができる。
(7)本実施形態では、対象者1の注視部位と基準動作での注視部位とのずれが最も大きくなるように、対象者1のスウィング動作と基準動作との両方が、モニター7で重ねて表示される。このため、対象者1は、モニター7に表示された映像を確認することにより、注視部位において自身の動作と基準動作とのずれを正確に把握することができる。
(第3の実施形態)
次に、運動支援システムの第3の実施形態について図11〜図13を参照して説明する。なお、第3の実施形態では、動作解析部12、視点決定部13、及び表示制御部15の構成が第1の実施形態と異なっている。本実施形態では、第1の実施形態と相違する部分について主に説明するものとし、第1の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。
対象者1が一連の動作を行う際には、時間の経過に伴って、基準動作と対象者1のスウィング動作とのずれが最大となる身体の部位が変化する場合がある。例えば、ゴルフクラブのスウィング動作において、ゴルフクラブを構えた状態からゴルフクラブを振り上げるテイクバック動作、ボールを打つときのインパクト動作、及びゴルフクラブを振り抜くフォロースルー動作において、基準動作と対象者1のスウィング動作とのずれが最大となる身体の部位(注視部位)が変化することがある。
本実施形態では、対象者1の一連のスウィング動作を時間で区切って解析し、この区切られた動作期間毎に対象者1の身体の注視部位を決定するようにした。
図11に示すように、本実施形態の運動支援装置5では、上記第1の実施形態と同様に、ステップS71〜ステップS75の処理を実行して3Dモデルデータと、体型補正後の基準3Dモデルデータとが生成されると、次のステップS116の処理に移行し、動作解析部12が注視部位決定処理を実行する。
図12に示すように、注視部位決定処理では、動作解析部12が、3D生成部8によって生成された3Dモデルデータを取得し(ステップS121)、基準3D補正部11によって生成された補正後の基準3Dモデルデータを取得する(ステップS122)。
そして、動作解析部12は、2つのモデルデータに基づき、対象者1の動作と基準動作とを重ねて身体の部位毎に比較する(ステップS123)。
続いて、動作解析部12は、対象者1の一連のスウィング動作を複数の動作期間(この場合、テイクバック動作、インパクト動作及びフォロースルー動作)に区切り、区切られた動作期間毎に対象者1の身体の注視部位の候補を抽出する(ステップS124)。そして、動作解析部12は、複数の注視部位の候補の中から上記のずれ量が最大となる身体の部位を注視部位として決定する決定処理を、動作期間毎に行う。次いで、動作解析部12は、各動作期間の注視部位の3次元座標を記憶する。
こうして各動作期間における注視部位を決定すると、図11に示すように、次に、ステップS117の処理に移行して、視点決定部13が表示視点決定処理を実行する。
表示視点決定処理では、視点決定部13が、各動作期間における表示視点を決定する。すなわち、視点決定部13は、テイクバック動作での注視部位に対する表示視点、インパクト動作での注視部位に対する表示視点、及びフォロースルー動作での注視部位に対する表示視点を決定する。そして、視点決定部13は、各動作期間の表示視点を記憶する。
続いて、表示制御部15は、3Dモデルデータに基づき、動作期間毎に、視点決定部13によって決定された表示視点から見た対象者1のスウィング動作を2次元化した動画に関する動画データを生成し、この動画データをモニター7に出力する(ステップS118)。ここで、テイクバック動作での注視部位に対する表示視点を「第1の表示視点」とし、インパクト動作での注視部位に対する表示視点を「第2の表示視点」とし、フォロースルー動作での注視部位に対する表示視点を「第3の表示視点」としたとする。この場合、例えば、表示制御部15は、テイクバック動作の開始時点の表示視点を第1の表示視点とし、テイクバック動作が開始されると、表示視点を第1の表示視点から第2の表示視点に近づけるようにしてもよい。そして、表示制御部15は、インパクト動作の開始時点の表示視点を第2の表示視点とし、インパクト動作が開始されると、表示視点を第2の表示視点から第3の表示視点に近づけるようにしてもよい。次いで、表示制御部15は、フォロースルー動作の開始時点の表示視点を第3の表示視点とし、フォロースルー動作中の表示視点を第3の表示視点で保持するようにしてもよい。
ここで、対象者1のスウィング動作では、動作開始から動作終了までの時間が数秒程度である。そのため、このように表示視点を徐々に変更させて、対象者1のスウィング動作をモニター7に表示させる場合、表示制御部15は、対象者1のスウィング動作の再生速度を、実際のスウィング動作の速度よりも遅くするようにしてもよい。
なお、対象者1のスウィング動作を再生する際の表示視点を徐々に変更するようにしているが、各動作期間では、表示視点を固定するようにしてもよい。この場合、テイクバック動作の再生中では、第1の表示視点から見たテイクバック動作が表示され、インパクト動作の再生中では、第2の表示視点から見たインパクト動作が表示される。そして、フォロースルー動作の再生中では、第3の表示視点から見たフォロースルー動作が表示される。
次に、図13を参照して、本実施形態の作用について説明する。
本実施形態では、対象者1の一連のスウィング動作を複数の動作期間に区切って解析し、動作期間毎に注視部位及び表示視点を決定するようにしている。なお、図13に示すように、前提として、対象者1の一連のスウィング動作を3つの動作期間に区切っており、1つ目の動作期間は、テイクバック動作時の期間であり、注視部位が腰であり、表示視点が視点Bであるものとする。また、2つ目の動作期間は、インパクト動作時の期間であり、注視部位が肘であり、表示視点が視点Cであるものとする。そして、3つ目の動作期間は、フォロースルー動作時の期間であり、注視部位が脚であり、表示視点が視点Dであるものとする。
一連のスウィング動作をモニター7に表示させる際に、第1の動作期間では、注視部位である腰を中心とした視点Bから見たテイクバック動作がモニター7に映し出される。そして、第1の動作期間中では、時間が経過するにつれて、モニター7に映し出されているテイクバック動作の視点が視点Bから視点Cに向けて変更される。
動作期間が第1の動作期間から第2の動作期間に移行されると、注視部位である肘を中心とした視点Cから見たインパクト動作がモニター7に映し出される。すると、この第2の動作期間中では、時間が経過するにつれて、モニター7に映し出されているインパクト動作の視点が視点Cから視点Dに向けて変更される。
そして、動作期間が第2の動作期間から第3の動作期間に移行されると、注視部位である脚を中心とした視点Dからのフォロースルー動作が表示される。
以上説明した第2の実施形態によれば、上記(1)〜(4)と同等の効果に加え、以下の効果を得ることができる。
(8)本実施形態では、対象者1の一連のスウィング動作を複数の動作期間に区切って解析し、動作期間毎に注視部位及び表示視点が決定される。このため、対象者1がモニター7で自身のスウィング動作を確認したときに、一連の動作を細かい動作範囲に区切って注視部位を把握することができる。したがって、対象者1の動作を効果的に矯正することが可能になる。
(第4の実施形態)
次に、運動支援システムの第4の実施形態について図14〜図16を参照して説明する。なお、第4の実施形態は、センサーが取り付けられている器具を用いて対象者1が動作をする際の運動支援システムである。本実施形態では、第1の実施形態と相違する部分について主に説明するものとし、第1の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。以下では、対象者1がゴルフクラブ17を用いてスウィング動作を行う場合を例に説明する。
図14に示すように、対象者1が用いるゴルフクラブ17には、対象者1が握持するグリップ部18と、ゴルフボールに衝突するヘッド部19と、グリップ部18とヘッド部19とを接続するシャフト部20とが設けられている。シャフト部20には、3軸方向の加速度を検出するモーションセンサー21が取り付けられている。なお、ゴルフクラブ17に取り付けるセンサーは、加速度を検出するモーションセンサーに限らず、角速度を検出する角速度センサーや、ゴルフクラブ17の歪みを検出する歪みセンサーなどであってもよい。また、複数のセンサーを備えるセンサー系をゴルフクラブ17に取り付けるようにしてもよい。
モーションセンサー21は、検出軸の一つであるx軸がシャフト部20の延伸方向と同じ方向になるように、且つx軸と直交する検出軸の1つであるy軸が、ヘッド部19のフェース面22と直交する方向と同じ方向になるようにシャフト部20に取り付けられている。なお、検出軸の1つであるz軸は、x軸及びy軸に対してそれぞれ直交している。
図15に示すように、運動支援装置5には、機能部として、3D生成部8、動作解析部12、視点決定部13、案内部14、及び表示制御部15の他に、器具情報受信部23が設けられている。
器具情報受信部23は、モーションセンサー21からの出力信号を受信する。そして、器具情報受信部23は、モーションセンサー21から受信した出力信号を動作解析部12に出力する。
動作解析部12は、器具情報受信部23から入力された出力信号に基づき、例えば、ゴルフクラブ17の動作を解析し、ヘッド部19のスピード、インパクト時のフェース面22の向き、シャフト部20の回転量などの情報を取得する。また、動作解析部12は、このように取得した情報に基づき、対象者1のスウィング動作を推定する。そして、動作解析部12は、推定したスウィング動作を解析することにより、対象者1の身体の注視部位を決定する。
ここで、ゴルフクラブ17の動作は、対象者1のスウィング動作を反映したものになる。このため、動作解析部12は、ゴルフクラブ17の動作を解析することによって、対象者1のスウィング動作を推定することができる。例えば、インパクト動作時のゴルフクラブ17のフェース面22の向きが外側に開いている場合には、対象者1の肩が基準動作よりも速く開いていることが予想される。このため、動作解析部12は、対象者1の身体において注視すべき部位である注視部位を肩とする。
次に、図16に示すフローチャートを参照して、本実施形態の運動支援装置5のマイクロコンピューターが実行する処理ルーチンについて説明する。
図16に示すように、この一連の処理ではまず、各撮像装置2からの撮像情報が運動支援装置5に入力されたか否かを判断する(ステップS161)。そして、このステップS161の処理において、撮像情報が入力されたと判断した場合(ステップS161:YES)には、3D生成部8が、各撮像装置2からの撮像情報に基づき、周知の方法により当該対象者1のスウィング動作を3次元化した動画データである3Dモデルデータを生成する(ステップS162)。したがって、本実施形態では、このステップS162の処理が「3D生成ステップ」に相当する。
そして次に、動作解析部12が、器具情報受信部23から出力されたモーションセンサー21からの情報に基づき、ゴルフクラブ17の動作を解析する。そして、動作解析部12は、ゴルフクラブ17の動作の解析結果に基づいて対象者1のスウィング動作を推定し、対象者1の身体において注視すべき部位である注視部位(本実施形態では肩)を決定する(ステップS163)。したがって、本実施形態では、このステップS163の処理が「動作解析ステップ」に相当する。
続いて、視点決定部13が、上記表示視点を決定する(ステップS164)。したがって、本実施形態では、このステップS164の処理が「視点決定ステップ」に相当する。
そして、案内部14が、対象者1の動作を矯正するための案内(アドバイス)に関する情報である案内情報を生成する(ステップS165)。
続いて、表示制御部15は、3Dモデルデータに基づき、視点決定部13によって決定された表示視点から見た対象者1のスウィング動作を2次元化した動画である動画データを生成する。そして、表示制御部15は、この動画データと案内情報に関するデータとをモニター7に出力し、対象者1のスウィング動作を案内情報とともにモニター7に表示させる(ステップS166)。したがって、ステップS166の処理が「表示ステップ」に相当する。
運動支援装置5は、こうしてモニター7に対象者1の動作を2次元した映像と案内情報とを表示させると、一連の処理を終了する。なお、ステップS161の処理において、各撮像装置2から撮像情報が入力されていないと判断した場合(ステップS161:NO)には、以降の処理を行わずに一連の処理を終了する。
次に、本実施形態の作用について説明する。
本実施形態では、モーションセンサー21からの出力信号に基づいてゴルフクラブ17の動作が検出され、このゴルフクラブ17の動作の解析結果から対象者1の動作が推定される。このため、ゴルフクラブ17を用いて動作を行う際において対象者1が注視すべき身体の部位、すなわち注視部位が適切に決定される。そして、決定した表示視点から見た対象者1のスウィング動作がモニター7に表示される。このとき、モニター7には、注視部位を中心とした対象者1のスウィング動作が表示される。
以上説明した本実施形態によれば、上記(1)、(2)、及び(5)と同等の効果を得ることができる。
(第5の実施形態)
次に、運動支援システムの第5の実施形態について図17〜図21を参照して説明する。なお、第5の実施形態では、運動支援システムが、サーバー24と同サーバー24と通信可能な情報端末25とを備える点が第1の実施形態と異なっている。本実施形態では、第1の実施形態と相違する部分について主に説明するものとし、第1の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。
図17に示すように、運動支援システムの情報端末25は、所定の運動領域に位置する対象者1を撮像する複数の撮像装置2から撮像情報を受信する。そして、情報端末25は、対象者1のスウィング動作を3次元化した動画データである3Dモデルデータを生成する。そして、運動支援システムのサーバー24は、情報端末25で生成した3Dモデルデータに基づき、対象者1のスウィング動作を解析し、対象者1の身体の注視部位を決定する。また、サーバー24は、注視部位を中心にスウィング動作をモニター7に表示させるための表示視点を決定する。そして、情報端末では、サーバー24で決定した表示視点から見た対象者1のスウィング動作をモニター7に表示させる。
図18に示すように、情報端末25には、CPUがプログラムを実行することによって構成される機能部として、3D生成部8、部位情報取得部9、基準3D記憶部10、基準3D補正部11、及び表示制御部15が設けられている。
サーバー24には、CPU、ROM及びRAMなどで構成されるマイクロコンピューターが設けられている。そして、サーバー24には、CPUがプログラムを実行することによって構成される機能部として、動作解析部12、視点決定部13、案内部14、及び履歴記憶部26が設けられている。動作解析部12には、対象者1の動作を解析する際のルールが記憶された解析ルール保持部27が設けられており、動作解析部12は、解析ルール保持部27に記憶されているルールに基づいて対象者1のスウィング動作を解析する。
上述したように、3D生成部8は、撮像装置2によって撮像された動画に関する情報に基づき、対象者1の3Dモデルデータを生成する。また、部位情報取得部9は、対象者1の3Dモデルデータを解析し、対象者1の身体の各部位に関する情報を取得する。
基準3D補正部11は、基準3D記憶部10に記憶されている基準3Dモデルデータと、部位情報取得部9によって取得された対象者1の身体の各部位の情報とに基づいて、基準3Dモデルデータの情報を対象者1の体型に近づける体型補正を行う。
そして、情報端末25は、補正後の基準3Dモデルデータと対象者1の3Dモデルデータとの両方に関する情報をサーバー24に送信する。
こうした情報をサーバー24が受信すると、サーバー24の動作解析部12が、対象者1のスウィング動作を解析する。動作解析部12には、解析ルール保持部27が設けられており、解析ルール保持部27には、初期設定として、例えば「対象者1のスウィング動作と基準動作とのずれが最も大きい身体の部位を注視部位として決定する」という解析ルールが記憶されている。そして、動作解析部12は、この解析ルール保持部27に記憶されている解析ルールに基づき、対象者1のスウィング動作と基準動作とのずれが最も大きい身体の部位が注視部位として決定する。なお、この解析ルールを適宜更新することが可能である。
視点決定部13は、初期視点記憶部16を有し、3Dモデルデータと注視部位に関する情報とに基づき、モニター7に対象者1のスウィング動作を表示させる際の表示視点を決定する。
履歴記憶部26には、対象者1の個人特性(例えば、名称や体型)等に関する情報や、過去の動作に対する解析結果の履歴などが記憶されている。
例えば、図19に示すように、履歴記憶部26には、対象者毎に、動作解析部12から入力された注視部位の情報や、案内部14から入力された案内情報の履歴が記憶されている。また、履歴記憶部26には、対象者1のスウィング動作が基準動作に近づいたか否かの評価履歴も記憶される。例えば、対象者1の前回のスウィング動作と今回のスウィング動作とを比較し、今回のスウィング動作のほうが前回のスウィング動作よりも基準動作に近い場合、対象者1のスウィング動作が基準動作に近づいたと評価することができる。
なお、履歴記憶部26には、動作解析部12で算出した注視部位のずれ量が記憶されている。そして、今回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量が、前回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量よりも減少している場合、履歴記憶部26に、評価履歴として「良」が記憶される。反対に、今回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量が、前回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量よりも増加している場合には、履歴記憶部26に、評価履歴として「悪」が記憶される。また、今回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量が、前回の対象者1のスウィング動作と基準動作との注視部位におけるずれ量と変化していない場合や、前回の注視部位と今回の注視部位とが異なっている場合、履歴記憶部26の評価履歴が更新されない。
案内部14は、動作解析部12から入力された解析結果に基づき、対象者1のスウィング動作を基準動作に近づけるための案内(アドバイス)に関する情報である案内情報を生成する。この案内情報は、履歴記憶部26に記憶される。
そして、サーバー24は、対象者1のスウィング動作の解析を終了すると、表示視点に関する情報及び案内情報を情報端末25に送信する。
そして、情報端末25の表示制御部15は、3Dモデルデータに基づき、サーバー24で決定された表示視点から見た対象者1のスウィング動作を2次元化した動画である動画データを生成する。そして、表示制御部15は、生成した動画データをモニター7に出力することにより、対象者1のスウィング動作を、案内情報とともにモニター7に表示させる。
次に、図20に示すフローチャートを参照して、情報端末25のマイクロコンピューターが実行する制御の処理ルーチンについて説明する。
図20に示すように、この一連の処理ではまず、各撮像装置2から撮像情報が情報端末25に入力されたか否かを判断する(ステップS201)。
そして、このステップS201の処理において、撮像情報が入力されたと判断した場合(ステップS201:YES)、3D生成部8が、3Dモデルデータを生成する(ステップS202)。
そして次に、部位情報取得部9が、3Dモデルデータを解析し、対象者1の身体の各部位に関する部位情報を取得する(ステップS203)。
続いて、基準3D補正部11は、基準3D記憶部10から基準3Dモデルデータを読み込み(ステップS204)、基準体型を対象者1の体型に近づける体型補正を行う(ステップS205)。
すると、情報端末25からサーバー24に、補正後の基準3Dモデルデータ及び3Dモデルデータの両方に関する情報が送信される(ステップS206)。
こうして情報をサーバー24に送信すると、処理が次のステップS207に移行される。この処理では、サーバー24から表示視点に関する情報、及び案内情報を受信したか否かを判断する。サーバー24から当該情報を受信していない場合(ステップS207:NO)、ステップS207の判定処理が繰り返される。
一方、サーバー24から当該情報を受信した場合(ステップS207:YES)、表示制御部15は、サーバー24で決定された表示視点から見た対象者1のスウィング動作と案内情報とをモニター7に表示させる(ステップS208)。なお、ステップS201の処理において、各撮像装置2から撮像情報が入力されていないと判断した場合(ステップS201:NO)には、以降の処理を行わずに一連の処理を終了する。
次に、図21に示すフローチャートを参照して、サーバー24のマイクロコンピューターが実行する制御の処理ルーチンについて説明する。
図21に示すように、この一連の処理ではまず、情報端末25から対象者1の3Dモデルデータの情報と補正後の基準3Dモデルデータの情報とをサーバー24が受信したか否かを判断する。そして、これらの情報を受信した場合(ステップS211:YES)、動作解析部12は、これらの情報に基づき、対象者1のスウィング動作と基準動作とのずれが最も大きい身体の部位を注視部位に決定する(ステップS212)。
そして、動作解析部12は、この注視部位と、今回の対象者1のスウィング動作と基準動作とのずれ量とを、履歴記憶部26に記憶する(ステップS213)。そして、前回記憶された注視部位と今回記憶された注視部位とが同じ部位である場合(ステップS214:YES)、ステップS215の処理に移行して、動作解析部12は、今回の対象者1のスウィング動作における基準動作とのずれ量と、前回の対象者1のスウィング動作における基準動作とのずれ量とを比較する。そして、今回の対象者1のスウィング動作における基準動作とのずれ量が前回の対象者1のスウィング動作における基準動作とのずれ量よりも減少している場合(ステップS215:YES)、動作解析部12は、履歴記憶部26に評価履歴として「良」と記憶する(ステップS216)。また、今回の対象者1のスウィング動作における基準動作とのずれ量が前回の対象者1のスウィング動作における基準動作とのずれ量よりも減少していない場合(ステップS215:NO)、ステップS217の処理に移行する。そして、動作解析部12は、今回の対象者1のスウィング動作における基準動作とのずれ量が前回の対象者1のスウィング動作における基準動作とのずれ量よりも増加しているか否かを判断する。そして、今回の対象者1のスウィング動作における基準動作とのずれ量が前回の対象者1のスウィング動作における基準動作とのずれ量よりも増加している場合(ステップS217:YES)、動作解析部12は、履歴記憶部26に評価履歴として「悪」と記憶する(ステップS218)。こうして評価履歴が記憶されると、次にステップS219の処理に移行する。
一方、今回の対象者1のスウィング動作における基準動作とのずれ量と、前回の対象者1のスウィング動作における基準動作とのずれ量とに変化が無い場合には、ステップS217の処理において否定判定となる(ステップS217:NO)。また、前回記憶された注視部位と今回記憶された注視部位とが異なる部位である場合には、ステップS214の処理において否定判定となる(ステップS214:NO)。こうした場合には、評価履歴として何も記憶せずにステップS219の処理に移行する。
ステップS219において、視点決定部13が、表示視点として決定する。
そして次に、案内部14が、案内情報を生成する(ステップS220)。
その後、ステップS221の処理に移行して、表示視点に関する情報、及び案内情報を情報端末25に送信して、一連の処理を終了する。
ここで、対象者1のスウィング動作には、身体の各部位の個々の動きがまとめて反映されているため、対象者1のスウィング動作を基準動作に近づける上では、必ずしも基準動作からのずれが最大となる部位に注視することが最適であるとは限らない。例えば、腰の位置がずれている場合には、腰より下の脚の動きを矯正した方が、身体全体として基準動作に近づく場合も考えられる。このため、本実施形態では、動作解析部12の解析ルール保持部27に記憶されている解析ルールを更新するようにしている。
本実施形態では、初期設定として、対象者1の動作において、基準動作から最もずれている部位を注視部位に決定するようにしており、この注視部位の動作を基準動作に近づけるように案内情報が生成される。そして、こうしたアドバイスの後に対象者1の動作が基準動作に近づいたかの情報が記憶される。履歴記憶部26では、こうした結果を蓄積し、対象者1の動作が基準動作に収束しているか否かを評価する。なお、ここでは、身体の各部位において基準動作からのずれ量を算出し、これらずれ量の総和が減少している場合に対象者1の動作が基準動作に近づいていると判断するようにしてもよい。また、身体の各部位における基準動作から最もずれている部位のずれ量が減少している場合に、対象者1の動作が基準動作に近づいていると判断するようにしてもよい。
そして、対象者1のスウィング動作が基準動作に近づいていると判断できない場合には、ずれ量が最も多い部位を注視部位とするのではなく、例えば、ずれ量が最も多い部位の近くの部位を注視部位とするようにしてもよい。例えば、基準動作から最もずれている部位が肘である場合には、肘を注視部位にするのではなく、肘に近い肩が注視部位に決定される。そして、この肩の動きを基準動作での肩の動きに近づけるように案内情報が生成される。その結果、対象者1のスウィング動作が基準動作に近づいたか否かが評価される。サーバー24は、複数の情報端末25と通信可能であるため、多数の対象者においてこうした評価を繰り返すことにより、膨大な数の評価データを蓄積することができる。そして、こうした評価データに基づき、初期設定の解析ルールよりも最適な解析ルールを学習する。これにより、解析ルール保持部27を更新して、新たな解析ルールに基づいて動作解析を実行する。
また、実際に履歴記憶部26に記憶されている評価履歴を用いずに、コンピューター上でシミュレーションを行うことによって最適な解析ルールを導き出す場合もある。こうした場合には、サーバー24と通信して解析ルール保持部27を更新することで、解析ルール保持部27に新たな解析ルールを記憶させる。こうした更新を行うことによっても、解析ルールを変更することができる。
次に、本実施形態の作用について説明する。
本実施形態では、情報端末25で生成された3Dモデルデータをサーバー24が受信すると、同サーバー24では、対象者1のスウィング動作が解析され、当該対象者1における身体の注視部位が決定される。また、サーバー24では、決定した注視部位に基づき表示視点が決定され、同表示視点に関する情報が情報端末25に送信される。すると、情報端末25では、サーバー24で決定された表示視点から見た対象者1のスウィング動作がモニター7に表示される。
また、解析ルールの学習が行われて解析ルール保持部27が更新されるため、より効果的な解析ルールに基づいて動作解析が行われる。このため、対象者1のスウィング動作を基準動作に近づけるために注視すべき身体の部位がより適切に決定される。
また、解析ルール保持部27と動作解析部12とがサーバー24に設けられているため、サーバー24のデータを更新するだけで、運動支援システムにおける動作解析の解析ルールを変更することができる。
以上説明した第5の実施形態によれば、上記(1)〜(5)と同等の効果に加え、以下の効果を得ることができる。
(9)解析ルールの学習が行われるため、より効果的な解析ルールに基づいて動作解析を行うことができる。したがって、対象者1のスウィング動作を基準動作に近づけるために注視すべき身体の部位をより適切に決定してモニター7に表示することができ、対象者1のスウィング動作を効果的に矯正することができる。
(10)解析ルール保持部27と動作解析部12とがサーバー24に設けられているため、サーバー24のデータを更新するだけで、運動支援システムにおける動作解析の解析ルールを容易に変更することができる。
(第6の実施形態)
次に、運動支援システムの第6の実施形態について図22及び図23を参照して説明する。なお、第6の実施形態では、運動支援システムが、サーバー28と情報端末29とに加え、表示部30を有し、情報端末29と通信可能なモバイル端末31をさらに備える点で第5の実施形態と異なっている。本実施形態では、第5の実施形態と相違する部分について主に説明するものとし、第5の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。
図22に示すように、運動支援システムのモバイル端末31は、情報端末29と通信可能である。こうしたモバイル端末31は、対象者1が所有するものであり、所定のプログラムをインストールすることにより情報端末29と通信可能になる。
情報端末29は、サーバー28と通信し、3Dモデルデータに基づいた映像をモバイル端末31の表示部30に表示させる。なお、情報端末29は、サーバー28と通信することにより、対象者1の動作に応じてモバイル端末31の表示部30に表示させる映像を変更する。なお、サーバー28は複数の情報端末29と通信可能になっている。
図23に示すように、情報端末29には、機能部として、3D生成部8、部位情報取得部9、基準3D記憶部10、基準3D補正部11、及び表示制御部15が設けられている。また、サーバー28には、機能部として、解析ルール保持部27を有する動作解析部12、初期視点記憶部16を有する視点決定部13、案内部14、及び履歴記憶部26が設けられている。また、モバイル端末31には、機能部として表示部30と動作記憶部32とが設けられている。
そして、情報端末29は、サーバー24で決定された表示視点から見た対象者1のスウィング動作及び案内情報の両方に関する情報をモバイル端末31に送信する。すると、モバイル端末31では、受信したスウィング動作及び案内情報の両方に関する情報が動作記憶部32に記憶される。そして、動作記憶部32に記憶された情報が読みだされると、サーバー24で決定された表示視点から見た対象者1のスウィング動作が、案内情報とともに表示部30に表示される。
上記第6の実施形態によれば、上記(1)〜(5)、(9)、及び(10)と同等の効果に加えて、以下の効果を得ることができる。
(11)対象者1は、自身のモバイル端末31でスウィング動作を視認することができる。すなわち、対象者1の所望するときに、自身のスウィング動作を確認させることができる。
(第7の実施形態)
次に、運動支援システムの第7の実施形態について図24〜図26を参照して説明する。なお、第7の実施形態では、モバイル端末31に実施させる処理内容が第6の実施形態と異なっている。本実施形態では、第6の実施形態と相違する部分について主に説明するものとし、第6の実施形態と同様の構成については同一の符号を付して詳細な説明は省略する。
図24に示すように、情報端末29には、機能部として、3D生成部8、部位情報取得部9、基準3D記憶部10、及び基準3D補正部11が設けられている。また、サーバー28には、機能部として、動作解析部12、案内部14、及び履歴記憶部26が設けられている。そして、情報端末29が、複数の撮像装置2によって撮像された対象者1の動作の情報に基づき、同対象者1の動作を3次元化した動画データである3Dモデルデータを生成する。そして、サーバー28が、3Dモデルデータに基づき、対象者1の動作を解析し、当該対象者1の身体において注視すべき部位である注視部位を決定する。したがって、本実施形態では、サーバー28及び情報端末29により運動支援システムの一例が構成されている。
また、モバイル端末31には、機能部として、視点決定部13、表示制御部15、表示部30、動作記憶部32、3D取得部33、注視部位取得部34、及び案内情報取得部35とが設けられている。なお、モバイル端末31には、所定のプログラム(運動支援プログラムの一例)がインストールされており、同モバイル端末31を構成するマイクロコンピューターのCPUがこのプログラムを実行することにより、視点決定部13、表示制御部15、3D取得部33、注視部位取得部34、及び案内情報取得部35が構成される。モバイル端末31には、サーバー28から3Dモデルデータと注視部位とに関する情報が送信されるようになっている。
次に、図25に示すフローチャートを参照して、本実施形態の運動支援システムを構成する情報端末29のマイクロコンピューターが実行する制御の処理ルーチンについて説明する。
図25に示すように、情報端末29が実行する一連の処理では、まず、各撮像装置2からの撮像情報が情報端末29に入力されたか否かを判断する(ステップS251)。
そして、このステップS251の処理において、撮像情報が入力されたと判断した場合(ステップS251:YES)、3D生成部8が、3Dモデルデータを生成する(ステップS252)。
そして次に、部位情報取得部9が、3Dモデルデータを解析し、対象者1の身体の各部位に関する部位情報を取得する(ステップS253)。
続いて、基準3D補正部11が、基準3D記憶部10から基準3Dモデルデータを読み込み(ステップS254)、基準体型を対象者1の体型に近づける体型補正を行う(ステップS255)。これにより、基準3Dモデルデータが補正される。
そして次に、情報端末29が、サーバー28に、補正後の基準3Dモデルデータ及び対象者1の3Dモデルデータの両方に関する情報を送信する(ステップS256)。その後、この一連の処理を終了する。
なお、ステップS251の処理において、各撮像装置2から撮像情報が情報端末29に入力されていないと判断した場合(ステップS261:NO)、情報端末29は、以降の処理を行わずに一連の処理を終了する。
そして、サーバー28は、情報端末29から受信した情報に基づき、対象者1の動作を解析し、当該対象者1の身体において注視すべき部位である注視部位を決定する。なお、サーバー28のマイクロコンピューターが実行する制御の処理ルーチンは、ステップS219及びステップS221の処理を実行しない以外、第5の実施形態における図21に示す処理と同じであるため、説明を省略する。
次に、図26を参照して、モバイル端末31のマイクロコンピューターが実行する処理について説明する。
この一連の処理ではまず、3D取得部33が、サーバー28から対象者1の3Dモデルデータを取得する(ステップS261)。そして次に、注視部位取得部34が、サーバー28から注視部位に関する情報を取得する(ステップS262)。
続いて、案内情報取得部35が、サーバー28から案内情報を取得する(ステップS263)。
そして次に、視点決定部13は、サーバー28から受信した注視部位に関する情報に基づき、モニター7に対象者1のスウィング動作を表示させる際の表示視点を決定する(ステップS264)。したがって、ステップS264の処理が「視点決定ステップ」に相当する。
すると、表示制御部15は、3Dモデルデータに関する情報と、ステップS264の視点決定ステップで決定した表示視点とに基づき、表示視点から見た対象者1のスウィング動作を表示部30に表示させる表示制御を実行する(ステップS265)。この表示制御では、表示視点から見た対象者1のスウィング動作を2次元化した動画に関する動画データを生成し、この動画に関する情報と案内情報とを表示部30に出力する。表示制御部15がこうした表示制御を実行することにより、表示部30には、表示視点から見た対象者1のスウィング動作と案内情報とが表示される。したがって、ステップS265の処理が「表示ステップ」に相当する。そして、こうして表示部30に映像を表示させると、一連の処理を終了する。
次に、本実施形態の作用について説明する。
本実施形態では、情報端末29で生成された3Dモデルデータをサーバー28が受信すると、同サーバー28では、対象者1のスウィング動作が解析され、当該対象者1における身体の注視部位が決定される。また、サーバー28では、決定した注視部位に基づき表示視点が決定されるとともに、案内情報が生成される。すると、こうした情報がモバイル端末31に送信される。
すると、モバイル端末31では、サーバー28から受信した各種のデータに基づき、表示視点から見た対象者1の動作が表示部30に表示される。
以上説明した第7の実施形態によれば、上記(1)〜(5)及び(9)〜(11)と同等の効果を得ることができる。
なお、上記各実施形態は以下のように変更してもよい。
・上記第2の実施形態において、表示制御部15では、対象者1のスウィング動作と基準動作とを重ねてモニター7に表示させる際に、基準動作を半透明化させなくてもよい。また、基準動作を半透明化せずに、対象者1のスウィング動作を半透明化させるようにしてもよい。
・上記各実施形態において、対象者1のスウィング動作と基準動作との両方をモニター7に表示させるに際し、モニター7を複数の領域に分割し、一の領域に対象者1のスウィング動作を表示させ、他の領域に基準動作を表示させるようにしてもよい。
・第3の実施形態では、モニター7で対象者1のスウィング動作を再生する際の再生速度を実際のスウィング動作よりも遅くするようにしたが、再生速度を変更しなくてもよい。また、他の実施形態において、表示部に対象者1の動作を再生させるときの再生速度を適宜変更してもよい。
・第4の実施形態の運動支援装置を、ゴルフクラブ以外の器具を用いた対象者1の動作の上達を支援する装置に具体化してもよい。例えば、野球のバットにセンサーを取り付け、対象者1のバットのスウィング動作を推定し、同推定結果に基づいて対象者1のスウィング動作を解析するようにしてもよい。
・第5〜第7の実施形態において、履歴記憶部26を設けなくてもよい。すなわち、解析ルールの学習を行わなくてもよい。こうした場合には、解析ルール保持部27に記憶されている解析ルールの更新は行われない。
・第6及び第7の実施形態において、動作記憶部32を必ずしも設ける必要はない。
・サーバー24,28が、部位情報取得部9、基準3D記憶部10、基準3D補正部のうち少なくとも1つを備えるようにしてもよい。また、情報端末25,29が、動作解析部12、視点決定部13、案内部14のうち少なくとも1つを備えるようにしてもよい。すなわち、サーバーと情報端末とで通信することで注視部位を視認可能な表示視点を決定し、表示視点から見た対象者1の動作を表示部に表示できるシステムであれば、上記の運動支援システム以外の他の任意のシステムであってもよい。
・第3の実施形態、及び第5〜第7の実施形態において、第2の実施形態と同様に、対象者1の動作と基準動作とを重ねて表示部に表示させるようにしてもよい。
・第4〜第7の実施形態において、第3の実施形態と同様に、対象者1の一連の動作を複数の動作期間に区切って解析し、この区切られた動作期間毎に対象者1の身体の注視部位を決定するようにしてもよい。
・基準3D補正部11を必ずしも備える必要はない。例えば、基準3D記憶部10がそれぞれ異なる体型を有する複数の基準3Dモデルデータを記憶している場合には、基準3D補正部11を備えなくてもよい。また、基準動作の体型補正を自動的に行うようにしたが、基準動作の体型補正を対象者1が動作前に手動で行うようにしてもよい。
・各実施形態では、案内部14を省略してもよい。この場合には、表示部には対象者1の動画のみが表示される。
・各実施形態において、案内部14で生成された案内情報を、音声によって対象者1に伝達するようにしてもよい。
・初期視点記憶部16は、身体の各部位に対応させて初期視点を記憶していたが、初期視点の記憶態様はこれに限られない。例えば、身体の上半身及び下半身に分けて2つの初期視点を記憶するようにしてもよいし、初期視点として1つの視点のみを記憶するようにしてもよい。
・視点決定部13では、表示視点から対象者の動作を見たときに注視部位の少なくとも一部が視認できるのであれば、注視部位が障害物によって遮られるか否かを考慮することなく表示視点を決定するようにしてもよい。
・視点決定部13は、対象者1の目から注視部位を見たときに注視部位を視認可能であると判断した場合、この対象者の目の位置を表示視点として決定する。こうした構成によれば、対象者1は自身の目から見たときの注視部位の動作を確認することができるため、対象者1は自身から見た身体の動作と表示部に表示された対象者1の動作とが同じ視点からのものになり、動作を矯正しやすくなる。
・動作解析部12では、注視部位を決定する際に、必ずしも対象者1の動作と基準動作とを重ねて比較する必要はない。例えば、各モデルデータの各部位の3次元座標を比較して、これらの位置のずれに基づいて注視部位が決定できるのであれば、対象者1の動作と基準動作とを重ねて比較しなくてもよい。
・対象者1の動作における注視部位の動作と対象者1の全体の動作とをモニター7に並べて表示させるようにしてもよい。こうした構成によれば、対象者1の全体の動作と注視部位の動作とを表示部で一度に確認することができる。
・上記システムにおいて、視点決定部13は、初期視点記憶部16において各部位に対応させて記憶されている初期視点を表示視点として決定する。そして、このシステムでは、表示視点から注視部位を見たときに注視部位が障害物に遮られてしまう場合には、対象者の動作を表示部に表示させたときに障害物が見えないように画像処理を行うようにしてもよい。この場合、表示視点の設定に要する負荷を低減させることができる。
・上記各実施形態では、対象者1がゴルフクラブのスウィング動作を行った場合の運動支援を例に説明したが、対象者1が行う動作はこれに限られない。例えば、本システムを、野球のバットのスウィング動作、テニスのラケットのスウィング動作の上達を支援するシステムに具体化してもよい。また、本システムを、ゴルフクラブのような器具を用いない動作(例えば、ダンスの動作)の上達を支援するシステムに具体化してもよい。さらに、本システムを、スポーツをする際の動作に限らず、例えば、楽器演奏、料理、及び陶芸などの動作を支援するシステム、リハビリを行う患者の動作を支援するシステムに適用するようにしてもよい。
1…対象者、2…撮像装置、3…RGBカメラ、4…深度センサー、5…運動支援装置、6…表示装置、7…モニター、8…3D生成部、9…部位情報取得部、10…基準3D記憶部、11…基準3D補正部、12…動作解析部、13…視点決定部、14…案内部、15…表示制御部、16…初期視点記憶部、17…ゴルフクラブ、18…グリップ部、19…ヘッド部、20…シャフト部、21…モーションセンサー、22…フェース面、23…器具情報受信部、24…サーバー、25…情報端末、26…履歴記憶部、27…解析ルール保持部、28…サーバー、29…情報端末、30…表示部、31…モバイル端末、32…動作記憶部、33…3D取得部、34…注視部位取得部、35…案内情報取得部。

Claims (11)

  1. 対象者の動作を撮像する複数の撮像装置によって撮像された動画に関する情報に基づき、当該対象者の動作を3次元化した動画データである3Dモデルデータを生成する3D生成部と、
    前記対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定する動作解析部と、
    前記3D生成部によって生成された3Dモデルデータに基づき、表示視点を決定する視点決定部と、
    前記3D生成部によって生成された3Dモデルデータに基づき、前記視点決定部によって決定された前記表示視点から見た前記対象者の動作を表示部に表示させる表示制御部と、を備え、
    前記視点決定部は、前記表示制御部が前記対象者の動作を前記表示部に表示させるに際して前記注視部位が同表示部に表示される視点を前記表示視点として決定する
    運動支援システム。
  2. 前記視点決定部は、前記表示制御部が前記対象者の動作を前記表示部に表示させるに際して前記注視部位が障害物によって遮られない視点を前記表示視点として決定する
    請求項1に記載の運動支援システム。
  3. 基準となる動作である基準動作を3次元化した動画データである基準3Dモデルデータを記憶する基準記憶部を備え、
    前記動作解析部は、前記3D生成部によって生成された3Dモデルデータと前記基準3Dモデルデータとに基づき、前記対象者の動作と前記基準動作とを身体の部位毎に比較することにより前記注視部位を決定する
    請求項1または2に記載の運動支援システム。
  4. 前記動作解析部は、前記3Dモデルデータと前記基準3Dモデルデータとに基づき、前記対象者の動作と前記基準動作とのずれが最も大きい身体の部位を前記注視部位として決定する
    請求項3に記載の運動支援システム。
  5. 前記表示制御部は、前記視点決定部によって決定された前記表示視点から見た前記対象者の動作と、同表示視点から見た前記基準動作との両方を前記表示部に重ねて表示させる
    請求項3または4に記載の運動支援システム。
  6. 前記視点決定部は、前記対象者の動作と前記基準動作との両方を前記表示部に重ねて表示させるに際して、前記注視部位が障害物によって遮られない視点の範囲内において、前記対象者の動作と前記基準動作とのずれが前記表示部で最大となる視点を前記表示視点として決定する
    請求項5に記載の運動支援システム。
  7. 前記動作解析部は、センサーが取り付けられた器具を用いて前記対象者が動作を行った場合に、前記センサーから出力された信号に基づき、前記対象者が動作を行っている最中での前記器具の動作を解析して前記注視部位を決定する
    請求項1または2に記載の運動支援システム。
  8. サーバーと、前記サーバーと通信可能な情報端末と、を備え、
    前記サーバーは、前記動作解析部と前記視点決定部とを有し、
    前記情報端末は、前記3D生成部と前記表示制御部とを有している
    請求項1〜7のいずれか一項に記載の運動支援システム。
  9. サーバーと、前記サーバーと通信可能な情報端末と、前記表示部を有し、前記情報端末と通信可能なモバイル端末と、を備え、
    前記サーバーは、前記動作解析部と前記視点決定部とを有し、
    前記情報端末は、前記3D生成部と前記表示制御部とを有しており、
    前記情報端末の前記表示制御部は、前記視点決定部によって決定された前記表示視点から見た前記対象者の動作に関する情報である動作情報を前記モバイル端末に送信することにより、前記対象者の動作を前記モバイル端末の前記表示部に表示させる
    請求項1〜7のいずれか一項に記載の運動支援システム。
  10. 複数の撮像装置が撮像した対象者の動作に関する情報に基づき、当該対象者の動作を3次元化した動画データである3Dモデルデータを生成させる3D生成ステップと、
    前記対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定させる動作解析ステップと、
    前記3D生成ステップで生成した3Dモデルデータに基づき、表示視点を決定する視点決定ステップと、
    前記3D生成ステップで生成した3Dモデルデータに基づき、前記視点決定ステップで決定した前記表示視点から見た前記対象者の動作を生成して表示部に表示させる表示ステップと、を有し、
    前記視点決定ステップでは、前記表示ステップで前記対象者の動作を前記表示部に表示させるに際して前記注視部位が同表示部に表示される視点が前記表示視点とされる
    運動支援方法。
  11. 対象者の動作を表示部に表示させる表示制御を行うコンピューターに実行させるための運動支援プログラムであって、
    前記コンピューターを備える端末は、運動支援システムと通信可能であり、
    前記運動支援システムは、複数の撮像装置によって撮像された対象者の動作の情報に基づき、同対象者の動作を3次元化した動画データである3Dモデルデータを生成し、前記対象者の動作を解析し、当該対象者の身体において注視すべき部位である注視部位を決定し、同3Dモデルデータと同注視部位とに関する情報を前記端末に送信するようになっており、
    前記コンピューターに、
    前記運動支援システムから受信した前記注視部位に関する情報に基づき、前記対象者の動作を前記表示部に表示させるに際して、前記注視部位が前記表示部に表示される視点を表示視点として決定させる視点決定ステップと、
    前記運動支援システムから受信した前記3Dモデルデータに関する情報と、前記視点決定ステップで決定した前記表示視点とに基づき、前記表示視点から見た前記対象者の動作を前記表示部に表示させる表示ステップと、を実行させる
    運動支援プログラム。
JP2014209064A 2014-10-10 2014-10-10 運動支援システム、運動支援方法、及び運動支援プログラム Pending JP2016077346A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014209064A JP2016077346A (ja) 2014-10-10 2014-10-10 運動支援システム、運動支援方法、及び運動支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014209064A JP2016077346A (ja) 2014-10-10 2014-10-10 運動支援システム、運動支援方法、及び運動支援プログラム

Publications (1)

Publication Number Publication Date
JP2016077346A true JP2016077346A (ja) 2016-05-16

Family

ID=55956670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014209064A Pending JP2016077346A (ja) 2014-10-10 2014-10-10 運動支援システム、運動支援方法、及び運動支援プログラム

Country Status (1)

Country Link
JP (1) JP2016077346A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429301B1 (ja) * 2018-01-11 2018-11-28 株式会社元気広場 動作獲得支援装置、動作獲得支援システム、及び、動作獲得支援装置の制御方法
WO2019012817A1 (ja) 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
JP2019056966A (ja) * 2017-09-19 2019-04-11 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
WO2020179128A1 (ja) * 2019-03-06 2020-09-10 株式会社日立製作所 学習支援システム、学習支援装置及びプログラム
JP2021152784A (ja) * 2020-03-24 2021-09-30 カシオ計算機株式会社 アニメーション生成装置、アニメーション生成方法及びプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012817A1 (ja) 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
US11727642B2 (en) 2017-07-14 2023-08-15 Sony Corporation Image processing apparatus, image processing method for image processing apparatus, and program
JP2019056966A (ja) * 2017-09-19 2019-04-11 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
JP6429301B1 (ja) * 2018-01-11 2018-11-28 株式会社元気広場 動作獲得支援装置、動作獲得支援システム、及び、動作獲得支援装置の制御方法
JP2019118763A (ja) * 2018-01-11 2019-07-22 株式会社元気広場 動作獲得支援装置、動作獲得支援システム、及び、動作獲得支援装置の制御方法
WO2020179128A1 (ja) * 2019-03-06 2020-09-10 株式会社日立製作所 学習支援システム、学習支援装置及びプログラム
JP2020144233A (ja) * 2019-03-06 2020-09-10 株式会社日立製作所 学習支援システム、学習支援装置及びプログラム
JP7116696B2 (ja) 2019-03-06 2022-08-10 株式会社日立製作所 学習支援システム及びプログラム
JP2021152784A (ja) * 2020-03-24 2021-09-30 カシオ計算機株式会社 アニメーション生成装置、アニメーション生成方法及びプログラム
JP7040549B2 (ja) 2020-03-24 2022-03-23 カシオ計算機株式会社 アニメーション生成装置、アニメーション生成方法及びプログラム
JP2022075741A (ja) * 2020-03-24 2022-05-18 カシオ計算機株式会社 アニメーション生成装置、アニメーション生成方法及びプログラム

Similar Documents

Publication Publication Date Title
US8879787B2 (en) Information processing device and information processing method
JP5858261B2 (ja) 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
JP2016077346A (ja) 運動支援システム、運動支援方法、及び運動支援プログラム
WO2012039467A1 (ja) 運動支援システム
KR102125748B1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
JP5624625B2 (ja) 運動支援システム
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
JP5238900B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2014137725A (ja) 情報処理装置、情報処理方法及びプログラム
JP2015146980A (ja) 運動支援システム、運動支援装置及び運動支援方法
WO2018012062A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2011194073A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
KR101915780B1 (ko) 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN109219426A (zh) 康复训练辅助控制装置以及计算机程序
JP2020141806A (ja) 運動評価システム
EP3617845A1 (en) Control device, information processing system, control method, and program
JP2014166564A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5971816B2 (ja) ゲーム装置及びプログラム
WO2018079383A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP7024876B2 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
WO2021205843A1 (ja) 情報処理装置、情報処理方法、撮像システム