JP2017064120A - 情報処理装置およびシステム - Google Patents

Abstract

【課題】健康器具を利用して運動する被験者に対して、自身が理想的な運動を行っているかどうかを認識させる。【解決手段】本発明に係る情報処理装置は、ガイド情報生成部と出力制御部とを備える。ガイド情報生成部は、運動器具を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、検出領域の被写体の深度情報に基づいて、運動器具を利用した理想的な運動を行っているかどうかを被験者に認識させるためのガイド情報を生成する。出力制御部は、撮像画像と深度情報とから該撮像画像に映り込んだ被験者の各部の関節を推定した結果を示す骨格データを該撮像画像上に重ね合わせたモーション画像と併せて、ガイド情報を出力する制御を行う。【選択図】図１１

Description

本発明は、情報処理装置およびシステムに関する。

近年、例えば高齢者の転倒防止、介護予防、健康寿命の延伸などを目的とした体幹強化による介護予防トレーニングにおいて、可視化された動作情報を被験者へ提示するトレーニングサポートシステムが開発されている。

例えば特許文献１には、身体の各部（頭部等）にマーカーを付けた状態で歩行する患者を撮像して得られた撮像画像に基づいて、患者の身体の各部の動きを示す画像データを生成して表示する技術が開示されている。

しかしながら、従来技術のように、可視化された動作情報を被験者に提示するだけでは、被験者は、自身が理想的な運動を行っているのかどうかを認識することができないという問題がある。

本発明は、上記に鑑みてなされたものであって、健康器具を利用して運動する被験者に対して、自身が理想的な運動を行っているかどうかを認識させることが可能な情報処理装置およびシステムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、運動器具を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、前記検出領域の被写体の深度情報に基づいて、前記運動器具を利用した理想的な運動を行っているかどうかを前記被験者に認識させるためのガイド情報を生成するガイド情報生成部と、前記撮像画像と前記深度情報とから該撮像画像に映り込んだ前記被験者の各部の関節を推定した結果を示す骨格データを該撮像画像上に重ね合わせたモーション画像と併せて、前記ガイド情報を出力する制御を行う出力制御部と、を備える情報処理装置である。

本発明によれば、運動器具を利用して運動する被験者に対して、自身が理想的な運動を行っているかどうかを認識させることができるという有利な効果を奏する。

図１は、システムの概略構成の一例を示す断面図である。 図２は、運動器具を利用した運動を説明するための図である。 図３は、運動器具の概略構成の一例を示す図である。 図４は、運動器具の駆動部の正面図である。 図５は、運動器具の駆動部の側面図である。 図６は、情報処理システムのハードウェア構成の一例を示す図である。 図７は、情報処理装置のハードウェア構成の一例を示す図である。 図８は、モード選択画面の一例を示す図である。 図９は、トレーニング選択画面の一例を示す図である。 図１０は、モーション画像の一例を示す図である。 図１１は、情報処理装置が有する機能の一例を示す図である。 図１２は、モーション画像と、「基準線」に対応するガイド情報とを合成した画像の一例を示す図である。 図１３は、情報処理装置の動作例を示すフローチャートである。 図１４は、モーション画像と、「重心ポジション」に対応するガイド情報とを合成した画像の一例を示す図である。 図１５は、情報処理装置の動作例を示すフローチャートである。 図１６は、モーション画像と、「アバター」に対応するガイド情報とを合成した画像の一例を示す図である。 図１７は、情報処理装置の動作例を示すフローチャートである。 図１８は、モーション画像と、「左右バランス」に対応するガイド情報とを合成した画像の一例を示す図である。 図１９は、情報処理装置の動作例を示すフローチャートである。 図２０は、第１の情報の一例を示す図である。 図２１は、モーション画像と、「腰の軌跡」に対応するガイド情報とを合成した画像の一例を示す図である。 図２２は、情報処理装置の動作例を示すフローチャートである。 図２３は、モーション画像と、「膝ガイド」に対応するガイド情報とを合成した画像の一例を示す図である。 図２４は、情報処理装置の動作例を示すフローチャートである。 図２５は、モーション画像と、「腰高ターゲット」に対応するガイド情報とを合成した画像の一例を示す図である。 図２６は、情報処理装置の動作例を示すフローチャートである。 図２７は、モーション画像と、「腰の水平回転」に対応するガイド情報とを合成した画像の一例を示す図である。 図２８は、腰の水平回転角度を説明するための図である。 図２９は、腰水平回転ユニットの表示色の変化の一例を示す図である。 図３０は、情報処理装置の動作例を示すフローチャートである。 図３１は、「足上げタイミング」に対応するガイド情報の遷移図である。 図３２は、モーション画像と、「足上げタイミング」に対応するガイド情報とを合成した画像の一例を示す図である。 図３３は、情報処理装置の動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る情報処理装置およびシステムの実施形態を詳細に説明する。

図１は、本実施形態のシステム１の概略構成の一例を示す図である。図１に示すように、システム１は、被験者が利用（使用）する運動器具１０と、情報処理システム２０とを備え、これらはアーム部３０を介して機械的に接続されている。

本実施形態の運動器具１０は、介護予防や運動能力向上に効果がある運動（トレーニング）を被験者に行わせるためのマシンである。被験者は運動器具１０を利用して、図２の（Ａ）に示すような、足を回転させずに交互に前後へ移動させる「すり足運動」、または、図２の（Ｂ）に示すような、足を回転させながら交互に前後へ移動させる「足こぎ運動」を行うことができる。

ここで、本実施形態の運動器具１０を利用した運動（この例では「足こぎ運動」）の理想的な状態としては、（１）横から見て腰が大きな楕円軌道を描く、（２）体の軸が動かない、（３）踏み込むときに腰が下に落ちない（沈み込まずに腰高をキープ）、（４）膝が真っ直ぐに上がる、（５）肩は動かず腰だけ動かすといった状態が挙げられる。本実施形態では、トレーニング中の被験者に対して、自身が理想的な運動（理想的な「足こぎ運動」）を行っているかどうかを認識させることが可能なシステム１を提供することを目的とする。

図３は、運動器具１０の概略構成の一例を示す図である。図３に示すように、運動器具１０は、手摺部３０１と、被験者の右足および左足と１対１に対応する２つの負荷ユニット３０２と、モーター３０３と、モーター３０３の駆動を制御するための駆動制御コントローラー３０４とを備える。

図４は、運動器具１０の駆動に関する部分（駆動部）の正面図である。モーター３０３の駆動力は、モーター歯車３１０、歯付きベルト３１１、歯車３１２、シャフト３１３、歯車３１４を介して、左右一対の歯付きベルト３１５に伝達される。左右の負荷ユニット３０２の各々はクランク３１６と同軸で連結され、クランク先端には回転フリーのペダル３１７が連結している。

図５の（Ａ）は、図４の左側の側面図である。モーター３０３の駆動により、歯付きベルト３１５に連結するコロ３２０がガイド３２１上を往復運動する。図５の（Ａ）では負荷ユニット３０２等の図示を省略している。図５の（Ｂ）は、図４の右側の側面図である。コロ３２０（図５の（Ｂ）では不図示）には回転フリーのクランク３１６が連結しており、クランク３１６の先端には回転フリーのペダル３１７が連結している。図５の（Ｃ）は、図４の左側の側面図であり、負荷ユニット３０２を図示した図である。クランク３１６（図５の（Ｃ）では不図示）の同軸上には負荷ユニット３０２が設けられ、クランク３１６の回転負荷を調節可能な構成となっている。本実施形態の運動器具１０の構成は、特開平９−１５４９８９号公報に開示されたスプリント・トレーニング・マシンと同様の構成である。なお、運動器具１０の構成は、以上の構成に限られるものではない。要するに、運動器具１０を利用する運動の種類は「足こぎ運動」に限られるものではなく、様々な運動を採用することができる。

次に、情報処理システム２０の構成について説明する。図６は、情報処理システム２０のハードウェア構成の一例を示す図である。図６に示すように、情報処理システム２０は、センサ４０と、リモコン５０と、情報処理装置６０と、出力装置７０とを備える。説明の便宜上、ここでは、本実施形態に関するハードウェア要素を主に例示して説明するが、情報処理システム２０が有するハードウェア要素は図６の例に限られるものではない。

センサ４０は、運動器具１０を利用して運動する被験者を検出するための検出領域（予め定められている）を所定のフレームレートで撮像するカメラ（ＲＧＢカメラ）４１と、検出領域の被写体の深度情報を検出する深度センサ４２を備える。深度センサ４２は、例えば、検出領域の深度画像を撮像することにより、深度センサ４２から検出領域の被写体までの深度（距離）を検出し得る。なお、被写体には、検出領域内の被験者や運動器具１０等が含まれる。センサ４０は、例えばKinect(登録商標) v2で構成される。この例では、センサ４０は、撮像画像および深度情報を所定のフレームレートで連続的に出力する。

リモコン５０は、各種の操作を受け付ける操作デバイスであり、この例では赤外線リモコンが採用されている。リモコン５０は、受け付けた操作に応じた操作信号（赤外線の点灯／消灯で表現される）を情報処理装置６０へ出力する。

情報処理装置６０は、センサ４０やリモコン５０から入力される情報に基づいて各種の情報処理を行う装置であり、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成される。図７は、情報処理装置６０のハードウェア構成の一例を示す図である。説明の便宜上、図７の例では、最低限のハードウェア要素を主に例示しているが、情報処理装置６０が有するハードウェア要素は、これらに限られるものではない。また、この例では、情報処理装置６０には、後述の見本動画が入力される。

図７に示すように、情報処理装置６０は、ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、Ｉ／Ｆ６４とを備える。ＣＰＵ６１は、情報処理装置６０の動作を統括的に制御する。
ＲＯＭ６２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ６３は、ＣＰＵ６１が実行する各種の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。Ｉ／Ｆ６４は、他の外部機器（例えばセンサ４０等）と通信（接続）するためのインタフェースである。

出力装置７０としては、運動器具１０を利用して運動する被験者と対面するように配置される表示装置７１と、スピーカー７２とを含む。表示装置７１は、例えば液晶型ディスプレイ装置で構成される。

本実施形態では、情報処理装置６０には、運動器具１０を利用して運動する被験者の運動状態（トレーニング状態）を可視化／分析した映像を出力するためのアプリケーション（以下、「トレーニングアプリケーション」と称する場合がある）がインストールされている。このアプリケーションが起動すると、情報処理装置６０は、カメラ４１からの撮像画像と、深度センサ４２からのデプス情報の取得を開始し、撮像画像とデプス情報とから、該撮像画像に映り込んだ被験者の身体の各部の関節を推定して骨格データ（スケルトンデータ）を得る。この骨格データを得る方法は、公知の様々な技術を利用することができる（例えばKinect v2に対応するアプリケーションを用いる形態などが考えられる）。そして、図８に示すように、撮像画像と骨格データとを重ね合わせた画像の上に、各種のモードを選択するためのボタン画像を表示した画面（モード選択画面）を表示装置７１に出力（表示）する。以下の説明では、撮像画像と骨格データとを重ね合わせた画像は、被験者の各部の動きを特定するための「モーション画像」と称する場合がある。図８の例では、選択されたボタン画像を見易くするために半透明の黒を全面に被せ、選択されたボタン画像の背景色の透過率は、選択されていないボタン画像の背景色の透過率に比べて低くなるように設定される構成である。

本実施形態では、各種のモードとして、トレーニングモード、見本動画モードの２つのモードがある。トレーニングモードは、トレーニングアイテムを表示して画面を見ながらトレーニングを行うモードである。見本動画モードは、見本となるトレーナーの動画（見本動画）を再生するモードである。

また、本実施形態では、トレーニングアプリケーションの起動中に、リモコン５０の「メニュー」ボタンの押下を受け付けた場合、図９に示すような、トレーニングアイテムを選択するための画面（トレーニングアイテム選択画面）を表示装置７１に出力する。この例では、トレーニングアイテムの項目として、「スケルトン」、「基準線」、「腰高ターゲット」、「腰の水平回転」、「左右バランス」、「重心ポジション」、「腰の軌跡」、「アバター」、「膝ガイド」、「足上げタイミング」の１０項目が用意されており、何れか１つ以上の項目を任意に選択することができる。図９の例では、１０種類の項目ごとに、該項目の選択／非選択を切り替えるためのＯＮ／ＯＦＦボタンが表示され、「ＯＮ」が押下されると該項目が選択され、「ＯＦＦ」が押下されると該項目が非選択となる。トレーニングモードでは、選択された項目に対応するトレーニングアイテムが表示されることになる。また、図９の例では、選択したトレーニングアイテムの詳細な内容（各種のパラメータ設定値）を可変に設定するための詳細設定ボタン８０も表示されている。

説明の便宜上、本実施形態では、トレーニングアイテムの項目として「スケルトン」は予め選択済みであることを前提として説明する。この例では、「スケルトン」に対応するトレーニングアイテムは上記骨格データであり、トレーニングモード中は、図１０に示すようなモーション画像が表示装置７１に表示されることを前提とする。ただし、これに限らず、例えばトレーニングアイテム選択画面から「スケルトン」を非選択とすることもでき、この場合は、骨格データは非表示となる。

図１０の例では、関節を表す関節マーカーの種類として、Ｈｅａｄ２０１、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２、ＳｈｏｕｌｄｅｒＬｅｆｔ２０３、ＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４、ＥｌｂｏｗＬｅｆｔ２０５、ＥｌｂｏｗＲｉｇｈｔ２０６、ＳｐｉｎｅＭｉｄ２０７、ＳｐｉｎｅＢａｓｅ２０８、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０、ＫｎｅｅＬｅｆｔ２１１、ＫｎｅｅＲｉｇｈｔ２１２、ＡｎｋｌｅＬｅｆｔ２１３、ＡｎｋｌｅＲｉｇｈｔ２１４が存在する。なお、関節マーカーの数および種類は、パラメータ設定値の設定に応じて任意に変更可能である。

また、図１０の例では、隣接する関節マーカー同士を結ぶ直線を示す体軸補助線の種類として、Ｈｅａｄ２０１とＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２を結んだ直線２２１、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｈｏｕｌｄｅｒＬｅｆｔ２０３を結んだ直線２２２、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４を結んだ直線２２３、ＳｈｏｕｌｄｅｒＬｅｆｔ２０３とＥｌｂｏｗＬｅｆｔ２０５を結んだ直線２２４、ＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４とＥｌｂｏｗＲｉｇｈｔ２０６を結んだ直線２２５、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｐｉｎｅＭｉｄ２０７を結んだ直線２２６、ＳｐｉｎｅＭｉｄ２０７とＳｐｉｎｅＢａｓｅ２０８を結んだ直線２２７、ＨｉｐＬｅｆｔ２０９とＨｉｐＲｉｇｈｔ２１０を結んだ直線２２８、ＨｉｐＬｅｆｔ２０９とＫｎｅｅＬｅｆｔ２１１を結んだ直線２２９、ＨｉｐＲｉｇｈｔ２１０とＫｎｅｅＲｉｇｈｔ２１２を結んだ直線２３０、ＫｎｅｅＬｅｆｔ２１１とＡｎｋｌｅＬｅｆｔ２１３を結んだ直線２３１、ＫｎｅｅＲｉｇｈｔ２１２とＡｎｋｌｅＲｉｇｈｔ２１４を結んだ直線２３２が存在する。

ここでは、１０種類のトレーニングアイテムのうち、「スケルトン」に対応するトレーニングアイテム（骨格データ）以外の９つのトレーニングアイテムは、理想的な運動（この例では理想的な「足こぎ運動」）を行っているかどうかを被験者に認識させるための情報であり、以下の説明ではそれぞれを「ガイド情報」と称する場合がある。具体的な内容については後述する。

以下においては、トレーニングモード時の情報処理装置６０の機能を中心に説明する。図１１は、本実施形態の情報処理装置６０が有する機能の一例を示す図である。図１１に示すように、情報処理装置６０は、受付部１０１と、画面切替制御部１０２と、取得部１０３と、選択部１０４と、ガイド情報生成部１０５と、出力制御部１０６とを有する。説明の便宜上、図１１の例では、トレーニングモードにおいてトレーニングアプリケーションにより提供される機能を主に例示しているが、情報処理装置６０が有する機能はこれらに限られるものではない。

受付部１０１は、各種の操作を受け付ける。例えば受付部１０１は、リモコン５０からの操作信号を受け付ける機能を有している。画面切替制御部１０２は、受付部１０１で受け付けた操作などに応じて、表示装置７１に表示する画面を切り替える制御を行う。

取得部１０３は、運動器具１０を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像と、検出領域の被写体の深度情報とから、該撮像画像に映り込んだ被験者の各部の関節を推定した結果を示す骨格データを取得する。より具体的には、取得部１０３は、センサ４０から撮像画像と深度情報を受け取るたびに、その受け取った撮像画像と深度情報とから骨格データを生成し、その生成した骨格データを取得する。このようにして、取得部１０３は連続して骨格データを取得する。なお、例えば撮像画像と深度情報とから骨格データを生成する機能が取得部１０３とは別に設けられ、取得部１０３は、該機能から骨格データを受け取る形態であってもよい。

選択部１０４は、複数種類のトレーニングアイテムの中から表示対象となるトレーニングアイテムを選択する。例えば選択部１０４は、表示対象となるレーニングアイテムとして、トレーニングアイテム選択画面から選択された１以上の項目に対応するトレーニングアイテムを選択することができる。前述したように、この例では、表示対象のトレーニングアイテムとして、「スケルトン」に対応するトレーニングアイテムは選択済みであることを前提とする（つまり、前述のモーション画像が表示されることを前提とする）。

ガイド情報生成部１０５は、運動器具１０を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、検出領域の被写体の深度情報に基づいて、理想的な運動を行っているかどうかを被験者に認識させるためのガイド情報を生成する。例えばガイド情報生成部１０５は、取得部１０３により取得された骨格データに基づいて、選択部１０４によって選択されたガイド情報を生成することができる。ガイド情報の具体的な内容については後述する。

出力制御部１０６は、前述の検出領域を撮像して得られる撮像画像と、前述の深度情報とから該撮像画像に映り込んだ被験者の各部の関節を推定した結果を示す骨格データを該撮像画像上に重ね合わせたモーション画像と併せて、ガイド情報を出力する制御を行う。例えばガイド情報が画像情報である場合、出力制御部１０６は、モーション画像と併せて、ガイド情報を表示装置７１から出力させる制御を行う。より具体的には、出力制御部１０６は、モーション画像と、ガイド情報生成部１０５により生成されたガイド情報を合成した画像を表示装置７１（「表示部」の一例）に表示する制御を行う。また、例えばガイド情報が音声情報である場合、出力制御部１０６は、モーション画像を表示装置７１に表示する制御を行うとともに、ガイド情報生成部１０５により生成されたガイド情報をスピーカー７２から出力する制御を行うこともできる。

本実施形態では、以上に説明した情報処理装置６０が有する機能（受付部１０１、画面切替制御部１０２、取得部１０３、選択部１０４、ガイド情報生成部１０５、出力制御部１０６）は、ＣＰＵ６１がＲＯＭ６２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば以上に説明した情報処理装置６０が有する機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。

以下、トレーニングアイテムの項目として、「基準線」、「腰高ターゲット」、「腰の水平回転」、「左右バランス」、「重心ポジション」、「腰の軌跡」、「アバター」、「膝ガイド」、「足上げタイミング」の各々が選択された場合の情報処理装置６０の動作例を説明する。

まず、トレーニングアイテムの項目として「基準線」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、被験者が基準姿勢のときの骨格データに基づいて、体が左右へぶれているかどうかの基準となる基準線を表す情報をガイド情報として（「基準線」に対応するガイド情報として）生成する。この例では、情報処理装置６０は、トレーニングモードが選択されると、トレーニングモードを開始する前に、被験者に対して、基準姿勢（例えば直立不動の姿勢）をとることを促す情報を出力（例えば該情報を表示装置７１に表示、もしくは、該情報をスピーカー７２から出力）する。そして、この情報の出力後、取得部１０３により連続して取得される骨格データの変化量が閾値以下になった場合の骨格データを、基準姿勢のときの骨格データとして利用することができる。そして、ガイド情報生成部１０５は、この基準姿勢のときの骨格データに基づいて、基準線を表す情報を生成することができる。より具体的には以下のとおりである。

ガイド情報生成部１０５は、基準姿勢のときの骨格データに含まれるＨｉｐＲｉｇｈｔ２１０とＨｉｐＬｅｆｔ２０９の中点を基準点とする。この例では、撮像画像に映り込んだ被験者の奥行き方向に延びる軸をｚ軸（第１の軸）、被験者の左右方向に延びるとともにｚ軸と直交する軸をｘ軸（第２の軸）、被験者の上下方向に延びるとともにｚ軸と直交する軸をｙ軸（第３の軸）とする。ＨｉｐＲｉｇｈｔ２１０とＨｉｐＬｅｆｔ２０９の中点は、ＨｉｐＲｉｇｈｔ２１０のｘ軸方向の座標値（以下、ｘ座標値と称する）とＨｉｐＬｅｆｔ２０９のｘ座標値との中点をｘ座標値、ＨｉｐＲｉｇｈｔ２１０のｙ軸方向の座標値（以下、ｙ座標値と称する）とＨｉｐＬｅｆｔ２０９のｙ座標値との中点をｙ座標値、ＨｉｐＲｉｇｈｔ２１０のｚ軸方向の座標値（以下、ｚ座標値と称する）とＨｉｐＬｅｆｔ２０９のｚ座標値との中点をｚ座標値とする３次元座標値で表すことができる。そして、ガイド情報生成部１０５は、基準点を通り、かつ、ｘ軸に平行な直線と、基準点を通り、かつ、ｙ軸に平行な直線とからなる基準線を表す情報をガイド情報として生成する。以上のようにしてガイド情報生成部１０５により生成された基準線を表す情報は、ＲＯＭ６２やＲＡＭ６３等の記憶装置に格納される。この例では、以上のようにして基準線を表す情報が生成された後に、トレーニングモードが開始される。

トレーニングモードが開始されると、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図１２に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、記憶装置から読み出した基準線を表す情報（「基準線」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。図１２の例では、他の項目に対応するガイド情報も同時に表示されている（つまり、他の８つの項目も同時に選択されている）が、例えば他の項目が選択されておらず、ガイド情報として「基準線」に対応するガイド情報のみが表示される形態であってもよい。

図１３は、この場合の情報処理装置６０の動作例を示すフローチャートである。図１３に示すように、まず、情報処理装置６０（取得部１０３）は、センサ４０から撮像画像および深度情報を取得する（ステップＳ１）、次に、情報処理装置６０は、ステップＳ１で取得した撮像画像および深度情報から、該撮像画像に映り込んだ被験者の各部の関節を推定した結果を示す骨格データを生成（取得）する（ステップＳ２）。次に、情報処理装置６０（ガイド情報生成部１０５）は、前述の基準線を表す情報を記憶装置から読み出す（ステップＳ３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ３で読み出した情報を合成した画像を生成する（ステップＳ４）。そして、出力制御部１０６は、ステップＳ４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「重心ポジション」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、取得部１０３により取得された骨格データに含まれる各部の関節のうち重心位置に対応する関節の位置を、被験者の奥行き方向に延びる第１の軸（この例ではｚ軸）と、被験者の左右方向に延びるとともに第１の軸と直交する第２の軸（この例ではｘ軸）とを含む第１の平面（この例ではｘｚ平面）上で表す情報をガイド情報として（「重心ポジション」に対応するガイド情報として）生成する。より具体的には、以下のとおりである。前述したように、取得部１０３は骨格データを連続して取得する。そして、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、その取得された骨格データに含まれる各部の関節のうち重心位置に相当する関節の位置の軌跡をｘｚ平面上で表す情報をガイド情報として生成する。この例では、骨格データに含まれる各部の関節のうち、ＳｐｉｎｅＢａｓｅ２０８の関節マーカーで表される関節が、重心位置に相当する関節として採用され、設定パラメータで設定されたフレーム数分のＳｐｉｎｅＢａｓｅ２０８のｘｚ平面上の軌跡が生成される。このフレーム数は任意に変更可能である。

また、ガイド情報生成部１０５は、骨格データに含まれる各部の関節のうち重心位置に対応する関節の位置と、該骨格データを有する被験者の頭部および肩部のうちの少なくとも一方の輪郭とをｘｚ平面上で表す情報をガイド情報として生成する。さらに言えば、ガイド情報生成部１０５は、骨格データに含まれる各部の関節のうち重心位置に対応する関節の位置と、重心位置の推奨範囲（キープゾーン）とをｘｚ平面上で表す情報をガイド情報として生成する。

また、例えばガイド情報生成部１０５は、重心位置に対応する関節の位置がキープゾーン内に存在する場合と、キープゾーンから外れた場合とで、キープゾーンの色を異ならせてもよい。例えば重心位置に対応する関節の位置がキープゾーンを外れた場合は、被験者に注意を促すために、キープゾーンの色を視認性の高い色（例えば赤色等）に設定する形態であってもよい。さらに、キープゾーンの範囲は、トレーニングのレベルに応じて多段階（例えば３段階）に変化させることもできる。例えば前述のトレーニングアイテム選択画面から「重心ポジション」の項目が選択された状態で詳細設定ボタン８０の押下を受け付けると、「重心ポジション」に対応するトレーニングアイテムのレベル設定を行うための設定画面が表示され、この設定画面から任意のレベルを設定するための操作（例えば３段階のレベルのうちの何れかのレベルに設定するための操作）を受け付ける形態であってもよい。情報処理装置（ガイド情報生成部１０５）は、設定画面で受け付けた操作に応じて、キープゾーンの範囲を決定することができる。なお、この例では、設定画面が表示された状態でリモコン５０の「戻る」ボタンの押下を受け付けると、前述のトレーニングアイテム選択画面の表示に戻る。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図１４に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「重心ポジション」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図１４の例では、基準姿勢のときのＳｐｉｎｅＢａｓｅ２０８のｘｚ平面上の位置が原点に対応している。なお、図１４の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「重心ポジション」に対応するガイド情報のみが表示される形態であってもよい。

図１５は、この場合の情報処理装置６０の動作例を示すフローチャートである。図１５に示すステップＳ１１〜ステップＳ１２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ１２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ１２で取得した骨格データを用いて、以上に説明したガイド情報（「重心ポジション」に対応するガイド情報）を生成する（ステップＳ１３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ１２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ１１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ１３で生成したガイド情報を合成した画像を生成する（ステップＳ１４）。この例では、図１４に示すように、モーション画像の上方の領域に、ステップＳ１３で生成したガイド情報を配置した合成画像を生成する。そして、出力制御部１０６は、ステップＳ１４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ１５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「アバター」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、取得部１０３により取得された骨格データ、および、体軸の推奨範囲（キープゾーン）を、被験者の奥行き方向に延びる第１の軸（この例ではｚ軸）と、被験者の上下方向に延びるとともに第１の軸と直交する第３の軸（この例ではｙ軸）とを含む第２の平面（この例ではｙｚ平面）上で表す情報を、ガイド情報として（「アバター」に対応するガイド情報として）生成する。

また、この例では、例えばガイド情報生成部１０５は、骨格データの体軸（例えば、骨格データに含まれるＨｉｐＲｉｇｈｔ２１０とＨｉｐＬｅｆｔ２０９の中点を通り、かつ、ｙ軸に平行な直線）がキープゾーン内に存在する場合と、キープゾーンから外れた場合とで、キープゾーンの色を異ならせてもよい。例えば体軸がキープゾーンを外れた場合は、被験者に注意を促すために、キープゾーンの色を視認性の高い色（例えば赤色等）に設定する形態であってもよい。さらに、キープゾーンの範囲は、トレーニングのレベルに応じて多段階（例えば３段階）に変化させることもできる。例えば前述のトレーニングアイテム選択画面から「アバター」の項目が選択された状態で詳細設定ボタン８０の押下を受け付けると、「アバター」に対応するトレーニングアイテムのレベル設定を行うための設定画面が表示され、この設定画面から任意のレベルを設定するための操作を受け付ける形態であってもよい。情報処理装置（ガイド情報生成部１０５）は、設定画面で受け付けた操作に応じて、キープゾーンの範囲を決定することができる。以上のようにして、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、その取得された骨格データを用いて、以上に説明した「アバター」に対応するガイド情報を生成する。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図１６に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「アバター」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図１６の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「アバター」に対応するガイド情報のみが表示される形態であってもよい。

図１７は、この場合の情報処理装置６０の動作例を示すフローチャートである。図１７に示すステップＳ２１〜ステップＳ２２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ２２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ２２で取得した骨格データを用いて、以上に説明したガイド情報（「アバター」に対応するガイド情報）を生成する（ステップＳ２３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ２２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ２１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ２３で生成したガイド情報を合成した画像を生成する（ステップＳ２４）。この例では、図１６に示すように、モーション画像の上方の領域に、ステップＳ２３で生成したガイド情報を配置した合成画像を生成する。そして、出力制御部１０６は、ステップＳ２４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ２５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「左右バランス」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、骨格データの体軸と、体が左右へぶれているかどうかの基準となる前述の基準線（ｙ軸方向に延びる基準線）との乖離の度合いを表す情報をガイド情報として生成する。この例では、頭、肩、腰のｘ方向の平均値（Ｈｅａｄ２０１のｘ座標値と、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２のｘ座標値と、ＳｐｉｎｅＢａｓｅ２０８のｘ座標値との平均値）を入力値として、入力値がどのくらい前述の基準線から離れているかを画素数で算出し、その画素数に予め定められた係数α（バーの動きの感度を表す）を乗算することで左右バランス値を算出し、算出した左右バランス値を表すバーグラフを生成する。この例では、基準線を中心として±Ａの幅に入力値が存在する場合は「０％」となるように左右バランス値を算出する。また、左右バランス値が閾値（例えば７０％）を超える場合は、被験者に注意を促すために、バーグラフの色を視認性の高い色（例えば赤色等）に設定する形態であってもよい。また、被験者の重心の動きをそのまま画面に反映させるため、バーグラフの中央値を画面の中央に配置することが好ましい。例えばｙ軸方向に延びる基準線がバーグラフの中央値を通るようにバーグラフを配置してもよい。以上のようにして、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、その取得された骨格データを用いて、以上に説明した「左右バランス」に対応するガイド情報を生成する。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図１８に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「左右バランス」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図１８の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「左右バランス」に対応するガイド情報のみが表示される形態であってもよい。

図１９は、この場合の情報処理装置６０の動作例を示すフローチャートである。図１９に示すステップＳ３１〜ステップＳ３２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ３２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ３２で取得した骨格データを用いて、以上に説明したガイド情報（「左右バランス」に対応するガイド情報）を生成する（ステップＳ３３）。この例では、情報処理装置６０（ガイド情報生成部１０５）は、前述の基準線を表す情報を記憶装置から読み出し、その読み出した情報と、ステップＳ３２で取得した骨格データとを用いて、以上に説明したガイド情報を生成する。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ３２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ３１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ３３で生成したガイド情報を合成した画像を生成する（ステップＳ３４）。この例では、図１８に示すように、モーション画像の上方の領域に、ステップＳ３３で生成したガイド情報を配置した合成画像を生成する。そして、出力制御部１０６は、ステップＳ３４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ３５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「腰の軌跡」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、該骨格データに含まれる各部の関節のうち対象となる左右一対の関節の右側に対応する関節を示す第１の関節の位置の軌跡を、被験者の奥行き方向に延びる第１の軸（この例ではｚ軸）と、被験者の上下方向に延びるとともに第１の軸と直交する第３の軸（この例ではｙ軸）とを含む第２の平面（この例ではｙｚ平面）上で表す第１の情報、または、左側に対応する関節を示す第２の関節の位置の軌跡を第２の平面上で表す情報をガイド情報として生成する。そして、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（第１の情報または第２の情報）を合成した画像を表示装置７１に表示する制御を行う。

ここでは、前述の第１の情報は、第１の軸と第３の軸とで定まる座標系（ｙｚ座標系）において、取得部１０３により取得された骨格データに含まれる第１の関節のｚ軸方向の位置と、該骨格データに含まれる第２の関節のｚ軸方向の位置との差分をｚ座標値とし、該骨格データに含まれる第１の関節のｙ軸方向の位置と、被験者が基準姿勢のときの骨格データに含まれる第１の関節のｙ軸方向の位置との差分をｙ座標値として表される変位情報の軌跡を表す。一例として、ここでは、第１の関節は右側の腰の関節（ＨｉｐＲｉｇｈｔ２１０が表す関節）であり、第２の関節は左側の腰の関節（ＨｉｐＬｅｆｔ２０９が表す関節）であるとする。この例では、前述の第１の情報は、Ｈｉｐｌｅｆｔ２０９のｚ軸方向の位置と、ＨｉｐＲｉｇｈｔ２１０のｚ軸方向の位置との差分をｚ座標値とし、ＨｉｐＲｉｇｈｔ２１０のｙ軸方向の位置と、基準姿勢のときのＨｉｐＲｉｇｈｔ２１０のｙ軸方向の位置との差分をｙ座標値として表される変位情報の軌跡を表す情報となり、図２０のように表される。この例では、ｚ座標値は、被験者の前側に位置するほど（センサ４０に近いほど）小さい値を示すが、これに限らず、座標値の設定方法は任意である。

また、前述の第２の情報は、ｙｚ座標系において、取得部１０３により取得された骨格データに含まれる第２の関節のｚ軸方向の位置と、該骨格データに含まれる第２の関節のｚ軸方向の位置との差分をｚ座標値とし、該骨格データに含まれる第２の関節のｙ軸方向の位置と、被験者が基準姿勢のときの骨格データに含まれる第２の関節のｙ軸方向の位置との差分をｙ座標値として表される変位情報の軌跡を表す。

また、本実施形態では、出力制御部１０６は、第１の情報、および、第２の情報のうちの何れかを表示装置７１に表示する制御を行い、予め定められた条件に従って表示対象を切り替える。ただし、これに限らず、例えば出力制御部１０６は、第１の情報、および、第２の情報の両方を表示装置７１に表示する制御を行う形態であってもよい。この場合、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、前述の第１の情報および前述の第２の情報を生成する必要がある。

本実施形態では、出力制御部１０６は、第１の関節が第２の関節よりも被験者の前側に位置する場合は、前述の第１の情報を表示装置７１に表示する制御を行い、第２の関節が第１の関節よりも被験者の前側に位置する場合は、前述の第２の情報を表示装置７１に表示する制御を行う。より具体的には、出力制御部１０６は、取得部１０３により取得された骨格データに含まれるＨｉｐＲｉｇｈｔ２１０のｚ座標値が、該骨格データに含まれるＨｉｐＬｅｆｔ２０９のｚ座標値よりも小さい場合は、前述の第１の情報を表示装置７１に表示する制御を行う。一方、出力制御部１０６は、取得部１０３により取得された骨格データに含まれるＨｉｐＬｅｆｔ２０９のｚ座標値が、該骨格データに含まれるＨｉｐＲｉｇｈｔ２１０のｚ座標値よりも小さい場合は、前述の第２の情報を表示装置７１に表示する制御を行う。

なお、表示対象を切り替えるための条件は上記形態に限られるものではない。例えば出力制御部１０６は、第１の関節がｚ軸方向の予め定められた位置（例えばペダル３１７の最後方の位置など）に到達した場合は、第２の関節が該予め定められた位置に到達するまでの間、前述の第１の情報を表示装置７１に表示する制御を行い、第２の関節が該予め定められた位置に到達した場合は、第１の関節が該予め定められた位置に到達するまでの間、前述の第２の情報を表示装置７１に表示する制御を行う形態であってもよい。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図２１に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成された表示対象のガイド情報（「腰の軌跡」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。図２１の例では、このときの骨格データに含まれるＨｉｐＬｅｆｔ２０９のｚ座標値が、該骨格データに含まれるＨｉｐＲｉｇｈｔ２１０のｚ座標値よりも小さいために、前述の第２の情報が表示対象のガイド情報になっている（前述の第１の情報は非表示）。

図２２は、この場合の情報処理装置６０の動作例を示すフローチャートである。図２２に示すステップＳ４１〜ステップＳ４２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ４２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ４２で取得した骨格データに含まれるＨｉｐＲｉｇｈｔ２１０のｚ座標値が、該骨格データに含まれるＨｉｐＬｅｆｔ２０９のｚ座標値よりも小さいか否かを判断する（ステップＳ４３）。

ステップＳ４３の結果が肯定の場合（ステップＳ４３：Ｙｅｓ）、情報処理装置６０（ガイド情報生成部１０５）は、前述の第１の情報をガイド情報として生成する（ステップＳ４４）。ステップＳ４３の結果が否定の場合（ステップＳ４３：Ｎｏ）、情報処理装置６０（ガイド情報生成部１０５）は、前述の第２の情報をガイド情報として生成する（ステップＳ４５）。

ステップＳ４４またはステップＳ４５の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ４２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ３１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ４４またはステップＳ４５で生成したガイド情報を合成した画像を生成する（ステップ４６）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ４６で合成した画像を表示装置７１に表示する制御を行う（ステップＳ４７）。情報処理装置６０は以上の処理を繰り返し実行する。

なお、上記の形態に限らず、例えば情報処理装置６０（ガイド情報生成部１０５）は、骨格データを取得するたびに、前述の第１の情報および前述の第２の情報の両方を生成しておき、ステップＳ４３の結果に応じて、前述の第１の情報または前述の第２の情報を表示対象として決定する形態であってもよい。

次に、トレーニングアイテムの項目として「膝ガイド」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、被験者が基準姿勢のときの骨格データに含まれる膝の関節の位置を下端とし、予め定められた量だけ上方向に延びて所定の範囲を表す情報（以下、「膝ガイド情報」と称する）をガイド情報として生成する。この例では、ガイド情報生成部１０５は、前述の基準線を表す情報を生成するタイミングで、膝ガイド情報も併せて生成し、その生成した膝ガイド情報をＲＯＭ６２やＲＡＭ６３等の記憶装置に格納しておく。なお、膝ガイド情報のｙ軸方向（上下方向）の長さは、可変に設定可能である。例えば前述のトレーニングアイテム選択画面から「膝ガイド」の項目が選択された状態で詳細設定ボタン８０の押下を受け付けると、膝ガイド情報のｙ軸方向（上下方向）の長さの設定を行うための設定画面が表示され、この設定画面から任意の長さを設定するための操作を受け付ける形態であってもよい。情報処理装置（ガイド情報生成部１０５）は、設定画面で受け付けた操作に応じて、膝ガイド情報のｙ軸方向の長さを決定することができる。

また、例えばガイド情報生成部１０５は、取得部１０３により取得された骨格データに含まれる右側の膝の関節または左側の膝の関節が、膝ガイド情報により規定された範囲内に存在する場合と、範囲外に存在する場合とで、膝ガイド情報の色を異ならせてもよい。例えば右側の膝の関節または左側の膝の関節が、膝ガイド情報により規定された範囲外に存在する場合は、被験者に注意を促すために、膝ガイド情報の色を視認性の高い色（例えば赤色等）に設定する形態であってもよい。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図２３に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「膝ガイド」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図２３の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「膝ガイド」に対応するガイド情報のみが表示される形態であってもよい。

図２４は、この場合の情報処理装置６０の動作例を示すフローチャートである。図２４に示すステップＳ５１〜ステップＳ５２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ５２の後、情報処理装置６０（ガイド情報生成部１０５）は、前述の膝ガイド情報を記憶装置から読み出す（ステップＳ５３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ５２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ５１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ５３で読み出した膝ガイド情報を合成した画像を生成する（ステップＳ５４）。そして、出力制御部１０６は、ステップＳ５４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ５５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「腰高ターゲット」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、被験者が基準姿勢のときの骨格データに含まれる右側の腰の関節と、左側の腰の関節との中点を通り、かつ、左右方向に延びる線（この例ではｙ軸方向に延びる基準線）から、該骨格データに含まれる各部の関節のうち背骨の中心に対応する関節（この例ではＳｐｉｎｅｍｉｄ２０７が表す関節）の位置よりも下側までの所定の範囲を表す情報（以下、「腰高ターゲット情報」と称する）をガイド情報として生成する。この例では、ガイド情報生成部１０５は、前述の基準線を表す情報を生成するタイミングで、腰高ターゲット情報も併せて生成し、その生成した腰高ターゲット情報をＲＯＭ６２やＲＡＭ６３等の記憶装置に格納しておく。なお、腰高ターゲット情報のｙ軸方向（上下方向）の長さは、可変に設定可能である。例えば前述のトレーニングアイテム選択画面から「腰高ターゲット」の項目が選択された状態で詳細設定ボタン８０の押下を受け付けると、腰高ターゲット情報のｙ軸方向（上下方向）の長さの設定を行うための設定画面が表示され、この設定画面から任意の長さを設定するための操作を受け付ける形態であってもよい。情報処理装置（ガイド情報生成部１０５）は、設定画面で受け付けた操作に応じて、腰高ターゲット情報のｙ軸方向の長さを決定することができる。

また、例えばガイド情報生成部１０５は、取得部１０３により取得された骨格データに含まれる右側の腰の関節または左側の腰の関節が、腰高ターゲット情報により規定された範囲内に存在する場合と、範囲外に存在する場合とで、腰高ターゲット情報の色を異ならせてもよい。例えば右側の腰の関節または左側の腰の関節が、腰高ターゲット情報により規定された範囲外に存在する場合は、理想的な状態であることを被験者に知らせるために、腰高ターゲット情報の色を安定や調和を表す色（例えば緑色等）に設定する形態であってもよい。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図２５に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「腰高ターゲット」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図２５の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「腰高ターゲット」に対応するガイド情報（腰高ターゲット情報）のみが表示される形態であってもよい。

図２６は、この場合の情報処理装置６０の動作例を示すフローチャートである。図２６に示すステップＳ６１〜ステップＳ６２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ６２の後、情報処理装置６０（ガイド情報生成部１０５）は、前述の腰高ターゲット情報を記憶装置から読み出す（ステップＳ６３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ６２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ６１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ６３で読み出した腰高ターゲット情報を合成した画像を生成する（ステップＳ６４）。そして、出力制御部１０６は、ステップＳ６４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ６５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「腰の水平回転」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、被験者の左右方向に延びる第２の軸（この例ではｘ軸）に対して、骨格データに含まれる右側の腰に対応する関節と、左側の腰に対応する関節とを結ぶ線がなす角度に応じて、右側の腰および左側の腰の一方が他方に比べて被験者の前側に出ている度合いを表す情報（以下、「腰水平回転ユニット」と称する）をガイド情報として生成する。この例では、図２７に示すように、腰水平回転ユニットは、右側の腰に対応する右側ユニットと、左側の腰に対応する左側ユニットとを含んでいる。この例では、右側ユニットおよび左側ユニットの各々は、互いに対称な半円を描くように延在するとともに７段階に区分され（説明の便宜上、区分された１つの単位を「単位ユニット」と称する）、ｘ軸に対して、骨格データに含まれる右側の腰に対応する関節と、左側の腰に対応する関節とを結ぶ線がなす角度に応じて、所定の表示色に設定される単位ユニットの数が変化する。

この例では、ガイド情報生成部１０５は、取得部１０３により骨格データが取得されるたびに、図２８に示すように、ｘ軸と平行な直線に対して、その取得された骨格データに含まれるＨｉｐＬｅｆｔ２０９とＨｉｐＲｉｇｈｔ２１０を結ぶ線のなす角度θ（腰の水平回転角度θ）を算出し、算出した角度θに応じて腰水平回転ユニットを生成する。この例では、腰の水平回転角度θは、ＡＴＡＮ（｛（ＨｉｐＲｉｇｈｔのｚ座標値−ＨｉｐＬｅｆｔのｚ座標値）｝／｛（ＨｉｐＲｉｇｈｔのｘ座標値）−（ＨｉｐＬｅｆｔのｘ座標値）｝で表される。この例では、腰の水平回転角度θが、予め定められた上限設定値（絶対値）に到達した場合、右側ユニットまたは左側ユニットを構成する７つの単位ユニットの全てが所定の表示色に設定される。

さらに、前述の上限設定値は、トレーニングのレベルに応じて多段階（例えば３段階）に変化させることもできる。例えば前述のトレーニングアイテム選択画面から「腰の水平回転」の項目が選択された状態で詳細設定ボタン８０の押下を受け付けると、「腰の水平回転」に対応するトレーニングアイテムのレベル設定を行うための設定画面が表示され、この設定画面から任意のレベルを設定するための操作（例えば３段階のレベルのうちの何れかのレベルに設定するための操作）を受け付ける形態であってもよい。情報処理装置（ガイド情報生成部１０５）は、設定画面で受け付けた操作に応じて、前述の上限設定値を決定することができる。ここでは、上位のレベルほど上限設定値（絶対値）が大きくなるよう、上限設定値を決定する。例えば最上位のレベルに対応する上限設定値は１２．５°、中間のレベルに対応する上限設定値は１０°、最下位のレベルに対応する上限設定値は７．５°に決定される形態であってもよい。

一例として、上限設定値が１２．５°に設定されている場合を例に挙げて説明する。この場合、図２９に示すように、腰の水平回転角度θに応じて、右側ユニットおよび左側ユニットの各々を構成する７つの単位ユニットのうち所定の表示色に表示される単位ユニットの数が変化する。図２９の例では、腰の水平回転角度θが上限設定値に相当する「−１２．５°」以上の場合、左側ユニットを構成する全ての単位ユニット（７つの単位ユニット）が所定の表示色に表示される。また、腰の水平回転角度θが上限設定値に相当する「＋１２．５°」以上の場合、右側ユニットを構成する全ての単位ユニット（７つの単位ユニット）が所定の表示色に表示される。これらは、腰の水平回転が理想的な状態であることを表している。

この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図２７に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「腰の水平回転」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。なお、図２７の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「腰の水平回転」に対応するガイド情報のみが表示される形態であってもよい。

図３０は、この場合の情報処理装置６０の動作例を示すフローチャートである。図３０に示すステップＳ７１〜ステップＳ７２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ７２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ７２で取得した骨格データを用いて、以上に説明したガイド情報（「腰の水平回転」に対応するガイド情報、この例では前述の腰水平回転ユニット）を生成する（ステップＳ７３）。次に、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ７２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ７１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ７３で生成したガイド情報を合成した画像を生成する（ステップＳ７４）。そして、出力制御部１０６は、ステップＳ７４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ７５）。情報処理装置６０は以上の処理を繰り返し実行する。

次に、トレーニングアイテムの項目として「足上げタイミング」が選択された場合を例に挙げて説明する。この場合、ガイド情報生成部１０５は、前述の検出領域を撮像して得られる撮像画像、および、前述の深度情報に基づいて、被験者の足が載せられる部材であって、足を回転させながら交互に前後へ移動させる足こぎ運動を行うためのペダル３１７の位置が、被験者の奥行き方向に延びる第１の軸と平行な方向（この例ではｚ軸と平行な方向）の予め定められた位置に到達したと判断した場合に、足を上げる動作を行うことを促す情報をガイド情報として生成する。上記予め定められた位置は任意に設定可能であるが、例えばペダル３１７がｚ軸と平行な方向に移動可能な位置のうち最後方の位置（ペダル３１７が最もセンサ４０から離れる位置）であってもよい。また、ガイド情報生成部１０５は、ペダル３１７の位置が前述の予め定められた位置に到達したと判断した場合は、足を上げる動作を行うことを促す情報をガイド情報として生成するとともに、予め定められた通知音を出力することを出力制御部１０６へ指示することもできる。

また、ガイド情報生成部１０５は、ペダル３１７の位置が前述の予め定められた位置に到達していないと判断した場合は、そのときのペダル３１７の位置に応じて、足を上げる動作を行うタイミングまでの遠近を表す情報をガイド情報として生成することができる。この例では、ガイド情報生成部１０５は、取得部１０３により撮像画像および深度情報が取得されるたびに、ペダル３１７の位置が前述の予め定められた位置に到達したか否かを判断し、その判断結果に応じたガイド情報を生成する。

図３１は、この例においてガイド情報生成部１０５により生成されるガイド情報の遷移の一例を示す図である。この例においてガイド情報生成部１０５により生成されるガイド情報は、右足に対応する表示ユニットと、左足に対応する表示ユニットとを含み、各表示ユニットは３つの単位ユニット（ボックス）から構成される。図３１の例では、（タイミングＣ）は、左足に対応するペダル３１７の位置が前述の予め定められた位置に到達した場合に対応している。この場合は、左足に対応する表示ユニットを構成する３つの単位ユニットの全ての色は任意の第１の色に設定され、かつ、足上げ動作を促す「ＦＯＯＴ ＵＰ」という情報を含むよう、左足に対応する表示ユニットが生成される。また、右足に対応する表示ユニットを構成する３つの単位ユニットの各々には色が表示されないよう、右足に対応する表示ユニットが生成される。この左足に対応する表示ユニット、および、右足に対応する表示ユニットが、足を上げる動作を行うことを促すガイド情報として生成されるという具合である。

また、ここでは、左足に対応するペダル３１７の位置が前述の予め定められた位置に近づくにつれて、図３１の（タイミングＡ）および（タイミングＢ）のように、左足に対応する表示ユニットを構成する３つの単位ユニットの下側から順番に任意の第２の色（第１の色と異なる色でも良いし、同じ色でも良い）が表示されるよう、左足に対応する表示ユニットが生成される。また、右足に対応する表示ユニットを構成する３つの単位ユニットの各々には色が表示されないよう、右足に対応する表示ユニットが生成される。この左足に対応する表示ユニット、および、右足に対応する表示ユニットが、足を上げる動作を行うタイミングまでの遠近を表すガイド情報として生成されるという具合である。

また、この例では、出力制御部１０６は、取得部１０３により骨格データが取得されるたびに、図３２に示すように、その取得された骨格データを該骨格データの元となる撮像画像上に重ね合わせたモーション画像と、ガイド情報生成部１０５により生成されたガイド情報（「足上げタイミング」に対応するガイド情報）とを合成した画像を表示装置７１に表示する制御を行う。図３２の例では、「足上げタイミング」に対応するガイド情報（右足に対応する表示ユニット、左足に対応する表示ユニット）は、画面に映る運動器具１０に合わせて遠近法を用いて表示されている。なお、図３１の例では、他の項目に対応するガイド情報も同時に表示されているが、例えば他の項目が選択されておらず、ガイド情報として「足上げタイミング」に対応するガイド情報のみが表示される形態であってもよい。

図３３は、この場合の情報処理装置６０の動作例を示すフローチャートである。図３３に示すステップＳ８１〜ステップＳ８２の処理内容は図１３に示すステップＳ１〜ステップＳ２の処理内容と同様であるため、詳細な説明を省略する。ステップＳ８２の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ８１で取得した撮像画像および深度情報に基づいて、以上に説明したガイド情報（「足上げタイミング」に対応するガイド情報）を生成する（ステップＳ８３）。前述したように、情報処理装置６０（ガイド情報生成部１０５）は、ペダル３１７の位置が前述の予め定められた位置に到達したと判断した場合は、足を上げる動作を行うことを促す情報をガイド情報として生成するとともに、予め定められた通知音を出力することを出力制御部１０６へ指示する。一方、ペダル３１７の位置が前述の予め定められた位置に到達していないと判断した場合は、足を上げる動作を行うタイミングまでの遠近を表す情報をガイド情報として生成するという具合である。

ステップＳ８３の後、情報処理装置６０（ガイド情報生成部１０５）は、ステップＳ８２で生成した骨格データを、該骨格データの元になる撮像画像（ステップＳ８１で取得された撮像画像）上に重ね合わせたモーション画像と、ステップＳ８３で生成したガイド情報を合成した画像を生成する（ステップＳ８４）。そして、出力制御部１０６は、ステップＳ８４で合成した画像を表示装置７１に表示する制御を行う（ステップＳ８５）。例えば足を上げる動作を行うことを促す情報がガイド情報として生成されていた場合、出力制御部１０６は、ガイド情報生成部１０５からの指示に従って、予め定められた通知音をスピーカー７２から出力する。情報処理装置６０は以上の処理を繰り返し実行する。

以上に説明したように、本実施形態の情報処理装置６０は、運動器具１０を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、検出領域の被写体の深度情報に基づいて、理想的な運動を行っているかどうかを被験者に認識させるためのガイド情報を生成し、その生成したガイド情報を、被験者の各部の動きを特定するための前述のモーション画像と併せて出力する制御を行う。これにより、運動器具１０を利用して運動する被験者に対して、自身が理想的な運動を行っているかどうかを認識させることができる。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

１ システム
１０ 運動器具
２０ 情報処理システム
３０ アーム部
４０ センサ
４１ カメラ
４２ 深度センサ
５０ リモコン
６０ 情報処理装置
７０ 出力装置
７１ 表示装置
７２ スピーカー
１０１ 受付部
１０２ 画面切替制御部
１０３ 取得部
１０４ 選択部
１０５ ガイド情報生成部
１０６ 出力制御部

国際公開第２００５／０９６９３９号公報

Claims (20)

1. 運動器具を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、前記検出領域の被写体の深度情報に基づいて、理想的な運動を行っているかどうかを前記被験者に認識させるためのガイド情報を生成するガイド情報生成部と、
   前記撮像画像と前記深度情報とから該撮像画像に映り込んだ前記被験者の各部の関節を推定した結果を示す骨格データを該撮像画像上に重ね合わせたモーション画像と併せて、前記ガイド情報を出力する制御を行う出力制御部と、を備える、
   情報処理装置。
2. 前記骨格データを取得する取得部を備え、
   前記ガイド情報生成部は、前記取得部により取得された前記骨格データに基づいて、画像情報である前記ガイド情報を生成し、
   前記出力制御部は、前記モーション画像と前記ガイド情報を合成した画像を表示部に表示する制御を行う、
   請求項１に記載の情報処理装置。
3. 前記ガイド情報生成部は、前記被験者が基準姿勢のときの前記骨格データに基づいて、体が左右へぶれているかどうかの基準となる基準線を表す情報を前記ガイド情報として生成する、
   請求項２に記載の情報処理装置。
4. 前記ガイド情報生成部は、
   前記骨格データに含まれる前記各部の関節のうち重心位置に対応する関節の位置を、前記被験者の奥行き方向に延びる第１の軸と、前記被験者の左右方向に延びるとともに前記第１の軸と直交する第２の軸とを含む第１の平面上で表す情報を、前記ガイド情報として生成する、
   請求項２または３に記載の情報処理装置。
5. 前記取得部は前記骨格データを連続して取得し、
   前記ガイド情報生成部は、
   前記取得部により前記骨格データが取得されるたびに、その取得された前記骨格データに含まれる前記各部の関節のうち重心位置に相当する関節の位置の軌跡を前記第１平面上で表す情報を前記ガイド情報として生成し、
   前記出力制御部は、
   前記取得部により前記骨格データが取得されるたびに、その取得された前記骨格データを、該骨格データの元となる前記撮像画像上に重ね合わせた前記モーション画像と、前記ガイド情報生成部により生成された前記ガイド情報とを合成した画像を前記表示部に表示する制御を行う、
   請求項４に記載の情報処理装置。
6. 前記ガイド情報生成部は、
   前記骨格データに含まれる前記各部の関節のうち重心位置に対応する関節の位置と、該骨格データを有する前記被験者の頭部および肩部のうちの少なくとも一方の輪郭とを前記第１の平面上で表す情報を前記ガイド情報として生成する、
   請求項４または５に記載の情報処理装置。
7. 前記ガイド情報生成部は、
   前記骨格データに含まれる前記各部の関節のうち重心位置に対応する関節の位置と、重心位置の推奨範囲とを前記第１の平面上で表す情報を前記ガイド情報として生成する、
   請求項４乃至６のうちの何れか１項に記載の情報処理装置。
8. 前記ガイド情報生成部は、
   前記骨格データおよび体軸の推奨範囲を、被験者の奥行き方向に延びる第１の軸と、前記被験者の上下方向に延びるとともに前記第１の軸と直交する第３の軸とを含む第２の平面上で表す情報を、前記ガイド情報として生成する、
   請求項２乃至７のうちの何れか１項に記載の情報処理装置。
9. 前記ガイド情報生成部は、
   前記骨格データの体軸と、体が左右へぶれているかどうかの基準となる基準線との乖離の度合いを表す情報を前記ガイド情報として生成する、
   請求項２乃至８のうちの何れか１項に記載の情報処理装置。
10. 前記取得部は前記骨格データを連続して取得し、
    前記ガイド情報生成部は、
    前記取得部により前記骨格データが取得されるたびに、該骨格データに含まれる前記各部の関節のうち対象となる左右一対の関節の右側に対応する関節を示す第１の関節の位置の軌跡を、前記被験者の奥行き方向に延びる第１の軸と、前記被験者の上下方向に延びるとともに前記第１の軸と直交する第３の軸とを含む第２の平面上で表す第１の情報、または、左側に対応する関節を示す第２の関節の位置の軌跡を前記第２の平面上で表す第２の情報を、前記ガイド情報として生成し、
    前記出力制御部は、
    前記取得部により前記骨格データが取得されるたびに、その取得された前記骨格データを該骨格データの元となる前記撮像画像上に重ね合わせた前記モーション画像と、前記ガイド情報生成部により生成された前記ガイド情報とを合成した画像を前記表示部に表示する制御を行う、
    請求項２乃至９のうちの何れか１項に記載の情報処理装置。
11. 前記第１の情報は、
    前記第１の軸と前記第３の軸とで定まる座標系において、前記取得部により取得された前記骨格データに含まれる前記第１の関節の前記第１の軸方向の位置と、該骨格データに含まれる前記第２の関節の前記第１の軸方向の位置との差分を前記第１の軸方向の座標値とし、該骨格データに含まれる前記第１の関節の前記第３の軸方向の位置と、前記被験者が基準姿勢のときの前記骨格データに含まれる前記第１の関節の前記第３の軸方向の位置との差分を前記第３の軸方向の座標値として表される変位情報の軌跡を表し、
    前記第２の情報は、
    前記第１の軸と前記第３の軸とで定まる座標系において、前記取得部により取得された前記骨格データに含まれる前記第２の関節の前記第１の軸方向の位置と、該骨格データに含まれる前記第２の関節の前記第１の軸方向の位置との差分を前記第１の軸方向の座標値とし、該骨格データに含まれる前記第２の関節の前記第３の軸方向の位置と、前記被験者が基準姿勢のときの前記骨格データに含まれる前記第２の関節の前記第３の軸方向の位置との差分を前記第３の軸方向の座標値として表される変位情報の軌跡を表す、
    請求項１０に記載の情報処理装置。
12. 前記出力制御部は、
    前記第１の情報、および、前記第２の情報のうちの何れかを前記表示部に表示する制御を行い、予め定められた条件に従って表示対象を切り替える、
    請求項１０または１１に記載の情報処理装置。
13. 前記出力制御部は、
    前記第１の関節が前記第２の関節よりも前記被験者の前側に位置する場合は、前記第１の情報を前記表示部に表示する制御を行い、前記第２の関節が前記第１の関節よりも前記被験者の前側に位置する場合は、前記第２の情報を前記表示部に表示する制御を行う、
    請求項１２に記載の情報処理装置。
14. 前記出力制御部は、
    前記第１の関節が前記第３の軸方向の予め定められた位置に到達した場合は、前記第２の関節が前記予め定められた位置に到達するまでの間、前記第１の情報を前記表示部に表示する制御を行い、前記第２の関節が前記予め定められた位置に到達した場合は、前記第１の関節が前記予め定められた位置に到達するまでの間、前記第２の情報を前記表示部に表示する制御を行う、
    請求項１２に記載の情報処理装置。
15. 前記ガイド情報生成部は、
    前記被験者が基準姿勢のときの前記骨格データに含まれる膝の関節の位置を下端とし、予め定められた量だけ上方向に延びて所定の範囲を表す情報を前記ガイド情報として生成する、
    請求項２乃至１４のうちの何れか１項に記載の情報処理装置。
16. 前記ガイド情報生成部は、
    前記被験者が基準姿勢のときの前記骨格データに含まれる右側の腰の関節と、左側の腰の関節との中点を通り、かつ、左右方向に延びる線から、該骨格データに含まれる前記各部の関節のうち背骨の中心に対応する関節の位置よりも下側までの所定の範囲を表す情報を前記ガイド情報として生成する、
    請求項２乃至１５のうちの何れか１項に記載の情報処理装置。
17. 前記ガイド情報生成部は、
    前記被験者の左右方向に延びる第２の軸に対して、前記骨格データに含まれる右側の腰に対応する関節と、左側の腰に対応する関節とを結ぶ線がなす角度に応じて、右側の腰および左側の腰の一方が他方に比べて前記被験者の前側に出ている度合いを表す情報を前記ガイド情報として生成する、
    請求項２乃至１６のうちの何れか１項に記載の情報処理装置。
18. 前記運動器具は、前記被験者の足が載せられる部材であって、足を回転させながら交互に前後へ移動させる足こぎ運動を行うためのペダルを含み、
    前記ガイド情報生成部は、
    前記撮像画像および前記深度情報に基づいて、前記ペダルの位置が、前記被験者の奥行き方向に延びる第１の軸と平行な方向の予め定められた位置に到達したと判断した場合に、足を上げる動作を行うことを促す情報を前記ガイド情報として生成する、
    請求項１乃至１７のうちの何れか１項に記載の情報処理装置。
19. 前記運動器具を利用する運動は、足を回転させながら交互に前後へ移動させる足こぎ運動である、
    請求項１乃至１８のうちの何れか１項に記載の情報処理装置。
20. 情報処理装置と、表示装置とを備えるシステムであって、
    運動器具を利用して運動する被験者を検出するための検出領域を撮像して得られる撮像画像、および、前記検出領域の被写体の深度情報に基づいて、理想的な運動を行っているかどうかを前記被験者に認識させるためのガイド情報を生成するガイド情報生成部と、
    前記撮像画像と前記深度情報とから該撮像画像に映り込んだ前記被験者の各部の関節を推定した結果を示す骨格データを該撮像画像上に重ね合わせたモーション画像と併せて、前記ガイド情報を前記表示装置から出力させる制御を行う出力制御部と、を備える、
    システム。

Images