JP2017107503A - 情報処理装置、情報処理方法、プログラムおよびシステム - Google Patents

Abstract

【課題】運動する被験者の骨格情報のうち注目部位に対応する位置を精度良く求めることが可能な情報処理装置、情報処理方法、プログラムおよびシステムを提供する。【解決手段】本発明に係る情報処理装置は、取得部と補正部とを備える。取得部は、運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する。補正部は、取得部により取得された骨格情報と、基準姿勢のときの被験者の各部の関節を推定した結果を示す基準骨格情報とを用いて、骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する。【選択図】図１１

Description

本発明は、情報処理装置、情報処理方法、プログラムおよびシステムに関する。

近年、例えば高齢者の転倒防止、介護予防、健康寿命の延伸などを目的とした体幹強化による介護予防トレーニングにおいて、可視化された動作情報を被験者へ提示するトレーニングサポートシステムが開発されている。このような介護予防トレーニングでは、特に腰、肩、膝などの動きが重要となる場合が多い。

可視化された動作情報を被験者へ提示する技術として、例えば特許文献１には、ゲームユーザによる動作を模倣するように調整可能なユーザのモデル（骨格情報）を生成することを目的として、シーンをキャプチャして得られた深度画像から抽出したオブジェクトに基づいてモデルの特徴を決定し、ユーザによる動作に応答してモデルを調整することで、モデルをトラッキングする技術が開示されている。

介護トレーニングをはじめ、腰、肩、膝等の動きが重要である運動を行う被験者に自己の動作情報を提示する場合には、運動のポイントとなる腰、肩、膝等の動きを精度良く提示することが必要となる。しかしながら、従来技術では、骨格情報のうち注目すべき部位（注目部位）に対応する位置を精度良く求めることができない場合があるという問題がある。

本発明は、上記に鑑みてなされたものであって、運動する被験者の骨格情報のうち注目部位に対応する位置を精度良く求めることが可能な情報処理装置、情報処理方法、プログラムおよびシステムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する取得部と、前記取得部により取得された前記骨格情報と、基準姿勢のときの前記被験者の各部の関節を推定した結果を示す基準骨格情報とを用いて、前記骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する補正部と、を備える情報処理装置である。

本発明によれば、運動する被験者の骨格情報のうち注目部位に対応する位置を精度良く求めることができるという有利な効果を奏する。

図１は、システムの概略構成の一例を示す図である。 図２は、運動器具を利用した運動を説明するための図である。 図３は、運動器具の概略構成の一例を示す図である。 図４は、運動器具の駆動部の正面図である。 図５は、運動器具の駆動部の側面図である。 図６は、情報処理システムのハードウェア構成の一例を示す図である。 図７は、情報処理装置のハードウェア構成の一例を示す図である。 図８は、モード選択画面の一例を示す図である。 図９は、トレーニングアイテム選択画面の一例を示す図である。 図１０は、モーション画像の一例を示す図である。 図１１は、情報処理装置が有する機能の一例を示す図である。 図１２は、情報処理装置の動作例を示すフローチャートである。 図１３は、補正処理の具体的内容を示すフローチャートである。 図１４は、第２の実施形態の情報処理装置が有する機能の一例を示す図である。 図１５は、教師情報の一例を示す図である。 図１６は、第２の実施形態の情報処理装置が有する詳細な機能の一例を示す図である。 図１７は、第２の実施形態の情報処理装置の動作例を示すフローチャートである。 図１８は、第３の実施形態の情報処理装置が有する機能の一例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法、プログラムおよびシステムの実施形態を詳細に説明する。

（第１の実施形態）
図１は、本実施形態のシステム１の概略構成の一例を示す図である。図１に示すように、システム１は、被験者が利用（使用）する運動器具１０と、情報処理システム２０とを備え、これらはアーム部３０を介して機械的に接続されている。

本実施形態の運動器具１０は、介護予防や運動能力向上に効果がある運動（トレーニング）を被験者に行わせるためのマシンである。被験者は運動器具１０を利用して、図２の（Ａ）に示すような、足を回転させずに交互に前後へ移動させる「すり足運動」、または、図２の（Ｂ）に示すような、足を回転させながら交互に前後へ移動させる「足こぎ運動」を行うことができる。

図３は、運動器具１０の概略構成の一例を示す図である。図３に示すように、運動器具１０は、手摺部３０１と、被験者の右足および左足と１対１に対応する２つの負荷ユニット３０２と、モーター３０３と、モーター３０３の駆動を制御するための駆動制御コントローラー３０４とを備える。

図４は、運動器具１０の駆動に関する部分（駆動部）の正面図である。モーター３０３の駆動力は、モーター歯車３１０、歯付きベルト３１１、歯車３１２、シャフト３１３、歯車３１４を介して、左右一対の歯付きベルト３１５に伝達される。左右の負荷ユニット３０２の各々はクランク３１６と同軸で連結され、クランク先端には回転フリーのペダル３１７が連結している。

図５の（Ａ）は、図４の左側の側面図である。モーター３０３の駆動により、歯付きベルト３１５に連結するコロ３２０がガイド３２１上を往復運動する。図５の（Ａ）では負荷ユニット３０２等の図示を省略している。図５の（Ｂ）は、図４の右側の側面図である。コロ３２０（図５の（Ｂ）では不図示）には回転フリーのクランク３１６が連結しており、クランク３１６の先端には回転フリーのペダル３１７が連結している。図５の（Ｃ）は、図４の左側の側面図であり、負荷ユニット３０２を図示した図である。クランク３１６（図５の（Ｃ）では不図示）の同軸上には負荷ユニット３０２が設けられ、クランク３１６の回転負荷を調節可能な構成となっている。本実施形態の運動器具１０の構成は、特開平９−１５４９８９号公報に開示されたスプリント・トレーニング・マシンと同様の構成である。なお、運動器具１０の構成は、以上の構成に限られるものではない。要するに、運動器具１０を利用する運動の種類は「足こぎ運動」に限られるものではなく、様々な運動を採用することができる。

次に、情報処理システム２０の構成について説明する。図６は、情報処理システム２０のハードウェア構成の一例を示す図である。図６に示すように、情報処理システム２０は、センサ４０と、リモコン５０と、情報処理装置６０と、出力装置７０とを備える。説明の便宜上、ここでは、本実施形態に関するハードウェア要素を主に例示して説明するが、情報処理システム２０が有するハードウェア要素は図６の例に限られるものではない。

センサ４０は、運動器具１０を利用して運動する被験者を検出するための検出領域（予め定められている）を所定のフレームレートで撮像するカメラ（ＲＧＢカメラ）４１と、検出領域の被写体の深度情報を検出する深度センサ４２を備える。深度センサ４２は、例えば、検出領域の深度画像を撮像することにより、深度センサ４２から検出領域の被写体までの深度（距離）を検出し得る。なお、被写体には、検出領域内の被験者や運動器具１０等が含まれる。センサ４０は、例えばKinect(登録商標) v2で構成される。この例では、センサ４０は、撮像画像および深度情報を所定のフレームレートで連続的に出力する。

リモコン５０は、各種の操作を受け付ける操作デバイスであり、この例では赤外線リモコンが採用されている。リモコン５０は、受け付けた操作に応じた操作信号（赤外線の点灯／消灯で表現される）を情報処理装置６０へ出力する。

情報処理装置６０は、センサ４０やリモコン５０から入力される情報に基づいて各種の情報処理を行う装置であり、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成される。図７は、情報処理装置６０のハードウェア構成の一例を示す図である。説明の便宜上、図７の例では、最低限のハードウェア要素を主に例示しているが、情報処理装置６０が有するハードウェア要素は、これらに限られるものではない。また、この例では、情報処理装置６０には、後述の見本動画が入力される。

図７に示すように、情報処理装置６０は、ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、Ｉ／Ｆ６４とを備える。ＣＰＵ６１は、情報処理装置６０の動作を統括的に制御する。
ＲＯＭ６２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ６３は、ＣＰＵ６１が実行する各種の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。Ｉ／Ｆ６４は、他の外部機器（例えばセンサ４０等）と通信（接続）するためのインタフェースである。

出力装置７０としては、運動器具１０を利用して運動する被験者と対面するように配置される表示装置７１と、スピーカー７２とを含む。表示装置７１は、例えば液晶型ディスプレイ装置で構成される。

本実施形態では、情報処理装置６０には、運動器具１０を利用して運動する被験者の運動状態（トレーニング状態）を可視化／分析した映像を出力するためのアプリケーション（以下、「トレーニングアプリケーション」と称する場合がある）がインストールされている。このアプリケーションが起動すると、情報処理装置６０は、カメラ４１からの撮像画像と、深度センサ４２からの深度情報の取得を開始し、撮像画像と深度情報とから、該撮像画像に映り込んだ被験者の身体の各部の関節を推定して骨格情報（スケルトンデータ）を得る。この骨格情報を得る方法は、公知の様々な技術を利用することができる（例えばKinect v2に対応するアプリケーションを用いる形態などが考えられる）。そして、図８に示すように、撮像画像と骨格情報とを重ね合わせた画像の上に、各種のモードを選択するためのボタン画像を表示した画面（モード選択画面）を表示装置７１に出力（表示）する。以下の説明では、撮像画像と骨格情報とを重ね合わせた画像は、被験者の各部の動きを特定するための「モーション画像」と称する場合がある。図８の例では、選択されたボタン画像を見易くするために半透明の黒を全面に被せ、選択されたボタン画像の背景色の透過率は、選択されていないボタン画像の背景色の透過率に比べて低くなるように設定される構成である。

本実施形態では、各種のモードとして、トレーニングモード、見本動画モードの２つのモードがある。トレーニングモードは、トレーニングアイテムを表示して画面を見ながらトレーニングを行うモードである。見本動画モードは、見本となるトレーナーの動画（見本動画）を再生するモードである。

また、本実施形態では、トレーニングアプリケーションの起動中に、リモコン５０の「メニュー」ボタンの押下を受け付けた場合、図９に示すような、トレーニングアイテムを選択するための画面（トレーニングアイテム選択画面）を表示装置７１に出力する。この例では、トレーニングアイテムの項目として、「スケルトン」、「基準線」、「腰高ターゲット」、「腰の水平回転」、「左右バランス」、「重心ポジション」、「腰の軌跡」、「アバター」、「膝ガイド」、「足上げタイミング」の１０項目が用意されており、何れか１つ以上の項目を任意に選択することができる。図９の例では、１０種類の項目ごとに、該項目の選択／非選択を切り替えるためのＯＮ／ＯＦＦボタンが表示され、「ＯＮ」が押下されると該項目が選択され、「ＯＦＦ」が押下されると該項目が非選択となる。トレーニングモードでは、選択された項目に対応するトレーニングアイテムが表示されることになる。また、図９の例では、選択したトレーニングアイテムの詳細な内容（各種のパラメータ設定値）を可変に設定するための詳細設定ボタン８０も表示されている。

説明の便宜上、本実施形態では、トレーニングアイテムの項目として「スケルトン」が選択されていることを前提として説明する。この例では、「スケルトン」に対応するトレーニングアイテムは上記骨格情報であり、トレーニングモード中は、図１０に示すようなモーション画像が表示装置７１に表示される。

図１０の例では、関節を表す関節マーカーの種類として、Ｈｅａｄ２０１、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２、ＳｈｏｕｌｄｅｒＬｅｆｔ２０３、ＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４、ＥｌｂｏｗＬｅｆｔ２０５、ＥｌｂｏｗＲｉｇｈｔ２０６、ＳｐｉｎｅＭｉｄ２０７、ＳｐｉｎｅＢａｓｅ２０８、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０、ＫｎｅｅＬｅｆｔ２１１、ＫｎｅｅＲｉｇｈｔ２１２、ＡｎｋｌｅＬｅｆｔ２１３、ＡｎｋｌｅＲｉｇｈｔ２１４が存在する。なお、関節マーカーの数および種類は、パラメータ設定値の設定に応じて任意に変更可能である。

また、図１０の例では、隣接する関節マーカー同士を結ぶ直線を示す体軸補助線の種類として、Ｈｅａｄ２０１とＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２を結んだ直線２２１、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｈｏｕｌｄｅｒＬｅｆｔ２０３を結んだ直線２２２、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４を結んだ直線２２３、ＳｈｏｕｌｄｅｒＬｅｆｔ２０３とＥｌｂｏｗＬｅｆｔ２０５を結んだ直線２２４、ＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４とＥｌｂｏｗＲｉｇｈｔ２０６を結んだ直線２２５、ＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２とＳｐｉｎｅＭｉｄ２０７を結んだ直線２２６、ＳｐｉｎｅＭｉｄ２０７とＳｐｉｎｅＢａｓｅ２０８を結んだ直線２２７、ＨｉｐＬｅｆｔ２０９とＨｉｐＲｉｇｈｔ２１０を結んだ直線２２８、ＨｉｐＬｅｆｔ２０９とＫｎｅｅＬｅｆｔ２１１を結んだ直線２２９、ＨｉｐＲｉｇｈｔ２１０とＫｎｅｅＲｉｇｈｔ２１２を結んだ直線２３０、ＫｎｅｅＬｅｆｔ２１１とＡｎｋｌｅＬｅｆｔ２１３を結んだ直線２３１、ＫｎｅｅＲｉｇｈｔ２１２とＡｎｋｌｅＲｉｇｈｔ２１４を結んだ直線２３２が存在する。

次に、図１１を用いて、本実施形態の情報処理装置６０が有する機能を説明する。図１１は、本実施形態の情報処理装置６０が有する機能の一例を示す図である。以下においては、トレーニングアイテムの項目として「スケルトン」が選択されているトレーニングモード時に関する情報処理装置６０の機能を中心に説明する。図１１に示すように、情報処理装置６０は、受付部１０１と、画面切替制御部１０２と、取得部１０３と、補正部１０４と、基準骨格情報記憶部１０５と、基準骨格情報生成部１０６と、出力制御部１０７とを有する。説明の便宜上、図１１の例では、本実施形態に関する機能を主に例示しているが、情報処理装置６０が有する機能はこれらに限られるものではない。

受付部１０１は、各種の操作を受け付ける。例えば受付部１０１は、リモコン５０からの操作信号を受け付ける機能を有している。画面切替制御部１０２は、受付部１０１で受け付けた操作などに応じて、表示装置７１に表示する画面を切り替える制御を行う。

取得部１０３は、運動器具１０を利用して運動する被験者の各部の関節を推定した結果を示す骨格情報（スケルトンデータ）を取得する。本実施形態では、取得部１０３は、被験者を検出するための検出領域を撮像する撮像部（この例ではカメラ４１）により生成された撮像画像と、検出領域の被写体の深度情報を検出する深度センサ４２により検出された深度情報とから、該撮像画像に映り込んだ被験者の各部の関節を推定した結果を示す骨格情報を取得する。より具体的には、取得部１０３は、センサ４０から撮像画像と深度情報を受け取るたびに、その受け取った撮像画像と深度情報とから骨格情報を生成し、その生成した骨格情報を取得する。このようにして、取得部１０３は連続して骨格情報を取得する。なお、例えば撮像画像と深度情報とから骨格情報を生成する機能が取得部１０３とは別に設けられ、取得部１０３は、該機能から骨格情報を受け取る形態であってもよい。

補正部１０４は、取得部１０３により取得された骨格情報と、基準姿勢のときの被験者の各部の関節を推定した結果を示す基準骨格情報とを用いて、該骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する。補正の具体的な内容については後述する。ここで、本実施形態の運動器具１０を利用した「すり足運動」、または、「足こぎ運動」においては、図１０に示すＳｐｉｎｅＳｈｏｕｌｄｅｒ２０２、ＳｈｏｕｌｄｅｒＬｅｆｔ２０３、ＳｈｏｕｌｄｅｒＲｉｇｈｔ２０４、ＳｐｉｎｅＭｉｄ２０７、ＳｐｉｎｅＢａｓｅ２０８、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０などの動きが重要であり、特に、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０を含む「腰」の動きが重要である。そのため、トレーニングアイテムの項目として「スケルトン」が選択されているトレーニングモードにおいては、注目すべき部位となる腰の位置の推定精度が高い骨格情報を含むモーション画像を、被験者に提示することが望まれる。

以下では、注目部位として、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０が予め設定されている場合を例に挙げて説明するが、これに限らず、注目部位は任意に変更可能である。情報処理装置６０は、例えばユーザの操作などに応じて、注目部位を可変に設定する機能を有する形態であってもよい。

基準骨格情報記憶部１０５は基準骨格情報を記憶する。基準骨格情報生成部１０６は基準骨格情報を生成する。この例では、基準骨格情報生成部１０６は、トレーニングモードが選択されると、トレーニングモードを開始する前に、被験者に対して、基準姿勢（例えば直立不動の姿勢（正面を向いて立っているときの姿勢））をとることを促す情報を出力（例えば該情報を表示装置７１に表示、もしくは、該情報をスピーカー７２から出力）する。そして、この情報の出力後、取得部１０３により連続して取得される骨格情報の変化量が閾値以下になった場合の骨格情報を、基準骨格情報として生成することができる。

説明の便宜上、ここでは、トレーニングモードを開始する前に、予め基準骨格情報が生成されている（基準骨格情報記憶部１０５に記憶されている）ことを前提とするが、これに限らず、例えば基準骨格情報が予め生成されない形態であってもよい。この形態においては、例えば補正部１０４は、後述の補正時に、基準骨格情報が基準骨格情報記憶部１０５に記憶されているか否かを確認し、基準骨格情報が基準骨格情報記憶部１０５に記憶されていない場合は、基準骨格情報生成部１０６に対して基準骨格情報の生成を依頼し、この依頼を受けた基準骨格情報生成部１０６が上記のようにして基準骨格情報を生成することもできる。

次に、補正部１０４による補正の具体的な内容を説明する。補正部１０４は、補正後の第１の位置情報と、補正前の第１の位置情報（現在の第１の位置情報）と、基準骨格情報のうち注目部位に対応する位置を示す第２の位置情報との関係を表す補正関数に対して、取得部１０３により取得された骨格情報のうち注目部位に対応する位置を示す情報を補正前の第１の位置情報として入力するとともに、第２の位置情報を入力して、補正後の第１の位置情報を算出する。より具体的には、補正部１０４は、補正前の第１の位置情報と第２の位置情報との差分に対して、補正関数の係数を表す補正パラメータを乗算して得られる値と、第２の位置情報とを加算した値を、補正後の第１の位置情報として算出する。上述したように、この例では、注目部位として、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０が予め設定されているので、補正部１０４は、取得部１０３により取得された骨格情報のうちＨｉｐＬｅｆｔ２０９に対応する位置を示す情報（第１の位置情報に相当）およびＨｉｐＲｉｇｈｔ２１０に対応する位置を示す情報（第１の位置情報に相当）の各々を補正する。なお、上記補正パラメータ（補正関数を表す数式等のデータ）は、ＲＯＭ６２やＨＤＤ等の記憶装置に保存される。

本実施形態では、補正後の第１の位置情報をＳ’、補正前の第１の位置情報をＳ、第２の位置情報をＳ_ｂａｓｅ、補正パラメータをαとすると、上記補正関数は、以下の式１のように表すことができる。

なお、本実施形態では、補正関数は１次関数で表されているが、これに限らず、例えば補正関数は、以下の式２のように２次関数で表される形態であってもよい。

上記式２においては、係数α、βが補正パラメータに相当する。

さらに、例えば補正関数は、以下の式３のようにｎ次関数で表される形態であってもよい。

上記式３においては、係数α_ｋが補正パラメータに相当する。

補正部１０４は、取得部１０３により骨格情報が取得されるたびに、以上に説明したようにして、その取得された骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する。

出力制御部１０７は、補正部１０４により注目部位に対応する位置が補正された後の骨格情報を、被験者を検出するための検出領域を撮像して得られる撮像画像（該骨格情報の元となる撮像画像）上に重ね合わせたモーション画像を表示装置７１から出力させる制御を行う。この例では、出力制御部１０７は、補正部１０４による補正が行われるたびに、補正後の骨格情報を含むモーション画像を表示装置７１に表示する制御を行う。

図１２は、本実施形態の情報処理装置６０の動作例を示すフローチャートである。図１２に示すように、取得部１０３は骨格情報を取得する（ステップＳ１）。次に、補正部１０４は、ステップＳ１で取得された骨格情報と、基準骨格情報記憶部１０５に予め記憶されている基準骨格情報とに基づいて、ステップＳ１で取得された骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する処理を行う（ステップＳ２）。

図１３は、図１２に示すステップＳ２の補正処理の具体的な内容を示すフローチャートである。図１３に示すように、補正部１０４は、上述の式１で表される補正関数に対して、図１２に示すステップＳ１で取得された骨格情報のうち注目部位に対応する位置を示す情報を補正前の第１の位置情報として入力する（ステップＳ１１）。上述したように、この例では、注目部位として、ＨｉｐＬｅｆｔ２０９、ＨｉｐＲｉｇｈｔ２１０が予め設定されているので、ここでは補正部１０４は、図１２に示すステップＳ１で取得された骨格情報のうちＨｉｐＬｅｆｔ２０９に対応する位置を示す情報を補正前の第１の位置情報Ｓとして入力することを想定する。

次に、補正部１０４は、上述の式１で表される補正関数に対して、基準骨格情報のうち注目部位に対応する位置を示す第２の位置情報Ｓ_ｂａｓｅを入力する（ステップＳ１２）。ここでは、補正部１０４は、基準骨格情報のうちＨｉｐＬｅｆｔ２０９に対応する位置を示す第２の位置情報Ｓ_ｂａｓｅを入力することを想定する。これにより、補正部１０４は、補正後の第１の位置情報Ｓ’（骨格情報のうち補正後のＨｉｐＬｅｆｔ２０９に対応する位置を示す情報）を算出することができる（ステップＳ１３）。

次に、補正部１０４は、予め設定された全ての注目部位の補正が完了したか否かを確認する（ステップＳ１４）。ステップＳ１４の結果が肯定の場合（ステップＳ１４：Ｙｅｓ）、処理は終了する。ステップＳ１４の結果が否定の場合（ステップＳ１４：Ｎｏ）、補正部１０４は、未補正の注目部位を選択し（ステップＳ１５）、その選択した注目部位について、上述のステップＳ１１以降の処理を繰り返す。この例では、補正部１０４は、未補正の注目部位としてＨｉｐＲｉｇｈｔ２１０を選択し、上述のステップＳ１１以降の処理を行うという具合である。以上が補正処理の具体的な内容である。

図１２に戻って説明を続ける。ステップＳ２の後、出力制御部１０７は、ステップＳ２の補正処理により注目部位に対応する位置が補正された後の骨格情報を、該骨格情報の元となる撮像画像上に重ね合わせたモーション画像を表示装置７１に表示する制御を行う（ステップＳ３）。

以上に説明したように、本実施形態の情報処理装置６０は、運動器具１０を利用して運動する被験者の各部の関節を推定した結果を示す骨格情報と、基準姿勢のときの被験者の各部の関節を推定した結果を示す基準骨格情報とを用いて、該骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する。これにより、運動器具１０を利用して運動する被験者の骨格情報のうち注目部位に対応する位置を精度良く求めることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。図１４は、本実施形態の情報処理装置６０が有する機能の一例を示す図である。図１４に示すように、情報処理装置６０は、教師情報記憶部１１０と、算出部１１１とをさらに備える。

教師情報記憶部１１０は、教師情報を記憶する。ここでは、教師情報は、複数の時間ごとに、該時間における第１の位置情報と正解情報との組を対応付けた情報である。正解情報は、カメラ４１および深度センサ４２とは異なる他のセンサを用いたモーションキャプチャ（光学式、機械式、磁気式等の何れであってもよく、公知の様々な技術を利用可能）により被験者の各部の関節を推定した結果を示す第２の骨格情報のうち注目部位に対応する位置を示す情報である。この例では、教師情報記憶部１１０は、予め設定された１以上の注目部位と１対１に対応する１以上の教師情報を記憶する。図１５は、任意の注目部位ｊに対応する教師情報の一例を示す図である。図１５に示す教師情報は、複数（図１５の例ではｎ＋１個）の時間（時点）ごとに、基準骨格情報のうち注目部位ｊに対応する位置を示す第２の位置情報と、該時間における骨格情報のうち注目部位ｊに対応する位置を示す第１の位置情報と、該時間における第２の骨格情報のうち注目部位ｊに対応する位置を示す正解情報とを対応付けた情報である。

ここでは、教師情報は、カメラ４１、深度センサ４２、他のセンサなどを利用して事前に作成されている。より具体的には、図１６に示すように、本実施形態の情報処理装置６０は、教師情報を生成する教師情報生成部１１２と、上述の第２の骨格情報を取得する第２の取得部１１３とをさらに有する。

教師情報生成部１１２は、教師情報を生成する場合、取得部１０３に対して骨格情報を連続的に取得することを要求するとともに、第２の取得部１１３に対して第２の骨格情報を連続的に取得することを要求する。この例では、取得部１０３による骨格情報の取得タイミングと、第２の取得部１１３による第２の骨格情報の取得タイミングとは同期しているものとする。また、この例では、教師情報を生成する前の段階において、予め基準骨格情報は生成済みであることを前提とする。

教師情報生成部１１２は、一定期間の間、取得部１０３により骨格情報が取得され、かつ、第２の取得部１１３により第２の骨格情報が取得されるたびに、その取得時間（取得時刻）と、基準骨格情報のうち注目部位に対応する位置を示す第２の位置情報と、取得部１０３により取得された骨格情報のうち該注目部位に対応する位置を示す第１の位置情報と、第２の取得部１１３により取得された第２の骨格情報のうち該注目部位に対応する位置を示す正解情報とを対応付けていくことで、１以上の注目部位ごとの教師情報を生成することができる。教師情報生成部１１２により生成された教師情報は教師情報記憶部１１０に記憶される。

図１４および図１６に示す算出部１１１は、教師情報記憶部１１０に記憶された教師情報を用いて上述の補正パラメータを算出する。この例では、算出部１１１は、補正後の第１の位置情報と正解情報との差分が閾値以内になるように補正パラメータを算出する。

図１７は、補正パラメータを算出する場合の情報処理装置６０の動作例を示すフローチャートである。図１７に示すように、まず算出部１１１は、補正パラメータを初期化する（ステップＳ２１）。次に、算出部１１１は、補正部１０４に対して、教師情報を用いた補正処理を依頼する（ステップＳ２２）。この依頼を受けた補正部１０４は、教師情報に含まれる複数の時間ごとに、対応する第２の位置情報と、対応する第１の位置情報とを上述の補正関数に入力して、第１の位置情報を補正する。そして、その結果を算出部１１１へ渡す。次に、算出部１１１は、補正後の第１の位置情報と、正解情報との誤差を算出する（ステップＳ２３）。この例では、算出部１１１は、教師情報に含まれる複数の時間ごとに、補正後の第１の位置情報と、正解情報との差分を求め、求めた差分の二乗の総和ｄを上記誤差として求める。この総和ｄは、以下の式４で表すことができる。ここでは、任意の時間ｔ＋ｋに対応する補正後の第１の位置情報はＳｋ’と表記し、正解情報はＳｋ’’と表記する。

次に、算出部１１１は、ステップＳ２３で算出した誤差（総和ｄ）が閾値以内であるか否かを確認する（ステップＳ２４）。ステップＳ２４の結果が肯定の場合（ステップＳ２４：Ｙｅｓ）、処理は終了する。ステップＳ２４の結果が否定の場合（ステップＳ２４：Ｎｏ）、算出部１１１は、学習アルゴリズムに基づいて補正パラメータを更新し（ステップＳ２５）、ステップＳ２２以降の処理を繰り返す。なお、学習アルゴリズムとしては、ガウス・ニュートン法や遺伝的アルゴリズム（ＧＡ）など任意の学習アルゴリズムを用いることができる。以上のようにして、算出部１１１は、補正後の第１の位置情報と、正解情報との差分が閾値以内になるように補正パラメータを算出する。算出部１１１により算出された補正パラメータは、ＲＯＭ６２やＨＤＤ等の記憶装置に保存される。

（第３の実施形態）
次に、第３の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。図１８は、本実施形態の情報処理装置６０が有する機能の一例を示す図である。図１８に示すように、情報処理装置６０は、補正後骨格情報記憶部１２０と、フィルタ部１２１とをさらに備える。補正後骨格情報記憶部１２０は、補正部１０４により注目部位に対応する位置が補正された後の骨格情報を示す補正後骨格情報を記憶する。この例では、上述した補正部１０４の補正により補正後骨格情報が得られるたびに、その得られた補正後骨格情報は補正後骨格情報記憶部１２０に入力される。

フィルタ部１２１は、補正後骨格情報記憶部１２０に記憶された所定数の補正後骨格情報に基づいて、補正後骨格情報のフィルタリング処理（補正後骨格情報に含まれる誤差情報を除去する処理）を行う。上記所定数は任意であり、フィルタリング処理は、平均、中央値、ガウシアンフィルタなどの任意の平滑化フィルタを用いて実施することができる。そして、出力制御部１０７は、フィルタリング処理が施された後の補正後骨格情報を含むモーション画像を表示装置７１に表示する制御を行う。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

上述の実施形態では、特に腰の動きが重要である運動を実施する被験者に対して自己の動作情報を提示するため、運動のポイントとなる腰に対応する骨格情報の位置の精度を高める処理を行った。同様に、肩や膝の動きが重要である運動を実施する被験者に対して自己の動作情報を提示する場合には、運動のポイントとなる肩や膝に対応する骨格情報の位置の精度を高める処理を行ってもよい。このような腰、肩、膝は、その動きを生じさせる股関節付近、肩関節付近、膝関節付近の動きが、身体を大きく動かしたとしても比較的小さいことや、外観からの特徴的な部分が少ないこともあり、対応する骨格情報の位置を精度良く求め、動きに追従することは難しい場合が多い。そのため、特に、そのような身体の部位を注目部位とする場合に、上述の実施形態を用いることにより、従来技術では精度の良くない注目部位の骨格情報の位置の精度を高めることができる。勿論、従来技術でも比較的精度良く位置を求めることができる他の身体の部位（例えば手など）を注目部位とする場合にも、さらに精度を高めるために上述の実施形態を適用してもよい。

また、以上においては、被験者が、運動器具１０を利用した運動（ここでは、一例として「すり足運動」または「足こぎ運動」）を行う場合を想定しているが、これに限らず、被験者が行う運動の種類は任意である。例えば、ウォーキングの動作を伴う運動を行う被験者に対して自己の動作情報を提示してもよい。ウォーキングの運動は胸を張った姿勢で行うことが推奨されるため、ウォーキングの運動中に猫背になっているか胸を脹れているかが分かるような動作情報を被験者に提示できるとよい。その場合、背骨の中心（上述の実施形態のＳｐｉｎｅＭｉｄ２０７）付近の位置を精度良く求める必要があり、上述の実施形態を適用することができる。また、例えば運動器具１０を利用しない運動でも、上述の実施形態は適用可能である。

また、上述した実施形態の情報処理システム２０（情報処理装置６０）で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ システム
１０ 運動器具
２０ 情報処理システム
３０ アーム部
４０ センサ
４１ カメラ
４２ 深度センサ
５０ リモコン
６０ 情報処理装置
７０ 出力装置
７１ 表示装置
７２ スピーカー
１０１ 受付部
１０２ 画面切替制御部
１０３ 取得部
１０４ 補正部
１０５ 基準骨格情報記憶部
１０６ 基準骨格情報生成部
１０７ 出力制御部
１１０ 教師情報記憶部
１１１ 算出部
１１２ 教師情報生成部
１１３ 第２の取得部
１２０ 補正後骨格情報記憶部
１２１ フィルタ部

特許第５７３９８７２号公報

Claims (13)

1. 運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する取得部と、
   前記取得部により取得された前記骨格情報と、基準姿勢のときの前記被験者の各部の関節を推定した結果を示す基準骨格情報とを用いて、前記骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する補正部と、を備える、
   情報処理装置。
2. 前記補正部は、補正後の前記第１の位置情報と、補正前の前記第１の位置情報と、前記基準骨格情報のうち前記注目部位に対応する位置を示す第２の位置情報との関係を表す補正関数に対して、前記取得部により取得された前記骨格情報のうち前記注目部位に対応する位置を示す情報を補正前の前記第１の位置情報として入力するとともに、前記第２の位置情報を入力して、補正後の前記第１の位置情報を算出する、
   請求項１に記載の情報処理装置。
3. 前記補正部は、補正前の前記第１の位置情報と前記第２の位置情報との差分に対して、前記補正関数の係数を表す補正パラメータを乗算して得られる値と、前記第２の位置情報とを加算した値を、補正後の前記第１の位置情報として算出する、
   請求項２に記載の情報処理装置。
4. 複数の時間ごとに、該時間における前記第１の位置情報と正解情報との組を対応付けた教師情報を用いて前記補正パラメータを算出する算出部をさらに備える、
   請求項３に記載の情報処理装置。
5. 前記算出部は、補正後の前記第１の位置情報と前記正解情報との差分が閾値以内になるように前記補正パラメータを算出する、
   請求項４に記載の情報処理装置。
6. 前記骨格情報は、前記被験者を検出するための検出領域を撮像する撮像部により生成された撮像画像と、前記検出領域の被写体の深度情報を検出する深度センサにより検出された前記深度情報とから、前記撮像画像に映り込んだ前記被験者の各部の関節を推定した結果を示す情報であり、
   前記正解情報は、前記撮像部および前記深度センサとは異なる他のセンサを用いたモーションキャプチャにより前記被験者の各部の関節を推定した結果を示す第２の骨格情報のうち前記注目部位に対応する位置を示す情報である、
   請求項４または５に記載の情報処理装置。
7. 前記複数の時間ごとに、該時間に対応する前記骨格情報のうち前記注目部位に対応する位置を示す前記第１の位置情報と、該時間に対応する前記第２の骨格情報のうち前記注目部位に対応する位置を示す前記正解情報とを対応付けて前記教師情報を生成する生成部をさらに備える、
   請求項６に記載の情報処理装置。
8. 前記補正部により前記注目部位に対応する位置が補正された後の前記骨格情報を示す補正後骨格情報を記憶する補正後骨格情報記憶部と、
   前記補正後骨格情報記憶部に記憶された所定数の前記補正後骨格情報に基づいて、前記補正後骨格情報のフィルタリング処理を行うフィルタ部と、をさらに備える、
   請求項１乃至７のうちの何れか１項に記載の情報処理装置。
9. 前記補正部により前記注目部位に対応する位置が補正された後の前記骨格情報を、前記被験者を検出するための検出領域を撮像して得られる撮像画像上に重ね合わせたモーション画像を表示装置から出力させる制御を行う出力制御部をさらに備える、
   請求項１乃至８のうちの何れか１項に記載の情報処理装置。
10. 前記注目部位は腰である、
    請求項１乃至９のうちの何れか１項に記載の情報処理装置。
11. 運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する取得ステップと、
    前記骨格情報と、基準姿勢のときの前記被験者の各部の関節を推定した結果を示す基準骨格情報とに基づいて、前記骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する補正ステップと、を含む、
    情報処理方法。
12. コンピュータに、
    運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する取得ステップと、
    前記骨格情報と、基準姿勢のときの前記被験者の各部の関節を推定した結果を示す基準骨格情報とに基づいて、前記骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する補正ステップと、を実行させるためのプログラム。
13. 情報処理装置と、表示装置とを備えるシステムであって、
    運動する被験者の各部の関節を推定した結果を示す骨格情報を取得する取得部と、
    前記骨格情報と、基準姿勢のときの前記被験者の各部の関節を推定した結果を示す基準骨格情報とに基づいて、前記骨格情報のうち注目部位に対応する位置を示す第１の位置情報を補正する補正部と、
    前記補正部により前記注目部位に対応する位置が補正された後の前記骨格情報を、前記被験者を検出するための検出領域を撮像して得られる撮像画像上に重ね合わせたモーション画像を前記表示装置から出力させる制御を行う出力制御部と、を備える、
    システム。

Images