JP2015126826A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】仮想カメラの位置が連続して変更される場合に、運動動作ごとに適した仮想カメラの位置の範囲で、運動する仮想物の鏡像を表示可能とする。
【解決手段】情報処理装置は、動作情報と、仮想カメラにより撮影される仮想物の鏡像の表示範囲を示す範囲情報とを複数記憶し、所定の動作情報に基づいて、三次元仮想空間において仮想物が動作する映像であって、仮想カメラから撮影された映像を示す映像情報を表示手段に表示させ、仮想カメラの位置の連続的な変更指示を受け付け、変更指示によって変更された仮想カメラの位置が、所定の動作情報に対応する範囲情報が示す表示範囲に含まれるかを判定し、仮想カメラの位置が表示範囲に含まれると判定された場合、仮想物の鏡像を示す映像情報を表示手段に表示させる。
【選択図】図５

Description

本発明は、三次元仮想空間に配置される仮想物が運動動作する映像を、仮想物の左右を反転させて表示する技術分野に関する。

例えば、特許文献１には、指導者が運動を行う運動画像を実像として見るか又は鏡像で見るかを、利用者から入力された運動向きの選択情報をもとに判定し、鏡像で見る場合、指導者の運動画像の鏡像と利用者の運動映像とを比較して、指導者の動きと利用者の動きの差を検出する技術が開示されている。また、特許文献２には、三次元仮想空間において予め定められた複数の位置の中から、三次元仮想空間内のフィギュアを撮影する仮想カメラの位置を切り替えて、フィギュアが運動動作する映像を表示する技術が開示されている。

特開２００６−３０２１２２号公報 特開２０１１−１９４０７６号公報

従来の技術では、利用者又はインストラクターが望む位置に仮想カメラの位置を切り替えたとき、仮想物に対する仮想カメラの位置に応じて、動作する仮想物の鏡像と実像とを切り替えて表示させることができない。その一方で、仮想カメラの位置に応じて仮想物の鏡像と実像とを切り替えて表示させる場合、仮想カメラの位置の範囲として、動作が分かりやすい鏡像及び実像をそれぞれ表示することができる範囲が、運動動作ごとに異なる。

本発明は、以上の点に鑑みてなされたものであり、仮想カメラの位置が連続して変更される場合に、運動動作ごとに適した仮想カメラの位置の範囲で、運動する仮想物の鏡像を表示可能とする情報処理装置及びプログラムを提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、三次元仮想空間に配置される仮想物が動作を行う映像を示す映像情報を、前記三次元仮想空間における前記仮想物の身体の座標に基づいて生成するための動作情報と、前記三次元仮想空間に配置される仮想カメラにより撮影される前記仮想物の鏡像の表示範囲を示す範囲情報とを複数記憶する記憶手段と、前記記憶手段に記憶された複数の前記動作情報のうち所定の動作情報に基づいて、前記三次元仮想空間において前記仮想物が動作する映像であって、前記仮想カメラから撮影された映像を示す前記映像情報を表示手段に表示させる第１制御手段と、前記三次元仮想空間における前記仮想カメラの位置の連続的な変更指示を受け付ける受付手段と、前記受付手段により前記変更指示が受け付けられた場合、前記変更指示によって変更された前記仮想カメラの位置が、前記所定の動作情報に対応する前記範囲情報が示す表示範囲に含まれるかを判定する判定手段と、前記判定手段により前記仮想カメラの位置が前記表示範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を前記表示手段に表示させる第２制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、前記記憶手段は、前記仮想物から前記仮想カメラへの方向と前記仮想物からの所定方向とのなす角度の範囲を示す前記範囲情報を記憶し、前記判定手段は、前記変更指示によって前記位置が変更された前記仮想カメラの前記仮想物からの方向と前記仮想物からの前記所定方向とのなす角度が、前記所定の動作情報に対応する前記範囲情報が示す範囲に含まれるかを判定し、前記第２制御手段は、前記判定手段により前記角度が前記範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を表示させることを特徴とする。

請求項３に記載の発明は、前記受付手段は、前記仮想カメラの位置を、所定の移動方向へ変更する前記変更指示を、連続して受け付けることを特徴とする。

請求項４に記載の発明は、前記第２制御手段は、前記判定手段により前記仮想カメラの位置が前記表示範囲に含まれると判定されなかった場合、前記仮想物の実像を示す前記映像情報を表示させることを特徴とする。

請求項５に記載の発明は、前記第２制御手段により前記表示手段に前記仮想物の鏡像又は実像を示す前記映像情報が表示されたときの前記仮想カメラの前記三次元仮想空間における位置を示す位置情報を、前記仮想カメラの位置の切替操作により切り替え可能な位置を示す位置情報として前記記憶手段に記憶させる第３制御手段を更に備えることを特徴とする。

請求項６に記載の発明は、前記第３制御手段は、前記情報処理装置と通信可能なリモコンの切替操作により前記リモコンから前記情報処理装置へ送信される切替指示に基づいて切り替えられる前記仮想カメラの位置として、前記仮想物の鏡像又は実像を示す前記映像情報が表示されたときの前記仮想カメラの位置を示す位置情報を前記記憶手段に記憶させることを特徴とする。

請求項７に記載の発明は、前記第２制御手段は、前記仮想物の鏡像を示す前記映像情報の表示と、前記仮想物の実像を示す前記映像情報の表示とを切り替えるとき、所定の演出効果が付与された前記映像情報を表示させることを特徴とする。

請求項８に記載の発明は、三次元仮想空間に配置される仮想物が動作を行う映像を示す映像情報を、前記三次元仮想空間における前記仮想物の身体の座標に基づいて生成するための動作情報と、前記三次元仮想空間に配置される仮想カメラにより撮影される前記仮想物の鏡像の表示範囲を示す範囲情報とを複数記憶する記憶手段に記憶された複数の前記動作情報のうち所定の動作情報に基づいて、前記三次元仮想空間において前記仮想物が動作する映像であって、前記仮想カメラから撮影された映像を示す前記映像情報を表示手段に表示させる第１制御ステップと、前記三次元仮想空間における前記仮想カメラの位置の連続的な変更指示を受け付ける受付ステップと、前記受付ステップにより前記変更指示が受け付けられた場合、前記変更指示によって変更された前記仮想カメラの位置が、前記所定の動作情報に対応する前記範囲情報が示す表示範囲に含まれるかを判定する判定ステップと、前記判定ステップにより前記仮想カメラの位置が前記表示範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を前記表示手段に表示させる第２制御ステップと、をコンピュータに実行させることを特徴とする。

請求項１又は８に記載の発明によれば、運動動作に対応する範囲で、動作を行う仮想物の左右を反転した鏡像が表示されるので、運動動作ごとに適した仮想カメラの位置の範囲で仮想物の鏡像を表示することができる。

請求項２に記載の発明によれば、運動動作ごとに適した仮想カメラの撮影角度の範囲で仮想物の鏡像を表示することができる。

請求項４に記載の発明によれば、仮想カメラの位置が、運動動作に対応する範囲外である場合、動作を行う仮想物の左右を反転しない実像を表示させることができる。

請求項５に記載の発明によれば、仮想カメラの位置の連続的な変更による仮想カメラの移動先の位置を、切替操作による仮想カメラの位置の切り替え先にすることが可能な位置として登録しておくことができる。

請求項７に記載の発明によれば、仮想物が運動する映像が鏡像から実像へ切り替わるとき、又は、仮想物が運動する映像が実像から鏡像へ切り替わるとき、演出効果が付与される。そのため、映像が切り替わることにより映像の繋がりが不自然になることを抑制することができる。

本実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。 （Ａ）は、三次元仮想空間９０の様子の一例を示す図であり（Ｂ）は、三次元仮想空間９０における座標系における座標軸の一例を示す図であり、（Ｃ）及び（Ｄ）は、フィギュア８３をＺ軸上から見たＸＺ平面図である。 （Ａ）は、ジャンルテーブルの構成例を示す図であり、（Ｂ）は、運動動作管理テーブルの構成例を示す図である。 出力端末５のＣＰＵ５１の処理例を示すフローチャートである。 出力端末５のＣＰＵ５１の処理例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、運動を支援するための運動コンテンツを生成する運動コンテンツ生成システムに本発明を適用した場合の実施形態である。運動コンテンツは、運動を支援するための映像及び音声を含む。

［１．運動コンテンツ生成システム１の構成］
始めに、図１を参照して、本実施形態の運動コンテンツ生成システム１の構成について説明する。図１は、本実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。図１に示すように、運動コンテンツ生成システム１は、配信サーバ２と１つ以上の出力端末５とを含んで構成されている。配信サーバ２と出力端末５とは、ネットワーク１０を介して接続可能になっている。ネットワーク１０は、例えば、インターネットを含む。配信サーバ２には、データベース３が接続されている。データベース３には、運動に関する情報や楽曲に関する情報が登録されている。配信サーバ２は、データベース３に登録されている情報等を、定期的に又は出力端末５からの要求に応じて出力端末５に配信する。

出力端末５は、例えば、施設４に設置される端末装置である。出力端末５は、本発明の情報処理装置の一例である。出力端末５は、施設４の利用者４１により利用される。出力端末５は、例えばパーソナルコンピュータであってもよい。施設４は、例えば、スポーツ施設であってもよい。利用者４１は、スポーツ施設において、運動レッスンを受ける。運動レッスンは、複数の運動動作と楽曲により構成されるレッスンである。運動動作は、例えば、身体を鍛えるための動作である。運動動作として、例えば、体操の動作と踊りの動作とがある。体操は、例えば、健康の増進、体力の増強、筋力の強化等のために行われる運動である。体操の種類として、例えば、有酸素運動、無酸素運動、ストレッチ等がある。踊りの動作は、楽曲に合わせて踊るために楽曲に対して振り付けられた動作である。

出力端末５は、モニタ５７と接続可能である。モニタ５７は、複数のスピーカ６４とディスプレイ６７とを備える表示装置であってもよい。この場合、出力端末５は、ディスプレイ６７と接続可能である。ディスプレイ６７は、本発明の表示手段の一例である。また、出力端末５は、スピーカ６４と接続可能である。出力端末５がモニタ５７へ音声信号を出力することにより、スピーカ６４により楽曲等が出力される。出力端末５がモニタ５７へ映像信号を出力することにより、ディスプレイ６７に運動映像等が表示される。運動映像は、本発明の映像情報の一例である。運動映像は、動作を行うフィギュア８３を映し出した動画である。フィギュア８３は、例えば、人、動物、仮想上の生き物、ロボット等のかたちをした仮想物である。フィギュア８３は、三次元仮想空間に配置される。出力端末５は、スピーカ６４から出力される楽曲と、ディスプレイ６７に表示されるフィギュア８３の動きとが同期するように、信号を出力する。楽曲と運動映像とを出力することは、運動コンテンツを出力することの一例である。利用者４１は、楽曲を聴きながら、ディスプレイ６７に表示されるフィギュア８３を見て、運動を行うことができる。操作者４２は、リモコン６６等を用いて出力端末５を操作することができる。出力端末５とリモコン６６とは通信可能である。利用者４１と操作者４２とは同一人物であってもよい。施設４がスポーツ施設である場合、操作者４２は、例えば、インストラクターであってもよい。

［２．フィギュア８３の鏡像表示、実像表示の切り替え］
次に、図２（Ａ）を参照して、運動映像を生成するために用いられる三次元仮想空間９０を説明する。運動コンテンツ生成システム１においては、３ＤＣＧ（3 Dimensional Computer Graphics）により、出力端末５が、三次元仮想空間９０に配置されたフィギュア８３が運動動作を行う運動映像を生成する。図２（Ａ）は、三次元仮想空間９０の様子の一例を示す図である。図２（Ａ）に示すように、三次元仮想空間９０には、フィギュア８３が配置される。また、三次元仮想空間９０には、仮想カメラ９１が配置される。仮想カメラ９１は、三次元仮想空間９０内の映像を撮影する。仮想カメラ９１は、三次元仮想空間９０内の物体を投影面に写すための視点及び視線の方向を表す。例えば、仮想カメラ９１の位置は視点を示し、仮想カメラ９１の撮影方向は視線の方向を示す。また、視線は、例えば、フィギュア８３の中心を通る。このフィギュア８３の中心を、注視点という。注視点は、例えば、三次元仮想空間９０における座標系の原点であってもよい。投影面に映った映像が、運動映像になる。出力端末５は、三次元仮想空間９０におけるフィギュア８３の複数の運動動作が仮想カメラ９１で撮影される運動映像を、ディスプレイ６７に表示させる。

仮想カメラ９１の位置は操作者４２の操作に基づいて変更可能である。仮想カメラ９１の位置を変更する手段として、例えば、リモコン６６とマウス６２とがある。リモコン６６は、例えば複数のボタンを備える。操作者４２は、リモコン６６のボタンを操作することにより、三次元仮想空間９０内において予め登録された複数の位置の中から仮想カメラ９１の位置を切り替えることができる。例えば、図２（Ａ）に示すように、仮想カメラ９１の位置を、視点Ｌ１〜Ｌ１７のうち何れかに変更可能である。視点Ｌ１〜Ｌ１７は、予め設定されている。これらの視点を、システム設定視点という。

操作者４２は、マウス６２を動かすことにより、仮想カメラ９１の位置を連続的に変更することができる。すなわち、仮想カメラ９１の位置を、三次元仮想空間９０内においてなめらかに動かすことができる。操作者４２がマウス６２を動かすと、マウス６２は、例えば所定時間ごとに操作信号を出力端末５へ出力する。操作信号は、例えばマウス６２の移動方向を示す方向値と、マウス６２の移動距離を示すカウント値とを含む。出力端末５は、マウス６２からの操作信号を、仮想カメラ９１の位置の変更指示として連続して受け付ける。すなわち、出力端末５は、仮想カメラ９１の位置を所定の移動方向へ変更する変更する変更指示を連続して受け付ける。出力端末５は、操作信号を受信するごとに、操作信号に含まれる方向値及びカウント値に応じて、仮想カメラ９１の三次元仮想空間９０における位置の移動方向及び移動距離を計算する。そして、出力端末５は、計算した移動方向及び移動距離に基づいて、仮想カメラ９１の位置を変更する。具体的に、出力端末５は、仮想カメラ９１の位置を、方向値に応じた移動方向へ、カウント値に応じた移動距離変更する。これにより、仮想カメラ９１の位置を視点Ｌ１〜Ｌ１７とは異なる位置に変更することも可能である。

三次元仮想空間９０における仮想カメラ９１の位置によって、仮想カメラ９１からの視線方向に対してフィギュア８３の正面が向く方向が変わる。この方向は、注視点から視点への方向と、注視点からフィギュア８３の正面方向とのなす角度に対応する。この角度を、便宜上、撮影角度という。例えば、仮想カメラ９１が、フィギュア８３の背面を撮影したり、フィギュア８３の正面を撮影したりする場合がある。フィギュア８３が同じ動作をしていても、背面を撮影した映像と正面を撮影した映像とでは、ディスプレイ６７に表示されるフィギュア８３の動作が左右反対となる。運動レッスンが行われるとき、利用者４１は、ディスプレイ６７に表示されるフィギュア８３が行う運動動作を見ながら、フィギュア８３と同じ運動動作を行おうとする。そこで、出力端末５は、フィギュア８３の位置に応じて、フィギュア８３の鏡像表示と実像表示とを切り替える。鏡像表示は、フィギュア８３の左右を反転させてフィギュア８３の運動映像を表示させることである。実像表示は、フィギュア８３の左右を反転させずにフィギュア８３の運動映像を表示させることである。

基本的に、フィギュア８３の正面が仮想カメラ９１を向く位置に仮想カメラ９１が位置するとき、出力端末５は鏡像表示させる。一方、フィギュア８３の背面が仮想カメラ９１を向く位置に仮想カメラ９１が位置するとき、出力端末５は実像表示を行わせる。しかしながら、仮想カメラ９１の位置の範囲として、鏡像表示の方がフィギュア８３の運動動作が分かりやすい範囲と、実像表示の方がフィギュア８３の運動動作が分かりやすい範囲とが、運動動作ごとに異なる場合がある。そこで、運動動作ごとに、鏡像表示する仮想カメラ９１の位置の範囲が予め設定されている。

例えば、鏡像表示する最大の撮影角度で、鏡像表示する仮想カメラ９１が位置の範囲が設定されてもよい。この角度を鏡像表示角度という。鏡像表示角度は、本発明の範囲情報の一例である。図２（Ｂ）は、三次元仮想空間９０における座標系における座標軸の一例を示す図である。図２（Ｂ）において、Ｏは例えば注視点である。三次元仮想空間９０におけるワールド座標系において、フィギュア８３に対して左右方向がＸ軸の方向である。また、フィギュア８３に対して上下方向がＹ軸の方向である。また、フィギュア８３に対して前後方向がＺ軸の方向である。フィギュア８３の正面は、例えばＺ軸においてマイナスの方向である。図２（Ｃ）及び図２（Ｄ）は、フィギュア８３をＺ軸上から見たＸＺ平面図である。注視点から視点へのベクトルＢがＸＺ平面に投影される。そして、投影されたベクトルＢと、注視点からの正面方向のベクトルＡとのなす角度θが撮影角度である。鏡像表示角度をθmaxとすると、図２（Ｃ）に示すように、θ≦θmaxである場合、出力端末５は、鏡像表示させる。図２（Ｄ）に示すように、θ＞θmaxである場合、出力端末５は、実像表示させる。また、θ＜θmaxである場合、出力端末５は、鏡像表示させ、θ≧θmaxである場合、出力端末５は、実像表示させても良い。

運動動作ごとの鏡像表示角度を管理するため、出力端末５のＨＤＤ７には、ジャンルテーブル、モーション管理テーブルが記憶される。図３（Ａ）は、ジャンルテーブルの構成例を示す図である。ジャンルテーブルは、運動動作のジャンルを定義するテーブルである。図３（Ａ）に示すように、ジャンルテーブルには、ジャンルＩＤ及びジャンル名が、ジャンルごとに対応付けて格納される。ジャンルＩＤは、ジャンルを識別可能な識別情報である。図３（Ｂ）は、運動動作管理テーブルの構成例を示す図である。運動動作管理テーブルは、運動動作を定義するためのテーブルである。図３（Ｂ）に示すように、運動動作管理テーブルには、ジャンルＩＤ、モーションＩＤ、運動動作名及び鏡像表示角度等が、運動動作ごとに対応付けて格納される。ジャンルＩＤは、運動動作の運動のジャンルを示す。モーションＩＤは、運動動作を識別可能な識別情報である。また、ＨＤＤ７には、配信サーバ２からダウンロードされたモーションデータが、モーションＩＤに対応付けて記憶される。モーションデータは、三次元仮想空間９０におけるフィギュア８３の運動動作を定義するデータであり、運動映像を表示するためのデータである。モーションデータは、本発明の動作情報の一例である。モーションＩＤにより、モーションデータと鏡像表示角度とが対応付けられる。

ユーザによるマウス６２の操作による仮想カメラ９１の位置の連続的な変更によって、出力端末５が鏡像表示又は実像表示をさせた場合、出力端末５は、そのときの仮想カメラ９１の位置を登録してもよい。例えば、ＨＤＤ７には、ユーザ登録視点テーブルが記憶される。ユーザ登録視点テーブルには、ユーザの操作によって登録された視点の座標が格納される。ユーザが所定のマウスボタンを押すこと等により登録操作を行ったとき、出力端末５は、仮想カメラ９１の三次元仮想空間９０における現在の座標をユーザ登録視点テーブルに格納する。登録された視点を、ユーザ登録視点という。リモコン６６の視点切替操作により、出力端末５は、仮想カメラ９１の位置をユーザ登録視点に切り替えることができる。

また、出力端末５は、仮想カメラ９１の位置の連続的な変更に応じて、鏡像表示から実像表示へ切り替えるときと、実像表示から鏡像表示へ切り替えるときに、運動映像に対して演出効果を付与してもよい。これにより、鏡像表示と実像表示とが突然切り替わることより運動映像の繋がりが不自然になることを演出効果により抑制することができる。演出効果として、例えば、暗転、ぼかし等がある。暗転は、運動映像を黒色等の暗い色で塗りつぶしてフィギュア８３が見えないようにする演出効果である。例えば、鏡像表示と実像表示とが切り替わる瞬間に運動映像が真っ暗となり、その後次第に明るくなって、フィギュア８３が見えるようになる。ぼかしは、フィギュア８３の輪郭をあいまいにする演出効果である。例えば、鏡像表示と実像表示とが切り替わる瞬間に、所定の強度のぼかしが運動映像に付与される。その後、運動映像に付与されるぼかしの強度が次第に小さくなって、フィギュア８３の輪郭がはっきり見えるようになる。演出効果として、例えば、鏡像表示と実像表示とが切り替わる瞬間に、鏡像表示と実像表示とのそれぞれが一定の割合ブレンドされた運動映像が表示されても良い。

［３．各装置の構成］
次に、図１を参照して、運動コンテンツ生成システムに含まれる各装置の構成について説明する。

［３−１．配信サーバ２の構成］
図１に示すように、配信サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、Ｉ／Ｏインタフェイス２５、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０及びＨＤＤ（ハードディスクドライブ）３７を備える。ＣＰＵ２１は、バス２４を介して、ＲＯＭ２２、ＲＡＭ２３、バス２４及びＩ／Ｏインタフェイス２５に接続されている。ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ３７に記憶されプログラムを実行することにより、配信サーバ２の各部を制御する。Ｉ／Ｏインタフェイス２５には、データベース３、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０、キーボード３１、マウス３２及びＨＤＤ３７が接続されている。ＣＰＵ２１は、Ｉ／Ｏインタフェイス２５を介してデータベース３にアクセスする。表示制御部２６は、ＣＰＵ２１の制御に基づいて映像信号をモニタ２７に出力する。ディスクドライブ２８は、記録媒体２９に対するデータの書き込み及び読み出しを行う。ネットワーク通信部３０は、配信サーバ２がネットワーク１０に接続するための制御を行う。ＨＤＤ３７には、ＯＳや各種制御プログラム等が記憶されている。

データベース３には、モーションデータ、楽曲データ等のデータが登録されている。モーションデータは、三次元仮想空間９０におけるフィギュア８３の運動動作を定義するデータである。また、モーションデータは、ディスプレイ６７に表示されるフィギュア８３に運動動作をさせるためのデータである。モーションデータは、運動動作の進行に応じたフィギュア８３の身体の各部の座標を含む。具体的には、モーションデータには、時系列に沿って、運動動作の進行に応じたフィギュア８３の身体部位の座標が含まれる。例えば、運動映像を構成する複数のフレームのうちキーフレームごとに、フィギュア８３の身体部位の座標が定義されている。時系列に沿って、フィギュア８３の身体部位が、モーションデータに従って表示されることで、所定の運動動作を実行するフィギュア８３の映像が、ディスプレイ６７に表示される。モーションデータは、モーションＩＤと対応付けて登録される。

楽曲データは、スピーカ６４により楽曲を出力するための演奏データである。楽曲データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであってもよい。楽曲データは、楽曲ＩＤ、楽曲名、アーティスト名、オリジナルのテンポ、楽曲の演奏パートの構成等の情報を含む。楽曲ＩＤは、楽曲の識別情報である。

［３−２．出力端末５の構成］
図１に示すように、出力端末５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、バス５４、Ｉ／Ｏインタフェイス５５、表示制御部５６、ディスクドライブ５８、ネットワーク通信部６０、音声出力部６３、信号受信部６５、及びＨＤＤ７を備える。ＣＰＵ５１は、バス５４を介して、ＲＯＭ５２、ＲＡＭ５３及びＩ／Ｏインタフェイス５５に接続されている。ＣＰＵ５１は、時計機能及びタイマー機能を有する。ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ７に記憶されプログラムを実行することにより、出力端末５の各部を制御する。Ｉ／Ｏインタフェイス５５には、ＨＤＤ７、表示制御部５６、音声出力部６３、ディスクドライブ５８、ネットワーク通信部６０、キーボード６１、マウス６２、及び信号受信部６５が接続されている。表示制御部５６は、ＣＰＵ５１の制御に基づいて映像信号をモニタ５７に出力する。音声出力部６３は、ＣＰＵ５１の制御に基づいて音声信号をモニタ５７に出力する。ディスクドライブ５８は、記録媒体５９に対するデータの書き込み及び読み出しを行う。信号受信部６５は、リモコン６６から出力される指示信号を受信する。リモコン６６は、操作者４２が出力端末５を操作するためのものである。

ＨＤＤ７は、本発明の記憶手段の一例である。ＨＤＤ７には、配信サーバ２からダウンロードされたモーションデータ、楽曲データ等が記憶される。また、ＨＤＤ７には、ジャンルテーブル、モーション管理テーブル、システム設定視点テーブル、ユーザ登録視点テーブル、演出効果情報が記憶される。システム設定視点テーブルには、システム設定視点の三次元仮想空間９０における座標が格納される。演出効果情報は、鏡像表示と実像表示との切り替え時の演出効果の内容を定義する情報である。例えば、演出効果情報は、演出効果の種類、及び演出開始から経過した時間ごとの演出態様を示す情報を含む。例えば、暗転の場合、演出態様を示す情報は、運動映像の明度であってもよい。例えば、明度が０であるとき、運動映像が黒色で塗りつぶされ、フィギュア８３が見えない。明度が高くなるに従って、フィギュア８３が徐々に見え、明度が１００であるとき、フィギュア８３が完全に見える。また例えば、ぼかしの場合、演出態様を示す情報は、ぼかしの強度であってもよい。また、ＨＤＤ７には、レッスン情報が記憶される。レッスン情報は、運動レッスンの構成を定義する情報である。レッスン情報は、運動レッスンごとにレッスンＩＤと対応付けて記憶される。レッスンＩＤは、運動レッスンを識別可能な識別情報である。レッスン情報には、モーションＩＤ及び実行順番号等を格納するレコードが、運動レッスンを構成する運動動作ごとに登録されている。実行順番号は、運動レッスンを構成する複数の運動動作の中で、モーションＩＤが示す運動動作が実行される順番を示す。

ＨＤＤ７には、更に、ＯＳ、運動支援プログラム、３Ｄエンジン、ミュージックシーケンサ等の各種プログラム等が記憶されている。運動支援プログラムは、出力端末５を動作させるためのプログラムである。運動支援プログラムは、コンピュータとしてのＣＰＵ５１に、受付ステップ、ダウンロードステップ、設定ステップ、判定ステップ、制御ステップを少なくとも実行させる。３Ｄエンジンは、モーションデータに基づいて、三次元仮想空間で運動動作するフィギュア８３を二次元平面に投影した画像を生成するためのプログラムである。画像を生成する処理は、射影変換、クリッピング、隠面消去、シェーディング、テクスチャマッピング等を含む。ＣＰＵ５１は、３Ｄエンジンを実行して、静止画像を順次生成する。生成された静止画像をＣＰＵ５１が表示制御部５６へ順次出力することで、ディスプレイ６７には、運動映像が表示される。

ミュージックシーケンサは、楽曲データを再生するためのプログラムである。ＣＰＵ５１は、ミュージックシーケンサを実行することにより、楽曲データに対応する音声信号を生成する。また、ＣＰＵ５１は、ミュージックシーケンサを実行することにより、各種のイベントを発生させる。イベントとして、例えば、テンポに応じて所定時間間隔で発生するイベントがある。このイベントは、ＭＩＤＩクロックや同期イベントと呼ばれる。また、イベントとして、例えば、演奏パート開始イベントがある。

各種プログラムは、例えば、配信サーバ２等のサーバからネットワーク１０を介してダウンロードされるようにしてもよい。また、各種プログラムは、記録媒体５９に記録されてディスクドライブ５８を介して読み込まれるようにしてもよい。なお、３Ｄエンジンやミュージックシーケンサは、プログラムではなく、専用のハードウェアであってもよい。そして、出力端末５は、ハードウェアとしての３Ｄエンジンやミュージックシーケンサを備えてもよい。

ＣＰＵ５１は、設定されたテンポに従って、楽曲データに対応する音声信号を音声出力部６３へ出力させるとともに、生成した画像に対応する映像信号を表示制御部５６から出力させる。ＣＰＵ５１は、同期イベントに基づいて、楽曲の音声信号の出力タイミングと運動映像の映像信号の出力タイミングとを同期させる。これにより、スピーカ６４から出力される楽曲に同期して運動動作を行うフィギュア８３がディスプレイ６７に表示される。

［４．運動コンテンツ生成システム１の動作］
次に、図４及び図５を参照して、運動コンテンツ生成システム１の動作を説明する。図４及び図５は、出力端末５のＣＰＵ５１の運動コンテンツ再生処理の処理例を示すフローチャートである。例えば、操作者４２が、リモコン６６等を用いて運動レッスンを選択し、運動コンテンツの再生の開始を指示する操作を行う。すると、ＣＰＵ５１は、運動コンテンツ再生処理を開始する。なお、運動コンテンツ再生処理においてスピーカ６４から楽曲を出力させるための処理の説明は省略する。

運動コンテンツ再生処理を開始すると、ＣＰＵ５１は、選択された運動レッスンのレッスンＩＤを特定し、レッスンＩＤに対応するレッスン情報をＨＤＤ７から取得する。そして、ＣＰＵ５１は、図４に示すように、実行順番号ｉを１に設定する。また、ＣＰＵ５１は、鏡像表示切替演出中フラグをＯＦＦに設定する（ステップＳ１）。鏡像表示切替演出中フラグは、鏡像表示と実像表示との切り替え時の演出が行われている最中であるか否かを示す。次いで、ＣＰＵ５１は、ｉ番目に実行される運動動作に関する情報を取得する（ステップＳ２）。具体的に、ＣＰＵ５１は、レッスン情報から実行順番号ｉに対応するモーションＩＤを取得する。次いで、ＣＰＵ５１は、運動動作管理テーブルから、モーションＩＤに対応する鏡像表示角度を取得する。また、ＣＰＵ５１は、ｉ番目の運動動作の運動映像の表示開始時刻として、時計機能から現在時刻を取得する。

次いで、ＣＰＵ５１は、ユーザ操作が行われたか否かを判定する（ステップＳ３）。具体的にＣＰＵ５１は、マウス６２から操作信号を受信したとき、又は信号受信部６５を介してリモコン６６からの指示信号を受信したとき、ユーザ操作が行われたと判定する（ステップＳ３：ＹＥＳ）。この場合、ＣＰＵ５１は、ステップＳ４に進む。ステップＳ４において、ＣＰＵ５１は、マウス６２のアナログ操作による視点変更を行うか否かを判定する。このとき、ＣＰＵ５１は、マウス６２から操作信号を受信した場合には、マウス６２による視点変更を行うと判定する（ステップＳ４：ＹＥＳ）。この場合、ＣＰＵ５１は、ステップＳ５に進む。ステップＳ５において、ＣＰＵ５１は、三次元仮想空間９０における現在の視点を変更する。具体的に、ＣＰＵ５１は、受信した操作信号から方向値及びカウンタ値を取得する。次いで、ＣＰＵ５１は、取得した方向値及びカウンタ値に応じて、三次元仮想空間９０における視点の移動方向及び移動距離を計算する。次いで、ＣＰＵ５１は、計算した移動方向及び移動距離に基づいて、三次元仮想空間９０におけるＸ〜Ｚ座標のそれぞれの変化量を計算する。次いで、ＣＰＵ５１は、計算した現在の視点のＸ〜Ｚ座標のそれぞれに、計算した変化量を加算して、視点の位置を変更する。次いで、ＣＰＵ５１は、ステップＳ１０に進む。

一方、ＣＰＵ５１は、マウス６２による視点変更を行うと判定しなかった場合には（ステップＳ４：ＮＯ）、ステップＳ６に進む。ステップＳ６において、ＣＰＵ５１は、リモコン６６の操作による視点切り替えを行うか否かを判定する。このとき、ＣＰＵ５１は、リモコン６６から視点切替指示信号を受信した場合には、リモコン６６による視点切り替えを行うと判定する（ステップＳ６：ＹＥＳ）。この場合、ＣＰＵ５１は、ステップＳ７に進む。ステップＳ７において、ＣＰＵ５１は、三次元仮想空間９０における現在の視点を、登録されている複数の視点の何れかに変更する。具体的に、ＣＰＵ５１は、リモコン６６から受信された視点切替指示信号から、操作されたボタンを示すボタン情報を取得する。次いで、ＣＰＵ５１は、操作されたボタンに応じて、三次元仮想空間９０における現在の視点の座標からの視点の移動方向の角度の範囲を特定する。次いで、ＣＰＵ５１は、ＨＤＤ７から、予め記憶されているシステム設定視点の座標を取得する。また、ＣＰＵ５１は、ＨＤＤ７からユーザ登録視点の座標を取得する。次いで、ＣＰＵ５１は、ＨＤＤ７から取得された視点の座標のうち、例えば現在の視点の座標から特定された角度の範囲内にある座標を抽出する。次いで、ＣＰＵ５１は、抽出された座標のうち、例えば現在の視点の座標からの距離が最も短い座標を特定する。そして、ＣＰＵ５１は、特定した座標を、視点の切り替え先の座標として決定する。次いで、ＣＰＵ５１は、ステップＳ１０に進む。

一方、ＣＰＵ５１は、リモコン６６による視点変更を行うと判定しなかった場合には（ステップＳ６：ＮＯ）、ステップＳ８に進む。ステップＳ８において、ＣＰＵ５１は、視点を登録するか否かを判定する。例えば、ＣＰＵ５１は、マウス６２の所定のボタンが押されたことを検出した場合、視点を登録すると判定する（ステップＳ８：ＹＥＳ）。この場合、ＣＰＵ５１は、ステップＳ９に進む。ステップＳ９において、ＣＰＵ５１は、現在の視点の座標を、ユーザ登録視点テーブルに登録する。次いで、ＣＰＵ５１は、ステップＳ１０に進む。一方、ＣＰＵ５１は、視点を登録すると判定しなかった場合には（ステップＳ８：ＮＯ）、ステップＳ１０に進む。

ステップＳ１０において、ＣＰＵ５１は、ｉ番目の運動動作の運動映像の表示開始時刻から経過した時間と、運動映像の１フレームあたりの時間間隔に基づいて、経過フレーム数を特定する。経過フレーム数は、運動映像の表示開始時刻から現時点までに表示されたフレームの数である。次いで、ＣＰＵ５１は、前回のフィギュア８３の描画から１フレーム以上経過した否かを判定する（ステップＳ１１）。このとき、ＣＰＵ５１は、１フレーム以上経過していないと判定した場合には（ステップＳ１１：ＮＯ）、ステップＳ３に進む。一方、ＣＰＵ５１は、１フレーム以上経過したと判定した場合には（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進む。ステップＳ１２において、ＣＰＵ５１は、経過フレーム数に対応する現在のフレームにおけるフィギュア８３の各身体部位の三次元仮想空間９０における座標を決定する。例えば、ＣＰＵ５１は、取得したモーションＩＤに対応付けてＨＤＤ７に記憶されているモーションデータから、現在のフレームの前後にあるキーフレームに対応する各身体部位の座標を取得する。そして、ＣＰＵ５１は、取得した座標と、表示開始時刻から経過した時間とに基づいて、現在のフレームにおける各身体部位の座標を補間する。

次いで、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮであるか否かを判定する（ステップＳ１３）。このとき、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮであると判定した場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進む。ステップＳ１４において、ＣＰＵ５１は、ＨＤＤ７に記憶されている演出効果情報に基づいて、演出の開始時刻からの経過時間に対応する演出態様を決定する。例えば、暗転の場合、ＣＰＵ５１は、運動映像の明度を決定する。次いで、ＣＰＵ５１は、演出効果情報に基づいて、演出の開始時刻からの経過時間が演出の終了時間に達したか否かを判定する（ステップＳ１５）。このとき、ＣＰＵ５１は、経過時間が終了時間に達していないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ２８に進む。一方、ＣＰＵ５１は、経過時間が終了時間に達したと判定した場合には（ステップＳ１５：ＹＥＳ）、ステップＳ１６に進む。ステップＳ１６において、ＣＰＵ５１は、鏡像表示切替演出中フラグをＯＦＦに設定する。次いで、ＣＰＵ５１は、ステップＳ２８に進む。

ステップＳ１３において、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮではないと判定した場合には（ステップＳ１３：ＮＯ）、ステップＳ２１に進む。ステップＳ２１において、ＣＰＵ５１は、図５に示すように、注視点の座標から現在の視点の座標までのベクトルＢを計算する。次いで、ＣＰＵ５１は、注視点から注視点正面へのベクトルＡと、三次元仮想空間９０におけるＸＺ平面に投影されたベクトルＢとのなす角度θを、内積によって計算する（ステップＳ２２）。次いで、ＣＰＵ５１は、θが鏡像表示角度以下であるか否かを判定する（ステップＳ２３）。このとき、ＣＰＵ５１は、θが鏡像表示角度以下であると判定した場合には（ステップＳ２３：ＹＥＳ）、ステップＳ２４に進む。ステップＳ２４において、ＣＰＵ５１は、鏡像表示フラグをＯＮに設定する。鏡像表示フラグは、鏡像表示するか否かを示す。一方、ＣＰＵ５１は、θが鏡像表示角度以下ではないと判定した場合には（ステップＳ２３：ＮＯ）、ステップＳ２５に進む。ステップＳ２５において、ＣＰＵ５１は、鏡像表示フラグをＯＦＦに設定する。ＣＰＵ５１は、ステップＳ２４又は２５を終えると、ステップＳ２６に進む。ステップＳ２６において、ＣＰＵ５１は、鏡像表示フラグのＯＮとＯＦＦが切り替わったか否かを判定する。具体的に、ＣＰＵ５１は、ステップＳ２４又はＳ２５における鏡像表示フラグの設定により、鏡像表示フラグの内容がＯＮからＯＦＦ又はＯＦＦからＯＮへ変化したか否かを判定する。このとき、ＣＰＵ５１は、鏡像表示フラグのＯＮとＯＦＦが切り替わっていないと判定した場合には（ステップＳ２６：ＮＯ）、ステップＳ２８に進む。一方、ＣＰＵ５１は、鏡像表示フラグのＯＮとＯＦＦが切り替わったと判定した場合には（ステップＳ２６：ＹＥＳ）、ステップＳ２７に進む。ステップＳ２７において、ＣＰＵ５１は、鏡像表示切替演出中フラグをＯＮに設定する。次いで、ＣＰＵ５１は、ステップＳ２８に進む。

ステップＳ２８において、ＣＰＵ５１は、運動映像の背景を、例えばＲＡＭ５３の運動映像用の描画領域に描画する。描画領域には、例えば運動映像の各画素の赤、青、緑の輝度値が格納される。次いで、ＣＰＵ５１は、鏡像表示フラグがＯＮであるか否かを判定する（ステップＳ２９）。このとき、ＣＰＵ５１は、鏡像表示フラグがＯＮであると判定した場合には（ステップＳ２９：ＹＥＳ）、ステップＳ３０に進む。ステップＳ３０において、ＣＰＵ５１は、フィギュア８３の鏡像を描画領域に描画する。具体的に、ＣＰＵ５１は、ステップＳ１２で決定したフィギュア８３の各身体部位のＸ〜Ｚ座標のうち、Ｘ座標の正負の符号を反転させる。そして、ＣＰＵ５１は、Ｘ座標の符号の反転後の各身体部位の座標に基づいて、フィギュア８３を描画する。次いで、ＣＰＵ５１は、ステップＳ３２に進む。一方、ＣＰＵ５１は、鏡像表示フラグがＯＮではないと判定した場合には（ステップＳ２９：ＮＯ）、ステップＳ３１に進む。ステップＳ３１において、ＣＰＵ５１は、フィギュア８３の実像を描画領域に描画する。具体的に、ＣＰＵ５１は、ステップＳ１２で決定したフィギュア８３の各身体部位の座標に基づいて、フィギュア８３を描画する。次いで、ＣＰＵ５１は、ステップＳ３２に進む。

ステップＳ３２において、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮであるか否かを判定する。このとき、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮではないと判定した場合には（ステップＳ３２：ＮＯ）、ステップＳ３４に進む。一方、ＣＰＵ５１は、鏡像表示切替演出中フラグがＯＮであると判定した場合には（ステップＳ３２：ＹＥＳ）、ステップＳ３３に進む。ステップＳ３３において、ＣＰＵ５１は、ステップＳ１４で決定された演出態様に基づいて、描画領域に描画された運動映像に鏡像表示切替用の演出効果を付与する。例えば演出効果が暗転である場合、ＣＰＵ５１は、例えば描画領域に格納されている各画素の赤、青、緑のそれぞれの輝度値に、ステップＳ１４で決定された明度を掛けて、各輝度値を変更する。次いで、ＣＰＵ５１は、描画領域に格納されているデータを映像信号として表示制御部５６に出力することにより、運動映像をディスプレイ６７に表示させる（ステップＳ３４）。

次いで、ＣＰＵ５１は、経過フレーム数に基づいて、ｉ番目の運動動作の運動映像の表示が終了したか否かを判定する（ステップＳ３５）。このとき、ＣＰＵ５１は、表示が終了していないと判定した場合には（ステップＳ３５：ＮＯ）、ステップＳ３に進む。一方、ＣＰＵ５１、表示が終了したと判定した場合には（ステップＳ３５：ＹＥＳ）、ステップＳ３６に進む。ステップＳ３６において、ＣＰＵ５１は、実行順番号ｉに１を加算する。次いで、ＣＰＵ５１は、実行順番号ｉが運動レッスンを構成する運動動作の数の値よりも大きいか否かを判定する（ステップＳ３７）。このとき、ＣＰＵ５１は、実行順番号ｉが運動動作の数の値よりも大きくはないと判定した場合には（ステップＳ３７：ＮＯ）、ステップＳ２に進む。一方、ＣＰＵ５１は、実行順番号ｉが運動動作の数の値よりも大きいと判定した場合には（ステップＳ３７：ＹＥＳ）、運動コンテンツ再生処理を終了させる。

以上説明したように、本実施形態によれば、ＣＰＵ５１が、所定のモーションデータに基づいて運動映像を表示手段に表示させる。また、ＣＰＵ５１が、仮想カメラ９１の位置の連続的な変更指示を受け付ける。また、ＣＰＵ５１が、変更指示によって変更された仮想カメラ９１の位置が、所定のモーションデータに対応する鏡像表示角度が示す表示範囲に含まれるかを判定する。そして、ＣＰＵ５１が、仮想カメラ９１の位置が鏡像表示角度が示す表示範囲に含まれると判定された場合、フィギュア８３を鏡像をディスプレイ６７に表示させる。従って、運動動作ごとに適した仮想カメラ９１の位置の範囲でフィギュア８３の鏡像を表示することができる。

１ 運動コンテンツ生成システム
２ 配信サーバ
３ データベース
５ 出力端末
７ ＨＤＤ
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５６ 表示制御部
６０ ネットワーク通信部
６３ 音声出力部
５７ モニタ
６４ スピーカ
６７ ディスプレイ

Claims (8)

1. 三次元仮想空間に配置される仮想物が動作を行う映像を示す映像情報を、前記三次元仮想空間における前記仮想物の身体の座標に基づいて生成するための動作情報と、前記三次元仮想空間に配置される仮想カメラにより撮影される前記仮想物の鏡像の表示範囲を示す範囲情報とを複数記憶する記憶手段と、
   前記記憶手段に記憶された複数の前記動作情報のうち所定の動作情報に基づいて、前記三次元仮想空間において前記仮想物が動作する映像であって、前記仮想カメラから撮影された映像を示す前記映像情報を表示手段に表示させる第１制御手段と、
   前記三次元仮想空間における前記仮想カメラの位置の連続的な変更指示を受け付ける受付手段と、
   前記受付手段により前記変更指示が受け付けられた場合、前記変更指示によって変更された前記仮想カメラの位置が、前記所定の動作情報に対応する前記範囲情報が示す表示範囲に含まれるかを判定する判定手段と、
   前記判定手段により前記仮想カメラの位置が前記表示範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を前記表示手段に表示させる第２制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記記憶手段は、前記仮想物から前記仮想カメラへの方向と前記仮想物からの所定方向とのなす角度の範囲を示す前記範囲情報を記憶し、
   前記判定手段は、前記変更指示によって前記位置が変更された前記仮想カメラの前記仮想物からの方向と前記仮想物からの前記所定方向とのなす角度が、前記所定の動作情報に対応する前記範囲情報が示す範囲に含まれるかを判定し、
   前記第２制御手段は、前記判定手段により前記角度が前記範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記受付手段は、前記仮想カメラの位置を、所定の移動方向へ変更する前記変更指示を、連続して受け付けることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２制御手段は、前記判定手段により前記仮想カメラの位置が前記表示範囲に含まれると判定されなかった場合、前記仮想物の実像を示す前記映像情報を表示させることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記第２制御手段により前記表示手段に前記仮想物の鏡像又は実像を示す前記映像情報が表示されたときの前記仮想カメラの前記三次元仮想空間における位置を示す位置情報を、前記仮想カメラの位置の切替操作により切り替え可能な位置を示す位置情報として前記記憶手段に記憶させる第３制御手段を更に備えることを特徴とする請求項４に記載の情報処理装置。
6. 前記第３制御手段は、前記情報処理装置と通信可能なリモコンの切替操作により前記リモコンから前記情報処理装置へ送信される切替指示に基づいて切り替えられる前記仮想カメラの位置として、前記仮想物の鏡像又は実像を示す前記映像情報が表示されたときの前記仮想カメラの位置を示す位置情報を前記記憶手段に記憶させることを特徴とする請求項５に記載の情報処理装置。
7. 前記第２制御手段は、前記仮想物の鏡像を示す前記映像情報の表示と、前記仮想物の実像を示す前記映像情報の表示とを切り替えるとき、所定の演出効果が付与された前記映像情報を表示させることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 三次元仮想空間に配置される仮想物が動作を行う映像を示す映像情報を、前記三次元仮想空間における前記仮想物の身体の座標に基づいて生成するための動作情報と、前記三次元仮想空間に配置される仮想カメラにより撮影される前記仮想物の鏡像の表示範囲を示す範囲情報とを複数記憶する記憶手段に記憶された複数の前記動作情報のうち所定の動作情報に基づいて、前記三次元仮想空間において前記仮想物が動作する映像であって、前記仮想カメラから撮影された映像を示す前記映像情報を表示手段に表示させる第１制御ステップと、
   前記三次元仮想空間における前記仮想カメラの位置の連続的な変更指示を受け付ける受付ステップと、
   前記受付ステップにより前記変更指示が受け付けられた場合、前記変更指示によって変更された前記仮想カメラの位置が、前記所定の動作情報に対応する前記範囲情報が示す表示範囲に含まれるかを判定する判定ステップと、
   前記判定ステップにより前記仮想カメラの位置が前記表示範囲に含まれると判定された場合、前記仮想物の鏡像を示す前記映像情報を前記表示手段に表示させる第２制御ステップと、
   をコンピュータに実行させることを特徴とするプログラム。
   

Images