JP2009145805A - 動画表示システム、動画表示方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】バーチャルインストラクターのエクササイズ動作を異なる複数の方向から同時的に確認できるようにする。
【解決手段】サーバ装置１０はバーチャルインストラクターの運動動作を規定した複数種類のモーションデータを格納した動作データベースと、生成される動画での各モーションデータの時系列の順序を規定したパターンを複数格納したパターンデータベース等を格納しており、ユーザの入力情報に応じたデータを各データベースから読み出して、端末ユニット３０の端末装置３１へ送る。端末装置３１は、時系列の順序に応じた各モーションデータに基づいて、正面方向からバーチャルインストラクターを見た内容の主動画と、正面以外の方向からバーチャルインストラクターを見た内容の副動画とを生成し、主動画および副動画を組み合わせて表示する。
【選択図】図１

Description

本発明は、各種エクササイズを行うバーチャルインストラクターに係るモーションデータに基づき運動指導用の動画を生成して表示する際、複数の異なる方向からバーチャルインストラクターを見た内容の動画を同時的に表示するようにした動画表示システム、動画表示方法、およびコンピュータプログラムに関する。

従来、いわゆるモーションキャプチャ技術を用いて撮影した被写体の画像データから、被写体のモーションデータを生成することが行われている。また、モーションデータの生成を効率的に行えるように、下記の特許文献１では、動作認識用の複数のマーカを付した被写体を複数方向から撮影した画像データをディスプレイに表示し、誤認識されたマーカの修正、認識されなかったマーカの追加などの編集作業を行って被写体のエクササイズ動作を規定するモーションデータを生成することが開示されている。

このように生成されたモーションデータは、コンピュータグラフィックス技術に基づく動画コンテンツの作成に利用される。たとえば、エアロビクスのエクササイズの動作を行う実際のインストラクターを、モーションキャプチャ技術を用いて撮影することでエアロビクスの動作に係るモーションデータを生成し、生成したモーションデータを用いてエアロビクスの動作を行うバーチャルインストラクターの三次元的な動画コンテンツをコンピュータグラフィックスで作成することができる。なお、エアロビクス以外にも、さまざまな種類のエクササイズを行うバーチャルインストラクターの動画コンテンツを、上記と同様に作成することができる。

また、バーチャルインストラクターの動画コンテンツを表示してレッスンを行える施設を準備すれば、実際のインストラクターが居なくても、ユーザの希望するときに所望のエクササイズのレッスンを受けられるようになる。モーションデータに基づくバーチャルインストラクターの動画コンテンツは、モーションデータの規定に係る被写体をカメラで撮影するイメージで作成されるので、被写体を撮影する方向、すなわち被写体を見る方向を変えれば、所望の方向からバーチャルインストラクターを見た内容でエクササイズの動画コンテンツを表示できる。

なお、下記の特許文献２では、モーションデータに基づきエクササイズ用の動画コンテンツを作成する際に、動画コンテンツ中のバーチャルインストラクターの形態を、エクササイズを行うユーザの性別、年齢および身長体重に応じてカスタマイズする内容が開示されている。
特開平１０−２２２６６８号公報 特許第３４７２２３８号公報

従来のモーションデータに基づくエクササイズ用の動画コンテンツは、バーチャルインストラクターを見る方向をユーザの希望する向きに変えることは可能であるが、向きを変えるには方向を指定する操作が要求される。そのため、せっかくバーチャルインストラクターを見る方向を機能的には変えることが可能であっても、エクササイズを行っているユーザは、向きを変える操作を行えないので、実際問題として、エクササイズ中はバーチャルインストラクターの見る方向を所望の向きへ変えられなかった。そのため、バーチャルインストラクターを見る方向が異なる方向であれば、エクササイズの動作を良く把握できる場合があったとしても、動作を把握しやすい方向からエクササイズの動画をユーザは見ることができないと云う事情があった。

なお、上述した特許文献１では、被写体を撮影した静止画の画像データをディスプレイ画面に複数表示して、マーカに関する編集作業を行いやすくすることは開示されているが、モーションデータに基づいて作成されたバーチャルインストラクターの動画コンテンツをディスプレイ画面に複数表示することまでは記載されていない。

本発明は、斯かる事情に鑑みてなされたものであり、複数の異なる方向からバーチャルインストラクターを見た内容の動画を複数生成して同時的に表示することで、エクササイズ中のユーザがバーチャルインストラクターを見る方向を変える操作を行えない場合でも、表示中の向きが異なるいずれかの動画により、バーチャルインストラクターの動作を把握しやすくした動画表示システム、動画表示方法、およびコンピュータプログラム提供することを目的とする。

上記課題を解決するために本発明に係る動画表示システムは、動体の運動動作を規定した複数の動作データが格納してある動作データベースと、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成する手段とを備え、生成した動画の表示処理を行う動画表示システムにおいて、異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成する動画生成手段と、前記動画生成手段が生成した方向ごとの複数の動画の表示処理を行う表示処理手段とを備えることを特徴とする。

本発明にあっては、異なる複数の方向から動体（たとえば、バーチャルインストラクター）が見られた内容の動画を、方向ごとにそれぞれ生成して、それらの動画の表示処理を行うので、異なる方向から見られた動体の運動動作をユーザは同時的に見ることが可能となる。そのため、エクササイズ中のため、動体の見る向きを変える操作をユーザが行えなくても、複数の動画を介して様々な方向より動体の動きを見ることができ、確認したい方向に応じた動画を見ることで、動体の運動動作を把握しやすくなり、バーチャルインストラクターの動画コンテンツを用いたレッスンを好適に行える。なお、生成する動画の数は、２個より多くすることが可能であり、特に、表示するディスプレイ画面が大型であれた、４個以上の動画を同時的に表示すれば、計４方向から動体の運動動作を確認できるようになる。

本発明に係る動画表示システムは、前記動画生成手段が、動体に対して正面方向となる方向から動体が見られた内容の動画を主動画として生成すると共に、正面方向と異なる他方向から動体が見られた内容の動画を副画像として生成するようにしてあり、前記表示処理手段は、主動画と副動画とを組み合わせた状態で表示処理を行うことを特徴とする。

本発明にあっては、動体の運動動作を最も把握しやすい場合が多い動体の正面方向からの動画を主動画として生成表示するので、ユーザは主動画を基本にして動体の運動動作を確認できると共に、正面方向と異なる方向の副画像で補足的に動体の動作を確認できるようになる。また、主動画および副動画を組み合わせた動画内容で表示処理が行われるので、ユーザは一画面で複数の異なる方向から見た動体の運動動作を一目で確認できる。

なお、本発明に係る動画表示システムは、前記動画生成手段が、主動画を副動画より大きいサイズで生成するようにしてもよい。この場合、動画表示システムは主動画を副動画より大きいサイズで生成するので、動体の運動動作を最も把握しやすい場合が多い正面方向からの動画内容を最も大きいサイズでユーザに提示できるようになり、また、補足的に表示する副画像は主動画より小さいサイズで生成すれば良いので、副動画の生成に係る画素数を少なくするなどして、副動画の生成に係る処理負担を低減できるようになる。

本発明に係る動画表示システムは、前記動画生成手段が、動体に対して正面方向となる方向から動体が見られた内容の動画を主動画として生成すると共に、正面方向と異なる複数の他方向から動体が見られた内容の複数の動画を複数の副画像として生成するようにしてあり、前記表示処理手段は、主動画の表示処理を主出力先に対して行うと共に、複数の副動画を組み合わせた状態で副出力先に対して表示処理を行うことを特徴とする。

本発明にあっては、動体の運動動作を最も把握しやすい場合が多い動体の正面方向からの動画を主動画として生成すると共に、主出力先に対して主動画の表示処理を行うので、ユーザは、主出力先に接続された表示装置（主表示装置）を中心に見ながら動体の運動動作を確認できるようになる。さらに、本発明にあっては、動体の正面方向と異なる複数の他方向から動体が見られた内容の動画を複数の副画像として生成すると共に、これら複数の副画像を組み合わせた状態で副出力先に対して表示処理を行うので、ユーザは、副出力先に接続された表示装置（副出力装置）を補助的に見ながら、主動画では分かりにくい動体の運動動作の仕方を、異なる方向の複数の副動画の中より確認できるようになる。

本発明に係る動画表示システムは、方向の指定を受け付ける方向受付手段を備え、前記動画生成手段は、前記方向受付手段が指定を受け付けた方向を他方向にして副動画を生成することを特徴とする。
本発明にあっては、方向受付手段が指定を受け付けた方向を他方向にして副動画を生成するので、ユーザが確認したい方向からの動画内容を方向受付手段に対する操作で指定できるようになり、副動画をユーザが所望する方向から動体を見た内容で生成表示できる。

本発明に係る動画表示システムは、正面方向以外の複数の方向の中から方向を順次切り替えて選択する方向選択手段と、前記動画生成手段が、前記方向選択手段が選択した方向を他方向にして副動画を生成することを特徴とする。

本発明にあっては、正面以外の複数の方向の中から方向選択手段が順次切り替えて選択した方向を他方向にして副動画を生成するので、副動画の内容が、自動的に正面以外の複数の方向の中より順次選択される方向から動体を見た内容に切り替わる。そのため、ユーザは正面方向から動体を見た内容の主動画に加えて、動体を見る方向が自動で切り替わる内容の副動画を確認できるようになる。よって、正面以外の多数の方向を切り替えて確認したい場合等に好適な表示形態をユーザに提示できる。なお、方向選択手段が選択する方向の数は複数にすることも可能であり、この場合、ユーザは複数の副動画で、様々な方向から見た動体の運動動作を多角的に確認できるようになる。

本発明に係る動画表示方法は、動体の運動動作を規定した複数の動作データが格納してある動作データベースを備える動画表示システムが、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成し、生成した動画の表示処理を行う動画表示方法において、前記動画表示システムは、異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成し、生成した方向ごとの複数の動画の表示処理を行うことを特徴とする。
本発明にあっては、動画表示方法として、異なる複数の方向から見られた動体の動作内容をユーザは同時的に見ることが可能となり、動体の運動動作を一目で多角的に把握できるようになる。

本発明に係るコンピュータプログラムは、動体の運動動作を規定した複数の動作データが格納してある動作データベースを備えるコンピュータに、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成させて、生成した動画の表示処理を行わせるコンピュータプログラムにおいて、コンピュータを、異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成する手段と、生成した方向ごとの複数の動画の表示処理を行う手段として機能させることを特徴とする。
本発明にあっては、コンピュータプログラムとしても、異なる複数の方向から見られた動体の動作内容をユーザは同時的に見ることが可能となり、動体の運動動作を一目で多角的に把握できるようになる。

本発明にあっては、異なる複数の方向から動体が見られた動画を、方向ごとにそれぞれ生成して表示処理を行うので、ユーザは動体の運動動作を異なる複数の方向から同時的に確認でき、動体が行う運動動作を多角的に把握できる。

本発明にあっては、動体を正面方向から見た主動画と、正面以外の方向から見た副動画を生成し、主動画および副動画を組み合わせて表示するので、ユーザは、動体の運動動作を最も把握しやすいことが多い正面方向からの主動画を基本にして動体の運動動作を確認できると共に、正面方向と異なる方向の副画像で補足的に動体の運動動作を確認できる。

本発明にあっては、動体を正面方向から見た主動画と、正面方向以外の副動画とをそれぞれ生成すると共に、主出力先に対して主動画の表示処理を行い、副出力先に対して副動画の表示処理を行うので、主動画と副動画とを別の出力先で表示でき、ユーザは出力先ごとに主動画と副動画とを区別して見ることができる。

本発明にあっては、方向受付手段が入力を受け付けた方向を他方向にして副動画を生成するので、運動動作を見たい方向を指定でき、ユーザは所望の方向からの運動動作を確実に見ることができる。
本発明にあっては、正面以外の複数の方向の中から順次切り替えて選択された方向を他方向にして副動画を生成するので、ユーザは正面方向から動体を見た内容の主動画に加えて、動体を見る方向が自動で切り替わる内容の副動画を確認でき、様々な方向から動体の運動動作を自動で多角的に確認できる。

図１は、本発明の実施形態に係る動画表示システム１の全体的な構成を示している。本実施形態の動画表示システム１は、バーチャルインストラクターによるエアロビクスレッスンを行うスポーツクラブ等の施設に設置されており、各種データベースを記憶するサーバ装置１０に端末ユニット３０および受付端末装置２がネットワークケーブルＬ１、Ｌ２で接続された構成になっている。端末ユニット３０は、端末装置３１、大型モニタ装置３２、入力操作器３３、およびスピーカ３４を含み、ユーザＵがレッスンを受けるブースＢに設置されている。本実施形態の動画表示システム１は、バーチャルインストラクターを正面方向から見た内容の主動画Ｓ１を大型モニタ装置３２に表示すると共に、正面以外の方向からバーチャルインストラクターを見た内容の第１副動画Ｓ２１および第２副動作Ｓ２２を大型モニタ装置３２の画面隅に小さいサイズで表示して、複数の方向からバーチャルインストラクターのエクササイズ動作を同時に確認できることが特徴になっている。

なお、図１の動画表示システム１では、１箇所のブースＢに設置された端末ユニット３０のみを示しているが、実際のシステムでは、複数のブースを設けて、ブース毎に端末ユニット３０を配置してサーバ装置１０に接続した仕様になっており、配置する端末ユニット数は施設の規模等に応じて適宜増減することが可能である。

動画表示システム１に含まれる受付端末装置２は、一般的なパーソナルコンピュータが適用されており、端末本体２ａにディスプレイ装置３および各種情報の入力用の入力デバイス４（キーボード）が接続されている。受付端末装置２は、サーバ装置１０から送られてくる各種データに基づいてメニュー等をディスプレイ装置３の画面３ａに表示すると共に、表示したメニューに対して入力デバイス４を通じて入力された情報をサーバ装置１０へ送る処理などを行う。なお、受付端末装置２は、スポーツクラブ等の施設の入り口における受付に設置されるものである。

図２は、サーバ装置１０の主要な内部構成等を表したブロック図を示している。本実施形態のサーバ装置１０は、汎用のサーバーコンピュータを適用しており、サーバ本体１０ａに、ディスプレイ装置１６、ならびにシステム管理者からの各種入力操作を受け付けるキーボード１７およびマウス１８を接続している。サーバ装置１０は、受付端末装置２で表示させるメニュー等のデータ、受付端末装置２で入力を受け付けたユーザの情報に基づいてユーザ個人に合ったパーソナルメニューを作成するための元になるデータ等をサーバ本体１０ａに記憶している。以下、サーバ装置１０について詳説する。

サーバ装置１０は、各種制御処理を行うＭＰＵ１１（プロセッサ）に、ＲＡＭ１２、ＲＯＭ１３、通信インタフェース１４およびハードディスク装置１５を内部バス１０ｂで接続した構成になっている。なお、内部バス１０ｂには、ディスプレイ装置１６、キーボード１７およびマウス１８も繋がれており、ＭＰＵ１１の処理に伴う各種内容をディスプレイ装置１６へ表示できると共に、キーボード１７またはマウス１８で入力を受け付けた操作内容をＭＰＵ１１へ伝えるようにしている。

サーバ装置１０のＲＡＭ１２は、ＭＰＵ１１の処理に従うデータ及びフォルダ等を一時的に記憶するものであり、ＲＯＭ１３はＭＰＵ１１が行う基本的な処理内容を規定したプログラム等を予め記憶している。

通信インタフェース１４は、ネットワークケーブルＬ１、Ｌ２の接続部であり、サーバ装置１０からネットワークケーブルＬ１、Ｌ２の接続先である端末ユニット３０および受付端末装置２へデータ等の送信処理をＭＰＵ１１の制御に基づき行うと共に、接続先から送られたデータ等の受信処理を行う。

ハードディスク装置１５は、サーバ装置１０が行う各種処理を規定したプログラムおよび各種データを格納したデータベース等を記憶するものである。具体的に、本実施形態のハードディスク装置１５は、システムプログラム１９、サーバプログラム２０、メニューデータベース２１、体力レベルテーブル２２、ユーザデータベース２３、動作データベース２４、運動目的テーブル２５、パターンデータベース２６およびリズムデータベース２７等を記憶している。

ハードディスク装置１５に記憶されるシステムプログラム１９は、ＭＰＵ１１がサーバとして行う各種基本的な処理内容を規定したプログラムである。また、サーバプログラム２０は、本発明においてサーバ装置１０のＭＰＵ１１が行う必要のある各種処理内容を規定したものである。具体的な処理内容としては、図３（ａ）〜（ｃ）に示すような各種メニュー２１ａ〜２１ｃを受付端末装置２で表示させてユーザから入力される情報を受け付ける処理、受け付けたユーザの情報に基づいてユーザの体力レベルを判定する処理、受け付けたユーザの情報に基づきユーザデータベース２３を構築する処理、ユーザデータベース２３に登録された情報に基づいてユーザに合ったパーソナルメニューを作成する処理、そのパーソナルメニューに含まれる内容に応じた動作データ等をユーザが利用するブースに設置された端末ユニット３０へ送る処理等が規定されている。

メニューデータベース２１は、各種メニューに応じたデータを格納したものであり、これらのデータが受付端末装置２へ送られると、ユーザから情報の入力をアンケート形式で受け付ける各種メニュー（入力受付手段に相当）が受付端末装置２のディスプレイ装置３に表示される。このような各種メニューでユーザから入力を受け付ける情報の内容としては、ユーザの氏名、性別、年齢、身長、体重、運動目的、運動習慣などがある。

図３（ａ）〜（ｃ）のメニュー２１ａ〜２１ｃは、メニューデータベース２１の各種メニュー用のデータに基づき表示されたメニュー内容を示す一例である。図３（ａ）のメニュー２１ａは、ユーザの年齢の入力を受け付けるものであり、入力欄２１ａ−１に年齢の数値が入力された状態で決定ボタン２１ａ−２が選択されると、入力欄２１ａ−１に入力された数値が受付端末装置２からサーバ装置１０へ送られるようになっている。

また、図３（ｂ）のメニュー２１ｂは、ユーザの運動習慣の入力を受け付けるものであり、受付可能な運動習慣の項目としては「一：していない（やめて１ヶ月以上）」「二：月に２〜３日」「三：週に１日」「四：週に２日」「五：週に３日以上」と云う計５種類の運動頻度を挙げている。メニュー２１ｂは、これらの運動習慣の項目ごとに選択用のチェックボックス２１ｂ−１〜２１ｂ−５を設けて、ユーザが自身の運動習慣を選択できるようにしている。なお、メニュー２１ｂにおいて、チェックボックス２１ｂ−１〜２１ｂ−５のいずれか１つが選択（チェック）された状態で、決定ボタン２１ｂ−６が選択されると、チェックされた運動習慣を示す情報が受付端末装置２からサーバ装置１０へ送られる。

さらに、図３（ｃ）のメニュー２１ｃは、ユーザの運動目的の入力を受け付けるものであり、受付可能な運動目的として「Ｍ１：全身ダイエット」「Ｍ２：上半身ダイエット」「Ｍ３：腹部ダイエット」「Ｍ４：下半身ダイエット」「Ｍ５：ストレス解消」「Ｍ６：老化防止」の計６種類を挙げている。メニュー２１ｃは、これらの運動目的ごとにチェックボックス２１ｃ−１〜２１ｃ−６を設け、ユーザが自身の運動目的を選択できるようにしている。なお、チェックボックス２１ｃ−１〜２１ｃ−６のいずれか１つがチェックされた状態で、決定ボタン２１ｃ−７が選択されると、チェックされた運動目的を示す情報が受付端末装置２からサーバ装置１０へ送られるようになっているのは、メニュー２１ｂなどと同じである。また、上述したメニュー以外にも、ユーザの氏名、身長、体重等の入力を受け付けるメニューが存在し、これらの氏名等の情報も受付端末装置２を通じてサーバ装置１０に受け付けられる。

このようなメニュー２１ａ〜２１ｃ等での情報入力は、ユーザが初めて施設を利用する際に受付端末装置２で行われるものである。これらの情報の入力が各種メニューで受け付けられて、サーバ装置１０がユーザの情報を通信インタフェース１４で取得すると、サーバプログラム２０の規定内容に従って、サーバ装置１０は、取得した情報に対応付ける会員番号（識別番号）をＭＰＵ１１が発行し、その発行した会員番号と共に、取得した情報をユーザデータベース２３に登録する。

また、２回目以降の利用の際は、既に入力した情報内容を変更する場合（例えば、運動目的を変更する場合など）にのみ情報の入力を行うことになる。また、２回目以降に施設を利用する場合は、受付端末装置２で会員番号を入力すれば、利用するブース番号が受付端末装置２で示されて、ユーザは、そのブース番号のブースでレッスンを受けることになる。

図４は、ハードディスク装置１５に記憶される体力レベルテーブル２２の中身を示している。体力レベルテーブル２２は、入力を受け付けた情報に基づいて、情報の入力を行ったユーザの体力レベルの判定をＭＰＵ１１が行う際に参照されるものである。体力レベルテーブル２２は、年齢を１８〜２９歳、３０〜４５歳、４６歳以上の三段階に分けると共に、段階ごとに図３（ｂ）のメニュー２１ｂで示す計５種類の運動習慣の項目を対応付けることで、ユーザからの情報に基づきユーザの体力レベルを３種類に分けられるようにしている。

例えば、年齢が１８〜２９歳の範囲に含まれて、運動習慣が「四：週に２日」のユーザは、体力レベルとして「Ｌ３：体力有り」と判定される。また、年齢が３０〜４５歳の範囲に含まれて、運動習慣が「三：週に１日」のユーザは、体力レベルとして「Ｌ２：体力普通」と判定される。さらに、年齢が４６歳以上であり、運動習慣が「二：月に２〜３日」のユーザは、体力レベルとして「Ｌ１：体力無し」と判定される。このような判定は、サーバプログラム２０の規定内容に従って、図３（ｂ）のメニュー２１ｂで運動習慣の入力選択を受け付けるごとにＭＰＵ１１が行っており、ＭＰＵ１１は判定した結果を、そのユーザの会員番号に対応付けてユーザデータベース２３に登録する処理も行う。

図５は、ユーザデータベース２３の中身を示している。ユーザデータベース２３は、会員登録を行ったユーザの情報が登録格納されたものであり、ＭＰＵ１１が発行した会員番号に対応付けて、ユーザから入力を受け付けた情報が登録されると共に、図４の体力レベルテーブル２２に基づき判定された結果も登録されている。また、施設利用中のユーザは、利用中のブース番号も会員番号に対応付けて格納されるので、ブースの使用状況もユーザデータベース２３を参照すれば分かるようになっている。

図６は、動作データベース２４の中身を示している。動作データベース２４は、三次元上におけるバーチャルインストラクターが表すエアロビクス用の各種運動動作を規定したモーションデータ（動作データに該当）のファイルを複数種類格納したものであり、動作の内容ごとにＩＤ番号を対応付けている。このようなモーションデータを組み合わせることで、バーチャルインストラクターの一連の動作を行う内容が進行する動画が作り上げられる。

動作データベース２４が格納するモーションデータの種類の一例を説明すると、ＩＤ番号が「Ａ」のモーションデータは、動作の種類が「マーチ」であり、モーションデータのファイル名が「Data-A」になっている。また、ＩＤ番号が「Ｂ１」のモーションデータは、動作の種類が「ゆっくりサイドステップ」であり、モーションデータのファイル名が「Data-B1」になっている。さらに、ＩＤ番号が「Ｃ１」のモーションデータは、動作の種類が「サイドステップ」であり、モーションデータのファイル名が「Data-C1」になっている。

なお、動作データベース２４に格納されるモーションデータは、マーカを付して各種エアロビクス用の運動動作を行う実際のインストラクターを撮像した映像データからモーションキャプチャ技術を用いて取得した三次元空間におけるマーカの座標等に基づきコンピュータグラフィックス技術により生成されたものであり、バーチャルインストラクター（動体に相当）の運動動作を規定した内容になっている。１つのモーションデータは、８カウント（約４秒）の時間帯における各マーカの座標の変動内容を規定している。

図７（ａ）は、具体的なモーションデータのイメージを示したものである。動体である人体画像５（バーチャルインストラクターに相当）が、モーションデータに基づいて三次元コンピュータグラフィクス技術によりＸ軸、Ｙ軸、Ｚ軸で構成される三次元のＸＹＺ座標系に位置するように作成されることになる。なお、このＸＹＺ座標系とは相違するカメラ（カメラ６ａ〜６ｅ）の撮像方向（バーチャルインストラクターが見られる方向に相当）および位置を定めるためのＵＶＷ座標系を設け、ＸＹＺ座標系とＵＶＷ座標系との相対関係を規定することで、様々な方向からバーチャルインストラクターを見た内容の動画が生成可能になる。

本発明では、撮像に使用するカメラ６ａ〜６ｅに応じた撮像方向（ユーザがバーチャルインストラクターを見ると云う視線方向を意味）を、後述するようにユーザがエクササイズを行う際に指定することで、ユーザの所望する方向からの動画が得られる。なお、本発明では、同時に複数のカメラ６ａ〜６ｅを用いて人体画像５を異なる方向から撮像する（見る）ことが可能となっており、人体画像５に対して正面方向となる撮像方向以外の「右側面」、「左側面」、「背面」、「俯瞰」となる各方向の中からユーザが所望する撮像方向を、一または複数指定可能になっている。

三次元コンピュータグラフィックス技術により生成される人体画像５は、図７（ｂ）に示すように、人体の骨に相当するボーンＢと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成されている。図７（ｂ）に示すボーンＢの各所に付された点Ｐ１〜Ｐ１７が、実際のインストラクターに付されたマーカ位置に相当し、インストラクターの各種動作を行った所定時間（８カウント分）の各点Ｐ１〜Ｐ１７の座標位置が各モーションデータに含まれている。なお、図７（ｂ）に示す各点Ｐ１〜Ｐ１７の位置及び個数は一例であり、生成する人体画像５の仕様、要求精度およびハード的なスペック等に応じてマーカの位置及び個数は適宜変更できる。

また、図６に示す動作データベース２４に格納される複数種類のモーションデータの中には、運動目的に応じたモーションデータも含まれている。すなわち、本発明の発明者は、実際のインストラクターの動作に基づく複数種類のモーションデータの中身を研究し、エアロビクスの一連の動きの中で、各モーションデータが果たす役割がそれぞれ相異することに気付いた。さらに、研究を進めた結果、図３（ｃ）のメニュー２１ｃで挙がっている計６種類の運動目的を達成することに関連が大きいモーションデータがあることも本発明の発明者は突き止めた。本発明では、このような研究結果に基づき、ある種の運動目的とモーションデータとの関係を図８の運動目的テーブル２５に整理し、ユーザにマッチしたパーソナルメニューを作成する際にサーバ装置１０が参照できるように、ハードディスク装置１５に記憶している。

図８に示す運動目的テーブル２５は、発明者が突き止めた内容に従って運動目的ごとに関連する動作の種類と、その動作の種類に応じたモーションデータのＩＤ番号を、運動目的に係る番号ごとに対応付けた内容になっている。具体的な運動目的テーブル２５の中身としては、全身ダイエット（運動目的番号はＭ１）には、ＩＤ番号が「Ｆ３」のモーションデータの動作となる「サイドステップと手を後ろに早くプッシュする動作の組み合わせ」と、ＩＤ番号が「Ｇ１」のモーションデータの動作となる「ヒップシェイクと手を徐々に下ろす動作の組み合わせ」を対応付けている。

上半身ダイエット（運動目的番号はＭ２）には、ＩＤ番号が「Ｆ２」のモーションデータの動作となる「サイドステップと手をひろげてひねる動作の組み合わせ」と、ＩＤ番号が「Ｆ３」のモーションデータの動作となる「サイドステップと手を後ろに早くプッシュする動作の組み合わせ」を対応付けている。また、腹部ダイエット（運動目的番号はＭ３）には、ＩＤ番号が「Ｅ２」のモーションデータの動作となる「ひねりニーアップと手の動作の組み合わせ」と、ＩＤ番号が「Ｇ１」のモーションデータの動作となる「ヒップシェイクおよび手を徐々に下ろす動作の組み合わせ」を対応付けている。さらに、下半身ダイエット（運動目的番号はＭ４）には、ＩＤ番号が「Ｅ１」のモーションデータの動作となる「バックキック」と、ＩＤ番号が「Ｄ１」のモーションデータの動作となる「フロントランジ右から右」を対応付けている。

また、ストレス解消（運動目的番号はＭ５）には、ＩＤ番号が「Ｆ１」のモーションデータの動作となる「サイドステップと手の動作の組み合わせ」と、ＩＤ番号が「Ｇ２」のモーションデータの動作となる「Ｖステップと早いＶステップの組み合わせ」を対応付けている。さらに、老化防止（運動目的番号はＭ６）には、ＩＤ番号が「Ｆ４」のモーションデータの動作となる「Ｖステップ」と、ＩＤ番号が「Ｊ１」のモーションデータの動作となる「ニーアップをキープする動作」を対応付けている

なお、上述したような各種運動目的に関連するモーションデータは、図６の運動目的テーブル２５の中で、関連する内容の運動目的を表す番号（運動目的番号）が対応付けられている。例えば、ＩＤ番号が「Ｆ１」のモーションデータ（サイドステップ＋手）には、ストレス解消の運動目的番号である「Ｍ５」等が対応付けられている。

図９は、ハードディスク装置１５に記憶されるパターンデータベース２６（順序データベースに相当）の中身を示している。パターンデータベース２６は、エアロビクスのレッスン内容の中でユーザの特性にあったメインコンテンツに応じたパーソナルメニューの中身を規定した複数種類のパターン（パターン１、２・・・）を含んだものである。各パターン（順序データに相当）は、図３（ｃ）のメニュー２１ｃで挙がっている計６種類の運動目的の達成に対応した中身になっている。パターンデータベース２６では、各運動目的の種類を表す運動目的番号（図３（ｃ）のメニュー２１ｃで入力を受け付ける情報の内容に相当）、および各運動目的に関連するモーションデータのＩＤ番号が、パターンの種類ごとに対応付けられている。

パターンデータベース２６に含まれる各パターン１〜８は、生成するレッスン内容（レッスンコンテンツの動画）における時系列の順序に応じた各時間帯に対応付けるモーションデータを規定すると共に、規定するモーションデータの中に達成すべき運動目的に関連するモーションデータを含ませた内容になっている。さらに、各パターン１〜８は、達成すべき運動目的に関連するモーションデータと同じ部位を動かすモーションデータを、運動目的に関連するモーションデータより時系列の順序で前方となる時間帯に含ませることを規定している。

本発明の発明者は、エアロビクスのレッスンに含まれる一連の動作と運動目的との因果関係などの研究を進めた結果、運動目的の達成のため、運動目的に関連するモーションデータの動作を行うまでに最低限必要となる動作があることを突き止めた。具体的には、運動目的に関連するモーションデータで動作対象となる人体の部位を予め動かしておくと、スムーズに運動目的に関連する動作を行えることから、運動目的に関連する動作対象となる部位と同じ部位を緩やかに動かす動作が好適となることを本発明者は解明した。

また、本発明者は、ユーザの体力レベルに応じて、運動目的を達成するための動作を運動負荷に応じて相異させることが好ましいことにも気付いた。そのため、各パターン１〜８は、生成するレッスン内容における複数の時間帯のいずれかの時間帯に運動負荷レベルが異なる複数のモーションデータを含ませ、各運動負荷レベルが異なるモーションデータごとに、図４の体力レベルテーブル２２が示す各体力レベルとの対応付けを規定する。

図１０は、パターンデータベース２６に含まれる複数のパターン１〜８の一例として、パターン１が規定する具体的な内容を示したものである。パターン１は、図９のパターンデータベース２６でも示すように、ストレス解消（Ｍ５）を運動目的とするものであり、エアロビクスのレッスン中のメインコンテンツの総時間を最初の時間１から最後の時間４０までの計４０時間単位（計４０個の時間帯）に分けて、時間単位ごとに対応付けるモーションデータを規定したものになっている。なお、１時間単位は、モーションデータの８カウント（約４秒）に対応した時間長さになっており、時間１〜４０までの時系列の順序でモーションデータが並んでいる。

さらに、パターン１は、最初の時間１〜時間４の範囲に対応する第１クールの時間帯では、体力レベルとして「体力有り」に応じたモーションデータと、「体力普通」に応じたモーションデータとをそれぞれ対応付けており、次の第２クールの時間帯（時間５〜時間８）では、「体力普通」に応じたモーションデータと、「体力無し」に応じたモーションデータとをそれぞれ対応付けている。以下、第４クールの時間帯（時間１３〜時間１６）から第７クールの時間帯（時間２５〜時間２８）では、「体力有り」に応じたモーションデータと、「体力普通」に応じたモーションデータとをパターン１は対応付けると共に、第８クールの時間帯（時間２９〜時間３２）では、「体力普通」に応じたモーションデータと、「体力無し」に応じたモーションデータとをパターン１は対応付けている。

なお、パターン１の規定内容を第１クールで説明すると、パターン１は、「体力有り」の場合に対して、第１クールの時間１から時間４まで、連続的に「サイドステップ（図６のＩＤ番号がＣ１のモーションデータの内容を参照）」を行うことを規定する。一方、「体力普通」の場合、パターン１は、第１クールの時間１から時間２まで、運動負荷が「サイドステップ」より低いレベルの「ゆっくりサイドステップ（図６のＩＤ番号がＢ１の内容を参照）」を規定し、それから時間３から時間４で「サイドステップ（図６のＩＤ番号がＣ１の内容を参照）」を規定する。

また、パターン１は、運動目的であるストレス解消に関連する「サイドステップ＋手」のモーションデータ（ＩＤ番号はＦ１）を、「体力有り」に対応するところでは第７クールの時間２５、２６に含ませており、「体力普通」に対応するところでは第８クールの時間２９、３０、第９クールの時間３３、３４、および第１０クールの時間３７、３８にそれぞれ含ませている。

さらにまた、パターン１は、ストレス解消に関連する動作である「サイドステップ＋手」の中で「サイドステップ」を行う足を動作対象とするＩＤ番号がＢ１のモーションデータ（ゆっくりサイドステップ）を、「体力普通」に対応するところでは第１クールに含まると共に、ＩＤ番号がＣ１のモーションデータ（サイドステップ）を体力レベルに関係なく第１クール等に含ませている。また、パターン１は、「サイドステップ＋手」の中で「手の動作」を動作対象とするＩＤ番号がＤ１のモーションデータ（マーチ＋手ゆっくり）を体力レベルに関係なく第４クールに含ませている。そのため、パターン１では、ストレス解消に関連する動作（サイドステップ＋手）を行う前の時間帯に同様な動作を含ませているので、スムーズにストレス解消に関連する動作を行えるようになっている。

パターン１において、「体力有り」に対応するモーションデータが規定されていない時間帯（たとえば、第２クール、第３クール等）は、「体力普通」に規定されているモーションデータを共用するようになっており、同様に、「体力無し」に対応するモーションデータが規定されていない時間帯（たとえば、第１クール、第３クール等）も、「体力普通」に規定されているモーションデータを共用するようになっている。なお、図９のパターンデータベース２６に含まれる他のパターン２〜８等も、図１０に示すパターン１と同様、所定の運動目的を達成するために時間単位ごとにモーションデータを対応付けた内容になっている。

また、ハードディスク装置１５に記憶されるリズムデータベース２７は、エアロビクスのレッスン用の各種音楽データを格納したものであり、これらの音楽データは、端末ユニットで生成表示される動画と共に、所定のリズム（BPM ：Beat Per Minute ）で再生される。

図１１に示す第１フローチャートは、ハードディスク装置１５に記憶されるサーバプログラム２０が規定する内容に従ってサーバ装置１０が行う一連の処理（動画表示方法の一部の処理）を示したものである。この第１フローチャートはサーバ装置１０が既にメニュー表示用のデータを受付端末装置２へ送って、各種メニューが受付端末装置２で表示された状態からの処理を示したものになっており、基本的にユーザが初めて施設を利用する場合に対応した内容を示している。以下、この第１フローチャートに従ってサーバ装置１０（ＭＰＵ１１）が行う処理を説明する。

先ず、サーバ装置１０は、受付端末装置２で表示するメニューでユーザから必要な情報の入力を受け付けたか否かを判断する（Ｓ１）。必要な情報（氏名、性別、年齢、身長、体重、運動目的、運動習慣）の入力を全て受け付けていない場合（Ｓ１：ＮＯ）、サーバ装置１０は、情報入力の受付待ちの状態となる。また、必要な情報の入力を全て受け付けると（Ｓ１：ＹＥＳ）、サーバ装置１０のＭＰＵ１１はレベル判定手段として、図４の体力レベルテーブル２２を参照して、情報の入力を行ったユーザの体力レベルを判定する（Ｓ２）。なお、判定した結果は、受け付けた情報と共に図５のユーザデータベース２３に、発行された会員番号と対応付けて登録される。

それから、ＭＰＵ１１は、受け付けた情報の中で運動目的に合致するパターンを、図８の運動目的テーブル２５を参照して図９のパターンデータベース２６から特定する（Ｓ３）。なお、運動目的テーブル２５では、運動目的ごとに２種類の動作種類を対応付けているが、エアロビクスのレッスンを受講回数が１０回未満であれば上段の動作種類をＭＰＵ１１は特定し、受講回数が１０回を越えると、その内容に慣れたと判断して、下段の動作種類を特定するようになる。また、パターンの具体的な特定の仕方としては、入力を受け付けた運動目的は「全身ダイエット」であれば、運動目的テーブル２５を参照して、「全身ダイエット」の運動目的番号「Ｍ１」を確認し、その「Ｍ１」に対応付けられたパターンをパターンデータベース２６から特定することになる。

そして、ＭＰＵ１１は、特定したパターンが規定する中で体力レベルに応じたモーションデータを特定する処理を行う（Ｓ４）。例えば、特定したパターンが図１０のパターン１であれば、対象となるユーザの体力レベルが「体力有り」と判定された場合、ＭＰＵ１１は、「体力有り」で用いるＩＤ番号がＡ、Ｃ１、Ｄ１、Ｅ１、Ｆ１の計５種類のモーションデータを特定することになる。

さらに、ＭＰＵ１１は、特定したパターンを参照してパーソナルメニューを作成する（Ｓ５）。すなわち、ＭＰＵ１１は、例えば、図１０のパターン１の「体力有り」に応じた第１クールから第１０クールまでのモーションデータの並び方を参照し、その内容をユーザのパーソナルメニューとする。

最後に、サーバ装置１０（ＭＰＵ１１）は、特定したモーションデータと、作成したパーソナルメニューの内容を表すデータ（パターンが規定する各モーションデータの並び方を規定したデータ。以下、「メニュー内容のデータ」と称す）、リズムデータベース２７に含まれる音楽データ、およびレッスンを受けるユーザのユーザ情報と共に、ユーザが利用するブースに応じた端末ユニットへ送信する（Ｓ６）。

また、本実施形態では、エアロビクスのレッスン内容は、前から順に、ウォーミングアップ、第１インターバル、メインコンテンツ、第２インターバル、アクティブレスト、第３インターバル、およびクールダウンと云う計７種類の内容を組み合わせて１つのレッスンにしており、これらの中のメインコンテンツの中身が上記フローチャートにより作成されたパーソナルメニューに応じたものになる。その他のウォーミングアップ等の中身は固定にしており、これらの固定の内容に応じたモーションデータ、メニュー内容も、上記のパーソナルメニューの内容と一緒に、サーバ装置１０は端末ユニットへ送信している。

なお、図１１の第１フローチャートは、初めて施設をユーザが利用する場合に対応した内容を示しているが、２回目以降の利用の場合、ユーザは受付端末装置２で自身の会員番号さえ入力すれば、既に必要な情報はユーザデータベース２３に登録されているので、登録されている情報に基づき、フローチャート中の所定のステップ以降の処理が行われることになる。さらに、２回目以降の利用時に、ユーザデータベース２３の登録情報が更新された場合（例えば、運動目的が変更になった場合）、新たに入力を受け付けた情報がユーザデータベース２３に上書きされると共に、新たに入力を受け付けた情報に基づき、所定のステップ以降の処理が行われることになる。

図１２は、ブースＢに設置される端末ユニット３０の主要な構成を示したブロック図である。端末ユニット３０に含まれる端末装置３１は、汎用のパーソナルコンピュータを用いており、ＣＰＵ３１ａに通信インタフェース３１ｂ、ＲＡＭ３１ｃ、ＲＯＭ３１ｄ、操作インタフェース３１ｅ、表示処理部３１ｆ、音出力処理部３１ｇ、およびハードディスク装置３１ｈを内部バス３１ｉで接続した構成になっている。

通信インタフェース３１ｂは、ネットワークケーブルＬ１でサーバ装置１０と接続されており、サーバ装置１０から送られてくるモーションデータのファイル、メニュー内容のデータ、および音楽データ等を受信する。また、ＲＡＭ３１ｃは、ＣＰＵ３１ａの処理に伴うデータおよびファイル等を一次的に記憶し、ＲＯＭ３１ｄは、ＣＰＵ３１ａが行う基本的な処理を規定したプログラムを予め記憶している。

操作インタフェース３１ｅは、ユーザからの操作を受け付ける入力操作器３３と接続されている。入力操作器３３は、スタートボタン、一時停止ボタン、中止ボタン、上下左右キー、決定キー等を備えており、操作インタフェース３１ｅは、入力操作器３３で入力された操作内容を受け付けて、ＣＰＵ３１ａへ送る処理を行う。

また、表示処理部３１ｆは、大型モニタ装置３２と接続されており、ＣＰＵ３１ａの制御処理に従って、サーバ装置１０から受信したモーションデータをメニュー内容のデータが規定する時系列の順序で用いてバーチャルインストラクターが各種動作を行う動画を生成して、大型モニタ装置３２へ出力するための表示処理を行う。なお、本実施形態の表示処理部３１ｆは、複数の動画を同時的に生成することが要求されるため、動画生成用グラフィックチップと動画生成処理に用いるバッファメモリ等を複数具備して、最大計５つの動画を並列的に生成して表示処理を行える仕様になっている。さらに、音出力処理部３１ｇは、スピーカ３４と接続されており、ＣＰＵ３１ａの制御処理に従って、サーバ装置１０から受信した音楽データを、表示処理部３１ｆでの表示処理に合わせて再生出力する処理を行う。

ハードディスク装置３１ｈは、ＯＳプログラム３５、動画表示プログラム３６および複数のメニュー画面に応じた画面データを格納するメニュー画面テーブル３７等を記憶すると共に、通信インタフェース３１ｂで受信したサーバ装置１０からのモーションデータのファイル、およびメニューデータ等の各種ファイル、データ等を記憶することも行う。なお、ＯＳプログラム３５は、オペーレーティングシステムに係る処理内容を規定したプログラムであり、また、動画表示プログラム３６は、サーバ装置１０から送られたモーションデータに基づく動画生成および表示に関するＣＰＵ３１ａの制御処理内容を規定したものである。

動画表示プログラム３６は、入力操作器３３でユーザからスタートボタンの押し下げ操作を受け付けると、図１３（ａ）に示す表示パターン選択メニュー４０をハードディスク装置３１に記憶されるメニュー画面テーブル３７から読み出して、表示処理部３１ｆより出力することで、大型モニタ装置３２の画面３２ａに表示させることを規定している。

表示パターン選択メニュー４０は、バーチャルインストラクターを正面方向から見た内容を示す主動画のみの表示パターン、またはバーチャルインストラクターを正面以外の他の方向から見た内容を示す副動画を主動画と共に表示する表示パターンのいずれかを選択するためのメニューであり、選択可能な第１ボタン４０ａおよび第２ボタン４０ｂを有する。これらの各ボタン４０ａ、４０ｂは、入力操作器３３の上下キーの操作により移動するカーソル４０ｃで選択対象となるボタンが選ばれた状態となり、その状態で入力操作器３３の決定キーが操作されることで、カーソル４０ｃが位置するボタンが選択され、選択された内容がＣＰＵ３１ａへ伝えられるようになっている。

第１ボタン４０ａは、主動画のみを表示する場合に選択されるものであり、第１ボタン４０ａが選択されると、動画表示プログラム３６は、ＣＰＵ３１ａに主動画のみの生成表示処理を開始させることを規定しており、それにより、正面方向からバーチャルインストラクターを見た内容によるレッスンが始まる。

具体的には、まず、第１ボタン４１が選択されたことがＣＰＵ３１ａへ伝えられると、ＣＰＵ３１ａは、サーバ装置１０から送信されたメニュー内容のデータが規定する時系列の順序に応じた各モーションデータを用いて動画を生成し、生成した内容を順次大型モニタ装置３２へ出力することになる。

すなわち、サーバ装置１０から送信されたメニュー内容のデータが、図１０に示すパターン１の「体力普通」に応じた内容である場合、ＣＰＵ３１ａは、第１クールの時間１の時間１、２に、ＩＤ番号が「Ｂ１」のモーションデータに基づき動画（主動画）を生成するように表示処理部３１ｆの制御を行う。また、ＣＰＵ３１ａは、第１クールの時間３〜第２クールの時間６まで、ＩＤ番号が「Ｃ１」のモーションデータで主動画を生成する制御を行い、以下同様に、メニューデータが規定するパターン１の「体力普通」の欄に時系列の順序で並ぶモーションデータを順次用いて主動画を生成するように表示処理部３１ｆの制御を行う。この場合、生成される主動画は、図７（ａ）において、人体画像５に対して正面方向に位置する撮像するカメラ６ａで人体画像５を撮像した内容に応じたものになる。

ＣＰＵ３１ａは、上述したような処理で主動画を生成すると、生成した主動画が大型モニタ装置３２で動画として表示されるように表示処理部３１ｆで生成した主動画に応じたフレーム画像を順次、大型モニタ装置３２へ出力する内容の制御を表示処理部３１ｆに対して行う。

その結果、図１４に示すように、大型モニタ装置３２の画面３２ａの全体に、正面方向から見られたバーチャルインストラクターの人体画像が各種動作を行う内容の動画のフレーム画像ｆ１〜ｆ６が順次表示されるようになり、ユーザは、エアロビクスの動作を最も把握しやすい場合が多い正面方向から見たバーチャルインストラクターの動きに合わせてエアロビクスの各種動作を行うことになる。

一方、図１３（ａ）に示す表示パターン選択メニュー４０で第２ボタン４０ｂが選択されると、動画表示プログラム３６は次に、メニュー画面テーブル３７の中から、図１３（ｂ）に示す視線方向選択メニュー４１をＣＰＵ３１ｅに読み出させて表示処理部３１ｆの処理により、視線方向選択メニュー４１を大型モニタ装置３２の画面３２ａに表示させることを規定している。

視線方向選択メニュー４１は方向受付手段に相当し、副動画用の視線方向の選択指定を受け付けるためのメニューであり、バーチャルインストラクターを右側面方向から見る場合の第１選択欄４１ａ、左側面方向から見る場合の第２選択欄４１ｂ、背面方向から見る場合の第３選択欄４１ｃ、および俯瞰方向から見る場合の第４選択欄４１ｄを有すると共に、決定ボタン４１ｅおよび戻るボタン４１ｆを有している。第１選択欄４１ａ〜第４選択欄４１ｄは、入力操作器３３の上下キーおよび決定キーの入力操作により一または複数の指定選択を受け付けた状態にすることが可能になっており、各選択欄４１ａ〜４１ｄの少なくとも一つの指定選択を受け付けた状態で決定ボタン４１ｅが、入力操作器３３の上下キーおよび決定キーの操作により選択されると、指定選択を受け付けた状態の視線方向がＣＰＵ３１ａへ伝えられるようになっている。なお、戻るボタン４１ｆが選択された場合は、図１３（ａ）に示す表示パターン選択メニュー４０へ表示するメニュー内容が切り替わるようにＣＰＵ３１ａは制御を行う。

図１３（ｂ）の視線方向選択メニュー４１で、右側面方向に応じた第１選択欄４１ａが選択された場合、ＣＰＵ３１ａは、図７（ａ）に示す人体画像５に対して右側面方向に位置するカメラ６ｂを用いて撮像した内容の副動画を主動画の生成処理と並列的に行うように表示処理部３１ｆを制御する。なお、表示処理部３１ｆは、メインとなる主動画の方を副動画に比べて大きいサイズで生成するようにしているので、副動画の生成の際には、各モーションデータに含まれる画素データを適宜間引き、主動画より少ない画素数で副動画を生成することで、副動画の生成に係る処理負担を低減する（他の方向からの副画像でも同様）。

また、図１５（ａ）に示すように、表示処理部３１ｆは、生成した右側面方向の副動画Ｓ２１を、主動画Ｓ１の左下隅Ｓ１ｂに配置して、主動画Ｓ１と副動画Ｓ２１とを組み合わせた状態のフレーム画像を生成して表示処理を行う。これにより、ユーザは、正面方向の主動画Ｓ１をメインにしてエアロビクス用の各種動作を確認できると共に、右側面方向の副動画Ｓ２１で、補足的に右側面方向からエアロビクス用の動作も確認でき、二方向から見た内容で各種動作を把握してエクササイズを行えるようになる。

図１３（ｂ）の視線方向選択メニュー４１で、左側面方向に応じた第２選択欄４１ｂが選択された場合、ＣＰＵ３１ａは、図７（ａ）に示す人体画像５に対して左側面方向に位置するカメラ６ｃを用いて撮像した内容の副動画を主動画の生成処理と並列的に行うように表示処理部３１ｆを制御する。この場合、図１５（ａ）に示すように、表示処理部３１ｆは、生成した左側面方向の副動画Ｓ２２を、主動画Ｓ１の右下隅Ｓ１ａに配置して、主動画Ｓ１および副動画Ｓ２２を組み合わせた状態のフレーム画像を生成して表示処理を行う。

また、図１３（ｂ）の視線方向選択メニュー４１で、背面方向に応じた第３選択欄４１ｃが選択された場合、ＣＰＵ３１ａは、図７（ａ）に示す人体画像５に対して背面方向に位置するカメラ６ｄを用いて撮像した内容の副動画を主動画の生成処理と並列的に行うように表示処理部３１ｆを制御する。この場合、図１５（ａ）に示すように、表示処理部３１ｆは、生成した背面方向の副動画Ｓ２３を、主動画Ｓ１の左上隅Ｓ１ｃに配置して、主動画Ｓ１および副動画Ｓ２３を組み合わせた状態のフレーム画像を生成して表示処理を行う。

さらに、図１３（ｂ）の視線方向選択メニュー４１で、俯瞰方向に応じた第４選択欄４１ｄが選択された場合、ＣＰＵ３１ａは、図７（ａ）に示す人体画像５に対して俯瞰方向に位置するカメラ６ｅを用いて撮像した内容の副動画を主動画の生成処理と並列的に行うように表示処理部３１ｆを制御する。この場合、図１５（ａ）に示すように、表示処理部３１ｆは、生成した俯瞰方向の副動画Ｓ２４を、主動画Ｓ１の右上隅Ｓ１ｄに配置して、主動画Ｓ１および副動画Ｓ２４を組み合わせた状態のフレーム画像を生成して表示処理を行う。

なお、図１３（ｂ）の視線方向選択メニュー４１では、各選択欄４１ａ〜４１ｄはユーザが所望する方向の数だけ選択することができ、例えば、第２選択欄４１ｂのみを選択した場合、図１５（ｂ）に示すように、主動画Ｓ１の右下隅Ｓ１ａに左側面方向からバーチャルインストラクターを見た内容の副動画Ｓ２２が配置されたフレーム画像が大型モニタ装置３２の画面３２ａに表示される。また、図１３（ｂ）の視線方向選択メニュー４１で第１選択欄４１ａおよび第２選択欄４１ｂの２つを選択した場合、図１に示すように、主動画Ｓ１の左下隅および右下隅に右側面方向および左側面方向からそれぞれバーチャルインストラクターを見た内容の副動画Ｓ２１および副動画Ｓ２２が配置されたフレーム画像が大型モニタ装置３２に表示される。

さらに、図１３（ｂ）の視線方向選択メニュー４１で第１選択欄４１ａ〜第３選択欄４１ｃの計３つを選択した場合、図１５（ｃ）に示すように、主動画Ｓ１の右下隅Ｓ１ａ、左下隅Ｓ１ｂおよび左上隅Ｓ１ｃに、左側面方向、右側面方向および背面方向からそれぞれバーチャルインストラクターを見た内容の副動画Ｓ２１〜Ｓ２３が配置されたフレーム画像が大型モニタ装置３２の画面３２ａに表示される。なお、図１および図１５（ａ）〜図１５（ｃ）に示すフレーム画像は一例にすぎず、視線方向選択メニュー４１の各選択欄４１ａ〜４１ｄの選択状況に応じて、様々なパターンで副動画が主動画Ｓ１に組み合わされて表示されることになる。

図１６に示す第２フローチャートは、端末装置３１（ＣＰＵ３１ａ）が行う表示処理に係る一連の処理内容（動画表示方法の内容）を整理したものである。なお、第２フローチャートは、端末装置３１（端末ユニット３０）がサーバ装置１０から、動画生成に必要なデータ等を受信して、図１３（ａ）の表示パターン選択メニュー４０が大型モニタ装置３２の画面３２ａに表示された状態からの処理内容を示している。

この第２フローチャートで、まず、端末装置３１は、表示パターン選択メニュー４０で、主動画のみを表示するパターンの第１ボタン４０ａまたは主動画および副動画を表示するパターンの第２ボタン４０ｂのいずれのボタンが選択されたかを判断する（Ｓ１０）。第１ボタン４０ａが選択された場合（Ｓ１０：主動画のみ）、端末装置３１は、サーバ装置１０から送信されたメニュー内容のデータにおいて最初の時間単位で規定されるモーションデータに基づき正面方向からバーチャルインストラクターを見た内容の主動画Ｓ１のみを生成する（Ｓ１４）。

また、第２ボタン４０ｂが選択された場合（Ｓ１０：主動画＋副動画）、端末装置３１は、図１３（ｂ）の視線方向選択メニュー４１を大型モニタ装置３２の画面３２ａに表示して、いずれの視線方向が選択欄４１ａ〜４１ｄを介して選択されたかを判断する（Ｓ１１）。いずれの視線方向も選択されていない場合（Ｓ１１：ＮＯ）、端末装置３１は、選択待ちの状態となる。

また、いずれかの視線方向が選択された場合（Ｓ１１：ＹＥＳ）、端末装置３１は、主動画Ｓ１と、選択された視線方向に応じた副動画（副動画Ｓ２１〜Ｓ２４の中の少なくともいずれか１つ）を生成し（Ｓ１２）、生成した副動画を例えば図１５（ａ）〜図１５（ｃ）に示すように、主動画Ｓ１の中に配置した組合動画（フレーム画像）を生成する（Ｓ１３）。それから、端末装置３１は、Ｓ１３の段階またはＳ１４の段階で生成した動画の表示処理を行い（Ｓ１５）、メニュー内容のデータが規定する最後の時間帯まで処理が終了したか否かを判断する（Ｓ１６）。最後の時間帯まで処理が終了すれば（Ｓ１６：ＹＥＳ）、端末装置３１は一連の処理を終了する。

また、最後の時間帯まで処理が終了しておらず（Ｓ１６：ＮＯ）、最初のＳ１０の段階で、主動画のみが選択されていると（Ｓ１０が「主動画のみ」のとき）、端末装置３１は次の処理対象となる時間単位に対応付けられたモーションデータに基づき主動画を生成する（Ｓ１４）。さらに、最後の時間帯まで処理が終了しておらず（Ｓ１６：ＮＯ）、Ｓ１１の段階で、いずれかの視線方向が選択されていると（Ｓ１１がＹＥＳのとき）、端末装置３１ｈは次の処理対象となる時間単位に対応付けられたモーションデータに基づき主動画および副動画を生成する（Ｓ１２）。

以上のような処理を、端末装置３１が行うので、ユーザが望めば、バーチャルインストラクターを正面方向から見た主画像に加えて、正面方向以外の方向からバーチャルインストラクターを見た副画像も同時に表示でき、正面方向からでは分かりにくい動作等も副画像で確認でき、ユーザがエアロビクス動作を効率的に習得することに役立てられる。なお、上述した説明ではメインコンテンツに係る表示処理を述べたが、表示するエクササイズの内容が固定であるウォーミングアップ等については、規定された内容に従って端末装置３１のＣＰＵ３１ａは動画の生成および表示処理を行うことになる。

また、本発明は、上述した説明内容に限定されるものではなく種々の変形例の適用が考えられる。例えば、エクササイズの種類はエアロビクスに限定されるものではなく、ストレッチ、ヨガ、ストリートダンスなどにも適用することが可能である。

また、図１に示すように、サーバ装置１０は、有線のネットワークケーブルで受付端末装置２と接続されているが、各種メニューを表示する装置とは無線のネットワークまたはインターネットのような広域のネットワークを用いてサーバ装置１０と接続するようにしてもよい。このようにすれば、自宅のパーソナルコンピュータまたは携帯電話機を用いて必要な情報の入力、施設利用の予約等をサーバ装置１０に対して行えるようになり、ユーザの利便性を高められる。

一方、システム仕様の簡易化を図る場合は、メニュー表示を行う受付端末装置２、サーバ装置１０および端末ユニット３０が行う処理を、単一の装置（コンピュータ）で行うようにしてもよい。この場合、単一の装置に接続されたモニタに図３（ａ）〜（ｃ）に示すような各種メニューが表示されてユーザから情報の入力を受け付けると共に、動作データベース（図６参照）およびパターンデータベース（図９参照）を単一の装置が備えることになる。さらに、単一の装置に記憶されたコンピュータプログラムが、単一の装置に、各種メニューで入力を受け付けた情報の内容に対応付けられたパターンをパターンデータベースから特定させる処理、特定されたパターンから各時間単位のモーションデータを読み出す処理、読み出したモーションデータに基づき異なる複数の方向から人体画像５（バーチャルインストラクター）が見られた内容の動画（主動画および副動画）を方向ごとにそれぞれ生成させる処理、生成させた方向ごとの動画（主動画および副動画）の表示処理等を行わせることになる。

また、副動画の表示を行うか否かは、図１３（ａ）の表示パターン選択画面４０でユーザの選択に委ねているが、ユーザの選択に係る処理の簡略化を図る仕様にする場合は、常に主動画および副動画を表示する仕様にしてもよい。さらに、副動画に応じた視線方向は、図１３（ｂ）の視線方向選択メニュー４１でユーザの選択に委ねているが、このようなユーザの選択に係る処理の簡略化を図る場合には、正面方向以外のいずれかの視線方向に固定して副動画を生成する仕様にすることも可能である。

さらにまた、ユーザの選択に係る処理の簡略化を図った上で、さまざまな視線方向からの副動画をユーザに提示できるようにする変形例も考えられる。この変形例の場合は、端末装置３１のＣＰＵ３１ａが方向選択手段として、正面方向以外の図７（ａ）に示す「右側面」「左側面」「背面」「俯瞰」の方向の中から少なくとも１つの方向を順次切り替えて選択し、選択した方向を他方向にして副動画を生成する。

このようにＣＰＵ３１ａが順次方向を選択する変形例の場合でも、フレーム画像の形態としては、図１５（ｂ）に示すように１つの副動画を表示する形態、図１に示すように２つの副動画を表示する形態、または図１５（ｃ）に示すように計３つの副動画を表示する形態のいずれかをユーザが指定するようにしてもよく、または形態を固定にしてもよい。この際、図１５（ｂ）に示す形態では、１つの副動画が「右側面」「左側面」「背面」「俯瞰」から見たバーチャルインストラクターの内容に自動で順次（たとえば、図１０のパターン１で示す時間単位毎に）切り替えられる。

同様に、図１に示す形態では、「右側面」「左側面」「背面」「俯瞰」の順の中より、連続する２つの方向が順次選択されて、計２つの副動画が、２つの選択された方向から見たバーチャルインストラクターの内容に自動で切り替えられることになる。さらに、図１５（ｃ）に示す形態では、「右側面」「左側面」「背面」「俯瞰」の順の中より、連続する３つの方向が順次選択されて、計３つの副動画が、３つの選択された方向から見たバーチャルインストラクターの内容に自動で切り替えられることになる。

また、各視線方向（ユーザが動体を見る各方向）に応じた副動画の主動画Ｓ１の中における配置箇所は、図１および図１５（ａ）〜（ｃ）のような位置に限定されるものではなく、適宜配置箇所を入れ替えることも可能であり、主動画Ｓ１の隅以外に、上中央、下中央、左中央、右中央等にも配置するようにしてもよい。さらに、副動画の配置箇所は、ユーザが選択できるようにしてもよく、この場合、図１３（ｂ）の視線方向選択メニュー４１で、視線方向が選択された後に、副動画の配置箇所を選択する配置箇所選択メニューを大型モニタ装置３２に表示する。この配置箇所選択メニューでは、副動画の配置箇所として、主動画Ｓ１の右上隅、上中央、左上隅、左中央、左下隅、下中央、右下隅、右中央などの中からいずれかを入力操作器３３の操作で選択できるようになっており、選択された箇所がＣＰＵ３１ａに伝えられると、ＣＰＵ３１ａは選択された箇所に副動画を配置するように表示処理部３１ｆを制御する。それにより、ユーザが所望する箇所に所望する視線方向の副動画を配置でき、ユーザの使い勝手に応じた表示形態を提示できる。

さらに、バーチャルインストラクターを見る方向は、図７（ａ）に示すように「右側面」「左側面」「背面」「俯瞰」以外にも、正面に対して右斜め方向、正面に対して左斜め方向、俯瞰から右斜め方向などように、正面方向以外の様々な方向をユーザが自由に指定できるようにしてもよい。これらの方向を指定するには、図７（ａ）のような内容のメニュー画面を表示して、入力操作器３３の上下左右キーでカメラ位置をユーザに指定させるようにすることが方向を指定しやすく好適となる。また、方向以外にも、人体画像５からカメラまでの距離、カメラのＺ軸方向における上下の角度（チルト）、Ｚ軸周りの左右の角度（パン）などをユーザが指定できるようにして、より詳細にユーザが所望する条件でバーチャルインストラクターを見た内容の副動画を生成するようにしてもよい。

さらにまた、図１７（ａ）は、生成した主動画Ｓ１および副動画Ｓ２１、Ｓ２２の配置に関する別の変形例を示している。この変形例では、大型モニタ装置３２の画面３２ａを計３つのエリア６１、６２、６３に区切ると共に、第１エリア６１のみを他のエリア６２、６３より大きくして区別して大きいサイズの主動画Ｓ１を配置し、第２エリア６２には、図１３（ｂ）の視線方向選択メニュー４１で選択された右側面方向からの副動画Ｓ２１を配置し、第３エリア６３には左側面方向からの副動画Ｓ２２を配置する。それにより、この変形例では、主動画Ｓ１が副動画Ｓ２１、Ｓ２２と並べて配置されるので両者は一切重ならなくなり、主動画Ｓ１を常に全て見ることができる。なお、図１７（ａ）の場合でも、配置する副動画の数は適宜増減可能であり、副動画の数が２つより多くなれば、エリア６２、６３を合わせた領域を、選択された視線方向の数で分割して各副動画を配置することになる。

また、図１７（ｂ）は、主動画Ｓ１および副動画Ｓ２１〜Ｓ２３の配置に関する更に別の変形例を示している。この変形例では、主動画Ｓ１および副動画Ｓ２１〜Ｓ２３が同じサイズで生成されており、それにより端末装置３１の表示処理部３１ｆの主動画Ｓ１の生成に係る処理負担が低減される。また、図１７（ｂ）では、大型モニタ装置３２の画面３２ａが計４つのエリア６５〜６８に均等に四分割されて、同サイズの主動画Ｓ１および副動画Ｓ２１〜Ｓ２３が配置されているので、複数の異なる方向から、バーチャルインストラクターの動作内容を同等のレベルでユーザが確認したい場合に、図１７（ｂ）は好適な表示形態となる。なお、図１７（ｂ）でも、配置する副動画の数は適宜増減可能である。なお、図１７（ａ）、図１７（ｂ）の変形例でも、主動画Ｓ１、副動画Ｓ２１、Ｓ２２等の配置箇所を選択できるメニューまたは操作ウインドウ等を設けて、ユーザによる入力操作器３３の操作により、主動画Ｓ１、副動画Ｓ２１、Ｓ２２等の配置箇所を適宜入れ替え可能にしてもよい。

図１８（ａ）（ｂ）は、２台のモニタ装置７０、７１を、生成した動画の表示出力先として使用する場合の変形例を示している。この変形例の場合、端末装置３１′は、表示処理部３１ｆ′に接続される主出力部３８′および副出力部３９′を新たに設けると共に、主出力部３８′に主出力先となる主モニタ装置７０を接続し、副出力部３９′に副出力先となる副モニタ装置７１を接続した仕様にする。そして、端末装置３１′は、生成した主動画Ｓ１を主出力部３８′から出力して主モニタ装置７０に表示させる処理を行うと共に、複数の副動画（たとえば計４つの副動画Ｓ２１〜Ｓ２４）を生成して、これら複数の副動画を組み合わせた状態で副出力部３９′から出力して副モニタ装置７１の四分割したエリアに、各副動画をそれぞれ表示させる処理を行う。この変形例では、ハード的に別のモニタ装置７０、７１に分けて主動画Ｓ１と複数の副動画（副動画Ｓ２１〜Ｓ２４）が表示されるので、一段と主動画Ｓ１を中心にバーチャルインストラクターの動作を確認しやすくなると共に、各副動画も補助的に利用できるようになる。

さらに、ユーザからの操作の受付は入力操作器３３で行う以外に、遠隔操作が可能なリモコン装置で行えるようにすること、または大型モニタ装置３２（変形例のモニタ装置７０、７１も同等）の画面３２ａにタッチパネル方式のものを採用して、画面３２ａのタッチ動作で行えるようにしてもよい。このようにすることで、運動動作中もユーザは操作入力を行いやすくなるので、図１５（ａ）〜（ｃ）等に示す副動画の位置を、リモコン操作または画面３２ａに対するタッチ動作で指定可能にして、運動中に副動画の配置を変更できるようにしてもよく、同様に図１７（ａ）（ｂ）および図１８（ｂ）等に示す場合でも、運動中に副動画等の配置箇所を入れ替えられるようにしてもよい。また、上述した各種変形例の内容は、適宜組み合わせて適用することも勿論可能である。

本発明の実施形態に係る動画表示システムの全体的な構成を示す概略図である。 サーバ装置の構成を示すブロック図である。 （ａ）は年齢入力用のメニューを示す概略図、（ｂ）は運動習慣入力用のメニューを示す概略図、（ｃ）は運動目的入力用のメニューを示す概略図である。 体力レベルテーブルを示す図表である。 ユーザデータベースを示す図表である。 動作データベースを示す図表である。 （ａ）は、複数の視線方向に応じたイメージを示す概略図、（ｂ）はマーカに対応した点およびボーンの関係を示す概略図である。 運動目的テーブルを示す図表である。 パターンデータベースを示す図表である。 時系列の順序に応じた各時間単位に対応付けるモーションデータを規定したパターンの一例を示す図表である。 サーバ装置の処理内容を示した第１フローチャートである。 端末ユニットの構成を示すブロック図である。 （ａ）は表示パターン選択メニューの概略図、（ｂ）は視線方向選択メニューの概略図である。 生成した動画を構成する一連のフレーム画像を示す概略図である。 （ａ）は主動画に４つの副動画を配置した状態を示す概略図、（ｂ）は主動画に１つの副動画を配置した状態を示す概略図、（ｃ）は主動画に３つの副動画を配置した状態を示す概略図である。 端末装置での動画表示方法に係る処理内容を示した第２フローチャートである。 （ａ）は主動画および２つの副動画を並べて配置した状態を示す概略図、（ｂ）は同サイズの主動画および３つの副動画を並べて配置した状態を示す概略図である。 （ａ）は２台のモニタ装置を接続する変形例の端末装置の要部を示すブロック図、（ｂ）は２台のモニタ装置を用いた端末ユニットの概略図である。

符号の説明

１ 動画表示システム
２ 受付端末装置
１０ サーバ装置
１１ ＭＰＵ
１４ 通信インタフェース
１５ ハードディスク装置
２０ サーバプログラム
２１ メニューデータベース
２１ａ、２１ｂ、２１ｃ メニュー
２２ 体力レベルテーブル
２３ ユーザデータベース
２４ 動作データベース
２５ 運動目的テーブル
２６ パターンデータベース
３０ 端末ユニット
３１ 端末装置
３１ａ ＣＰＵ
３２ 大型モニタ装置
３３ 入力操作器
４０ 表示パターン選択メニュー
４１ 視線方向選択メニュー
Ｓ１ 主動画
Ｓ２１〜Ｓ２４ 副動画

Claims (7)

1. 動体の運動動作を規定した複数の動作データが格納してある動作データベースと、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成する手段とを備え、生成した動画の表示処理を行う動画表示システムにおいて、
   異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成する動画生成手段と、
   前記動画生成手段が生成した方向ごとの複数の動画の表示処理を行う表示処理手段と
   を備えることを特徴とする動画表示システム。
2. 前記動画生成手段は、動体に対して正面方向となる方向から動体が見られた内容の動画を主動画として生成すると共に、正面方向と異なる他方向から動体が見られた内容の動画を副画像として生成するようにしてあり、
   前記表示処理手段は、主動画と副動画とを組み合わせた状態で表示処理を行う請求項１に記載の動画表示システム。
3. 前記動画生成手段は、動体に対して正面方向となる方向から動体が見られた内容の動画を主動画として生成すると共に、正面方向と異なる複数の他方向から動体が見られた内容の複数の動画を複数の副画像として生成するようにしてあり、
   前記表示処理手段は、主動画の表示処理を主出力先に対して行うと共に、複数の副動画を組み合わせた状態で副出力先に対して表示処理を行う請求項１に記載の動画表示システム。
4. 方向の指定を受け付ける方向受付手段を備え、
   前記動画生成手段は、前記方向受付手段が指定を受け付けた方向を他方向にして副動画を生成する請求項２または請求項３に記載の動画表示システム。
5. 正面方向以外の複数の方向の中から方向を順次切り替えて選択する方向選択手段と、
   前記動画生成手段が、前記方向選択手段が選択した方向を他方向にして副動画を生成する請求項２または請求項３に記載の動画表示システム。
6. 動体の運動動作を規定した複数の動作データが格納してある動作データベースを備える動画表示システムが、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成し、生成した動画の表示処理を行う動画表示方法において、
   前記動画表示システムは、
   異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成し、
   生成した方向ごとの複数の動画の表示処理を行うことを特徴とする動画表示方法。
7. 動体の運動動作を規定した複数の動作データが格納してある動作データベースを備えるコンピュータに、前記動作データベースに格納された各動作データに基づき、各動作データで規定される運動動作を行う動体が任意の方向から見られた内容の動画を生成させて、生成した動画の表示処理を行わせるコンピュータプログラムにおいて、
   コンピュータを、
   異なる複数の方向から動体が見られた内容の動画を、方向ごとにそれぞれ生成する手段と、
   生成した方向ごとの複数の動画の表示処理を行う手段として機能させることを特徴とするコンピュータプログラム。

Images