JP2014046018A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、ユーザをサポートする音を適切に決定する。
【解決手段】情報処理装置は、運動動作を示す動作情報と運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段と、楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、判定手段により運動レッスンが第１運動レッスンであると判定された場合、運動動作の進行に応じて音声サポート情報を所定の音声出力手段により出力させる第１制御手段と、判定手段により運動レッスンが第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、音声サポート情報よりも優先して音声出力手段により出力させる第２制御手段と、を備える。
【選択図】図４

Description

本発明は、ユーザが楽曲を聴きながら行う運動を支援するための運動コンテンツを生成する技術分野に関する。

例えば、特許文献１には、ユーザにより決定された複数の運動動作に対応する楽曲を、運動動作に合わせて決定することで、運動コンテンツを生成する技術が開示されている。一方、特許文献２には、楽曲の構成要素に対応する運動動作を、楽曲の構成要素に合わせて決定することで、運動コンテンツを生成する技術が開示されている。

特開２０１１−４５４７７号公報 特開２０１２−６５９６６号公報

生成された運動コンテンツは、例えば、映像としてディスプレイに表示されたり、楽曲としてスピーカから出力されたりする。ユーザは、出力される運動コンテンツに合わせて運動動作することにより、複数の運動動作を組み合わせた運動レッスンを行うことができる。運動コンテンツとして映像や楽曲を出力する際、各運動動作について動作方法等をサポートするナレーション等の音を出力することが一般的に行われている。以下、複数の運動動作に対応する楽曲を、運動動作に合わせて決定する運動レッスンの場合には、運動動作に関するナレーションを通常通り出力してもよいと考えられる。これは、複数の運動動作に対応する楽曲を、運動動作に合わせて決定する運動レッスンは、楽曲よりも運動を重視した運動レッスンであると考えられるためである。一方、楽曲の構成要素に対応する運動動作を、楽曲の構成要素に合わせて決定する運動レッスンの場合、運動動作に関するナレーションよりも、楽曲に合わせてユーザに発声させるように音を出力することで、ユーザが運動を楽しむことが可能となることが考えられる。これは、楽曲の構成要素に対応する運動動作を、楽曲の構成要素に合わせて決定する運動レッスンは、運動よりも楽曲を重視した運動レッスンであると考えられるためである。しかしながら、従来の技術では、運動重視のレッスン及び楽曲重視のレッスンのそれぞれに対して、適切なナレーション等の音を自動で決定して出力することができなかった。

本発明は、以上の点に鑑みてなされたものであり、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、ユーザをサポートする音を適切に決定することができる情報処理装置、情報処理方法及びプログラムを提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、運動動作を示す動作情報と運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段と、楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて前記音声サポート情報を所定の音声出力手段により出力させる第１制御手段と、前記判定手段により前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、前記第２制御手段は、楽曲を構成する演奏パートの中でサビ部分が出力されるときに前記サビ部分の歌唱を促す前記促し情報を前記音声サポート情報よりも優先して前記音声出力手段により出力させることを特徴とする。

請求項３に記載の発明は、前記演奏パートを識別する演奏パート情報と、前記演奏パートが出力されるときに行われる運動動作を示す前記動作情報とを対応付けたレッスン情報であって、前記サビ部分を示す前記演奏パート情報に対応付けて、楽曲に応じた踊りの動作を示す前記動作情報を含み、前記サビ部分とは異なる演奏パートを示す前記演奏パート情報に対応付けて、体操の動作を示す前記動作情報を含むレッスン情報を生成する生成手段を更に備え、前記第２制御手段は、前記生成手段により生成された前記レッスン情報に基づいて、前記サビ部分が出力されるとき、前記促し情報を前記音声出力手段により出力させ、前記サビ部分とは異なる演奏パートが出力されるとき、前記音声サポート情報を前記音声サポート情報よりも優先して前記音声出力手段により出力させることを特徴とする。

請求項４に記載の発明は、前記判定手段は、前記運動レッスンが、ユーザに適した運動動作のテンポに従って楽曲が出力される前記第１運動レッスンと、楽曲のオリジナルのテンポに従って前記楽曲が出力される前記第２運動レッスンとの何れであるかを判定することを特徴とする。

請求項５に記載の発明は、前記第２運動レッスンにおけるユーザの運動レベルが所定レベルよりも高いかを所定のタイミングで判定する第２判定手段を更に備え、前記第２制御手段は、前記第２判定手段により前記運動レベルが前記所定レベルよりも高いとは判定されなかったとき、前記音声サポート情報を前記促し情報よりも優先して出力させ、前記第２判定手段により前記運動レベルが前記所定レベルよりも高いと判定されたとき、前記促し情報を前記音声サポート情報よりも優先して出力させることを特徴とする。

請求項６に記載の発明は、情報処理装置により実行される情報処理方法であって、楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、前記判定ステップにより前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて、前記運動動作を示す動作情報と前記運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段に記憶された前記音声サポート情報を所定の音声出力手段により出力させる第１制御ステップと、前記判定ステップにより前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御ステップと、を含むことを特徴とする。

請求項７に記載の発明は、情報処理装置に含まれるコンピュータに、楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、前記判定ステップにより前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて、前記運動動作を示す動作情報と前記運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段に記憶された前記音声サポート情報を所定の音声出力手段により出力させる第１制御ステップと、前記判定ステップにより前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御ステップと、を実行させることを特徴とする。

請求項１、６又は７に記載の発明によれば、運動重視の運動レッスンでは、運動動作をサポートする音声サポート情報が出力される。一方、楽曲重視の運動レッスンでは、楽曲に合わせて発声することを促す促し情報が音声サポート情報よりも優先して出力される。そのため、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、ユーザをサポートする音を適切に決定することができる。

請求項２に記載の発明によれば、楽曲重視の運動レッスンでは、楽曲のサビ部分が出力されるときに、サビ部分の歌唱を促す促し情報が出力される。そのため、促し情報に応じてユーザが楽曲を歌いながら運動を行うことで、ユーザは運動をより楽しむことができる。

請求項３に記載の発明によれば、楽曲のサビ部分と異なる部分では体操の運動動作を行うことで、ユーザは身体を訓練することができる。一方、サビ部分では楽曲に応じた踊りの動作を行うことで、ユーザは運動を楽しむことができる。

請求項５に記載の発明によれば、楽曲重視の運動レッスンが行われている最中、ユーザの運動レベルが低いときには、音声サポート情報が促し情報よりも優先して出力される。そのため、ユーザに運動動作を覚えさせることができる。また、ユーザが運動動作に慣れていくことで運動レベルが高くなっているときには、促し情報が音声サポート情報よりも優先して出力される。そのため、ユーザは運動動作を覚えるよりも発声することで、気分を高揚させることができる。ユーザの運動レベルに応じて適切な情報が優先して出力されるので、ユーザは運動をより楽しむことができる。

一実施形態の運動支援システム１の概要構成例を示す図である。 （Ａ）は、運動重視レッスンの運動レッスン情報の構成例を示す図であり、（Ｂ）は、楽曲重視レッスンの運動レッスン情報の構成例を示す図である。 一実施形態の出力端末５のＣＰＵ５１の運動レッスン情報生成処理である。 一実施形態の出力端末５のＣＰＵ５１の音声出力制御処理である。 運動レベルの割り当ての例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、運動を支援するための運動コンテンツを自動で生成する運動支援システムに本発明を適用した場合の実施形態である。運動コンテンツは、運動を支援するための映像及び音声を含む。

［１．第１実施形態］
［１−１．運動支援システム１の構成］
始めに、図１を参照して、本実施形態の運動支援システム１の構成について説明する。図１は、本実施形態の運動支援システム１の概要構成例を示す図である。図１に示すように、運動支援システム１は、配信サーバ２と１つ以上の出力端末５とを含んで構成されている。配信サーバ２と出力端末５とは、ネットワーク１０を介して接続可能になっている。ネットワーク１０は、例えば、インターネットを含む。配信サーバ２には、データベース３が接続されている。データベース３には、運動に関する情報や楽曲に関する情報が登録されている。配信サーバ２は、データベース３に登録されている情報等を、定期的に又は出力端末５からの要求に応じて出力端末５に配信する。

出力端末５は、例えば、施設４に設置される端末装置である。出力端末５は、本発明の情報処理装置の一例である。出力端末５は、例えばパーソナルコンピュータであってもよい。施設４は、例えば、スポーツ施設である。出力端末５は、施設４の利用者４１により利用される。また、出力端末５は、モニタ５７と接続可能である。モニタ５７は、複数のスピーカ６４とディスプレイ６７とを備える表示装置であっても良い。この場合、出力端末５は、ディスプレイ６７と接続可能である。また、出力端末５は、スピーカ６４と接続可能である。スピーカ６４は、本発明の音声出力手段の一例である。出力端末５がモニタ５７へ音声信号を出力することにより、スピーカ６４により楽曲やインストラクターの音声等が出力される。出力端末５がモニタ５７へ映像信号を出力することにより、ディスプレイ６７に運動映像等が表示される。運動映像は、運動動作を行うフィギュア８３を映し出した映像である。フィギュア８３は、例えば、人、動物、仮想上の生き物、ロボット等のかたちをした仮想物である。出力端末５は、スピーカ６４から出力される楽曲と、ディスプレイ６７に表示されるフィギュア８３の動きとが同期するように、信号を出力する。１人以上の利用者４１は、スピーカ６４により出力される楽曲を聴きながら、ディスプレイ６７に表示されるフィギュア８３を見て、運動を行うことができる。

［１−２．運動レッスン］
利用者４１は、出力端末５を利用して運動を行うとき、運動レッスンの選択を行う。運動レッスンは、１つ以上の運動動作から構成されるレッスンである。ディスプレイ６７には、選択された運動レッスンに従った順序で運動動作を行うフィギュア８３が表示される。利用者４１により選択可能な運動レッスンの種類として、運動重視レッスンと楽曲重視レッスンとがある。運動重視レッスンは、本発明の第１運動レッスンの一例である。楽曲重視レッスンは、本発明の第２運動レッスンの一例である。

［１−２−１．運動重視レッスン］
運動重視レッスンは、楽曲よりも運動が重視される運動レッスンである。運動重視レッスンは、利用者４１の身体の訓練を主目的とする。運動重視レッスンにおいては、運動が動作されるテンポに従って楽曲が出力される。運動重視レッスンの内容を決定する場合、例えば、楽曲よりも先に運動動作が選択される。例えば、利用者４１又は操作者４２が、所望する運動動作を選択する。そして、例えば、選択された運動動作又は選択された運動動作の運動テンポに応じて楽曲が選択される。運動テンポは、利用者４１が運動動作を行う速度を表す。例えば、利用者４１が運動動作ごとに運動テンポを設定する。運動重視レッスンでは、運動テンポに従った再生速度でスピーカ６４により楽曲が出力される。また、運動テンポに従った速度で運動動作を行うフィギュア８３の運動映像がディスプレイ６７に表示される。そのため、利用者４１は運動テンポに従って運動を行う。利用者４１の運動動作に適した運動テンポが設定されることで、利用者４１は、効果的な運動を行うことができる。また、運動重視レッスンでは、楽曲を構成する複数の演奏パートのうち、一部の演奏パートのみが繰り返し出力される。例えば、楽曲のサビ部分が繰り返し出力されたり、イントロ部分とサビ部分とが繰り返し出力されたりする。

運動重視レッスンにおいて選択可能な運動動作は、例えば、体操の動作である。体操は、例えば、健康の増進、体力の増強、筋力の強化等のために行われる運動である。体操の種類として、例えば、有酸素運動、無酸素運動、ストレッチ等がある。有酸素運動の運動動作として、例えば、マーチ、フロントランジ等がある。無酸素運動の運動動作として、例えば、ショルダープレス、チェストプレス等がある。ストレッチの運動動作として、例えば、上腕部ストレッチ、首ストレッチ等がある。

１つの運動動作における一連の動作の中に、複雑な動作、覚えることが難しい動作、特に重要な動作等が存在する場合がある。運動重視レッスンにおいては、そのような動作が行われる間、ディスプレイ６７において、フィギュア８３が表示される領域が２以上に分割される。そして、２以上の領域には、互いに異なる視点から見たフィギュア８３が表示される。利用者４１は、複数の視点から見たフィギュア８３を見ることができる。従って、利用者４１は、運動動作を詳細に見ることができるので、運動動作の習得を促進することができる。

［１−２−２．楽曲重視レッスン］
楽曲重視レッスンは、運動よりも楽曲が重視される運動レッスンである。楽曲重視レッスンにおいても、利用者４１の身体を訓練することができる。しかしながら、利用者４１が運動を楽しむことの方が重視される。楽曲重視レッスンにおいては、楽曲のオリジナルのテンポに従って楽曲が出力される。楽曲重視レッスンの内容を決定する場合、例えば、運動動作よりも先に楽曲が選択される。例えば、利用者４１又は操作者４２が、所望する楽曲を選択する。そして、選択された楽曲の演奏パートごとに運動動作が選択される。例えば、利用者４１又は操作者４２が、所望する運動動作を選択する。楽曲重視レッスンでは、楽曲に適したテンポに従った再生速度でスピーカ６４により楽曲が出力される。楽曲に適したテンポは、例えば、楽曲のオリジナルのテンポである。また、楽曲に適したテンポに従った速度で運動動作を行うフィギュア８３の運動映像がディスプレイ６７に表示される。また、楽曲重視レッスンにおいては、楽曲の構成に従ったパートの順で、楽曲が出力される。例えば、イントロ、Ａメロ、Ｂメロ、サビ、Ａメロ、Ｂメロ、サビ、間奏、サビ、エンディング等の順で、楽曲が出力される。利用者４１は、楽曲に適したテンポで楽曲の構成に従って出力される楽曲を聴きながら運動を行うことで、楽曲を楽しむことができる。楽曲を楽しむことは、運動を楽しむことに繋がる。なお、イントロとエンディングは出力されなくてもよい。

楽曲重視レッスンにおいて選択可能な運動動作として、体操の動作と、楽曲に対応する踊りの動作とがある。踊りの動作は、楽曲に合わせて踊るために楽曲に対して振り付けられた動作である。例えば、楽曲のサビ部分では踊りの動作が選択され、サビ部分と異なる演奏パートでは、体操の動作が選択される。楽曲のサビ部分以外の演奏パートについても、踊りの動作が選択されても良い。楽曲に応じた踊りを踊ることにより、利用者４１は、運動を楽しむことができる。また、楽曲のサビ部分でサビ部分に対応する踊りを利用者４１が踊ることで、利用者４１の気分を盛り上げることができる。

楽曲重視レッスンにおいては、利用者４１は楽曲のオリジナルのテンポに従って運動を行う。楽曲のテンポが利用者４１に適していない場合、利用者４１は効果的な運動を行うことができない場合があるかもしれない。そのため、運動動作が対応付けられた演奏パートが出力されるとき、ディスプレイ６７には、身体にかかる負荷が互いに異なる運動動作を行う複数のフィギュア８３が表示されても良い。例えば、一般運動動作を行うフィギュア８３と、軽減運動動作を行うフィギュア８３とが表示される。一般運動動作と軽減運動動作とは、基本的な運動動作の内容は同じである。例えば、一般運動動作がサイドステップである場合、軽減運動動作もサイドステップである。一般運動動作は、所定の負荷が身体にかかる運動動作である。一般運動動作は、運動重視レッスンの場合にフィギュア８３が行う運動動作である。これに対し、軽減運動動作は、一般運動動作よりも身体にかかる負荷が小さい運動動作である。従って、軽減運動動作は一般運動動作よりも簡単な運動動作である。利用者４１は、複数のフィギュア８３のうち利用者４１の運動技能に適した運動動作を行うフィギュア８３を見ながら運動することにより、効果的な運動を行うことができる。なお、３体以上のフィギュア８３が表示されてもよい。また、一般運動動作を行うフィギュア８３と、一般運動動作よりも身体にかかる負荷が大きい運動動作を行うフィギュア８３とがディスプレイ６７に表示されてもよい。

楽曲重視レッスンにおいて、スピーカ６４により楽曲のサビ部分が出力されるとき、ディスプレイ６７には、例えば、同一の踊りの動作を行う複数のフィギュア８３が表示されても良い。楽曲の盛り上がる部分で同一の踊りの動作を行う複数のフィギュア８３が表示されるので、利用者４１の気分を盛り上げることができる。そのため、利用者４１は運動を楽しむことができる。楽曲のサビ部分が出力されるときに表示されるフィギュア８３の数は、サビ部分と異なる演奏パートが出力されるときに表示されるフィギュア８３の数より多くてもよい。これにより、サビ部分で利用者の気分をより盛り上げることができる。

［１−３．運動ナレーション、発声サジェスト音］
運動レッスンにおいては、楽曲とともに、運動を行う利用者４１をサポートするための音がスピーカ６４により出力される。利用者４１をサポートするための音として、運動ナレーションと発声サジェスト音とがある。運動ナレーションは、本発明の音声サポート情報の一例である。発声サジェスト音は、本発明の促し情報の一例である。運動ナレーションは、運動動作を支援する音声である。例えば、運動ナレーションは、運動動作を説明する音声であったり、利用者４１の運動を指導する音声であったりする。発声サジェスト音は、運動中の利用者４１に楽曲に合わせて発声することを促す音である。発声サジェスト音に促されて利用者４１が発声することにより、利用者４１は運動を楽しむことができる。その理由は、発声により、気分が高揚したり運動が活発になったりするからである。また、複数の利用者４１が同時に運動レッスンを行う場合には、複数の利用者４１が同じ音声を発することにより一体感が生まれる。一体感が生まれると、利用者４１の雰囲気が盛り上がる。

運動重視レッスンにおいては、運動動作の進行に従って運動ナレーションが出力される。基本的に発声サジェスト音は出力されない。その理由は、利用者４１の身体を訓練するためである。一方、楽曲重視レッスンにおいては、運動ナレーションが出力されることもある。しかしながら、楽曲重視レッスンにおいては、発声サジェスト音が運動ナレーションよりも優先して出力される。その理由は、利用者４１に運動を楽しませるためである。例えば、運動ナレーションの出力タイミングと発声サジェスト音の出力タイミングとが重なった場合、運動ナレーションは出力されず、発声サジェスト音のみが出力されても良い。また、発声サジェスト音の音量が運動ナレーションの音量よりも大きくなるように、出力端末５が音量を制御しても良い。

発声サジェスト音の種類として、掛け声サジェスト音声、歌唱サジェスト音声、盛り上げ音がある。掛け声サジェスト音声は、掛け声を促す音声である。掛け声サジェスト音声として、例えば、「イェイ」、「ハイ」等がある。楽曲のテンポに合わせてタイミングよく出力されることで、掛け声サジェスト音声は合いの手となる。掛け声サジェスト音声を聴いた利用者４１は、掛け声サジェスト音声に続けて、同じ掛け声を発声する。歌唱サジェスト音声は、出力されている楽曲の歌唱を促す音声である。歌唱サジェスト音声として、例えば、「さあ、歌いましょう」等がある。また、歌唱サジェスト音声として、楽曲の歌詞を歌う音声がある。掛け声サジェスト音声を聴いた利用者４１は、掛け声サジェスト音声に促されて歌唱したり、歌唱サジェスト音声と同じように歌唱したりする。歌唱することにより、利用者４１が運動動作のリズムを掴みやすくなる。盛り上げ音は、利用者４１の気分を高揚させるための音である。また、盛り上げ音は、歌唱している利用者４１に体して更に歌唱を促す音である。盛り上げ音として、例えば、拍手、手拍子、歓声等がある。手拍子は、合いの手として、楽曲のテンポに合わせて出力される。利用者４１が歌唱しているときに盛り上げ音を出力することにより、より大きな声で歌唱することを利用者４１に促すことができる。歌唱サジェスト音声及び盛り上げ音のそれぞれは、本発明の歌唱を促す促し情報の一例である。歌唱サジェスト音声や盛り上げ音が出力されるとき、ディスプレイ６７には、出力されている楽曲の歌詞のテロップが表示されてもよい。これにより、利用者４１に歌唱を更に促すことができる。

楽曲重視レッスンにおいて、運動ナレーション、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音の中から何れの音が出力されるかは、楽曲重視レッスン中における利用者４１の運動レベルに応じて決定される。運動レベルは、利用者４１の運動の活発さや激しさ等を示す。例えば、利用者４１の気分が高揚することによって運動が活発になる傾向がある。従って、発声により利用者４１の気分が高揚するほど運動レベルが高くなる。また、運動しているうちに利用者４１が運動動作に慣れてくることによって、運動が活発になる傾向がある。また、運動動作に慣れていけば、利用者４１に発声する余裕が生まれる。運動レベルとして、レベル１〜４が存在する。各運動レベルにおいて出力される音は以下の通りである。
・運動レベル１ 運動ナレーションのみ
・運動レベル２ 運動ナレーションと掛け声サジェスト音声
・運動レベル３ 運動ナレーションと歌唱サジェスト音声
・運動レベル４ 運動ナレーションと盛り上げ音
運動レベル１では、運動ナレーションのみが出力されるので、発声サジェスト音よりも運動ナレーションの方が優先して出力されることになる。運動レベル２〜４では、運動ナレーションよりも発声サジェスト音の方が優先して出力される。運動レベル３及び４では、発声サジェスト音が継続して出力されることがあるため、運動ナレーションが全く出力されないこともある。このように、運動レベルが所定レベル未満である場合、運動ナレーションの方が優先して出力され、運動レベルが所定レベル以上である場合、発声サジェスト音の方が優先して出力される。なお、運動レベルの数は４に限られるものではない。また、所定レベル未満の或る運動レベルにおいて、運動ナレーションと発声サジェスト音とが出力され、且つ、運動ナレーションの方が優先して出力されてもよい。また、運動レベル３が複数の運動レベルに分けられてもよい。例えば、演奏パートの全ての歌詞を歌唱する歌唱サジェスト音声が出力される運動レベルと、演奏パートの先頭の歌詞のみを歌唱する歌唱サジェスト音声が出力される運動レベルとが存在してもよい。また、運動レベル４が複数の運動レベルに分けられてもよい。例えば、拍手の盛り上げ音が出力される運動レベル、手拍子の盛り上げ音が出力される運動レベル、及び歓声の盛り上げ音が出力される運動レベルが存在してもよい。

本実施形態においては、出力端末５が、運動中の利用者４１の音声の検出を行う。利用者４１の音声を検出するため、所定の位置にマイク６８が配置される。利用者の音声の検出結果に基づいて、出力端末５は、運動レベルを判定する。スピーカ６４による発声サジェスト音の出力に応じて利用者４１が発声することは、利用者４１の運動動作が活発になることを示すと考えられるからである。

楽曲重視レッスンの開始時点において、出力端末５は、運動レベルが１であると判定する。その理由は、利用者４１がまだ運動動作を行っていないため、運動レベルが最も低いと考えられるからである。最も低い運動レベル１においては、運動ナレーションが優先して出力されるため、運動動作の習得を促進することができる。利用者４１が対象運動に慣れてくると、運動レベルが２に上昇する。運動レベルが１である段階では、出力端末５は利用者４１の音声を検出しない。この段階では、利用者が或る程度の運動動作を行ったとき、出力端末５は運動レベルが１から２に上昇したと判定する。例えば、出力端末５は、運動レッスンを構成する複数の運動動作のうち、１番目に行われる運動動作に対応付けられた演奏パートの演奏から、２番目に行われる運動動作に対応付けられた演奏パートの演奏に切り替わることを検出したタイミングで、運動レベルが２であると判定してもよい。運動レベルが２である段階では、歌唱サジェスト音声や盛り上げ音よりも短い発声を促す掛け声サジェスト音声が出力される。短い発声によって利用者４１の気分が或る程度高揚すると、運動動作が活発になるため、運動レベルが３に上昇する。出力端末５は、スピーカ６４により掛け声サジェスト音声を出力させた後、マイク６８に入力された音声信号に基づいて、利用者４１が発する音声の音量を検出する。そして、出力端末５は、音量が所定の閾値以上である場合、運動レベルが３であると判定する。運動レベルが３である段階では、歌唱サジェスト音声が出力される。歌唱によって利用者４１の気分が更に高揚して運動動作が活発になると、運動レベルが４に上昇する。出力端末５は、スピーカ６４により歌唱サジェスト音声を出力させた後、マイク６８に入力された音声信号に基づいて、利用者４１が発する音声の音量を検出する。そして、出力端末５は、音量が所定の閾値以上である場合、運動レベルが４であると判定する。運動レベルが４である段階では、拍手、手拍子、歓声等の歌唱サジェスト音声が出力される。この段階では、利用者４１の気分は相当に高揚していると考えられる。そのため、直接的に歌唱を促さなくとも、間接的に歌唱を促すことにより、利用者４１は歌唱を継続すると考えられる。歌唱サジェスト音声の出力が直接的な歌唱の促しであり、盛り上げ音の出力が間接的な歌唱の促しである。

［１−４．各装置の構成］
次に、図１及び図２を参照して、運動支援システムに含まれる各装置の構成について説明する。

［１−４−１．配信サーバ２の構成］
図１に示すように、配信サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、Ｉ／Ｏインタフェイス２５、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０及びＨＤＤ（ハードディスクドライブ）３７を備える。ＣＰＵ２１には、バス２４を介して、ＲＯＭ２２、ＲＡＭ２３、バス２４及びＩ／Ｏインタフェイス２５に接続されている。ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ３７に記憶されプログラムを実行することにより、配信サーバ２の各部を制御する。Ｉ／Ｏインタフェイス２５には、データベース３、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０、キーボード３１、マウス３２及びＨＤＤ３７が接続されている。ＣＰＵ２１は、Ｉ／Ｏインタフェイス２５を介してデータベース３にアクセスする。表示制御部２６は、ＣＰＵ２１の制御に基づいて映像信号をモニタ５７に出力する。ディスクドライブ２８は、記録媒体２９に対するデータの書き込み及び読み出しを行う。ネットワーク通信部３０は、配信サーバ２がネットワーク１０に接続するための制御を行う。ＨＤＤ３７には、ＯＳや各種制御プログラム等が記憶されている。

データベース３には、モーションデータ、楽曲データ、運動ナレーションデータ、発声サジェスト音データ等のデータが登録されている。モーションデータは、三次元仮想空間におけるフィギュア８３の運動動作を定義するデータである。モーションデータは、ディスプレイ６７にフィギュア８３の運動動作を表示させるためのデータである。モーションデータは、運動動作の進行に応じたフィギュア８３の身体の各部の座標を含む。モーションデータは、モーション情報と対応付けて登録される。モーション情報は、運動動作を示す識別情報である。モーション情報は、本発明の動作情報の一例である。体操の動作のモーションデータとして、一般運動動作用のモーションデータと、軽減運動動作用のモーションデータとがある。体操等の運動動作を示すモーション情報として、例えば、「ハーフ・スクワット」、「マーチ」等がある。踊りの動作を示すモーション情報として、例えば、「楽曲ＸのＡメロ」、「楽曲ＸのＢメロ」、「楽曲Ｘのサビ」、「楽曲ＹのＡメロ」等がある。踊りの動作のモーションデータは、楽曲の演奏パートごとに存在する。

楽曲データは、スピーカ６４により楽曲を出力するための演奏データである。楽曲データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであってもよい。楽曲データは、楽曲ＩＤ、楽曲名、アーティスト名、オリジナルのテンポ、楽曲の演奏パートの構成、歌詞等の情報を含む。楽曲ＩＤは、楽曲の識別情報である。また、楽曲データは、演奏パートの切り替わりのタイミング、歌詞テロップの表示タイミング、歌詞テロップの色を変化させるタイミング等を規定する。例えば、楽曲データがＭＩＤＩ形式のデータである場合、楽曲データには、実際の演奏データとしてのＭＩＤＩメッセージに加えて、メタメッセージを含めることができる。メタメッセージとしては、例えば、演奏パートを示すマーカーメッセージ、歌詞メッセージ等がある。そのため、演奏パートを識別するパートＩＤや歌詞をメッセージとして楽曲データに記述することが可能である。例えば、出力端末５には、後述のミュージックシーケンサがインストールされている。出力端末５は、ミュージックシーケンサを実行することにより、楽曲データを再生するとともに、楽曲データからメタメッセージ等を読み出すと、読み出したメッセージを出力する。例えば、マーカーメッセージが出力されるタイミングが、そのマーカーメッセージが示す演奏パートが開始されるタイミングとなる。本実施形態においては、マーカーメッセージを、演奏パート開始メッセージという。演奏パート開始メッセージは、演奏パートの演奏開始を通知するメッセージである。また、例えば、歌詞メッセージが出力されるタイミングが、歌詞の表示タイミングとなる。

運動ナレーションデータは、スピーカ６４により運動ナレーションを出力するための音声データである。運動ナレーションデータは、ＷＡＶ形式(RIFF Waveform Audio Format)のデータであってもよい。運動ナレーションデータは、運動動作ごとに登録される。運動ナレーションデータは、１つのモーション情報に対して、１つ以上登録される。運動動作中に出力される運動ナレーションの数に応じて、運動ナレーションデータの数が決まる。運動ナレーションデータは、ナレーションＩＤと、対応するモーション情報とを含む。ナレーションＩＤは、運動ナレーションを示す識別情報である。また、運動ナレーションデータは、出力タイミング情報を含む。出力タイミング情報は、運動動作が行われる間において、運動ナレーションが出力されるタイミングを示す。例えば、出力端末５は、ミュージックシーケンサを実行することにより、同期メッセージを所定時間間隔で発生させる。出力タイミング情報は、例えば、運動動作に対応付けられた演奏パートの再生が開始されてから運動ナレーションの出力タイミングとなるまでの、同期メッセージの出力回数であってもよい。

発声サジェスト音データは、スピーカ６４により発声サジェスト音を出力するための音声データである。発声サジェスト音データは、ＷＡＶ形式のデータであってもよい。楽曲の演奏パートごとに、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音のそれぞれの発声サジェスト音データが登録される。発声サジェスト音データは、サジェスト音ＩＤ、対応する楽曲の楽曲ＩＤ、パートＩＤ及び項目種別を含む。パートＩＤは、演奏パートを示す識別情報である。パートＩＤは、本発明の演奏パート情報の一例である。項目種別は、発声サジェスト音が、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音の何れであるかを示す情報である。また、発声サジェスト音データは、出力タイミング情報を含む。出力タイミング情報は、対応する楽曲の演奏パートが出力されている間において、発声サジェスト音が出力されるタイミングを示す。出力タイミング情報は、例えば、対応する演奏パートの再生が開始されてから発声サジェスト音の出力タイミングとなるまでの、同期メッセージの出力回数であってもよい。

［１−４−２．出力端末５の構成］
図１に示すように、出力端末５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、バス５４、Ｉ／Ｏインタフェイス５５、表示制御部５６、ディスクドライブ５８、ネットワーク通信部６０、音声出力部６３、信号受信部６５及びＨＤＤ７を備える。ＣＰＵ５１には、バス５４を介して、ＲＯＭ５２、ＲＡＭ５３、バス５４及びＩ／Ｏインタフェイス５５に接続されている。ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ７に記憶されプログラムを実行することにより、出力端末５の各部を制御する。Ｉ／Ｏインタフェイス５５には、ＨＤＤ７、表示制御部５６、音声出力部６３、ディスクドライブ５８、ネットワーク通信部６０、キーボード６１、マウス６２、マイク６８、信号受信部６５が接続されている。表示制御部５６は、ＣＰＵ５１の制御に基づいて映像信号をモニタ５７に出力する。音声出力部６３は、ＣＰＵ５１の制御に基づいて音声信号をモニタ５７に出力する。ディスクドライブ５８は、記録媒体５９に対するデータの書き込み及び読み出しを行う。信号受信部６５は、リモコン６６から出力される信号を受信する。リモコン６６は、操作者４２が出力端末５を操作するためのものである。操作者４２は、例えば、インストラクターである。

ＨＤＤ７には、配信サーバ２から配信されたモーションデータ、楽曲データ、運動ナレーションデータ、発声サジェスト音データ等が記憶される。また、ＨＤＤ７には、運動レッスン情報が記憶される。図２は、運動レッスン情報の構成例を示す図である。運動レッスン情報は、運動レッスンの構成を定めた情報である。出力端末５が運動レッスン情報を生成する。

図２（Ａ）は、運動重視レッスンの運動レッスン情報の構成例を示す図である。運動重視レッスンの運動レッスン情報は、１以上のモーション情報を含む。モーション情報は、運動動作が行われる順に並べられている。運動重視レッスンの運動レッスン情報は、同一のモーション情報を複数含んでいてもよい。また、運動レッスン情報においては、モーション情報と、運動テンポ、ナレーションＩＤ及び楽曲ＩＤとが、運動動作ごとに対応付けられている。モーション情報に対応付けられるナレーションＩＤは、モーション情報が示す運動動作を行うときに出力される運動ナレーションを示す。例えば、ハーフ・スクワットのモーション情報に対して、ハーフ・スクワット用の運動ナレーションのナレーションＩＤが対応付けられる。楽曲ＩＤは、楽曲を示す識別情報である。モーション情報に対応付けられる楽曲ＩＤは、モーション情報が示す運動動作を行うときに出力される楽曲を示す。上述したように、実際には、楽曲の一部の演奏パートのみが出力されても良い。なお、複数の運動動作に対して同一の楽曲が対応付けられてもよい。

ＣＰＵ５１は、運動重視レッスンが行われるとき、運動重視レッスンの運動レッスン情報から、モーション情報、運動テンポ、ナレーションＩＤ及び楽曲ＩＤを取得する。ＣＰＵ５１は、運動レッスン情報から取得した楽曲ＩＤに対応する楽曲データを取得する。そして、ＣＰＵ５１は、運動レッスン情報から取得した運動テンポに従って、楽曲データを再生する。また、ＣＰＵ５１は、運動レッスン情報から取得したモーション情報に対応するモーションデータに基づいて運動映像を生成し、生成した運動映像をディスプレイ６７に表示させる。また、ＣＰＵ５１は、運動レッスン情報から取得したナレーションＩＤに対応する運動ナレーションデータに基づいて、運動ナレーションをスピーカ６４により出力させる。

図２（Ｂ）は、楽曲重視レッスンの運動レッスン情報の構成例を示す図である。楽曲重視レッスンの運動レッスン情報は、１つの楽曲ＩＤを含む。この楽曲ＩＤは、楽曲重視レッスンが行われている間に出力される楽曲を示す。また、楽曲重視レッスンの運動レッスン情報は、複数のパートＩＤを含む。複数のパートＩＤは、楽曲ＩＤが示す楽曲の演奏パートの構成を示す。複数のパートＩＤは、演奏パートの演奏順に並べられている。また、楽曲重視レッスンの運動レッスン情報においては、パートＩＤと、モーション情報、ナレーションＩＤ、掛け声サジェスト音声のサジェスト音ＩＤ、歌唱サジェスト音声のサジェスト音ＩＤ及び盛り上げ音のサジェスト音ＩＤとが、演奏パートごとに対応付けられている。パートＩＤに対応付けられるモーション情報及びナレーションＩＤは、パートＩＤが示す演奏パートが出力されるときに行われる運動動作及びその運動動作に対応する運動ナレーションを示す。楽曲重視レッスンでは、基本的に、サビ部分に対しては、サビ部分の踊りの動作が対応付けられる。また、サビ部分と異なる演奏パートに対しては、体操の動作が対応付けられる。同一の演奏パートが２回以上演奏される場合があっても良い。この場合、同一の演奏パートのパートＩＤのそれぞれに対して、同一のモーション情報及びナレーションＩＤが対応付けられる。従って、同一の演奏パートでは同一の運動動作が行われる。なお、同一の演奏パートであっても、運動動作が異なってもよい。パートＩＤに対応付けられるサジェスト音ＩＤは、パートＩＤが示す演奏パートが出力されるときに出力される発声サジェスト音を示す。楽曲重視レッスンの運動レッスン情報は、本発明のレッスン情報の一例である。

ＣＰＵ５１は、楽曲重視レッスンが開始されると、楽曲重視レッスンの運動レッスン情報から楽曲ＩＤを取得する。ＣＰＵ５１は、運動レッスン情報から取得した楽曲ＩＤに対応する楽曲データを取得する。そして、ＣＰＵ５１は、楽曲データ内に設定されているオリジナルのテンポに従って、楽曲データを再生する。ＣＰＵ５１は、ミュージックシーケンサから演奏パート開始メッセージを受信すると、運動レッスン情報から、演奏パート開始メッセージに含まれるパートＩＤに対応するモーション情報、ナレーションＩＤ及びサジェスト音ＩＤを取得する。ＣＰＵ５１は、運動レッスン情報から取得したモーション情報に対応するモーションデータに基づいて運動映像を生成し、生成した運動映像をディスプレイ６７に表示させる。また、ＣＰＵ５１は、運動レッスン情報から取得したナレーションＩＤに対応する運動ナレーションデータに基づいて、運動ナレーションをスピーカ６４により出力させる。また、ＣＰＵ５１は、運動レッスン情報から取得したサジェスト音ＩＤに対応する発生サジェスト音データに基づいて、発生サジェスト音をスピーカ６４により出力させる。

運動重視レッスン及び楽曲重視レッスンに共通して、運動レッスン情報は、レッスンＩＤ、レッスン名、レッスン種別等を含む。レッスンＩＤは、運動レッスンの識別情報である。レッスン種別は、運動レッスンが運動重視レッスン及び楽曲重視レッスンの何れであるかを示す情報である。

ＨＤＤ７には、更に、ＯＳ、運動支援プログラム、３Ｄエンジン、ミュージックシーケンサ等の各種プログラム等が記憶されている。運動支援プログラムは、利用者４１の運動を支援するためのプログラムである。運動支援プログラムは、コンピュータとしてのＣＰＵ５１に、判定ステップ、第１制御ステップ及び第２制御ステップを少なくとも実行させる。３Ｄエンジンは、モーションデータに基づいて、三次元仮想空間で運動動作するフィギュア８３を二次元平面に投影した画像を生成するためのプログラムである。画像を生成する処理は、射影変換、クリッピング、隠面消去、シェーディング、テクスチャマッピング等を含む。ＣＰＵ５１は、３Ｄエンジンを実行して、静止画像を順次生成する。生成された静止画像をＣＰＵ５１が表示制御部５６へ順次出力することで、ディスプレイ６７には、運動映像が動画として表示される。

ミュージックシーケンサは、楽曲データを再生するためのプログラムである。ＣＰＵ５１は、ミュージックシーケンサを実行することにより、楽曲データに対応する音声信号を生成する。また、ＣＰＵ５１は、ミュージックシーケンサを実行することにより、各種のメッセージを発生させる。メッセージとして、例えば、テンポに応じて所定時間間隔で発生するメッセージがある。このメッセージは、ＭＩＤＩクロックや同期メッセージと呼ばれる。また、メッセージとして、例えば、演奏パート開始メッセージや歌詞メッセージがある。

各種プログラムは、例えば、配信サーバ２等のサーバからネットワーク１０を介してダウンロードされるようにしても良い。また、各種プログラムは、記録媒体５９に記録されてディスクドライブ５８を介して読み込まれるようにしても良い。なお、３Ｄエンジンやミュージックシーケンサは、プログラムではなく、専用のハードウェアであってもよい。そして、出力端末５は、ハードウェアとしての３Ｄエンジンやミュージックシーケンサを備えてもよい。

ＣＰＵ５１は、設定されたテンポに従って、楽曲データに対応する音声信号を音声出力部６３へ出力させるとともに、生成した画像に対応する映像信号を表示制御部５６から出力させる。ＣＰＵ５１は、同期メッセージに基づいて、楽曲の音声信号の出力タイミングと運動映像の映像信号の出力タイミングとを同期させる。これにより、スピーカ６４から出力される楽曲に同期して運動動作を行うフィギュア８３がディスプレイ６７に表示される。また、ＣＰＵ５１は、演奏パート開始メッセージに基づいて、楽曲の演奏パートの切り替わり及び演奏が開始される演奏パートを検出する。ＣＰＵ５１は、楽曲の演奏パートの切り替わりを検出することにより、運動動作の切り替わりも検出することができる。また、ＣＰＵ５１は、同期メッセージに基づいて、運動ナレーションや発声サジェスト音の出力タイミングを特定する。ＣＰＵ５１は、楽曲データの音声信号と、運動ナレーションや発声サジェスト音の音声信号とを混合させる。そして、ＣＰＵ５１は、混合した音声信号を音声出力部６３から出力させる。また、ＣＰＵ５１は、歌詞メッセージに基づいて、歌詞のテロップの表示タイミング、歌詞のテロップの色を変化させるタイミング等を特定する。そして、ＣＰＵ５１は、運動映像に歌詞のテロップが重畳された映像信号を表示制御部５６から出力させる。

［１−５．運動支援システム１の動作］
次に、図３及び図４を参照して、運動支援システム１の動作を説明する。図３は、出力端末５のＣＰＵ５１の運動レッスン情報生成処理である。操作者４２が、キーボード６１やマウス６２を操作して、運動レッスン情報の生成を選択する。すると、運動レッスン情報生成処理が開始される。

図３に示すように、ＣＰＵ５１は、運動レッスンの種類が、楽曲重視レッスンであるか否かを判定する（ステップＳ１）。例えば、操作者４２が、運動重視レッスンと楽曲重視レッスンとの中から運動レッスンの種類を選択する。ＣＰＵ５１は、操作者４２による選択に基づいて判定を行う。ＣＰＵ５１は、利用者により運動重視レッスンが選択されたと判定した場合には（ステップＳ１：ＮＯ）、ステップＳ２に進む。一方、ＣＰＵ５１は、利用者により楽曲重視レッスンが選択されたと判定した場合には（ステップＳ１：ＹＥＳ）、ステップＳ５に進む。

ステップＳ２において、ＣＰＵ５１は、運動動作の選択及び運動テンポの設定を検出する。例えば、ＣＰＵ５１は、ディスプレイ６７に体操の動作の一覧を表示させる。操作者４２は、一覧の中から所望の運動動作を選択する。また、操作者４２は、運動テンポを設定する。ＣＰＵ５１は、ＲＡＭ５３に、選択された運動動作のモーション情報と、設定された運動テンポとを対応付ける。

次いで、ＣＰＵ５１は、選択された運動動作に応じて楽曲を選択する（ステップＳ３）。例えば、ＣＰＵ５１は、運動動作に適した演奏方法に対応する楽曲を選択してもよい。運動動作に適した演奏方法に対応する楽曲の選択方法は、特開２０１１−４５４７７に開示されているので、詳細な説明は省略する。あるいは、ＣＰＵ５１は、例えば、楽曲のオリジナルのテンポが運動テンポと一致する楽曲、又は、楽曲のオリジナルのテンポが運動テンポと運動テンポとの差が所定値以下である楽曲を選択してもよい。ＣＰＵ５１は、選択された運動動作のモーション情報を配信サーバ２に送信してもよい。そして、配信サーバ２がモーション情報に基づいて楽曲を選択してもよい。あるいは、操作者４２が楽曲を選択してもよい。ＣＰＵ５１は、選択された楽曲の楽曲ＩＤを、選択された運動動作のモーション情報に対応付ける。

次いで、ＣＰＵ５１は、選択された運動動作に対応する運動ナレーションを選択する（ステップＳ４）。例えば、ＣＰＵ５１は、選択された運動動作のモーション情報を配信サーバ２に送信する。配信サーバ２は、受信したモーション情報を含む運動ナレーションデータをデータベース３から検索する。配信サーバ２は、検索された運動ナレーションデータのナレーションＩＤを出力端末５へ送信する。ＣＰＵ５１は、受信したナレーションＩＤを、選択された運動動作のモーション情報に対応付ける。

ＣＰＵ５１は、操作者４２が運動動作を選択するごとに、ステップＳ２〜Ｓ４を実行する。操作者４２が、選択の終了を指示すると、ＣＰＵ５１は、生成した運動レッスン情報をＨＤＤ７に記憶させる。そして、ＣＰＵ５１は、運動レッスン情報生成処理を終了させる。

ステップＳ５において、ＣＰＵ５１は、楽曲の選択を検出する。例えば、操作者４２は、キーワード等の検索条件を入力する。すると、ＣＰＵ５１は、検索条件に対応する楽曲を検索する。ＣＰＵ５１は、検索条件を配信サーバ２へ送信することにより、配信サーバ２に楽曲を検索させてもよい。ＣＰＵ５１は、検索された楽曲の一覧をディスプレイ６７に表示する。操作者４２は、一覧の中から所望の楽曲を選択する。ＣＰＵ５１は、ＲＡＭ５３に、選択された楽曲の楽曲ＩＤを記憶させる。また、ＣＰＵ５１は、選択された楽曲の演奏パートの構成に応じた複数のパートＩＤを演奏順にＲＡＭ５３に記憶させる。

次いで、ＣＰＵ５１は、楽曲を構成する複数の演奏パートの中に、運動動作が未割り当ての演奏パートがあるか否かを判定する（ステップＳ６）。このとき、ＣＰＵ５１は、運動動作が未割り当ての演奏パートがあると判定した場合には（ステップＳ６：ＹＥＳ）、ステップＳ７に進む。なお、ＣＰＵ５１は、一部の演奏パートに対しては、運動動作を割り当てないように制御しても良い。

ステップＳ７において、ＣＰＵ５１は、運動動作が未割り当ての演奏パートの中から、今回割り当てを行う演奏パートを選択する。ＣＰＵ５１が自動的に演奏パートを選択してもよいし、操作者４２が演奏パートを選択してもよい。

次いで、ＣＰＵ５１は、選択された演奏パートに割り当てる運動動作を選択する（ステップＳ８）。例えば、選択された演奏パートがサビ部分である場合、ＣＰＵ５１は、選択された演奏パートに対応する踊りの動作を選択する。選択された演奏パートがサビ部分と異なる演奏パートである場合、ＣＰＵ５１は、ディスプレイ６７に体操の動作の一覧を表示させる。操作者４２は、一覧の中から所望の運動動作を選択する。ＣＰＵ５１は、選択された運動動作のモーション情報を、選択された演奏パートのパートＩＤに対応付ける。

次いで、ＣＰＵ５１は、選択された運動動作に対応する運動ナレーションを選択する（ステップＳ９）。この処理は、ステップＳ４と同様である。ＣＰＵ５１は、選択された運動ナレーションのナレーションＩＤを、選択された運動動作のモーション情報に対応付ける。

次いで、ＣＰＵ５１は、選択された演奏パートに対して、未割り当ての発声サジェスト音の項目があるか否かを判定する（ステップＳ１０）。発声サジェスト音の項目は、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音である。このとき、ＣＰＵ５１は、未割り当ての項目があると判定した場合には（ステップＳ１０：ＹＥＳ）、ステップＳ１１に進む。一方、ＣＰＵ５１は、未割り当ての項目がないと判定した場合には（ステップＳ１０：ＮＯ）、ステップＳ６に進む。なお、ＣＰＵ５１は、一部の演奏パートに対しては、発声サジェスト音を割り当てないように制御しても良い。

ステップＳ１１において、ＣＰＵ５１は、未割り当ての項目のうち１つの項目について、発声サジェスト音を選択する。例えば、ＣＰＵ５１は、選択された楽曲の楽曲ＩＤ、演奏パートのパートＩＤ及び項目種別を配信サーバ２に送信する。配信サーバ２は、受信した楽曲ＩＤ、パートＩＤを及び項目種別を含む発声サジェスト音データをデータベース３から検索する。配信サーバ２は、検索された発声サジェスト音データのサジェスト音ＩＤを出力端末５へ送信する。ＣＰＵ５１は、受信したサジェスト音ＩＤを、選択された演奏パートのパートＩＤに対応付ける。次いで、ＣＰＵ５１は、ステップＳ１０に進む。ＣＰＵ５１は、ステップＳ１１を繰り返すことにより、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音の割り当てを行う。ただし、ＣＰＵ５１は、歌唱がない演奏パートに対しては歌唱サジェスト音声を割り当てなくても良い。

ステップＳ６において、ＣＰＵ５１は、運動動作が未割り当ての演奏パートがないと判定した場合には（ステップＳ６：ＮＯ）、生成した運動レッスン情報をＨＤＤ７に記憶させる。そして、ＣＰＵ５１は、運動レッスン情報生成処理を終了させる。

図４は、出力端末５のＣＰＵ５１の音声出力制御処理である。操作者４２が、キーボード６１やマウス６２を操作して、運動レッスンの実行を選択する。すると、ＣＰＵ５１は、ＨＤＤ７に記憶された運動レッスン情報に基づいて、運動レッスンの一覧をディスプレイ６７に表示させる。操作者４２が、一覧の中から所望の運動レッスンを選択する。すると、音声出力制御処理が開始される。

図４に示すように、ＣＰＵ５１は、選択された運動レッスンの種類が、楽曲重視レッスンであるか否かを判定する（ステップＳ２１）。具体的に、ＣＰＵ５１は、操作者４２により選択された運動レッスンに対応する運動レッスン情報に含まれるレッスン種別に基づいて、運動レッスンの種類が楽曲重視レッスンであるか否かを判定する。このとき、ＣＰＵ５１は、運動レッスンの種類が運動重視レッスンであると判定した場合には（ステップＳ２１：ＮＯ）、ステップＳ２２に進む。一方、ＣＰＵ５１は、運動レッスンの種類が楽曲重視レッスンであると判定した場合には（ステップＳ２１：ＹＥＳ）、ステップＳ２４に進む。

ステップＳ２２において、ＣＰＵ５１は、運動ナレーションをスピーカ６４により出力させる。具体的に、ＣＰＵ５１は、運動レッスン情報から、運動レッスンで行われる複数の運動動作のうち、１番目に行われる運動動作のモーション情報に対応するナレーションＩＤを取得する。ＣＰＵ５１は、取得したナレーションＩＤに対応する運動ナレーションデータに基づいて、運動ナレーションの音声信号を、ミュージックシーケンサから出力される同期メッセージに同期させて音声出力部６３に出力する。例えば、ＣＰＵ５１は、１つの演奏パートの再生処理が開始してから、同期メッセージがミュージックシーケンサから出力された回数をカウントする。ＣＰＵ５１は、運動ナレーションデータに含まれる出力タイミング情報が示す回数が、カウントした回数と一致したタイミングで、運動ナレーションの音声信号を音声出力部６３に出力する。

１つの楽曲の一部の演奏パートの繰り返し再生が完了すると、ＣＰＵ５１は、運動レッスンで再生されるべき全ての楽曲の再生が終了したか否かを判定する（ステップＳ２３）。例えば、ＣＰＵ５１は、ミュージックシーケンサにおける再生処理において、１つの楽曲の再生が完了すると、運動レッスン情報から、次の運動動作のモーション情報に対応する楽曲ＩＤを取得する。ＣＰＵ５１は、取得した楽曲ＩＤに対応する楽曲データに基づいて、楽曲の再生処理を行う。そして、ＣＰＵ５１は、運動レッスン情報に設定されている全ての楽曲ＩＤに対応する楽曲の再生処理が終了した場合に、全ての楽曲の再生が終了したと判定する。このとき、ＣＰＵ５１は、全ての楽曲の再生が終了していないと判定した場合には（ステップＳ２３：ＮＯ）、ステップＳ２２に進む。ステップＳ２２に進むと、ＣＰＵ５１は、次に行われる運動動作のモーション情報に対応するナレーションＩＤを取得する。そして、ＣＰＵ５１は、取得したナレーションＩＤに対応する運動ナレーションをスピーカ６４により出力させる。一方、ＣＰＵ５１は、全ての楽曲の再生が終了したと判定した場合には（ステップＳ２３：ＹＥＳ）、音声出力制御処理を終了させる。

選択された運動レッスンの種類が楽曲重視レッスンである場合、再生処理において、ＣＰＵ５１は、運動レッスン情報から楽曲ＩＤを取得する。そして、ＣＰＵ５１は、取得した楽曲ＩＤに対応する楽曲データに基づいて、楽曲の構成に従った再生処理を行う。

ステップＳ２４において、ＣＰＵ５１は、カウンターに０を設定する。ＣＰＵ５１は、カウンターをＲＡＭ５３に記憶させる。また、ＣＰＵ５１は、ミュージックシーケンサから出力される演奏パート開始メッセージに基づいて、演奏パートを特定する。また、ＣＰＵ５１は、運動レッスンが開始したばかりであるので、運動レベルは１であると判定する。

次いで、ＣＰＵ５１は、運動ナレーションをスピーカ６４により出力させる（ステップＳ２５）。具体的に、ＣＰＵ５１は、運動レッスン情報から、ステップＳ２４において特定された演奏パートのパートＩＤに対応する運動ナレーションデータを取得する。ＣＰＵ５１は、取得したナレーションＩＤに対応する運動ナレーションデータに基づいて、運動ナレーションの音声信号を同期メッセージに同期させて音声出力部６３に出力する。運動ナレーションの音声信号を同期メッセージに同期させる方法は、ステップＳ２２の場合と同様である。

次いで、楽曲が終了したか否かを判定する（ステップＳ２６）。例えば、楽曲データには、終了メッセージが記述されている。終了メッセージは、楽曲全体の演奏の終了を示すメッセージである。ＣＰＵ５１は、ミュージックシーケンサから終了メッセージを受信した場合に、楽曲が終了したと判定する。このとき、ＣＰＵ５１は、楽曲が終了していないと判定した場合には（ステップＳ２６：ＮＯ）、ステップＳ２７に進む。

ステップＳ２７において、ＣＰＵ５１は、運動動作が切り替わったか否かを判定する。楽曲重視レッスンでは、演奏パートの切り替わりが、運動動作の切り替わりである。ＣＰＵ５１は、ミュージックシーケンサから演奏パート開始メッセージを受信したとき、運動動作が切り替わったと判定する。このとき、ＣＰＵ５１は、運動動作が切り替わっていないと判定した場合には（ステップＳ２７：ＮＯ）、ステップＳ２５に進む。一方、ＣＰＵ５１は、運動動作が切り替わったと判定した場合には（ステップＳ２７：ＹＥＳ）、ステップＳ２８に進む。この場合、１つの運動動作が終わったため、ＣＰＵ５１は、運動レベルが２に上昇したと判定する。

ステップＳ２８において、ＣＰＵ５１は、掛け声サジェスト音声をスピーカ６４により出力させる。具体的に、ＣＰＵ５１は、運動レッスン情報から、切り替わった演奏パートのパートＩＤに対応する掛け声サジェストのサジェスト音声ＩＤを取得する。ＣＰＵ５１は、取得したサジェスト音声ＩＤに対応する発声サジェスト音声データに基づいて、掛け声サジェスト音声を同期メッセージに同期させて音声出力部６３に出力する。

次いで、ＣＰＵ５１は、利用者４１の音声を検出したか否かを判定する（ステップＳ２９）。マイク６８から集音された音声は、音声信号としてＣＰＵ５１に供給される。ＣＰＵ５１は、音声信号に基づいて、利用者４１が発した音声の音量が所定の閾値以上であるか否かを判定する。音量が閾値以上である場合、ＣＰＵ５１は、利用者４１の音声を検出したと判定する（ステップＳ２９：ＹＥＳ）。この場合、ＣＰＵ５１は、ステップＳ３０に進む。一方、ＣＰＵ５１は、利用者４１の音声を検出していないと判定した場合には（ステップＳ２９：ＮＯ）、ステップＳ２５に進む。

ステップＳ３０において、ＣＰＵ５１は、カウンターに１を加算する。次いで、ＣＰＵ５１は、カウンターが所定値以上であるか否かを判定する（ステップＳ３１）。このとき、ＣＰＵ５１は、カウンターが所定値以上ではないと判定した場合には（ステップＳ３１：ＮＯ）、ステップＳ２５に進む。一方、ＣＰＵ５１は、カウンターが所定値以上であると判定した場合には（ステップＳ３１：ＹＥＳ）、ステップＳ３２に進む。このとき、ＣＰＵ５１は、運動レベルは３であると判定する。つまり、掛け声サジェスト音声に応じた掛け声の発生を利用者４１が所定回数行うと、運動レベルは３に上昇したと判定される。

運動レベルが３又は４である場合、音声出力制御処理と並行する運動映像の出力処理において、ＣＰＵ５１は、現在の演奏パートに対応する歌詞のテロップをディスプレイ６７に表示させる。

ステップＳ３２において、ＣＰＵ５１は、歌唱サジェスト音声をスピーカ６４により出力させる。具体的に、ＣＰＵ５１は、運動レッスン情報から、現在の演奏パートのパートＩＤに対応する歌唱サジェスト音声のサジェスト音声ＩＤを取得する。ＣＰＵ５１は、取得したサジェスト音声ＩＤに対応する発声サジェスト音声データに基づいて、歌唱サジェスト音声を同期メッセージに同期させて音声出力部６３に出力する（ステップＳ３２）。

次いで、ＣＰＵ５１は、利用者４１の音声を検出したか否かを判定する（ステップＳ３３）。この判定の方法は、ステップＳ２９の場合と同様である。このとき、ＣＰＵ５１は、利用者４１の音声を検出していないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３２に進む。一方、ＣＰＵ５１は、利用者４１の音声を検出したと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３４に進む。このとき、ＣＰＵ５１は、運動レベルは４であると判定する。つまり、出力された歌唱サジェスト音声に応じて利用者４１が歌唱したため、運動レベルは４に上昇したと判定される。

次いで、ＣＰＵ５１は、楽曲が終了したか否かを判定する（ステップＳ３４）。このとき、ＣＰＵ５１は、楽曲が終了していないと判定した場合には（ステップＳ３４：ＮＯ）、ステップＳ３５に進む。

ステップＳ３５において、ＣＰＵ５１は、盛り上げ音をスピーカ６４により出力させる。具体的に、ＣＰＵ５１は、運動レッスン情報から、現在の演奏パートのパートＩＤに対応する盛り上げ音のサジェスト音声ＩＤを取得する。ＣＰＵ５１は、取得したサジェスト音声ＩＤに対応する発声サジェスト音声データに基づいて、盛り上げ音を同期メッセージに同期させて音声出力部６３に出力する。

次いで、ＣＰＵ５１は、利用者４１の音声を検出したか否かを判定する（ステップＳ３６）。この判定の方法は、ステップＳ２９の場合と同様である。このとき、ＣＰＵ５１は、利用者４１の音声を検出していないと判定した場合には（ステップＳ３６：ＮＯ）、ステップＳ３２に進む。このとき、ＣＰＵ５１は、運動レベルは３であると判定する。つまり、出力された盛り上げ音声に応じて利用者４１が歌唱していないため、運動レベルは３に下降したと判定される。一方、ＣＰＵ５１は、利用者４１の音声を検出したと判定した場合には（ステップＳ３６：ＹＥＳ）、ステップＳ３５に進む。つまり、出力された盛り上げ音声に応じて利用者４１が歌唱したため、運動レベルは４と判定される。

ステップＳ２６又はステップＳ３４において、ＣＰＵ５１は、楽曲が終了したと判定した場合には（ステップＳ２６：ＹＥＳ、ステップＳ３４：ＹＥＳ）、音声出力制御処理を終了させる。

以上説明したように、本実施形態によれば、ＣＰＵ５１が、運動レッスンが運動重視レッスンと楽曲重視レッスンの何れであるかを判定する。ＣＰＵ５１が、運動レッスンが運動重視レッスンであると判定した場合、運動動作の進行に応じて運動ナレーションをスピーカ６４により出力させる。ＣＰＵ５１が、運動レッスンが楽曲重視レッスンであると判定した場合、発声サジェスト音を運動ナレーションよりも優先して、スピーカ６４により出力させる。そのため、運動重視レッスンであるか、楽曲重視レッスンであるかに応じて、利用者４１を支援する音を適切に決定することができる。

［２．第２実施形態］
次に、図５を参照して、第２実施形態について説明する。第１実施形態においては、利用者の音声の検出結果に基づいて、出力端末５は、運動レベルを判定していた。第２実施形態においては、出力端末５が、演奏パートの出力回数に基づいて運動レベルを判定する。演奏パートの出力回数は、演奏回数又は繰り返し数でもある。

１つの楽曲の中に同一の演奏パートが複数回現れる場合がある。同一の演奏パートが複数回現れることは、図２（Ｂ）に示すように、同一の運動動作が複数回行われることである。同一の運動動作を繰り返し行うほど、利用者４１は、その運動動作に慣れてくる。そのため、利用者４１の運動レベルは次第に上昇する。そこで、出力端末５は、各演奏パートについて、繰り返し出力されるほど、運動レベルを高く判定する。各演奏パートにおいて、運動レベルの初期値及び運動レベルの上昇幅は任意である。

図５は、運動レベルの割り当ての例を示す図である。図５の例では、運動レベルの初期値は１である。また、演奏パートが一回出力されるごとに、運動レベルが１上昇する。サビ部分については、最後のサビ部分が出力されるときに運動レベルが最大値になるように、運動レベルの初期値が調整される。その理由は、楽曲の最も盛り上がる部分で、利用者４１を盛り上げるためである。この場合、出力端末５は、サビ部分で最低でも１回は、歌唱を促す発声サジェスト音である盛り上げ音を、運動ナレーションよりも優先して出力させることになる。

例えば、図５に示すように、Ａメロ、Ｂメロ、サビ、Ａメロ、Ｂメロ、サビ、間奏、サビの順で楽曲が出力されるとする。この場合、最初のＡメロ部分及びＢメロ部分の運動レベルはそれぞれ１である。最初のサビ部分の運動レベルは２である。２回目のＡメロ部分及びＢメロ部分の運動レベルはそれぞれ２である。２回目のサビ部分の運動レベルは３である。間奏部分の運動レベルは１である。最後のサビ部分の運動レベルは４である。

出力端末５のＣＰＵ５１の音声出力制御処理を説明する。利用者４１が選択した運動レッスンの種類が楽曲重視レッスンである場合、ＣＰＵ５１は、各演奏パートの運動レベルを０に設定する。また、ＣＰＵ５１は、楽曲データに基づいて、サビ部分の出力回数をカウントする。サビ部分の出力回数が３未満である場合、ＣＰＵ５１は、４からサビ部分の出力回数を引いて得られる値を、サビ部分の運動レベルとして設定する。楽曲の再生処理が開始されると、ＣＰＵ５１は、ミュージックシーケンサから出力される演奏パート開始メッセージに基づいて、演奏パートの切り替わり及び切り替わった演奏パートを特定する。ＣＰＵ５１は、演奏パート開始メッセージを受信したとき、特定した演奏パートの運動レベルに１を加算する。そして、ＣＰＵ５１は、運動レベルの判定を行う。ＣＰＵ５１は、判定した運動レベルに基づいて、運動ナレーションと発声サジェスト音の何れを優先して出力させるかを決定する。また、運動レベルが２以上である場合、ＣＰＵ５１は、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音の何れを出力させるかを決定する。そして、ＣＰＵ５１は、運動レベルに対応した音をスピーカ６４により出力させる。ＣＰＵ５１は、楽曲が終了するまで、運動レベルのカウント及び判定、並びに運動レベルに応じた音の出力制御を繰り返す。

なお、出力端末５は、運動レベルの判定を行わなくてもよい。例えば、演奏パートごとに、運動ナレーションと発声サジェスト音の何れを優先して出力させるかが予め定められてもよい。また、例えば、演奏パートごとに、掛け声サジェスト音声、歌唱サジェスト音声及び盛り上げ音の何れを出力させるかが予め定められてもよい。この場合、サビ部分については、歌唱サジェスト音声及び盛り上げ音のうち少なくとも何れか一方が、運動ナレーションよりも優先して出力されるように定められてもよい。

上記各実施形態においては、本発明の情報処理装置が出力端末５に適用されていた。しかしながら、本発明の情報処理装置が配信サーバ２に適用されてもよい。例えば、運動レッスン情報が生成されたときに、配信サーバ２は、運動レッスン情報に基づいて、運動映像の動画データを予め生成してもよい。運動レッスンが行われるとき、配信サーバ２は、運動ナレーションデータ、発声サジェスト音データ及び生成した動画データをストリーミング方式で出力端末５に送信する。これにより、配信サーバ２は、出力端末５に運動映像を表示させ、運動ナレーションや発声サジェスト音を出力させる。

１ 運動支援システム
２ 配信サーバ
３ データベース
５ 出力端末
７ ＨＤＤ
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５６ 表示制御部
６０ ネットワーク通信部
６３ 音声出力部
６８ マイク
５７ モニタ
６４ スピーカ
６７ ディスプレイ

Claims (7)

1. 運動動作を示す動作情報と運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段と、
   楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、
   前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて前記音声サポート情報を所定の音声出力手段により出力させる第１制御手段と、
   前記判定手段により前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第２制御手段は、楽曲を構成する演奏パートの中でサビ部分が出力されるときに前記サビ部分の歌唱を促す前記促し情報を前記音声サポート情報よりも優先して前記音声出力手段により出力させることを特徴とする請求項１に記載の情報処理装置。
3. 前記演奏パートを識別する演奏パート情報と、前記演奏パートが出力されるときに行われる運動動作を示す前記動作情報とを対応付けたレッスン情報であって、前記サビ部分を示す前記演奏パート情報に対応付けて、楽曲に応じた踊りの動作を示す前記動作情報を含み、前記サビ部分とは異なる演奏パートを示す前記演奏パート情報に対応付けて、体操の動作を示す前記動作情報を含むレッスン情報を生成する生成手段を更に備え、
   前記第２制御手段は、前記生成手段により生成された前記レッスン情報に基づいて、前記サビ部分が出力されるとき、前記促し情報を前記音声出力手段により出力させ、前記サビ部分とは異なる演奏パートが出力されるとき、前記音声サポート情報を前記音声サポート情報よりも優先して前記音声出力手段により出力させることを特徴とする請求項２に記載の情報処理装置。
4. 前記判定手段は、前記運動レッスンが、運動が動作されるテンポに従って楽曲が出力される前記第１運動レッスンと、楽曲のオリジナルのテンポに従って前記楽曲が出力される前記第２運動レッスンとの何れであるかを判定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記第２運動レッスンにおけるユーザの運動レベルが所定レベルよりも高いかを所定のタイミングで判定する第２判定手段を更に備え、
   前記第２制御手段は、前記第２判定手段により前記運動レベルが前記所定レベルよりも高いとは判定されなかったとき、前記音声サポート情報を前記促し情報よりも優先して出力させ、前記第２判定手段により前記運動レベルが前記所定レベルよりも高いと判定されたとき、前記促し情報を前記音声サポート情報よりも優先して出力させることを特徴とする１乃至４の何れか１項に記載の情報処理装置。
6. 情報処理装置により実行される情報処理方法であって、
   楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、
   前記判定ステップにより前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて、前記運動動作を示す動作情報と前記運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段に記憶された前記音声サポート情報を所定の音声出力手段により出力させる第１制御ステップと、
   前記判定ステップにより前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御ステップと、
   を含むことを特徴とする情報処理方法。
7. 情報処理装置に含まれるコンピュータに、
   楽曲の出力に応じて１つ以上の運動動作が行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、
   前記判定ステップにより前記運動レッスンが前記第１運動レッスンであると判定された場合、前記運動動作の進行に応じて、前記運動動作を示す動作情報と前記運動動作を音声によりサポートする音声サポート情報とを対応付けて記憶する記憶手段に記憶された前記音声サポート情報を所定の音声出力手段により出力させる第１制御ステップと、
   前記判定ステップにより前記運動レッスンが前記第２運動レッスンであると判定された場合、楽曲に合わせて発声することを促す促し情報を、前記音声サポート情報よりも優先して前記音声出力手段により出力させる第２制御ステップと、
   を実行させることを特徴とするプログラム。

Images