JP2004127019A - 情報処理装置および画像表示制御方法と画像表示制御プログラム - Google Patents

Abstract

【課題】音楽情報に基づいてエンターテイメント性や視覚的効果の高い表示を行う。
【解決手段】音楽情報である例えばＭＩＤＩ規格の演奏データをＳＴ２１で読み込み、ＳＴ２３，２４によって拍子を検出する。ＳＴ２５では、小節毎に曲の分割を行う。ＳＴ２６では、小節毎のＭＩＤＩイベントのノート情報および／またはメタ・イベントの情報を用いて曲調の変化する区切りおよび／または曲の盛り上がり位置が検出する。ＳＴ２７，２８では、曲のテンポを示す情報を取得する。ＳＴ２９では、ＳＴ２６の検出結果等に基づいて画像動き情報を選択する。ＳＴ３０では、選択された画像動き情報を音楽情報の再生に応じて画像処理部に供給して画像信号の生成を行い、曲に合わせて動きを生じた画像を表示する。
【選択図】　　　　図４

Description

【０００１】
【発明の属する技術分野】
この発明は、情報処理装置および画像表示制御方法と画像表示制御プログラムに関する。詳しくは、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出するとともに、検出結果に基づいて画像動き情報の選択を行い、この選択された画像動き情報を音楽情報の再生に応じて用いることで、表示する画像の動きを音楽情報の再生に応じて制御するものである。
【０００２】
【従来の技術】
情報処理装置の小型軽量化や高性能化に伴い、携行可能な情報処理装置が広く普及しており、この情報処理装置で種々のサービスが行われている。例えば携行可能な情報処理装置である携帯電話等に音楽情報を配信するサービスが行われている。このサービスを利用すると、所望の音楽情報をダウンロードすることで、着信時の呼び出し音をダウンロードした音楽情報に基づく楽曲音に設定することができる。また、音楽情報の配信では、通常の音楽データ（ストリーミングデータ）に比べてデータ量が非常に少ないＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔｓ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）規格の演奏データのファイル、例えば米国Ｏｐｃｏｄｅ　Ｓｙｓｔｅｍｓ社から提案されたＳＭＦ（Ｓｔａｎｄａｒｄ　ＭＩＤＩ　Ｆｉｌｅ）、ヤマハ社から提案されたＳＭＡＦ（Ｓｙｎｔｈｅｔｉｃ　ｍｕｓｉｃ　Ｍｏｂｉｌｅ　Ａｐｐｌｉｃａｔｉｏｎ　Ｆｏｒｍａｔ）、音楽電子事業協会から提案されたＧｅｎｅｒａｌ　ＭＩＤＩ　Ｌｉｔｅ、コンパクトＭＩＤＩ等のファイルを配信することが行われている。
【０００３】
さらに、このような演奏データの再生時には、キャラクタ表示が行われる。例えば特許文献１では、キャラクタに予め得意なリズム成分を割り当てるとともに固有の姿勢表現能力を対応付けておき、楽曲データからリズムを刻んでいる周波数帯を特定して、音圧データにおける変化からリズム成分を推定して、このリズム成分に応じて姿勢表現能力を累積的に変化させることで、キャラクタの表示姿態を変化させることが示されている。また、特許文献２では、サウンドデータの波形データを解析して音量レベルや周波数レベルを算出して、この音量レベルや周波数レベルに基づき振り付けデータやフォーメーションなどのダンスアニメーションに使用する動き情報を変更することで、再生する信号毎に異なった動きのアニメーション表示を行うことが示されている。さらに特許文献３では、音楽のテンポを示すＢＰＭに応じてアニメーション動作の速度を制御することで、それぞれの音楽に合った動作速度のアニメーションを用意することなく、リズム感のある画像表示を行うことが示されている。
【０００４】
【特許文献１】
特許第３０６６５２８号公報
【特許文献２】
特開２００１−１１８０８４号公報
【特許文献３】
特開２００１−２６９４８３号公報
【０００５】
【発明が解決しようとする課題】
ところで、音楽情報に基づいて楽曲の再生を行うものとした場合、単にリズム成分や音量レベル、周波数レベル、テンポを示すＢＰＭに基づいてキャラクタの動きを制御するものでは、動きの変化が単調となってしまうおそれがあり、音楽情報に応じたエンターテイメント性や視覚的効果の高い表示を行うことができない。
【０００６】
すなわち、楽曲では曲調の変化点が複数設けられて、例えば曲の開始を示す「イントロ」、メロディ全体の出だしである「Ａメロ」、最も重要な部分である「サビ」、「Ａメロ」と「サビ」を結ぶ役目をもった「Ｂメロ」、曲の終わりを示す「エンディング」等の部分を組み合わせることで構成されている。このため、楽曲に応じて動きを変化させるだけでなく、キャラクタの動きが楽曲の構成にも対応するものでなければ、エンターテイメント性や視覚的効果を高めることができない。
【０００７】
そこで、この発明では、音楽情報に基づいて、音楽情報に応じたエンターテイメント性や視覚的効果の高い表示を行うことができる情報処理装置および画像表示制御方法と画像表示制御プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る情報処理装置は、画像動き情報を蓄積する情報蓄積手段と、画像表示を行う表示手段と、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出するとともに、検出結果に基づいて前記画像動き情報の選択を行い、該選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記表示手段に前記音楽情報の再生に応じた動画像を表示させる制御手段とを有するものである。
【０００９】
また、画像表示制御方法は、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出するとともに、検出結果に基づいて画像動き情報の選択を行い、該選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記音楽情報の再生に応じた動画像表示を行うものである。
【００１０】
また画像表示制御プログラムは、コンピュータに、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する手順と、前記検出の結果に基づいて画像動き情報の選択を行う手順と、前記選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記音楽情報の再生に応じた動画像表示を行う手順とを実行させるものである。
【００１１】
この発明においては、音楽情報である例えばＭＩＤＩ規格の演奏データから拍子を検出して小節毎に曲の分割を行い、小節毎のＭＩＤＩイベントのノート情報および／またはメタ・イベントの情報を用いて曲調の変化する区切りおよび／または曲の盛り上がり位置が検出される。さらに、この検出結果に基づいて画像動き情報の選択が行われて、選択された画像動き情報が音楽情報の再生に応じて用いられて音楽情報の再生に応じた動画像表示が行われる。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は情報処理装置の構成、例えば情報処理装置が携帯電話である場合の構成を示している。
【００１３】
アンテナ１１で得られた受信信号Ｓａは、ＲＦトランシーバー部１２に供給される。ＲＦトランシーバー部１２では、局部発振周波数の信号を用いたダウンコンバート処理や、フィルタを用いたイメージ信号成分の除去および所望のチャネル周波数の信号選択等を行い、受信信号Ｓａから所望のチャネルの中間周波信号を生成する。さらに、生成した中間周波信号の復調処理を行い、ベースバンドの復調信号Ｓｂを生成してベースバンド信号処理部１３に供給する。また、ベースバンド信号処理部１３から供給された送信情報信号Ｔａの変調処理を行い変調信号を生成する。さらに、局部発振周波数の信号を用いて変調信号のアップコンバート処理を行い、送信信号Ｔｂを生成してアンテナ１１に供給することにより、送信情報信号Ｔａの送信を行う。
【００１４】
ベースバンド信号処理部１３では、復調信号Ｓｂが音声の情報を示す信号であるとき、この復調信号Ｓｂに基づき音声信号ＳＡｏｕｔを生成してスピーカ１４に供給する。復調信号Ｓｂが例えば文字情報や画像情報、音楽情報等であるときには、復調信号Ｓｂに基づいて生成した情報信号Ｄａを情報蓄積部１７あるいは制御部２０にバス３０を介して供給する。また、ベースバンド信号処理部１３では、マイクロホン１５からのマイク信号ＳＡｍｉｃあるいは制御部２０から供給された情報信号Ｄｂに基づき送信情報信号Ｔａを生成してＲＦトランシーバー部１２に供給する。さらに、ベースバンド信号処理部１３では、制御部２０から楽曲等の音楽データＤＳが供給されたとき、この音楽データＤＳに基づき音声信号ＳＡｏｕｔを生成してスピーカ１４に供給する。
【００１５】
情報蓄積部１７は、不揮発性メモリ等を用いて構成されており、ベースバンド信号処理部１３から供給された情報信号Ｄａを記憶することで、図２に示すように、文字情報や音楽情報、動画像表示を行うための画像動き情報、およびユーザ情報（例えば電話番号情報）等が蓄積情報として蓄積される。
【００１６】
制御部２０では、各種のアプリケーションを実行するための制御を行う。図３は制御部２０の構成を示している。制御部２０のバスインタフェース２０１は、バス３０と制御部２０内のバス２０９とを接続するためのインタフェースである。バス２０９には、メロディ発生部２０２や画像処理部２０３、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０６、メモリ２０７が接続されている。
【００１７】
メロディ発生部２０２では、情報蓄積部１７に蓄積されている音楽情報あるいはベースバンド信号処理部１３から供給された音楽情報の情報信号Ｄａに基づいて音楽データＤＳを生成して、この生成した音楽データＤＳをベースバンド信号処理部１３に供給する。このように音楽データＤＳをベースバンド信号処理部１３に供給することで、スピーカ１４から所望のメロディを出力させることができる。また、着信時に所望の楽曲の音楽データＤＳをベースバンド信号処理部１３に供給するように後述するＣＰＵ２０６で制御すれば、着信音を所望のメロディに設定できる。さらに、情報蓄積部１７に蓄積されている音楽情報から所望の音楽情報を読み出してメロディ発生部２０２に供給することで、カラオケ等の機能を実現できる。
【００１８】
画像処理部２０３には、フレーム／テクスチャメモリ２０４が接続されており、このフレーム／テクスチャメモリ２０４を使用するとともにＣＰＵ２０６によって情報蓄積部１７から読み出された画像動き情報ＪＧを用いて画像信号ＧＳを生成する。あるいはベースバンド信号処理部１３から供給された情報信号Ｄａに基づいて画像信号ＧＳを生成する。この生成した画像信号ＧＳは、表示ドライバ２０５に供給される。
【００１９】
例えば、情報蓄積部１７には、動画像を表示するための画像動き情報として、図２に示すように、画像を形成するための画像情報例えば画像の骨格を示す情報（フレームデータ）と骨格に貼り付けるテクスチャの情報（テクスチャデータ）と、画像を動かすための動き情報例えば骨格を移動させる動き情報（モーションデータ）を蓄積させる。このように、フレームデータやテクスチャデータおよびモーションデータを蓄積するものすれば、動画像の画像信号を動き毎に蓄積する場合に比べて、データ量を少なくできる。また、少ないデータ量で種々の動きの画像信号を生成できる。また、フレームデータやテクスチャデータ、モーションデータをキャラクタ毎に設けるものとしたり、フレームデータやモーションデータを異なるキャラクタで共用する等の処理を行うことで、種々のキャラクタを表示することができる。なお、情報蓄積部１７の容量が大きければ、動き毎の画像信号を画像動き情報として蓄積するものとしても良い。
【００２０】
ここで、画像処理部２０３では、ＣＰＵ２０６によって情報蓄積部１７から読み出したフレームデータをフレーム／テクスチャメモリ２０４に記憶させたのち、読み出したテクスチャのデータを対応するフレームデータの位置に書き込むことで画像信号ＧＳを生成する。また、読み出したモーションデータに応じて骨格を移動させるとともに、例えばベジェ曲線を利用したモーフィングを行うことで、画像の動きを連続的に表現した画像信号ＧＳを生成する。このように、ベジェ曲線を利用したモーフィングを行うことで、画像の動きを連続的に表現した画像信号ＧＳを簡単構成で容易に生成することができる。このようにして生成された画像信号ＧＳは、表示ドライバ２０５に供給される。
【００２１】
さらに、画像処理部２０３では、情報蓄積部１７に蓄積されている文字情報に基づいて画像信号ＧＳを生成して表示ドライバ２０５に供給する。
【００２２】
表示ドライバ２０５には、表示部２２が接続されている。表示ドライバ２０５では、画像処理部２０３から供給された画像信号ＧＳに基づいて表示部２２に対応した表示駆動信号ＧＤを生成する。この生成した表示駆動信号ＧＤを表示部２２に供給することで、表示部２２には動画像や文字情報等が表示される。
【００２３】
ＣＰＵ２０６は、メモリ２０７に記憶されているプログラムを実行して、ＣＰＵ２０６に接続されているユーザインタフェース２３から供給された操作信号ＰＳに基づき制御信号ＣＴを生成する。さらに、この制御信号ＣＴを情報処理装置や制御部２０の各部に供給して、情報処理装置の動作が所望の動作となるように制御する。例えば、情報蓄積部１７に蓄積されている音楽情報の再生操作が行われたときには、再生する曲の音楽情報を読み出してメロディ発生部２０２に供給する。このとき、音楽情報に基づいて生成された音楽データＤＳがベースバンド信号処理部１３に供給されてスピーカ１４から選択した音楽情報に基づいたメロディが出力される。また、情報蓄積部１７に蓄積されている文字情報の表示操作が行われたときには、表示する文字情報を読み出して画像処理部２０３に供給する。このとき、画像処理部２０３では上述したように文字情報に基づいて画像信号ＧＳを生成して表示ドライバ２０５に供給することから、表示部２２には選択した文字情報が表示される。
【００２４】
また、ＣＰＵ２０６では、情報蓄積部１７に蓄積されている音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出して、検出結果に基づき画像動き情報の選択を行う。その後、この音楽情報が再生されたときには、選択した画像動き情報を音楽情報の再生に応じて情報蓄積部１７から読み出して画像処理部２０３に供給することで、音楽情報の再生に応じた動画像を表示部２２に表示させる。例えば、曲に合わせて踊るキャラクタの表示を行う。
【００２５】
図１の表示部２２は、液晶表示素子等を用いて構成されており、文字情報例えばメール等の表示、音楽情報の再生時には、音楽に合わせて動作する例えばキャラクタの画像等を表示する。また、ユーザインタフェース２３は、例えばキー釦やジョグダイヤルあるいはタッチパネル等で構成されており、ユーザ操作に応じた操作信号ＰＳを制御部２０のＣＰＵ２０６に供給する。さらに、バス３０には外部機器と接続するための外部インタフェース２４が接続されており、この外部インタフェース２４を介して他の機器と有線であるいは無線で情報の交換等を行うことが出来るようになされている。なお、情報処理装置には、種々のデータを一時記憶するためのメモリ等（図示せず）も設けられる。
【００２６】
図４は、情報処理装置の動作の一形態を示すフローチャートである。ステップＳＴ１では、アプリケーションの選択を行い、ステップＳＴ２では、選択されたアプリケーションが音楽情報の再生に合わせて画像を動作させるアプリケーションであるか否かを判別する。ここで、音楽情報の再生に合わせて画像を動作させるアプリケーションが選択されたときにはステップＳＴ３に進む。また、音楽情報の再生に合わせて画像を動作させるアプリケーションが選択されていないときにはステップＳＴ１２に進む。
【００２７】
ステップＳＴ３では、表示する画像の選択を行い、ステップＳＴ４では、選択された画像の画像情報が情報蓄積部１７に蓄積されているか否かを判別する。ここで、選択された画像の画像情報を蓄積しているときにはステップＳＴ６に進む。また、蓄積していないときにはステップＳＴ５に進み、選択された画像の画像情報を入手してステップＳＴ６に進む。この画像情報の入手では、例えばＲＦトランシーバー部１２を介して、画像情報を有する情報配信用のサーバからダウンロードする。あるいは、外部インタフェース２４を介して外部機器例えばコンピュータ装置等から画像情報をダウンロードする。
【００２８】
ステップＳＴ６では再生する音楽情報の選択を行い、ステップＳＴ７では、選択された音楽情報が情報蓄積部１７に蓄積されているか否かを判別する。ここで、選択された音楽情報を蓄積しているときにはステップＳＴ９に進む。また、蓄積していないときにはステップＳＴ８に進み、画像情報の場合と同様にして選択された音楽情報を入手してステップＳＴ９に進む。
【００２９】
ステップＳＴ９では、音楽情報の再生に合わせた画像表示制御を行いステップＳＴ１０に進む。ステップＳＴ１０では、同じ音楽情報の再生を繰り返す操作が行われたか否かを判別する。ここで、同じ音楽情報の再生を繰り返す操作が行われたときにはステップＳＴ９に戻る。また、同じ音楽情報の再生を繰り返す操作が行われないときにはステップＳＴ１１に進む。
【００３０】
ステップＳＴ１１では、異なる音楽情報の再生操作が行われたか否かを判別する。ここで、異なる音楽情報の再生を行う操作が行われたときにはステップＳＴ６に戻る。また、異なる音楽情報の再生を行う操作が行われなかったときには処理を終了する。
【００３１】
ステップＳＴ２からステップＳＴ１２に進むと、ステップＳＴ１２ではステップＳＴ１で選択されたアプリケーションを実行する。その後、選択されたアプリケーションを終了してステップＳＴ１３に進むと、ステップＳＴ１３では、アプリケーションを再度選択する操作が行われたか否かを判別する。ここで、再度選択する操作が行われたときにはステップＳＴ１に戻り、次に実行するアプリケーションを選択する。また、再度選択する操作が行われないときには処理を終了する。
【００３２】
図５は、音楽情報の再生に合わせた画像表示制御動作を示すフローチャートである。ステップＳＴ２１では、音楽情報例えばＳＭＦを読み込んでステップＳＴ２２に進む。
【００３３】
このＳＭＦでのＭＩＤＩファイルのデータ構造は、図６Ａに示すようにヘッダ情報を有するヘッダチャンクと後述するＭＩＤＩイベントやメタイベントなどを有するトラックチャンクから構成されている。
【００３４】
ヘッダチャンクでは、ヘッダチャンクの開始であることを示す「ＭＴｈｄ」の文字データに続いて、データ長、フォーマット形式、トラック数、時間単位が示される。この時間単位は、例えば四分音符あたりのＴｉｃｋ数が示される。
【００３５】
トラックチャンクでは、トラックチャンクの開始を示す「ＭＴｒｋ」の文字データに続いて、データ長が示されるとともに、データ長に続くデータセクションで、時間情報とＭＩＤＩイベントや時間情報とメタイベント等が示される。このＭＩＤＩイベントは、楽器の音色の音楽信号を生成するための演奏データから成るものである。また、メタイベントは、ＭＩＤＩイベントの演奏データに含まれない情報、例えば曲の速さの情報（１分間に奏すべき拍の数など）や曲の拍子の情報（二拍子や三拍子あるいは四拍子など）などの演奏全体の曲情報、歌詞、著作権表示等のシーケンスソフト（あるいはシーケンサー）で利用する情報等をＳＭＦに含めるものである。
【００３６】
データセクションの時間情報はデルタ・タイムと呼ばれ、必要最小限のバイト列で数値を表す可変長数値表現が用いられている。このデルタ・タイムと呼ばれる時間情報は、直前のイベントからの時間を示すものであり、このデルタ・タイムを積算することで演奏時間を判別することができる。
【００３７】
また、データセクションでは、図６Ｂに示すように、楽曲の演奏データを示すソングボディの前にセットアップ小節が設けられる。セットアップ小節では、上述のメタイベントを用いて拍子やテンポ、音色の設定やボリュームの設定等を行う。ソングボディは、ノート情報やテンポの設定情報等で構成される。ノート情報は、音を鳴らすＭＩＤＩ情報である３バイトのノート・オン、音を止めるＭＩＤＩ情報である３」バイトのノート・オフで構成される。ノート・オンの１バイト目ではチャネル番号、２バイト目ではノード・ナンバー（音程）、３バイト目ではノート・オン・ベロシティ（鍵盤を打つ速さ）が示される。ノート・オフの１バイト目ではチャネル番号、２バイト目ではノード・ナンバー（音程）、３バイト目ではノート・オフ・ベロシティ（鍵盤から手を離す速さ）が示される。
【００３８】
図５のステップＳＴ２２では、ヘッダチャンクの情報を読み込んで四分音符あたりのＴｉｃｋ数を取得する。
【００３９】
ステップＳＴ２３では、拍子の情報を取得できたか否かを判別する。ここで、セットアップ小節から拍子の情報を得ることができないときにはステップＳＴ２４に進み、拍子の情報を得ることができたときにはステップＳＴ２５に進む。
【００４０】
ステップＳＴ２４では、拍子判別を行う。この拍子判別では、ノート情報を利用して曲の拍子を判別してステップＳＴ２５に進む。例えば拍子の判別が容易なリズム系のチャネルについて、ノード・オンのタイミングを検出する。また、四分音符あたりのＴｉｃｋ数から２拍子、３拍子、４拍子等のタイミングを生成する。
ここで、リズム系のチャネルから検出したノード・オンのタイミングと、生成した各拍子のタイミングを比較して、最もタイミングが類似する拍子を曲の拍子として設定する。また、他の方法としては、四分音符あたりのＴｉｃｋ数から１拍の期間を決定して、拍子の判別が容易なリズム系のチャネルを２拍子や３拍子あるいは４拍子等の小節の区間で区切るものとする。その後、各小節のノート・オンの期間やノート・オフの期間を比較して、相関が最も高くなるときの拍子を曲の拍子として設定することもできる。
【００４１】
ステップＳＴ２５では１小節毎に曲の分割を行い、ステップＳＴ２６では曲調の変化する区切りや盛り上がり部分の検出を行う。ここで、１つの曲は、例えば曲の開始を示す「イントロ」、メロディ全体の出だしである「Ａメロ」、最も重要な部分である「サビ」、「Ａメロ」と「サビ」を結ぶ役目をもった「Ｂメロ」、曲の終わりを示す「エンディング」等の部分を組み合わせることで構成されている。このため、曲調の変化する区切りを検出することにより、「イントロ」、「Ａメロ」、「Ｂメロ」、「サビ」、「エンディング」等の各境界を検出する。
また、盛り上がり部分の検出により、例えば「サビ」の部分の検出を行う。
【００４２】
このステップＳＴ２６の検出処理では、１つの検出処理あるいは複数の検出処理を行い、得られた検出結果に基づいて曲調の変化する区切りや盛り上がり部分を検出する。例えば図７に示すような検出処理を行い、検出結果に基づいて曲調の変化する区切りや盛り上がり部分を検出する。
【００４３】
ステップＳＴ２６−１の検出処理では、リズム系のチャネルのノードパターンに基づいて曲調の変化する区切りを検出する。すなわち、小節毎にノード・オンやノード・オフのパターンを判別して、この各小節毎のノードパターンを比較する。このノードパターンの比較結果に基づき曲調の変化する区切りを検出する。
【００４４】
ステップＳＴ２６−２の検出処理では、ノート量を算出して曲調の変化する区切りや盛り上がり部分の検出を行う。具体的には、小節毎に例えば全チャネルのノート・オンのイベント数を算出してノート量とする。このノート量の微分値に大きな変化が現れた小節の区切りを、曲調の変化する区切りとする。またノート量がほぼ極大となる小節が、例えば曲として意味を持つ複数小節分以上続いている部分は、盛り上がり部分とする。
【００４５】
ステップＳＴ２６−３の検出処理では、ベロシティの平均値を算出して曲調の変化する区切りや盛り上がり部分の検出を行う。具体的には、小節毎にノート・オン・ベロシティやノート・オフ・ベロシティの平均値を算出する。この平均値の微分値に大きな変化が現れた小節の区切りを、曲調の変化する区切りとする。また平均値がほぼ極大となる小節が、例えば曲として意味を持つ複数小節分以上続いている部分は、盛り上がり部分とする。
【００４６】
ステップＳＴ２６−４の検出処理では、音長の平均値あるいは音長の変化幅（音長の最大値と最小値との差）を算出して曲調の変化する区切り検出を行う。具体的には、チャネル毎にノート・オンからノート・オフまでの期間を音長として求めて、この求めた音長から小節毎の音長の平均値や音長の変化幅を算出する。この平均値や変化幅の微分値に大きな変化が現れた小節の区切りを、曲調の変化する区切りとする。
【００４７】
ステップＳＴ２６−５の検出処理では、プログラムチェンジによって曲調の変化する区切りの検出を行う。すなわち、プログラムチェンジのイベントによって音色が切り換えられたときには、この音色の切り換えが行われた小節の区切りを、曲調の変化する区切りとする。
【００４８】
ステップＳＴ２６−６の検出処理では、曲のテンポによって曲調の変化する区切りの検出を行う。すなわち、セット・テンポのイベントによって曲のテンポが変更されたときには、このテンポが変更された小節の区切りを、曲調の変化する区切りとする。
【００４９】
ステップＳＴ２６−７の検出処理では、類似パターン検出を行い、曲の類似部分を検出する。例えば、小節毎のノードパターンを比較して、ノードパターンが類似する部分を曲の類似部分とする。
【００５０】
ステップＳＴ２６−８では、ステップＳＴ２６−１〜ステップＳＴ２６−７の１つあるいは複数の検出結果に基づいて曲調の変化する区切りや盛り上がり部分を決定する。
【００５１】
次に、曲調の変化する区切りの検出について説明する。図８は、複数の検出処理を行い、各検出結果を用いて総合的に曲調の変化する区切りを検出する場合の一形態を示すフローチャートである。この図８に示す処理を各小節の区切りに対して行い、この小節の区切りが曲調の変化する区切りであるか否かを判別する。
【００５２】
ステップＳＴ４１では、上述のステップＳＴ２６−５の検出処理を行い、プログラムチェンジによる音色の切り換えが検出されているか否かを判別する。ここで、音色の切り換えが検出されていないときにはステップＳＴ４３に進む。また、音色の切り換えが検出されたときには、ステップＳＴ４２で信頼度Ｒａを「１．０」としてからステップＳＴ４３に進む。
【００５３】
ステップＳＴ４３では、上述のステップＳＴ２６−６の検出処理を行い、前回テンポが変更された位置から曲として意味を持つ複数小節分以上離れて、例えば４小節以上離れてテンポが変更されたか否かを判別する。ここで、４小節以上離れてテンポが変更されたものでないときにはステップＳＴ４５に進む。また、４小節以上離れてテンポが変更されたときには、ステップＳＴ４４で信頼度Ｒｂを「１．０」としてからステップＳＴ４５に進む。
【００５４】
ステップＳＴ４５では、上述のステップＳＴ２６−２の検出処理を行い、小節内でのノート・オンのイベント数を示すノート量と、直前の小節におけるノート量との差ＥＮがしきい値Ｌａよりも大きいか否かを判別する。ここで、差ＥＮがしきい値Ｌａよりも大きくないときにはステップＳＴ４７に進む。また、ノート量の差ＥＡがしきい値Ｌａよりも大きいときには、ステップＳＴ４６で信頼度Ｒｃを式（１）に基づいて算出してからステップＳＴ４７に進む。なお、式（１）において「ｋａ」は係数であり、他の信頼度やノート量との差ＥＡからしきい値Ｌａを減算したときの最大値等に基づいて決定されるものである。
Ｒｃ＝（ＥＡ−Ｌａ）×ｋａ　　　・・・（１）
【００５５】
ステップＳＴ４７では、上述のステップＳＴ２６−３の検出処理を行い、小節内でのノート・オン・ベロシティやノート・オフ・ベロシティの平均値を算出する。この平均値と直前の小節における平均値との差ＥＢがしきい値Ｌｂよりも大きくないときには、ステップＳＴ４９に進む。また、ノート量の差ＥＢがしきい値Ｌｂよりも大きいときには、ステップＳＴ４８で信頼度Ｒｄを式（２）に基づいて算出してからステップＳＴ４９に進む。なお、式（２）において「ｋｂ」は、係数「ｋａ」と同様に、他の信頼度や平均値の差ＥＢからしきい値Ｌｂを減算したときの最大値等に基づいて決定されるものである。
Ｒｄ＝（ＥＢ−Ｌｂ）×ｋｂ　　　・・・（２）
【００５６】
ステップＳＴ４９では、上述のステップＳＴ２６−４の検出処理を行い、小節内でチャネル毎にノート・オンからノート・オフまでの期間を音長として求めて、この求めた音長から例えば音長の変化幅を算出する。この変化幅と直前の小節における変化幅との差ＥＣがしきい値Ｌｃよりも大きくないときには、ステップＳＴ５１に進む。また、変化幅の差ＥＣがしきい値Ｌｃよりも大きいときには、ステップＳＴ５０で信頼度Ｒｅを式（３）に基づいて算出してからステップＳＴ５１に進む。なお、式（３）において「ｋｃ」は、係数「ｋａ」と同様に、他の信頼度や変化幅の差ＥＣからしきい値Ｌｃを減算したときの最大値等に基づいて決定されるものである。
Ｒｅ＝（ＥＣ−Ｌｃ）×ｋｃ　　　・・・（３）
【００５７】
ステップＳＴ５１〜ステップＳＴ５３の処理は、ステップＳＴ２６−８に対応する処理であり、このステップＳＴ５１では、信頼度Ｒａ〜Ｒｅの合計値ＴＲを算出してステップＳＴ５２に進む。ステップＳＴ５２では、信頼度の合計値ＴＲとしきい値Ｌｔを比較して、信頼度の合計値ＴＲがしきい値Ｌｔよりも大きくないときには１つの小節に対する処理を終了する。また、信頼度の合計値ＴＲがしきい値Ｌｔよりも大きいときにはステップＳＴ５３に進み、この小節と直前の小節との区切りを曲調の変化する区切りと決定して１つの小節に対する処理を終了する。
【００５８】
以上の処理を楽曲の先頭の小節から最後の小節まで行うことにより、曲調の変化する区切りを楽曲の先頭側から順次検出できる。
【００５９】
また、ステップＳＴ４１，４２の処理を楽曲の全小節に対して行い、全小節に対して信頼度Ｒａを決定する。その後、ステップＳＴ４３，４４の処理を楽曲の全小節に対して行い、全小節に対して信頼度Ｒｂを決定する。以下同様に、全小節に対して信頼度Ｒｃ〜Ｒｅを算出するとともに、ステップＳＴ５１では、各小節毎に信頼度を合計することで、曲調の変化する区切りを検出することもできる。
【００６０】
図９は、曲調の変化する区切りの具体例を示している。なお、四分音符を音長「１」として説明を行う。小節ＭＥ１は、高音部譜表に示されているように四分音符の三和音で開始することからノート・オンの回数は「３」、音長は「１」となる。また、低音部譜表側では八分休符後に八分音符から開始するので、ノート・オンの回数は「１」、音長は「０．５」となる。このようにノート・オンの回数と音長を決定すると、小節ＭＥ１のノート・オン回数は「１４」となる。また、小節ＭＥ１では付点四分音符が最も長い音であり、十六分音符が最も短い音であることから音長の最大値は「１．５」、最小値は「０．２５」、音長の変化幅は「１．５−０．２５」となる。また、小節ＭＥ１におけるノート・オン・ベロシティの合計値が例えば１５２９であるときには、平均値が「１５２９／１４＝１０９」となる。
【００６１】
小節ＭＥ２〜ＭＥ５についても小節ＭＥ１と同様に、ノート・オン回数や音長の変化幅、ベロシティの平均値を算出して、これらの値を用いて算出した信頼度の合計値ＴＲとしきい値Ｌｔを比較することで、例えばノート・オン回数の変化が顕著である小節ＭＥ３と小節ＭＥ４の区切りが曲調の変化する区切りとされる。
【００６２】
次に、楽曲の盛り上がり部分の検出の一形態について説明する。上述のステップＳＴ２６−２〜ＳＴ２６−４では、例えば極大の状態が曲として意味を持つ複数小節分以上続いている部分を曲の盛り上がり部分としたが、図１０では、曲調の変化する区切りの検出結果を用いて曲の盛り上がり部分を検出する場合の一形態を示している。
【００６３】
ステップＳＴ６１では、小節毎のベロシティの算出を行う。このベロシティの算出では、各音符のベロシティを例えば四分音符に対する各音符の音長割合に応じたベロシティに変換して、この変換後のベロシティを用いて１小節のベロシティの合計値を算出する。例えば二分音符のベロシティが「１００」であったとき、音長が２倍であることからベロシティを「１００×２」とする。付点八分音符のベロシティが「９３」であったとき、音長が０．７５倍であることからベロシティを「９３×０．７５」とする。十六分音符のベロシティが「１０２」であったとき、音長が０．２５倍であることからベロシティを「１０２×０．２５」とする。
【００６４】
また、ベロシティの合計値をノート・オン回数で除算して１ノートあたりのベロシティを算出したのち、この１ノートあたりのベロシティを小節のベロシティとしても良い。この場合、楽曲の盛り上がりと無関係な和音が小節内に設けられてベロシティの合計値が大きくなってしまうようなときにも、正しく楽曲の盛り上がり部分を検出することが可能となり、検出結果の信頼性を高めることができる。
【００６５】
このように、四分音符に対する各音符の音長割合に応じてベロシティの変換を行い、この変換後のベロシティを用いて１小節のベロシティの合計値を算出してステップＳＴ６２に進む。ステップＳＴ６２では、小節毎に算出したベロシティを用いて、曲調の変化する区切りの区間毎のベロシティ平均値を算出してステップＳＴ６３に進む。
【００６６】
ステップＳＴ６３では、隣り合う曲調の変化する区間のベロシティ平均値の差がしきい値よりも大きいか否かを判別する。ここで、ステップＳＴ６２で算出したベロシティ平均値と直前の区間のベロシティ平均値との差がしきい値よりも大きくないときには処理を終了する。また、ベロシティ平均値の差がしきい値よりも大きいときにはステップＳＴ６４に進み、ベロシティ平均値の差がしきい値よりも大きくなった区間を盛り上がり区間と決定して処理を終了する。
【００６７】
このようにして、曲調の変化する区切りや盛り上がり部分の検出が完了したときには、図５のステップＳＴ２６からステップＳＴ２７に進む。
【００６８】
ステップＳＴ２７では、テンポの情報を取得できたか否かを判別する。ここで、メタ・イベントでテンポが設定されているときには、このテンポの設定情報を取得してステップＳＴ２９に進む。また、テンポの情報を取得できないときはステップＳＴ２８に進み、ＭＩＤＩ規格の初期値（１２０）をテンポの情報として用いてステップＳＴ２９に進む。
【００６９】
ステップＳＴ２９では、情報蓄積部１７に予め蓄積されている画像動き情報の選択を行う。例えば上述したように、画像動き情報としてフレームデータとテクスチャデータとモーションデータが用いられているとき、図２に示すように、モーションデータには、対応可能な拍子やテンポを示す曲条件、動きの激しさ、使用可能なテクスチャデータを示すテクスチャ条件等からなるヘッダを付随情報として付加する。
【００７０】
ここで、付随情報を利用して条件を満たすモーションデータを小節単位で判別する。例えば、拍子が等しいとともにテンポが範囲内に含まれる曲条件、曲の盛り上がりに応じた動きの激しさ、ユーザインタフェース２３からの操作信号ＰＳによって選択されたテクスチャ（表示するキャラクタのテクスチャ）の条件等を満たすモーションデータを判別する。次に、判別したモーションデータ、すなわち表示するキャラクタに対応するモーションデータから、曲調の変化する区切りや曲の盛り上がり部分に応じたモーションを割り当てる。このモーションの割り当てでは、動きが連続するようにモーションを割り当てる。
【００７１】
モーションデータのヘッダには、動きのスタートポジションとエンドポジションの情報を設けるものとして、エンドポジションと次の動きのスタートポジションとのつながりが不自然とならないように順次モーションを割り当てる。例えば図１１Ａに示す位置で動きが終了したとき、次の動きの開始位置が図１１Ｂに示す位置であると、身体や手足の移動量が大きすぎて繋ぎ部分が実際にはできないような不自然な動作となる。このため、身体や手足の移動量が大きくない図１１Ｃに示すような動きの開始位置であるモーションデータを割り当てて、繋ぎ部分での動作が不自然となってしまうことを防止する。
【００７２】
ここで、モーションデータ毎に固有情報例えばモーションＩＤを付加して、このモーションＩＤを利用することで、動きのつながりが自然であるモーションデータの選択を容易に行うことができる。すなわち、動きのスタートポジションとエンドポジションの情報に代えて、動きのつながりが自然となるモーションデータのモーションＩＤを接続可能情報として用いる。また、付加されたモーションＩＤとともに接続可能情報をヘッダに含ませるものとする。ここで、次のモーションデータの割り当てでは、ヘッダに設けられている接続可能情報で示されたモーションＩＤのモーションデータを用いるものとする。また、接続可能情報として複数のモーションＩＤが示されているときには、何れかのモーションＩＤを選択して、この選択したモーションＩＤのモーションデータを用いるものとする。
このように、モーションデータ毎の固有情報を利用することで、動きのつながりが自然となるモーションデータの割り当てを容易に行うことができる。
【００７３】
さらに、モーションデータの割り当てでは、イントロで動きの始まりが違和感のないようにモーションデータを割り当てるとともに、エンディングでは動きの終わりが違和感のないようにモーションデータを割り当てる。
【００７４】
また、２小節や３小節あるいは４小節等のように複数小節単位のモーションデータを設けるとともに、小節単位で曲の繰り返しが行われているか否かを判別する。例えばノート・オン回数に着目して、回数が小節単位で繰り返されているか否かを判別する。ここで、小節単位で繰り返されているときには、複数小節単位のモーションデータから繰り返された小節数に対応するデータを選択する。さらに選択したモーションデータから、繰り返された小節単位のベロシティの変化等を参照して１つのモーションデータを決定する。なお、小節単位で繰り返されていないときには、上述のように１小節単位のモーションデータから１小節毎にモーションデータを選択する。
【００７５】
また、曲調の変化する区切り毎を比較して類似する区間を判別して、類似する区間では、同じようにモーションデータを割り当てるものとすれば、調和のとれた動作表示を行うことができる。例えば、楽曲の１番と２番などで動きの等しい表示を行わせることができる。
【００７６】
このように、ステップＳＴ２９では、曲の再生位置に合わせて画像動き情報の選択を行いステップＳＴ３０に進む。
【００７７】
ステップＳＴ３０では、選択した画像動き情報ＪＧをＭＩＤＩデータの再生に合わせて画像処理部２０３に供給する。このとき、画像処理部２０３では、供給されたモーションデータにテクスチャを貼り付けて画像を形成する。さらに、モーションデータによって画像の移動が行われたときには、ベジェ曲面を用いたモーフィング等を利用して、動きが滑らかな画像の画像信号ＧＳを生成して表示ドライバ２０５に供給する。
【００７８】
図１２は、情報処理装置での操作表示例を示している。情報処理装置のユーザインタフェース２３におけるメニュー選択キーが操作されたとき、制御部２０では、例えば図１２Ａに示すメニュー表示を表示部２２に表示させる。ここで、曲に合わせて踊るキャラクタの表示を行うメニュー項目「Ｄａｎｃｉｎｇ　Ｃｈａｒａｃｔｅｒ」が選択されたときには、図１２Ｂに示す選択表示を表示部２２に表示させる。この選択表示から、項目「曲を選ぶ」「キャラクタを選ぶ」等を選択して曲やキャラクタ等の選択を可能とする。なお、曲やキャラクタの選択では、情報蓄積部１７に情報が記憶されている曲やキャラクタを選択させる。また、曲の選択やキャラクタの選択では、ＲＦトランシーバ部１２あるいは外部インタフェース２４を介して音楽情報や画像動き情報を入手できる曲やキャラクタを選択可能としても良い。
【００７９】
曲の選択やキャラクタの選択が行われたとき、制御部２０では上述の図５に示す処理を行い、表示部２２で図１２Ｃに示すように曲の再生に合わせて動きを生ずる画像、すなわち選択したキャラクタが選択した曲に合わせて踊るような動画像表示を行う。
【００８０】
このように、上述の実施の形態によれば、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置が検出されるとともに、この検出結果に基づいて画像動き情報の選択が行われて、選択された画像動き情報が音楽情報の再生に応じて用いられる。このため、曲調や盛り上がり部分に応じて画像動き情報が選択されて、あたかも表示されるキャラクタに対して踊りを自動的に振り付けたと同様な処理が行われため、エンターテイメント性や視覚的効果の高い画像表示を行うことができる。また、動きの切り換えが小節の区切りで行われることから、キャラクタの動きがさらに曲と調和したものとなり、さらにエンターテイメント性や視覚的効果を高めることができる。さらに、楽曲をダウンロードする際のデータ量を少なくするために用いたＭＩＤＩデータに基づいて、画像動き情報の選択が行われるので、エンターテイメント性や視覚的効果の高い画像表示を効率よく音楽情報に基づいて行うことができる。
【００８１】
ところで、図５に示す音楽情報の再生に合わせた画像表示制御動作は、図１３に示すハードウェア構成で実現することもできる。図１３において、拍子決定部２１０では、ＭＩＤＩデータＤａ−ｍから拍子を示すメタイベントを検出する。また、ヘッダチャンクから四分音符あたりのＴｉｃｋ数を取得する。ここで、拍子を示すメタイベントを検出できないときには、例えば拍子の判別が容易なリズム系チャネルのデータを用いて、ノード・オンのタイミングを検出する。さらに、取得した四分音符あたりのＴｉｃｋ数から２拍子、３拍子、４拍子等のタイミングを生成して、リズム系のチャネルから検出したノード・オンのタイミングと、生成した各拍子のタイミングを比較して、最もタイミングが類似する拍子を曲の拍子として決定する。このようにして曲の拍子を決定したのち、曲の拍子を示す拍子信号ＫＡを生成して小節分割部２１１とモーション決定部２１３に供給する。
【００８２】
小節分割部２１１では、拍子決定部２１０からの拍子信号ＫＡで示された拍子でＭＩＤＩデータＤａ−ｍを小節毎に分割して、小節データＫＢとして検出部２１２に供給する。検出部２１２では、小節データＫＢからノートオン回数や音長、ベロシティの平均値を算出して曲調の変化する区切りや盛り上がり部分の検出を行い、検出結果を示す検出結果信号ＫＣを生成してモーション決定部２１３に供給する。
【００８３】
モーション決定部２１３では、拍子決定部２１０からの拍子信号ＫＡや検出部２１２からの検出結果信号ＫＣに基づき、情報蓄積部１７に蓄積されている画像動き情報の選択を行う。また、曲の再生開始を示す演奏スタート信号ＨＳが供給されたときには、選択した画像動き情報ＪＧを曲の再生に合わせて画像処理部２０３に供給して画像信号ＧＳの生成を行う。
【００８４】
このように、選択された画像動き情報ＪＧを曲の再生に合わせて画像処理部２０３に供給することで、図５に示す場合と同様に、表示部２２には、エンターテイメント性や視覚的効果の高い画像表示を行わせることができる。
【００８５】
【発明の効果】
この発明によれば、音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置が検出されるとともに、この検出結果に基づいて画像動き情報の選択が行われて、選択された画像動き情報が音楽情報の再生に応じて用いられて、音楽情報の再生に応じた動画像表示が行われる。このため、音楽情報の再生に合わせた動きを生じるエンターテイメント性や視覚的効果の高い画像表示を行うことができる。
【００８６】
また、音楽情報から拍子を検出して小節毎に曲の分割を行い、小節毎に音楽情報を用いて曲調の変化する区切りおよび／または曲の盛り上がり位置が検出される。このため、動きの切り換えを小節の区切りで行うことにより、動きの切り換えを曲に合わせて行うことが可能となり、動きがさらに曲と調和してエンターテイメント性や視覚的効果をさらに高めることができる。
【００８７】
また、音楽情報はＭＩＤＩ規格の演奏データであり、ＭＩＤＩイベントのノート情報および／またはメタ・イベントの情報を用いて、前記曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する。このため、ダウンロードする際のデータ量が少ないものとされていても、効率よくエンターテイメント性や視覚的効果の高い画像表示を行うことができる。
【図面の簡単な説明】
【図１】情報処理装置の構成を示す図である。
【図２】情報蓄積部での蓄積情報を示す図である。
【図３】制御部の構成を示す図である。
【図４】情報処理装置の動作を示すフローチャートである。
【図５】画像表示制御動作を示すフローチャートである。
【図６】ＭＩＤＩファイルのデータ構造を示す図である。
【図７】曲調の変化する区切りや盛り上がり部分の検出を示すフローチャートである。
【図８】曲調の変化する区切り検出の一形態を示すフローチャートである。
【図９】曲調の変化する区切りの具体例を示す図である。
【図１０】曲の盛り上がり部分検出の一形態を示すフローチャートである。
【図１１】モーション割り当てを説明するための図である。
【図１２】情報処理装置での操作表示例を示す図である。
【図１３】ハードウェアで画像表示制御を行う場合の構成を示す図である。
【符号の説明】
１２・・・ＲＦトランシーバー部、１３・・・ベースバンド信号処理部、１４・・・スピーカ、１５・・・マイクロホン、１７・・・情報蓄積部、２０・・・制御部、２２・・・表示部、２３・・・ユーザインタフェース、２４・・・外部インタフェース、３０・・・バス、２０１・・・バスインタフェース、２０２・・・メロディ発生部、２０３・・・画像処理部、２０４・・・フレーム／テクスチャメモリ、２０５・・・表示ドライバ、２０６・・・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、２０７・・・メモリ、２０９・・・バス、２１０・・・拍子決定部、２１１・・・小節分割部、２１２・・・検出部、２１３・・・モーション決定部

Claims (9)

1. 画像動き情報を蓄積する情報蓄積手段と、
   画像表示を行う表示手段と、
   音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出するとともに、検出結果に基づいて前記画像動き情報の選択を行い、該選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記表示手段に前記音楽情報の再生に応じた動画像を表示させる制御手段とを有する
   ことを特徴とする情報処理装置。
2. 前記制御手段では、前記音楽情報から拍子を検出して小節毎に曲の分割を行い、小節毎に前記音楽情報を用いて前記曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記音楽情報はＭＩＤＩ規格の演奏データであり、
   前記制御手段では、ＭＩＤＩイベントのノート情報および／またはメタ・イベントの情報を用いて、前記曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する
   ことを特徴とする請求項２記載の情報処理装置。
4. 前記制御手段では、前記音楽情報に拍子を示す情報が含まれていないとき、ＭＩＤＩイベントのノート情報に基づいて拍子を決定する
   ことを特徴とする請求項３記載の情報処理装置。
5. 音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出するとともに、検出結果に基づいて画像動き情報の選択を行い、該選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記音楽情報の再生に応じた動画像表示を行う
   ことを特徴とする画像表示制御方法。
6. 前記音楽情報から拍子を検出して小節毎に曲の分割を行い、小節毎に前記音楽情報を用いて前記曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する
   ことを特徴とする請求項５記載の画像表示制御方法。
7. 前記音楽情報はＭＩＤＩ規格の演奏データであり、
   ＭＩＤＩイベントのノート情報および／またはメタ・イベントの情報を用いて、前記曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する
   ことを特徴とする請求項６記載の画像表示制御方法。
8. 前記音楽情報に拍子を示す情報が含まれていないとき、ＭＩＤＩイベントのノート情報に基づいて拍子を決定する
   ことを特徴とする請求項７記載の画像表示制御方法。
9. コンピュータに、
   音楽情報から曲調の変化する区切りおよび／または曲の盛り上がり位置を検出する手順と、
   前記検出の結果に基づいて画像動き情報の選択を行う手順と、
   前記選択された画像動き情報を前記音楽情報の再生に応じて用いることで、前記音楽情報の再生に応じた動画像表示を行う手順とを実行させる
   ことを特徴とする画像表示制御プログラム。

Images