JP2004287144A - 音楽再生と動画表示の制御装置およびそのプログラム - Google Patents

Abstract

【課題】楽しみが増し、面白く積極的に音楽再生を制御できる音楽再生と動画表示の制御装置を提供する。
【解決手段】アニメーション表示モジュール１１は、背景画像とその上で前景画像として動くキャラクタを有するアニメーションを表示する。シーケンサモジュール１３は、音楽再生の再生位置の管理をして自動演奏をする。変換モジュール１２は、シーケンサモジュール１３とアニメーション表示モジュール１１との間で、音楽再生と表示画像との相互作用を制御する。楽音の少なくとも１つの制御情報とキャラクタとを対応づけて一方側の設定に応じて他方側を設定したり、音楽再生の現在の再生位置に対応して、キャラクタの表示位置を進行させたりする。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、音楽再生に対応づけて表示画面上に表示オブジェクトを動画表示する音楽再生と動画表示の制御装置に関するものである。
【０００２】
【従来の技術】
従来、演奏データが該演奏データの再生位置の情報とともに記述された楽曲データを時間進行に従って再生すると同時に、演奏データに対応する譜面を表示するものが、シーケンサ・アプリケーション・プログラムとして知られている。
具体的には、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データやオーディオ波形データを記録再生する本来のシーケンサモジュールとともに、ＭＩＤＩデータに基づいて譜面を表示する譜面表示モジュールや、ピアノロールを表示するピアノロール表示モジュールを含んでいる。
また、設定表示画面上の、再生ボタン、停止ボタン、再生位置カウンタ等をマウスによってクリック操作することにより、演奏データの再生位置を制御することができる。また、設定表示画面上のテンポ設定ボタンを操作することにより、再生のテンポを制御することができる。
【０００３】
しかし、上述した譜面表示やピアノロール画面表示は、いずれも、楽曲の内容に直結した表示であり、また、設定表示画面は機械的な操作パネルを仮想的に表示するものであった。従って、表示される画像は演奏データを編集するのに好都合であっても、無味乾燥なものであり、見て楽しむことができなかった。
これに対し、楽曲データを再生しながら、音色に対応した楽器の画像を表示しつつ、各音色の演奏音の音量に応じて画像の大きさを変化させるものが知られている（特許文献１参照）。
【０００４】
また、演奏パートの音色に対応した楽器を演奏するプレーヤアイコンを演奏ステージを背景に表示させておき、楽曲データを再生しながら、各演奏パートのパン（定位）情報に応じて、プレーヤアイコンの位置を移動させたり、プレーヤアイコンの画像をテンポや各演奏パートの音量に応じて動きを付与したりするものであり、プレーヤアイコンの表示位置に応じて、各演奏パートのパン情報の設定を変更できるものが知られている（特許文献２等参照）。
従って、ユーザは、表示されるプレーヤアイコンの演奏と連動した動きを見て、楽曲データ毎に異なる動画を見て楽しむことができるし、動画をユーザインターフェースとして演奏を制御することができる。
しかし、やはり演奏を表現する動画であるから、演奏の状態表示および演奏の操作性に重点があり、多様な表示は望めない。そのため、楽しみが少なかった。
【０００５】
【特許文献１】
特開昭６４−９１１７３号公報
【特許文献２】
特開平１１−３５２９６２号公報
【０００６】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、再生される音楽に応じた表現がなされる動画を表示するとともに、ユーザが動画表示画面を変更制御することにより、積極的に音楽再生を制御できる、音楽再生と動画表示の制御装置、および、そのプログラムを提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明は、請求項１に記載の発明においては、時間進行に従って楽曲データを再生する音楽再生に対応づけて表示画面上に表示オブジェクトを動画表示させる音楽再生と動画表示の制御装置であって、前記音楽再生における楽音の少なくとも１つの制御情報と前記動画表示における表示オブジェクトの表示態様とを対応づけて、一方側の設定に応じて他方側を設定させる設定手段と、時間進行に従って変化する前記音楽再生の現在の再生位置に対応して、前記表示オブジェクトの表示位置を進行させる表示位置進行制御手段と、ユーザ操作により前記表示オブジェクトの表示位置が、前記音楽再生の現在の再生位置とは異なる再生位置に対応する表示位置に移動させられたときに、該異なる再生位置から前記時間進行を継続させる再生位置進行制御手段を有するものである。
従って、再生される楽音に応じた表示態様の表示オブジェクトが、音楽再生の再生位置に応じて進行することから楽しみが増す。また、ユーザが動画表示画面を操作して音楽再生を変更できるという相互作用があることから、積極的に音楽再生を面白く楽しむことができる。
理解力が高くないユーザが、音楽再生と動画表示との相互作用を体験することにより、音楽的な感覚が養われる。
表示オブジェクトは、音楽再生に関係するイメージとは異なる種類のイメージとすれば、さらに効果的である。
【０００８】
表示オブジェクトの表示態様および楽音の制御情報とが、それぞれ複数種類、提供されており、上述した設定手段は、提供された複数種類のものの中から、楽音の少なくとも１つの制御情報と、表示オブジェクトの表示態様との対を決定して、音楽再生および動画表示を行わせることができる。
この場合、動画表示と楽曲再生とを、ユーザの操作に応じて相互的に連動させて行うことができるので、ユーザの楽しみを増したり、より興味を持たせたり、ユーザの楽曲または音楽の理解を助けることができる。
また、上述した表示位置進行制御手段は、時間進行に従って変化する音楽再生の再生位置に対応して、表示オブジェクトの表示位置を所定の経路に沿って移動させるものとすることができる。所定の経路は、時間と表示位置の対応テーブルを用いたり、所定の関数を用いて設定することができる。
この場合、音楽再生の現在の再生位置と表示オブジェクトの表示位置との対応関係が明確に規定されることから、表示位置および再生位置の時間進行が容易になる。
さらに、再生位置進行制御手段は、表示オブジェクトの表示位置が、表示位置進行制御手段により、所定の経路を外れるように制御されたときは、音楽再生における時間進行を停止させたり、伴奏のみを繰り返し再生したりするようにすれば、所定の経路を外れたことをユーザに知らせることができる。
【０００９】
請求項２に記載の発明においては、請求項１に記載の音楽再生と動画表示の制御装置において、前記楽曲データは、演奏データが該演奏データの再生位置の情報とともに記述されたものであり、前記音楽再生は、前記演奏データに前記設定手段により設定された前記楽音の少なくとも１つの制御情報を反映させた上で、該演奏データを該演奏データの再生位置の情報に従って音源に出力することにより実行されるものである。
従って、演奏データを用いることから、楽音の少なくとも１つの制御情報を設定することも、音楽再生の時間進行の検出および制御も、容易に実現することができる。
この他、音楽再生は、ディジタル音楽波形による楽曲データを用いて行うこともできる。
【００１０】
請求項３に記載の発明においては、請求項２に記載の音楽再生と動画表示の制御装置において、前記演奏データに前記設定手段により設定された前記楽音の少なくとも１つの制御情報が反映された演奏データと該演奏データの再生位置の情報に従って、前記表示画面上に譜面を表示させるための譜面表示データを作成する譜面表示データ作成手段を有するものである。
従って、譜面表示画面によって、音楽再生と動画表示との相互関連性を容易に知ることができるとともに、楽しみながら楽譜を見ることができる。
【００１１】
請求項４に記載の発明においては、上述した請求項１に記載の自動伴奏装置を、コンピュータに実行させるプログラムの形態で実現するものである。同様に、請求項２，３に記載の発明もコンピュータに実行させるプログラムの形態で実現することができる。
【００１２】
【発明の実施の形態】
図１は、本発明の実施の一形態の全体構成を説明するシステム図である。
図中、１は電子楽器などの電子音楽装置、２はパーソナルコンピュータ、３はインターネットなどの通信ネットワーク、４はウェブ（Ｗｅｂ）サーバである。
ウェブサーバ４は、電子楽曲絵本のコンテンツを提供するダウンロードサイトである。電子楽曲絵本は、楽曲データとアニメーションデータを有するマルチメディアコンテンツである。電子楽曲絵本の楽曲データを時間進行に従って再生するとともに、この音楽再生に対応づけて表示画面上に、例えば、キャラクタイメージを背景画面の手前で動かすなどにより動画表示する。
楽曲データは、ＭＩＤＩ等の音楽演奏データである場合について説明するが、ディジタルオーディオ波形の場合もある。
パーソナルコンピュータ２が、ディスプレイと音楽再生機能とを持つ場合は、上述した電子楽曲絵本はパーソナルコンピュータ２側で利用できる。
一方、電子音楽装置１に上述した機能を持つ場合は、パーソナルコンピュータ２をインターフェースとして電子楽曲絵本を取得して、電子音楽装置１側で利用することもできる。
【００１３】
図２は、図１に示した実施形態で用いられる電子楽曲絵本のファイル構成例を示す説明図である。
電子楽曲絵本は、図２（ａ）に示すアニメーションデータファイルと、図２（ｂ）に示す楽曲データファイルを備えている。両ファイルを１つのシーケンスデータファイルとしてもよいが、両ファイルを独立した構成とすることにより、ユーザは、複数種類あるアニメーションコンテンツと、複数種類ある楽曲コンテンツを組み合わせることができたり、楽曲データファイルとして、自動演奏用の一般的な楽曲データファイルを用いることができる。
【００１４】
図２（ｂ）の楽曲データファイルは、ヘッダ部と演奏シーケンス部を備えている。従来の楽曲データファイルと本質的に変わらない。
ヘッダ部には、曲番号，曲名，チャンネル（番号）と音色（番号）との対応テーブル、テンポ，拍子，調性等の情報等が記述されている。
演奏シーケンス部は、演奏イベントとその演奏イベントの時刻を示す時間情報とが対となって、例えば、時間進行に従って記述されている。時間情報は、例えば、再生位置を示すものである。従って、絶対時間はテンポによって伸縮する。この実施の形態では、表示開始時からの時間（小節：拍：クロック）で記述されているものとするが、１つ前の演奏イベントからの経過時間（デュレーション）で記述されていてもよい。この場合も、表示開始時からの時間に書き換えてメモリに保存した方が、以後の処理が簡単になる。
【００１５】
一方、図２（ａ）のアニメーションデータファイルは、ヘッダ部と表示シーケンス部を有する。
ヘッダ部には、アニメーション番号，アニメーション名，複数のキャラクタ（番号）とイメージ（番号）との対応関係を示す対応テーブル、キャラクタのイメージデータ、背景のイメージデータが記述されている。キャラクタのイメージデータは、複数種類用意されている。
表示シーケンス部は、表示イベント（キャラクタ）の表示位置とその表示イベントの時刻を示す時間情報とが対になっている。この表示シーケンスの記述によって、キャラクタの移動経路が規定される。
【００１６】
時間情報は、キャラクタの表示位置を制御するための時間であり、音楽再生の時間情報と対応関係があり、時間情報として同じもの（音楽情報の再生位置）を使用してもよい。
また、この実施の形態では、表示開始時からの時間で記述されているものとするが、デュレーションで記述されていてもよい。この場合も、表示開始時からの時間に書き換えてメモリに保存した方が好都合である。
キャラクタの進行を等しい時間間隔で行うようにする場合には、キャラクタの表示位置のみを記述しておくだけよい。
また、時間情報と表示位置との間に所定の関数関係がある場合には、この関数を記述しておくだけでもよい。
【００１７】
図３は、図１の電子音楽装置１およびパーソナルコンピュータ２側で実行される電子楽曲絵本利用システムの一例を示す説明図である。
図３において、図２，図４，図５を参照しながら、パーソナルコンピュータ２にインストールされたアプリケーションプログラムが、アニメーション表示および楽曲データの再生を行う場合について説明する。
図４は、図３に示した実施形態における、楽音の制御情報と表示オブジェクトとの対応関係の説明図である。
図５は、図３に示した実施形態における、キャラクタの表示位置の移動ルートと音楽の再生位置との対応関係の説明図である。
図３において、アプリケーションプログラムは、アニメーション表示モジュール１１、変換モジュール１２、シーケンサモジュール１３、楽譜表示モジュール１３ａ、音源モジュール１４、Ｉ／Ｏモジュール１５等の機能を持つ。
各モジュール１１〜１４は、インターネット上のウェブページにアクセスする機能を有するＷＷＷブラウザのプラグインソフトウェアとして実装することができる。
マウス１６、ディスプレイ１７は入出力デバイスとして接続されている。
【００１８】
アニメーション表示モジュール１１は、図２（ａ）に示したアニメーションデータファイルを用いて、例えば、背景画像と、その上で前景画像として動く、少なくとも１種類のキャラクタ（表示オブジェクト）を有するアニメーション（動画）を表示する機能を有する。
キャラクタ、移動経路などは、デフォルト値が規定されており、ユーザが、マウス１６、その他、パーソナルコンピュータや電子音楽装置のキーボード等の操作子を用いて設定変更できる。
【００１９】
一方、シーケンサモジュール１３は、音楽再生の再生位置に基づいて音楽再生の時間進行を管理する。
図２（ｂ）に示した楽曲データファイルはメモリに記憶されており、楽曲データに含まれる演奏データを、所定の再生開始位置から、指定されたテンポで、演奏データの再生位置情報に従って音源モジュール１４に出力する。
後述するように、アニメーション表示モジュール１１側のユーザ操作により、変換モジュール１２を介し、楽音の少なくとも１つの制御情報が設定される場合がある。この場合は、この制御情報を演奏データに反映させた上で、演奏データの再生位置の時系列に従って音源に出力する。
シーケンサモジュール１３は、既存の演奏シーケンサプログラムの機能で実現される。音源モジュール１４は、ハードウェア音源を用いる場合には不要である。
【００２０】
図示のシーケンサモジュール１３は、譜面（楽譜）表示モジュールをプラグインソフトウェアとして含んでいる。
楽曲データに含まれる演奏データをディスプレイ上に可視表示させるとともに、ディスプレイが操作画面となって、マウス１６その他の演奏操作子の操作に応じて、再生の開始および停止，再生位置，テンポ，音色の指定ができる他、楽曲データを編集することもできる。通常は、アニメーションの画面を表示し、必要に応じて楽譜表示モジュールを同時に表示したり、切り替え表示したりする。また、譜面表示はピアノロール表示に置き換えることもできる。
【００２１】
次に、変換モジュール１２は、音楽再生（楽譜表示を含む場合がある）と動画表示との相互作用を制御することにより、コンテンツ再生の全体制御をする。
相互作用を制御する機能的手段として、
第１に、音楽再生における楽音の少なくとも１つの制御情報と動画表示におけるキャラクタ（表示オブジェクト）の表示態様とを対応づけて、一方側の設定に応じて他方側を設定させる設定機能がある。
第２に、時間進行に従って変化する音楽再生の再生位置に対応して、キャラクタ（表示オブジェクト）の表示位置を進行させる表示位置進行制御機能がある。第３に、ユーザ操作によりキャラクタ（表示オブジェクト）の表示位置が、音楽再生の現在の再生位置とは異なる再生位置に対応する表示位置に移動させられたときに、この異なる再生位置から時間進行を継続させる再生位置進行制御機能がある。
【００２２】
上述した設定機能は、少なくとも１つの楽音の制御情報とキャラクタの少なくとも１つの表示態様とを、変換テーブル等により対応づけて相互設定をするものである。設定された楽音の少なくとも１つの制御情報を演奏データに反映させた上で、この演奏データを演奏データの再生位置の時系列に従って音源に出力することにより音楽再生が行われる。
図４に楽音の制御情報と表示オブジェクトとの対応関係の一例を示している。楽音の制御情報としては、箇々の音符毎には変化しない楽音の属性情報（例えば、音色や演奏パートなど）が適している。しかし、音符毎に変化する音符長、音高、音量等でもよい。
一方、動画表示におけるキャラクタの表示態様としては、キャラクタを表現するイメージ（図柄）の種類、大きさ、色、繰り返し動作等がある。なお、キャラクタは、登場人物あるいは擬人的な表示マークを意味するが、必ずしもこれらに限定されず、一般的に表示オブジェクトと言われるものである。
音符長には、例えば、キャラクタの繰り返し動作（例えば、左右に揺れる）の周期を対応させ、音高にはキャラクタの色を対応させ、音の強さにはキャラクタの繰り返し動作の振幅あるいはキャラクタの大きさを対応させる。
【００２３】
従って、変換モジュールは、音楽再生のために設定された音色に対応して、キャラクタのイメージを修正したり、逆に、動画表示画面において、キャラクタのイメージを設定することにより、音色を修正したりすることができる。その結果、一層、面白味のある動画表現が可能となる。
なお、時間進行とともに移動しないキャラクタを表示させる場合にも、上述した相互設定機能を適用することができる。
音楽再生は、ディジタル音楽波形による楽曲データを用いて行うこともできる。この場合、楽音の音量を制御することは容易にできる。また、楽音の音色を制御したいときには、音色の異なる複数のディジタル音楽波形を予め電子楽曲絵本に入れておけば、音色制御情報によりディジタル音楽波形を選択すればよい。ディジタル音楽波形の再生位置に関しては、時間情報を付加して楽曲データファイルを作成しておけばよい。
【００２４】
次に、上述した表示位置進行制御機能により、音楽再生の時間進行に従ってキャラクタが表示された画像を進行させることができる。
例えば、図５に示すように、キャラクタの表示位置のスタート地点および終了地点と、楽曲の再生位置の開始点および終了点とが合うように、図２のアニメーションデータファイルと楽曲データファイルが作成されている。
キャラクタの表示位置は、例えば、１拍の時間を単位として移動させるものとする。キャラクタの移動は、等速度に設計することもできるが、その値は、音楽再生テンポの変化によって変化する。
図７を参照して後述するように、キャラクタの表示位置は、必ずしも直線経路上を進行するのではなく、自由な曲線の経路上を時間進行に応じて移動する。
【００２５】
上述した、再生位置進行制御機能は、動画表示画面をユーザインターフェースとして、音楽の再生位置を変更するものである。
図５において、キャラクタがＡ地点に移動していたとき、ユーザ操作（例えば、マウス１６を用いたドラッグ＆ドロップ操作）により、キャラクタの表示位置をＡ地点からＢ地点に強制的に移動させたときに、移動後の表示位置に対応した音楽の再生位置から時間進行を継続させる。従って、音楽の再生位置が飛ぶことになる。
この実施の形態では、音楽再生用のシーケンサモジュール１３から変換モジュール１２を介して、時間情報をアニメーション表示モジュール１１側に供給している。これに代えて、変換モジュール１２内にシーケンス管理機能があって、シーケンサモジュール１３とアニメーション表示モジュール１１に時間情報を供給してもよい。
【００２６】
再び、図３に戻って、Ｉ／Ｏモジュール１５について説明する。
Ｉ／Ｏモジュール１５は、他のモジュールに対し、マウス１６からの操作情報を出力したり、ディスプレイ１７に画像表示データを出力したりする。電子音楽装置１との接続インターフェースともなり、鍵盤操作情報（ノートオン／ノートオフ、ノートナンバ、ベロシティ）を、ユーザ操作情報として入力したり、自動演奏データを手本楽曲データとして電子音楽装置１に転送し、演奏案内用のガイドランプを点灯させたりしてもよい。この場合は、ユーザの演奏の評価結果を、アニメーション表示画面５１におけるキャラクタの表示態様に反映させることも可能である。
【００２７】
上述した説明では、アニメーション表示について例示したが、動画表示一般でもよい。
ここで、動画表示とは、背景画像や前面画像またはキャラクタ画像等のうち、少なくともキャラクタ画像が動くもの（時々所定の動きをする程度のものも含む）だけでなく、区別なく一体の表示画面として動くものであってもよい。
実際にカメラで撮影されたフレーム画像（キャラクタが含まれている）のイメージデータを用いてもよい。この場合、図２（ａ）に示したアニメーション表示シーケンス部には、各時間情報で指定される時間でのイメージデータ、あるいは、これを特定する番号を記述する。後者の場合は、イメージデータをヘッダ部にまとめて記述しておく。
この場合の動画表示は、フレーム画像を各時間情報で指定される再生位置毎に切り替えて、動いているかのように見せる。このような場合でも、マウス１６によって、キャラクタを指定するために、キャラクタの表示位置のデータは必要である。
【００２８】
図６は、本発明の実施の一形態を実現するハードウェア構成図である。
図中、３１はバス、３２はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、３３はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、３４はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ＲＡＭ３４にはＣＰＵ３２のワーキングエリアが設けられ、ＲＯＭ３３にはＣＰＵ３２を動作させる、基本入出力システムプログラムが記憶されている。オペレーティングシステムプログラムおよびアプリケーションプログラム、および、電子楽曲絵本は、外部記憶装置３７のハード磁気ディスクに記憶されており、ＲＡＭ３４にロードされて、アニメーション表示、譜表表示、および、楽曲データの自動再生が行われる。
【００２９】
３５は入力操作部であって、キーボードやマウスである。
３６はディスプレイであって、アニメーション画面、譜表、シーケンス操作画面等を表示する。それぞれの画面は、個別のウインドウ画面とすることができ、複数のウインドウ画面を同時に表示することができる。
３８は音源回路、３９はサウンドシステムである。音源回路３８は、自動演奏データおよび電子楽器４１から転送されてきた演奏データに応じた音源制御パラメータ等を入力し、演奏音を波形合成し、サウンドシステム３９に供給してスピーカから出力される。音源回路３８は、専用のハードウェアや、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とマイクロプログラムによる構成をとる。あるいは、ＣＰＵ３２に波形合成をさせるソフトウェア音源プログラムによって音源機能を実現する。
【００３０】
３７は、ＨＤＤ（ハードディスクドライブ）、ＣＤ−ＲＯＭ（コンパクトディスク・リード・オンリィ・メモリ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の記録媒体用のドライブのほか、ＦＤＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ），フラッシュメモリ（半導体メモリカード）等の外部記憶装置である。
４０はネットワークインターフェースであって、電子楽器４１等の外部機器をバス３１に接続する。専用のＭＩＤＩインターフェースに限らず、汎用のインターフェースを用いて直結あるいはＬＡＮ（ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続されるほか、インターネット４２経由で、サーバ等に接続されたりする。
【００３１】
図７は、アニメーション表示画面５１の一例を示す説明図である。
図中、５２はキャラクタの格納庫、５３は自動車キャラクタ、５４は電車キャラクタ、５５は船キャラクタ、５６は飛行機キャラクタである。各キャラクタは、それぞれ異なる音色に対応しており、例えば、オルガン，ギター，フルート，ピアノに対応している。
シーケンサモジュール１３側で、ピアノパートが選択されたとき、飛行機キャラクタ５６が、スタート点に自動移動する。音楽再生が開始されると、飛行機キャラクタ５６は、飛行ルート５７（移動ルート）の上を、時間進行に従って移動する。等速度になるように、図２（ａ）に示したアニメーションデータファイルの表示シーケンス部を設計してもよい。図示の飛行ルート５７は、表示画面の右端をスタート地点とし、左端を終了地点とする曲線である。
飛行ルート５７は、複数のページにまたがっていてもよい。この場合、表示ページの端に到達すると自動的にページ切り替えがなされる。
また、終了地点に到るとスタート地点に戻って同じ経路を繰り返すようにしてもよい。
【００３２】
現在位置Ａの地点で、ユーザが飛行機キャラクタ５６にマウス１６のポインタを合わせて、マウス１６のボタンを左クリックし、移動位置Ｂの地点までドラッグ＆ドロップ５８することにより、飛行機キャラクタ５６をワープ（瞬間移動）させることができる。移動位置Ｂも飛行ルート５７上にあれば、ここから飛行機キャラクタ５６が時間進行とともに移動を開始するとともに、この移動位置Ｂに対応する再生位置から音楽再生が開始され、左端の終了地点まで自動演奏する。また、格納庫５２から、自動車キャラクタ５３を、移動ルート５９に示すように、現在位置Ａまでドラッグ＆ドロップ５９させたとき、音楽再生側では、音色がオルガンに自動変更され、かつ、現在位置Ａに対応する再生位置から再生が開始される。
スピードアップボタン６０，スピードダウンボタン６１のいずれかをマウス１６で、クリック操作すると、クリックオン中に、例えば、毎秒１５％ずつ移動速度がスピードアップ／スピードダウンするようにしている。この操作に連動して、音楽再生側において、テンポがアップ／ダウンする。
６２は、複数種類のアニメーションデータファイル（アニメーション番号）の中から１つを選択する画面を表示させるためのアイコンである。楽曲データは、後述する譜面表示画面で選択する。
【００３３】
上述した説明では、表示画面上でキャラクタの表示位置を移動させるために、マウス１６のポインタの表示位置を飛行機キャラクタ５６の表示位置と重ねた上で、ドラッグ＆ドロップ操作をしていた。
この他の操作として、アニメーション表示画面５１上の適当な個所で、マウス１６を単にドラッグ＆ドロップさせただけで、そのｘ座標あるいはｙ座標の値のに応じて、飛行機キャラクタ５６を飛行ルート５７上で移動させるようにしてもよい。
飛行ルート５７は、アニメーション表示画面５１上に可視表示するが、これを隠すようにすれば面白みが増す。
【００３４】
マウス１６をドロップ操作したときに、飛行機キャラクタ５６が飛行ルート５７上にないときは、飛行機キャラクタ５６の表示位置をそのままにしておいてもよいが、自動的に飛行ルート５７上の表示位置まで瞬間移動させてもよい。例えば、最も近い飛行ルート５７上の表示位置、あるいは、ドロップされたときの表示位置のｘ座標あるいはｙ座標と同じ座標をとる飛行ルート５７上の表示位置まで瞬間移動させることが考えられる。
上述したような、飛行機キャラクタ５６が飛行ルート５７を外れたときに、音楽再生の進行をどのようにするかについては、種々の方法が考えられる。
典型的には、音楽再生を停止させ、再び飛行ルート５７上に表示位置が設定されたときに、音楽再生をその再生位置から開始させる。飛行機キャラクタ５６に対応するメロディパートの演奏については音楽再生を停止させるが、伴奏パートがある場合には、伴奏を繰り返し再生させるようにしてもよい。
【００３５】
図８は、譜面表示画面７１の一例を示す説明図である。
図中、７２は譜面表示部である。上段がメロディパートの譜表であり、下段は伴奏パートの譜表である。各１段の表示であり、再生位置の進行とともに、次の再生位置の譜表に切り替わる。
７３〜７５は再生位置を区切るグリッド線であり、７３は小節線、７５は拍子線に対応する。７６は現在の再生位置を表示するカーソルである。時間進行に従って右方向に移動する。
７７は楽曲データを変更するために、複数種類の楽曲データ（曲番号）の中から１つを選択するための画面を表示させるためのアイコンである。最初はデフォルトの楽曲データが選択されている。楽曲絵本に添付された楽曲データに限らず、一般的な楽曲データを用いることも可能である。
この譜面表示モジュールで楽曲データの編集をすることができる。７８は変更した楽曲データを保存するためのアイコンである。
７９は、メロディパートの音色を設定するための選択画面を表示させるアイコンである。メロディパートの音色が図７に示したキャラクタ５３〜５６に対応する。メロディパートに割り当てるチャンネルを指定できるようにしてもよい。複数のパートを選択し、それぞれを複数のキャラクタに対応づけてアニメーション表示させてもよい。
【００３６】
８０，８１はテンポ変更用のアイコンである。８２〜８６は再生位置を制御するシーケンス操作用アイコン群である。８２は再生用のアイコンであり、楽曲データを記憶したメモリから演奏データの読み出しを開始したり、次の一時停止用のアイコン８３によって一時停止されていた時間進行を再開するために用いられる。８５は再生終了用のアイコンである。８６は現在の再生位置を小節単位で戻したり、進めたりするためのアイコンである。
上述したシーケンス操作用のアイコン群８２〜８６によって、音楽再生のシーケンスが制御され、それに対応して図７に示したキャラクタの表示位置が、連続的な動きを示したり、小節単位で瞬間移動したりする。
【００３７】
図９，図１０は、本発明の実施の一形態の動作を説明する第１，第２のフローチャートである。
図９（ａ）に示した全体アプリケーションは、電子楽曲絵本の処理の開始と終了を行うフローチャートである。
例えば、図３の変換モジュール１２で行うことができる。
この場合、変換モジュール１２は、図９（ｂ）に示した処理も同時に行う。すなわち、Ｓ１０１において、シーケンサモジュール１３またはアニメーション表示モジュール１１から処理要求の信号を受けるたびに、Ｓ１０２の相互変換処理を実行する。
【００３８】
図１０（ａ）は、アニメーション表示モジュール１１の処理を説明するフローチャートである。
Ｓ１１３において、図１０（ａ）に示した全体制御アプリケーションにより動作が制御される。
Ｓ１１４においてユーザ操作が検出され、Ｓ１１５においてアニメーション表示画面が変更されるとともに、変換モジュール１２にアクセスし、シーケンサモジュール１３側に変更された操作およびまたは操作量を転送する。
Ｓ１１７においては、変換モジュール１２を介してシーケンサモジュール１３側から転送を受けた情報が反映されるようにアニメーション表示画面５１を変更する。
図１０（ｂ）は、シーケンサモジュール１３の処理を説明するフローチャートである。
Ｓ１２５，Ｓ１２７において、図１０（ａ）とは逆方向の処理が行われる。
すなわち、Ｓ１２５においては譜表表示画面上の操作に応じて、Ｓ１２７においては受信した制御情報に応じて、音楽再生データおよび譜面表示が変更される。その際、Ｓ１２４，Ｓ１２６を一種の編集処理とみなして、メモリに記憶されている楽曲データを変更することも可能である。
【００３９】
上述した説明では、図３に示した、アニメーション表示モジュール１１、変換モジュール１２、シーケンサモジュール１３、音源モジュール１４を全て、パーソナルコンピュータ２側で実行していた。しかし、図９，図１０に示した変換モジュール１２、アニメーション表示モジュール１１、シーケンサモジュール１３の処理は、独立したプログラムで実行可能であるので、個々に別々のハードウェア装置で実行させて、全体として同一の機能を実現させることが可能である。
例えば、アニメーション表示モジュール１１および変換モジュール１２をパーソナルコンピュータ２側におき、シーケンサモジュール１３および音源モジュールを電子音楽装置１側に置くこともできる。
また、電子楽曲絵本は、ＣＤ−ＲＯＭや半導体メモリ等の記録媒体に記録されていて、パーソナルコンピュータ２あるいは電子音楽装置１にロードして利用されることも可能である。
【００４０】
図３に示した全てのモジュール（楽譜表示モジュール１３ａは必須ではない）を、ゲーム機、携帯電話端末等の通信端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、家電機器等に持たせることも可能である。機器に組み込まれたＣＰＵに制御プログラムを実行させることで実現できる。
単に電子楽曲絵本のコンテンツをダウンロードするだけでなく、各モジュールの機能を実現するプログラムをＪａｖａ（ＴＭ）アプレットとしてウェブサーバ４からダウンロードすることにより、ウェブブラウザ上で実行させることも可能である。
【００４１】
【発明の効果】
本発明は、上述した説明から明らかなように、楽しみが増し、かつ、面白く積極的に音楽再生を制御できるという効果がある。
理解力の高くないユーザが、音楽再生と動画表示との相互作用を体験することにより、音楽的な感覚が養われるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の一形態の全体構成を説明するシステム図である。
【図２】図１に示した実施形態で用いられる電子楽曲絵本のファイル構成例を示す説明図である。
【図３】図１の電子音楽装置およびパーソナルコンピュータ側で実行される、電子楽曲絵本利用システムの一例を示す説明図である。
【図４】図３に示した実施形態における、楽音の制御情報と表示オブジェクトとの対応関係の説明図である。
【図５】図３に示した実施形態における、キャラクタの表示位置の移動ルートと音楽の再生位置との対応関係の説明図である。
【図６】本発明の実施の一形態を実現するハードウェア構成図である。
【図７】本発明の実施の一形態における、アニメーション表示画面の一例を示す説明図である。
【図８】本発明の実施の一形態における、譜面表示画面の一例を示す説明図である。
【図９】本発明の実施の一形態の動作を説明する第１のフローチャートである。
【図１０】本発明の実施の一形態の動作を説明する第２のフローチャートである。
【符号の説明】
１…電子音楽装置、２…パーソナルコンピュータ、３…通信ネットワーク、４…ウェブサーバ、１１…アニメーション表示モジュール、１２…変換モジュール、１３…シーケンサモジュール、１３ａ…楽譜表示モジュール、１４…音源モジュール、５１…アニメーション表示画面、７１…譜面表示画面

Claims (4)

1. 時間進行に従って楽曲データを再生する音楽再生に対応づけて表示画面上に表示オブジェクトを動画表示させる音楽再生と動画表示の制御装置であって、
   前記音楽再生における楽音の少なくとも１つの制御情報と前記動画表示における表示オブジェクトの表示態様とを対応づけて、一方側の設定に応じて他方側を設定させる設定手段と、
   時間進行に従って変化する前記音楽再生の現在の再生位置に対応して、前記表示オブジェクトの表示位置を進行させる表示位置進行制御手段と、
   ユーザ操作により前記表示オブジェクトの表示位置が、前記音楽再生の現在の再生位置とは異なる再生位置に対応する表示位置に移動させられたときに、該異なる再生位置から前記時間進行を継続させる再生位置進行制御手段、
   を有することを特徴とする音楽再生と動画表示の制御装置。
2. 前記楽曲データは、演奏データが該演奏データの再生位置の情報とともに記述されたものであり、
   前記音楽再生は、前記演奏データに前記設定手段により設定された前記楽音の少なくとも１つの制御情報を反映させた上で、該演奏データを該演奏データの再生位置の情報に従って音源に出力することにより実行されるものである、
   ことを特徴とする請求項１に記載の音楽再生と動画表示の制御装置。
3. 前記演奏データに前記設定手段により設定された前記楽音の少なくとも１つの制御情報が反映された演奏データと該演奏データの再生位置の情報に従って、前記表示画面上に譜面を表示させるための譜面表示データを作成する譜面表示データ作成手段、
   を有することを特徴とする請求項２に記載の音楽再生と動画表示の制御装置。
4. 時間進行に従って楽曲データを再生する音楽再生に対応づけて表示画面上に表示オブジェクトを動画表示させる音楽再生と動画表示の制御プログラムであって、
   前記音楽再生における楽音の少なくとも１つの制御情報と前記動画表示における表示オブジェクトの表示態様とを対応づけて、一方側の設定に応じて他方側を設定させる設定ステップと、
   時間進行に従って変化する前記音楽再生の現在の再生位置に対応して、前記表示オブジェクトの表示位置を進行させる表示位置進行制御ステップと、
   ユーザ操作により前記表示オブジェクトの表示位置が、前記音楽再生の現在の再生位置とは異なる再生位置に対応する表示位置に移動させられたときに、該異なる再生位置から前記時間進行を継続させる再生位置進行制御ステップ、
   をコンピュータに実行させることを特徴とする音楽再生と動画表示の制御プログラム。

Images