JP2004037575A - 演奏処理装置、演奏処理プログラムおよびファイル生成装置 - Google Patents

Abstract

【課題】利用者による演奏動作に際して画像を表示させる構成のもとにあっても、利用者が容易に演奏を楽しむことができるようにする。
【解決手段】外部記憶装置１０３は、楽曲を構成する音を示す楽曲データと画像を示す画像データとを含む演奏ファイルを記憶している。受信機１０５は、利用者の動作または身体状態を検出するセンサ３０３が設けられた操作子３０から、その検出結果に応じた検出情報を受信する。ＣＰＵ１０１は、楽曲データに基づいてスピーカ２１から音を出力させるとともに、その音出力のテンポを検出情報に基づいて制御する。さらに、ＣＰＵ１０１は、音出力の進行状況に応じたタイミングで、画像データが示す画像を表示装置２２に表示させる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、スピーカなどの音出力装置から発せられる音を利用者の動作または身体状態に応じて制御する技術に関し、特に、音の出力とともに画像を表示装置に表示させる演奏処理装置、コンピュータを演奏処理装置として機能させるための演奏処理プログラム、および演奏処理装置による音出力および画像表示に供されるファイルを生成するファイル生成装置に関する。
【０００２】
【従来の技術】
利用者による楽器の演奏や歌唱に際して、楽譜や歌詞などの画像を表示装置に表示させる装置が従来より提供されている。この装置によれば、利用者は、表示画像に追従するように演奏動作（楽器の演奏や歌唱など）を行なうことによって演奏の練習を行なうことができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、この種の装置においては、表示装置に画像が表示されるタイミングやその画像の内容が、利用者の演奏動作とは無関係に予め決められたものであった。このため、演奏動作に慣れていない初心者や身体機能に障害を持った人など何らかの理由で演奏動作を円滑に行なうことができない利用者にとっては、演奏動作を画像表示に追従させることが困難であり、ひいては演奏の楽しみを損なわせる原因となっていた。
【０００４】
本発明は、以上説明した事情に鑑みてなされたものであり、利用者による演奏動作に際して画像を表示させる構成のもとにあっても利用者が容易に演奏を楽しむことができる演奏処理装置、コンピュータをこの演奏処理装置として機能させるための演奏処理プログラム、および上記演奏処理装置による演奏処理のために供されるファイルを生成するファイル生成装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の特徴は、楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段と、利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する検出情報取得手段と、前記楽曲データに基づいて音出力装置から音を出力させる手段であって、当該音出力装置による音出力の進行度を前記検出情報に基づいて制御する音出力制御手段と、前記音出力装置による音出力の進行状況に応じたタイミングで、前記画像データが示す画像を表示装置に表示させる表示制御手段とを具備することにある。
【０００６】
この構成によれば、音出力の進行度（例えばテンポ）が利用者の動作または身体状態に応じて制御されるとともに、音出力の進行状況に応じて表示装置に画像が表示されるようになっている。すなわち、利用者の動作または身体状態に応じたタイミングで（すなわち利用者の動作または身体状態に追従するように）画像が表示されることとなる。このため、予め固定的に定められたタイミングで画像を表示させる構成と比較して、利用者は容易に演奏動作を楽しむことができる。ここで、「進行度」とは、楽曲を構成する音の出力が進行する程度を意味する。したがって、「進行度を制御する」とは、例えば楽曲のテンポ（進行速度）や一拍に相当する時間長を調整するといった具合に、音出力（楽曲演奏）の進行の時間的な程度を検出情報に応じて調整するという意味である。
【０００７】
この構成においては、音出力制御手段が、テンポ情報または拍情報により規定される音出力の進行度を前記検出情報に基づいて調整するようにしてもよい。ここで、テンポ情報とは、音出力のテンポ（楽曲の演奏速度）を数値にて指定する情報である。一方、拍情報とは、楽曲の拍子を指定する情報である。具体的には、一拍に相当する時間長を指定する情報、時系列的に隣り合う２つの拍の時間的なバランスなどを指定する情報、あるいは楽曲のリズムを指定する情報などを拍情報として利用することができる。
【０００８】
この構成において、前記楽曲データがそれぞれ異なるパートの音を示す複数のパートデータを含むものである場合には、前記検出情報取得手段が、それぞれ１または複数のパートに対応する複数の操作子から検出情報を取得し、前記音出力制御手段が、各操作子に対応する１または複数のパートに係る音出力の進行度を当該操作子から取得された前記検出情報に基づいて制御する一方、前記表示制御手段が、各操作子に対応する１または複数のパートごとに、当該パートの音出力の進行状況に応じて、前記画像データが示す画像を表示装置に表示させることが好ましい。この好ましい態様においては、複数の操作子の各々に１または複数のパートが割り当てられているから、複数の利用者によって演奏を楽しむことができる。また、各利用者の動作または身体状態に応じたタイミングで、当該利用者について用意された画像が表示されるようになっているから、他の利用者の動作または身体状態に応じたタイミングで表示された画像と自分の動作または身体状態に応じたタイミングで表示された画像とを見比べるといった新たな楽しみが提供される。
【０００９】
このように利用者ごとに画像を表示する構成のもとで、各パートの音出力の進行状況に応じて表示装置に表示させるべき画像が複数となったときには、前記表示装置の表示領域を分割した複数の領域に当該複数の画像をそれぞれ表示させるようにしてもよいし、複数の表示装置に当該複数の画像をそれぞれ表示させるようにしてもよい。さらに、表示制御手段が、前記表示装置に表示された画像の態様を、前記音出力装置による音出力の進行状況に応じて制御する構成としてもよい。
【００１０】
また、上記課題を解決するために、本発明の第２の特徴は、楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段と、利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する検出情報取得手段と、前記楽曲データに基づいて音出力装置から音を出力させる手段であって、当該音出力装置によって出力される音を前記検出情報に応じて制御する音出力制御手段と、前記記憶手段に記憶された画像データが表す画像を、前記検出情報に応じた態様にて表示装置に表示させる表示制御手段とを具備することにある。
【００１１】
この構成によれば、利用者の動作または身体状態に応じて画像表示の態様が制御されるようになっているから、予め定められた画像を固定的な態様にて表示させる構成と比較して、利用者が演奏動作を容易に楽しむことができる。また、利用者の動作や身体状態が反映された興趣性・多様性に富む画像が提供される。
【００１２】
この構成において、前記楽曲データがそれぞれ異なるパートの音を示す複数のパートデータを含むものである場合には、前記検出情報取得手段が、それぞれ１または複数のパートに対応する複数の操作子から検出情報を取得し、前記音出力制御手段が、各操作子に対応する１または複数のパートの音を当該操作子から取得された前記検出情報に基づいて制御する一方、前記表示制御手段が、各操作子に対応する１または複数のパートごとに、当該操作子から取得された検出情報に応じた態様にて前記画像データが示す画像を表示させる構成が好ましい。この好ましい態様によれば、複数の操作子の各々に１または複数のパートが割り当てられているから、複数の利用者によって演奏を楽しむことができるとともに、他の利用者の動作または身体状態に応じた態様にて表示された画像と、自分の動作または身体状態に応じた態様にて表示された画像とを見比べるといった新たな楽しみが提供される。
【００１３】
なお、本発明に係る演奏処理装置において表示装置による表示画像の態様を表示制御手段が制御する構成を採用した場合、その制御対象となる画像の態様としては、画像の明るさ、色合い、解像度または大きさなどが考えられる。もちろん、表示画像の内容自体を検出情報に応じて切り替えるようにしてもよい。
【００１４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。以下に示す実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲内で任意に変更可能である。
【００１５】
＜Ａ：第１実施形態＞
まず、図１を参照して、本発明の第１実施形態に係る演奏システムの全体構成を説明する。同図に示すように、この演奏システムは、演奏処理装置１０、サウンドシステム２０、スピーカ２１、表示装置２２および複数の操作子３０を有する。このうちサウンドシステム２０および表示装置２２は演奏処理装置１０に接続されている。
【００１６】
表示装置２２は、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）や液晶表示パネルなどを備え、演奏処理装置１０による制御のもとに各種の画像を表示する。一方、サウンドシステム２０およびスピーカ２１は、演奏処理装置１０による制御のもとに楽音を出力するための装置である。すなわち、サウンドシステム２０は、楽音の波形を表すデジタルデータ（以下、「楽音波形データ」という）を演奏処理装置１０から受け取ってこれをアナログ信号に変換するＤ／Ａ変換器と、Ｄ／Ａ変換器から出力されたアナログ信号を増幅するアンプとを有する。また、スピーカ２１は、サウンドシステム２０から出力されたアナログ信号を音として出力するための装置である。なお、スピーカ２１に代えて、耳に装着可能なイヤホンやヘッドホンを用いることもできる。
【００１７】
複数の操作子３０の各々は、利用者によって所持されまたは利用者の身体に装着されて当該利用者の動作を検出し、この検出結果を表す情報（以下、「検出情報」という）を演奏処理装置１０に送信するための装置である。図２に示すように、本実施形態に係る操作子３０は、利用者によって把持され得る略筒状の長尺状部材である。より具体的には、操作子３０は、その長手方向における中央部近傍の直径が両端部の直径よりも小さくなるように、両端部から中央部近傍に向かってテーパ状をなす形状となっている。利用者は、この操作子３０の中央部近傍を把持したうえで、当該操作子３０を任意に揺らしたり振り回したりする。
【００１８】
図３は、ひとつの操作子３０の内部構成を示すブロック図である。この図に示すように、操作子３０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、センサ３０３および送信機３０４を有する。このうちＣＰＵ３０１は、ＲＯＭ３０２に格納されたプログラムを実行することによって当該操作子３０全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１によって実行されるプログラムのほか、当該操作子３０に対して一意に割り当てられた識別情報を記憶している。
【００１９】
センサ３０３は、利用者の動作に応じた電気信号、換言すれば利用者の動作に伴なう当該操作子３０の移動に応じた電気信号をＣＰＵ３０１に出力するための装置である。ただし、本実施形態においては、２次元速度センサをセンサ３０３として用いた場合を想定する。すなわち、図２に示すように、操作子３０の長手方向と直交する面内において相互に直交する２軸をそれぞれＸ軸およびＹ軸とすると、本実施形態におけるセンサ３０３は、操作子３０の移動速度のＸ軸方向成分に応じた電気信号とＹ軸方向成分に応じた電気信号とを出力する。一方、ＣＰＵ３０１は、センサ３０３から供給される電気信号に基づいて、Ｘ軸方向の速度とＹ軸方向の速度とを表す検出情報を生成する。
【００２０】
図３に示す送信機３０４は、演奏処理装置１０との間で通信を行なうための装置である。具体的には、送信機３０４は、ＣＰＵ３０１によって生成された検出情報を当該操作子３０の識別情報とともに演奏処理装置１０に送信する。送信機３０４と演奏処理装置１０との間で行なわれる通信の方式としては、赤外線通信やＢｌｕｅＴｏｏｔｈ（登録商標）に準拠した無線通信のほか、送信機３０４と演奏処理装置１０とを相互に接続する通信線を介した有線通信などを採用することができる。
【００２１】
一方、演奏処理装置１０は、楽曲を構成する音をスピーカ２１から発生させるとともに、この楽曲の進行度を各操作子３０から受信した検出情報に基づいて制御する装置である。さらに、演奏処理装置１０は、楽曲の進行状況に応じたタイミングで表示装置２２に画像を表示させるようになっている。ここで、楽曲の「進行度」とは、楽曲演奏（スピーカ２１からの音出力）の進行の程度（度合い）を意味する。そして、「検出情報に基づいて進行度を調整する」とは、例えば楽曲のテンポ（進行速度）や一拍の時間長を検出情報に応じて調整するといった具合に、楽曲の進行状況を検出情報に応じて異ならせるすべての処理を含む概念である。ただし、本実施形態においては、検出情報に応じて楽曲のテンポを制御する場合を想定する。
【００２２】
図４に示すように、この演奏処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２、外部記憶装置１０３、入力装置１０４、受信機１０５、音源回路１０６、効果付与回路１０７および表示制御回路１０８を有する。これらの各部はバス１２０を介して相互に接続されている。
【００２３】
ＣＰＵ１０１は、外部記憶装置１０３や図示しないＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に格納されたプログラムを実行することによって当該演奏処理装置１０の各部を制御する。ＲＡＭ１０２は、ＣＰＵ１０１によって主記憶として使用される。すなわち、ＲＡＭ１０２は、ＣＰＵ１０１によって実行されるプログラムやプログラムの実行に際して使用されるデータなどを一時的に記憶する。
【００２４】
外部記憶装置１０３は、例えばハードディスクドライブ、フレキシブルディスクドライブ、光磁気ディスクドライブまたはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）ドライブなどであり、ＣＰＵ１０１によって実行されるプログラムを記憶している。このプログラムとしては、楽曲の演奏および画像の表示を操作子３０から送信された検出情報に応じて制御するための演奏処理プログラムがある。
【００２５】
また、外部記憶装置１０３は、それぞれひとつの楽曲に対応した複数の演奏ファイルを記憶している。図５は、ひとつの楽曲に対応する演奏ファイルの構成を示す図である。同図に示すように、演奏ファイルは、ヘッダチャンク、楽曲データチャンク、パート規定チャンクおよび画像データチャンクを含んでいる。このうちヘッダチャンクには、その楽曲や演奏ファイルに関する種々の情報、例えば当該演奏ファイルのデータ形式やデータ長を表すデータ、およびひとつの四分音符に相当する時間（以下、「単位時間」という）の長さを表すデータなどが含まれている。
【００２６】
ここで、本実施形態において演奏対象となる楽曲は、それぞれ音色や音高を異にする複数のパートから構成されているものとする。そして、各操作子３０には楽曲を構成する複数のパートのうち１または複数のパートが割り当てられており、各操作子３０から送信された検出情報に応じて、当該操作子３０に割り当てられた１または複数のパートに含まれる楽音が適宜に変更されるようになっている。演奏ファイルのうちパート規定チャンクは、この割り当て内容を規定するためのデータである。すなわち、図６に示すように、パート規定チャンクは、各操作子３０の識別情報と、楽曲に含まれる１または複数のパートの番号とが対応付けられたテーブルを表す。図６においては、識別情報が「ＩＤａ」である操作子３０に「パート＃１」が割り当てられ、識別情報が「ＩＤｃ」である操作子３０に「パート＃３」および「パート＃４」の２つのパートが割り当てられている、といった具合である。
【００２７】
一方、楽曲データチャンクは、楽曲を構成する楽音を指定するデータの集合である。ひとつの楽曲データチャンクには、それぞれ異なるパートに対応する複数のデータ（以下、「パートデータ」という）が含まれている。各パートデータは、図７に示すように、デルタタイム（Δ）とイベントとからなる多数の組がシーケンシャルに配列されたデータ列である。各イベントは、音高を表すノートナンバと、楽音の発生を示すノートオンイベントまたは楽音の消音を示すノートオフイベントと、発音の強度を表すベロシティとを含んでいる。他方、デルタタイムは、時系列的に前後する２つのイベントを音源回路１０６に対して出力すべき時間間隔を示すデータである。すなわち、ＣＰＵ１０１は、あるイベントを音源回路１０６に出力してからデルタタイムに相当する時間長が経過したタイミングで次のイベントを音源回路１０６に出力する。ここで、デルタタイムを計時するためのタイミングクロックは、ひとつの操作子３０に割り当てられた１または複数のパートごとに、図示しないクロック発生器によって生成されている。したがって、各タイミングクロックの周期を独立に変化させることにより、ひとつの操作子３０に対応付けられた１または複数のパートごとにテンポを変化させることができる。
【００２８】
次に、図８に示すように、画像データチャンクには、複数の操作子３０の各々について用意された複数の画像データ列が含まれている。各画像データ列は、設定拍数と画像データとからなる多数の組がシーケンシャルに配列されたデータ列である。このうち設定拍数は、当該設定拍数と組をなす画像データの示す画像が表示装置２２に表示されるべきタイミングを示す。本実施形態においては、楽曲が演奏される期間のうち各画像データに基づいて画像が表示されるべきタイミングが、ヘッダチャンクに含まれる単位時間を一拍として楽曲の開始時点から計数したときの拍数として指定されている。図８を例にとると、識別情報が「ＩＤａ」である操作子３０について用意された画像ａ１は、楽曲の演奏開始からの拍数がＮａ１となったタイミングで表示装置２２に表示されるといった具合である。
【００２９】
次に、図４に示す入力装置１０４は、利用者によって操作される複数のボタンを備え、この操作に応じた信号をＣＰＵ１０１に出力する。また、受信機１０５は、各操作子３０との間で通信を行なうための装置である。すなわち、受信機１０５は、各操作子３０から送信された検出情報を受信し、この検出情報をＣＰＵ１０１に出力する。
【００３０】
音源回路１０６は、ＣＰＵ１０１からイベントが与えられると、このイベントに対応した楽音の波形を表す楽音波形データを生成する回路である。音源回路１０６はそれぞれ異なるパートに対応する複数のチャネルを有する。各チャネルには当該チャネルに対応するパートデータのイベントが入力される。この構成のもと、各パートの楽音波形データが音源回路１０６から並行して出力される。
【００３１】
一方、効果付与回路１０７は、音源回路１０６から出力された楽音波形データに対して各種の効果を付与するための回路である。この効果付与回路１０７によって各パートの楽音波形データに付与される効果の内容および程度は、当該パートに対応する操作子３０から受信された検出情報に基づいてＣＰＵ１０１が決定する。効果付与回路１０７によって付与される効果としては、リバーブやエコーに代表される残響効果など種々の効果が挙げられるが、本実施形態においてはリバーブが付与される場合を想定する。この場合、検出情報の内容に応じてリバーブ時間（残響の深さ）が増減されることとなる。
【００３２】
次に、表示制御回路１０８は、ＣＰＵ１０１からの指示に応じて表示装置２２に画像を表示させるための回路である。この表示制御回路１０８は、表示装置２２に表示すべき１画面分の画像データを記憶するＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０９を備えている。画像データチャンク内の設定拍数に応じたタイミングでＣＰＵ１０１から画像データが与えられると、表示制御回路１０８はこの画像データをＶＲＡＭ１０９に書き込む。この画像データは、一定の走査周期に同期して１ラインずつ読み出されて表示装置２２に供給される。
【００３３】
次に、本実施形態に係る演奏システムの動作を説明する。
利用者によって入力装置１０４に所定の操作がなされると、ＣＰＵ１０１は、外部記憶装置１０３に記憶された演奏処理プログラムをＲＡＭ１０２に読み込んだうえでこれを順次に実行する。図９は、この演奏処理プログラムのメインルーチンを表すフローチャートである。
【００３４】
まず、利用者により演奏処理装置１０の入力装置１０４が操作されて演奏すべき楽曲が選択されると、ＣＰＵ１０１は、選択された楽曲に対応する演奏ファイルをＲＡＭ１０２に読み込む（ステップＳ１０）。次いで、ＣＰＵ１０１は、演奏に関する初期設定を実行する（ステップＳ１１）。この初期設定においては、例えば、ヘッダチャンクに含まれる単位時間が四分音符に相当する時間長として設定される。
【００３５】
この後、利用者によって入力装置１０４に所定の操作がなされて演奏開始の指示が与えられると、ＣＰＵ１０１は楽曲の演奏処理を行なう（ステップＳ１２）。この演奏処理は、楽曲の全部にわたって演奏が完了するまで繰り返し実行される（ステップＳ１３；Ｎｏ）。
【００３６】
一方、各利用者は、自分が所持する操作子３０の電源を投入した後、演奏処理装置１０による演奏処理に伴なってその操作子３０を任意に揺らしたり振ったりする。各操作子３０のＣＰＵ３０１は、一定時間間隔ごとに、センサ３０３からの出力信号に応じた検出情報とＲＯＭ３０２に格納された識別情報とを送信機３０４から送信する。
【００３７】
次に、図１０を参照して、上述した演奏処理（ステップＳ１２）の具体的な内容について説明する。同図に示すように、ＣＰＵ１０１は、複数の操作子３０の各々についてステップＳ１２２からＳ１２６までの処理を実行する。そして、すべての操作子３０について処理が完了すると（ステップＳ１２１；Ｙｅｓ）、図９に示したステップＳ１３に戻る。以下では、複数の操作子３０のうちステップＳ１２２からＳ１２６までの処理の対象となっている操作子３０を、特に「対象操作子３０」と表記する場合がある。
【００３８】
ステップＳ１２２において、ＣＰＵ１０１は、対象操作子３０から受信機１０５を介して受信した検出情報に基づいて、この操作子３０を所持している利用者の動作を解析する。具体的には、ＣＰＵ１０１は、対象操作子３０から受信した検出情報に基づいて、当該対象操作子３０の速度のＹ軸方向成分の向きが逆転する時点を速度極小点として認識するとともに、時系列的に前後する２つの速度極小点の時間間隔を検出する。さらに、ＣＰＵ１０１は、検出情報に含まれる速度のＸ方向成分とＹ方向成分とから、対象操作子３０の移動速度を算出する。
【００３９】
次いで、ＣＰＵ１０１は、ステップＳ１２２における解析結果に基づいて、対象操作子３０に割り当てられた１または複数のパートのテンポと効果パラメータとを決定する（ステップＳ１２３）。具体的には以下の通りである。まずＣＰＵ１０１は、対象操作子３０の速度極小点の時間間隔に応じてテンポを増減させる。例えば、速度極小点の時間間隔が小さい場合、すなわち対象操作子３０が小刻みに振られている場合にはテンポを速める。一方、速度極小点の時間間隔が大きい場合、すなわち対象操作子３０が大きい振幅をもって振られている場合にはテンポを遅くする。テンポの遅速は、デルタタイムの計数に用いられるタイミングクロックの周期を変化させることによって調整される。また、ＣＰＵ１０１は、操作子３０の移動速度に応じてリバーブ時間を増減させる。例えば、移動速度が大きい場合、すなわち操作子３０が素早く振られている場合にはリバーブ時間として短い時間を効果付与回路１０７に指示する。一方、移動速度が小さい場合、すなわち操作子３０がゆっくりと振られている場合にはリバーブ時間として長い時間を効果付与回路１０７に指示する。
【００４０】
次いで、ＣＰＵ１０１は、対象操作子３０に割り当てられたパートデータのイベント処理を行なう（ステップＳ１２４）。すなわち、ＣＰＵ１０１は、対象操作子３０に対応するタイミングクロックのクロック数に基づいてデルタタイムが経過したと判定したときに当該デルタタイムの直後のイベントを音源回路１０６に出力する。これに対し、未だデルタタイムが経過していないと判定したときにはイベントの出力を行なわない。
【００４１】
音源回路１０６は、いずれかのパートのイベントが当該パートに対応するチャネルに入力されると、このイベントに応じた楽音波形データを出力する。一方、効果付与回路１０７は、音源回路１０６から出力された楽音波形データに対し、ステップＳ１２３におけるＣＰＵ１０１からの指示に応じたリバーブを付与して出力する。この結果、ひとつの操作子３０に割り当てられた１または複数のパートごとに、その操作子３０の利用者の動作に応じたリバーブの付与された楽音が、当該利用者の動作に応じたテンポで出力されることとなる。
【００４２】
一方、ＣＰＵ１０１は、タイミングクロックと単位時間の時間長に相当するクロック数とに基づいて、ひとつの操作子３０に割り当てられた１または複数のパートごとに、楽曲の演奏開始時点から現在までの拍数（以下、「現拍数」という）をカウントしている。そして、ステップＳ１２５において、ＣＰＵ１０１は、画像データチャンクのうち対象操作子３０の画像データ列に含まれる設定拍数のいずれかと現拍数とが一致するか否かに応じて、この画像データ列中の画像を表示すべきタイミングが到来したか否かを判定する。すなわち、ＣＰＵ１０１は、設定拍数と現拍数とが一致した場合には画像表示のタイミングが到来したと判定する。この場合、ＣＰＵ１０１は、当該設定拍数に対応する画像データをＲＡＭ１０２から読み出して表示制御回路１０８に出力し（ステップＳ１２６）、その後ステップＳ１２１に処理を移行する。これに対し、設定拍数と現拍数とが一致していない場合には未だ画像表示のタイミングが到来していないことを意味しているから、ＣＰＵ１０１は、ステップＳ１２６の処理を経ることなくステップＳ１２１に処理を移行する。この後、ＣＰＵ１０１は、他の操作子３０についてもステップＳ１２２からステップＳ１２６までの処理を繰り返し、すべての操作子３０について処理が完了すると図９のステップＳ１３に処理を移行する。
【００４３】
一方、表示制御回路１０８は、ステップＳ１２６においてＣＰＵ１０１から供給された画像データをＶＲＡＭ１０９に格納する。この結果、各操作子３０に対応付けられた画像が設定拍数に応じたタイミングで表示装置２２に表示される。ここで、一拍の時間長は、ひとつの操作子３０に割り当てられた１または複数のパートごとに、その操作子３０の利用者の動作に応じて変化する。したがって、ある操作子３０について用意された画像は、当該操作子３０に割り当てられた１または複数のパートの進行状況に応じたタイミングにて表示されることとなる。
【００４４】
ところで、現拍数が、複数の操作子３０に関する設定拍数を超えると、これらの操作子３０に対応する複数の画像を表示装置２２に表示する必要が生じる。この場合、表示制御回路１０８は、表示すべき画像の数に応じて表示装置２２の表示領域を分割した各領域に画像が表示されるように、複数の画像の画像データをＶＲＡＭ１０９に格納する。以下、図１１を参照して、この分割表示の具体例を説明する。なお、ここでは、識別情報が「ＩＤａ」である操作子３０に「パート＃１」が割り当てられ、識別情報が「ＩＤｂ」である操作子３０に「パート＃２」が割り当てられ、識別情報が「ＩＤｃ」である操作子３０に「パート＃３」および「パート＃４」が割り当てられている場合を想定する。また、識別情報が「ＩＤａ」である操作子３０に対応した設定拍数のうち、ひとつ目の設定拍数Ｎａ１は「３」であり、２つ目の設定拍数Ｎａ２は「１５」であるものとする。さらに、識別情報が「ＩＤｂ」である操作子３０、および「ＩＤｃ」である操作子３０のひとつ目の設定拍数Ｎｂ１、Ｎｃ１は、それぞれ「８」、「１２」であるものとする。
【００４５】
まず、「パート＃１」の現拍数が３拍目（＝Ｎａ１）に至ったタイミングで、画像ａ１が表示装置２２の全表示領域にわたって表示される（図１１の（１））。次いで、「パート＃２」の現拍数が８拍目（＝Ｎｂ１）に至ると、表示すべき画像が画像ａ１と画像ｂ１の２つとなる。この場合には、表示装置２２の表示領域が２つに分割され、このうち一方の領域に画像ａ１が、他方の領域に画像ｂ１がそれぞれ同時に表示される（図１１の（２））。さらに、「パート＃３」および「パート＃４」の現拍数が１２拍目（＝Ｎｃ１）に至ると、画像ａ１および画像ｂ１に加えて画像ｃ１も表示対象となる。この場合には、表示装置２２の表示領域が３つに分割され、このうち左側の領域に画像ａ１が、中央の領域に画像ｂ１が、右側の領域に画像ｃ１が、それぞれ同時に表示される（図１１の（３））。なお、「パート＃１」の現拍数が２つ目の設定拍数Ｎａ２「１５」に至った場合、表示領域の分割数（つまり表示画像数）は変化することなく、それまでに表示されていた画像ａ１が画像ａ２に切り替わる（図１１の（４））。
【００４６】
以上説明したように、本実施形態によれば、利用者の動作に応じたタイミングで表示装置２２に画像が表示されるため、予め固定的に（すなわち利用者の動作に依存せずに）定められたタイミングで画像を表示させる場合と比較して、利用者は容易に演奏動作を楽しむことができる。また、表示画像を視認することによって、利用者は自分の動作が演奏に反映されていることを直感的に認識することができる。
【００４７】
さらに、楽曲の進行状況に応じて表示装置２２に表示すべき画像が複数となったときには、表示装置２２の表示領域を分割した各領域にこれらの画像が同時に表示される。したがって、ひとつの表示装置２２で複数の利用者が演奏を楽しむことができ、演奏システムのコストを低く抑えることができる。
【００４８】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、本実施形態に係る演奏システム、および同システムを構成する操作子３０や演奏処理装置１０の構成は、上記第１実施形態に示した構成と共通する。したがって以下では、本実施形態に係る演奏システムのうち上記第１実施形態とは異なる部分を中心に説明し、共通する部分についてはその説明を適宜に省略する。
【００４９】
上記第１実施形態においては、検出情報に応じて楽曲のテンポを制御するとともに、その楽曲の進行状況に応じて表示装置２２に画像を表示させるものとした。これに対し、本実施形態においては、表示装置２２の表示領域を分割した領域が各操作子３０にそれぞれ割り当てられて各領域に画像が表示される一方（図１４参照）、各画像の表示態様が、その表示領域に対応する操作子３０から送信された検出情報に応じて変化するようになっている。
【００５０】
本実施形態に用いられる演奏ファイルの構成は、画像データチャンクを除いて、図５から図７に示したものと同様である。ここで、図１２は、本実施形態に係る演奏ファイルに含まれる画像データチャンクの構成を示す図である。同図に示すように、この画像データチャンクは、それぞれ異なる画像を表す複数の画像データを含んでいる。各画像データには利用者の動作内容に関する情報（以下、「動作情報」という）が対応付けられている。そして、ＣＰＵ１０１によって検出情報に応じた利用者の動作内容が検知されると、この動作内容を示す動作情報に対応付けられた画像データに基づいて表示装置２２に画像が表示される。すなわち、各操作子３０ごとに、その操作子３０を所持する利用者の動作に応じた画像が表示されるのである。本実施形態においては、操作子３０の移動に応じた２つの速度極小点の時間間隔と操作子３０の移動速度とが動作情報として含まれるものとする。
【００５１】
次に、本実施形態の動作を説明する。まず、利用者による入力装置１０４への操作を契機として、ＣＰＵ１０１は図９に示したメインルーチンを実行する。図１３は、このメインルーチンのステップＳ１２において実行される演奏処理の内容を示すフローチャートである。同図に示すように、本実施形態に係る演奏処理において、ＣＰＵ１０１は、図１０に示した演奏処理のステップＳ１２５およびステップＳ１２６に代えて表示画像切替処理を行なう（ステップＳ１２７）。
【００５２】
このステップＳ１２７において、ＣＰＵ１０１は、処理対象となっている演奏ファイルの画像データチャンクのうち、ステップＳ１２２において解析された動作に対応する動作情報を検索する。さらに、ＣＰＵ１０１は、検索された動作情報に対応付けられた画像データを読み出し、この画像データを対象操作子３０の識別情報とともに表示制御回路１０８に出力する。上記第１実施形態と同様に、ＣＰＵ１０１はステップＳ１２２からＳ１２７までの処理をすべての操作子３０について実行した後に、図９に示したステップＳ１３に処理を移行する。
【００５３】
一方、表示制御回路１０８は、ＣＰＵ１０１から受信した画像データおよび識別情報に基づいて、表示装置２２の表示領域を分割した複数の領域（以下、「分割表示領域」という）のうち対象操作子３０に割り当てられた分割表示領域に画像を表示させる。この処理がすべての操作子３０について実行される結果、表示装置２２の各分割表示領域には、その領域に対応する操作子３０を所持している利用者の動作に応じた画像が表示されることとなる。図１４は、本実施形態における表示装置２２の具体的な表示内容を示す図である。なお、同図においては６つの操作子３０が用いられている場合を想定しているため、表示装置２２の表示領域２３を６等分した分割表示領域２３０（２３０ａ、２３０ｂ、２３０ｃ、２３０ｄ、２３０ｅおよび２３０ｆ）に、各操作子３０を所持する利用者の動作に応じた画像が表示されている。なお、以下では、分割表示領域２３０ａに対応する操作子３０の利用者を「利用者ａ」、分割表示領域２３０ｂに対応する操作子３０の利用者を「利用者ｂ」といった具合に表記するものとする。
【００５４】
いま、利用者ａと利用者ｂとが同様の動作を行なっているものとする。この場合、図１４に示すように、分割表示領域２３０ａと分割表示領域２３０ｂにはこの動作に応じた同一の画像が表示される。分割表示領域２３０ｃと分割表示領域２３０ｅ、または分割表示領域２３０ｄと分割表示領域２３０ｆについても同様である。
【００５５】
また、各分割表示領域２３０による表示画像の内容は、各利用者の動作に応じたものとなる。例えば、いま、利用者ａおよび利用者ｂが素早く（スムーズに）動作し、利用者ｃおよび利用者ｅがゆっくりと（ぎこちなく）動作し、利用者ｄおよび利用者ｆがその中間程度の速さで動作しているものとする。このとき、分割表示領域２３０ａおよび分割表示領域２３０ｂには上を向いた人物のシルエットが表示され、分割表示領域２３０ｄおよび分割表示領域２３０ｆには戸惑った人物のシルエットが表示され、分割表示領域２３０ｃおよび分割表示領域２３０ｅには転倒した人物のシルエットが表示されるといった具合である。
【００５６】
このように本実施形態によれば、各利用者の動作に応じて表示画像が切り替えられるため、操作子３０を用いた演奏動作を容易に楽しむことができる。また、表示画像を利用者の動作が反映された興趣性や多様性に富んだものとすることができる。さらに、表示画像を視認することによって、利用者は自分の動作が演奏に反映されていることを直感的に認識することができる。
【００５７】
なお、ここでは、表示画像自体を利用者の動作に応じて切り替える構成としたが、表示画像の内容を切り替えずに、表示に関わる各種のパラメータを利用者の動作に応じて変更するようにしてもよい。例えば、分割表示領域２３０に表示される画像の明るさを、利用者の動作に応じて変化させるといった具合である。表示に関わるパラメータとしては、画像の明るさのほかにも、色合いや解像度、画像の大きさなどが考えられる。図１５は、表示画像の大きさを変化させる構成とした場合の表示装置２２による表示例を示す図である。同図の例では、画像ｃに対応する操作子３０を所持する利用者、画像ｅに対応する操作子３０を所持する利用者、および画像ｆに対応する操作子３０を所持する利用者の動作が、他の利用者よりも遅い（ぎこちない）場合を想定しているため、画像ｃ、画像ｅおよび画像ｆが他の画像（画像ａ、画像ｂおよび画像ｄ）と比較して小さく表示されている。
【００５８】
また、表示に関するパラメータの調整に代えてまたはこれとともに、各利用者の動作に応じて、画像をモザイク表示を表示するか否かを切り替えたり、モノクロ表示またはカラー表示を切り替えたりしてもよい。要するに、本実施形態においては、利用者の動作を表す検出情報に応じて、画像の表示態様が変化させられる構成であればよい。
【００５９】
＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態に係る通信システムについて説明する。この通信システムは、本発明に係る演奏処理装置に対して演奏ファイルを提供するためのシステムである。なお、ここでは、上記第１実施形態に係る演奏ファイルを提供するためのシステムを例示する。
【００６０】
図１６は、本実施形態に係る通信システムの構成を示すブロック図である。同図に示すように、このシステムは、インターネットや公衆交換電話網などを含む通信ネットワーク６０と、この通信ネットワーク６０に接続されたファイル生成装置５０と、本発明に係る演奏処理装置１０とを有する。なお、図１６においては図面が煩雑になるのを防ぐためにファイル生成装置５０と演奏処理装置１０とがひとつずつ図示されているが、実際にはより多数のファイル生成装置５０および演奏処理装置１０が通信ネットワーク６０に接続されている。
【００６１】
演奏処理装置１０は上記各実施形態と同様の構成である。ただし、本実施形態に係る演奏処理装置１０は、図４に示した各部に加えて、バス１２０に接続された通信装置１１０を備えている。この通信装置１１０は、ファイル生成装置５０との間で通信ネットワーク６０を介した通信を行なうための装置である。
【００６２】
ファイル生成装置５０は、図５ないし図８に示した演奏ファイルを生成して演奏処理装置１０に提供するための装置であり、ＣＰＵ５０１、記憶装置５０２、通信装置５０３、楽曲データベース５０４および画像データベース５０５を有する。このうち通信装置５０３は、演奏処理装置１０との間で通信ネットワーク６０を介した通信を行なうための装置である。楽曲データベース５０４は、多数の楽曲の楽曲データを記憶している。各楽曲データは、図６に示した演奏ファイルの楽曲データチャンクと同様のデータ構成を有する。一方、画像データベース５０５は、多数の画像の画像データを記憶している。
【００６３】
ＣＰＵ５０１は、記憶装置５０２に記憶されたファイル生成プログラムを実行することにより、楽曲データベース５０４に含まれる楽曲データと画像データベース５０５に含まれる画像データとを含む演奏ファイルを生成する。記憶装置５０２は、ＣＰＵ５０１によって実行されるプログラムを記憶しているほか、このプログラムの実行によって生成された演奏ファイルを一時的に記憶する。
【００６４】
次に、本実施形態の動作を説明する。まず、利用者によって入力装置１０４に所定の操作がなされると、演奏処理装置１０は通信ネットワーク６０を介してファイル生成装置５０に接続される。通信装置５０３を介してこの接続を検知すると、ファイル生成装置５０のＣＰＵ５０１は、記憶装置５０２に記憶されたファイル生成プログラムの実行を開始する。図１７は、このプログラムの内容を示すフローチャートである。
【００６５】
同図に示すように、ＣＰＵ５０１はまず、演奏処理装置１０に接続された表示装置２２に、図１８に示す楽曲／画像選択画面７０を表示させる（ステップＳ２０）。この画面７０は、演奏ファイルに含まれる楽曲データおよび画像データを演奏処理装置１０の利用者に選択させるための画面である。具体的には、利用者が入力装置１０４を操作して楽曲選択ボタン７０１を指示すると、楽曲データベース５０４に楽曲データとして格納された複数の楽曲の名称が表示される。この状態のもとでいずれかの楽曲が選択されると、この楽曲の名称が表示欄７０２に表示される。一方、画像選択の手順も同様である。すなわち、画像選択ボタン７０３が指示されると、画像データベース５０５に画像データとして格納された複数の画像の名称が表示される。そして、この状態のもとでいずれかの画像が選択されると、この選択された画像が表示欄７０４に表示される。利用者は、演奏ファイルに含ませるべき画像として複数の画像を選択することができる。図１８においては、「楽曲Ａ」、ならびに「画像ａ」、「画像ｂ」および「画像ｃ」が選択された場合が示されている。楽曲および画像の選択が完了すると、利用者は、楽曲／画像選択画面中の「決定」ボタン７０５を指示する。この結果、選択された楽曲および画像がファイル生成装置５０のＣＰＵ５０１によって検知される（ステップＳ２１）。
【００６６】
次いで、ＣＰＵ５０１は、楽曲データベース５０４に格納された多数の楽曲データのうち利用者によって選択されたものを読み出すとともに、画像データベース５０５に格納された多数の画像データのうち利用者によって選択されたものを読み出す（ステップＳ２２）。続いてＣＰＵ５０１は、読み出した楽曲データおよび画像データを含む演奏ファイルを生成する（ステップＳ２３）。以下、演奏ファイル生成の手順について説明する。
【００６７】
まず、ＣＰＵ５０１は、図７に示したパート規定チャンクを生成する。より具体的には、予め設定された数の操作子３０の識別情報と、楽曲を構成する各パートの番号とを対応付けたテーブルをパート規定チャンクとして生成する。このとき、楽曲を構成するパート数が操作子３０の数よりも大きい場合には、１以上の操作子３０に対して複数のパートを重複して割り当てる。
【００６８】
次いで、ＣＰＵ５０１は、利用者により選択された１または複数の画像データを含む画像データチャンクを生成する。このとき、利用者により選択された楽曲の全時間長を、選択された画像数に応じて等分した時点に対応する拍数を設定拍数とし、各設定拍数を画像データに対応付けたものを画像データチャンクとする。
【００６９】
さらに、ＣＰＵ５０１は、楽曲データ（楽曲データチャンク）、パート規定チャンクおよび画像データチャンクの合計データ量や、楽曲について設定された単位時間の長さを表すデータなどを含むヘッダチャンクを生成する。最後にＣＰＵ５０１は、以上の手順により生成したヘッダチャンク、楽曲データチャンク、パート規定チャンクおよび画像データチャンクからなる演奏ファイルを生成して所定の記憶装置５０２に記憶させる。
【００７０】
この後、ＣＰＵ５０１は、記憶装置５０２に記憶された演奏ファイルを演奏処理装置１０に送信する（ステップＳ２４）。一方、この演奏ファイルは、演奏処理装置１０のＣＰＵ１０１によって受信された後、外部記憶装置１０３に格納される。
【００７１】
このように本実施形態によれば、利用者が選択した楽曲データおよび画像データを含む演奏ファイルが生成されるから、利用者は、ファイルの生成に関する専門的な知識を要することなく演奏ファイルを得ることができ、さらに自分の好みに合った画像を表示させながら楽曲の演奏を楽しむことができる。
【００７２】
なお、ここでは上記第１実施形態に係る演奏ファイルが生成される場合を例示したが、上記第２実施形態に係る演奏ファイルが生成されるようにしてもよい。この場合、画像データチャンクには、設定拍数に代えて動作情報が含まれる。この動作情報は、上記第２実施形態に示したように、表示装置２２による表示画像の態様（明るさ、色合い、解像度または大きさなどのほか画像の種類も含む）を利用者の動作に応じて指定するものである。
【００７３】
＜Ｄ：変形例＞
以上この発明の一実施形態について説明したが、上記実施形態はあくまでも例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【００７４】
＜Ｄ−１：変形例１＞
上記各実施形態においては、センサ３０３として２次元速度センサを用いて操作子３０の移動速度を検出するものとしたが、センサ３０３の種類および検出内容はこれに限られるものではない。例えば、一方向の速度や加速度を検出するセンサや２次元加速度センサ、３次元速度センサ、３次元加速度センサなどをセンサ３０３として用いることもできる。また、上記各実施形態においては、速度極小点の時間間隔および速度に基づいて楽音を制御するものとしたが、楽音制御のために用いられる物理量はこれに限られない。例えば、センサ３０３として速度センサを用いた場合には、検出された速度を積分することによって操作子３０の変位を演算し、この演算結果に応じて楽音を制御してもよい。
【００７５】
また、上記各実施形態においては、利用者の動作に応じてリバーブ時間を制御するものとしたが、制御対象となる効果の内容はこれに限られるものではない。また、利用者の動作に応じた制御の対象は効果の内容または程度に限られない。例えば、利用者の動作に応じて楽音の音量や音色、音高などが制御されるようにしてもよい。すなわち、本発明においては、楽音に関わるパラメータを利用者による動作に応じて制御する方法や、その制御対象の如何については不問である。
【００７６】
＜Ｄ−２：変形例２＞
上記各実施形態および変形例においては利用者が手で所持するタイプの操作子３０を用いたが、操作子３０の形態はこれに限られるものではない。例えば、利用者の足に装着される靴の踵部分にセンサ３０３を設けたものを操作子３０として用い、タップダンスをしたときに得られる検出情報に応じて楽音を制御するといった具合である。
【００７７】
また、上記各実施形態においては利用者の動作が検出されるものとしたが、これに代えて、または利用者の動作とともに、利用者の身体状態が検出される構成としてもよい。例えば、利用者の身体に装着可能な操作子３０に脈拍（脈波）検出器を設け、心拍数の検出結果を表す検出情報に基づいて楽音を制御するといった具合である。センサによって検出され得る利用者の身体状態としては、例えば体温、皮膚間抵抗、脳波、呼吸および眼球移動などが考えられる。
【００７８】
＜Ｄ−３：変形例３＞
上記第１実施形態においては、楽曲の演奏開始からの拍数に応じたタイミングで画像を表示させるものとしたが、画像表示のタイミングを規定する情報は拍数に限られない。例えば、楽曲中の小節が切り替わるタイミングで画像を表示させるようにしてもよい。このように、本発明における「表示時点指定データ」は、演奏対象となる楽曲のいずれかの時点を演奏速度とは無関係に特定するデータであればよく、演奏開始からの拍数や小節数に限られるものではない。
【００７９】
なお、この表示時点指定データは本発明において必ずしも必要なものではない。例えば、ある操作子について用意された画像数に応じて楽曲の演奏期間を等分した時点を画像の表示タイミングとする構成とすれば、表示時点指定データがなくても画像の表示タイミングが特定される。
【００８０】
また、上記実施形態においては楽曲の演奏テンポを検出情報に応じて制御するものとしたが、検出情報に応じてリズムや拍子など、進行度を規定するその他の音楽的要素を制御する構成としてもよい。すなわち、本発明においては、テンポ情報または拍情報により規定される音出力の進行度を検出情報に基づいて調整するようにしてもよい。ここにいう「テンポ情報」とは、音出力のテンポを数値にて指定する情報である。また、「拍情報」とは、楽曲の拍子を指定する情報であり、例えば一拍に相当する時間長を指定する情報、時系列的に隣り合う２つの拍の時間的なバランスを指定する情報、あるいは楽曲のリズムを指定する情報などである。もっとも、本発明における検出情報に応じた制御対象はテンポや拍子に限られるものではない。要するに、本発明においては、音出力装置による音出力の進行度が検出情報に応じて制御される構成であれば足りる。
【００８１】
＜Ｄ−４：変形例４＞
上記第１実施形態においては、各利用者の動作または身体状態に応じたタイミングで画像を表示させるものとしたが、これに加えて、表示された画像の態様を楽曲の進行度に応じて制御する構成としてもよい。例えば、楽曲の進行度に応じて、上記第２実施形態と同様に、表示画像の明るさ、色合い、解像度、大きさまたはその内容を制御する構成としてもよい。例えば楽曲の進行速度が速ければ画像を大きく表示する一方、遅ければ画像を小さく表示するといった具合である。
【００８２】
＜Ｄ−５：変形例５＞
上記各実施形態および各変形例においては、各利用者の動作または身体状態に応じた画像を単一の表示装置２２に表示させるものとしたが、利用者ごとに表示装置２２を用意し、これらの表示装置２２の各々にひとりの利用者の動作または身体状態に応じた画像を表示させる構成としてもよい。あるいは、複数の利用者を複数のグループに分け、各グループごとに、当該グループに属する１または複数の利用者の動作に応じた画像を表示させる表示装置２２を設けてもよい。
【００８３】
また、上記実施形態においては、楽曲を構成する全パートの楽音が単一のスピーカ２１から出力される構成を例示したが、１または複数のパートが割り当てられたひとつの操作子３０ごとに（すなわち各利用者ごとに）スピーカ２１を設けた構成とし、各スピーカ２１ごとに、当該スピーカ２１に対応する利用者に割り当てられたパートの楽音を出力するようにしてもよい。
【００８４】
＜Ｄ−６：変形例６＞
上記第１および第２実施形態においては、楽曲データと画像データとが同一の記憶装置（外部記憶装置１０３）に記憶されるものとしたが、楽曲データと画像データとをそれぞれ異なる記憶装置に記憶させるようにしてもよい。すなわち、本発明においては、楽曲データと画像データとが単一のファイルを構成することは必ずしも必要ではない。
【００８５】
＜Ｄ−７：変形例７＞
上記第３実施形態においては、ファイル生成装置５０の楽曲データベース５０４に予め記憶された楽曲データのうち利用者によって選択されたものを演奏ファイルに含ませるものとしたが、利用者が自ら用意（作成）した楽曲データが演奏処理装置１０からファイル生成装置５０に送信されるものとし、ファイル生成装置５０がこの楽曲データを含む演奏ファイルを生成するようにしてもよい。画像データについても同様に、利用者が自ら用意した画像データを演奏処理装置１０からファイル生成装置５０に送信し、ファイル生成装置５０がこの画像データを含む演奏ファイルを生成するようにしてもよい。このとき演奏処理装置１０からファイル生成装置５０に送信される画像データとしては、利用者がデジタルカメラなどを利用して撮影した画像を表す画像データや、利用者がスキャナなどを利用して取り込んだ画像を表す画像データなどが考えられる。
【００８６】
また、上記第３実施形態においては、演奏ファイルがファイル生成装置５０によって生成されて演奏処理装置１０に送信される構成としたが、演奏処理装置１０において演奏ファイルが生成される構成としてもよい。すなわち、複数の楽曲データおよび複数の画像データとファイル生成プログラムとを図４に示した外部記憶装置１０３に記憶させる一方、ＣＰＵ１０１がファイル生成プログラムを実行することによって演奏ファイルを生成するようにしてもよい。
【００８７】
さらに、上記第３実施形態においては、演奏ファイルがネットワーク６０を介して演奏処理装置１０に送信されるものとしたが、演奏ファイルの提供方法はこれに限られない。例えば、所定の店舗（例えば楽器店や音楽教室など）に設置されたファイル生成装置５０によって利用者からの依頼に応じた演奏ファイルを生成し、この演奏ファイルをフレキシブルディスクやＣＤ−ＲＯＭといった可搬型の記憶メディアに格納した状態で利用者に提供するようにしてもよい。
【００８８】
＜Ｄ−８：変形例８＞
本発明は、コンピュータを演奏処理装置として機能させるためのプログラム（上記第１および第２実施形態に示した演奏処理プログラム）としても特定され得る。このプログラムは、インターネットなどのネットワークを介して所定のサーバ装置からコンピュータに提供されるものであってもよいし、何らかの記録媒体に格納された状態で提供されてコンピュータにインストールされるものであってもよい。この記録媒体としては、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に代表される光ディスクのほか、可搬型の磁気ディスクなどが考えられる。
【００８９】
さらに、本発明は、コンピュータをファイル生成装置として機能させるためのプログラム（上記第３実施形態に示したファイル生成プログラム）としても特定され得る。すなわち、上記第１実施形態に係る演奏ファイルを生成するためのプログラムは、楽曲データと、画像データと、当該楽曲データに対応する楽曲のうち上記画像データに基づいて画像が表示されるべき時点を指定する表示時点指定データとを含むファイルを生成する機能をコンピュータに実現させるためのものとなる。一方、上記第２実施形態に係る演奏ファイルを生成するためのプログラムは、楽曲データと、１または複数の画像データと、いずれかの画像データに基づく表示画像の態様を利用者の動作内容に応じて指定する動作情報とを含むファイルを生成する機能を実現させるためのものとなる。これらのプログラムは、インターネットなどのネットワークを介してコンピュータに提供されるものであってもよいし、ＣＤ−ＲＯＭや可搬型の磁気ディスクといった記録媒体に格納された状態で提供されてコンピュータにインストールされるものであってもよい。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、利用者による演奏動作に際して画像を表示させる構成のもとにあっても利用者が容易に演奏を楽しむことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る演奏システムの構成を示すブロック図である。
【図２】操作子の外観を示す斜視図である。
【図３】演奏システムを構成する操作子の構成を示すブロック図である。
【図４】演奏システムを構成する演奏処理装置の構成を示すブロック図である。
【図５】演奏処理装置において用いられる演奏ファイルの構成を示す図である。
【図６】演奏ファイルに含まれるパート規定チャンクの構成を示す図である。
【図７】演奏ファイルに含まれる楽曲データチャンクの構成を示す図である。
【図８】演奏ファイルに含まれる画像データチャンクの構成を示す図である。
【図９】演奏処理装置のメインルーチンの内容を示すフローチャートである。
【図１０】演奏処理装置の演奏処理の内容を示すフローチャートである。
【図１１】演奏処理装置の動作の具体例を説明するためのタイミングチャートである。
【図１２】本発明の第２実施形態における画像データチャンクの構成を示す図である。
【図１３】演奏処理装置による演奏処理の内容を示すフローチャートである。
【図１４】表示装置による表示内容の具体例を示す図である。
【図１５】表示装置による表示内容の具体例を示す図である。
【図１６】本発明の第３実施形態に係る通信システムの構成を示すブロック図である。
【図１７】ファイル生成装置の動作を示すフローチャートである。
【図１８】楽曲／画像選択画面の内容を示す図である。
【符号の説明】
１０……演奏処理装置、１０１……ＣＰＵ（音出力制御手段、表示制御手段）、１０２……ＲＡＭ、１０３……外部記憶装置（記憶手段）、１０４……入力装置、１０５……受信機（検出情報取得手段）、１０６……音源回路、１０７……効果付与回路、１０８……表示制御回路（表示制御手段）、２０……サウンドシステム、２１……スピーカ（音出力装置）、２２……表示装置、３０……操作子、３０１……ＣＰＵ、３０２……ＲＯＭ、３０３……センサ（検出手段）、３０４……送信機、５０……ファイル生成装置、５０１……ＣＰＵ（ファイル生成手段）、５０２……記憶装置、５０３……通信装置、５０４……楽曲データベース（楽曲データ記憶手段）、５０５……画像データベース（画像データ記憶手段）、６０……通信ネットワーク。

Claims (17)

1. 楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段と、
   利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する検出情報取得手段と、
   前記楽曲データに基づいて音出力装置から音を出力させる手段であって、当該音出力装置による音出力の進行度を前記検出情報に基づいて制御する音出力制御手段と、
   前記音出力装置による音出力の進行状況に応じたタイミングで、前記画像データが示す画像を表示装置に表示させる表示制御手段と
   を具備することを特徴とする演奏処理装置。
2. 前記音出力制御手段は、前記音出力の進行度を規定するテンポ情報または拍情報を前記検出情報に基づいて調整する
   ことを特徴とする請求項１に記載の演奏処理装置。
3. 前記記憶手段は、ひとつの楽曲に対応して複数の画像データを記憶し、
   前記表示制御手段は、前記画像データが示す画像の各々を、音出力の進行状況に応じたタイミングにて順次に表示させる
   ことを特徴とする請求項１に記載の演奏処理装置。
4. 前記記憶手段は、楽曲データに対応する楽曲のうち画像データに基づいて画像が表示されるべき時点を指定する表示時点指定データを記憶する
   ことを特徴とする請求項１に記載の演奏処理装置。
5. 前記記憶手段は、前記楽曲データと前記画像データと前記表示時点指定データとを単一のファイルとして記憶する
   ことを特徴とする請求項４に記載の演奏処理装置。
6. 前記楽曲データは、それぞれ異なるパートの音を示す複数のパートデータを含み、
   前記検出情報取得手段は、それぞれ１または複数のパートに対応する複数の操作子から検出情報を取得し、
   前記音出力制御手段は、各操作子に対応する１または複数のパートに係る音出力の進行度を当該操作子から取得された前記検出情報に基づいて制御する一方、
   前記表示制御手段は、各操作子に対応する１または複数のパートごとに、当該パートの音出力の進行状況に応じて、前記画像データが示す画像を表示装置に表示させる
   ことを特徴とする請求項１に記載の演奏処理装置。
7. 前記記憶手段は、前記複数のパートの各々に対応する画像データを記憶し、
   前記表示制御手段は、各パートの音出力の進行状況に応じて表示装置に表示させるべき画像が複数となったとき、前記表示装置の表示領域を分割した複数の領域に、当該複数の画像をそれぞれ表示させる
   ことを特徴とする請求項６に記載の演奏処理装置。
8. 前記記憶手段は、前記複数のパートの各々に対応する画像データを記憶し、
   前記表示制御手段は、各パートの音出力の進行状況に応じて表示装置に表示させるべき画像が複数となったとき、複数の表示装置に当該複数の画像をそれぞれ表示させる
   ことを特徴とする請求項６に記載の演奏処理装置。
9. 前記表示制御手段は、さらに、
   前記表示装置に表示された画像の態様を、前記音出力装置による音出力の進行状況に応じて制御する
   ことを特徴とする請求項１に記載の演奏処理装置。
10. 楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段と、
    利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する検出情報取得手段と、
    前記楽曲データに基づいて音出力装置から音を出力させる手段であって、当該音出力装置によって出力される音を前記検出情報に応じて制御する音出力制御手段と、
    前記記憶手段に記憶された画像データが表す画像を、前記検出情報に応じた態様にて表示装置に表示させる表示制御手段と
    を具備することを特徴とする演奏処理装置。
11. 前記楽曲データは、それぞれ異なるパートの音を示す複数のパートデータを含み、
    前記検出情報取得手段は、それぞれ１または複数のパートに対応する複数の操作子から検出情報を取得し、
    前記音出力制御手段は、各操作子に対応する１または複数のパートの音を当該操作子から取得された前記検出情報に基づいて制御する一方、
    前記表示制御手段は、各操作子に対応する１または複数のパートごとに、当該操作子から取得された検出情報に応じた態様にて前記画像データが示す画像を表示させる
    ことを特徴とする請求項１０に記載の演奏処理装置。
12. 前記表示制御手段によって制御される画像の表示態様は、画像の明るさ、色合い、解像度および大きさのうち少なくともひとつである
    ことを特徴とする請求項９または１０に記載の演奏処理装置。
13. 前記音出力制御手段は、前記音出力装置から出力される音の音量、音色、効果および音高のうち少なくともひとつを、前記検出情報に応じて制御する
    ことを特徴とする請求項１または１０に記載の演奏処理装置。
14. 楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段を備えるコンピュータに、
    利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する機能と、
    前記楽曲データに基づいて音出力装置から音を出力させる一方、当該音出力装置による音出力の進行度を前記検出情報に基づいて制御する機能と、
    前記音出力装置による音出力の進行状況に応じたタイミングで、前記画像データが示す画像を表示装置に表示させる機能と
    を実現させるための演奏処理プログラム。
15. 楽曲を構成する音を示す楽曲データおよび画像を示す画像データを記憶する記憶手段を備えるコンピュータに、
    利用者の動作または身体状態を検出する検出手段が設けられた操作子から、当該検出手段による検出結果に応じた検出情報を取得する機能と、
    前記楽曲データに基づいて音出力装置から音を出力させる一方、当該音出力装置によって出力される音を前記検出情報に基づいて制御する機能と、
    前記画像データが示す画像を、前記検出情報に応じた態様にて表示装置に表示させる機能と
    を実現させるための演奏処理プログラム。
16. 楽曲を構成する音を利用者の動作または身体状態に応じた進行度にて音出力装置から出力させるとともに、その音出力の進行状況に応じたタイミングで表示装置に画像を表示させる演奏処理装置において用いられるファイルを生成する装置であって、
    前記音出力装置から出力されるべき音を表す楽曲データを記憶する楽曲データ記憶手段と、
    楽曲データに基づく音出力に伴なって前記表示装置に表示されるべき画像を表す画像データを記憶する画像データ記憶手段と、
    前記楽曲データ、当該楽曲データに対応する画像データ、および当該楽曲データに対応する楽曲のうち前記画像データに基づいて画像が表示されるべき時点を指定する表示時点指定データを含むファイルを生成するファイル生成手段と
    を具備することを特徴とするファイル生成装置。
17. 音出力装置により出力される音および表示装置により表示される画像の態様を利用者の動作または身体状態に応じて制御する演奏処理装置において用いられるファイルを生成する装置であって、
    前記音出力装置から出力されるべき音を表す楽曲データを記憶する楽曲データ記憶手段と、
    楽曲データに基づく音出力に伴なって前記表示装置に表示されるべき画像を表す画像データを記憶する画像データ記憶手段と、
    前記楽曲データ、前記画像データ、および当該楽曲データに基づく音出力に伴なって当該画像データに対応する画像が表示されるべき態様を利用者の動作または身体状態の内容に応じて指定する動作情報を含むファイルを生成するファイル生成手段と
    を具備することを特徴とするファイル生成装置。

Images