〔システム構成及びハードウエア構成の例〕
図1は、この発明の一実施例による音楽コンテンツ表示システムの構成例を示す。この発明の一実施例による音楽コンテンツ表示システムは、音楽コンテンツ表示装置DSと、音楽コンテンツ表示装置DSが従属する所定の電子音楽装置EMとから成り、好ましくは、音楽コンテンツ表示装置DSにはタブレット(タッチパネル)型のモバイル情報処理装置が用いられ、電子音楽装置EMには電子楽器が用いられる。この音楽コンテンツ表示装置DSは、ハードウエア構成として、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、記憶装置4、入力操作部5、表示部6、音声入力部7、通信インターフェース(通信I/F)8などの要素を備え、これら要素1〜8はバス9を介して互いに接続される。
音楽コンテンツ表示装置DS全体を制御するCPU1は、音楽コンテンツ表示処理プログラムを含む各種制御プログラムに従って各種処理を実行するデータ処理部を構成し、各種制御プログラムに従い種々の処理を実行する。RAM2は、これらの処理に際して必要な各種データを記憶しておいたり一時的に保持するのに用いられ、例えば、音楽コンテンツ表示プログラムに基づく音楽コンテンツ表示処理の際は、譜めくり信号の受信回数(譜めくり信号受信カウントという)をカウントする譜めくり信号の受信カウンタが設けられる。また、ROM3には、所定の制御プログラムや制御用データが記憶されている。
記憶装置4は、フラッシュメモリ等の記憶媒体とその駆動装置を含み、制御プログラムや種々のデータを任意の記憶媒体に記憶することができる。記憶媒体は、着脱可能であってもよいし、この音楽コンテンツ表示装置DSに内蔵されていてもよい。また、記憶装置4には、音楽コンテンツ表示プログラムなどのアプリケーションを楽譜データなどの音楽コンテンツと共に記憶しておくことができ、特に、楽譜データなどの音楽コンテンツを記憶するために音楽コンテンツ格納部(STd)が設けられる。
入力操作部(設定操作部ともいう)5は、スイッチ等の設定操作子による設定操作を検出し、対応する各種設定情報をデータ処理部に導入する。表示部6は、LCD等のディスプレイ(表示器)の表示内容をCPU1からの指令に従って制御し、各種設定操作に対する表示援助を行う。なお、以下の説明では、タッチパネルを使用して設定操作子及び表示器の機能が一体化されたものとする。音声入力部7は、マイクロフォン(以下マイクという)及び音声信号入力部を備え、電子音楽装置EMからマイクを通じて入力される音声信号を音声信号入力部を通じてデータ処理部に導入することができる。
通信I/F8は、MIDI等の音楽用有線I/F、USB等の汎用ネットワークI/F或いは無線Lan等の汎用近距離無線I/F等を含み、ネットワークCNを通じてサーバSVと交信することができる。例えば、サーバSVから楽譜データや曲ガイド用イラストデータ等の音楽コンテンツを取得し、記憶装置4に記憶しておくことができる。
音楽コンテンツ表示装置DSに対して音声信号を発信する電子音楽装置EMのハードウエアも、音楽コンテンツ表示装置DSと同様の要素で構成されるが(但し、音声入力部は無くてもよい)、さらに、鍵盤などの演奏操作子による演奏操作を検出する演奏操作部11、楽音信号や制御信号を含む音声信号を生成する音声信号生成部12、生成された音声信号をスピーカから音波で出力する音声出力部13などを備える。
〔電子音楽装置EMの機能〕
この発明の一実施例による音楽コンテンツ表示システムにおいて、電子音楽装置は、上述のように電子楽器の機能を備えると共に、音楽コンテンツ表示装置に音声信号を発信して所要の音楽コンテンツ(楽譜データや曲ガイド用イラストデータ等の表示用曲対応データ)を用意させたり表示させる機能を備えている。図2は、この発明の一実施例における電子音楽装置の機能ブロック図である。この電子音楽装置EMの記憶装置には音楽コンテンツ格納部STeが構築されており、音楽コンテンツ格納部STeには、予め、MIDIデータやオーディオデータ等の再生用音楽データ(曲データ)が利用可能な音楽コンテンツとして多数格納されている。各音楽コンテンツには、実体データとなる曲データMdの外に、曲名や演奏者名などの曲情報及び曲ID情報Siが含まれている。曲ID情報Siは、当該音楽コンテンツを特定する特有の情報であり、曲ID、ID情報或いは曲番号とも呼ばれ、音楽コンテンツ表示装置DSにおいて、表示に利用される音楽コンテンツ(表示用曲対応データ)を特定するための「音楽コンテンツ特定情報」としても機能する。
なお、この音楽コンテンツ(表示用曲対応データ)は曲ID情報Siを付属情報として持っていてもよいし、各種音楽コンテンツ(表示用曲対応データ)と曲ID情報Siとの対応テーブル或いはプログラムを音楽コンテンツ表示装置DS内に持っていてもよい。また、電子音楽装置EM内で、曲ID情報Siを予めテーブル等で音楽コンテンツ表示装置DSにおけるコンテンツ識別情報に変換しておき、変換されたコンテンツ識別情報から音楽コンテンツ(表示用曲対応データ)を直接特定することができるようにしてもよい。
この電子音楽装置EMは、機能ブロックとして、上述した音楽コンテンツ格納部STeの外に、設定操作部SN、制御部CTe、再生部RP及び重畳部SPを備え、設定操作部SNは、曲選択スイッチや曲再生スイッチ、制御信号出力のオン/オフを切り替える制御ボタン等のスイッチを有し、これらスイッチの操作による曲の選択や再生の指示、制御信号出力のオン/オフなどの設定操作を検出して制御部CTeに入力する。制御部CTeは、主としてCPUにより実現される機能ブロックであり、曲データ取得部MA及び曲ID取得部SAを備える。曲データ取得部MAは、設定操作部SNで検出された曲選択操作により指示される曲に対応した音楽コンテンツを読み出し、読み出した音楽コンテンツ中の曲データ(MIDIデータやオーディオデータ等)Mdを再生部RPに出力する。また、曲ID取得部SAは、読み出された音楽コンテンツから曲ID情報Siを取得し、取得した曲ID情報Siを重畳部SPに出力する。
再生部RP及び重畳部SPは、主として音声信号生成部12により実現される機能ブロックである。再生部RPは、設定操作部SNの曲再生スイッチがオンされていると、制御部CTeの曲データ取得部MAからの曲データMdを再生して楽音信号を生成し、演奏操作部11からの演奏操作があると、演奏操作に基づく演奏データPdを再生して楽音信号を生成することができ、生成された楽音信号Rsは重畳部SPに出力される。この楽音生成については、曲データの再生に合わせて演奏操作部11で演奏する(曲データMd及び演奏データPdを再生する)場合、曲データMdのみを再生する場合、曲データMdを再生しないで演奏操作部11で演奏する(演奏データPdのみを再生する)場合などがある。また、再生部RPでは、曲データMdを再生している場合には、現在再生中の曲進行上の位置を表わす位置情報Bnが生成され、重畳部SPに出力される。位置情報Bnには、例えば、現在再生されている楽音が位置する小節の番号を表わす小節番号(小節位置ともいう)や、再生される曲データMdに対応する楽譜が複数ページにわたって表示される場合において、現在再生されている楽音が位置するページの番号を表わすページ番号(ページ位置ともいう)など、楽譜上の任意の範囲を用いることができるが、以下の例では小節番号が用いられる。
なお、位置情報Bnについては、破線で示すように、曲データMdを再生部Rpで読み出す際に、制御部CTeで直接生成し或いは曲データMdから取得して、重畳部SPに出力するようにしてもよい。例えば、曲データMdにマスタートラック情報的なタイミングデータがある場合、曲データMdの読出しに同期して、このタイミングデータをそのまま位置情報Bnとして読み出せばよい。
重畳部SPは制御データ生成部SP1及び信号重畳部SP2から成り、制御データ生成部SP1は、設定操作部SNの譜めくり制御ボタンがオンされると能動化し、制御部CTeからの曲ID情報Si及び再生部RPからの位置情報Bnに基づいて、「譜めくり信号」と呼ばれる制御信号Csを所定の時間間隔で(例えば、0.5秒毎に)生成する。また、制御ボタンがオフされると、重畳部SPは動作を停止し、制御信号(「譜めくり信号」)Csは生成されない。但し、他の種類の制御信号(例えば、テンポ情報など)は生成することがあるかも知れない。
制御信号Csは、図3に示すように、実体データとして曲ID情報Si及び位置情報(小節番号)Bnを含む制御データ(「譜めくり信号情報」と呼ばれる)Cdを有し、制御データCdにより音楽コンテンツ表示装置DSにおける音楽コンテンツの表示を制御することができる。制御信号Csは、図3のフォーマット例では、ヘッダー情報Hd(1byte程度)、制御データCd(2byte程度)及びフッター情報Ft(1byte程度)で構成され、ヘッダー情報Hdは、この信号が制御信号(「譜めくり信号」)Csであることを示す情報や制御データCdの長さが識別できる情報などを含み、制御データCdは曲ID情報Si(8 bit程度)及び位置情報Bn(8 bit程度)から成り、フッター情報Ftは、制御データCdの終りを示す情報などを含む。
信号重畳部SP2は、制御データ生成部SP1からの制御信号Csを変調して再生部RPからの楽音信号に重畳し、楽音信号に制御信号Csの変調成分が重畳された音声信号Asを音声出力部13に出力し、音声出力部13はスピーカを通じてこの音声信号Asを放音する。これにより、制御信号Csは、18kHzほどの高い周波数帯域で送信される。なお、制御信号Csを送信する周波数帯域については、この周波数帯域に限らず、人に通常聴こえないような帯域であればよい。なお、制御信号Csを含まない音声信号As(例えば、通常の演奏音など)が出力されることもある。
〔音楽コンテンツ表示装置の機能〕
この発明の一実施例による音楽コンテンツ表示システムにおいて、音楽コンテンツ表示装置は、電子音楽装置からの制御信号を受信して所要の音楽コンテンツ(表示用曲対応データ)を用意したり表示する機能を備えている。図4及び図5は、この発明の一実施例における音楽コンテンツ表示装置の第1及び第2機能を表わすブロック図である。
この音楽コンテンツ表示装置DSの記憶装置4に構築された音楽コンテンツ格納部STdには、音楽コンテンツとして表示用曲対応データが格納される。このような音楽コンテンツには、電子音楽装置EMで利用される音楽コンテンツ(再生用曲データ)に対応して作成された楽譜データや曲ガイド用イラストデータ(曲の進行に対応してガイド用のイラストが紙芝居的に切り替えられるように作成されたもの)等、曲の進行に対応して画像が切り替えられていくような任意の表示用曲対応データを用いることができるが、以下の例では、楽譜データを用いる場合について説明する。
各音楽コンテンツ(楽譜データ)には、実体データとなる楽譜データの外に、曲名や作曲者名などの曲情報及び当該音楽コンテンツに特有のコンテンツ(楽譜)識別情報が含まれており、コンテンツ識別情報は、電子音楽装置EMからの制御信号に含まれる曲ID情報(音楽コンテンツ特定情報)Siに対応付けられている。また、音楽コンテンツ格納部STdに予め格納された利用可能な音楽コンテンツ(楽譜データ)は、電子音楽装置EMに予め用意された利用可能な音楽コンテンツ(曲データ)のうち一部の音楽コンテンツ(曲データ)に対応したものである。なお、音楽コンテンツ格納部STdには、例えば、格納された各音楽コンテンツ(楽譜データ)について、曲名(曲目)、コンテンツ識別情報、対応する曲ID(Si)〔別に対応テーブルやプログラムが用意されている場合は不要〕及び利用可能性(利用可能/不可能)のレコードが格納情報として記憶されており、目次ボタンを操作すると、格納情報を参照して、そのときに格納されている利用可能な音楽コンテンツ(楽譜データ)の曲名(曲IDを付けてもよい)を曲名(曲目)リストで一覧表示することができる。
また、音楽コンテンツ表示装置DSは、復調部DM、判断部DC、情報抽出部EX及び表示制御部CTdを備え、これらの機能ブロックは主としてCPU1により実現される。音声入力部7は、電子音楽装置EMのスピーカから発信された音声信号Asをマイクを通じて受信し、受信した音声信号Asを復調部DMに入力する。復調部DMは、入力された音声信号Asから変調成分を取り出して制御信号Csに復調し、復調した制御信号Csを情報抽出部EX及び判断部DCに出力する。但し、制御信号Csが含まれない場合もあり、その場合は復調部DMからの出力はない。制御信号Csは、前述したように、「譜めくり信号」と呼ばれ、電子音楽装置EMで譜めくり制御ボタンをオンすることにより、常時(0.5秒に一度)18kHzほどの高い周波数帯域で送信されてくるディジタル信号であり、楽譜をめくるように楽譜表示を自動的に切り替えるのに用いられる。
情報抽出部EXは、復調部DMで復調された制御信号Csから制御データCd即ち曲ID情報Si及び位置情報(小節番号)Bnを抽出し、表示制御部CTdに出力する。表示制御部CTdは、曲ID情報Siに対応付けられた楽譜識別情報を参照することにより、曲ID情報Siに対応する音楽コンテンツ(楽譜データ)を特定し、特定した音楽コンテンツ(楽譜データ)を音楽コンテンツ格納部STdから読み出すと共に、位置情報(小節番号)Bnに対応して表示すべき当該音楽コンテンツ(楽譜データ)の楽譜ページを決定し、決定された楽譜ページのデータを表示部6に送る。そして、表示部6は、表示制御部CTdから送られて来るデータが示す楽譜ページをディスプレイに表示する。
なお、情報抽出部EXの機能を復調部DMの機能に含め、復調部DM内で制御信号Csから曲ID情報Si及び位置情報Bnを抽出するようにしてもよいし、或いは、情報抽出部EXの機能を表示制御部CTdの機能に含め、表示制御部CTd内で制御信号Csから曲ID情報Si及び位置情報Bnを抽出するようにしてもよい
図6は、この発明の一実施例における表示画面の構成例を示し、この表示画面SCは、タッチパネルで構成される。表示画面SCの表示機能については、画面上部に位置する帯状のタイトルバー表示域には曲名(曲目)などが表示され、タイトルバー表示域の右端近傍にヘルプボタンhpが表示される。画面中央の主表示領域は、楽譜データに基づく所要の楽譜が表示される楽譜表示領域に割り当てられる。また、画面下部には、楽譜表示領域に現在表示されている楽譜のページ番号pg(図6では「10」ページ)が中央に表示され、その左端近傍に目次ボタンtaが表示され、右端近傍に譜めくり信号ランプstが表示される。譜めくり信号ランプstは、制御信号(譜めくり信号)Csを受信する度に点灯して当該制御信号(譜めくり信号)Csの受信状況を示す。また、操作機能については、ヘルプボタンhpをタッチ操作すると、ヘルプやバージョン情報などが主表示領域の一部又は全部に表示され、目次ボタンtaをタッチ操作すると、音楽コンテンツ格納部STdに格納されている利用可能な音楽コンテンツ(楽譜データ)の目次〔曲名(曲目)リスト〕が主表示領域に表示される。
なお、目次から所望の曲名を選択的に指示するタッチ操作を行うと、目次モードに移行し、対応する楽譜が表示される。目次モードでは、図示はしていないが、表示画面への所定のタッチ操作によって譜めくり動作を行うことができ、例えば、ページ番号pgの右側へのタッチ操作で次ページの楽譜或いは左側へのタッチ操作で前ページの楽譜が表示される。従って、目次モードでは、ユーザは、電子音楽装置EMにおける音楽コンテンツ(再生用曲データ)の再生状況に拘わらず、音楽コンテンツ表示装置DSのディスプレイ画面(表示画面)SCに楽譜を表示させ、表示された楽譜を見ながら、電子音楽装置EMの演奏操作部11の演奏操作で演奏を行うことができる。
さて、判断部DCは、まず、復調部DMで復調された制御信号Csから、音声入力部7で受信された信号が所定の受信条件を満たすものであるかどうかを判断する。この受信条件には、(1)制御信号Csを所定回数N受信した、(2)複数回にわたる制御信号Csの受信の間隔が1秒以内である、等々、この音楽コンテンツ表示装置DSが従属する対象となる電子音楽装置EMと通信可能な状態(制御信号Csを受けることができる状態)であることを確認することができる任意の条件を定めることができるが、以下に説明する例では、(1)の受信条件を採用する。この場合、例えば、N=1に設定すると、制御信号Csを初めて受信したときに受信条件が満たされ、N=10に設定すると、制御信号Csを合計して或いは連続して10回受信したときに受信条件が満たされることになる。なお、制御信号Csを受信したことは、復調部DMにおける制御信号Csの出力状態を監視すればよいが、図4及び図5に破線で示すように、情報抽出部EXにおけるヘッダー情報Hdの抽出状態を監視するようにしてもよい。
そして、この受信条件が満足されると、音楽コンテンツ表示装置DSは音楽コンテンツ追加処理を行う。この音楽コンテンツ表示装置DSは、音楽コンテンツ表示プログラムを音楽コンテンツ(楽譜データ)と共に情報処理装置にインストールすることにより、音楽コンテンツ表示装置としての機能を実現するものであるが、この音楽コンテンツ追加処理は、音楽コンテンツ格納部STdにおける音楽コンテンツ(楽譜データ)の当初の格納状態の違いに応じて、次のような第1機能或いは第2機能を実行する。
(1)第1機能:電子音楽装置EMに予め用意された利用可能な音楽コンテンツ(再生用曲データ)に対応する音楽コンテンツ(楽譜データ)であるにも拘わらず、音楽コンテンツ表示装置DSの音楽コンテンツ格納部STdに予め格納されていない音楽コンテンツ(楽譜データ)については、「追加の音楽コンテンツ」としてサーバSVから取得し、利用可能な音楽コンテンツ(楽譜データ)を音楽コンテンツ格納部STdに追加する。
(2)第2機能:電子音楽装置EMに予め用意された利用可能な音楽コンテンツ(再生用曲データ)に対応する音楽コンテンツ(楽譜データ)であり、音楽コンテンツ表示装置DSの音楽コンテンツ格納部STdに予め格納されているにも拘わらず、「利用不可能状態」である音楽コンテンツ(楽譜データ)については、「利用可能状態」に更新して「追加の音楽コンテンツ」とし、利用可能な音楽コンテンツ(楽譜データ)を追加する。
<音楽コンテンツ表示装置の第1機能>
この音楽コンテンツ表示装置DSは、第1機能を実行する場合、図4に示すように、さらに追加取得部AD及び通信部CMを備え、追加取得部ADは主としてCPU1により実現され、通信部CMは主として通信I/F8によって実現される。
第1機能が実行される場合、電子音楽装置EMの音楽コンテンツ格納部STeには、p個の利用(再生)可能な音楽コンテンツ(再生用曲データ)が予め用意されているのに対して、音楽コンテンツ表示装置DSの音楽コンテンツ格納部STdには、プリセット音楽コンテンツ(楽譜データ)として、p個より少ないr個(p>r≧0)の利用(表示)可能な音楽コンテンツ(楽譜データ)しか予め用意されていない。ここで、電子音楽装置EM側から、音楽コンテンツ(曲データ)の再生に従って、制御信号Csを含む音声信号Asが音楽コンテンツ表示装置DSに発信されると、音楽コンテンツ表示装置DSは、判断部DCで、受信した音声信号Asについて受信条件を調べ、電子音楽装置EMから制御信号Csを受信可能な状態であることを確認すると、音楽コンテンツ追加処理Aを行う。音楽コンテンツ追加処理Aでは、追加取得部ADにより、電子音楽装置EMに予め用意された利用可能な音楽コンテンツ(曲データ)に対応する利用可能な音楽コンテンツ(楽譜データ)であって、プリセット音楽コンテンツ(楽譜データ)ではない「p−r」個の利用(表示)可能な音楽コンテンツ(楽譜データ)が、サーバSVから通信部CMを介して取得され、音楽コンテンツ格納部STdに追加される。このように音楽コンテンツ格納部STdに追加される「p−r」個の音楽コンテンツ(楽譜データ)が「追加の音楽コンテンツ(楽譜データ)」と呼ばれる。
つまり、判断部DCは、音楽コンテンツ追加取得が可能かの判断を行い、前述の受信条件が満足されたことを確認したときは、追加取得部ADに対して、上述した追加の音楽コンテンツをサーバSVから取得することを許可し、これを指示する。追加取得部ADは、これに応じて、取得指示された追加の音楽コンテンツ(楽譜データ)を、サーバSVから通信部CMを通じて取得し、音楽コンテンツ格納部STdに追加記憶する。
このような音楽コンテンツ表示装置の第1機能を要約すれば次のとおりである:音楽コンテンツ表示装置DSは、電子音楽装置EMが音楽コンテンツ(曲データ)を再生するのに従属して楽譜データを表示するが、当初は、電子音楽装置EMに予め用意されたp個の音楽コンテンツ(再生用曲データ)よりも少ないr個(p>r≧0)のプリセット音楽コンテンツ(楽譜データ)しか用意されていない。この音楽コンテンツ表示装置DSは、まず、電子音楽装置EMからの音声信号Asを受信し(7,DM)、受信した音声信号Asに含まれる制御信号(譜めくり信号)Csを受信可能な状態である(受信条件を満たす)ことを確認すると、電子音楽装置EMに用意されているp個の音楽コンテンツ(再生用曲データ)に対応しているがプリセット音楽コンテンツ(楽譜データ)ではない音楽コンテンツ(楽譜データ)を「追加の音楽コンテンツ」とし、その取得を許可する(DC)。これに応じて、許可された追加の音楽コンテンツ(楽譜データ)をサーバSVから取得し、音楽コンテンツ格納部STdに追加記憶する(AD)。そして、制御信号(譜めくり信号)Csから抽出された曲ID情報Si及び位置情報(小節番号)Bnを参照し(EX)、曲ID情報Siに対応する音楽コンテンツ(楽譜データ)を音楽コンテンツ格納部STdから読み出し、位置情報(小節番号)Bnに対応する楽譜をディスプレイ画面SCに表示する(CTd,6)。
<音楽コンテンツ表示装置の第2機能>
この音楽コンテンツ表示装置DSは、第2機能を実行する場合、図5の機能ブロック図に示すように、判断部DCにより音楽コンテンツ追加処理Bを行い、音楽コンテンツ格納部STdに当初から格納されている音楽コンテンツ(楽譜データ)の状態を更新する。
第2機能が実行される場合、電子音楽装置EMの音楽コンテンツ格納部STeに予め用意されているp個の利用(再生)可能な音楽コンテンツ(再生用曲データ)に対応して、この音楽コンテンツ表示装置DSの音楽コンテンツ格納部STdにもp個の音楽コンテンツ(楽譜データ)が用意され、用意されたp個の音楽コンテンツ(楽譜データ)のうちs個(p>s≧0)の音楽コンテンツ(楽譜データ)は音楽コンテンツ表示装置DSで利用(表示)可能に設定されているが、残りの「p−s」個の音楽コンテンツ(楽譜データ)は利用(表示)不可能に設定されている。ここで、電子音楽装置EM側から、音楽コンテンツ(曲データ)の再生に従い、制御信号Csを含む音声信号Asが音楽コンテンツ表示装置DSに発信されると、音楽コンテンツ表示装置DSは、判断部DCで、受信した音声信号Asについて受信条件を調べ、電子音楽装置EMから制御信号Csを受信可能な状態であることを確認すると、音楽コンテンツ追加処理Bを行う。音楽コンテンツ追加処理Bでは、判断部DCにより、音楽コンテンツ格納部STdに記憶されている音楽コンテンツ(楽譜データ)が利用可能状態か利用不可能状態かを判別し、利用不可能状態であることが確認された「p−s」個全ての音楽コンテンツ(楽譜データ)を利用(表示)可能状態に更新する。このように利用可能状態に更新された「p−s」個の音楽コンテンツ(楽譜データ)は、利用可能な「追加の音楽コンテンツ(楽譜データ)」ということができる。
つまり、判断部DCは、利用可能化ができるかの判断を行い、前述の受信条件が満足されたことを確認したときは、音楽コンテンツ格納部STdに記憶されている音楽コンテンツ(楽譜データ)が利用可能状態か利用不可能状態かを判別し、利用不可能状態であると確認した全ての音楽コンテンツ(楽譜データ)を利用可能状態に更新する。これにより、新たに利用(表示)可能になった音楽コンテンツ(楽譜データ)が音楽コンテンツ格納部STdに追加されたことになる。
このような音楽コンテンツ表示装置の第2機能を要約すれば次のとおりである:音楽コンテンツ表示装置DSは、電子音楽装置EMが音楽コンテンツ(曲データ)を再生するのに従属して楽譜データを表示するために、対応する音楽コンテンツ(楽譜データ)が音楽コンテンツ格納部STdに用意されているが、当初は、電子音楽装置EMに予め用意されたp個の音楽コンテンツ(再生用曲データ)よりも少ないs個(p>s≧0)の音楽コンテンツ(楽譜データ)が利用可能に設定されており、残りの「p−s」個の音楽コンテンツ(楽譜データ)は利用不可能に設定されている。この音楽コンテンツ表示装置DSは、まず、電子音楽装置EMから音声信号Asを受信し(7,DM)、受信した音声信号Asに含まれる制御信号(譜めくり信号)Csを受信可能な状態である(受信条件を満たす)ことを確認すると、残りの「p−s」個の音楽コンテンツ(楽譜データ)を全て利用不可能から利用可能の状態に更新する(DC)。そして、制御信号(譜めくり信号)Csから抽出された曲ID情報Si及び位置情報(小節番号)Bnを参照し(EX)、曲ID情報Siに対応する音楽コンテンツ(楽譜データ)を音楽コンテンツ格納部STdから読み出し、位置情報(小節番号)Bnに対応する楽譜をディスプレイ画面SCに表示する(CTd,6)。
〔動作例〕
図7〜図11は、この発明の一実施例による音楽コンテンツ表示処理のフローチャートを示す。なお、図9のステップP1ブロック内右上の「※1」は、第2機能を実行する場合は省略可能であることを示し、図9のステップP2及び図10のステップQ3,Q5のブロック内右上の「※2」は、第1機能を実行する場合は省略可能であることを示す。
図7において、この音楽コンテンツ表示装置DSの電源をオンするか或いは音楽コンテンツ表示処理プログラムを起動し、音楽コンテンツ表示処理がスタートすると、CPU1は、まず、ステップS1で、(1)予め定められた所定の初期画面、或いは、(2)デフォルト曲か前回の音楽コンテンツ表示処理で最後に表示していた曲の楽譜(音楽コンテンツ)をディスプレイ画面SCに表示する。次のステップS2では、変数「現在の曲ID」の値を、(1)予め定められた所定の値(曲ID情報Siに存在しない値、例えば「−」:初期画面表示の場合)、或いは、(2)表示されている楽譜に対応する曲の曲ID情報Siとし、更に次のステップS3で初期設定を行う。ここで、電子音楽装置EMに用意されている音楽コンテンツ(曲データ)の曲IDと、これに対応する音楽コンテンツ(楽譜データ)の曲IDとが異なる場合、どちらの曲IDを使って表示制御を行ってもよい。「現在の曲ID」は、表示すべき楽譜を示す変数である。また、ステップS3の初期設定では、例えば、譜めくり信号受信カウントを「0」に設定し、目次モードをオフに設定し、その後、ステップS4に進む。
ステップS4では、終了操作があったか否かを判定し、終了操作がないときは(S4=NO)ステップS5に進んで、譜めくり信号Csを受信したか否かを判定する。
ステップS5で譜めくり信号Csを受信したと判定したときは(S5=YES)、ステップS6に進み、追加の音楽コンテンツを取得済みか否かを判定する。この場合、追加の音楽コンテンツを取得したときに(S9:図8)コンテンツ取得済みフラグを立てるようにしておき、このフラグを参照することによりこの取得済み判定を行うことができる。或いは、音楽コンテンツ格納部STdの格納状態を参照して判定する方法でもよい。ここで、追加の音楽コンテンツを取得済みでないときは(S6=NO)、ステップS7に進み、譜めくり信号受信カウントの値を1プラスし、更にステップS8で、譜めくり信号受信カウントは所定回数N(N:1以上の整数)以上であるか否かを判定する。ステップS7,S8におけるカウント値の加算及び判定は、譜めくり信号Csを所定回数N受信すると追加取得を行う判定ルールを設定した場合に行われ、他の判定ルールを設定した場合は、設定された判定ルールに則した処理が行われる〔判定ルールの設定:S18(図8)〕。ここで、該カウントが回数N以上のときは(S8=YES)ステップS9(図8)に進んで図9に示される「音楽コンテンツ追加処理」を行う。
この音楽コンテンツ追加処理(図9参照)では、第1機能のみを実行する場合、譜めくり信号受信カウントが回数N以上と判定したときに(S8=YES)サーバSVからの追加の音楽コンテンツの取得を許可(決定)し、ステップP1において、サーバSVより追加の音楽コンテンツをダウンロードし音楽コンテンツ格納部STdに保存し(音楽コンテンツ追加処理A)、ステップP2をスルーする。一方、第2機能のみを実行する場合は、ステップP1をスルーし、ステップP2において、まず、<1>音楽コンテンツ格納部の各音楽コンテンツについて利用可能状態であるか否かを調べ、次に、<2>利用不可能状態であれば利用可能状態に更新する(音楽コンテンツ追加処理B)。そして、ステップP1乃至ステップP2の処理を終えると、追加の音楽コンテンツが取得済みか否かの判定(S6:図7)をフラグの参照で行う場合はコンテンツ取得済みフラグをオンにした上で、そうでない場合(フラグの参照でない方法の場合)は直ちに、この音楽コンテンツ追加処理を終了し、音楽コンテンツ表示処理フロー(図8)のステップS10にリターンする。
さて、ステップS6(図7)で追加の音楽コンテンツを取得済みであると判定したとき(S6=YES)、ステップS8で譜めくり信号受信カウントの値が回数N未満であると判定したとき(S8=NO)、或いは、ステップS9の音楽コンテンツ追加処理(図8)を終えたときは、ステップS10〜S11に進む。まず、ステップS10では譜めくり信号Csから曲ID情報Siを抽出し、次のステップS11では譜めくり信号Csから位置情報Bnを抽出する。ここで、位置情報Bnには、例えば、小節番号やページなどが使用される。位置情報Bnを抽出した後はステップS12に進む。
ステップS12では、目次モードはオフに設定されているか否かを判定し、オフに設定されているときは(S12=YES)、ステップS13において、ステップS10で抽出された曲ID情報Siの値が現在の曲IDと一致するか否かを判定する。ここで、曲ID情報Siが現在の曲IDに一致しないときは(S13=NO)ステップS14に進んで、図10に示される「音楽コンテンツ読出し表示処理」を行う。
この音楽コンテンツ読出し表示処理(図10参照)では、最初のステップQ1で、音楽コンテンツ格納部STdから、ステップS10(図8)で抽出された曲ID情報Siに対応する音楽コンテンツ(楽譜データ)を検索し、次のステップQ2で、対応する音楽コンテンツ(楽譜データ)が格納されているか否かを判定する。ここで、対応する音楽コンテンツが格納されているときは(Q2=YES)、ステップQ3で、対応する音楽コンテンツ(楽譜データ)は利用可能状態であるか否かを判定する。ここで、利用可能状態であるときは(Q3=YES)、ステップQ4にて、同音楽コンテンツ(楽譜データ)を読み出し、ステップS11(図8)で抽出された位置情報Bnに合わせて楽譜を画面SCに表示すると共に、現在の曲IDを、当該音楽コンテンツ(楽譜データ)に対応する曲IDとする。また、利用不可能状態であるときは(Q3=NO)、ステップQ5にて、同音楽コンテンツ(楽譜データ)は利用することができない旨のメッセージを画面SCに表示する。
なお、第1機能のみを実行する場合は、ステップQ3をスルーして直ちにステップQ4に進み、ステップQ5の処理は行わない。すなわち、対応する音楽コンテンツが格納されているときには(Q2=YES)、直ちに、ステップQ4の動作をする。また、ステップQ2で、対応する音楽コンテンツが格納されていないときは(Q2=NO)、ステップQ6に進み、対応する音楽コンテンツ(楽譜データ)が用意されていない旨のメッセージを画面SCに表示する。そして、ステップQ4〜Q6の何れかの処理を終えると、この音楽コンテンツ読出し表示処理を終了し、音楽コンテンツ表示処理フロー(図8)のステップS16(図8)にリターンする。
図8に戻り、ステップS13において、ステップS10で抽出された曲ID情報Siが現在の曲IDに一致していると判定したときは(S13=YES)、ステップS15に進み、画面SCに表示されている楽譜を、ステップS11で抽出された位置情報Bnに応じた表示に更新する。そして、ステップS5(図7)で譜めくり信号Csを受信していないと判定したとき(S5=NO)、ステップS12で目次モードがオンに設定されていると判定したとき(S12=NO)、或いは、ステップS14,S15の何れかの処理を終えたときは、ステップS16に進む。ステップS16では、目次表示の指示〔例えば、目次ボタンta(図6)による〕を受け付けたか否かを判定し、受け付けたときは(S16=YES)、ステップS17に進み、図11に示される「目次からの表示処理」を行う。
この目次からの表示処理(図11参照)では、最初のステップR1で目次(曲名リスト)をディスプレイ画面SCに表示し、次のステップR2で、目次に表示された複数の曲名から所望の曲名を選択し指示する曲名選択指示を受け付けたか否かを判定する。ここで、曲名選択指示を受け付けたときは(R2=YES)、ステップR3で目次モードをオン(譜めくり信号とは独立した楽譜表示)に設定して目次の表示を閉じて、ステップR4に進み、選択された曲名の音楽コンテンツ(楽譜データ)に対応する曲ID(選択曲の曲IDという)が現在の曲IDと一致するか否かを判定する。ここで、選択曲の曲IDが現在の曲IDに一致しないときは(R4=NO)、ステップR5で、音楽コンテンツ格納部STdから、曲IDに対応する音楽コンテンツ(楽譜データ)を検索し読み出してその楽譜を表示すると共に、現在の曲IDを選択曲の曲IDとし、その後、この目次からの表示処理を終え、音楽コンテンツ表示処理フローのステップS18(図8)にリターンする。
一方、選択曲の曲IDが現在の曲IDに一致したときは(R4=YES)、曲IDに対応する音楽コンテンツ(楽譜データ)による楽譜は既に表示されているので、そのまま、この目次からの表示処理を終え、音楽コンテンツ表示処理フロー(図8)のステップS18(図8)にリターンする。また、ステップR2で、曲名選択指示を受け付けなかったときは(R2=NO)、ステップR6で、目次を閉じる指示を受け付けたか否かを判定し、目次を閉じる指示を受け付けなかったときは(R6=NO)、ステップR2に戻って曲名選択指示の受付けを待つ。ここで、曲名選択指示を受け付けたときは(R2=YES)、前述したステップR3〜R5の処理を行うが、曲名選択指示の受付けがなく、目次を閉じる指示を受け付けたときは(R6=YES)、ステップR7で目次モードをオフにして目次を閉じ、その後、この目次からの表示処理を終え、音楽コンテンツ表示処理フローのステップS18(図8)にリターンする。
再び図8に戻って、ステップS16で目次表示指示の受付けはないと判定したとき(S16=NO)、或いは、ステップS17の目次からの表示処理を終えたときは、ステップS18でその他の処理を行う。その他の処理では、目次モードのオン/オフ設定切替え(例えば、目次モードをオンにして目次から選んだ楽譜を表示している状態から、目次モードをオフにし、目次を表示せずに譜めくり信号による楽譜表示に切り替えたいときなど)や、表示画面SCの調整、ステップS7,S8における受信条件判定ルールの設定などを行う。その他の処理を終えると、ステップS4に戻り、上述したステップS4〜S18の処理を繰り返す。そして、ステップS4で終了操作があったと判定したときに(S4=YES)、この音楽コンテンツ表示処理を終了する。
〔種々の実施態様及び補足事項〕
以上、図面を参照しつつこの発明に関する音楽コンテンツ表示システムの一実施形態について説明したが、これに限らず、種々の変更が可能であり、種々の利便性が得られる。例えば、楽譜データの音楽コンテンツについては、1つの曲乃至曲データに対して複数種類(例えば、電子音楽装置ユーザの演奏レベルに対応したもの)用意されていてもよい。音楽コンテンツの楽譜データは、楽譜論理データや楽譜画像データなどの形式があり、楽譜論理データの場合は、表示の際に楽譜論理データを元に楽譜表示データを生成する。
電子音楽装置から受信する音声信号に重畳される制御信号(Cs)には、最低限、曲IDのように、表示する音楽コンテンツを特定することができる情報が入っていれば表示することができる。さらに、表示対象となる音楽コンテンツの小節位置などの時間情報が含まれていれば、音楽コンテンツの表示の際に活用することができる。また、制御信号が重畳されている音声信号は、既述のように、電子音楽装置(電子楽器)のスピーカから18kHz程度のデジタル信号であり、音楽コンテンツ表示装置の内蔵マイクで受信するが、周波数帯域については、人に通常聴こえなければよく、調整可能であってもよい。
ユーザが、音楽コンテンツ(再生用曲データ)が用意された電子音楽装置(電子楽器)を、音楽コンテンツ表示プログラム及び一部の音楽コンテンツ(楽譜データや曲ガイド用イラストデータ等の表示用曲対応データ)と共に購入した場合、音楽コンテンツ表示装置側で、電子音楽装置で再生される音楽コンテンツ(曲データ)に対応する残りの音楽コンテンツ(表示用曲対応データ)を追加で取得することにより、ユーザが購入した電子音楽装置に内蔵される全ての音楽コンテンツ(曲データ)に対応する音楽コンテンツ(表示用曲対応データ)を表示させることができるという付加価値を向上させることができる。また、音楽コンテンツ(楽譜データなどの表示用曲対応データ)のセキュリティも保証される。
音声信号に重畳されている制御信号は、具体的に、電子音楽装置から所定の時間間隔で(例えば、0.5秒毎に)出力される譜めくり信号であるとした場合、実際の譜めくりを機能させるためだけでなく、音楽コンテンツ(楽譜データ)の追加取得にも使用することができる。また、譜めくり信号に含まれる音楽コンテンツを特定する曲ID情報が示す音楽コンテンツ(楽譜データ)を表示することができる。さらに、音楽コンテンツ表示装置上におけるユーザの選択操作により選択された音楽コンテンツ(楽譜データ)を表示することもできる。
追加の音楽コンテンツ(表示用曲対応データ)をサーバから取得したときは、ダウンロードしたことを、例えばメッセージで表示するようにしてもよい。また、追加の音楽コンテンツの取得は、許可になった時点で自動的に行われてもよいし、許可になったことのみユーザに表示などで通知して取得指示をユーザに行わせてもよい。その場合は、例えば、ダウンロード実行ボタンを画面に表示し、ユーザが操作したときにダウンロードを行うようにすればよい。
サーバからダウンロードする音楽コンテンツ(表示用曲対応データ)は、音楽コンテンツ表示装置の種類に対応するものが自動的に検索されダウンロードされてもよい。或いは、ダウンロード用の追加の音楽コンテンツがアップされているサイトに自動的に接続されてダウンロードされるような仕組みでもよい。または、入力された音声信号の送信元を認識する手段があれば(例えば、入力された音声信号に送信元の情報が含まれているなど)、送信元に適合する音楽コンテンツのみを自動的に提供するようになっていてもよい。
音楽コンテンツ表示装置が追加の音楽コンテンツ(画像データ)をサーバからダウンロードするのは、譜めくり信号を最初に受信したときでもよいが、譜めくり信号の送信側である電子音楽装置としばらく通信状態であることが最初に確認できたとき(例えば、秒数などの時間や信号の受信回数など)でもよい。何れにしても、ユーザが追加の音楽コンテンツ取得のために意識して信号を送信するのではなく、ユーザが電子音楽装置を普通に使っているとダウンロード許可状態になっていればよい。
音楽コンテンツ表示装置本体及び音楽コンテンツ表示プログラムは、電子音楽装置(電子楽器)の非購入者でも入手することができる場合に対処して、当該音楽コンテンツ表示プログラムには最小限の音楽コンテンツ(表示用曲対応データ)のみを収録しておくことが好ましい。つまり、電子音楽装置(電子楽器)の提供者にとっては、電子音楽装置の購入者には、電子音楽装置に内蔵曲として収録されている音楽コンテンツ(再生用曲データ)に対応する音楽コンテンツ(表示用曲対応データ)は、電子音楽装置の価値の一部として、全て使って欲しいので、電子音楽装置からの制御信号を(1回以上)受信することができた場合に、音楽コンテンツ表示操作ユーザが電子音楽装置の購入者であるとみなし、残りの(追加の)音楽コンテンツ(表示用曲対応データ)がダウンロードされる。
電子音楽装置から受信する信号は、制御信号が重畳された音声信号であると説明したが、例えば、電子音楽装置に内蔵されるデモ曲の再生出力を数小節分受信して分析し、音楽コンテンツ表示装置側でデモ曲であることが認識できたときに追加の音楽コンテンツの取得を許可するようにしてもよい。
第1機能のみを実行する場合及び第2機能のみを実行する場合について具体的に説明したが、各場合の手法を併用することにより、第1機能及び第2機能を併せて実行することができる。例えば、電子音楽装置には、p個の利用可能な音楽コンテンツ(再生用曲データ)が予め用意されているのに対して、音楽コンテンツ表示装置には、p個より少ないq個(p>q)の音楽コンテンツ(表示用曲対応データ)が予め用意されており、q個のうち、s個が利用可能状態に、残りの「q−s」個が利用不可能状態に設定されている場合は、電子音楽装置との通信可能状態を確認したとき、音楽コンテンツ表示装置に予め用意されていない「p−q」個の利用可能な音楽コンテンツ(表示用曲対応データ)をサーバから取得すると共に、利用不可能状態に設定されている「q−s」個の音楽コンテンツ(表示用曲対応データ)を利用可能状態に更新する。