JP2012103320A - 楽音生成装置および楽音生成プログラム - Google Patents

Abstract

【課題】演奏者による音符表記の解釈を経ることなく、所望の楽音を発生させることにより楽曲を演奏させる。
【解決手段】ＣＰＵは、表示部の画面上に表示された音符のそれぞれの位置と、タッチパネル上の演奏者による接触位置とを比較して、接触位置が、何れかの音符の位置を含む周辺領域１００１、１００２内であるかを判断して、接触位置が、周辺領域内である場合に、当該音符の音高Ｃ４に基づくノートオンイベントを生成して、音源部に出力する。これにより、音源部により所定の音高の楽音データが生成され、スピーカから楽音が出力される。
【選択図】図１０

Description

本発明は、表示装置の画面上に表示された音符に触ることにより楽音を発生することができる楽音生成装置および楽音生成プログラムに関する。

一般のアコースティック楽器を演奏する際には、演奏者は、紙に印刷された楽譜をみて、音符表記（主として、音高および音長）を解釈し、楽器に対する操作に置き換えて、所定の操作により楽音を発生させる。鍵盤楽器であれば、楽譜中の音符の音高が、鍵の位置に置き換えられ、かつ、音符の音長が鍵の押鍵時間に置き換えられる。また、音符の間に休符があれば、その休符の長さは、鍵を押していない時間に置き換えられる。

ギターなど弦楽器においても、演奏者は、楽譜中の音符の音高に基づいて、押さえるべき弦を選択して、選択された弦のフレット位置を特定する。また、演奏者は、その後、選択された弦を弾くことにより楽音を発生させる。

特開平１１−２４６４９号公報 特開２００３−６６９５８号公報

近年、電子楽器（鍵盤楽器）において、表示装置が大型化して、表示装置の画面上に楽譜を表示できるものも提案されている。たとえば、特許文献１には、楽曲の進行にともなって、表示される楽譜の頁や段を適切に変更することができる楽譜表示装置が提供されている。また、特許文献２には、表示装置の画面上に楽譜を表示し、かつ、楽曲の進行にともなって、現在、楽曲が楽譜上のどの位置にいるかを示す印（カーソル）を付した電子楽器が提案されている。このような電子楽器においても、演奏者は、表示装置の画面上に表示された楽譜をみて、楽譜を解釈することにより鍵操作を実現しているため、その動作はアコースティック楽器の場合と同様である。

本発明は、演奏者による音符表記の解釈を経ることなく、所望の楽音を発生させることにより楽曲の演奏をすることができる楽音生成装置および楽音生成プログラムを提供することを目的とする。

本発明の目的は、表示装置と、
当該表示装置に重ねて配置されたタッチパネルと、
楽曲を構成する音符のそれぞれの種別および音長を示す情報を有する楽譜データに基づき、前記表示装置の画面において、五線譜中に当該音符のシンボルを配置したような楽譜を表示する楽譜生成手段と、
前記タッチパネル上での演奏者による接触および接触位置を検出する接触検出手段と、
前記表示装置の画面上に表示された音符のそれぞれの位置と、前記タッチパネル上の接触位置とを比較して、前記接触位置が、前記何れかの音符の位置を含む所定の周辺領域内であるかを判断する領域判定手段と、
前記接触位置が、前記音符の位置を含む前記周辺領域内である場合に、当該音符の音高に基づく楽音を生成する楽音生成手段と、を備えたことを特徴とする楽音生成装置により達成される。

好ましい実施態様においては、前記周辺領域が、前記音符を含む第１の領域と、第２の領域の周囲に位置する第２の領域と、を有し、
前記領域判定手段が、前記接触位置が、前記音符の位置の第１の領域、或いは、第２の領域内であるかを判断し、
前記楽音生成手段が、前記接触位置が属する領域に基づき楽音の音高を決定する。

より好ましい実施態様においては、前記第２の領域が、さらに、前記音符が配置される五線と垂直方向において前記音符より上側に位置する上側領域と、下側に位置する下側領域とを備え、
前記楽音生成手段が、前記接触位置が、前記第１の領域内である場合には、前記、発音すべき楽音の音高を、前記音符の音高に対応する音高と決定し、前記第２の領域のうち上側領域である場合には、前記音符の音高より所定だけ高い音高と決定し、また、前記第２の領域のうち、下側領域である場合には、前記音符の音高より所定だけ低い音高と決定する。

別の好ましい実施態様においては、前記接触位置が移動して、前記周辺領域中、他の領域に移動した場合に、前記楽音生成手段が、発音している楽音の音高を、移動後の新たな領域に対応する音高に変更する。

さらに別の好ましい実施態様においては、前記接触位置が移動して、前記音符の周辺領域外に移動したときに、前記楽音生成手段が、前記発音中の楽音を消音する。

より好ましい実施態様においては、前記接触位置が移動して、前記音符の周辺領域外に移動したときに、前記接触位置が、他の音符の周辺領域内であるときに、前記楽音生成手段は、前記他の音符の音高に基づく楽音を生成する。

また、別の好ましい実施態様においては、前記周辺領域が、前記音符を含む第１の領域と、第２の領域の周囲に位置する第２の領域と、を有し、
前記領域判定手段が、前記接触位置が、前記音符の位置の第１の領域、或いは、第２の領域内であるかを判断し、
前記楽音生成手段が、前記接触位置が、前記第１の領域或いは第２の領域の何れかに属するかにより、前記楽音の音色を決定する。

また、本発明の目的は、表示装置と、当該表示装置に重ねて配置されたタッチパネルと、を備えたコンピュータに、
楽曲を構成する音符のそれぞれの種別および音長を示す情報を有する楽譜データに基づき、前記表示装置の画面において、五線譜中に当該音符のシンボルを配置したような楽譜を表示する楽譜生成ステップと、
前記タッチパネル上での演奏者による接触および接触位置を検出する接触検出ステップと、
前記表示装置の画面上に表示された音符のそれぞれの位置と、前記タッチパネル上の接触位置とを比較して、前記接触位置が、前記何れかの音符の位置を含む所定の周辺領域内であるかを判断する領域判定ステップと、
前記接触位置が、前記音符の位置を含む前記周辺領域内である場合に、当該音符の音高に基づく楽音を生成する楽音生成ステップと、を実行させることを特徴とする楽音生成プログラムにより達成される。

本発明によれば、演奏者による音符表記の解釈を経ることなく、所望の楽音を発生させることにより楽曲の演奏をすることができる楽音生成装置および楽音生成プログラムを提供することが可能となる。

図１は、本発明の第１の実施の形態にかかる楽音発生装置の外観を示す図である。 図２は、本実施の形態に楽音生成装置の構成を示すブロックダイヤグラムである。 図３は、本実施の形態にかかる楽音生成装置において実行される処理の概略を例示するフローチャートである。 図４は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。 図５は、本実施の形態にかかるソング選択処理の例を示すフローチャートである。 図６（ａ）は、本実施の形態にかかる曲データの構成例を示す図、図６（ｂ）は、このようにして表示部１２の画面６１０上に表示された楽譜の例を示す図である。 図７は、本実施の形態にかかるスタート・ストップスイッチ処理の例を示すフローチャートである。 図８は、本実施の形態にかかるパネル操作検出処理の例を示すフローチャートである。 図９は、本実施の形態にかかるパネル操作検出処理の例を示すフローチャートである。 図１０は、本実施の形態にかかる周辺領域の例を示す図である。 図１１（ａ）、（ｂ）は、それぞれ、演奏者が指をタッチパネル上に接触して、その状態で指を移動した後、指をタッチパネルから離間された例を示す図である。 図１２は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。 図１３は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。 図１４は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。 図１５は、本実施の形態にかかるソング処理の例を示すフローチャートである。 図１６は、本実施の形態にかかる画像更新処理の例を示すフローチャートである。 図１７（ａ）は、第２の実施の形態にかかる周辺領域の例を示す図、図１７（ｂ）は、第３の実施の形態にかかる周辺領域の例を示す図である。 図１８は、第４の実施の形態にかかるタッチパネル操作検出処理の例を示すフローチャートである。 図１９は、第４の実施の形態にかかるタッチパネル操作検出処理の例を示すフローチャートである。 図２０は、第４の実施の形態にかかるタッチパネル操作検出処理の例を示すフローチャートである。 図２１は、第４の実施の形態におけるフィルタ特性を説明する図である。 図２２は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかる楽音発生装置の外観を示す図である。本実施の形態にかかる楽音生成装置１０は、下側に種々のスイッチが配置されたスイッチ部１１、大型の液晶表示装置を含む表示部１２、表示部１２に重ねあわされて配置されたタッチパネル１３およびスピーカ１４を有している。本実施の形態にかかる楽音発生装置１０では、表示部１２の画面上に表示された音符を、演奏者が触ると、タッチパネル１３およびＣＰＵ２１により当該接触が検出され、所定の音高の楽音が発生するようになっている。

図２は、本実施の形態に楽音生成装置の構成を示すブロックダイヤグラムである。図２に示すように、本実施の形態にかかる楽音生成装置１０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、フラッシュメモリ２４、サウンドシステム２５、外部Ｉ／Ｆ２８、スイッチ部１１、表示部１２およびタッチパネル１３を備える。

ＣＰＵ２１は、楽音生成装置１０全体の制御、スイッチ部１１を構成するスイッチの操作の検出、タッチパネル１３への接触の検出、タッチパネル１３への接触にしたがったサウンドシステム１４の制御、表示部１２の画面上に表示する楽譜データの生成など、種々の処理を実行する。

ＲＯＭ２２は、ＣＰＵ２１に実行させる種々の処理、たとえば、楽音生成装置１０全体の制御、スイッチ部１１を構成するスイッチの操作の検出、タッチパネル１３への接触の検出、タッチパネル１３への接触にしたがったサウンドシステム１４の制御、表示部１２の画面上に表示する楽譜データの生成などのプログラムを記憶する。また、ＲＯＭ２２は、ピアノ、ギター、バスドラム、スネアドラム、シンバルなどの楽音を生成するための波形データを格納した波形データエリアを有する。ＲＡＭ２３は、ＲＯＭ２２から読み出されたプログラムや、処理の過程で生じたデータを記憶する。また、フラッシュメモリ２４には、種々の楽曲の曲データおよび当該楽曲の自動伴奏データが格納される。

サウンドシステム２５は、音源部２６、オーディオ回路２７およびスピーカ１４を有する。音源部２６は、たとえば、タッチパネルの接触に基づくノートオンイベントなどをＣＰＵ２１から受信すると、ＲＯＭ２２の波形データエリアから所定の波形データを読み出して、所定の音高の楽音データを生成して出力する。また、音源部２６は、波形データ、特に、スネアドラム、バスドラム、シンバルなど打楽器の音色の波形データを、そのまま楽音データとして出力することもできる。オーディオ回路２７は、楽音データをＤ／Ａ変換して増幅する。これによりスピーカ１４から音響信号が出力される。

外部Ｉ／Ｆ２８は、メモリカードスロットを有し、メモリカード（図示せず）を受け入れて、メモリカード中のデータを読み出し、或いは、メモリカードにデータを書きこむことも可能である。また、外部Ｉ／Ｆ２８は、インターネットなどの外部ネットワークとの接続を実現するための通信手段も備え、外部ネットワークを介した他の機器との間のデータ送受信を実現する。また、本実施の形態にかかる楽音生成装置１０は、通常モードおよび自動伴奏モードの何れの下においても、タッチパネル１３上の接触に基づき、所定の音高の楽音を発生する。

以下、本実施の形態にかかる楽音生成装置１０において実行される処理についてより詳細に説明する。図３は、本実施の形態にかかる楽音生成装置において実行される処理の概略を例示するフローチャートである。楽音生成装置１０のＣＰＵ２１は、楽音生成装置１０の電源が投入されると、ＲＡＭ２３中のデータや、表示部１２の表示画面のクリアを含むイニシャル処理（初期化処理）を実行する（ステップ３０１）。

イニシャル処理（ステップ３０１）が終了すると、ＣＰＵ２１は、入力部１１を構成するスイッチのそれぞれの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ３０２）。図４は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。図４に示すように、スイッチ処理には、ソング選択処理（ステップ４０１）、モード選択処理（ステップ４０２）、スタート・ストップスイッチ処理（ステップ４０３）、音色選択処理（ステップ４０４）および他のスイッチ処理（ステップ４０５）が含まれる。

図５は、本実施の形態にかかるソング選択処理の例を示すフローチャートである。図５に示すように、ＣＰＵ２１は、入力部１１中のソングボタンがオンされたかを判断する（ステップ５０１）。ステップ５０１でＮｏと判断された場合には、ソング選択処理が終了される。ステップ５０１でＹｅｓと判断された場合には、ＣＰＵ２１は、フラッシュメモリ２４から、曲データのタイトル（曲名）を取得して、表示部１２の画面上に、曲名のリスト（ソングリスト）を表示する。また、ＣＰＵ２１は、演奏者による入力部１１中のカーソルボタンの操作にしたがって、カーソル位置に対応する曲名を強調表示する（ステップ５０２）。

ＣＰＵ２１は、入力部１１中の決定スイッチがオンされたかを判断する（ステップ５０３）。ステップ５０３でＮｏと判断された場合には、ステップ５０２に戻る。ステップ５０３でＹｅｓと判断された場合には、ＣＰＵ２１は、カーソル位置にある曲名の曲データのレコードを、当該曲データの先頭アドレスから所定数だけ読み出す（ステップ５０４）。

図６（ａ）は、本実施の形態にかかる曲データの構成例を示す図である。図６（ａ）に示すように、本実施の形態にかかる曲データ６００は、ノートオンイベントのレコード（符号６０１参照）、ゲートタイムのレコード（符号６０２参照）およびステップタイムのレコード（符号６０３）を有する。ノートオンイベントのレコードには、音色および音高を示す情報が含まれる。ゲートタイムは、ノートオンイベントにかかる楽音の音長を示す。したがって、ノートオンイベント中の音高情報およびゲートタイムの音長とにより、五線譜における音符の位置および音符の種別が特定され得る。ステップタイムは、隣接するノートオンイベントの時間差を示す。したがって、ステップタイムとゲートタイムとの差により、隣接する音符間の休符が特定され得る。

なお、本実施の形態においては、楽曲の曲データとともに、その伴奏音のデータである伴奏音データがフラッシュメモリ２４に格納されている。本実施の形態において、伴奏音データには、メロディデータ、コード音データ、および、リズム音データが含まれる。メロディデータ、コード音データおよびリズム音データは、それぞれ、曲データと同様に構成され、ノートオンイベント、ゲートタイムおよびステップタイムのレコードを有する。また、コード音データのノートオンイベントには、和音として同時に発音させることを示す和音フラグが含まれる。

ステップ５０４において、ＣＰＵ２１は、表示部１２の画面上に初期的に表示すべく、先頭の小節から所定数の小節に含まれる曲データのレコードを読み出せば良い。次いで、ＣＰＵ２１は、読み出された曲データのレコード中、ノートオンイベントおよび次のゲートタイムに基づき、音符位置および音符種別を含む音符データを生成する（ステップ５０５）。また、ゲートタイムおよび次のステップタイムに基づく休符データも、ステップ５０５において生成される。

次いで、ＣＰＵ２１は、ステップ５０５で生成された音符データおよび休符データにしたがった音符や休符のシンボルを、五線譜中に配置した画像データを生成する（ステップ５０６）。また、ＣＰＵ２１は、上記画像中の音符や休符の各々の位置情報（座標）を、ＲＡＭ２３中に格納する（ステップ５０７）。また、ＣＰＵ２１は、表示部１２の画面上に表示された音符および休符に対応する曲データのレコードのアドレス（たとえば最終アドレス）を、アドレスＤＡＤとしてＲＡＭ２３に格納する（ステップ５０８）。図６（ｂ）は、このようにして表示部１２の画面６１０上に表示された楽譜の例を示す図である。

ソング選択処理（ステップ４０１）に引き続いて実行されるモード選択処理（ステップ４０２）において、ＣＰＵ２１は、入力部１１中のモード選択ボタンにより、通常モード、および、自動伴奏モードの何れかが選択され、当該モードを示す情報がＲＡＭ２３中に格納される。

モード選択処理（ステップ４０２）に引き続いて、ＣＰＵ２１は、スタート・ストップスイッチ処理を実行する（ステップ４０３）。図７は、本実施の形態にかかるスタート・ストップスイッチ処理の例を示すフローチャートである。図７に示すように、ＣＰＵ２１は、入力部１１中のスタート・ストップスイッチの操作があったかを判断する（ステップ７０１）。ステップ７０１でＮｏと判断された場合には、スタート・ストップスイッチ処理を終了する。

ステップ７０１でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３に格納されたスタートフラグＳＴＦを反転させ（ステップ７０２）、スタートフラグＳＴＦが「１」であるかを判断する（ステップ７０３）。ステップ７０３でＹｅｓと判断された場合には、ＣＰＵ２１は、選択されている楽曲の伴奏データを構成するメロディ音データ、コード音データおよびリズム音データの、ぞれぞれのレコードの先頭アドレスを取得して、ＲＡＭ２３に格納する（ステップ７０４）。また、ＣＰＵ２１は、タイマインタラプトを解除する（ステップ７０５）。タイマインタラプトが解除されることにより、所定の時間間隔でタイマインタラプト処理が実行され、ＣＰＵ２１の内部に設けられたタイマがインクリメントされる。ステップ７０３でＮｏと判断された場合、つまり、ＳＴＦが「０」である場合には、ＣＰＵ２１は、タイマインタラプトを停止する（ステップ７０６）。

スタート・ストップスイッチ処理（ステップ４０３）に引き続いて、ＣＰＵ２１は、音色選択処理を実行する（ステップ４０４）。音色選択処理では、演奏者による、スイッチ部１１の音色選択スイッチ（トーンスイッチ）の操作により、選択された楽音の音色情報が、ＲＡＭ２３に格納される。音色選択処理（ステップ４０４）の後、ＣＰＵ２１は、他のスイッチ処理を実行する（ステップ４０５）。他のスイッチ処理には、テンポスイッチの操作によるテンポデータの設定およびテンポデータのＲＡＭ２３への格納などが含まれる。

スイッチ処理（ステップ３０２）が終了すると、ＣＰＵ２１は、パネル操作検出処理を実行する（ステップ３０３）。図８および図９は、本実施の形態にかかるパネル操作検出処理の例を示すフローチャートである。ＣＰＵ２１は、演奏者によるタッチパネルへの操作状態を検出する（ステップ８０１）。

タッチパネルへの操作状態が「なし」、つまり、演奏者の指がタッチパネルに触れられていない状態が継続されていれば、パネル操作検出処理は終了する。なお、演奏者の指が新たにオフ（新規オフ）となった場合については後述する。演奏者の指がタッチパネルに触れられているとき（オン）には、ＣＰＵ２１は、演奏者の指が新たにタッチパネルに触れられたか（新規オン）を判断する（ステップ８０２）。

ステップ８０２でＹｅｓ、つまり、新規オンであった場合には、ＣＰＵ２１は、演奏者が指で触れた位置が、画面上に表示された音符の周辺領域に該当するかを判断する。図１０は、本実施の形態にかかる周辺領域の例を示す図である。図１０においては、表示部１２の画面上に、五線（符号１０１０）およびＣ４の音高の四分音符（符号１０００）が配置されている。本実施の形態において、音符１０００が配置されている位置から、所定の第１の半径の範囲（符号１００１参照）内を、第１の領域（ａ領域）、第２の半径（＞第１の半径）の範囲（符号１００２参照）内であって第１の領域を除く領域を、第２の領域（ｂ領域）としている。さらに、第２の領域（ｂ領域）において、そのＹ座標が、音符の位置のＹ座標より小さいような領域を、ｂ−領域（符号１００３参照）、そのＹ座標が、音符の位置のＹ座標以上であるような領域をｂ＋領域（符号１００４参照）としている。

本実施の形態では、基本的には、演奏者の指が、第１の領域（ａ領域）にある場合には、音符に対応する音高の楽音が発音される。また、演奏者の指が、ｂ−領域にある場合には、音符に対応する音高より半音下の音高の楽音が発音され、演奏者の指がｂ＋領域にある場合には、音符に対応する音高より半音上の音高の楽音が発音される。これら第１の領域（ａ領域）および第２の領域（ｂ領域）の総称として、周辺領域と称する。

ステップ８０３においては、ＣＰＵ２１は、演奏者により新たにオンされた指の位置と、表示部１２の画面上に表示された音符の周辺領域とに基づき、指が位置する周辺領域を特定する（ステップ８０３）。なお、図１３などを参照して後述するが、複数の音符の周辺領域が重なっている場合がある。この場合には、ＣＰＵ２１は、楽曲において時間的に先行する音符（つまり、楽譜上で左側に位置する音符）を優先して、周辺領域を特定する。ＣＰＵ２１は、指の位置が、何れかの音符の周辺領域内にあるかを判断する（ステップ８０４）。ステップ８０４でＮｏと判断された場合には、パネル操作検出処理が終了される。その一方、ステップ８０４でＹｅｓと判断された場合には、ＣＰＵ２１は、周辺領域の種別に従った発音処理を実行する（ステップ８０５）。発音処理では、発音すべき楽音の音高および音色情報を含むノートオンイベントが生成される。

図１０に示す例において、演奏者の指が、第１の領域（ａ領域）１００１内で新たにオン状態となった場合には、ＣＰＵ２１は、音符に示す音高（Ｃ４）と、予め設定された音色情報とを含むノートオンイベントを生成して、ノートオンイベントを音源部２６に出力する。また、演奏者の指が第２の領域（ｂ領域）のうちｂ＋領域１００４内で新たにオン状態となった場合、或いは、ｂ−領域１００３内で新たにオン状態となった場合には、それぞれ、音符に示す音高より半音上の音高（Ｃ＃４）と音色情報とを含むノートオンイベント、或いは、音符に示す音高より半音下の音高（Ｂ３）と音色情報とを含むノートオンイベントを生成して、音源部２６に出力する。

ステップ８０５の後、ＣＰＵ２１は、ＲＡＭ２３中のノートオンイベントが生成された音高の楽音について、発音ステータスを「発音中」とする（ステップ８０６）。

その一方、ステップ８０１で「新規オフ」と判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中の発音ステータスが発音中であるかを判断する（ステップ８０７）。ステップ８０７でＮｏと判断された場合には、パネル操作検出処理を終了する。ステップ８０７でＹｅｓと判断された場合には、ＣＰＵ２１は、発音ステータスが「発音中」となっている楽音について、ノートオフイベントを生成して、音源部２６に出力する（ステップ８０８）。次いで、ＣＰＵ２１は、「発音中」となっていた発音ステータスを「消音」に変更する（ステップ８０９）。

図１１（ａ）は、演奏者が指をタッチパネル上に接触して、その状態で指を移動した後、指をタッチパネルから離間された例を示す図である。図１１（ａ）において、矢印付きの線の一方端の黒点が、タッチパネル上に新たに接触した位置を示し、矢印の先端が、タッチパネル上で離間した位置を示す。たとえば、線１１０１の例では、演奏者の指は、第１の領域内で新規オンして、第１の領域内を接触した状態で移動し、同じく第１の領域内で新規オフしている。したがって、新規オンに伴って、音高Ｃ４を含むノートオンイベントが生成され、新規オフに伴って音高Ｃ４のノートオフイベントが生成される。

また、線１１０２に示す例では、演奏者の指は、ｂ−領域内で新規オンして、同じくｂ−領域内で新規オフしている。したがって、新規オンに伴って、音高Ｂ３を含むノートオンイベントが生成され、新規オフに伴って音高Ｂ３のノートオフイベントが生成される。さらに、線１１０３に示す例では、音符の周辺領域に演奏者の指が位置していないため、ノートオンイベントが生成されない。

その一方、図１１（ｂ）に示すように、複数の領域にわたって演奏者の指が移動する場合も考えられる。たとえば、以下のような態様を考えることができる。

ｂ−領域で新規オンして、ａ領域で移動した後、ａ領域において新規オフとなる（符号１１１１）
ｂ＋領域で新規オンして、ａ領域で移動した後、ａ領域において新規オフとなる（符号１１１２）
周辺領域外で新規オンして、ｂ−領域に移動した後、ｂ−領域において新規オフとなる（符号１１１３）
周辺領域外で新規オンして、ｂ−領域に移動した後、さらに、ａ領域に移動して当該ａ領域において新規オフとなる（符号１１１４）

上記以外にも、複数の領域にわたる場合が生じ得る。したがって、本実施の形態にかかるパネル操作検出処理では、上述した演奏者の指の移動にも対応できるようになっている。図９に示すように、ステップ８０２でＮｏ、つまり、演奏者がタッチパネル上で指をオン中である場合には、ＣＰＵ２１は、演奏者の指が触れている位置が、画面上に表示された音符についての周辺領域に該当するかを判断する（ステップ９０１）。次いで、ＣＰＵ２１は、検出された周辺領域が、前回の処理において検出された周辺領域と異なるか、つまり、周辺領域の種別が変更されたかを判断する（ステップ９０２）。なお、ｂ−領域からｂ＋領域の移動も、周辺領域の変更と判断される。

ステップ９０２でＮｏと判断された場合には、パネル操作検出処理を終了する。ステップ９０２でＹｅｓと判断された場合には、ＣＰＵ２１は、演奏者の指の位置が、周辺領域内、つまり、第１の領域（ａ領域）或いは第２の領域（ｂ−領域またはｂ＋領域）の何れかにあるかを判断する（ステップ９０３）。ステップ９０３でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３に格納された発音ステータスが「発音中」であるかを判断する（ステップ９０４）。ステップ９０４でＹｅｓと判断された場合には、ＣＰＵ２１は、指が位置する周辺領域の種別に従った音高変更処理を実行する（ステップ９０７）。

音高変更処理においては、移動前の周辺領域に対応する音高の楽音を消音するノートオフイベントを生成して、音源部２６に出力するとともに、移動後の周辺領域に対応する音高および音色情報を含むノートオンイベントを生成して、音源部２６に出力する。これにより、移動後の周辺領域に対応する音高の楽音を発生させることができる。

図１１（ｂ）において、ｂ−領域で新規オンして、ａ領域で移動した場合（符号１１１１）には、ｂ−領域での新規オンにより、Ｃ４より半音下のＢ３の楽音が発生し、ｂ−領域からａ領域に移動することにより、楽音の音高がＣ４に変更される。また、ｂ＋領域で新規オンして、ａ領域で移動した場合（符号１１１２）には、ｂ＋領域での新規オンにより、Ｃ４より半音上のＣ＃４の楽音が発生し、ｂ＋領域からａ領域に移動することにより、楽音の音高がＣ４に変更される。

ステップ９０４でＮｏと判断された場合には、ＣＰＵ２１は、周辺領域の種別に従った発音処理を実行する（ステップ９０５）。ステップ９０５においては、図８のステップ８０５と同様に、ＣＰＵ２１は、周辺領域に対応する音高および音色情報を含むノートオンイベントを生成して、音源部２６に出力する。その後、ＣＰＵ２１は、ＲＡＭ２３中のノートオンイベントが生成された音高の楽音について、発音ステータスを「発音中」とする（ステップ９０６）。

図１１（ｂ）において、周辺領域外で新規オンして、ｂ−領域に移動した場合（符号１１１３参照）には、領域ｂ−に移動することにより、音符の音高Ｃ４より半音低いＢ３の楽音が発生する。また、周辺領域外で新規オンして、ｂ−領域に移動した後、さらに、ａ領域に移動した場合（符号１１１４参照）には、領域ｂ−に移動することにより、音符の音高Ｃ４より半音低いＢ３の楽音が発生し、さらに、ａ領域に移動することにより、音高がＣ４に変更される。

次に、ステップ９０３でＮｏと判断された場合について説明する。この場合に、ＣＰＵ２１は、ＲＡＭ２３に格納された発音ステータスが「発音中」であるかを判断する（ステップ９０８）。ステップ９０８でＹｅｓと判断されるときは、演奏者の指の位置が周辺領域の何れかから周辺領域外に移動したことを意味する。したがって、この場合には、ＣＰＵ２１は、消音処理を実行する（ステップ９０９）。消音処理において、ＣＰＵ２１は、発音ステータスが「発音中」である楽音についてのノートオフイベントを生成して、音源部２６に出力する。

ステップ９０８でＮｏと判断された場合、或いは、ステップ９０９が実行された後、ＣＰＵ２１は、演奏者の指の位置が、他の音符についての周辺領域にあるかを判断する（ステップ９１０）。図１２および図１３は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。図１２に示す例では、２つの音符１２００および１２１０の周辺領域は重なり合っていない。つまり、音符１２００の第２の領域（符号１２０１参照）と、音符１２１０の第２の領域（符号１２１１参照）とは離間している。したがって、演奏者の指が、音符１２００の第１の領域（ａ領域）でオン状態となり、第２の領域（この例では、ｂ−領域）を経て、周辺領域外に出たそのときに、他の音符についての周辺領域内に位置することはない（矢印１２２０参照）。

これに対して、図１３に示す例では、２つの音符１３００、１３１０は隣接して配置され、その周辺領域が重なり合っている。この例では、音符１３００の第１の領域１３０２は、部分的に音符１３１０の第２の領域１３１１と重なり合い、第２の領域１３０１は、部分的に音符１３１０の第１の領域１３１２、第２の領域１３１１と重なり合っている。このようなときに、演奏者の指が、線１３２０に沿って移動した場合には、音符１３００を優先と考えると、音符１３００の第１の領域１３０２、音符１３００の第２の領域１３０１（より詳細にはｂ−領域からｂ＋領域）を経て、音符１３１０の第１の領域１３１２に達する）。本実施の形態においては、このように、演奏者の指が、ある音符の周辺領域外に出たその時に、他の音符の周辺領域内に位置する場合を考慮して、以下の処理を実行する。

ステップ９１０でＹｅｓと判断された場合には、ＣＰＵ２１は、他の音符についての新たな周辺領域の種別に基づく発音処理を実行する（ステップ９１１）。ステップ９１１においては、ＣＰＵ２１は、他の音符についての周辺領域に対応する音高および音色情報を含むノートオンイベントを生成して、音源部２６に出力する。ステップ９１０でＮｏと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中の発音ステータスを「消音」とする（ステップ９１２）。

図１４は、表示部の画面上の画像において、五線上に複数の音符が配置されている例を示す図である。図１４における線１３２０および１４１０は、演奏者の指の移動の軌跡を示している。図１４において、線１３２０は、音符１３００についての第１の領域（ａ領域）１３０２で新規オンして、第２の領域１３０１のｂ−領域およびｂ＋領域を経て、他の音符１３１０の第１の領域（ａ領域）１３１２に達したことを示している。この場合には、Ｃ４（音符１３００の第１の領域）、Ｂ３（音符１３００のｂ−領域）、Ｃ＃４（音符１３００のｂ＋領域）、Ｅ４（音符１３１０の第１の領域）の順で楽音が発音される。

また、図１４において、線１４１０は、音符１３００の第１の領域（ａ領域）で新規オンして、第２の領域１３０１のｂ−領域を経た後、さらに、他の音符１３１０の第２の領域１３１１のｂ−領域を経て、他の音符１３１０の第１の領域１３１２に達したことを示している。この場合には、Ｃ４（音符１３００の第１の音域）、Ｂ３（音符１３００のｂ−領域）、Ｅ♭４（音符１３１０のｂ−領域）、Ｅ４（音符１３１０の第１の領域）の順で楽音が発音される。

なお、本実施の形態においては、タッチパネル１３への新規オンにおいて、複数の音符の周辺領域が重なっている場合には、楽曲において時間的に先行する音符（つまり、楽譜上で左側に位置する音符）を優先して、周辺領域が特定される。つまり、図１４に示すように、新規オンの際には、左側に位置する音符１３００の周辺領域（符号１３０１，１３０２参照）が、右側に位置する音符１３１０の周辺領域（符号１３１１、１３１２参照）に優先して判断される。しかしながら、いったん、演奏者の指のオン状態が維持された状態で、他の音符の周辺領域内に移動すると、当該他の音符の周辺領域が優先することになる。

図２２は、演奏者の指の軌跡が、他の音符の周辺領域に移ったときの状態を示す図である。図１４の符号１３２０と同じような動きで、演奏者の指が、音符１３００の周辺領域（実際には、第２の領域１３０１）から、音符１３１０の周辺領域（実際には、第１の領域１３１２）に移動すると（符号２２０１参照）、音符１３１０の周辺領域が、音符１３００の周辺領域に優先する。すなわち、演奏者の指が線１３２０に沿って動き、位置２２０１に移動すると、音符１３１０の周辺領域と、音符１３００の周辺領域が重なり合う部分では、音符１３１０の周辺領域が優先する。したがって、位置２２０１以降の演奏者の指の移動に伴う発音は、図２２に示すように、音符１３１０の周辺領域に位置する限り、音符１３１０に関する楽音（Ｅ４、半音下のＥ♭４、或いは、半音上のＦ４）となる。

演奏者の指が線１４１０に沿って動き、位置２２０２に達したときにも同様に、音符１３１０の周辺領域と、音符１３００の周辺領域が重なり合う部分では、音符１３１０の周辺領域が優先する。

パネル操作検出処理が終了すると、ＣＰＵ２１は、ソング処理を実行する。図１５は、本実施の形態にかかるソング処理の例を示すフローチャートである。図１５に示すように、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦが「１」であるかを判断する（ステップ１５０１）。ステップ１５０１でＮｏと判断された場合には、ソング処理は終了する。

ステップ１５０１でＹｅｓと判断された場合には、ＣＰＵ２１は、現在時刻が、次のメロディ音のノートオン或いはノートオフの時刻に達しているかを判断する（ステップ１５０２）。上述したように、本実施の形態にかかる伴奏データには、メロディデータ、コード音データ、および、リズム音データが含まれ、それぞれが、ノートオンイベント、ゲートタイムおよびステップタイムのレコードを有している。

したがって、ＣＰＵ２１は、タイマインタラプト処理によってカウントされるタイマ値を参照して、前回のノートオンイベントが生じた時刻からの経過時間が、ゲートタイムより大きくなっていれば、ノートオフイベントを生成して、音源部２６に出力する。また、ＣＰＵ２１は、前回のノートオンイベントが生じた時刻からの経過時間が、ステップタイムより大きくなっていれば、次のノートオンイベントのレコードを生成して、音源部２６に出力する。このように、ステップ１５０２でＹｅｓと判断された場合には、ＣＰＵ２１により、メロディ音の発音処理、消音処理が実行される（ステップ１５０３）。

ＣＰＵ２１は、フラッシュメモリ２４中のコード音データのレコードを参照して、現在時刻が、次のコード音のノートオン或いはノートオフの時刻に達しているかを判断する（ステップ１５０４）。ステップ１５０４でＹｅｓと判断された場合には、ＣＰＵ２１は、コード音の発音処理、消音処理を実行する（ステップ１５０５）。

また、ＣＰＵ２１は、フラッシュメモリ２４中のリズム音データのレコードを参照して、現在事項が、次のリズム音のノートオン或いはノートオフの時刻に達しているかを判断する（ステップ１５０６）。ステップ１５０６でＹｅｓと判断された場合には、ＣＰＵ２１は、リズム音の発音処理、消音処理を実行する（ステップ１５０７）。

ソング処理（ステップ３０４）が終了すると、音源部２６において音源発音処理が実行される（ステップ３０５）。音源発音処理では、音源部２６が、ＣＰＵ２１からノートオンイベントを受理すると、ノートオンイベントに含まれる音高および音色情報に基づき、ＲＯＭ２２から所定の音色の波形データを、音高にしたがった速度で読み出して、所定の楽音データを生成する。また、音源部２６が、ＣＰＵ２１からノートオフイベントを受理すると、ノートオフイベントに示される音色および音高の楽音を消音する。

音源発音処理（ステップ３０５）が終了すると、ＣＰＵ２１は、画像更新処理を実行する（ステップ３０６）。図１６は、本実施の形態にかかる画像更新処理の例を示すフローチャートである。

図１６に示すように、ＣＰＵ２１は、演奏者によるタッチパネルへの操作状態を検出する（ステップ１６０１）。タッチパネルに演奏者の指が接触していない状態であれば（ステップ１６０１で「オフ」）、画像更新処理は終了する。タッチパネルに演奏者の指が接触していれば（ステップ１６０１で「オン」）、ＣＰＵ２１は、演奏者が指で触れた位置が画面上に表示された音符についての周辺領域に該当するかを判断する（ステップ１６０２）。ステップ１６０２でＹｅｓと判断された場合には、ＣＰＵ２１は、演奏者の指がその周辺領域に位置する音符の音高が、アドレスを示すパラメータＤＡＤにて特定されるレコード中の音高と一致するかを判断する（ステップ１６０３）。

ステップ１６０２或いはステップ１６０３でＮｏと判断された場合には、楽譜更新処理は終了する。ステップ１６０３でＹｅｓと判断された場合は、表示部の画面上に配置された楽譜において、最後尾の音符（時間的にもっとも新しい音符）の周辺領域に演奏者の指が触れていることを意味する。したがって、ステップ１６０３でＹｅｓと判断された場合には、ＣＰＵ２１は、曲データのレコードを、アドレスＤＡＤが示すパラメータの後、所定数だけ読み出す（ステップ１６０４）。

ＣＰＵ２１は、読み出された曲データのレコード中、ノートオンイベントおよび次のゲートタイムに基づき、音符位置および音符種別を含む音符データを生成する（ステップ１６０５）。また、ゲートタイムおよび次のステップタイムに基づく休符データも、ステップ１６０５において生成される。

次いで、ＣＰＵ２１は、ステップ１６０５で生成された音符データおよび休符データにしたがった音符や休符を、五線譜中に配置した画像データを生成する（ステップ１６０６）。また、ＣＰＵ２１は、上記画像中の音符や休符の各々の位置情報（座標）を、ＲＡＭ２３中に格納する（ステップ１６０７）。また、ＣＰＵ２１は、表示部１２の画面上に表示された音符および休符に対応する曲データのレコードのアドレス（たとえば最終アドレス）を、アドレスＤＡＤとしてＲＡＭ２３に格納する（ステップ１６０８）。

楽譜更新処理（ステップ３０６）が終了すると、ＣＰＵ２１は、その他の処理を実行して（ステップ３０７）、ステップ３０２に戻る。その他の処理には、外部Ｉ／Ｆ２８を介したメモリカードからのデータの読み出し、メモリカードへのデータ書き込み、外部ネットワークを介した他の機器とのデータ送受信などが含まれる。

本実施の形態によれば、ＣＰＵ２１は、表示部１２の画面上に表示された楽譜中の音符のそれぞれの位置と、タッチパネル１３上の演奏者による接触位置とを比較して、接触位置が、何れかの音符の位置を含む周辺領域内であるかを判断して、接触位置が、周辺領域内である場合に、当該音符の音高に基づくノートオンイベントを生成して、音源部２６に出力する。これにより、音源部２６により所定の音高の楽音データが生成される。このように、本実施の形態によれば、演奏者が、表示画面上の音符或いはその周辺領域に触れることにより、楽曲を構成する音符に対応する楽音を発生することができる。したがって、楽譜表示から、その音符表記の解釈を経ることなく、直接的に楽音を発生することが可能となる。

また、本実施の形態によれば、周辺領域が、音符を含む第１の領域と、第２の領域の周囲に位置する第２の領域と、を有し、ＣＰＵ２１は、演奏者による接触位置が、音符の位置の第１の領域、或いは、第２の領域内であるかを判断し、接触位置が属する領域に基づき楽音の音高を決定する。これにより、演奏者による接触位置と音符との近さに基づいて音高を変化させることが可能となる。

さらに、第２の領域は、音符が配置される五線と垂直方向において、音符より上側に位置する上側領域（ｂ＋領域）と、下側に位置する下側領域（ｂ−領域）とを備える。ＣＰＵ２１は、演奏者による接触位置が、第１の領域内である場合には、発音すべき楽音の音高を、音符の音高に対応する音高と決定し、上側領域である場合には、音符の音高より所定だけ高い音高（たとえば半音高い音高）と決定し、また、下側領域である場合には、前記音符の音高より所定だけ低い音高（たとえば半音低い音高）と決定する。

また、本実施の形態においては、接触位置が移動して、周辺領域中の他の領域に移動したときには、ＣＰＵ２１は、発音している楽音の音高を移動後の他の領域に対応する音高に変更する。これにより、演奏者による接触位置の移動に応じた音高変化を実現することができる。

また、本実施の形態においては、接触位置が移動して、音符の周辺領域外に移動したときに、ＣＰＵ２１は、発音中の楽音を消音する。これにより、演奏者による接触位置が、音符から所定なだけ離間したときに適切に楽音を消すことが可能となる。

さらに、本実施の形態においては、接触位置が移動して、音符の周辺領域外に移動したときに、当該接触位置が、他の音符の周辺領域内であるときに、ＣＰＵ２１は、他の音符の音高に基づく楽音を生成する。したがって、いったん演奏者は指をタッチパネルから離間させて新たに接触することなく、楽譜上の次の楽音を発音させることが可能となる。

次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、図１０に示すように、音符１０００が配置されている位置から、所定の第１の半径の範囲（符号１００１参照）内を第１の領域（ａ領域）、所定の第２の半径（＞第１の半径）の範囲（符号１００２参照）内を第２の領域（ｂ領域）としている。さらに、第２の領域（ｂ領域）において、そのＹ座標が、音符の位置のＹ座標より小さいような領域を、ｂ−領域（符号１００３参照）、そのＹ座標が、音符の位置のＹ座標以上であるような領域をｂ＋領域（符号１００３参照）としている。

第１の実施の形態では、演奏者の指が、第１の領域（ａ領域）にある場合には、音符に対応する音高の楽音が発音される。また、演奏者の指が、ｂ−領域にある場合には、音符に対応する音高より半音下の音高の楽音が発音され、演奏者の指がｂ＋領域にある場合には、音符に対応する音高より半音上の音高の楽音が発音される。

第２の実施の形態においても、音符１７００の周囲に第１の領域および第２の領域（ｂ−領域およびｂ＋領域）が設けられているが、第１の領域の形状が、第１の実施の形態と異なる。図１７（ａ）は、第２の実施の形態にかかる周辺領域の例を示す図である。図１７（ａ）に示すように、この例では、第１の領域１７０１の長径は、第２の領域１７０２の直径と等しく、したがって、左右端で第１の領域１７０１と第２の領域１７０２とは接触している（符号１７０５、１７０６参照）。

また、第１の実施の形態と同様に、第２の領域において、そのＹ座標が、音符の位置のＹ座標より小さいような領域を、ｂ−領域（符号１７０３参照）、そのＹ座標が、音符の位置のＹ座標以上であるような領域をｂ＋領域（符号１７０４参照）としている。

第２の実施の形態においても、演奏者の指が、第１の領域（ａ領域）（符号１７０１参照）にある場合には、音符に対応する音高の楽音が発音される。また、演奏者の指が、ｂ−領域（符号１７０３参照）にある場合には、音符に対応する音高より半音下の音高の楽音が発音され、演奏者の指がｂ＋領域（符号１７０４参照）にある場合には、音符に対応する音高より半音上の音高の楽音が発音される。

また、演奏者の指が、タッチパネル１３の画面上に触れた状態で周辺領域などを移動した場合の音高の変化は、第１の実施の形態と同様である（図８および図９参照）。

第２の実施の形態においては、左右端において、第１の領域と第２の領域とが接触している。したがって、演奏者の指が、ある音符のｂ−領域からｂ＋領域に、或いは、ある音符のｂ＋領域からｂ−領域に直接移動することがない。したがって、ユーザの指の動きに伴って、発音される音高は、実際の音符の音高の半音上から半音下に直接変化し、或いは、実際の音符の音高の半音下から半音上に直接変化するような、大きな音高変化は生じない。

次に、本発明の第３の実施の形態について説明する。図１７（ｂ）は、第３の実施の形態にかかる周辺領域の例を示す図である。図１７（ｂ）に示すように、第３の実施の形態では、第１の領域（符号１７１１参照）および第２の領域（符号１７１２参照）の間に、第３の領域（符号１７１３参照）が設けられている（第１の領域の半径＜第３の領域の半径＜第２の領域の半径）。第３の領域も、第２の領域と同様に、Ｙ座標が音符の位置するＹ座標より小さいこと、或いは、大きいことにしたがって、ｃ−領域（符号１７１６参照）とｃ＋領域（符号１７１７参照）とを含んでいる。

第３の実施の形態においては、領域に対応して以下に示す音高の楽音が発音されるようになっている。

演奏者の指が、ａ領域（符号１７１１参照）にある場合には、音符に対応する音高の楽音が発音される。

演奏者の指が、ｂ−領域（符号１７１４参照）にある場合には、音符に対応する音高より半音下の音高の楽音が発音され、演奏者の指がｂ＋領域（符号１７１５参照）にある場合には、音符に対応する音高より半音上の音高の楽音が発音される。

演奏家の指が、ｃ−領域（符号１７１６参照）にある場合には、音符に対応する音高より１／４音下の音高の楽音が発音され、演奏者の指がｃ＋領域（符号１７１７参照）にある場合には、音符に対応する音高より１／４音上の楽音が発音される。

なお、第３の実施の形態においても、演奏者の指が、タッチパネル１３の画面上に触れた状態で周辺領域などを移動した場合の音高の変化は、第１の実施の形態と同様である（図８および図９参照）。

第３の実施の形態においては、演奏者の指の動きに基づいて、より細かい音程変化を実現することが可能となる。

また、上記第１の実施の形態〜第３の実施の形態においては、周辺領域の種別に応じて、楽音の音高を変化させているが、これに限定されるものではなく、他の楽音の構成要素（たとえば、効果音の特定変化などを含む音色の変化）を変化させても良い。第４の実施の形態においては、変化させる楽音の構成要素として、フィルタ特性を採用している。図１８〜図２０は、第４の実施の形態にかかるタッチパネル操作検出処理の例を示すフローチャートである。第４の実施の形態にかかる音符の周辺領域は、第１の実施の形態と同様であり、第１の領域（ａ領域）と、ｂ−領域およびｂ＋領域を含む第２の領域（ｂ領域）とを備える。

図１８において、ステップ１８０１〜ステップ１８０４は、図８のステップ８０１〜８０４と同様である。新たにオン状態となった指の位置が、何れかの音符の周辺領域内にある場合（ステップ１８０４でＹｅｓ）には、ＣＰＵ２１は、周辺領域の種別に従った音色効果情報を生成する（ステップ１８０５）。音色効果情報とは、音色を変化させるためのパラメータであり、第４の実施の形態では、フィルタ特性が該当する。

第４の実施の形態では、演奏者の指が第１の領域（ａ領域）に位置するときには、楽音データに施されるフィルタの特性は、デフォルト値となる。その一方、演奏者の指がｂ−領域に位置するときには、デフォルト値のフィルタ特性より、フィルタを閉じる、つまり、図２１に示すように、デフォルト値におけるフィルタ特性（符号２１０１参照）のときよりも、高域におけるゲインをより小さくする、つまり、デフォルト値のフィルタ特性よりも高域になるのしたがって減少するゲインの度合いが大きくなるようなフィルタ特性とする（符号２１０２参照）。また、演奏者の指がｂ＋領域に位置するときには、フィルタを開く、つまり、デフォルト値のフィルタ特定（符号２１０１参照）のときよりも、高域におけるゲインをより大きくする、つまり、デフォルト値のフィルタ特性よりも高域になるのにしたがって減少するゲインの度合いが小さいようなフィルタ特性とする（符号２１０３参照）。ステップ１８０５では、上記フィルタ特性を示す情報が、音色効果情報として生成される。

第４の実施の形態においては、音高は、周辺領域の種別（第１の領域或いは第２の領域）にかかわらず、演奏者の指がその周辺領域に触れている音符の音高となる。そこで、ＣＰＵ２１は、発音すべき楽音の音高（音符の音高）と、音色（楽器種別）情報およびステップ１８０５で生成された音色効果情報とを含むノートオンイベントを生成して、音源部２６に出力する（ステップ１８０６）。ステップ１８０６の後、ＣＰＵ２１は、ＲＡＭ２３中のノートオンイベントが生成された音高の楽音について、発音ステータスを「発音中」とする（ステップ１８０７）。

タッチパネルへの操作状態が新規オフであるときに実行される処理ステップ（ステップ１８０８〜１８１０）は、図８のステップ８０７〜８０９にそれぞれ対応する。また、タッチパネルへの操作状態がオンであるが、新規オンではなかった場合（ステップ１８０２でＮｏ）に実行される処理のうち、ステップ１９０１〜１９０４は、図９のステップ９０１〜９０４と同様である。

ステップ１９０４でＹｅｓと判断された場合には、ＣＰＵ２１は、周辺領域の種別にしたがった音色効果変更処理を実行する（ステップ１９０８）。ステップ１９０８においては、ＣＰＵ２１は、新たな周辺領域の種別にしたがったフィルタ特性を示す情報を、音源部２５に出力する。ステップ１９０４でＮｏと判断された場合には、ＣＰＵ２１は、周辺領域の種別に従った音色効果情報を生成する（ステップ１９０５）。次いで、ＣＰＵ２１は、発音すべき楽音の音高（音符の音高）と、音色（楽器種別）情報およびステップ１９０５で生成された音色効果情報とを含むノートオンイベントを生成して、音源部２６に出力する（ステップ１９０６）。また、ＣＰＵ２１は、ＲＡＭ２３中のノートオンイベントが生成された音高の楽音について、発音ステータスを「発音中」とする（ステップ１９０７）。

次に、ステップ１９０３でＮｏと判断された場合について説明する。ステップ１９０３でＮｏ、つまり、演奏者の指が移動して、周辺領域外となった場合に実行される処理のうち、ステップ２００１〜２００３は、図９のステップ９０８〜９１０と、それぞれ同様である。ステップ２００３でＹｅｓ、つまり、演奏者の指の位置が、他の音符についての周辺領域にあるかと判断された場合、ＣＰＵ２１は、他の音符についての新たな周辺領域の種別にしたがった音色効果情報（フィルタ特性を示す情報）を生成する（ステップ２００４）。また、ＣＰＵ２１は、発音すべき楽音の新たな音高（新たな音符の音高）と、音色（楽器種別）情報およびステップ２００４で生成された音色効果情報とを含むノートオンイベントを生成して、音源部２６に出力する（ステップ２００５）。

ステップ２００３でＮｏと判断された場合には、第１の実施の形態と同様に（図９のステップ９１２参照）、ＣＰＵ２１は、ＲＡＭ２３中の発音ステータスを「消音」とする（ステップ２００６）。

第４の実施の形態によれば、ＣＰＵ２１は、演奏者による接触位置が、前記第１の領域或いは第２の領域の何れかに属するかにより、楽音の音色を決定する。したがって、演奏者は、表示された音符の周囲において、所望の位置に指を置くことにより、所望の音色効果をもつ楽音を発生させることが可能となる。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

たとえば、第１の実施の形態および第２の実施の形態では、周辺領域として、第１の領域（ａ領域）と第２の領域（ｂ＋領域およびｂ−領域）を設け、第１の領域（ａ領域）、ｂ＋領域、ｂ−領域のそれぞれにおいて、表示された音符の音高に基づく所定の音高を対応付けている。しかしながら、これに限定されず、周辺領域として、第１の領域（ａ領域）だけを設け、演奏者の指が第１の領域に接触したときに、音符に対応する音高の楽音を発音するように構成しても良い。

また、本実施の形態においては、ノートオンイベント、ゲートタイムおよびステップタイムのレコードを含む曲データに基づいて、音符の音高および音長を含む楽譜データを生成し、表示部１２の画面上、所定の位置に音符のシンボルを配置したような楽譜を表示している。しかしながら、これに限定されるものではなく、曲データとは別に音符及び音長を示すレコードを含む楽譜データをフラッシュメモリ２４に格納し、ＣＰＵ２１が、楽譜データを読み出して、表示部１２の画面上、所定の位置に音符のシンボルを配置したような楽譜を表示しても良い。

１０ 楽音生成装置
１１ スイッチ部
１２ 表示部
１３ タッチパネル
１４ スピーカ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ フラッシュメモリ
２５ サウンドシステム
２６ 音源部
２７ オーディオ回路

Claims (8)

1. 表示装置と、
   当該表示装置に重ねて配置されたタッチパネルと、
   楽曲を構成する音符のそれぞれの種別および音長を示す情報を有する楽譜データに基づき、前記表示装置の画面において、五線譜中に当該音符のシンボルを配置したような楽譜を表示する楽譜生成手段と、
   前記タッチパネル上での演奏者による接触および接触位置を検出する接触検出手段と、
   前記表示装置の画面上に表示された音符のそれぞれの位置と、前記タッチパネル上の接触位置とを比較して、前記接触位置が、前記何れかの音符の位置を含む所定の周辺領域内であるかを判断する領域判定手段と、
   前記接触位置が、前記音符の位置を含む前記周辺領域内である場合に、当該音符の音高に基づく楽音を生成する楽音生成手段と、を備えたことを特徴とする楽音生成装置。
2. 前記周辺領域が、前記音符を含む第１の領域と、第２の領域の周囲に位置する第２の領域と、を有し、
   前記領域判定手段が、前記接触位置が、前記音符の位置の第１の領域、或いは、第２の領域内であるかを判断し、
   前記楽音生成手段が、前記接触位置が属する領域に基づき楽音の音高を決定することを特徴とする請求項１に記載の楽音生成装置。
3. 前記第２の領域が、さらに、前記音符が配置される五線と垂直方向において前記音符より上側に位置する上側領域と、下側に位置する下側領域とを備え、
   前記楽音生成手段が、前記接触位置が、前記第１の領域内である場合には、前記、発音すべき楽音の音高を、前記音符の音高に対応する音高と決定し、前記第２の領域のうち上側領域である場合には、前記音符の音高より所定だけ高い音高と決定し、また、前記第２の領域のうち、下側領域である場合には、前記音符の音高より所定だけ低い音高と決定することを特徴とする請求項２に記載の楽音生成装置。
4. 前記接触位置が移動して、前記周辺領域中、他の領域に移動した場合に、前記楽音生成手段が、発音している楽音の音高を、移動後の新たな領域に対応する音高に変更することを特徴とする請求項２または３に記載の楽音生成装置。
5. 前記接触位置が移動して、前記音符の周辺領域外に移動したときに、前記楽音生成手段が、前記発音中の楽音を消音することを特徴とする請求項１ないし４の何れか一項に記載の楽音生成装置。
6. 前記接触位置が移動して、前記音符の周辺領域外に移動したときに、前記接触位置が、他の音符の周辺領域内であるときに、前記楽音生成手段は、前記他の音符の音高に基づく楽音を生成することを特徴とする請求項５に記載の楽音生成装置。
7. 前記周辺領域が、前記音符を含む第１の領域と、第２の領域の周囲に位置する第２の領域と、を有し、
   前記領域判定手段が、前記接触位置が、前記音符の位置の第１の領域、或いは、第２の領域内であるかを判断し、
   前記楽音生成手段が、前記接触位置が、前記第１の領域或いは第２の領域の何れかに属するかにより、前記楽音の音色を決定することを特徴とする請求項１に記載の楽音生成装置。
8. 表示装置と、当該表示装置に重ねて配置されたタッチパネルと、を備えたコンピュータに、
   楽曲を構成する音符のそれぞれの種別および音長を示す情報を有する楽譜データに基づき、前記表示装置の画面において、五線譜中に当該音符のシンボルを配置したような楽譜を表示する楽譜生成ステップと、
   前記タッチパネル上での演奏者による接触および接触位置を検出する接触検出ステップと、
   前記表示装置の画面上に表示された音符のそれぞれの位置と、前記タッチパネル上の接触位置とを比較して、前記接触位置が、前記何れかの音符の位置を含む所定の周辺領域内であるかを判断する領域判定ステップと、
   前記接触位置が、前記音符の位置を含む前記周辺領域内である場合に、当該音符の音高に基づく楽音を生成する楽音生成ステップと、を実行させることを特徴とする楽音生成プログラム。

Images