JP2012215630A - 楽譜演奏装置及び楽譜演奏プログラム - Google Patents

Abstract

【課題】楽譜演奏装置において、表示画面に表示された楽譜を指等でタッチして楽音を生成するに際して、タッチのタイミングと位置を楽音作成に反映させて旋律や和音等を再生可能とする。
【解決手段】タッチパネルから構成される表示部３を備えた楽譜演奏装置において、楽譜画像ソース選択部と、楽譜画像ソースから、少なくとも音符位置と音高情報を検出する音楽記号検出部と、選択された楽譜画像及び演奏ポインタ５を表示部３に表示する表示装置と、表示部３におけるタッチ操作位置を検出するタッチ位置検出部と、タッチ操作位置に対応して演奏ポインタ５の位置を移動する移動手段と、演奏ポインタ位置に対応する音符の音高の楽音を、演奏ポインタの移動に対応したタイミングで発音する楽音生成部を備える。
【選択図】図１

Description

本発明は、電子的に取り込まれた楽譜の音楽情報から演奏を行う楽譜演奏技術に関し、特に、音楽情報から楽音を再生するに際して、自由度の高い演奏を可能とした楽譜演奏装置及び楽譜演奏プログラムに関する。

従来、タッチパネル上に演奏データを楽譜形式で表示する電子楽器が提案されている。この電子楽器は、例えば特許文献１に開示されるように、発音タイミングと音高情報とを含む演奏情報が記憶されたメモリを備え、メモリに記憶された演奏情報に基づく楽譜を表示画面で表示し、この表示に対する操作位置を、タッチパネルを通じて検出する。
そして、楽音生成部が、表示画面に表示された楽譜中における、タッチパネルの操作位置に対応した位置に表示された楽譜符号の楽音を生成することで、楽譜上の符号と楽音との関係を容易に認識させるものである。

特許第３９８０８８８号公報

しかしながら、上述した電子楽器によれば、発音タイミングと音高情報を含む演奏情報を予めメモリに記憶する必要があり、自由な楽譜を演奏させることができないという課題が存在した。
また、表示画面に表示されている楽譜に対して、指等のタッチによるタッチ開始位置と、タッチ開始後タッチ位置を連続的に移動させてタッチを終了した時のタッチ終了位置で挟まれた領域に対応する演奏情報を自動演奏するが、予めメモリに記憶された演奏情報による発音タイミングで自動的に行われるため、タッチの仕方で演奏を変化させるようなことができず、ユーザ側の動作を演奏に反映できないという課題が存在した。

その一方、印刷楽譜は、特別な音楽的素養の無い一般の人にとっては、楽譜を見て旋律や音高をイメージするのが困難であり、旋律や音程を容易に確認することが可能なツールの存在が望まれていた。

本発明は上記実情に鑑みて提案されたもので、表示画面に表示された楽譜を指等でタッチして楽音を生成するに際して、タッチのタイミングと位置を楽音作成に反映させて旋律や音程を再生可能とする楽譜演奏装置及び楽譜演奏プログラムを提供することを目的としている。

上記目的を達成するため本発明（請求項１）は、タッチパネルから構成される表示部を備えた楽譜演奏装置において、前記表示部に表示する楽譜画像ソースを選択する楽譜画像ソース選択手段（楽譜ソース選択部）と、前記楽譜画像ソースから、少なくとも音符位置と音高情報を検出する音楽情報検出手段（音楽記号検出部）と、選択された楽譜画像及び演奏ポインタを前記表示部に表示する画像表示手段（表示装置）と、前記表示部におけるタッチ操作位置を検出するタッチ位置検出手段（タッチ位置検出部）と、前記タッチ操作位置に対応して前記演奏ポインタの位置を移動する移動手段と、演奏ポインタの移動に対応する発音タイミングで、演奏ポインタ位置に対応する音符の音高の楽音を発音する発音手段（楽音生成部）を備えたことを特徴としている。

請求項２は、請求項１の楽譜演奏装置において、前記発音タイミングは、前記演奏ポインタが前記音符位置を通過したタイミングであることを特徴としている。

請求項３は、請求項１の楽譜演奏装置において、前記発音タイミングは、前記演奏ポインタが前記音符位置へ移動したタイミングであることを特徴としている。

請求項４は、請求項３の楽譜演奏装置において、前記移動手段は、前記タッチパネル上でのタッチオン動作のたびに、前記演奏ポインタ位置を次に演奏する音符位置へ移動させることを特徴としている。

請求項５は、請求項１から請求項３のいずれか１項に記載の楽譜演奏装置において、前記演奏ポインタは、前記五線に対して直交する直線で構成することを特徴としている。

請求項６は、請求項１の楽譜演奏装置において、前記タッチ位置検出手段は、タッチ操作位置が複数存在する場合に、それぞれの位置を検出可能とし、前記発音手段は、演奏ポインタの移動に対応するタイミングで、前記演奏ポインタに対してタッチ操作位置を挟む複数の音符の楽音を同時に発音することを特徴としている。

請求項７は、タッチパネルから構成される表示部を備えた楽譜演奏装置に対して格納される楽譜演奏プログラムであって、前記表示部に楽譜画像ソースを表示する機能と、前記楽譜画像ソースから少なくとも音符位置と音高情報を検出する機能と、前記楽譜画像に対して演奏ポインタを表示する機能と、前記表示部におけるタッチ操作位置を検出する機能と、前記タッチ操作位置に対応して前記演奏ポインタを移動する機能と、前記演奏ポインタ位置に対応する音符の音高の楽音を、前記演奏ポインタが前記音符位置を通過したタイミングで発音する機能とをコンピュータに実行させることを特徴としている。

請求項８は、請求項７における演奏ポインタが通過した位置に対応するタイミングで音符の音高の楽音を発音する機能に代えて、演奏ポインタ位置に対応する音符の音高の楽音を、前記演奏ポインタが前記音符位置へ移動したタイミングで発音する機能を備えることを特徴としている。

本発明（請求項１）によれば、タッチ操作位置に対応して演奏ポインタの位置が移動し、その移動タイミングに対応して発音手段が演奏ポインタ位置に対応する音符の音高の楽音を発音するので、タッチ操作位置の変化に応じて演奏ポインタを移動させることにより、楽音の発生タイミングに変化を与え、操作者が介在できる演奏を行うことができる。

請求項２及び請求項７によれば、演奏ポインタが音符位置を通過したタイミングで音符の音高の楽音を発音させることができる。したがって、タッチ操作に応じて演奏ポインタを移動することにより（なぞり演奏）、操作者は楽音の発音タイミングを自分の意のままにコントロールすることができる。

請求項３及び請求項８によれば、演奏ポインタが移動先の音符位置へ移動したタイミングで音符の音高の楽音を発音させることができる。したがって、タッチ操作位置の接触に応じて演奏ポインタを移動させることができ、それにより楽音の発生タイミングに変化を与えることができる。

請求項４によれば、移動手段は、タッチパネル上でのタッチオン動作のたびに、演奏ポインタ位置を次に演奏する音符位置へ移動させることができ、操作者が自分のリズムでタップすることによって、発音タイミングを自在にコントロールすることができる（タップ演奏）。

請求項５によれば、演奏ポインタが五線に対して直交する直線で構成されるので、音符上に演奏ポインタを移動させることができ、発音中の楽音に対応する音符（単数または複数）を容易に認識することができる。

請求項６によれば、複数のタッチ操作位置を検出するマルチタッチ操作を可能とし、演奏ポインタの移動に対応するタイミングで、タッチ操作位置を挟む複数の音符の楽音を同時に発音することで、楽譜の複数パートにおける同時演奏を行うことができる。

本発明の実施形態に係る楽譜演奏プログラムを携帯端末に格納して楽譜演奏装置とした場合の平面説明図である。 本発明の一実施形態に係る楽譜演奏装置の構成を示すブロック図である。 本発明の楽譜演奏プログラムによる楽音再生の処理手順を示すフローチャート図である。

以下、図面を参照しながら本発明の楽譜演奏装置の実施形態の一例について説明する。
本発明の楽譜演奏装置は、図１に示すようなタブレット型の携帯端末１に構築される。携帯端末１は、ＣＰＵ、ＲＯＭやＲＡＭやハードディスクなどの記憶部を有し、ＬＣＤなどの表示部３、表示部３内にタッチパネルとして設定される入力部、楽音を再生するための音源及びスピーカ部を備えて構成されている。そして、携帯端末１の記憶部に、例えばインターネットを介して楽譜演奏プログラムが予め格納されることで楽譜演奏装置として機能させる。

楽譜演奏装置は、携帯端末１の起動時に、楽譜画像ソースを選択するメニュー画面が表示部３に表示されるようになっている。
楽譜画像ソース選択後、表示部３には、カメラからの撮像データ、インターネットからの画像のダウンロード、予めフォトライブラリに記憶された静止画像のいずかの画像が選択されて表示される。そして、楽譜画像に対して、表示部３に表示された演奏ポインタ５を移動させることで演奏ポインタの移動に対応するタイミングで、演奏ポインタ位置に対応する音符の音高の楽音が発生（楽譜演奏）するように構成されている。

図１は、フォトライブラリの静止画像が楽譜画像ソースとして選択された場合を示すもので、表示部３の右上に、演奏モードスイッチ４１と編集モードスイッチ５１が、左下に、なぞり演奏選択部８とタップ演奏選択部９が表示されている。
なぞり演奏選択部８及びタップ演奏選択部９は、演奏ポインタ５の移動方法を選択するものであり、その詳細機能については後述する。

楽譜演奏装置は、図２に示すように、表示部３に表示する楽譜画像のソースを選択する楽譜ソース選択部（楽譜画像ソース選択手段）１０と、楽譜画像を記録する楽譜画像記憶部１４と、楽譜画像から音楽記号（音楽情報）を検出する音楽記号検出手段（音楽情報検出手段）１５と、楽譜画像の音楽記号を記録する音楽記号情報記録部１６と、音楽情報を表示する表示装置（画像表示手段）１７と、音楽記号検出スイッチ１８を備えて構成されている。

楽譜ソース選択部１０は、カメラ装置１１で撮像された撮像データ、通信装置１２を介してブラウザからダウンロードされる楽譜（例えばＰＤＦ画像）、予めライブラリとして携帯端末１の静止画記憶部１３に記憶されている楽譜から楽譜画像を選択する。楽譜ソースとして選択された楽譜画像は、楽譜画像記憶部１４に記録される。

楽譜ソース選択部１０でカメラ装置１１の撮像データが楽譜原稿として選択された場合は、携帯端末１に内蔵されたカメラ装置１１で楽譜画像を撮像し、撮像データを楽譜画像記憶部１４に楽譜画像データ（静止画像）として取り込むことが行われる。

楽譜ソース選択部１０で選択され楽譜画像記憶部１４に記録された楽譜画像データは音楽記号検出部１５に出力され、音楽記号検出部１５では、楽譜画像データから、五線、音符、音部記号等の音楽記号情報を検出することが行われる。

楽譜画像データからの五線検出は、従前に行われている公知の方法により検出するものであり、例えば特開２００３−２４２４３８に記載されるように、入力された楽譜画像データに対して、横方向での黒画素数を加算した加算ヒストグラムに基づいて五線が含まれると推定される矩形を検出し、矩形内の楽譜画像データから五線を検出することが行われる。

楽譜画像データからの音楽記号検出は、従前に行われている公知の方法により検出するものであり、入力された楽譜画像データに対して、音符等の記号情報については、少なくとも五線に対するＸ軸（横方向）及びＹ軸（縦方向）の位置が検出される。
音楽記号情報記録部１６は、楽譜画像データから検出された音楽記号情報を記録する。音楽記号情報には、音符の音価のデータを含むようにしても良い。

表示装置１７は、検出された五線、音符等が含まれる音楽記号情報について、携帯端末１の表示部３に表示する。携帯端末１において、楽譜画像ソースとして静止画記憶部１３に記憶されている楽譜（ライブラリ）が選択された場合は、図１のような画面表示となる。

音楽記号検出スイッチ１８は、音楽記号検出部１５に対して、楽譜画像記憶部１４から音楽記号情報を検出して音楽記号情報記憶部１６に出力させる指示を行うものである。
音楽記号検出スイッチ１８による検出指示は、ユーザの操作（例えば、携帯端末１の表示部３内等に表示された検出実行ボタンにタッチする操作）により行われる。
検出された音楽記号情報は、表示部３に表示する。また、楽譜ソースにオーバーラップして音楽記号情報に対応する何らかのマークを表示するようにして、検出元の楽譜と検出結果を対照しやすくすると効果的である。

携帯端末１の表示部３には、ユーザによる指のタッチ位置（タッチ操作位置）で移動する演奏ポインタ５が表示される。演奏ポインタ５は、楽譜演奏を行う場合の演奏位置を示すものであり、図１に示されるように、五線に対して直交するとともに五線を跨ぐ縦線で構成されている。
楽譜演奏装置においては、表示部３に演奏ポインタ５を表示させるため、演奏ポインタ設定部２１、タッチパネル装置２２、タッチ位置検出部（タッチ位置検出手段）２３を備えている。演奏ポインタ設定部２１は、タッチ位置検出部２３により検出されたタッチ操作位置に対応して演奏ポインタ５を移動する移動手段を備えている。
また、表示部３に表示される演奏ポインタ５は、演奏位置が確認できるものであればよく、例えば、五線を跨ぐ縦線に代えて、五線下に五線に沿って移動可能に表示される指マークや矢印等で構成してもよい。

すなわち、表示装置１７では、表示される音楽記号情報に対して演奏ポインタ設定部２１が設定する位置に演奏ポインタが表示される。表示部３全体がタッチパネル装置２２を構成し、携帯端末１のユーザが指で表示部３をタッチすることでその位置をタッチ位置検出部２３が検出し、タッチした位置を演奏ポインタ設定部２１が認識し、表示部３に演奏ポインタの位置を表示するとともに、演奏ポインタの移動に対応するタイミングと位置に対応する音楽記号情報（音符）に基づいて楽音を再生する楽音再生手段に出力する。
タッチ位置検出部２３は、タッチパネル装置２２におけるタッチ位置（タッチ操作位置）が複数存在する場合に、それぞれの位置を検出可能としたマルチタッチ操作を可能とする構成であっても良い。
また、タッチ位置検出部２３は、表示部３において表示される演奏モードスイッチ４１と編集モードスイッチ５１との選択操作についての検出も行う。

楽音再生手段は、音楽記号情報の音楽情報（音部記号、調号、音符、臨時記号、タイ等）に基づいて音を作成する楽音作成部３１と、音を再生する楽音再生部３２と、スピーカ部等のサウンド出力装置３３で構成されている。楽音作成部３１へは、五線を含む音楽記号が検出されて音楽記号情報記録部１６に記憶された音楽記号情報のデータが入力される。
また、楽音作成部３１は、演奏モードスイッチ４１により演奏モード選択時において、タッチ位置検出部２３からの信号を受けて、楽音生成部３１において入力された音楽記号情報と演奏ポインタ設定部２１で設定された演奏ポインタ位置と移動タイミングに基づいて楽音を作成する。

続いて、演奏ポインタ５と楽音再生が行われる音符との関係について説明する。
表示部３において、なぞり演奏選択部８が選択されている場合には、楽譜画像に対する演奏ポインタ５の移動に対応するタイミングで、演奏ポインタが通過した位置に対応する音符の音高について楽音を発音する。音符情報に、音価の情報が含まれている場合には、音の長さも反映して再生する。
したがって、楽譜画像をなぞるようにして演奏ポインタ５を移動させることで、なぞる速さに応じて連続して楽音を発生させて演奏を行うことができる。また、同じ位置を何度もなぞることにより、合唱の音取り練習のように、音符の音高を確認することができる。
また、楽譜上を自由になぞることが可能となり、楽譜上を右から左へなぞって逆転再生したり、特定の範囲を何度もリピートしたり、楽譜のいろんな場所を飛び飛びになぞったり、ＤＪスクラッチ的に楽譜上をすばやくこすったりして、即興的な演奏も行うことができる。

表示部３において、タップ演奏選択部９が選択されている場合には、楽譜画像に対する演奏ポインタ５の移動に対応するタイミングで、演奏ポインタの移動先の位置に対応する音符の音高について楽音を発音する。例えば、タップ演奏が選択された直後、初回のタップにおいては、タッチ位置に最も近い位置にある音符位置に演奏ポインタを移動させ、その移動タイミングで移動先にある音符（和音も含む）の楽音を発音させる。２回目のタップにおいては、２回目のタップ位置に最も近い五線と初回に発音した音符が属する五線とが同一であった場合には、その五線内の次の音符位置へ演奏ポインタを移動させ、その移動タイミングで移動先にある音符（和音も含む）の楽音を発音させる。

逆に前述の五線同士が相違であった場合には、初回のタップと同様にタッチ位置に最も近い位置にある音符位置に演奏ポインタを移動させ、その移動タイミングで移動先にある音符（和音も含む）の楽音を発音させる。３回目以降も同様にタップ位置に応じて演奏ポインタを移動させ、その移動タイミングで移動先の位置にある音符の楽音を発音させるようにする。
このように、楽譜画像に対してタップさせるようにして演奏ポインタを移動させることで、タップするリズムに応じて楽音を発生させることができ、タップ操作により音価やテンポを操作者が自分の意のままにコントロールしながらタップ演奏を行うことができる。

また、楽譜演奏装置は、表示部３において表示された音楽記号情報を編集するため、編集モードスイッチ５１と、音楽記号情報編集部５２を備えている。
すなわち、編集モードスイッチ５１による編集モード選択時に、表示部３に表示されている音楽記号情報における音符の音高の位置の修正や、音符が誤認識された場合（楽譜画像に無い音符が表示された場合）の音符の削除、音符が認識されなかった場合（楽譜画像にある音符が表示されなかった場合）の音符の追加などについて行う。この修正は、例えば、修正する音符を指定し、希望の位置に移動したり付加される臨時記号を変更したりする、あるいは、音符自体を削除する等の方法で行われる。音符以外の音楽記号（音部記号、調号、強弱記号、速度記号など）も同様に修正することができる。音楽記号情報編集部５２における音楽記号の修正情報は、音楽記号情報記録部１６に出力され、編集後の音楽記号情報に書き換えられ、表示装置１７の表示部３で表示される。

次に、上述した楽譜演奏装置（携帯端末１）を使用して楽譜画像を演奏させる手順について、主として図３のフローチャートを参照しながら説明する。

先ず、楽譜演奏装置（携帯端末１）のメニュー画面において、楽譜ソースとして、カメラ装置による撮像データ、通信装置１２を介してブラウザからダウンロードされる楽譜（例えばＰＤＦ画像）、予めライブラリとして静止画記憶部１３に記憶されている楽譜のいずれかの楽譜画像を選択する（ステップ１０１）。
選択された楽譜ソースを楽譜画像として保存し（ステップ１０２）、表示部３に楽譜画像として表示する（ステップ１０３）

楽譜画像をカメラ装置１１で読み込む場合は、楽譜原稿１枚（１ページ）分に記載されている楽譜画像に対して、その全体あるいは一部分の楽譜画像を読み取る作業を行う。すなわち、携帯端末１に内蔵されたカメラ装置１１を楽譜原稿に向け、ユーザの操作で表示部３内に表示されたシャッターボタンを押すことで、楽譜画像が撮像された静止画像を取り込んで楽譜ソースとして記憶することが行われる。

次に、選択された楽譜ソースの楽譜画像について、五線検出、ト音記号やヘ音記号等の音部記号、及び、音符、調号等の音楽記号の検出を行い（ステップ１０４）、表示部３において五線、音符、音部記号等の情報を含む音楽記号情報の表示が行われる（ステップ１０５）。五線、小節線、音部記号、調号、音符等を検出することで五線に表示される音符の音高が確定し、絶対的な音として再生可能にするためである。
以上の操作で楽譜演奏装置への楽譜画像の取り込み作業が終了する。

続いて、取り込まれた楽譜画像についての演奏処理について説明する。
演奏モードが選択された表示部３の演奏画面（図１）において、ユーザが指で演奏したい五線部分を触れると、記憶した音楽記号情報における位置をタッチ位置として検出する（ステップ１０６）。
このタッチ位置から演奏ポインタ５をタッチ位置へ移動させて表示部３に表示する（ステップ１０７）。演奏ポインタ位置において発音対象の音符の有無を判断し（ステップ１０８）、無い場合は、ステップ１０６のタッチ位置の検出を繰り返し行って、演奏ポインタ位置更新及び表示を行う（ステップ１０７）。タッチ位置における発音対象の音符の有無の判断は、表示部３において選択される演奏モードによって異なってくる。演奏モードとしてなぞり演奏が選択されている場合には、演奏ポインタの移動時に通過した音符（和音も含む）が発音対象となる。演奏モードとしてタップ演奏が選択されている場合には、演奏ポインタの移動先の音符（和音も含む）が発音対象となる。

上述の演奏モードの選択は、例えば表示部３のなぞり演奏ボタン又はタップ演奏ボタンにタッチすることによって行うようにしているが、その他の方法であってもよい。
例えば、所定時間以上タッチパネルにタッチした状態から指をすべらせる場合には、自動的になぞり演奏の扱いになり、タッチしている時間が極短時間であるか、あるいはタッチオン時の位置とタッチオフ時の位置の変化が極わずかであるかの場合には、自動的にタップ演奏の扱いになるようにしても構わない。こうすることにより、表示部３にわざわざ演奏モードを切り替えるためのボタン類を配置しなくてもよくなる。

この処理が繰り返して行われ、演奏ポインタの位置に発音対象の音符が有った場合（ステップ１０８）は音符の情報に基づいて楽音生成し（ステップ１０９）、楽音に基づいて楽音再生が行われ（ステップ１１０）、楽譜演奏終了が選択されるまで（ステップ１１１）上述した処理が繰り返して行われる。五線における同位置に発音対象の音符が複数存在する場合は、和音として楽音再生が行われる。

また、タッチ場所が複数存在する場合に、それぞれの位置を検出可能なマルチタッチ操作を採用し、演奏ポインタの移動タイミングで、演奏ポインタに対してタッチ位置を挟む複数の五線の音符を同時に発音することで、複数パートにおける同時演奏を行うことができる。

上述の楽譜演奏装置によれば、携帯端末１に取り込んだ楽譜画像から読み取った音楽記号情報から楽音を再生することで、楽譜に表示された旋律や和音等を簡単な操作で即座に容易に確認することができる。

１…携帯端末、 ３…表示部、 ５…演奏ポインタ、 ８…なぞり演奏選択部、 ９…タップ演奏選択部、 １０…楽譜ソース選択部、 １１…カメラ装置、 １２…通信装置、 １３…静止画記憶部、 １４…楽譜画像記憶部、 １５…音楽記号検出手段、 １６…音楽記号情報記録部、 １７…表示装置（楽譜表示手段）、 １８…音楽記号検出スイッチ、 ２１…演奏ポインタ設定部、 ２３…タッチ位置検出部、 ３１…楽音生成部、 ３２…楽音再生部、 ４１…演奏モードスイッチ、 ５１…編集モードスイッチ、 ５２…音楽記号情報編集部。

本発明は上記実情に鑑みて提案されたもので、表示画面に表示された楽譜を指等でタッチして楽音を生成するに際して、タッチのタイミングと位置を楽音生成に反映させて旋律や音程を再生可能とする楽譜演奏装置及び楽譜演奏プログラムを提供することを目的としている。

請求項６は、請求項１の楽譜演奏装置において、前記タッチ位置検出手段は、タッチ操作位置が複数存在する場合に、それぞれの位置を検出可能とし、前記発音手段は、演奏ポインタの移動に対応するタイミングで、前記タッチ操作位置に挟まれる複数の音符の楽音を同時に発音することを特徴としている。

請求項６によれば、複数のタッチ操作位置を検出するマルチタッチ操作を可能とし、演奏ポインタの移動に対応するタイミングで、タッチ操作位置に挟まれる複数の音符の楽音を同時に発音することで、楽譜の複数パートにおける同時演奏を行うことができる。

楽譜演奏装置は、図２に示すように、表示部３に表示する楽譜画像のソースを選択する楽譜ソース選択部（楽譜画像ソース選択手段）１０と、楽譜画像を記録する楽譜画像記憶部１４と、楽譜画像から音楽記号（音楽情報）を検出する音楽記号検出部（音楽情報検出手段）１５と、楽譜画像の音楽記号を記録する音楽記号情報記録部１６と、音楽情報を表示する表示装置（画像表示手段）１７と、音楽記号検出スイッチ１８を備えて構成されている。

音楽記号検出スイッチ１８は、音楽記号検出部１５に対して、楽譜画像記憶部１４から音楽記号情報を検出して音楽記号情報記録部１６に出力させる指示を行うものである。
音楽記号検出スイッチ１８による検出指示は、ユーザの操作（例えば、携帯端末１の表示部３内等に表示された検出実行ボタンにタッチする操作）により行われる。
検出された音楽記号情報は、表示部３に表示する。また、楽譜ソースにオーバーラップして音楽記号情報に対応する何らかのマークを表示するようにして、検出元の楽譜と検出結果を対照しやすくすると効果的である。

楽音再生手段は、音楽記号情報の音楽情報（音部記号、調号、音符、臨時記号、タイ等）に基づいて音を生成する楽音生成部３１と、音を再生する楽音再生部３２と、スピーカ部等のサウンド出力装置３３で構成されている。楽音生成部３１へは、五線を含む音楽記号が検出されて音楽記号情報記録部１６に記憶された音楽記号情報のデータが入力される。
また、楽音生成部３１は、演奏モードスイッチ４１により演奏モード選択時において、タッチ位置検出部２３からの信号を受けて、楽音生成部３１において入力された音楽記号情報と演奏ポインタ設定部２１で設定された演奏ポインタ位置と移動タイミングに基づいて楽音を生成する。

また、タッチ場所が複数存在する場合に、それぞれの位置を検出可能なマルチタッチ操作を採用し、演奏ポインタの移動タイミングで、タッチ操作位置に挟まれる複数の五線の音符を同時に発音することで、複数パートにおける同時演奏を行うことができる。

Claims (8)

1. タッチパネルから構成される表示部を備えた楽譜演奏装置において、
   前記表示部に表示する楽譜画像ソースを選択する楽譜画像ソース選択手段と、
   前記楽譜画像ソースから、少なくとも音符位置と音高情報を検出する音楽情報検出手段と、
   選択された楽譜画像及び演奏ポインタを前記表示部に表示する画像表示手段と、
   前記表示部におけるタッチ操作位置を検出するタッチ位置検出手段と、
   前記タッチ操作位置に対応して前記演奏ポインタの位置を移動する移動手段と、
   前記演奏ポインタの移動に対応する発音タイミングで、前記演奏ポインタ位置に対応する音符の音高の楽音を発音する発音手段と
   を備えたことを特徴とする楽譜演奏装置。
2. 前記発音タイミングは、前記演奏ポインタが前記音符位置を通過したタイミングである請求項１に記載の楽譜演奏装置。
3. 前記発音タイミングは、前記演奏ポインタが前記音符位置へ移動したタイミングである請求項１に記載の楽譜演奏装置。
4. 前記移動手段は、前記タッチパネル上でのタッチオン動作のたびに、前記演奏ポインタ位置を次に演奏する音符位置へ移動させる請求項３に記載の楽譜演奏装置。
5. 前記演奏ポインタは、前記五線に対して直交する直線で構成する請求項１から請求項３のいずれか１項に記載の楽譜演奏装置。
6. 前記タッチ位置検出手段は、タッチ操作位置が複数存在する場合に、それぞれの位置を検出可能とし、
   前記発音手段は、前記演奏ポインタの移動に対応するタイミングで、前記演奏ポインタに対してタッチ操作位置を挟む複数の音符の楽音を同時に発音する請求項１に記載の楽譜演奏装置。
7. タッチパネルから構成される表示部を備えた楽譜演奏装置に対して、
   前記表示部に楽譜画像ソースを表示する機能と、
   前記楽譜画像ソースから少なくとも音符位置と音高情報を検出する機能と、
   前記楽譜画像に対して演奏ポインタを表示する機能と、
   前記表示部におけるタッチ操作位置を検出する機能と、
   前記タッチ操作位置に対応して前記演奏ポインタを移動する機能と、
   前記演奏ポインタの位置に対応する音符の音高の楽音を、前記演奏ポインタが前記音符位置を通過したタイミングで発音する機能と
   をコンピュータに実行させることを特徴とする楽譜演奏プログラム。
8. タッチパネルから構成される表示部を備えた楽譜演奏装置に対して、
   前記表示部に楽譜画像ソースを表示する機能と、
   前記楽譜画像ソースから少なくとも音符位置と音高情報を検出する機能と、
   前記楽譜画像に対して演奏ポインタを表示する機能と、
   前記表示部におけるタッチ操作位置を検出する機能と、
   前記タッチ操作位置に対応して前記演奏ポインタを移動する機能と、
   前記演奏ポインタの位置に対応する音符の音高の楽音を、前記演奏ポインタが前記音符位置へ移動したタイミングで発音する機能と
   をコンピュータに実行させることを特徴とする楽譜演奏プログラム。