JP2009230007A - 演奏情報表示装置およびプログラム - Google Patents

Abstract

【課題】 楽譜をディスプレイに表示する際、一のパートを構成する音符等、様々な要素毎に表示態様を設定することにより、多彩な表示を可能にする。
【解決手段】 楽譜を構成する音符、休符、歌詞等のオブジェクトを複数のレイヤに配置し、レイヤ毎に表示態様（濃度）を設定できるようにした。さらに、音符については符頭、符幹、符尾を別々のレイヤに配置し、必要な部分のみを表示できるようにした。図４(d)の例においては、ある演奏者が演奏しようとするパートを濃く表示するとともに、参照しようとするパートについては、符頭のみを薄く表示し、画面が煩雑になることを防止している。
【選択図】 図４

Description

本発明は、携帯型情報端末または電子楽器における楽譜等の表示に用いて好適な演奏情報表示装置およびプログラムに関する。

従来より、携帯型情報端末または電子楽器等のディスプレイには楽譜を表示できるものがあり、楽譜を構成するパート毎に表示態様を変更できるものも知られている。例えば、特許文献１には、ピアノの楽譜において指導者用パートと生徒用パートとを把握しやすくするために、生徒用パートよりも指導者用パートの表示濃度を薄くし、また、狭く表示する技術が開示されている。

特開２００４−３０９５８０号

しかし、上述した技術においては、表示態様の変更は、パートあるいは五線譜毎に決定されるものであり、一のパートあるいは五線譜を構成する音符等、様々な要素毎に表示態様を決定することは不可能であった。
この発明は上述した事情に鑑みてなされたものであり、一のパートあるいは五線譜を構成する音符等、様々な要素毎に表示態様を設定することにより、多彩な表示を行うことができる演奏情報表示装置およびプログラムを提供することを目的としている。

上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載の演奏情報表示装置にあっては、楽譜を特定する演奏情報を記憶する記憶手段（２０）と、該演奏情報に基づいて、前記楽譜を構成するオブジェクトを配置した複数のレイヤから成る表示データを生成する表示データ生成手段（ＳＰ４）と、前記各レイヤ毎に、表示態様（強調度データ、表示濃度）を設定する表示態様設定手段（ＳＰ１８，ＳＰ３２）と、前記表示態様が設定された各レイヤを重ね合わせることにより、前記楽譜に係る画像データを生成する画像データ生成手段（ＳＰ３４）とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載の演奏情報表示装置において、前記複数のレイヤに対して、レイヤ順序（レイヤ順序データ）を決定するレイヤ順序決定手段をさらに有し、前記表示態様設定手段は、該レイヤ順序に基づいて前記レイヤ毎の表示態様を設定することを特徴とする。
さらに、請求項３記載の構成にあっては、請求項２記載の演奏情報表示装置において、前記各レイヤのうち何れかのレイヤを焦点レイヤとして決定する焦点レイヤ決定手段（ＳＰ１８）をさらに具備し、前記表示態様は前記オブジェクトの表示濃度であり、表示態様設定手段（ＳＰ１８，ＳＰ３２）は、前記レイヤ順序において前記焦点レイヤに近い順序のレイヤほど表示濃度を濃く設定することを特徴とする。
また、請求項４記載のプログラムにあっては、楽譜を特定する演奏情報に基づいて、前記楽譜を構成するオブジェクトを配置した複数のレイヤから成る表示データを生成する表示データ生成過程（ＳＰ４）と、前記各レイヤ毎に、表示態様（強調度データ、表示濃度）を設定する表示態様設定過程（ＳＰ１８，ＳＰ３２）と、前記表示態様が設定された各レイヤを重ね合わせることにより、前記楽譜に係る画像データを生成する画像データ生成過程（ＳＰ３４）とを処理装置（ＣＰＵ２２）に実行させることを特徴とする。

このように本発明によれば、楽譜を構成する様々なオブジェクトを複数のレイヤに配置し、各レイヤ毎に、表示態様を設定するから、一のパートを構成する音符等、様々な要素毎に表示態様を設定することができ、楽譜等の多彩な表示を行うことが可能である。

1．実施例のハードウエア構成
次に、本発明の一実施例の携帯型情報端末のハードウェア構成を図１を参照して説明する。
図１において、２は操作子部であり、各種スイッチ等から構成されている。４は検出回路であり、操作子部２の状態を検出する。６はタッチパネルであり、表示回路８によって各種の画像が表示される。さらに、タッチパネル６に対する操作状態は検出回路１０によって検出される。１２はオーディオインタフェース部であり、図示せぬヘッドフォン等を介して音声信号を出力するとともに、図示せぬマイクロフォンを介して音声信号を入力する。１４は通信インタフェース部であり、外部機器との間でデータの入出力を行う。後述する演奏情報も通信インタフェース部１４を経由して入出力することができる。

２２はＣＰＵであり、フラッシュメモリ２０に記憶されたプログラムに従って、バス１６を介して携帯型情報端末内の各部を制御する。ＣＰＵ２２は、後述する演奏情報に基づいて音声信号を生成しオーディオインタフェース部１２に送ることにより、その音声信号を発音することができる。なお、携帯型情報端末が音源回路を備え、演奏情報に基づく音声信号の生成をその音源回路で行うようにしてもよい。１８はＲＡＭであり、ＣＰＵ２２のワークメモリとして用いられる。２４はタイマであり、現在時刻を計時するとともに、必要に応じてＣＰＵ２２に対してタイマ割込みを発生させる。２６は記録メディアスロットであり、ここに挿入されたメモリカード等の記録メディアに対してデータの読み書きを行う。後述する演奏情報も該記録メディアに対して入出力することができる。

2．実施例のデータ構成
2．1．演奏情報
次に、本実施例における各種データ構成について説明するが、最初に演奏情報のデータ構成を図２を参照し説明する。本実施例の演奏情報には、例えばＳＭＦ（スタンダードＭＩＤＩフォーマット）形式などが採用される。図２において演奏情報は、一のヘッダチャンク３０と、複数のトラックチャンク３２，…，３２とから構成されている。ヘッダチャンク３０には、トラック数、時間単位、フォーマットの種別等が記憶される。また、各トラックチャンク３２は、タイミングデータ３４，…，３４とイベントデータ３６，…，３６とから構成される。
ここで、タイミングデータ３４，…，３４はその直後に続く一または複数のイベントデータ３６，…，３６を再生するタイミングであり、イベントデータ３６，…，３６は、ＭＩＤＩイベント、システム・エクスクルーシブ・メッセージ、メタイベント等のデータである。

本実施例においては、自動演奏に同期して楽譜が表示されるが、楽譜における表示内容は、システム・エクスクルーシブ・メッセージまたはメタイベントによって記述された論理楽譜情報によって特定される。ここで、論理楽譜情報とは、五線、音部記号、調記号、拍子記号、速度記号、強弱記号、反復記号、奏法記号等の種類と表示位置とを規定するデータ等、楽譜を構成する部品を規定する情報からなって楽譜を表す情報であり、頁毎のビットマップやＪＰＥＧなどのように単に画像データとして楽譜を表すものではない。そして、上述したトラックチャンク３２，…，３２は、個々のパート（第１パート，第２パート，……第ｎパート）に対応付けて設けられている。すなわち、あるパートに係るＭＩＤＩイベントと、そのパートに係る論理楽譜情報とは、当該パートに係る一のトラックチャンクに記憶される。

また、上記「パート」の中には、「歌詞パート」や「コード進行パート」なども含まれる。従って、全くＭＩＤＩイベントが含まれず、発音には関与しないパートも存在する。なお、各パートは、必ずしも五線譜で一段で表されるパートになるとは限らない。例えば、ピアノパートなどの場合、一のパートがト音記号とヘ音記号の二段から成る「大譜表」で表示される場合もある。また、「ピアノ」に係るパートを、「右手パート」と「左手パート」に、分割し、別々の五線譜に表示されるように予めトラックを分割しておいてもよい。

3．表示データ
本実施例においては、タッチパネル６のディスプレイに表示される画像は、複数のレイヤをスーパーインポーズすることによって構成される。ここでは、レイヤの総数を「４」であると仮定し、各レイヤを「レイヤＡ，Ｂ，Ｃ，Ｄ」と呼ぶことにする。図３(a)に示すように、レイヤＡ，Ｂ，Ｃ，Ｄの全領域のうち、タッチパネル６のディスプレイに実際に表示される領域５０は、「表示範囲データ」なるデータによって指定される。

上記各レイヤは、平面上に「オブジェクト」を配置することによって構成されている。ここで、「オブジェクト」とは、楽譜を構成する五線譜、音符、休符等の記号や、歌詞などを表示する文字等である。但し、本実施例において、音符は、音符を構成する部分（ここでは「エレメント」という）毎に、異なるオブジェクトとして扱われ、各エレメント毎に別のレイヤに配置することが可能である。ここで、音符を構成するエレメントの例を図３(d)に示す。同図(d)は、八分音符の例であり、符頭６０、符幹６２、および符尾６４が個々のエレメントになる。上述した各オブジェクト（エレメントを含む）を何れのレイヤに配置するかは、上述した論理楽譜情報によって特定される。

図３(a)に示す例においては、各レイヤＡ，Ｂ，Ｃ，Ｄは、上位から下位に向かって、レイヤＢ，Ｃ，Ａ，Ｄの順に配列されている。このように、レイヤの配列順序を定めるデータを「レイヤ順序データ」という。レイヤ順序データの例を図３(b)に示す。該データにおいては、図示のように、各レイヤＡ，Ｂ，Ｃ，Ｄに対して、順番を定める「１」〜「４」の数値が一意に対応付けられている。

本実施例においては、何れか一または複数の順番のレイヤに対して、「焦点」が定められる。「１」〜「４」の何れかの数値によって焦点に係る「順番」を定めるデータを「焦点データ」といい、該焦点データによって定められたレイヤを「焦点レイヤ」という。図３(c)の例においては、焦点データは、「１」に定められている。これは、順番が「１」であるレイヤ、すなわち図３(b)の例にあってはレイヤＢが焦点レイヤとして定められていることを意味する。焦点データが決定されると、各順番のレイヤに対して、強調度データが決定される。強調度データとは、タッチパネル６のディスプレイに楽譜等のオブジェクトを表示する際の「濃度」に対応するデータである。

強調度データは、「１０」が最も高く、最高濃度に対応する。そして、数値が小さくなるほど表示濃度が薄くなり、「０」になると当該レイヤの内容が全く表示に反映されなくなる。強調度データは、焦点レイヤ（複数の焦点レイヤが定められた場合には最も近接する焦点レイヤ）に対する「順番の差の絶対値」に基づいて決定される。すなわち、かかる絶対値が大きくなるほど強調度データは高くなる。図３(c)の例にあっては、レイヤ順序データが「１」であり、かつ焦点レイヤであるレイヤＢの強調度データは、最も高い「１０」に設定されている。

また、焦点レイヤに対して「順番の差の絶対値」が「１」であるレイヤ、すなわち上記例にあっては、レイヤ順序データが「２」であるレイヤＣの強調度データは、やや低い（表示濃度の薄い）「５」に設定されている。また、「順番の差の絶対値」が「２」であるレイヤ、すなわち上記例にあっては、レイヤ順序データが「３」であるレイヤＡの強調度データは、さらに低い「２」に設定されている。また、「順番の差の絶対値」が「３」であるレイヤ、すなわち上記例にあっては、レイヤ順序データが「４」であるレイヤＤの強調度データは、最も低い（全く表示されない）「０」に設定されている。

4．表示例
次に、本実施例において楽譜をタッチパネル６に表示する際の、各種表示例を説明する。まず、図４(a)は、符頭および歌詞を非焦点レイヤに配置し、その他のオブジェクトを焦点レイヤに配置した場合の表示例である。この場合は、図示のように、符頭および歌詞が薄く表示され、他のオブジェクトが濃く表示される。

次に、図４(b)は、トップノートとメロディノートとから成る和音に係るパートにおいて、トップノートの符頭および歌詞を非焦点レイヤに配置し、その他のオブジェクトを焦点レイヤに配置した場合の表示例である。この場合は、図示のように、トップノートの符頭および歌詞が薄く表示され、メロディノートおよび他のオブジェクトが濃く表示される。従って、例えばユーザがメロディノートのみを演奏する場合などにおいて、演奏内容を容易に把握することができる。

次に、図４(c)は、歌詞に係るオブジェクトのみを焦点レイヤに配置し、他のオブジェクトを非焦点レイヤに配置した場合の表示例である。この場合は、図示のように、歌詞のみを目立たせることができるため、特にユーザが歌唱する場合等において好適である。

次に、図４(d)は、二つのパートに係る五線譜をスーパーインポーズして一段の五線譜に表示した場合の表示例である。この表示例は、例えば弦楽四重奏において第１バイオリン・パートのオブジェクト（図上で濃く表示されている音符）を焦点レイヤに配置し、第２バイオリン・パート（図上で薄く表示されている符頭）を非焦点レイヤに配置した場合等を想定している。但し、この例において、第２バイオリン・パートに関しては、符頭に係るオブジェクトが第１の非焦点レイヤ（薄く表示されるレイヤ）に配置され、符頭以外のオブジェクトが第２の非焦点レイヤ（全く表示されないレイヤ）に配置されている。これにより、第１バイオリン・パートは、その全体が濃く表示され、第２バイオリン・パートについては、符頭のみが薄く表示されている。

かかる表示態様は、例えば第１バイオリン・パートの演奏者が自己の演奏するパートを目立たせつつ、他のパート（第２バイオリン・パート）を薄く表示させて参照する場合に好適である。なお、複数のパートの楽譜を単純にスーパーインポーズすることも考えられるが、第１バイオリン、第２バイオリンのように音程が近いパートにおいては、各パートの符幹、符尾などが画面上で重なり合い、画面が非常に煩雑になり見づらくなるという問題が生じる。そのため、上記例においては、単に参照のみを行う第２バイオリン・パートについては、符幹、符尾の表示を省略し、符頭のみを表示するようにしている。

次に、図４(e)は、例えば弦楽四重奏において第１バイオリン・パートのオブジェクトを焦点レイヤに配置し、参照しようとするチェロ・パートを非焦点レイヤに配置した場合の表示例である。この例において、チェロ・パートの全てのオブジェクトは、一または複数の非焦点レイヤに配置されるが、何れの非焦点レイヤも「薄く表示されるレイヤ」である。従って、チェロ・パートに関しては、符幹、符尾も含めた楽譜全体が薄く表示されている。通常、第１バイオリン・パートのオブジェクトは高音部に配置され、チェロ・パートのオブジェクトは、低音部に配置される。このように、音程が大きく異なるパート、あるいは音部の異なるパートを参照パートにする場合には、双方の楽譜を単純にスーパーインポーズしたほうが見易くなる場合もある。

5．実施例の動作
次に、本実施例の動作を説明する。携帯型情報端末において音楽アプリケーションプログラムが起動されると、図５(a)に示すメインルーチンが起動される。図５(a)において処理がステップＳＰ２に進むと、表示対象となる演奏情報が、通信インタフェース部１４または記録メディアスロット２６からＲＡＭ１８内に取得される。上述したように、この演奏情報には、論理楽譜情報が含まれており、論理楽譜を構成する各オブジェクトと、これらオブジェクトの属するレイヤとが特定されている。

次に、処理がステップＳＰ４に進むと、各トラックの論理楽譜情報に基づいて、各レイヤの表示データが生成される。次に、処理がステップＳＰ６に進むと、各種データの初期化が行われる。まず、レイヤ順序データ、焦点データ、強調度データは、例えば図３に示したように設定される。また、ＲＡＭ１８には、自動演奏の「停止中」または「演奏中」を指定する「演奏状態フラグ」が記憶されており、該フラグはステップＳＰ６では「停止中」に初期化される。また、ＲＡＭ１８には、現在の参照位置（自動演奏中の場合には演奏位置）を表す「カレントポジション」が記憶されており、該カレントポジションは、楽曲の開始位置に初期化される。また、表示範囲データは、例えば、「カレントポジション（現時点では楽曲の開始位置）から８小節」のように設定される。

次に、処理がステップＳＰ８に進むと、図５(b)に示す表示更新ルーチンが呼び出される。図５(b)において処理がステップＳＰ３０に進むと、各レイヤの表示データから、表示範囲データに相当する部分が切り出される。次に、処理がステップＳＰ３２に進むと、切り出された各レイヤの表示データが、対応する強調度データに基づいて、加工される。すなわち、対応する強調度データに基づいて、濃度が設定される。次に、処理がステップＳＰ３４に進むと、加工された（濃度設定された）各表示データがスーパーインポーズされ、タッチパネル６のディスプレイに表示される。

図５(a)に戻り、次に処理がステップＳＰ１０に進むと、演奏状態フラグは「演奏中」であるか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ１２に進み、タイマ２４における計時結果に基づいてカレントポジションが更新される。次に、処理がステップＳＰ１４に進むと、カレントポジションに応じたイベントデータが読み出され、楽音信号が合成される。その際、ＣＰＵ２２は当該イベントデータに基づいてデジタルオーディオサンプルデータ列からなる楽音信号を生成し、生成された楽音信号は、オーディオインタフェース部１２を介して発音される。合成された楽音信号は、オーディオインタフェース部１２を介して出力／発音される。次に、処理がステップＳＰ１６に進むと、カレントポジションに応じて、表示範囲データが更新される。

一方、演奏状態フラグが「停止中」であれば、上記ステップＳＰ１０において「ＮＯ」と判定され、上記ステップＳＰ１２，ＳＰ１４，ＳＰ１６はスキップされる。次に、処理がステップＳＰ１８に進むと、ユーザの操作に応じて、各種データが更新される。ステップＳＰ１８においては、レイヤ順序データ、焦点データ、強調度データ、および演奏状態フラグは、演奏状態が「演奏中」、「停止中」の何れであっても変更可能である。

但し、カレントポジションは、「演奏中」においてはタイマ２４における計時結果に基づいて自動的に更新されるものであるため、演奏状態が「停止中」の場合にのみ、ユーザ操作に基づいて変更することができる。カレントポジションが変更されると、変更後のカレントポジションに応じて表示範囲データが更新される。このように、ステップＳＰ８〜ＳＰ１８の処理が終了すると、処理はステップＳＰ８に戻り、以後は同様の動作が繰り返される。

6．変形例
本発明は上述した実施例に限定されるものではなく、例えば以下のように種々の変形が可能である。
(1)上記実施例においては、携帯型情報端末で動作するアプリケーションプログラムによって楽譜等の表示処理を行ったが、このアプリケーションプログラムのみをＣＤ−ＲＯＭ、メモリカード等の記録媒体に格納して頒布し、あるいは伝送路を通じて頒布することもできる。また、該アプリケーションプログラムは、携帯型情報端末において実行されるものに限られるものではなく、同様のプログラムを通常のパーソナルコンピュータや電子楽器等において実行できることは言うまでも無い。

(2)また、上記実施例においては、楽譜を特定するための論理楽譜情報は、システム・エクスクルーシブ・メッセージまたはメタイベントによって記述したが、ＭＩＤＩイベントに基づいて論理楽譜情報を自動的に生成してもよい。

(3)また、上記実施例においては、各レイヤ毎の「表示態様」の例として「表示濃度」を適用した例を説明したが、「表示態様」は「表示濃度」に限定されるものではなく、例えば「表示色」であってもよく、「点滅の有無」であってもよい。さらに、レイヤの総数は図３(a)に示した「４」に限られるものではなく、必要な数だけレイヤを設けるとよい。さらに、強調度データの決定方法も図３(c)に示したものに限定されるわけではなく、ユーザの用途に応じて、強調度データの決定方法も適宜変更してよいことは言うまでも無い。

(4)また、本発明にいう「楽譜」とは、通常の五線譜に限定されるものではなく、ピアノロール譜、タブ譜、一線譜等、任意の記譜法を採用したものであってもよい。

本発明の一実施例の携帯型情報端末のブロック図である。 一実施例の演奏情報のデータ構造を示す図である。 一実施例の表示データのデータ構造等を示す図である。 タッチパネル６における楽譜の各種表示例を示す図である。 一実施例における処理プログラムのフローチャートである。

符号の説明

２：操作子部、４：検出回路、６：タッチパネル、８：表示回路、１０：検出回路、１２：オーディオインタフェース部、１４：通信インタフェース部、１６：バス、１８：ＲＡＭ、２０：フラッシュメモリ、２２：ＣＰＵ、２４：タイマ、２６：記録メディアスロット、３０：ヘッダチャンク、３２，…，３２：トラックチャンク、３４，…，３４：タイミングデータ、３６，…，３６：イベントデータ、５０：領域、６０：符頭、６２：符幹、６４：符尾。

Claims (4)

1. 楽譜を特定する演奏情報を記憶する記憶手段と、
   該演奏情報に基づいて、前記楽譜を構成するオブジェクトを配置した複数のレイヤから成る表示データを生成する表示データ生成手段と、
   前記各レイヤ毎に、表示態様を設定する表示態様設定手段と、
   前記表示態様が設定された各レイヤを重ね合わせることにより、前記楽譜に係る画像データを生成する画像データ生成手段と
   を有することを特徴とする演奏情報表示装置。
2. 前記複数のレイヤに対して、レイヤ順序を決定するレイヤ順序決定手段
   をさらに有し、前記表示態様設定手段は、該レイヤ順序に基づいて前記レイヤ毎の表示態様を設定すること
   を特徴とする請求項１記載の演奏情報表示装置。
3. 前記各レイヤのうち何れかのレイヤを焦点レイヤとして決定する焦点レイヤ決定手段をさらに具備し、
   前記表示態様は前記オブジェクトの表示濃度であり、表示態様設定手段は、前記レイヤ順序において前記焦点レイヤに近い順序のレイヤほど表示濃度を濃く設定すること
   を特徴とする請求項２記載の演奏情報表示装置。
4. 楽譜を特定する演奏情報に基づいて、前記楽譜を構成するオブジェクトを配置した複数のレイヤから成る表示データを生成する表示データ生成過程と、
   前記各レイヤ毎に、表示態様を設定する表示態様設定過程と、
   前記表示態様が設定された各レイヤを重ね合わせることにより、前記楽譜に係る画像データを生成する画像データ生成過程と
   を処理装置に実行させることを特徴とするプログラム。