JP2005106989A - 楽譜対応データ生成装置及びプログラム - Google Patents

Abstract

【課題】演奏データを分析してピッチベンド等により表情付けがなされた音符情報を検出し、聴感上の音高変化に応じて複数の音符情報に分離された楽譜対応データを生成する。
【解決手段】この楽譜対応データ生成システムでは、演奏データ中の音符情報Ｎａ及び表情付け情報Ｐｂを分析する。表情付け情報は、各音符情報Ｎａｉの聴感上の音高を変化させるピッチベンドデータＰｂ等の情報であり、各音符情報Ｎａｉ毎に、表情付け情報Ｐｂに基づき所定の音高変化（半音）を与える音高変化点ｔ２，ｔ３を検出し、表情付け情報Ｐｂに対応する奏法を認識する。そして、認識された奏法から元の音符情報Ｎａを分離した方が楽譜に対応すると判断したときは、分離ポイントＰｓに従って聴感上の音高変化に合う複数の音符情報Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’を生成する。分離ポイントＰｓは、音高変化点ｔ２，ｔ３の内、分離後の音符長が短くなり過ぎない点に決定される。
【選択図】図２

Description

この発明は、聴感上の音高を変化させる表情付け情報を有する演奏データを分析して楽譜に対応したデータを得る楽譜対応データ生成システムに関する。

従来より、演奏データより音符情報を分析して楽譜表示するものが、種々、提案されている。例えば、特許文献１に示されるように、演奏データから装飾音符やグリッサンド、アルペジオなどの奏法を検出し、楽譜上で音楽記号などを用いて音符を密集させずに表示することができる。
特開平１１−３２７４２７号公報

このような従来の方法では、複数の音符情報のタイミング及び長さ等から検出可能な奏法については対応することができるが、１つの音符情報に対応した複数のピッチベンド情報が表現する奏法については対応しきれず、元の１つの音符のまま表示されてしまう。

この発明は、このような事情に鑑み、演奏データを分析してピッチベンド等により表情付けがなされた音符情報を検出し、聴感上の音高変化に応じて複数の音符情報に分離された楽譜対応データを生成することができる楽譜対応データ生成システムを提供することを目的とする。

この発明の主たる特徴に従うと、演奏データを取得する取得手段（Ｓ３）と、取得された演奏データ中の各音符情報（Ｎａｉ）、及び、該音符情報（Ｎａｉ）の聴感上の音高を変化させる表情付け情報（Ｐｂ）を抽出する抽出手段（Ｓ６）と、抽出された表情付け情報（Ｐｂ）に対応する奏法を認識する認識手段（Ｓ７）と、認識された奏法に基づいて、抽出された音符情報（Ｎａｉ）を異なる音高の複数の音符情報に分離した方が楽譜に対応するか否かを判定する判定手段（Ｓ１０）と、分離した方が楽譜に対応すると判断されたとき、聴感上の音高が変化するポイント（例えば、ｔ３）を元にして、当該音符情報（Ｎａｉ）を分離し、聴感上の音高変化に合う複数の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）を生成する生成手段（Ｓ１１；図４）とを具備する楽譜対応データ生成装置〔請求項１〕、並びに、演奏データを取得するステップ（Ｓ３）と、取得された演奏データ中の各音符情報（Ｎａｉ）、及び、該音符情報の聴感上の音高を変化させる表情付け情報（Ｐｂ）を抽出するステップ（Ｓ６）と、抽出された表情付け情報（Ｐｂ）に対応する奏法を認識するステップ（Ｓ７）と、認識された奏法に基づいて、抽出された音符情報（Ｎａｉ）を異なる音高の複数の音符情報に分離した方が楽譜に対応するか否かを判定するステップ（Ｓ１０）と、分離した方が楽譜に対応すると判断されたとき、聴感上の音高が変化するポイント（ｔ３）を元にして、当該音符情報（Ｎａｉ）を分離し、聴感上の音高変化に合う複数の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）を生成するステップ（Ｓ１１；図４）とから成る手順を音楽情報処理装置に実行させるための楽譜対応データ生成プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために、対応する実施例の参照記号等を付記したものであり、以下においても同様である。

この発明の楽譜対応データ生成装置における生成手段（Ｓ１１；図４）は、生成される音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）の音符長が短くなり過ぎないようにポイントを決定する手段（ＳＰ３）を有する〔請求項２〕ように構成することができる。

この発明による楽譜対応データ生成システムでは、演奏データが供給されると（Ｓ３）、この演奏データ中にある各音符情報（Ｎａｉ）とその音符情報（Ｎａｉ）の聴感上の音高を変化させる表情付け情報（ピッチベンドデータＰｂなど）とを抽出し（Ｓ６）、抽出した表情付け情報（Ｐｂ）に対応する奏法を認識する（Ｓ７）。そして、認識した奏法より、元の音符を分離した方が楽譜に対応すると判断された場合に（Ｓ１０→YES ）、聴感上の音高が変化するポイント（例えば、ｔ３）を元にして、音符情報（Ｎａｉ）を分離し、聴感上の音高変化に合う複数の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）を生成する（Ｓ１１；図４）。なお、音符の分離に採用されるポイントは「分離ポイント」と呼ばれ、また、「分離」は、用語上、「分割」と言ってもよい。

このように、この発明では、演奏データを分析して、楽譜に対応したデータ（「楽譜対応データ」という）を得るのに、まず、演奏データ中の音符情報（Ｎａｉ）に対応するピッチベンドデータ（Ｐｂ）などの表情付け情報を分析することにより、当該音符情報（Ｎａｉ）に付加されている表情付け（奏法）の種類を推測する（Ｓ７）。そして、推測した表情付け（奏法）に従い、聴感上の音高差が元の音符情報（Ｎａｉ）と等しい複数の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）を生成し（Ｓ１１；図４）、これを楽譜対応データとして出力する（Ｓ１５）。例えば、ピッチベンドデータ（Ｐｂ）による表情付けがなされた音符情報（Ｎａｉ）を検出すると、聴感上の音高変化が半音以上ある場合に、これを複数の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）に分離する。

従って、音符情報に付加された表情付けを反映した楽譜対応データを生成することができる。つまり、生成された楽譜対応データは、記譜上も元の演奏データに対応し、聴感上の音高差も元データと等しいので、演奏データを楽譜で表示するのに利用したり、曲データなどの演奏データについて聴感上も含めた音高の動きを調べるツールなどに適したものとすることができる。

また、この発明の楽譜対応データ生成装置では、元の音符情報（Ｎａｉ）を分離する場合、分離後の音符情報（Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’）の音符長が短くなり過ぎないように分離ポイントを決定する（ＳＰ３）ようにしている。例えば、表情付けにより所定の最小時間幅（Δ）以上の間に聴感上の所定の音高変化があったポイント（ｔ３）を分離ポイントとする。これにより、楽譜対応データを聴感上の音符に一致させると共に、必要以上に音符を分割しないように音符分離処理を改善することができる。

なお、この発明においては、さらに、表情付けによる聴感上の所定の音高変化が終了するポイント（ｔ３）よりも所定の時間幅（δ）だけ早めに分離ポイントを変更する（ＳＰ７）ように構成することにより、分離後の音符について、元データに対する聴感上の音高一致度を更に高めることができる。

〔システム構成〕
図１は、この発明の一実施例による楽譜対応データ生成システムのハードウエア構成例を示す。この例では、楽譜対応データ生成システムが構築される音楽情報処理装置には、パーソナルコンピュータ等の汎用の情報処理装置に演奏入力及び楽音生成機能を設けたものが用いられるが、電子楽器などの音楽専用の処理装置を用いてもよい。この音楽情報処理装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、入力操作部５、表示部６、音源部７、通信インターフェース（通信Ｉ／Ｆ）８等の要素を備え、これら要素１〜８はバス９に接続される。

装置全体を制御するＣＰＵ１は、所定の制御プログラムに従って各種処理を実行し、ＲＡＭ２は、これらの処理で利用される種々の情報を一時的に記憶するための処理バッファとして機能する。例えば、楽譜対応データ生成プログラムによる処理時には、演奏データ中の音符情報（音符データともいう）や、同データ中のピッチベンドデータから得られる当該音符要素に対するポイント要素（音高変化点のピッチベンド値と位置）、生成される楽譜対応データ（分離後音符情報）等を格納するためのバッファ領域（Note，PBPointList ，DataList）がＲＡＭ２上に確保される。また、ＲＯＭ３は、楽譜対応データ生成プログラムを含む各種制御プログラムや必要な制御データ、各種音楽データを記憶している。

外部記憶装置４は、ハードディスク（ＨＤ）や、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、メモリカード等の記憶媒体を用いた記憶手段である。楽譜対応データ生成プログラムや制御データ、演奏データ等の各種データは、ＲＯＭ３だけでなく外部記憶装置４に記憶させることができる。

例えば、ＲＯＭ３に制御プログラムが記憶されていない場合、ＨＤやＣＤ−ＲＯＭなどの外部記憶装置４に制御プログラムを記憶させておきそれをＲＡＭ２に読み込むことで、ＲＯＭ３に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができ、制御プログラムの追加やバージョンアップ等を容易に行うことができる。例えば、楽譜対応データ生成処理に用いられるプログラムや必要な制御データ等をインストールすることによって、所望の楽譜対応データ生成装置を実現することができる。

入力操作部５は、パネル操作子や演奏操作子及び検出回路から成り、これらの操作子による設定乃至編集操作、演奏入力操作などの内容を検出回路で検出し、対応する入力情報をシステム本体内に導入する。例えば、マウスやキー等のパネル操作子にて、最小音長及び移動時間幅（Δ，δ）等の楽譜対応データ生成処理に必要な各種情報を入力することができる。演奏操作子は、所定のキーやマウス等に音高入力要素や表情付け入力要素（ピッチベンダ）の機能が割り当てられるか、或いは、これらの機能を備えた演奏入力操作装置を別設することにより構成され、その操作に従って演奏データを入力することができる。

表示部６は、これに接続されるディスプレイ（ＣＲＴ、ＬＣＤ等の表示器）１０の表示内容や各種インジケータの点灯状態をＣＰＵ１からの指令に従って制御し、入力操作部５の操作に対する表示援助を行い、或いは、このシステムで生成された楽譜対応データに従って楽譜を表示するのに利用される。

音源部７は、音源（ソフトウエアを含む）や効果付与ＤＳＰを含み、ＣＰＵ１で処理された演奏データに対応する楽音信号を生成し、音源部７に接続されるサウンドシステム１１は、Ｄ／Ａ変換部やアンプ、スピーカを備え、音源部７からの楽音信号に基づく楽音を発生する。

また、図示の通信Ｉ／Ｆ８は、ローカルエリアネットワーク（ＬＡＮ）や、インターネット、電話回線などの一般用通信ネットワーク、或いは、ＭＩＤＩ用ネットワークに接続される各種インターフェースを一括して表わしており、サーバ等の他のコンピュータやＭＩＤＩ機器などの種々の外部機器ＰＤと各種情報を授受することができる。例えば、この装置に制御プログラムやデータが記憶されていない場合、通信Ｉ／Ｆ８を介して他のコンピュータＰＤから制御プログラム等をダウンロードすることができる。また、外部機器ＰＤに、他の鍵盤楽器や、弦楽器、管楽器などの演奏入力操作装置を含む各種ＭＩＤＩ機器を用いて、実演奏データや自動演奏データを通信Ｉ／Ｆ８から取り込むこともできる。

〔音符情報分離〕
この発明の一実施例による楽譜対応データ生成システムでは、楽譜対応データ生成プログラムに従い、演奏データ中の音符情報及びピッチベンドデータなどの表情付け情報を利用して楽譜対応データが生成される。図２は、この発明の一実施例による音符情報の分離ルールを説明するための図である。

ここで、図２を用いてこの楽譜対応データ生成システムにおける楽譜対応データ生成の概要を極く簡単に説明しておく。このシステムでは、外部記憶装置４や外部ＭＩＤＩ機器ＰＤ又は入力操作部５などから演奏データが供給されると、この演奏データから音符情報Ｎａ及び表情付け情報Ｐｂを検出し分析する。表情付け情報は、各音符情報Ｎａｉの聴感上の音高を変化させるピッチベンドデータＰｂ等の情報であり、各音符情報Ｎａｉ毎に、表情付け情報Ｐｂに基づき所定の音高変化（半音）を与える音高変化点ｔ２，ｔ３を検出し、表情付け情報Ｐｂに対応する奏法を認識する。そして、認識された奏法から元の音符情報Ｎａを分離した方が楽譜に対応すると判断したときは、分離ポイントＰｓに従って聴感上の音高変化に合う複数の音符情報Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’を生成する。分離ポイントＰｓは、最小時間幅Δに基づき、音高変化点ｔ２，ｔ３の内、分離後音符情報Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’の音符長が短くなり過ぎない点に決定される。

以下、図２につきより詳しく説明する。この例では、演奏データ中の元音符情報Ｎａに対応するピッチベンドデータＰｂを分析し、個々の音符情報Ｎａｉを複数の音符情報Ｎｂ１，Ｎｂ２；Ｎｂ１’，Ｎｂ２’に分離する。図２の上２段は、演奏データ中のノートイベントデータ及びピッチベンドイベントデータ（列）が表わす元の音符情報Ｎａ及びピッチベンドデータＰｂによる音高（ピッチ）変化を図解的に示しており、また、横軸は時間ｔの経過を示す。この例では、最上段の或る元音符情報Ｎａｉは、時間ｔｓで開始し時間ｔｅで終了するノート“Ｃ３(60)”（括弧内はノートナンバを表わす）を示している。

第２段目のピッチベンドデータＰｂは、縦軸に音高（ピッチ）を採ってピッチベンドの動きで表わしており、破線は半音毎のピッチベンド値に対応する。この例では、ピッチベンドデータＰｂは、音符情報Ｎａｉのノートイベントデータの開始乃至終了時間ｔｓ〜ｔｅ内において時間ｔ１で始まり時間ｔ３で終わるピッチベンドイベントデータ列に従って、時間ｔ１からピッチベンド値が変わり始め、時間ｔ２で＋１半音に相当する値となり、時間ｔ３で＋２半音に相当する値になってピッチベンド値の変化を終了する。

つまり、音符情報Ｎａｉ及びピッチベンドデータＰｂにより表わされる実質的な音高は、ノート開始時間ｔｓ〜ピッチベンド開始時間ｔ１の間は音符情報Ｎａｉの音高Ｃ３(60)を示し、時間ｔ１〜ｔ３の間は、ピッチベンドデータＰｂにより、時間ｔ１から聴感上の音高が徐々に増大し、時間ｔ２の音高Ｃ♯３(61)を経て、時間ｔ３で音高Ｄ３(62)に到達し、ピッチベンド終了時間ｔ３〜ノート終了時間ｔｅの間は音高Ｄ３(62)を維持する。

この実施例では、このようなピッチベンドデータＰｂによる音高変化に対して、次のようなルールを適用する：
（１）原則として、半音毎の音高変化点ｔ２，ｔ３で音符情報Ｎａｉを分離する。
（２）ただし、或る音高変化点ｔ２から次の音高変化点ｔ３までの時間が所定の最小音長時間幅（分離最小時間幅）Δ以上でなければ、当該音高変化点ｔ２では分離しない。
（３）音高変化が終了する最後の音高変化点ｔ３については、調整可能な所定の移動時間幅（音符分離位置調整幅）δだけ早めた時点で分離する場合がある。
（４）なお、例外的に、一旦半音以上の最高音に上げた後再び元の音高に戻る「往復音高変化」の場合には、音符情報Ｎａｉを最高音に変更する。

図２の例では、半音以上の音高変化があるので、まず、ルール（１）により、音符情報Ｎａｉから、第３段目に示すように、半音毎の音高変化点ｔ２，ｔ３で分離候補ノートＣ１，Ｃ２を分離し、聴感上の音符に一致させる。なお、図示しないが、ルール（１）に従うと、ピッチベンドにより半音以上の音高変化を与えるスラー等のレガート表現の場合には、直ちに、その音高変化点で音符情報Ｎａｉが分離され、半音未満の音高変化を繰り返し与えるビブラート等のゆらぎ表現の場合には音符情報Ｎａｉは分離されない。

次に、図２の第３段目に示すように、分離候補ノートＣ１の時間幅ｔ２〜ｔ３が所定の最小時間幅Δに満たない場合、このような時間幅の短い候補ノートＣ１が中間に介在することは、厳密には聴感上の音符と一致しないし、一般的な記譜方法とも一致しない。そこで、ルール（２）により候補ノートＣ１を削除する。また、これは、必要以上に音符を分割せず、以後の分離後音符情報の生成処理の簡単化につながる。なお、この最小時間幅Δは、テンポや曲想にも依存するのでユーザ設定可能とするが、例えば、４分音符＝１２０程度の速めの曲の場合、１６分音符長程度に設定される。

上述の処理により、図２の第４段目に示すように、音高変化点ｔ３を分離ポイントＰｓとして、音符情報Ｎａｉの音高に対応する音符情報Ｎｂ１（ts〜t3）と分離候補ノートＣ２（t3〜te）に対応する音符情報Ｎｂ２が得られる。この場合、更に聴感上の一致度を高めたいときには、ルール（３）を適用して、最終の音高変化点ｔ３よりもユーザ設定可能な所定の時間幅δだけ早めの時点ｔ３−δに分離ポイントＰｓを移動して、第５段目（最下段）に示すような分離後音符情報音符情報Ｎｂ１’，Ｎｂ２’を得ることができる。

なお、往復音高変化の場合（図示せず）、聴感上の音符は一般的には１つの音符に聞こえ、その音高は最高の部分の音高の音符として知覚される傾向にあるので、ルール（４）に従って最高の音高を採用すると、聴感上の音符と一致した楽譜対応データが得られる。

〔楽譜対応データ生成の動作フロー〕
図３は、この発明の一実施例による楽譜対応データ生成の動作例を表わすフローチャートであり、図４は、この発明の一実施例による音符分離処理例を表わすフローチャートである。まず、図３の楽譜対応データ生成動作について説明する。

パネル操作子５のユーザ操作により楽譜対応データ生成の開始が指示され、この楽譜対応データ生成プログラムに基づく動作フローがスタートすると、ＣＰＵ１は、ユーザ設定操作に従って初期設定を行う（ステップＳ１：以下においては、ステップ記号“Ｓ…”，“ＳＰ…”単独で該当ステップを表わす）。この初期設定では、例えば、この楽譜対応データ生成に使用する演奏データを選択設定したり、分離後音符情報の最短音長を決める分離最小時間幅Δ、音符分離位置の移動量を決める音符分離位置調整幅δなどを設定する。

ＣＰＵ１は、次いで、分離後音符情報即ち楽譜対応データ列を格納するバッファDataList、及び、演奏データ中の音符情報を格納するバッファNoteをＲＡＭ２上にセットして、これらを初期化する（Ｓ２）（以下、記号DataList，Note単独でこれらのバッファを表わす。）。続いて、設定された演奏データをＲＡＭ２上にロードし（Ｓ３）、ロードされた演奏データから、順次、音符情報Ｎａを１音ずつNoteに読み込む（Ｓ４）。

次に、Noteに音符情報Ｎａｉがあるか否かを判断する（Ｓ５）。ここで、音符情報Ｎａｉがあるときには（Ｓ５→YES ）、ロードされた演奏データより、音符情報Ｎａｉに対応するピッチベンドデータＰｂを抽出し（Ｓ６）、更に、抽出されたピッチベンドデータＰｂに基づいて、ピッチベンドに関する奏法を検出する（Ｓ７）。なお、対応するピッチベンドデータＰｂがない場合には、これら抽出及び検出処理（Ｓ６，Ｓ７）をスルーする。

奏法検出処ステップ（Ｓ７）で検出される奏法には、スラー、チョーキング、スライド、装飾的チョーキング、ビブラート、往復音高変化、等々の各種奏法がある。例えば、ピッチベンドデータＰｂによる音高が、音符情報Ｎａｉのノートイベント期間の途中で急に１半音以上変化してその後安定していたらスラーと判断し、また、図２の第２段目のように、途中で１半音以上曲線的に変化してその後安定していたらチョーキングと判断する。

続いて、抽出及び検出ステップ（Ｓ６，Ｓ７）での処理結果を判定するステップ（Ｓ８〜Ｓ１０）に移り、まず、音符情報Ｎａｉに対応するピッチベンドデータＰｂがあったかを判定し（Ｓ８）、ピッチベンドデータＰｂがあったときは（Ｓ８→YES ）、当該ピッチベンドデータＰｂにより所定のピッチ変化があったかを判定する（Ｓ９）。ここで、所定のピッチ変化即ち１半音以上の音高変化があったときは（Ｓ９→YES ）。さらに、検出された奏法が音符情報Ｎａｉを分離すべき奏法であったか否かを判定する（Ｓ１０）。

奏法判定ステップ（Ｓ１０）で、１半音以上の音高変化のあるスラー、チョーキングなどの場合のように、分離すべき奏法であったと判定したときは（Ｓ１０→YES ）、図４の「音符分離処理」のステップ（Ｓ１１）に進んで、元の音符情報Ｎａｉ及びピッチベンドデータＰｂの内容に従って当該音符情報Ｎａｉを分離してDataListに記憶する。

一方、奏法判定ステップ（Ｓ１０）で、往復音高変化奏法などの場合のように、１半音以上の音高変化があっても分離すべき奏法ではないと判定したときは（Ｓ１０→NO）、Noteの音符情報Ｎａｉと、検出された奏法に関する情報とをDataListに記憶する（Ｓ１２）。この場合、奏法によっては音符情報Ｎａｉの音高を書き換える。例えば、上例の往復音高変化奏法の場合、音符情報Ｎａｉの音高を、聴感上知覚されるピッチ変化中の最高値に対応する音高に変更する。

また、対応するピッチベンドデータが無いとき（Ｓ８→NO）、或いは、例えば、音高変化が半音に満たないビブラート奏法のように、所定のピッチ変化がないときは（Ｓ９→NO）、Noteに読み込んだ元の音符情報ＮａｉをそのままDataListに記憶する（Ｓ１３）。後者の場合、ピッチベンドデータＰｂから得た奏法をDataListに付記することができる。

このようなDataList記憶（更新）処理（Ｓ１１〜Ｓ１３）の後は、音符情報読込みステップ（Ｓ４）に戻り、次の音符情報ＮａｉをNoteに読み込み、Noteに音符情報Ｎａｉがある間は（Ｓ５→YES ）、上述の動作（Ｓ６〜Ｓ１３）を繰り返す。

演奏データが終了しNoteのデータが空（音符情報無し）になると（Ｓ５→NO）、ピッチベンド以外の他の観点から、必要に応じて、DataListを更に楽譜対応化させる（Ｓ１４）。この楽譜対応化には、例えば、装飾音符の付加などがある。そして、DataListを外部記憶装置５に出力し（Ｓ１５）、楽譜対応データとして保存する。或いは、DataListを表示部６に出力して楽譜などで表示してディスプレイ１０でユーザが確認した後、外部記憶装置５に出力して（Ｓ１５）、この楽譜対応データ生成フローを終了する。

図４は、図３のステップＳ１１で実行される音符分離処理の一例である。この音符分離処理は、前半の「分離ポイントの絞込み」（ＳＰ１〜ＳＰ３）と後半の「分離した音符情報の生成」（ＳＰ４〜ＳＰ８）の処理に二分される。音符分離処理フローが開始すると、まず、分離ポイント絞込みの第１ステップ（ＳＰ１）で、バッファPBPointList を初期化する。このバッファPBPointList は、Noteに読み込まれている元の音符情報Ｎａｉを分離するためのポイント要素（ピッチベンド値及び時間的な位置）をリスト形式で記憶するバッファである（以下、記号PBPointList 単独でこのバッファを表わす）。

次に、音符情報Ｎａｉに対応するピッチベンドデータＰｂから、ピッチベンド値が変わり始める直前〔例えば、図２の時点t1（以下、必要に応じて、図２の例を括弧書きで補足する）〕のピッチベンド値と位置を取得し、これをポイント要素〔P1〕としてPBPointList の先頭に記憶し、その後、ピッチベンドの変化が終了するまで〔時点t3まで〕、音高が半音変化する毎に〔t2，t3〕そのときのピッチベンド値と時間位置を取得し、これをポイント要素〔P2，P3〕として、順次、PBPointList に記憶して行く（ＳＰ２）。

そして、PBPointList 内の先頭〔P1〕と末尾〔P3〕以外に記憶されたポイント要素〔P2〕について、設定された分離最小時間幅Δ（例えば、１６分音符長）に従って、直後の要素〔P3〕と時間位置が近い（Δ以下）もの〔P2〕を削除する（ＳＰ３）。このようにして、音符情報Ｎａｉの分離ポイントＰｓを絞り込むと〔Ps＝P1，P3〕、分離した音符情報の生成処理（ＳＰ４〜ＳＰ８）に進む。この分離音符情報の生成処理は、PBPointList 内の各要素について順番に繰り返し行われ、以下のように実行される。

分離音符情報の生成処理の第１ステップ（ＳＰ４）では、PBPointList 内の要素〔P1，P3〕の内、処理対象とするポイント要素の時間位置を読出し開始位置Start とし、その次のポイント要素の時間位置を読出し終了位置End とする。ここで、処理対象のポイント要素が先頭〔P1〕の場合は、音符情報Ｎａｉの開始時間〔ts〕を読出し開始位置Start とし、対象のポイント要素が末尾〔P3〕の場合には、音符情報Ｎａｉの終了時間〔te〕を読出し終了位置End とする。図２の例では、先頭要素Ｐ１を処理する場合は、ノートＮａｉの開始時間ｔｓを読出し開始位置Start とし、次の要素Ｐ３の時間位置ｔ３を読出し終了位置End とする。また、末尾要素Ｐ３を処理する場合には、当該要素Ｐ３の時間位置ｔ３を読出し開始位置Start とし、ノートＮａｉの終了時間ｔｅを読出し終了位置End とする。

次に、PBPointList 内において処理対象とするポイント要素〔P1又はP3〕のピッチベンド値を読出して、音符情報Ｎａｉに対応する音高に調整してこの音高をキーナンバで表わした音高値データKeyNumber 〔60又は62〕を取得する（ＳＰ５）。なお、先頭の要素〔P1〕のピッチベンド値は、音符情報Ｎａｉの音高〔C3〕から変化していないものとする。続いて、当該処理対象要素〔P1又はP3〕の読出し開始位置Start 、読出し終了位置End 、音高値KeyNumber 及び音符情報Ｎａｉのベロシティ値Velocityにより、分離された新たな音符情報〔Nb1 又はNb2 〕を生成する（ＳＰ６）。

さらに、生成した新たな音符情報〔Nb1 又はNb2 〕の時間〔ts又はt3のタイミング〕及び長さ〔ts〜t3又はt3〜te〕を、音符分離位置調整幅δの設定状況に基づき調整する（ＳＰ７）。例えば、この調整幅δが有効な場合、調整幅δだけ早い時間で音符〔Nb1 又はNb2 〕を分離する。そのため、先頭になる音符は長さが短くなる〔Nb1 →Nb1'〕。

このようにして生成した音符情報〔Nb1'又はNb2'〕と奏法に関する情報をDataListに記憶して（ＳＰ８）、当該ポイント要素〔P1又はP3〕に対する分離音符情報生成処理を終了し、次の要素があれば、順次、次の要素について上述の分離音符情報生成処理（ＳＰ４〜ＳＰ８）を行い、次の要素に対応して分離された新たな音符情報を生成する。そして、全要素の分離音符情報生成処理を実行し終えると、この音符分離処理フローを終了する。

〔種々の実施態様〕
以上、この発明の好適な一実施例について説明したが、これは単なる一例であって、この発明は、その精神を逸脱しない範囲で種々の変更が可能であり、種々の態様で実施することができる。例えば、生成した楽譜対応データは楽譜の表示に使用してもよいし、演奏ガイドに使用してもよい。また、曲データ中の聴感上も含めた音高の動きを分析するためなどに使用することもできる。

ピッチベンドを使った奏法で音符を分離するタイプの例には、チョーキングやスライド、スラー等がある。また、ピッチベンドによる表情付けが和音状態の複数音符情報に付加されている場合、各音符情報それぞれについて分離処理を行ってもよい。音符分離の基準時間幅Δについては、実施例の値や態様に限らない。デフォルト固定でもよいしユーザ設定可能であってもよい。或いは、曲に設定された再生テンポによって変わってもよい。

実施例では、ピッチベンドデータ等による音高変化が半音レベルと交差するときのレベルをノート分離の候補とするようにしているが、厳密に半音でなくてもよい。つまり、実際の演奏データでは、音高変化が聴感上は半音に交差しているように聞こえるが、データとしては交差する直前であるという場合があり得るので、このような場合に対応して、音高変化が半音レベルと交差することを評価する際に、マージン（例：最大 0.2半音程度）を設定し、完全に半音を交差する少し前に半音交差ありと評価する処理が好ましい。

一往復音高変化奏法のように１つの音符情報の中でピッチベンドによる音高変化が往復する奏法については、この音高変化が所定時間（例えば、１６分音符長など）以内で往復するような場合は、音符の分離は行わずに、音高を聴感上の最高音高に変更するが、音高変化が或る程度長い音符長になる場合には、分離ルールに従って分離した方がよい。さらに、音高変化を伴う表情付け情報には、ピッチベンドデータ以外にも、例えば、ブレスコントロール情報なども制御対象になる場合がある。また、表情付けに応じた奏法は、ピッチベンドなどのイベント列より検出してもよいし、ユーザが別途入力設定したもの、或いは、別システムにて予め判別されて記憶されていたものでもよい。

元になる演奏データは、記録された曲データでもよいし、ユーザが入力したものでもよい。実施例ではピッチベンドで表情付けされた音符情報に対する処理を中心にしているが、実際には、アルペジオなどとして複数の音符をまとめて扱えるかどうかの判断や、音量情報の変化を見て強弱記号の付いた音符情報に対する処理などを行う必要がある。演奏データは、実施例では１トラックとしているが、複数トラックあってもよい。複数トラックある場合は、それぞれのトラックに対し処理を行う。

生成される楽譜対応データには、分離した音符情報の他に、元々の表情データであったピッチベンド情報をまとめた形で音楽（奏法）記号データを生成し含ませてもよい。もしくは、分離した音符情報に、例えば属性情報の形で、音楽（奏法）記号の始点／終点などを表わす情報を付加しておいてもよい。

この発明の一実施例による楽譜対応データ生成システムのハードウエア構成例を示すブロック図である。 この発明の一実施例による音符分離を説明するための図である。 この発明の一実施例による楽譜対応データ生成の動作例を表わすフローチャートである。 この発明の一実施例による音符分離処理例を表わすフローチャートである。

符号の説明

Ｎａ；Ｎａｉ 演奏データ中の元の音符情報（ノートイベント、音符データ）、
ｔｓ，ｔｅ 個々の音符情報Ｎａｉの開始（ノートオン）及び終了（ノートオフ）時間、
Ｐｂ ピッチベンドデータ（ピッチベンドイベント、ピッチベンド情報）、
ｔ１，ｔ２，ｔ３，… ピッチベンドの開始時間及び半音変化毎の時間、
Ｃ１，Ｃ２，… 分離候補音符，
Ｐ１，Ｐ２，Ｐ３，… ポイント要素（ポイント、要素），
Δ 分離最小時間幅（最小音長時間幅）、
Ｐｓ 分離ポイント、
Ｎｂ；Ｎｂ１，Ｎｂ２，…；Ｎｂ１’，Ｎｂ２’，… 分離後の音符情報、
δ 音符分離位置調整幅（移動時間幅）。

Claims (3)

1. 演奏データを取得する取得手段と、
   取得された演奏データ中の各音符情報、及び、該音符情報の聴感上の音高を変化させる表情付け情報を抽出する抽出手段と、
   抽出された表情付け情報に対応する奏法を認識する認識手段と、
   認識された奏法に基づいて、抽出された音符情報を異なる音高の複数の音符情報に分離した方が楽譜に対応するか否かを判定する判定手段と、
   分離した方が楽譜に対応すると判断されたとき、聴感上の音高が変化するポイントを元にして、当該音符情報を分離し、聴感上の音高変化に合う複数の音符情報を生成する生成手段と
   を具備することを特徴とする楽譜対応データ生成装置。
2. 前記生成手段は、生成される音符情報の音符長が短くなり過ぎないように前記ポイントを決定する手段を有することを特徴とする請求項１に記載の楽譜対応データ生成装置。
3. 演奏データを取得するステップと、
   取得された演奏データ中の各音符情報、及び、該音符情報の聴感上の音高を変化させる表情付け情報を抽出するステップと、
   抽出された表情付け情報に対応する奏法を認識するステップと、
   認識された奏法に基づいて、抽出された音符情報を異なる音高の複数の音符情報に分離した方が楽譜に対応するか否かを判定するステップと、
   分離した方が楽譜に対応すると判断されたとき、聴感上の音高が変化するポイントを元にして、当該音符情報を分離し、聴感上の音高変化に合う複数の音符情報を生成するステップと
   から成る手順を音楽情報処理装置に実行させるための楽譜対応データ生成プログラム。
   

Images