JP2003162282A - 演奏情報生成方法、演奏情報生成装置およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 楽譜が既知である楽曲の録音波形から、演奏
情報を自動的に抽出する。 【解決手段】 録音波形を周波数解析し、押鍵タイミン
グとキーコードとを抽出する。また、楽譜そのものを演
奏情報に変換して成る基準演奏情報を予め準備する。次
に、解析結果と、基準演奏情報の各ノートオンタイミン
グとの関係を求める。図１０の横軸は基準演奏情報のノ
ートオンタイミング、縦軸は抽出した押鍵タイミングで
あり、折れ線状のグラフはその近似特性である。音声レ
ベルが低かった等の事情により抽出できなかった音につ
いては、基準演奏情報のノートオンタイミングと近似特
性に基づいて推定される。この推定結果と、抽出した押
鍵タイミングとがマージされることにより、録音波形に
係る出力演奏情報が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、録音波形に基づく
演奏情報の生成に用いて好適な演奏情報生成方法、演奏
情報生成装置およびプログラムに関する。

【０００２】

【従来の技術】楽音合成の一つの方法として、元々の楽
音波形の周波数成分を分析し、得られた各周波数成分の
信号を発生させてこれらを加算することにより、楽音波
形を合成する分析・（再）合成（Analysis &amp (Re)Sy
nthesis）方式が知られている。この楽音波形分析合成
方式においては、まず、元々の楽音波形のスペクトルが
解析され、その楽音に含まれている基音周波数およびそ
の倍音周波数に対応する線スペクトル成分が抽出され
る。通常、このスペクトル解析は、時間窓（ウインド
ウ）を用いたフーリエ変換による短時間スペクトル解析
を用いて行われている。

【０００３】まず、分析対象となる波形データの複数の
サンプリング点によって「フレーム」が構成される。こ
のフレームに所定の窓関数を施すると、該フレームの中
心のサンプリング点に対するＦＦＴ（高速フーリエ変
換：Fast Fourier Transform）処理結果が得られる。次
に、このＦＦＴ処理結果に基づいて、ピークを成す全て
の周波数位置が検索される。次に、このフレーム位置を
移動しながら同様の処理を実行すると、各フレームにお
ける各周波数位置が順次得られることになる。かかる処
理を短時間フーリエ変換（ＳＦＦＴ：Short-time Fast
Fourier Transform）と呼ぶ。

【０００４】次に、各フレームにおいて得られたピーク
のうち、軌跡を成すものが追跡される。このようにスペ
クトルの軌跡を求める処理をここではＳＴＦ(Spectrum
Trajetory Finder)処理と呼ぶ。また、各スペクトルの
軌跡について、各窓関数を施した時刻（フレームタイ
ム）と、各フレームタイムにおいて検出されたピーク位
置とを合わせたデータをＳＴＦデータと呼ぶ。

【０００５】次に、ＳＴＦ処理によって得られた軌跡の
中から所望の軌跡を選択し、その個々の軌跡に基づいて
正弦波を合成し、加算することによりもとの楽音波形の
うち決定論的に得られる波形すなわち決定論的波形（De
terministic Wave）を合成することができる。そして、
元々の波形データから決定論的波形を減算することによ
り残差波形（Residual Wave）が得られる。なお、以上
のように波形データを解析する技術は、例えば特開平１
２−１０５６７号公報等に開示されている。

【０００６】

【発明が解決しようとする課題】ところで、波形デー
タ、例えば実際の演奏音の波形データをＳＴＦ解析し、
その結果のみに基づいて演奏情報を抽出できれば便利で
ある。しかし、非常にレベルの低い（弱い演奏に対す
る）周波数成分を抽出することは困難である。また、演
奏者のミスにより、本来演奏すべき音が欠落することも
考えられる。一方、種々の楽曲においては、元々楽譜が
既知である場合が多い。楽譜が既知であれば、その内容
を参照することによって、信頼性の高い演奏情報を得る
ことが可能であると考えられる。この発明は上述した事
情に鑑みてなされたものであり、信頼性の高い演奏情報
を得ることができる演奏情報生成方法、演奏情報生成装
置およびプログラムを提供することを目的としている。

【０００７】

【課題を解決するための手段】上記課題を解決するため
本発明にあっては、下記構成を具備することを特徴とす
る。なお、括弧内は例示である。請求項１記載の演奏情
報生成方法にあっては、所定の楽曲の演奏音を録音して
成る入力波形データの周波数成分を解析し、これら周波
数成分によって形成される軌跡のうち所定の条件を満た
す軌跡を抽出する過程（ステップＳＰ２〜６）と、これ
ら軌跡の抽出結果に基づいて、少なくとも音高（ＭＩＤ
Ｉ ＫＣ）と操作タイミング（押鍵タイミング）とを含
む抽出操作イベント（抽出押鍵イベント）を決定する過
程（ステップＳＰ６）と、前記楽曲に係る基準演奏情報
と、前記各抽出操作イベントとを比較し、前記基準演奏
情報に含まれるノートオンイベントのうち対応する抽出
操作イベントが存在しない未検出ノートオンイベントを
抽出する過程（ステップＳＰ８）と、前記未検出ノート
オンイベントに対して、他のノートオンイベントおよび
これらに対応する抽出操作イベントに基づいて、対応す
る操作イベントである推定操作イベントを決定する推定
操作イベント決定過程（ステップＳＰ１０）と、これら
抽出操作イベントおよび推定操作イベントに基づいて出
力演奏情報を生成する過程（ステップＳＰ１２）とを有
することを特徴とする。さらに、請求項２記載の構成に
あっては、請求項１記載の演奏情報生成方法において、
前記推定操作イベント決定過程（ステップＳＰ１０）
は、前記基準演奏情報におけるノートオンタイミングと
前記抽出操作イベントにおける操作タイミングとの関係
を表わす近似特性を決定する過程と、前記近似特性と、
前記未検出ノートオンイベントとに基づいて、前記推定
操作イベントにおける操作タイミングを決定する過程と
を有することを特徴とする。また、請求項３記載の演奏
情報生成装置にあっては、請求項１または２の何れかに
記載の演奏情報生成方法を実行することを特徴とする。
また、請求項４記載のプログラムにあっては、請求項１
または２の何れかに記載の演奏情報生成方法を実行する
ことを特徴とする。

【０００８】

【発明の実施の形態】1．実施形態の構成 以下、この発明の一実施形態の演奏情報生成装置の構成
を図１を参照し説明する。なお、本実施形態の演奏情報
生成装置は、汎用パーソナルコンピュータと、該パーソ
ナルコンピュータ上で動作するアプリケーションプログ
ラムとによって構成されている。図において、２は通信
インタフェースであり、ローカルエリアネットワークを
介して他の機器との間で波形データのやりとりを行う。
４は入力装置であり、文字入力用キーボードおよびマウ
ス等から構成されている。６は演奏操作子であり、演奏
用キーボード等から構成されている。

【０００９】８はディスプレイであり、ユーザに対して
各種情報を表示する。１０はＣＰＵであり、後述するプ
ログラムに基づいて、バス１６を介して他の構成要素を
制御する。１２はＲＯＭであり、イニシャルプログラム
ローダ等が記憶されている。１８はリムーバルディスク
ドライブ装置であり、ＣＤ−ＲＯＭ、ＭＯ等のリムーバ
ルディスク２０に対して読出し／書込みを行う。２２は
波形取込インタフェースであり、外部から入力されたア
ナログ信号をデジタル信号に変換する。

【００１０】２４はハードディスクであり、オペレーテ
ィングシステム、楽音解析アプリケーションプログラ
ム、波形データ等が格納される。２６は波形出力インタ
フェースであり、バス１６を介して供給されたデジタル
の楽音信号をアナログ信号に変換する。２８はサウンド
システムであり、該楽音信号を発音する。３０はＲＡＭ
であり、ＣＰＵ１０のワークメモリとして用いられる。

【００１１】2．実施形態の動作 次に、本実施形態の動作を説明する。まず、ユーザが楽
音解析アプリケーションプログラムが立ち上げ、入力装
置４において所定の操作を行うと、解析対象となる波形
データファイルと、基準演奏情報ファイルとが指定され
る。これらのファイルは、リムーバルディスク２０ある
いはハードディスク２４等に記憶されている。なお、解
析対象の波形データがコンピュータ上のファイル形式で
はない場合には、波形取込インタフェース２２を介し
て、ファイル形式に変換される。

【００１２】ここで、上記波形データファイルは、所定
の楽曲の演奏音を記録したものである。また、基準演奏
情報ファイルは、その楽曲の楽譜に基づいて生成された
演奏情報を記録したものである。ここで、基準演奏情報
ファイルに係る楽譜の一例を図３に示す。また、この楽
譜に基づいて実際にピアノ演奏を行って得られた波形デ
ータ、すなわち解析対象の波形データを図４に示す。

【００１３】次に、ユーザが入力装置４において所定の
解析指令操作を実行すると、図２に示すプログラムが起
動される。図において処理がステップＳＰ２に進むと、
波形データの各フレームに対してＦＦＴ処理が実行さ
れ、このＦＦＴ処理結果に基づいて、ピークを成す全て
の周波数位置が検索される。次に、処理がステップＳＰ
４に進むと、各フレームにおいて得られたピークのう
ち、軌跡を成すものが追跡される。すなわちＳＴＦ処理
が実行される。

【００１４】ここで、図４の波形データに対してＳＴＦ
処理を施した結果を図５に示す。同図において縦軸は周
波数、横軸は発音開始時点（０）からの経過時間すなわ
ちフレームタイムを表わす。図２に戻り、次に処理がス
テップＳＰ６に進むと、図５の軌跡の中から、所定の抽
出条件を満たすものが抽出される。ここで、抽出条件と
は、「レベルが所定の閾値よりも高くなるタイミングが
存在し、かつ、周波数が所定時間以上安定している」と
いうものである。

【００１５】ここで、該抽出条件を満たす軌跡のみを抽
出した結果を図６に示す。また、図６の縦軸を「周波数
＋レベル」に変換した結果を図７に示す。かかる抽出条
件を満たす軌跡は、各音の基音成分を構成する。そこ
で、図７および図５においては、抽出条件を満たす軌跡
に対して対応する音名（Ｆ２，Ｃ３等）を付記してい
る。また、抽出された各軌跡が上記所定の閾値よりも高
くなるタイミングを押鍵タイミングという。この押鍵タ
イミングと対応する音名とを合わせた情報を「抽出押鍵
イベント」と呼ぶ。

【００１６】この押鍵タイミングは、楽譜上の音符が存
在するタイミング、換言すれば基準演奏情報におけるノ
ートオンに対応するタイミングに他ならない。ここで、
上述した処理によって抽出された抽出押鍵イベントの一
覧を図８に示す。図において「ＭＩＤＩ ＫＣ」の欄
は、各軌跡の周波数に基づいて求められたキーコードお
よびそのＭＩＤＩデータである。「Ｎｏ．」の欄は、各
抽出押鍵イベントのシリアルナンバである。

【００１７】次に、「絶対位置」とは、抽出された押鍵
タイミングの時間軸上の位置を、波形データの開始位置
を基準として表わしたものであり、「小節」「拍」およ
び「ユニット」から成る。まず、「１拍」の長さはその
楽曲における４分音符の長さであり、基準演奏情報によ
って指定された「テンポ」に応じて一意に決定される。
例えば、テンポが「１１８」であれば、「１拍」の長さ
は「６０／１１８＝０.５０８４７４６秒」である。ま
た、「１ユニット」は「１拍／４８０」であり、テンポ
が「１１８」であれば「１ユニット＝０.０１０５９３
２２」になる。

【００１８】また、「１小節」の長さは、基準演奏情報
によって指定された「拍子」および「テンポ」に応じて
一意に決定される。例えば、「４／４拍子」であれば、
「１小節＝４拍」である。図８に示す「絶対位置」は、
波形データの開始位置から各押鍵タイミングまでの時間
を「１ユニット」で除算してユニット数を求め、このユ
ニット数を「４８０」毎に繰り上げることによって拍数
を求め、この拍数を「４」毎に繰り上げて小節数を求め
て成るものである。なお、基準演奏情報によってテンポ
および拍子が指定されていない場合は、これらの値はユ
ーザによって指定される。

【００１９】また、図８において「相対位置」とは、最
初に発生した（シリアルナンバ００００の）押鍵タイミ
ングにおける「小節」および「拍」を「１」、「ユニッ
ト」を「０００１」とし、他の押鍵タイミングもこれに
応じてシフトした結果である。また、「相対ユニット」
は、拍および小節への繰り上げを行わず、最初の押鍵タ
イミングからの経過時間（図示の相対時間）を単純に
「ユニット」に変換して成る値である。

【００２０】図２に戻り、処理がステップＳＰ８に進む
と、各抽出押鍵イベントと、基準演奏情報の各ノートオ
ンイベントとが比較され、採譜されなかった音符が抽出
される。その詳細を図９を参照し説明する。この図にお
いて「ＭＩＤＩ ＫＣ」の欄は、基準演奏情報において
各ノートオンイベントに含まれるキーコードである。ま
た、「楽譜上の位置」の欄は、各ノートオンイベントの
発生タイミングを小節、拍およびユニットの単位に変換
したものである。

【００２１】また、「楽譜上の相対ユニット」の欄は、
拍および小節への繰り上げを行わず、基準演奏情報の最
初のノートオンイベントからの経過時間を「ユニット」
に変換して成る値である。また、「Ｎｏ．」の欄は、抽
出押鍵イベントのシリアルナンバである。ここで、シリ
アルナンバ「０００４」と「０００５」との間に存在す
るノートオンイベント（キーコード：Ｇ＃３）について
は、シリアルナンバが付されていない。

【００２２】これは、基準演奏情報には当該ノートオン
イベントが存在するが、対応する抽出押鍵イベントが存
在しないことを意味する。このようなノートオンイベン
トを未検出ノートオンイベントと呼ぶ。該未検出ノート
オンイベントは、図３に示す楽譜の高音部の２番目の音
符（Ｇ＃３の１６分音符）に対応する。この音符は短い
装飾音的な音符ゆえ、波形データから対応する軌跡を抽
出できなかったのである。このように、ステップＳＰ８
においては、基準演奏情報のノートオンイベントの中か
ら、未検出ノートオンイベントが全て検索される。

【００２３】図２において次に処理がステップＳＰ１０
に進むと、最終的に出力される演奏情報（出力演奏情
報）のノートオンタイミングが決定される。ここで、出
力演奏情報の各ノートオンイベントは基準演奏情報の各
ノートオンイベントに対応している。そして、各ノート
オンイベントに対して対応する抽出押鍵イベントが存在
する場合には、その押鍵タイミングが出力演奏情報のノ
ートオンイベントのノートオンタイミングに設定され
る。

【００２４】出力演奏情報における各ノートオンタイミ
ングを「ユニット」に換算した値を図９の「最終相対ユ
ニット」の欄に、また「秒」に換算した値を「最終相対
時間」の欄に示す。これらの値は、図８における「相対
ユニット」および「相対時間」の欄に示した値と一致し
ている。

【００２５】次に、基準演奏情報中のノートオンイベン
トと、抽出押鍵イベントとの関係が決定される。その詳
細を図１０を参照し説明する。図１０は、抽出押鍵イベ
ントの「相対ユニット」を縦軸とし、これに対応する基
準演奏情報の「楽譜上の相対ユニット」を横軸とし、各
抽出押鍵イベントの押鍵タイミングをグラフ上に配置し
たものである。

【００２６】図中の折れ線状の特性は、各押鍵タイミン
グに基づいて求められた近似特性である。この近似特性
は、前後の数個程度の抽出押鍵イベントのサンプルに基
づいて最小二乗法による直線近似または曲線近似により
求めると良い。また、各サンプルをシリアルナンバ順に
単純に直線で結んだものを近似特性にしてもよい。さ
て、未検出ノートオンイベントに対しては、そのイベン
トタイミングを近似特性上の横軸の値とし、その横軸の
値に対応する縦軸の値が押鍵タイミングの推定値に設定
される。

【００２７】上記Ｇ＃３の１６分音符の例において、か
かる推定を行った結果を図１０上の破線によって示して
おく。この場合、押鍵タイミングの推定値は、「９５６
ユニット」であり、その値を図９内の「最終相対ユニッ
ト」の欄に括弧付きで示しておく。このように押鍵タイ
ミングが推定された押鍵イベントを「推定押鍵イベン
ト」と呼ぶ。

【００２８】図２において次に処理がステップＳＰ１２
に進むと、抽出押鍵イベントと、推定押鍵イベントとが
マージされ、これによって出力演奏情報における全ノー
トオンイベントのイベントタイミングが確定される。と
ころで、基準演奏情報においては、全てのノートオンイ
ベントに対して、対応するノートオフイベントが存在
し、両者のタイミング間隔は既知である。そこで、出力
演奏情報においては、この基準演奏情報におけるタイミ
ング間隔と等しい間隔で各ノートオフイベントが発生す
るように、出力演奏情報におけるノートオフイベントの
タイミングが決定される。以上の処理により、出力演奏
情報に係るＭＩＤＩデータファイルが生成される。

【００２９】3．変形例 本発明は上述した実施形態に限定されるものではなく、
例えば以下のように種々の変形が可能である。 (1)上記各実施形態においては、パーソナルコンピュー
タ上で動作するアプリケーションプログラムによってＭ
ＩＤＩデータファイルを生成したが、このアプリケーシ
ョンプログラムのみをＣＤ−ＲＯＭ、フロッピー（登録
商標）ディスク等の記録媒体に格納して頒布し、あるい
は伝送路を通じて頒布することもできる。

【００３０】(2)上記実施形態においては、ピアノ音の
波形データおよび基準演奏情報に基づいて出力演奏情報
を取得したが、本発明の波形データはピアノ音に限定さ
れるものではなく、種々の楽音の波形データに適用でき
ることは言うまでもない。

【００３１】

【発明の効果】以上説明したように本発明によれば、基
準演奏情報に含まれるノートオンイベントのうち対応す
る抽出操作イベントが存在しない未検出ノートオンイベ
ントに対して、他のノートオンイベントおよびこれらに
対応する抽出操作イベントに基づいて、推定操作イベン
トを決定するから、イベントの欠落等を未然に防止しつ
つ実演奏に対して忠実な出力演奏情報を得ることができ
る。

【図面の簡単な説明】

【図１】 本発明の一実施形態の演奏情報生成装置のブ
ロック図である。

【図２】 演奏情報生成装置上で起動される処理プログ
ラムのフローチャートである。

【図３】 基準演奏情報を楽譜表示した一例を示す図で
ある。

【図４】 解析対象の波形データの一例を示す図であ
る。

【図５】 図４の波形データに対してＳＴＦ処理を施
し、軌跡を求めた結果を示す図である。

【図６】 図５の軌跡のうち抽出条件を満たす軌跡のみ
を抽出した結果を示す図である。

【図７】 図６の縦軸を「周波数＋レベル」に変換した
結果を示す図である。

【図８】 抽出押鍵イベントの一覧を示す図である。

【図９】 基準演奏情報におけるノートオンタイミング
と抽出押鍵イベントとの関係を示す図である。

【図１０】 推定押鍵イベントの押鍵タイミングを求め
る動作の動作説明図である。

【符号の説明】

２…通信インタフェース、４…入力装置、６…演奏操作
子、８…ディスプレイ、１０…ＣＰＵ、１２…ＲＯＭ、
１６…バス、１８…リムーバルディスクドライブ装置、
２０…リムーバルディスク、２２…波形取込インタフェ
ース、２４…ハードディスク、２６…波形出力インタフ
ェース、２８…サウンドシステム、３０…ＲＡＭ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 所定の楽曲の演奏音を録音して成る入力
   波形データの周波数成分を解析し、これら周波数成分に
   よって形成される軌跡のうち所定の条件を満たす軌跡を
   抽出する過程と、 これら軌跡の抽出結果に基づいて、少なくとも音高と操
   作タイミングとを含む抽出操作イベントを決定する過程
   と、 前記楽曲に係る基準演奏情報と、前記各抽出操作イベン
   トとを比較し、前記基準演奏情報に含まれるノートオン
   イベントのうち対応する抽出操作イベントが存在しない
   未検出ノートオンイベントを抽出する過程と、 前記未検出ノートオンイベントに対して、他のノートオ
   ンイベントおよびこれらに対応する抽出操作イベントに
   基づいて、対応する操作イベントである推定操作イベン
   トを決定する推定操作イベント決定過程と、 これら抽出操作イベントおよび推定操作イベントに基づ
   いて出力演奏情報を生成する過程とを有することを特徴
   とする演奏情報生成方法。
2. 【請求項２】 前記推定操作イベント決定過程は、 前記基準演奏情報におけるノートオンタイミングと前記
   抽出操作イベントにおける操作タイミングとの関係を表
   わす近似特性を決定する過程と、 前記近似特性と、前記未検出ノートオンイベントとに基
   づいて、前記推定操作イベントにおける操作タイミング
   を決定する過程とを有することを特徴とする請求項１記
   載の演奏情報生成方法。
3. 【請求項３】 請求項１または２の何れかに記載の演奏
   情報生成方法を実行することを特徴とする演奏情報生成
   装置。
4. 【請求項４】 請求項１または２の何れかに記載の演奏
   情報生成方法を実行することを特徴とするプログラム。