JP2001265328A - 演奏データ及び楽譜データの処理装置、方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】ミスタッチやタイミングずれの可能性がある演
奏データと楽譜データと間で、両者間のずれを分析／評
価し、１音毎の正確な対応付けを行うこと。 【解決手段】この発明の処理システムでは、演奏データ
ＰＤ及び楽譜データＭＤについて、時間軸及び音高軸か
ら成る二次元空間上に音情報を展開したイベントマップ
ＩＭ及びテンプレートＴＰが夫々作成され（ＭＭ，Ｔ
Ｍ）、両者間には、時間軸方向にずらした複数の位置で
マッチング演算がなされ（ＭＰ）、この演算結果ＭＲに
基づいて、両者が最もよくマッチングする位置Ｘｍｅが
求められる（ＥＤ）。位置Ｘｍｅに基づいて、演奏デー
タ及び楽譜データ間のずれ（オフセット）ＯＳが出力さ
れ（ＯＤ）、また、演奏データと楽譜データとの対応付
け（リンク）を行う（ＬＤ）。イベントマップＩＭ及び
テンプレートＴＰの少なくとも一方には「ボカシ」処理
が施され、マッチング演算処理を容易にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、演奏データと楽
譜データのずれを分析、評価したり、演奏データ及び楽
譜データに含まれる各音情報の対応付けを行うのに好適
な演奏データ及び楽譜データの処理装置、方法及び記録
媒体に関する。

【０００２】

【従来の技術】従来より、例えば、特開平５−２７６７
０号公報に示されるように、演奏データと楽譜データと
の間の一致／不一致を評価する技術が知られている。こ
の例では、演奏データ及び楽譜データの双方における所
定個（例えば、１０個）の音高データを比較し、一致率
が所定比率（例えば、８０％）以上なら一致と判断し、
そうでなければ不一致と判断している。

【０００３】このように、従来は、単純に音高一致を判
断しているだけなので、時間方向のずれがわからない。
また、１音ごとの対応付けはなされていないので、演奏
中の音が楽譜上ではどの音なのかが正確にわからない。

【０００４】

【発明が解決しようとする課題】この発明は、このよう
な従来技術の欠点に鑑み、演奏データと楽譜データのず
れを分析、評価することが可能であり、演奏データ側に
多少のミスタッチやタイミングずれがあってもマッチン
グをとることができ、また、両データ間で１音毎に正確
に対応付けを行うことができる演奏データ及び楽譜デー
タの処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】この発明の第１の特徴に
従うと、演奏データ及び楽譜データを取得する手段と、
取得された演奏データ及び楽譜データのそれぞれについ
て、時間軸及び音高軸から成る二次元空間上に音情報を
展開した演奏分布データ及び楽譜分布データを作成する
分布データ作成手段と、両分布データ間のマッチング
を、時間軸方向にずらした複数の位置で、演算するマッ
チング処理手段と、マッチング演算の結果に基づいて、
両分布データが最もよくマッチングする位置を求める手
段と、求められた位置を演奏データ及び楽譜データ間の
ずれとして出力する手段とを具備する演奏データ及び楽
譜データの処理装置（請求項１）、並びに、演奏データ
及び楽譜データを取得するステップと、取得された演奏
データ及び楽譜データのそれぞれについて、時間軸及び
音高軸から成る二次元空間上に音情報を展開した演奏分
布データ及び楽譜分布データを作成する分布データ作成
ステップと、両分布データ間のマッチングを、時間軸方
向にずらした複数の位置で、演算するマッチング処理ス
テップと、マッチング演算の結果に基づいて、両分布デ
ータが最もよくマッチングする位置を求めるステップ
と、求められた位置を演奏データ及び楽譜データ間のず
れとして出力するステップとを備える演奏データ及び楽
譜データの処理方法（請求項５）が提供される。また、
この特徴に従い、演奏データ及び楽譜データを取得する
ステップと、取得された演奏データ及び楽譜データのそ
れぞれについて、時間軸及び音高軸から成る二次元空間
上に音情報を展開した演奏分布データ及び楽譜分布デー
タを作成するステップと、両分布データ間のマッチング
を、時間軸方向にずらした複数の位置で、演算するステ
ップと、マッチング演算の結果に基づいて、両分布デー
タが最もよくマッチングする位置を求めるステップと、
求められた位置を演奏データ及び楽譜データ間のずれと
して出力するステップとから成るプログラムを記録して
いる演奏データ及び楽譜データの処理のための記録媒体
（請求項９）が提供される。

【０００６】この発明の第２の特徴に従うと、演奏デー
タ及び楽譜データを取得する手段と、取得された演奏デ
ータ及び楽譜データのそれぞれについて、時間軸及び音
高軸から成る二次元空間上に音情報を展開した演奏分布
データ及び楽譜分布データを作成する分布データ作成手
段と、両分布データ間のマッチングを、時間軸方向にず
らした複数の位置で、演算するマッチング処理手段と、
マッチング演算の結果に基づいて、両分布データが最も
よくマッチングする位置を求める手段と、求められた位
置から得られる演奏データ及び楽譜データ間のずれに基
づいて前記演奏データと楽譜データとの対応付けを行う
手段とを具備する演奏データ及び楽譜データの処理装置
（請求項２）、並びに、演奏データ及び楽譜データを取
得するステップと、取得された演奏データ及び楽譜デー
タのそれぞれについて、時間軸及び音高軸から成る二次
元空間上に音情報を展開した演奏分布データ及び楽譜分
布データを作成する分布データ作成ステップと、両分布
データ間のマッチングを、時間軸方向にずらした複数の
位置で、演算するマッチング処理ステップと、マッチン
グ演算の結果に基づいて、両分布データが最もよくマッ
チングする位置を求めるステップと、求められた位置か
ら得られる演奏データ及び楽譜データ間のずれに基づい
て前記演奏データと楽譜データとの対応付けを行うステ
ップとを備える演奏データ及び楽譜データの処理方法
（請求項６）が提供される。また、この特徴に従い、演
奏データ及び楽譜データを取得するステップと、取得さ
れた演奏データ及び楽譜データのそれぞれについて、時
間軸及び音高軸から成る二次元空間上に音情報を展開し
た演奏分布データ及び楽譜分布データを作成するステッ
プと、両分布データ間のマッチングを、時間軸方向にず
らした複数の位置で、演算するステップと、マッチング
演算の結果に基づいて、両分布データが最もよくマッチ
ングする位置を求めるステップと、求められた位置から
得られる演奏データ及び楽譜データ間のずれに基づいて
前記演奏データと楽譜データとの対応付けを行うステッ
プとから成るプログラムを記録している演奏データ及び
楽譜データの処理のための記録媒体（請求項１０）が提
供される。

【０００７】この発明の第３の特徴に従うと、演奏デー
タ及び楽譜データの処理装置においては、分布データ作
成手段が、二次元空間上において、楽譜データ或いは演
奏データに対応する本来の位置及びその周辺位置に所定
の重みをもって音情報を展開する（請求項３）ように構
成され、また、演奏データ及び楽譜データの処理方法に
おいては、分布データ作成ステップにて、二次元空間上
において、楽譜データ或いは演奏データに対応する本来
の位置及びその周辺位置に所定の重みをもって音情報を
展開する（請求項７）ように構成される。

【０００８】この発明の第４の特徴に従うと、演奏デー
タ及び楽譜データの処理装置においては、マッチング処
理手段が、楽譜データ中から繰返し記号の存在を検出す
る手段と、繰返し記号の存在を検出したとき、繰返しを
反映した第１楽譜分布データ及び繰返しを省略した第２
楽譜分布データを楽譜分布データとして供給する手段
と、第１及び第２楽譜分布データに対する演奏分布デー
タのマッチング演算の結果に基づいて、前記演奏データ
が繰返し記号を反映させているか否かを判定する手段と
を備える（請求項４）ように構成され、また、演奏デー
タ及び楽譜データの処理方法においては、マッチング処
理ステップが、楽譜データ中から繰返し記号の存在を検
出するステップと、繰返し記号の存在を検出したとき、
繰返しを反映した第１楽譜分布データ及び繰返しを省略
した第２楽譜分布データを楽譜分布データとして供給す
るステップと、第１及び第２楽譜分布データに対する演
奏分布データのマッチング演算の結果に基づいて、前記
演奏データが繰返し記号を反映させているか否かを判定
するステップとを含む（請求項８）ように構成される。

【０００９】〔発明の作用〕この発明の第１の特徴によ
れば、演奏データと楽譜データのそれぞれについて、時
間軸及び音高軸からなる二次元空間上で音情報（両デー
タ中の音符及びイベントを表わす情報）の位置を規定し
た演奏分布データ及び楽譜分布データ（実施例では「イ
ベントマップ」及び「テンプレート」と呼ぶ）を作成
し、両者のマッチングをとり、両者の位置を時間方向に
ずらしながら最もよくマッチする位置を求め、最もよく
マッチする位置を演奏データと楽譜データのずれ（オフ
セット）とするように構成しているので、微妙に「ノ
リ」や表情が付けられた演奏データと表示に適した標準
的な楽譜データとの間のずれを、効果的に分析、評価す
ることが可能となる。

【００１０】この発明の第２の特徴によれば、演奏デー
タと楽譜データのずれ（オフセット量又はオフセット）
に基づいて、演奏データと楽譜データの間で各データの
対応付け（リンク）をするように構成しているので、１
音ごとの対応付けを正確に行うことができ、例えば、演
奏中の音が楽譜上ではどの音なのかを把握することがで
きる。

【００１１】この発明の第３の特徴によれば、二次元空
間上でのデータ位置には、「ボカシ」と呼ぶ処理を施す
ことによって、本来の位置の周辺までも考慮して所定の
重み付けを付与するように構成しているので、演奏デー
タ側において、多少のミスタッチやタイミングずれがあ
っても、楽譜データとのマッチングをとることができ
る。つまり、演奏分布データ及び楽譜分布データの少な
くとも何れか一方において、時間軸方向に「ボカシ」を
とることで演奏の微妙なタイミングずれに対応し、音高
軸方向に「ボカシ」をとることでミスタッチによる音高
ずれに対応する。また、この重み付け値は、各分布デー
タにおける各軸方向の最小分解能及び許容し得るミスタ
ッチやタイミングずれに応じて、各方向毎に所望の値に
設定することができる。

【００１２】この発明の第４の特徴によれば、楽譜デー
タ中の繰返し記号の検出に応じて用意された２つの楽譜
分布データ（第１及び第２楽譜分布データ：例えば、実
施例の小節「Ｏ」，「Ｇ」に対応するテンプレート）と
演奏分布データとのマッチング処理結果に基づいて、演
奏データが楽譜データ中の繰返し記号を反映させている
か否かを判定するように構成しているので、楽譜記号が
省略された演奏データであっても、演奏データ及び楽譜
データ間のずれの分析、評価が可能となり、また、１音
ごとの対応付けが可能となる。

【００１３】

【発明の実施の形態】以下、図面を参照しつつ、この発
明の好適な実施例を詳述する。なお、以下の実施例は単
なる一例であって、この発明の精神を逸脱しない範囲で
種々の変更が可能である。

【００１４】〔ハードウエア構成〕図１には、この発明
の一実施例による演奏データ及び楽譜データの処理装置
のハードウエア構成のブロック図が示されている。この
例では、システムは、中央処理装置（ＣＰＵ）１、読出
専用メモリ（ＲＯＭ）２、ランダムアクセスメモリ（Ｒ
ＡＭ）３、第１及び第２の検出回路４，５、表示回路
６、音源回路７、効果回路８、外部記憶装置９等を備
え、これらの装置１〜９は、バス１０を介して互いに接
続されており、演奏データ及び楽譜データの処理のため
のデータ処理システムを構成している。

【００１５】システム全体を制御するＣＰＵ１は、テン
ポクロックや割込みクロックの発生等に利用されるタイ
マ１１を備え、所定のプログラムに従って種々の制御を
行い、特に、後述する演奏データ及び楽譜データの処理
の機能を中枢的に遂行する。ＲＯＭ２には、このシステ
ムを制御するための所定の制御プログラムが記憶されて
おり、これらの制御プログラムには、基本的な演奏情報
処理と共に、この発明による演奏データ及び楽譜データ
の処理に関する各種処理プログラムや各種テーブル、各
種データを含ませることができる。ＲＡＭ３は、これら
の処理に際して必要なデータやパラメータを記憶し、ま
た、各種レジスタやフラグ、処理中の各種データ等を一
時記憶するためのワーク領域として用いられる。

【００１６】第１の検出回路４は鍵盤等の演奏操作子を
備えた演奏操作装置１２に接続され、第２の検出回路５
に接続される操作スイッチ装置１３は、各種モード・パ
ラメータ・操作の設定を行うための種々の操作子を備え
る。これらの操作子は、演奏データ及び楽譜データの処
理のためのモード指定ボタン、各種データ選択／指定用
スイッチ等、操作パネル上に設けられた種々のスイッチ
や、マウス等のポインチングデバイスを含み、「パネル
操作子」と総称される。表示回路６はディスプレイ１４
や各種インジケータを備えており、このディスプレイ１
４やインジケータは、スイッチ装置１３の操作パネル上
の各種操作子に並置することができ、ディスプレイ上に
はポインチングデバイス等の操作子で操作可能なボタン
を表示することもできる。また、ＤＳＰ等で構成される
効果回路８に接続されるサウンドシステム１５は、音源
回路７及び効果回路８と共に楽音出力部を構成する。

【００１７】外部記憶装置９は、ハードディスクドライ
ブ（ＨＤＤ）、コンパクトディスク・リード・オンリィ
・メモリ（ＣＤ−ＲＯＭ）ドライブ、フロッピィディス
クドライブ（ＦＤＤ）、光磁気（ＭＯ）ディスクドライ
ブ、ディジタル多目的ディスク（ＤＶＤ）ドライブ等の
記憶装置から成り、各種制御プログラムや各種データを
記憶することができる。従って、演奏データ及び楽譜デ
ータの処理に必要なプログラムや各種データ（演奏デー
タ、楽譜データ、重みテーブル、等々）は、ＲＯＭ２を
利用するだけでなく、外部記憶装置９からＲＡＭ３内に
読み込むことができ、必要に応じて、処理結果（オフセ
ットデータ、リンク情報、等々）を外部記憶装置９に記
録しておくこともできる。

【００１８】この例では、バス１０にＭＩＤＩインター
フェイス（Ｉ／Ｆ）１６が接続され、システムは他のＭ
ＩＤＩ機器１７と通信することができる。さらに、バス
１０には通信インターフェイス１８も接続され、通信ネ
ットワーク１９を介してサーバコンピュータ２０から制
御プログラムや各種データを外部記憶装置９にストアす
ることもできる。

【００１９】〔システム機能の概略〕図２は、この発明
の一実施例による演奏データ及び楽譜データの処理のた
めのデータ処理システムの機能を概略的に示す機能ブロ
ック図である。この処理システムでは、端的にいうと、
図２に示すように、演奏データＰＤ及び楽譜データＭＤ
について、時間軸及び音高軸から成る二次元空間上に音
情報を展開したイベントマップＩＭ及びテンプレートＴ
Ｐが夫々作成され（ＭＭ，ＴＭ）、両者間には、時間軸
方向にずらした複数の位置でマッチング演算がなされ
（ＭＰ）、この演算結果ＭＲに基づいて、両者が最もよ
くマッチングする位置Ｘｍｅが求められる（ＥＤ）。こ
の位置Ｘｍｅに基づいて、演奏データ及び楽譜データ間
のずれ（オフセット）ＯＳが出力され（ＯＤ）、また、
演奏データと楽譜データとの対応付け（リンク）を行う
（ＬＤ）。なお、イベントマップＩＭ及びテンプレート
ＴＰの少なくとも一方には「ボカシ」処理が施され、マ
ッチング演算処理を容易にする。以下、このデータ処理
システムの個々のブロック毎に機能を説明しよう。

【００２０】楽譜データ供給ブロックＭＳは、楽譜デー
タＭＤをテンプレート作成ブロックＴＭに供給する。こ
こで、楽譜データＭＤは、楽譜表示に用いられるデータ
であり、タイミングの揺らぎなどがない正確なデータで
ある。楽譜データＭＤのデータ形式は、種々のものを採
用することができるが、一例を挙げると、「音符種類＋
音高（或いは休符種類）」を時系列に並べたものがあ
る。楽譜データＭＤは、また、複数の楽器パートに対応
した複数トラックのデータから成る。なお、楽譜データ
ＭＤは、通常、外部記憶装置９、或いは、ＲＯＭ２やＲ
ＡＭ３に記憶されているが、インターフェイス１６，１
８を介して外部ＭＩＤＩ機器１７やサーバコンピュータ
２０から受信してもよい。或いは、パネル操作子１３の
操作により楽譜データＭＤを入力してもよい。

【００２１】テンプレート作成ブロックＴＭにおいて
は、楽譜データＭＤに基づいて、その各パート毎、各区
間（「区間」の単位は、扱い易さの点で、例えば、１小
節とされるが、これに限らず、数拍分や数小節等に必要
に応じて適宜設定し得る。）毎に、時間とピッチ（音
高）の二次元空間上で音符の存在位置を規定した所定時
間長（例えば、１小節に相当する時間長）のテンプレー
トＴＰが、１曲分、作成される。楽譜データＭＤは、時
間とピッチ（音高）が正確なデータであるが、後述する
ように、演奏データとのずれ量を考慮して、音符本来の
「時間−ピッチ」ポイントだけでなく、「ボカシ」と呼
ばれる処理を施して音符ポイントの周辺をも考慮したテ
ンプレートＴＰを作成するのが好ましい。なお、テンプ
レートＴＰの最小分解能については、時間軸方向に単位
時間としてＮ分音符〔例えば、６４分音符（Ｎ＝６
４）〕長をとり、音高軸方向には単位音高として、例え
ば、半音をとる（全音高は、例えば、１２８半音）。

【００２２】一方、演奏データ供給ブロックＰＳは、演
奏データＰＤをイベントマップ作成ブロックＭＭに供給
する。ここで、演奏データＰＤは、楽譜データＭＤに対
応したデータであり、楽音発生に用いられ、タイミング
の揺らぎ（例えば、演奏者の癖や表情等）やミスタッチ
による音高ずれが含まれている。従って、演奏データＰ
Ｄは楽譜データとは完全には一致しない。これは、この
発明によるマッチング処理が必要となる所以でもある。

【００２３】ここで、演奏データＰＤは、種々のデータ
形式を採用することができるが、一例として、「イベン
ト（オン／オフ＋音高）＋イベント発生タイミング」を
時系列に並べたものを挙げることができる。また、演奏
データＰＤは、複数の楽器パートに対応した複数トラッ
クのデータからなる。なお、演奏データＰＤは、楽譜デ
ータＭＤと同様に、外部記憶装置９、或いは、ＲＯＭ２
やＲＡＭ３に記憶されているが、インターフェイス１
６，１８を介して外部ＭＩＤＩ機器１７やサーバコンピ
ュータ２０から受信してもよい。この場合、楽譜データ
と演奏データをセットにして供給してもよいし、別々に
供給してもよい。また、演奏操作子１２やパネル操作子
１３を操作することにより演奏データＰＤを入力しても
よい。

【００２４】イベントマップ作成ブロックＭＭにおいて
は、演奏データＰＤに基づいて、時間とピッチ（音高）
の二次元空間上でイベントの存在位置を規定したイベン
トマップＩＭを作成する。この実施例では、イベントマ
ップＩＭにはテンプレートＴＰのように「ボカシ」は付
与せず、イベントが存在する「時間−ピッチ」位置に１
点を付与するのみとする（もちろん、「ボカシ」を付与
してもよい）。また、作成されるイベントマップＩＭ
は、テンプレートのように所定長のものとせず、１曲を
通して連続したものとするのが好ましく、これを全トラ
ック分作成する。なお、イベントマップＩＭの分解能は
テンプレートＴＰのものと同等とする。

【００２５】ブロックＴＭ，ＭＭで夫々作成されたテン
プレートＴＰ及びイベントマップＩＭは、マッチング処
理ブロックＭＰに手渡され、このブロックでは、各トラ
ックのイベントマップＩＭに対して、これに対応するパ
ートのテンプレートＴＰを順次重ね合わせてマッチング
処理を行う。各マッチング処理では、イベントマップＩ
Ｍに対して、テンプレートＴＰの時間位置ｘを、基準点
Ｘ０から、時間方向に単位音符長即ちＮ分音符（例え
ば、６４分音符）分ずつ、順次ずらしながら移動してイ
ベントマップＩＭとテンプレートＴＰとのマッチング演
算を行い、各移動量毎にマッチング演算値Ｍｘを算出
し、演算値Ｍｘが最も高くなるときの基準点Ｘ０からの
移動量（オフセット量）Ｘｍを求め、そのときのマッチ
ング演算値Ｍｘをマッチング評価値Ｍとし、この移動量
（オフセット量）Ｘｍ及びマッチング評価値Ｍをマッチ
ング処理結果ＭＲとする。

【００２６】このマッチング処理の際、繰返し省略判定
ブロックＲＪにて、楽譜データＭＤ内で繰返し記号が使
用されている場合は、繰返しを考慮した位置にも重ねて
繰返し省略判定が行われ、その判定機能により繰返し記
号が省略されたか否かが分かり、この繰返し省略の有無
は、マッチングを取るためのテンプレートＴＰを決定す
るのに利用される。

【００２７】マッチング処理ブロックＭＰにおいて、楽
譜データＭＤの第ｎ区間（ｎ＝１〜全区間数）における
各パートのテンプレートＴＰｎにより、演奏データＰＤ
の各トラックに対してマッチング処理が行われると、次
の有効パート決定ブロックＥＤでは、マッチング処理結
果ＭＲ（Ｘｍ，Ｍ）を参照して、全トラックのうちマッ
チング評価値Ｍが最も高かったトラックの移動量Ｘｍ
が、楽譜データＭＤの全トラックの移動量（オフセット
量）Ｘｍｅとして採用され、当該トラック（最高評価値
のトラック）に対応するパートが、複数パートのうち移
動量決定に最も有効なパートに決定される。

【００２８】ブロックＥＤで決定された有効パートに対
応するトラックの移動量（オフセット量）Ｘｍｅを基に
して、次の第ｎ＋１期間（第ｎ＋１小節）のマッチング
処理における基準時間位置Ｘ０を推定する。そして、推
定された基準時間位置Ｘ０は、次の第ｎ＋１区間（次小
節）におけるマッチング処理において、次のテンプレー
トＴＰｎ＋１を単位音符長分ずつ移動させる場合の位置
基準点として利用される。

【００２９】ブロックＥＤで有効パートとして決定され
たトラックの移動量（オフセット量）Ｘｍｅは、また、
オフセット決定ブロックＯＤにおいて、当該第ｎ区間
（第ｎ小節）のオフセットＯＳｎを決定するのに用いら
れる。上述のようにして各区間（小節）のテンプレート
ＴＰにより順次マッチング処理及び有効パート決定処理
が行われ、全テンプレートＴＰについてこれらの処理が
終了すると、１曲の全期間について、有効パートとして
決定されたトラックの各移動量（オフセット量）Ｘｍｅ
に基づいて、各区間（小節）のオフセットＯＳｎが決定
される。これらのオフセットＯＳｎは、オフセットデー
タＯＳとして個別リンク決定ブロックＬＤに手渡され
る。

【００３０】個別リンク決定ブロックＬＤにおいては、
ブロックＯＤで決定された各区間（小節）のオフセット
ＯＳｎに基づいて、楽譜データＭＤの各音符と、演奏デ
ータＰＤの各イベント（ＩＶ）とのリンク（ＬＫ）を決
定する。すなわち、演奏データＰＤの各区間（小節）に
ついて、オフセットＯＳｎ分だけずらした時間位置に楽
譜データＭＤを設定し、音符の位置に対応する同音高の
イベントに対してリンクを順次設定する。そして、これ
を全トラックの全区間（小節）について行い、設定され
たリンクは、楽譜データＭＤ及び演奏データＰＤと関連
付けられたリンク情報（ＬＫ）として外部記憶装置９等
に格納される。

【００３１】〔テンプレート及びイベントマップの作
成〕この発明の一実施例においては、楽譜データからテ
ンプレートを作成するに際し、テンプレートの「ピッチ
（音高）−時間」平面における音符ポイントについて、
その周辺をも考慮し「ボカシ」処理を施して、タイミン
グずれ（時間方向）やミスタッチ（音高方向）に対応す
るようにしている。図３は、この発明の一実施例による
テンプレートの作成処理の原理を説明するための図であ
る。

【００３２】楽譜データＭＤは、図３左側に示される例
では、楽器パート１〜４に対応した複数トラックのデー
タから成る。テンプレート作成ブロックＴＭでは、ま
ず、各パート１〜４の楽譜データＭＤを、所定の時間区
間毎に、例えば、小節毎に、区切り、各区間（小節）の
音符データ（音符の音高及び種類並びに休符の種類）か
ら、音符を時間とピッチ（音高）の二次元空間（「音高
−時間」平面）上の位置に変換する。この場合、「音高
−時間」平面上の音符位置は符頭を表わすものとするの
が好ましい（簡便な処理内容となる）が、音符長に応じ
た位置を占めるように展開してもよい。

【００３３】これにより、各音符は、例えば、図示右上
に黒塗りの音符ポイントとして示されるように、「音高
−時間」平面のメッシュポイント上に展開される。例え
ば、この「音高−時間」平面の分解能は、縦軸（音高
軸）が半音単位（全１２８音高）であり、横軸（時間
軸）がＮ分音符（例えば、６４分音符）長である。な
お、図８は、原理を示すものであり、従って、或る楽譜
データを忠実に展開したものではない。これは、以下の
イベントマップＩＭ等についても同様である。

【００３４】これらの音符には、さらに、各音符の正確
な時間と音高の位置を表わす音符ポイントを中心として
「ボカシ」処理を施し、図３の右下に斜線格子模様で示
すように、方向毎の必要なずれ許容度に応じて、音符ポ
イント（黒塗り）周辺のメッシュポイントに所要の重み
を付与し、これによって、テンプレートＴＰの作成を完
了する。例えば、図３（右下）に示されるテンプレート
ＴＰの例では、重み“１．０”点が付与される音符ポイ
ントに対して、時間方向には、隣接するメッシュポイン
トに“０．７”点を付与し、更に、その外側には“０．
３”点を付与しており、音高方向の隣接メッシュポイン
トには“０．３”点を付与している。

【００３５】これに対して、図４は、この発明の一実施
例によるイベントマップの作成処理を説明するための図
である。イベントマップ作成ブロックＭＭでは、図４に
示すように、楽譜データＭＤの各パート１〜４に対応す
る各トラック１〜４の演奏データＰＤにおけるイベント
のノートナンバやタイミング情報等に基づいて、テンプ
レートＴＰと同等の分解能の「時間−音高」平面上にイ
ベントの存在位置を展開し、各トラック１〜４毎に、１
曲を通して連続したイベントマップＩＭを作成する。こ
の場合も、テンプレートＴＰと同様に、「音高−時間」
平面上のイベント位置はノートオンタイミングのような
イベント開始時点を表わすものとするのが好ましい（簡
便な処理内容となる）が、イベントの長さに応じた位置
を占めるように展開してもよい。

【００３６】また、図示の例では、イベントマップＩＭ
は、テンプレートＴＰ側で「ボカシ」を付与しているの
で、イベントが存在する位置にだけ重み“１．０”点を
付与する。なお、テンプレートＴＰ側に「ボカシ」を付
与せずイベントマップＩＭに「ボカシ」を付与してもよ
く、また、詳細なマッチング処理結果を得るために、テ
ンプレートＴＰ及びイベントマップＩＭの双方に「ボカ
シ」を付与してもよいことはもちろんであるが、少なく
とも一方では「ボカシ」処理を施しておく必要がある。

【００３７】〔マッチング処理〕この発明の一実施例に
おいては、演奏データと楽譜データのそれぞれについ
て、時間軸及び音高軸からなる二次元空間上で音データ
の位置を規定したイベントマップ及びテンプレートを作
成し、両者のマッチングをとり、両者の位置を時間方向
にずらしながら最もよくマッチする位置を求めるように
している。図５及び図６は、この発明の一実施例による
マッチング処理の原理を説明するための図である。マッ
チング処理ブロックＭＰでは、先ず、各トラック１〜４
のイベントマップＩＭと第ｎ区間のテンプレートＴＰｎ
を、図５の下部に示されるように、重ね合わせ、イベン
トマップＩＭに対してテンプレートＴＰの位置を時間方
向に最小分解能分のＮ分音符ずつずらした各時間位置ｘ
において、順次、マッチング演算が行われる。ここで、
テンプレートＴＰを重ねるイベントマップＩＭ上の位置
は、イベントに対応する区間位置（＝同じ小節）とその
前後の所定量（例えば、半小節前から１小節後まで）と
する。

【００３８】マッチング演算処理では、先ず、重ね合わ
せられたイベントマップＩＭとテンプレートＴＰｎとの
間で対応する各メッシュポイント毎に、付与された重み
情報（点数）の積を求めるＡＮＤ演算を行い、ＡＮＤ演
算で求められた積（ＡＮＤ演算値）ＡＤを全メッシュポ
イントで加算して合計点数ΣＡＤを求める。次いで、こ
の合計点数ΣＡＤに、重みテーブルを用いて、そのとき
の移動量に対応する重みｗを乗算することによりマッチ
ング演算値Ｍｘが算出される。

【００３９】図５の上部には、この重みテーブルによる
移動量重みｗを表わす移動量（ｘ）−重み（ｗ）曲線の
一例が示されており、この曲線は、時間基準位置Ｘ０
（直前の第ｎ−１区間（第ｎ−１小節）の処理結果から
予想される）で、最大重みＷｍを与えるように設定され
る。図示の状態は、テンプレートＴＰｎを当該第ｎ区間
（第ｎ小節）の基準位置Ｘ０から時間“−Ｘａ”だけ移
動させた状態であり、この時間位置ｘ＝Ｘ０−Ｘａで
は、移動量重みｗは“Ｗａ”で与えられる。従って、こ
のときのマッチング演算値Ｍｘは、この時間位置ｘ＝Ｘ
０−Ｘａでの合計点数ΣＡＤに、重みＷａを乗算するこ
とにより求められる。

【００４０】図６は、各メッシュポイント毎に計算され
たＡＮＤ演算結果ＡＤの一例を示しており、例えば、高
密度の斜め格子はＡＮＤ演算値が高く、低密度のものは
ＡＮＤ演算値が低く、また、空白はＡＮＤ演算値が
“０”であることを表わしている。ここで、二次元空間
上でのデータの位置規定は、上述のように、「ボカシ」
処理により本来の位置の周辺までも考慮したものとする
ようにしているので、演奏データＰＤ側に多少のミスタ
ッチやタイミングずれがあってもマッチングをとること
ができる。

【００４１】そして、算出されたマッチング演算値Ｍｘ
のうち最も高い値Ｍを、そのときの基準位置Ｘ０からの
移動量Ｘｍと共に、マッチング処理結果ＭＲ（Ｘｍ，
Ｍ）として出力する。なお、上述した移動量重みｗを用
いず、単に、合計点数ΣＡＤをマッチング演算値Ｍｘと
してもよい。

【００４２】有効パート決定ブロックＥＤでは、マッチ
ング処理結果ＭＲ（Ｘｍ，Ｍ）を受け、各区間（小節）
について、全トラック１〜４のうちマッチング評価値Ｍ
が最も高いトラックの移動量Ｘｍを、全トラック１〜４
の移動量（オフセット量）Ｘｍｅとして採用する。例え
ば、図７（上部）に示すように、第ｎ−１区間（第ｎ−
１小節）について（ここでは、ｎ≧２）各トラック１〜
４毎にマッチング評価値Ｍ＝３，５，９，２が求められ
た場合、これらの評価値のうち、最も高い値Ｍ＝９を与
えたトラック３に対応するパート３が、複数パート１〜
４のうちで移動量決定に最も有効なパートとなり、この
トラック３に対するテンプレートＴＰｎ−１の位置Ｂ０
は、図７（下部）の破線で示すように、演奏データＰＤ
上での当該第ｎ−１区間（第ｎ−１小節）を決定する。

【００４３】マッチング処理ブロックＭＰでは、また、
ブロックＥＤで採用されたトラックの移動量Ｘｍｅに基
づいて、次の区間（次小節）における基準位置Ｘ０が推
定され、この位置Ｘ０は、テンプレート位置Ｂ０を１区
間（１小節）分シフトした次のテンプレートＴＰｎの基
準位置Ｂ１を与える。なお、最初の第１区間（第１小
節）〔ｎ＝１〕の基準位置Ｘ０については、イベントマ
ップＩＭの開始時点から各トラックに対応する各第１テ
ンプレートＴＰ１によりマッチング演算を行い、“０”
以外のマッチング値（ＡＮＤ演算値ＡＤ、合計点数ΣＡ
Ｄ又はマッチング評価値Ｍ）が初めて現われる時間位置
Ｘｓ（図８参照）を、第１区間（第１小節）の基準位置
Ｘ０とする。

【００４４】〔オフセットの決定〕有効パート決定ブロ
ックＥＤで区間（小節）毎に有効パートが決定される
と、オフセット決定ブロックＯＤでは、各区間（小節）
について、有効パートとして決定されたトラックの移動
量（オフセット量）Ｘｍｅにより当該区間（小節）のオ
フセットＯＳｎが決定される。例えば、区間を小節とし
た場合、図８に示すように、１〜５小節目について有効
パートの移動量（オフセット量）Ｘｍｅ１〜Ｘｍｅ５が
得られると、これらの移動量に基づいて、全トラックの
１〜５小節目の各々について、例えば、演奏データＰＤ
のデータ開始時点からのオフセットＯＳ１〜ＯＳ６が得
られる。この発明の一実施例においては、このように、
最もよくマッチする位置を演奏データと楽譜データとの
間にずれを与えるオフセットを得るようにしているの
で、演奏データと楽譜データのずれを分析、評価するこ
とが可能となる。

【００４５】〔個別リンクの決定〕この発明の一実施例
においては、さらに、上述したオフセットに基づいて演
奏データと楽譜データの各データを対応付けることによ
り、両データの対応付けを１音毎に正確に行うことがで
き、例えば、演奏中の音が楽譜上ではどの音なのかを把
握することができる。図９は、或る小節において個別リ
ンクを決定する手法を説明するための図である。同図に
おいて、音符マークは楽譜データＭＤの各音符を示し、
偏平な六角形は演奏データＰＤの各イベントを示し、そ
れぞれ、左から順に「第１音符」〜「第４音符」及び
「第１イベント」〜「第４イベント」と呼ぶものとす
る。

【００４６】さて、個別リンク決定ブロックＬＤにおい
ては、決定された各小節のオフセットＯＳｎに基づい
て、楽譜データＭＤの各音符と、演奏データＰＤの各イ
ベントとの個々のリンクを決定する。このリンク決定に
あたっては、先ず、図９（１）に示すように、演奏デー
タＰＤの各区間（小節）について、オフセットＯＳｎ分
だけずらした位置に楽譜データＭＤを設定し、次に、音
符の位置に対応する同音高（ピッチ）のイベントを探索
する。その結果、対応イベントを発見すると、図９
（２）に示すように、当該音符と対応イベントとの間に
リンクを暫定的に設定する。この場合、一方に他方のデ
ータを識別するための情報、例えば、アドレスやデータ
の内容などを付与する。このような暫定的なリンク設定
を全小節について行う（暫定リンクの仮決定）。

【００４７】暫定リンクの仮決定の際、例えば、図９
（２）に示すように、１つのイベント（第４イベント）
に対して複数の音符（第２及び第４音符）が対応してし
まった場合は、対応している複数の音符のうちの先頭と
最後の音符について、それぞれ次に近いイベントを探索
する。探索された新たなイベントについて、同様に複数
の音符が対応する事態が起きなければ、新たなイベント
と先頭又は最後の音符との間にリンクを設定する。図９
（２）の例では、図９（３）に示すように、複数音符の
うちの先頭音符（第２音符）には、新たなイベント（第
２イベント）が発見され、このイベントに他の音符が対
応することがないので、このイベントとの間でリンクが
設定される。

【００４８】これでもなお、１つのイベントに複数の音
符が対応してしまう場合には、より近い音符を採用し、
それ以外の音符はリンク無しとする。また、リンク無し
とされた音符については、そのタイミングに近く（例え
ば、前後のリンク済イベントの間にあるもの）、且つ、
音高が異なるリンク未設定のイベントを探し、該当する
イベントがあれば、それらにリンクを設定する（ミスタ
ツチ処理）。

【００４９】ブロックＬＤでは、このような処理を全ト
ラックについて行い、楽譜データＭＤの音符と、対応す
る演奏データＰＤのイベントとの間に個別リンクを決定
し、一方に他方のデータを識別するためのリンク情報
（例えば、アドレスやデータの内容など）を付与する個
別リンク処理を完了する。なお、リンクが設定されなか
った、或いは、リンクは設定されたが音高が異なる等、
本来の対応が取れていないイベント又は音符について、
警告を出すようにするのがよく、また、リンクが設定さ
れなかった理由などについても報知するのが更によい。
この場合、例えば、「時間ずれが一定以上」、「対応す
る音高のイベントがないため、異なる音高のイベントと
リンクした」等、事情に応じた端的な警告乃至報知文に
することが好ましい。

【００５０】〔繰返し省略の判定〕楽譜データ内では繰
返し記号が使用されていても、演奏データ側では、それ
に対応していない可能性もある。そこで、この発明の一
実施例においては、マッチング処理に用いられるテンプ
レートを決定するのに、繰返し省略の判定を行い、各デ
ータの対応付けに基づいて、演奏データが、楽譜データ
中の繰返し記号を反映させているか否かを判定するよう
にすることにより、楽譜記号が省略された演奏データで
あっても、１音ごとの対応付けを可能としている。図１
０は、この繰返し省略の判定手法を説明するための図で
ある。

【００５１】繰返し省略判定ブロックＲＪにおいては、
演奏データＰＤ側で、楽譜データＭＤ内の繰返し記号に
対応していない場合をも想定し、楽譜データＭＤ側の繰
返し記号に対応する演奏データＰＤの位置については、
繰返し記号を正しく反映させた区間（小節）のテンプレ
ートと、繰返し記号を無視した場合の区間（小節）のテ
ンプレートの双方についてマッチングをとり、よりマッ
チング評価値Ｍ（又は合計点数ΣＡＤ）の高い方を採用
する。このとき、両者の差が所定の閾値以下のときは、
１回の判定では結論が出せないので、更に次の区間（小
節）についても同様の処理を行い、両者の差が所定の閾
値以上になった時点で、マッチング評価値Ｍ（又は合計
点数ΣＡＤ）の高い方うを採用する。このような判定処
理により、繰り返し記号が省略されたか否かが分かる。
ここで判定された繰返し省略の有無は、マッチング処理
ブロックＭＰにおいてマッチングを取るテンプレートを
決定するのに利用される。

【００５２】例えば、楽譜データＭＤに、繰返し記号と
して、図１０の上部に示すように、２つのリピートマー
ク及び２つのカッコ“１”，“２”が用いられている場
合は、各小節Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｏ，
Ｐ，Ｑ，Ｒは、Ａ→Ｂ→Ｃ→Ｄ→Ｅ→「Ｆ」→「Ｇ」→
Ｈ→Ａ（Ｉ）→Ｂ（Ｊ）→Ｃ（Ｋ）→Ｄ（Ｌ）→Ｅ
（Ｍ）→「Ｆ」（Ｎ）→「Ｏ」→Ｐ→Ｑ→Ｒ→Ｒという
順序で〔（Ｉ）〜（Ｎ）は、繰返しによる２度目の演奏
であることを示す。〕演奏される。これに対して、演奏
データ側でこのような繰返し記号が反映されているかの
かいないのか不明であると、小節「Ｆ」〔又は「Ｆ」
（Ｎ）〕から、小節「Ｇ」へ移行するのか小節「Ｏ」へ
移行するのかを予測することができない。

【００５３】そこで、図１０の下部に示すように、小節
「Ｆ」〔又は「Ｆ」（Ｎ）〕の次の小節のマッチング処
理に際しては、小節「Ｇ」に対応するテンプレートと、
小節「Ｏ」に対応するテンプレートとを用意しておく。
そして、例えば、第１のカッコ“１”を表わすデータを
検出すると、両テンプレート（Ｇ，Ｏ）についてマッチ
ングをとり、マッチング評価値Ｍ（又は合計点数ΣＡ
Ｄ）の高い方を採用する。ここで、両者のマッチング処
理による値（点数）の差が所定の閾値以下のときは、更
に次の小節「Ｈ」，「Ｐ」についても、同じ処理を行
い、両者の差が所定の閾値以上になった時点で、高い値
（点数）の方を採用する。

【００５４】〔リンク済みデータ〕図１１は、この発明
の一実施例におけるリンク設定された楽譜データ及び演
奏データの一例を示す図である。この例では、楽譜デー
タＭＤの音符情報（音符種類と音高）と、対応する演奏
データＰＤのイベント情報（タイミングＴＭとイベント
ＩＶ）の間に個別リンクが決定され、演奏データＰＤ側
に楽譜データＭＤのデータを識別するためのリンク情報
ＬＫが付与されている。このリンク情報ＬＫは、例え
ば、対応する音符データが記憶されている楽譜データＭ
Ｄ側のアドレスや、対応する音符の内容を示す情報（例
えば、「何小節目の何番目の音符」、「何小節目の何拍
目、音符種類は何、音高は何」、等々）である。しかし
ながら、このように、演奏データＰＤ側にリンク情報Ｌ
Ｋを持つものに限らず、楽譜データＭＤ側にリンク情報
ＬＫを持たせてもよい。或いは、楽譜データＭＤ、演奏
データＰＤとは独立に、リンク情報ＬＫを持たせてもよ
い。

【００５５】〔リンク情報及びオフセットデータの活用
例〕この発明の一実施例では、上述のようにリンクが設
定された演奏データ及び楽譜データや、楽譜データ及び
演奏データの処理の際に得られるオフセットデータ乃至
オフセット量情報を利用して、種々の有用なアプリケー
ションに活用することができる。図１２及び図１３は、
リンク情報ＬＫが設定された演奏データＰＤ及び楽譜デ
ータＭＤを利用したリンク情報活用例１〜３を示し、図
１４は、オフセットデータＯＳ乃至オフセット量情報Ｘ
ｍｅの活用例を示す。

【００５６】図１２のリンク情報活用例１においては、
読出しステージＳ１１にて、外部記憶装置９等に記憶さ
れている演奏データＰＤを読み出し、楽音発生ステージ
Ｓ１２にて楽音を発生させる。これに伴い、現在位置標
準ステージＳ１３では、読み出されたリンク情報ＬＫに
基づいて楽譜上の現在位置を求める。一方、楽譜表示ス
テージＳ１４では、楽譜データＭＤを読み出してディス
プレイ１４上に楽譜を表示する際、ステージＳ１３から
の指示に応じて、求められた楽譜上の現在位置をディス
プレイ１４の楽譜画面に表示する。

【００５７】図１３（１）のリンク情報活用例２におい
ては、演奏データ編集ステージＳ２１では演奏データＰ
Ｄを編集し、編集位置指示ステージＳ２２ではリンク情
報ＬＫに基づき編集位置に対応する楽譜データ上の位置
を求め、楽譜データ編集ステージＳ２３にその位置を指
示するように構成される。従って、ステージＳ２１で演
奏データＰＤを編集すると、その位置に対応する楽譜上
の位置がステージＳ２２からステージＳ２３に指示さ
れ、ステージＳ２３において、指示された位置に対応す
る楽譜データＭＤも、例えば、音高や音長の修正、削除
等の編集が行われる。また、逆に、ステージＳ２３で楽
譜データＭＤを編集すると、その位置に対応する演奏デ
ータＰＤ上の位置がステージＳ２２からステージＳ２１
に指示され、対応する演奏データＰＤも編集される。

【００５８】図１３（２）のリンク情報活用例３におい
ては、読出しステージＳ３１で読み出された楽譜データ
ＭＤは、ミスタッチ位置表示ステージＳ３２において、
表示編集ステージＳ３３で読み出された演奏データＰＤ
と比較され、演奏データＰＤ上のミスタッチ位置が検出
される。ステージＳ３３では、この比較検出結果に基づ
いて、ミスタッチ位置がディスプレイ１４上に表示さ
れ、また、この表示を参照してミスタッチ位置の演奏デ
ータが編集される。

【００５９】さきに説明した楽譜データ及び演奏データ
の処理における中間生成物であるオフセットデータＯＳ
乃至オフセット量情報Ｘｍｅについては、図１４のステ
ージＳ４０に示すように、各小節のオフセットＯＳｎ或
いはオフセット量情報Ｘｍｅに基づいて、演奏データＰ
Ｄのタイミングゆれを分析・評価することができる。例
えば、曲の進行に従ってどのようにタイミングがずれて
いるかをグラフ等でディスプレイ１４上に表示したり、
ずれ具合に応じて演奏を採点したりすることができる。
また、ずれ具合を演奏者の癖とみなし、分析した癖を他
の演奏データに適用して、表情をつけたりすることもで
きる。

【００６０】〔種々の実施態様〕以上、この発明による
楽譜データ及び演奏データの処理を実施例に従って説明
してきたが、種々の変更が可能である。例えば、楽譜デ
ータのテンプレートは所定長（例えば、１小節）とし、
演奏データのイベントマップは曲全体としたが、イベン
トマップも所定長（テンプレートと同じ長さでもよい
し、異なる長さでもよい）としてもよい。また、逆でも
よい。

【００６１】楽譜データのテンプレートには「ボカシ」
を付与し、演奏データのイベントマップにはボカシを付
与しないとしたが、逆でもよい。また、双方に「ボカ
シ」を付与してもよい。

【００６２】システムの形態については、電子楽器の形
態に限らず、パソコン＋アプリケーションソフトウェア
の形態でもよい。電子楽器の形態を取った場合、その形
態は、鍵盤楽器に限らず、弦楽器タイプ、管楽器タイ
プ、打楽器タイプ等の形態でもよい。さらに、音源装
置、自動演奏装置等を１つの電子楽器本体に内蔵したも
のに限らず、それぞれが別体の装置であり、ＭＩＤＩや
各種ネットワーク等の通信手段を用いて各装置を接続す
るものであってもよい。また、処理プログラムや処理に
利用する各種データについては、外部記憶媒体から、或
いは、通信インターフェースを介して外部装置から、電
子楽器やパソコンに供給するようにしてもよい。

【００６３】次に、自動演奏に関連していうと、演奏デ
ータのフォーマットとしては、演奏イベントの発生時刻
を１つ前のイベントからの時間で表した「イベント＋相
対時間」、演奏イベントの発生時刻を曲や小節内におけ
る絶対時間で表した「イベント＋絶対時間」、音符の音
高と符長あるいは休符と休符長で演奏データを表した
「音高（休符）＋符長」、演奏の最小分解能毎にメモリ
の領域を確保し、演奏イベントの発生する時刻に対応す
るメモリ領域に演奏イベントを記憶した「ベタ方式」
等、どのような形式でもよい。なお、上記の実施形態に
おいて、演奏イベントには音符イベントと休符イベント
がある例を示したが、音符イベントが存在しないことで
休符イベントの代わりにすることにより、休符イベント
を省略してもよい。

【００６４】複数チャンネル分の自動演奏データの記憶
方法としては、複数のチャンネルのデータが混在記憶さ
れた形式でもよいし、各チャンネルのデータがトラック
毎に分かれて記憶されている形式でもよい。また、メモ
リ上において、時系列の演奏データやリンク情報が連続
する領域に記憶されていてもよいし、飛び飛びの領域に
散在して記憶されているデータを、連続するデータとし
て別途管理するようにしてもよい（すなわち、時系列的
に連続するデータとして管理することができればよく、
メモリ上で連続して記憶されているか否かは問題ではな
い）。

【００６５】最後に、ＭＩＤＩインターフェースに関連
していうと、専用のＭＩＤＩインターフェースに限ら
ず、ＲＳ−２３２Ｃ、ＵＳＢ（ユニバーサル・シリアル
・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９
４）等の汎用のインターフェースを用いてＭＩＤＩイン
ターフェースを構成してもよい。この場合、ＭＩＤＩメ
ッセージ以外のデータをも同時に送受信するようにして
もよい。

【００６６】

【発明の効果】以上説明したように、この発明による
と、演奏データ及び楽譜データのそれぞれについて、時
間軸及び音高軸から成る二次元空間上に音情報を展開し
た演奏分布データ（イベントマップ）及び楽譜分布デー
タ（テンプレート）を作成し、両分布データ間のマッチ
ングを、時間軸方向にずらした複数の位置で、演算し、
マッチング演算の結果に基づいて、両分布データが最も
よくマッチングする位置を求め、求められた位置を演奏
データ及び楽譜データ間のずれとして出力するように構
成されるので、演奏データと楽譜データのずれを効果的
に分析、評価することができる。

【００６７】また、この発明によると、さらに、演奏デ
ータ及び楽譜データ間のずれに基づいて前記演奏データ
と楽譜データとの対応付け（リンク設定）を行うように
構成されるので、１音ごとの対応付けを正確に行うこと
ができ、演奏中の音が楽譜上ではどの音なのか等を把握
することができる。

【００６８】この発明によると、演奏分布データ（イベ
ントマップ）或いは楽譜分布データ（テンプレート）を
作成する際、二次元空間上において、「ボカシ」処理を
施して、楽譜データ或いは演奏データに対応する本来の
位置及びその周辺位置に所定の重みをもって音情報を展
開するように構成されるので、演奏データ側において、
多少のミスタッチやタイミングずれがあっても、楽譜デ
ータとのマッチングをとることができる。

【００６９】この発明によると、マッチング演算処理に
際し、楽譜データ中から繰返し記号の存在を検出する
と、繰返しを反映した第１楽譜分布データ（テンプレー
ト「Ｏ」）及び繰返しを省略した第２楽譜分布データ
（テンプレート「Ｇ」）が、演奏分布データ（イベント
マップ）とのマッチング演算に用いられ、その演算結果
に基づいて、前記演奏データが繰返し記号を反映させて
いるか否かを判定するように構成されるので、楽譜記号
が省略された演奏であっても、演奏データと楽譜データ
のずれを分析、評価することができ、また、１音ごとの
対応付けを行うことができる。

【図面の簡単な説明】

【図１】図１は、この発明の一実施例による演奏データ
及び楽譜データの処理装置のハードウエア構成を示すブ
ロック図である。

【図２】図２は、この発明の一実施例による演奏データ
及び楽譜データ処理システムの機能の概要を示す機能的
ブロック図である。

【図３】図３は、この発明の一実施例によるテンプレー
トの作成手法を原理的に説明する図である。

【図４】図４は、この発明の一実施例によるイベントマ
ップの作成手法を説明するための図である。

【図５】図５は、この発明の一実施例によるマッチング
処理の原理を説明するための図の一部である。

【図６】図６は、この発明の一実施例によるマッチング
処理の原理を説明するための図の他部である。

【図７】図７は、この発明の一実施例による有効パート
の決定手法を説明するための図である。

【図８】図８は、この発明の一実施例による区間（小
節）毎のオフセットの決定手法を説明するための図であ
る。

【図９】図９は、この発明の一実施例による個別リンク
の設定手法を説明するための図である。

【図１０】図１０は、この発明の一実施例における繰返
し省略の判定手法を説明するための図である。

【図１１】図１１は、この発明の一実施例におけるリン
ク設定された楽譜データ及び演奏データの一例を示す図
である。

【図１２】図１２は、この発明の一実施例によるリンク
情報の活用例を示す図の一部である。

【図１３】図１３は、この発明の一実施例によるリンク
情報の活用例を示す図の他部である。

【図１４】図１４は、この発明の一実施例によるオフセ
ットデータの活用例を示す図である。

【符号の説明】

ＭＳ 楽譜データＭＤを供給する楽譜データ供給ブロッ
ク、 ＰＳ 演奏データＰＤを供給する演奏データ供給ブロッ
ク、 ＴＰ，ＴＰｎ テンプレート、 ＩＭ イベントマップ、 ＭＲ マッチング（演算）処理結果、 Ｘｍｅ；Ｘｍｅ１，Ｘｍｅ２，… 有効パート移動量又
はオフセット量情報、 ＯＳ；ＯＳｎ，ＯＳ１，ＯＳ２，… オフセットデー
タ；各区間オフセット、 Ｗ０，Ｗａ 基準位置Ｘ０及び移動量Ｘａだけ移動した
位置での重み、 ＡＤ ＡＮＤ演算結果、 Ｍ マッチング評価値（又は合計点数）、 Ｂ０，Ｂ１ 有効パートのテンプレート位置及び次のテ
ンプレート基準位置。

Claims (10)

【特許請求の範囲】
1. 【請求項１】演奏データ及び楽譜データを取得する手段
   と、 取得された演奏データ及び楽譜データのそれぞれについ
   て、時間軸及び音高軸から成る二次元空間上に音情報を
   展開した演奏分布データ及び楽譜分布データを作成する
   分布データ作成手段と、 両分布データ間のマッチングを、時間軸方向にずらした
   複数の位置で、演算するマッチング処理手段と、 マッチング演算の結果に基づいて、両分布データが最も
   よくマッチングする位置を求める手段と、 求められた位置を演奏データ及び楽譜データ間のずれと
   して出力する手段とを具備することを特徴とする演奏デ
   ータ及び楽譜データの処理装置。
2. 【請求項２】演奏データ及び楽譜データを取得する手段
   と、 取得された演奏データ及び楽譜データのそれぞれについ
   て、時間軸及び音高軸から成る二次元空間上に音情報を
   展開した演奏分布データ及び楽譜分布データを作成する
   分布データ作成手段と、 両分布データ間のマッチングを、時間軸方向にずらした
   複数の位置で、演算するマッチング処理手段と、 マッチング演算の結果に基づいて、両分布データが最も
   よくマッチングする位置を求める手段と、 求められた位置から得られる演奏データ及び楽譜データ
   間のずれに基づいて前記演奏データと楽譜データとの対
   応付けを行う手段とを具備することを特徴とする演奏デ
   ータ及び楽譜データの処理装置。
3. 【請求項３】前記分布データ作成手段は、二次元空間上
   において、楽譜データ或いは演奏データに対応する本来
   の位置及びその周辺位置に所定の重みをもって音情報を
   展開することを特徴とする請求項１又は２に記載の演奏
   データ及び楽譜データの処理装置。
4. 【請求項４】前記マッチング処理手段は、 楽譜データ中から繰返し記号の存在を検出する手段と、 繰返し記号の存在を検出したとき、繰返しを反映した第
   １楽譜分布データ及び繰返しを省略した第２楽譜分布デ
   ータを楽譜分布データとして供給する手段と、 第１及び第２楽譜分布データに対する演奏分布データの
   マッチング演算の結果に基づいて、前記演奏データが繰
   返し記号を反映させているか否かを判定する手段とを備
   えることを特徴とする請求項１〜３の何れか１項に記載
   の演奏データ及び楽譜データの処理装置。
5. 【請求項５】演奏データ及び楽譜データを取得するステ
   ップと、 取得された演奏データ及び楽譜データのそれぞれについ
   て、時間軸及び音高軸から成る二次元空間上に音情報を
   展開した演奏分布データ及び楽譜分布データを作成する
   分布データ作成ステップと、 両分布データ間のマッチングを、時間軸方向にずらした
   複数の位置で、演算するマッチング処理ステップと、 マッチング演算の結果に基づいて、両分布データが最も
   よくマッチングする位置を求めるステップと、 求められた位置を演奏データ及び楽譜データ間のずれと
   して出力するステップとを備えることを特徴とする演奏
   データ及び楽譜データの処理方法。
6. 【請求項６】演奏データ及び楽譜データを取得するステ
   ップと、 取得された演奏データ及び楽譜データのそれぞれについ
   て、時間軸及び音高軸から成る二次元空間上に音情報を
   展開した演奏分布データ及び楽譜分布データを作成する
   分布データ作成ステップと、 両分布データ間のマッチングを、時間軸方向にずらした
   複数の位置で、演算するマッチング処理ステップと、 マッチング演算の結果に基づいて、両分布データが最も
   よくマッチングする位置を求めるステップと、 求められた位置から得られる演奏データ及び楽譜データ
   間のずれに基づいて前記演奏データと楽譜データとの対
   応付けを行うステップとを備えることを特徴とする演奏
   データ及び楽譜データの処理方法。
7. 【請求項７】前記分布データ作成ステップでは、二次元
   空間上において、楽譜データ或いは演奏データに対応す
   る本来の位置及びその周辺位置に所定の重みをもって音
   情報を展開することを特徴とする請求項５又は６に記載
   の演奏データ及び楽譜データの処理方法。
8. 【請求項８】前記マッチング処理ステップは、 楽譜データ中から繰返し記号の存在を検出するステップ
   と、 繰返し記号の存在を検出したとき、繰返しを反映した第
   １楽譜分布データ及び繰返しを省略した第２楽譜分布デ
   ータを楽譜分布データとして供給するステップと、 第１及び第２楽譜分布データに対する演奏分布データの
   マッチング演算の結果に基づいて、前記演奏データが繰
   返し記号を反映させているか否かを判定するステップと
   を含むことを特徴とする請求項５〜７の何れか１項に記
   載の演奏データ及び楽譜データの処理方法。
9. 【請求項９】演奏データ及び楽譜データを取得するステ
   ップと、 取得された演奏データ及び楽譜データのそれぞれについ
   て、時間軸及び音高軸から成る二次元空間上に音情報を
   展開した演奏分布データ及び楽譜分布データを作成する
   ステップと、 両分布データ間のマッチングを、時間軸方向にずらした
   複数の位置で、演算するステップと、 マッチング演算の結果に基づいて、両分布データが最も
   よくマッチングする位置を求めるステップと、 求められた位置を演奏データ及び楽譜データ間のずれと
   して出力するステップとから成るプログラムを記録して
   いることを特徴とする演奏データ及び楽譜データの処理
   のための記録媒体。
10. 【請求項１０】演奏データ及び楽譜データを取得するス
    テップと、 取得された演奏データ及び楽譜データのそれぞれについ
    て、時間軸及び音高軸から成る二次元空間上に音情報を
    展開した演奏分布データ及び楽譜分布データを作成する
    ステップと、 両分布データ間のマッチングを、時間軸方向にずらした
    複数の位置で、演算するステップと、 マッチング演算の結果に基づいて、両分布データが最も
    よくマッチングする位置を求めるステップと、 求められた位置から得られる演奏データ及び楽譜データ
    間のずれに基づいて前記演奏データと楽譜データとの対
    応付けを行うステップとから成るプログラムを記録して
    いることを特徴とする演奏データ及び楽譜データの処理
    のための記録媒体。