JP2007241181A - 自動伴奏システム及び楽譜追跡システム - Google Patents

Abstract

【課題】
人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定し、伴奏を人間の演奏に合うように制御する。
【解決手段】
多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する。
【選択図】図２

Description

本発明は、演奏情報の入力に対してリアルタイムで動作する楽譜追跡および自動伴奏に関するものである。

自動伴奏とは、典型的には、人間が楽譜に基づいて電子楽器を演奏した時、その演奏に合わせて伴奏をリアルタイムで再生することを言う。従来の自動伴奏手段としては、音階名でDPマッチングを行う手法（特許文献１、非特許文献１）が知られている。

しかしながら、人間の実演奏には、「演奏誤り」や「タイミングの変動」が含まれている。より具体的には、演奏者が楽譜をもとに演奏を行う時には、演奏の誤りによる音の脱落・置換・挿入が含まれ、更に、演奏者の演奏の表情付けによるにリズムやテンポの変動、無意識に起こす発音時刻の変動が含まれる。

楽譜追跡において、演奏された音が演奏誤りなのかタイミングのずれなのかは、本質的に曖昧であるために、従来手法のように、演奏された音を単純に音高の一致のみで独立に比較するのでは各時刻での楽譜とのマッチングを正確に行うことができない。

楽譜追跡において、単旋律（ある時刻に単音を演奏）の場合には、楽譜から演奏される音の高さの時系列は一意に決定でき、演奏と楽譜の一致は、音高情報のみのマッチングで可能である（特許文献１、非特許文献１）。しかしながら、多声音楽演奏（ある時刻に複数の音（和音）を同時に演奏）の場合には、和音の演奏は厳密には同時ではない。演奏MIDI信号について言うと、和音に対応するＭＩＤＩメッセージとして送られる順序は不確定である；楽譜から演奏される音の高さの時系列は一意に決まらない；和音として演奏された音の集合への区分も分からない、という問題がある。したがって、多声音楽については、上述の従来手法（特許文献１、非特許文献１）を用いることができず、クラシックの楽曲のように複雑な多声音楽の電子ピアノによるMIDI演奏について、楽譜追跡を行って伴奏を制御する手法の確立が望まれていた。
米国特許第４７４５８３６号 R.B.Dannenberg, Proc. ICMC, pp.193-198, 1984

本発明は、人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定し、伴奏を人間の演奏に合うように制御することができる自動伴奏システムを提供することにある。

本発明の他の目的は、人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定する楽譜追跡を提供することにある。

かかる課題を達成するために本発明が採用した技術手段は、多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定するものである。

本発明が採用した他の技術手段は、多声音楽の演奏位置を推定する楽譜追跡システムであって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定するものである。

本発明では、曖昧性を確率的に扱う数理モデルを用いることで、人間の演奏における演奏誤りやタイミングの変動に対応することができ、より精度の高い追跡が可能となる。確率モデルを用いることで、異なる要素(和音の誤り、音の脱落、時間的な変動)を整合性の取れた一つの数理モデルに統合することができ、また、確率推定論を用いて数理モデルのパラメータを学習することも可能である。１つの態様では、前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである。本明細書で開示する自動伴奏、楽譜追跡に関する技術的思想は、発明のカテゴリーとしては、自動伴奏システム、自動伴奏方法、自動伴奏用コンピュータプログラム、自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体、楽譜追跡システム、楽譜追跡方法、楽譜追跡用コンピュータプログラム、楽譜追跡用コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体、として提供され得る。

楽譜追跡において、従来のマッチング手法は、単純なマッチングか、特許文献１及び非特許文献１に見られるDPかであった。単純なマッチングでは一度誤りを起こすと回復が難しいと思われる。また、DPは、ピアノ演奏のように和音を含む演奏では使用できない。和音を含む曲の場合、和音を構成する音のMIDI信号としての時間順序に任意性があるためにマッチングの対象となる楽譜テンプレートがひとつに定まらないからである。本発明では、和音内での音の順序の交替を扱うモデルとして、ある拍位置では和音を構成する各音がその位置で自己ループをしながらマッチするように、和音に対応した自己遷移を行う拍位置のグラフモデルを用いる。演奏された音の中で和音に対応するものをクラスタとして扱うと、クラスタの単位でＤＰマッチングを行うことができる。ただし、クラスタとなる音の分け方も自明ではないので、マッチングを求めるには、発音情報をクラスタへのクラスタリングとクラスタと和音の対応とをクラスタの両方を考慮する。また、最適性の原理を用いた探索は、１つの好ましい態様では、２段ＤＰを用いた探索である。また、１つの好ましい態様では、前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む。リズムの情報を用いてマッチングに利用することは、和音を含む音階名のみでは情報が不十分である場合に有効である。具体的には、同じ和音が連続する場合、その和音が刻むリズムに注目することでより正確に演奏位置を特定できるようになる。

入力される演奏情報は、１つの態様ではMIDI信号であるが、要は、演奏者の演奏した音の発音時刻と音高を取り出せれば使用できれば良く（演奏音の発音時刻がコンピュータにリアルタイムに入力される）、MIDI信号はその一例であり、音響信号からリアルタイムに発音時刻と音高情報を取得できる場合にも使用できる。

伴奏データも、１つの態様では、MIDI信号による演奏音であるが、音響信号も（ア）楽譜とのアライメントの取れた音響信号が用意され；（イ）その音響信号の再生速度/再生箇所をリアルタイムに制御できる、のであれば、伴奏データとして本発明に用いることができる。また、実際のソフトの実装では、MIDI信号を入力とし、また、伴奏データもMIDIファイルを再生することで行なっており、再生はソフトの内部でミリ秒単位で（一例では、1ミリ秒毎に）楽譜の位置を計算し、その位置に対応するMIDI信号を送るという操作を行なっている。したがって、（ア）楽譜と伴奏データは互いの位置の1対1対応が取れている；（イ）楽譜の位置(例えば、この楽譜の位置は楽譜追跡の結果求められる)を指定すると、その位置に対応する楽譜の音に対応する伴奏データが再生できる、ものであれば、本発明に用いられる伴奏データは限定されない。

１つの態様では、前記伴奏再生部は、楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、からなる。従来の自動伴奏の伴奏パート再生では、伴奏を演奏者に追随させることの実現を目指しているが、「どの程度」追随させるかを調節する機能については言及されていない。本発明では、演奏者と伴奏者の互いに僅かに相違しているはずの２つの演奏履歴を考え、この2つの演奏履歴から演奏者と伴奏者のどちらよりに未来の音楽を設計するかをパラメトリックに(0〜1の間の実数で)設定する。これにより、伴奏が演奏者にぴったり合わせるのか、予め打ち込んであるテンポと演奏者の中間程度に合わせるのかを、柔軟に変更することができる。

本発明では楽譜追跡を確率モデルで定式化することで、演奏の曖昧性に対しても良好に対応することができ、演奏者がテンポやリズムを変化させても、演奏者の演奏位置を正しく把握することができ、多声音楽の演奏に対して、演奏誤りやテンポの揺れを含む演奏に楽譜追跡することができる。

また、最適性の原理を用いた探索（好ましい態様では、２段ＤＰ）を採用することで、多声音楽における楽譜追跡を良好に行うことができる。

［１］自動伴奏システム
［Ａ］自動伴奏システムの全体構成
自動伴奏システムの全体構成を図１に示す。
自動伴奏システムは、演奏者の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えている。楽譜追跡部は、演奏者がＭＩＤＩ楽器を演奏することにより入力されるＭＩＤＩ信号（演奏情報）と演奏テンプレート（楽譜情報）とから演奏者の演奏位置を推定する。伴奏再生部は、楽譜追跡部により推定された演奏位置に基づいて、伴奏音楽データを用いて伴奏を再生し、伴奏は伴奏のＭＩＤＩ信号としてＭＩＤＩ音源から出力される。自動伴奏システムの入出力は、電子楽器による演奏と伴奏のＭＩＤＩ信号である。楽譜追跡では、ＭＩＤＩ信号と演奏テンプレートとを比較 し、演奏者の拍位置を推定する。伴奏再生では、演奏者の演奏箇所と一致するように伴奏を再生する。本発明に係る自動伴奏はコンピュータを主要構成とする自動伴奏システムよって行われ、該自動伴奏システムを構成するコンピュータは、各種データを入力する入力部（マウス、キーボードを含む）、所定のプログラムに基づいて各種制御を行う処理装置、各種データを出力する出力装置（表示装置を含む）、各種データを記憶する記憶装置（メモリ及び外部記憶装置を含む）、コンピュータを動作させる制御プログラム等を備えている。

［Ｂ］楽譜追跡部
本発明に係る楽譜追跡部は、「演奏とテンプレートとは完全には一致しない」ことを前提としている。これらの不一致の理由としては、演奏誤り（音の脱落・挿入・置換）；時系列としての不確定性（和音の発音順序）；テンポやリズムの変動による発音時刻の変動、が挙げられる。したがって、本発明に係る楽譜追跡部は、確率的に最も確からしいものを求めるようにしている。最適性の原理を用いて動的計画法を用いてマッチングを行う。

［Ｃ］伴奏再生部
本発明に係る伴奏再生部では、演奏者の意図に合った自然な伴奏の演奏の実現を目的としており、演奏に完全に追従する不自然な伴奏の演奏を解消し、楽譜追跡の推定誤りによる不自然な演奏を解消する。具体的な内容では、現在の演奏者の拍位置u(t)と伴奏の拍位置x(t)および事前に設定してある伴奏のテンポv(t)から、伴奏の拍位置の目標値x(t+△t)を決定する。ここでテンポは[拍/時間]の次元を持つものとして表記する。伴奏のＭＩＤＩクロック目標値は、伴奏と演奏者の間に設定され、最も単純な方法の一つとして以下のようにする。

α=1 の場合は演奏者に厳密に追従し、α=0 の場合は予め設定してあるテンポで演奏することに相当し、0から1の間の値を定めることでその間の伴奏演奏を行う。

ＭＩＤＩデータの再生方法について説明する。ＭＩＤＩファイルに含まれるデータは、ＭＩＤＩクロックとＭＩＤＩメッセージのペア（ＭＩＤＩイヴェント）の集合である。「ＭＩＤＩクロック」とは、仮想的な時間情報（楽譜の拍とほぼ等価）である。「ＭＩＤＩメッセージ」とは、発音、消音、楽器指定、等である。再生方法は、「リアルタイムに応じてＭＩＤＩクロックを進める（ＭＩＤＩクロックの管理）：、「微小時間でＭＩＤＩクロックを更新」、とからなる。ＭＩＤＩクロックはミリ秒単位で更新される。

［Ｄ］演奏情報の入力から伴奏情報の出力までの流れ
演奏情報の入力から伴奏情報の出力までの流れを図２に示す。演奏者がＭＩＤＩ楽器を演奏すると、演奏ＭＩＤＩ信号がシステムに入力される。例えば、電子ピアノによるＭＩＤＩ演奏では、電子ピアノで弾かれた鍵盤の情報がシステムに送信され、ここで、送信される情報は、音高（ピッチ）、強さ（打鍵速度）であり、システムが受信する時刻で発音時刻が得られる。したがって、システムは演奏ＭＩＤＩ信号を受信することで、演奏の発音時刻と音高を取得する。演奏の発音時刻と音高は、Ｑｕｅｕｅに追加される。演奏情報の時系列の一部において、演奏テンプレートとＭＩＤＩデータとの確率モデルを読み込み、確率モデルにおける全拍位置についてその拍位置を演奏している確率、即ち演奏に対する演奏位置の尤度を更新する。各演奏位置に現在の演奏が対応する確率を求め、事後確率最大の演奏位置決定を行い、演奏者の演奏位置を推定する。このようにして、電子ピアノ演奏のMIDI信号に対応する楽譜の音を瞬時に推定する。ここで、演奏者が楽譜をもとに演奏した場合、演奏には演奏に表情を与えるテンポやリズムの変動が加えられ、また、演奏には音の誤りが含まれ得るが、確率モデルを採用することで、これらに良好に対応するようにしている。

伴奏再生部では、推定された演奏者の演奏位置に基づいて（微小時間後の演奏者の演奏位置を予測し）、微小時間後の伴奏演奏位置の目標値が設定される。現在の伴奏の演奏位置と設定された微小時間後の演奏位置の間に対応する伴奏データを再生する。ただし、大きく演奏位置が変わる、あるいは、演奏位置が戻る場合は伴奏データを再生しない。微小時間後の伴奏の演奏位置が設定されると、伴奏の演奏位置の更新値（テンポ）が取得され、伴奏再生位置の更新が行われる。伴奏再生位置の更新に基づいて伴奏再生用ＭＩＤＩデータから指定された演奏位置のＭＩＤＩメッセージを取得し、伴奏ＭＩＤＩ信号としてＭＩＤＩ再生機へ送信される。

［２］本発明に係る楽譜追跡の好ましい態様
本発明に係る楽譜追跡の好ましい態様である「和音の発音順序交替を許容した動的計画法による多声MIDI演奏の楽譜追跡」について説明する。人間の演奏者による演奏を対象としたリアルタイムで動作する楽譜追跡は、自動伴奏や音楽鑑賞支援に必要であり要求は多い。この点において、本発明に係る楽譜追跡は、伴奏システムの一部として適用されるものに限定されるものではなく、楽譜追跡自体で独立して発明を構成し得るものであり、伴奏システム以外に用いることもできる。電子ピアノ等の電子楽器による実演奏のように演奏のMIDI信号が得られる場合、演奏に誤りが無ければ楽譜追跡は容易であり実際に商品化されている。しかし、人間の実演奏には、演奏の誤りによる音の脱落・置換・挿入が含まれ、更に、演奏者の演奏の表情付けによるにリズムやテンポの変動、無意識に起こす発音時刻の変動も含まれるため、MIDI信号を対象とした場合であっても実演奏の楽譜追跡は簡単な問題ではない。本発明は、図４のように演奏によるMIDI信号が逐次入力されているときに、演奏された音のノートオンメッセージ(以下、発音情報)のみを用い、入力された発音情報に対応する楽譜上の拍位置をリアルタイムで求める楽譜追跡に関するものである。

［Ａ］単旋律ＭＩＤＩ演奏の楽譜追跡
［Ａ−１］音高の時系列によるマッチング
まず、ＭＩＤＩ演奏が単旋律である場合を考える。このとき、楽譜のある拍位置にはひとつの音しか存在しないため、楽譜の拍位置ｓの時系列に対応する音高nの時系列は一意に決まる。従って、発音時刻がt秒でノートナンバーがnである演奏の発音情報ｘ(vector)=(ｔ，ｎ)と楽譜の拍位置sとの対応を求めるには、音高をもとに演奏と楽譜の対応付けを行えばよい。

［Ａ−２］動的計画法の適用
ＭＩＤＩ演奏と楽譜から得られる音高nの時系列のマッチングは、通常の文字列の比較と同様に脱落・挿入・置換の誤り数の合計を最小とするマッチングの問題としてＤＰ(Dynamic Programming、動的計画法)を用いて求められる。即ち、音の脱落・挿入による誤りは図５左下に示すようにＤＰの経路コストで数え、置換の誤りは演奏のｉ番目の発音情報ｘ_ｉ(vector)=(ｔ_ｉ，ｎ_ｉ)と楽譜のｊ番目の拍位置ｓ_ｊの音高のｎ_ｉ一致を局所コスト

で数え、誤りの総数を最小とする対応はコスト最小とする経路にあたる。この経路探索問題は最適性の原理を用いて効率的な計算で解くことができる。DannebergはＤＰの原理を用いて独自に設定したコストを用いリアルタイムでの単旋律ＭＩＤＩ演奏の楽譜追跡を提案している（非特許文献１、特許文献１）。

［Ｂ］多重音を含むＭＩＤＩ演奏の楽譜追跡
［Ｂ−１］同時発音における発音の順序の交替
次に、ＭＩＤＩ演奏が多重音を含む場合を考える。楽譜のある拍位置sには複数の音高が対応し、同時に発音することを意図された音の集合(以下、和音)の各音の発音情報はＭＩＤＩメッセージとして任意の時間順序で表れる。従って、単旋律の場合と異なり、一般には正しく演奏された場合の音高の時系列が一意には決まらない。また、楽譜の和音と演奏された和音とを比べて演奏誤りを数えるには、和音内では各音の音高の出現を独立に仮定することは適切でない。従って、単旋律で用いた音高のＤＰをそのまま適用することはできない。

［Ｂ−２］２段ＤＰ法の適用
多重音を含む実演奏の発音情報からＤＰを用いて楽譜上の拍位置を求める手法の一つとして、和音を発音情報のクラスタと考えてＤＰを適用することが考えられる。各音が同時に発音することを意図したものか装飾音のように異なるタイミングで聴かせることを意図したものかを発音時刻間隔から決定することはできないので、ＭＩＤＩ演奏の発音情報の和音としてのクラスタリングは事前には与えられない。従って、発音情報の和音へのクラスタリングと、各和音と楽譜の拍との最適な対応を求める必要がある。

和音単位でＤＰを行うので、単旋律の場合のＤＰの自然な拡張として、局所コストに楽譜と演奏の和音を比較して数えた音の脱落・挿入・置換の誤りを用いる。i番目の発音情報ｘ_ｉ(vector)からそのＬ個前までの発音情報ｘ_{ｉ−Ｎ＋１}(vector)の音高を和音Ｎ(Ｉ，Ｌ)={ｎ_{ｉ−Ｌ＋１}，・・・，ｎ_ｉ}とし、また、楽譜のある拍位置ｓ_ｊの和音を構成する音高の集合をＮ(ｊ)としたとき、局所コスト

と与えられる。図６に示すように和音となる音の個数の可能性を考え、誤りの個数を最小に数える対応を求めることができる。これは２段ＤＰの原理（H.Sakoe,IEEE Trans. ASSP-27, pp.585-595, 1979.）を利用したものである。

アルゴリズムを実装し、演奏ＭＩＤＩと楽譜との対応付けを正しく与えられることを人間のＭＩＤＩ演奏を用いて確認した。この手法は、多声部音楽の演奏と楽譜との間で楽譜に対する演奏誤り数を求めるのに使用可能である。

［Ｃ］リズムを考慮したＭＩＤＩ信号の楽譜追跡
［Ｃ−１］和音とリズムの一致を用いた楽譜追跡
これまで述べたＭＩＤＩ演奏の楽譜追跡法は、音高情報のみを用いて誤り数最小を数え上げるマッチングであったが、同じ構成音の和音が長い間連続し音高のみでは演奏位置の特定が難しい場合には、演奏のリズムやテンポの特徴を用いてより頑健に演奏位置を推定できると考えられる。そこで、ここではリズムの特徴を含むように拡張した楽譜追跡を論じる。

［Ｃ−２］事後確率最大化による演奏位置の推定
発音時刻音の変動の可能性を考えると、一般に演奏された音は、ある拍で音高を誤まったものか、異なる拍の音をずれた発音時刻で演奏したものであるかは、演奏途中で決定することは原理的にできない。そこで、原理的に一意に解決できない問題を、確率的モデルによるモデル化を通して楽譜追跡を最も確からしい対応を求める推定問題として扱う。

演奏の発音情報Ｘ＝｛ｘ_１(vector)，・・・，ｘ_４(vector)}に対応する拍位置をＳ＝｛ｓ(1)，・・・，ｓ(i)｝とするとき、最も確からしいＳ(hat)は、事後確率最大化問題として、

と定式化される。事後確率を最大にするために、今までの誤り数をコストとしてコスト最小となる対応を求めるＤＰの計算原理は、最適性の原理を確率最大の計算に用いたＤＰに置き換えて使用できる。確率モデルを用いる利点は、演奏の誤りと発音時刻の逸脱に関する各々異なる要素の評価関数を確率としての枠組で整合性をもって統一でき、パラメータを、統計理論を用いることでデータに対して最適な値を定められる点である。提案手法では、リズムと和音に関するそれぞれの確率を統合して、ＭＩＤＩ信号と楽譜の局所的な一致確率を計算する。

［Ｃ−３］２段ＤＰ法の適用
リズムは連続する音の時間長の組合せで表現されるので、楽譜と演奏をリズムについてマッチングを行うには、両者の時間的幅を持った区間を比較する必要がある。そこで、楽譜の拍位置ｓ_ｊからＭ個前の拍位置ｓ_{ｊ−Ｍ＋１}の区間とＮ個の発音情報ｘ_{ｉ−Ｌ＋１}(vector)，・・・，ｘ_ｉ(vector)による演奏される確率ｃ_３(Ｉ，ｊ，Ｌ，Ｍ)を用いて局所的なマッチングを行う。ここでは、

とおく。図７下に示すように、発音情報ｘ_ｉ(vector)に楽譜の拍位置ｓ_ｊが対応する確率は２段ＤＰにより効率的に求められ、i-L番目より前の拍位置からの遷移の可能性の中から最適なものを選べばよい。

［Ｃ−４］和音とリズムの一致確率の定式化
［Ｃ−４−１］和音構成音の音階についての一致確率
楽譜の和音の構成音に対して、実演奏がどのような構成音の和音が演奏されるかに関する確率を考える。各音高での音の存在を0、1の2値で表現した音高の数の成分がある音高ベクトルｖ(vector)は、演奏誤りがなければ一致する。ここでは、楽譜のｖ_ｍ(vector)に対してＶ_ｌ(vector)と演奏される確率ｐ（ｖ_ｌ(vector)|ｖ_ｍ(vector))を誤り傾向を考慮して定める。実演奏がその拍で音の脱落・挿入・置換により音高ベクトルが一致しない場合は、低い確率が与えるように定める。

［Ｃ−４−２］リズムの一致確率
演奏者のテンポは楽譜追跡過程では未知であるので、ここではテンポに依存しない特徴量を用いて楽譜と演奏の発音タイミングを比較する。図８に示すように時間情報である発音時刻
「秒」とそれに対応する楽譜の「拍」をリスケールした時間情報r_l、r_mは、演奏が音価と一致するリズムでかつテンポが一定である厳密な発音時刻である場合は厳密に一致する。実演奏にはテンポや音長の変動が含まれるので、楽譜のr_mに対応する発音情報がr_lとして観測される確率p(r_l|r_m)を0を平均とした正規分布で与える。

［Ｃ−４−３］和音単位の脱落・挿入誤りの確率
実演奏では、誤ってある拍siにおける音が全て演奏されない場合がある。理想的には、MIDI信号に対応する拍位置の遷移si→sjは、演奏曲の難易度に依存すると思われる。遷移についての確率p(sj|si)は、拍位置siからsjの間の箇所の演奏の難易度に応じて与えることができる。一方、和音単位での挿入誤りは、リズムベクトルと音高ベクトルの不一致に応じた低い確率が与えられる。

［Ｃ−４−４］２段ＤＰによる和音とリズムの一致確率
確率ｃ_３(Ｉ，ｊ，Ｌ，Ｍ)の計算における和音のクラスタは図７上に示すように、局所コストを、

に置き換えた２段DPにより、同様の方法で求められる。

［Ｃ−５］動作検証
現実に使用する場合にはリアルタイムで少ない負荷での動作が望まれるので、拍位置と確率を与えるDPの漸化式の計算はMIDIノートオンの受信時刻間隔が0.05秒以上のときのみに行い、拍位置sの個数の幅を32とする傾斜制限を加え、局所距離の計算に用いるノートオンメッセージの個数をN=10に固定した。評価にはBurgmuller作曲の練習曲 Op.100の全25曲の電子ピアノ演奏を用いた。この曲集は初心者用の練習曲であるが、テンポの変化や装飾音の使用等リズムを含む。演奏誤りのない演奏と、その演奏に人工的に音階の誤りを5箇所加えたMIDIデータを用意した。楽譜追跡の正解率は、全推定回数に対する正しく推定した回数の割合で計算し、演奏に誤りがある・ないの両方の場合とも平均99.8%の正解率を得た。24曲では完全に追跡できた。誤推定は楽譜にフェルマータの指示がある箇所で見られ、テンポ一定してリズムの一致を計算したことが原因であった。実行中には誤りが起きても、その後は直ちに正しい拍位置を推定し正確な楽譜追跡が続けられた。

本発明は、楽器初心者の演奏支援や練習支援、室内楽曲や協奏曲など共演者を必要とする音楽演奏の練習支援、などに利用される。

自動伴奏システムの概略全体図である。 自動伴奏を示すフロー図である。 伴奏信号の制御を説明する図である。 ＭＩＤＩ信号に対応する拍位置を求める楽譜追跡を説明する図である。 ＤＰを用いた単旋律の楽譜追跡を説明する図である。 ２段ＤＰを用いた多旋律の楽譜追跡を説明する図である。 ２段ＤＰを用いたリズムを考慮した楽譜追跡を説明する図である。 リスケールした時間と拍によるリズムの比較を説明する図である。

Claims (17)

1. 多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、
   前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、自動伴奏システム。
2. 前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである、請求項１に記載の自動伴奏システム。
3. 前記探索は、２段ＤＰを用いた探索である、請求項１，２いずれかに記載の自動伴奏システム。
4. 前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む、請求項１乃至３いずれかに記載の自動伴奏システム。
5. 前記伴奏再生部は、
   楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、
   予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、
   微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、
   からなる、請求項１乃至４いずれかに記載の自動伴奏システム。
6. 多声音楽の演奏位置を推定する楽譜追跡システムであって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、楽譜追跡システム。
7. 前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである、請求項６に記載の楽譜追跡システム。
8. 前記探索は、２段ＤＰを用いた探索である、請求項６，７いずれかに記載の楽譜追跡システム。
9. 前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む、請求項６乃至８いずれかに記載の楽譜追跡システム。
10. 多声音楽の演奏位置を推定する楽譜追跡ステップと、楽譜追跡ステップにより推定された演奏位置に基づいて伴奏を再生する伴奏再生ステップと、を備えた自動伴奏方法であって、
    前記楽譜追跡ステップは、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、自動伴奏方法。
11. 前記伴奏再生ステップは、
    楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測するステップと、
    予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定するステップと、
    微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御するステップと、
    からなる、請求項１０に記載の自動伴奏方法。
12. 多声音楽の演奏位置を推定する楽譜追跡方法であって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、楽譜追跡方法。
13. 多声音楽の演奏に対して自動伴奏を行うために、コンピュータを、
    多声音楽の演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する手段と、
    推定された演奏位置に基づいて伴奏を再生する手段と、
    して機能させるための自動伴奏用コンピュータプログラム。
14. 前記伴奏再生手段は、
    楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、
    予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、
    微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、
    からなる、請求項１３に記載の自動伴奏用コンピュータプログラム。
15. 請求項１３，１４いずれかに記載の自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能記録媒体。
16. 多声音楽の演奏に対して楽譜追跡を行うために、コンピュータを、
    多声音楽の演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する手段と、
    して機能させるための自動伴奏用コンピュータプログラム。
17. 請求項１６に記載の自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能記録媒体。

Images