JP2007241181A - 自動伴奏システム及び楽譜追跡システム - Google Patents
自動伴奏システム及び楽譜追跡システム Download PDFInfo
- Publication number
- JP2007241181A JP2007241181A JP2006067318A JP2006067318A JP2007241181A JP 2007241181 A JP2007241181 A JP 2007241181A JP 2006067318 A JP2006067318 A JP 2006067318A JP 2006067318 A JP2006067318 A JP 2006067318A JP 2007241181 A JP2007241181 A JP 2007241181A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- accompaniment
- score
- information
- performance position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
【課題】
人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定し、伴奏を人間の演奏に合うように制御する。
【解決手段】
多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する。
【選択図】図2
人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定し、伴奏を人間の演奏に合うように制御する。
【解決手段】
多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する。
【選択図】図2
Description
本発明は、演奏情報の入力に対してリアルタイムで動作する楽譜追跡および自動伴奏に関するものである。
自動伴奏とは、典型的には、人間が楽譜に基づいて電子楽器を演奏した時、その演奏に合わせて伴奏をリアルタイムで再生することを言う。従来の自動伴奏手段としては、音階名でDPマッチングを行う手法(特許文献1、非特許文献1)が知られている。
しかしながら、人間の実演奏には、「演奏誤り」や「タイミングの変動」が含まれている。より具体的には、演奏者が楽譜をもとに演奏を行う時には、演奏の誤りによる音の脱落・置換・挿入が含まれ、更に、演奏者の演奏の表情付けによるにリズムやテンポの変動、無意識に起こす発音時刻の変動が含まれる。
楽譜追跡において、演奏された音が演奏誤りなのかタイミングのずれなのかは、本質的に曖昧であるために、従来手法のように、演奏された音を単純に音高の一致のみで独立に比較するのでは各時刻での楽譜とのマッチングを正確に行うことができない。
楽譜追跡において、単旋律(ある時刻に単音を演奏)の場合には、楽譜から演奏される音の高さの時系列は一意に決定でき、演奏と楽譜の一致は、音高情報のみのマッチングで可能である(特許文献1、非特許文献1)。しかしながら、多声音楽演奏(ある時刻に複数の音(和音)を同時に演奏)の場合には、和音の演奏は厳密には同時ではない。演奏MIDI信号について言うと、和音に対応するMIDIメッセージとして送られる順序は不確定である;楽譜から演奏される音の高さの時系列は一意に決まらない;和音として演奏された音の集合への区分も分からない、という問題がある。したがって、多声音楽については、上述の従来手法(特許文献1、非特許文献1)を用いることができず、クラシックの楽曲のように複雑な多声音楽の電子ピアノによるMIDI演奏について、楽譜追跡を行って伴奏を制御する手法の確立が望まれていた。
米国特許第4745836号
R.B.Dannenberg, Proc. ICMC, pp.193-198, 1984
本発明は、人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定し、伴奏を人間の演奏に合うように制御することができる自動伴奏システムを提供することにある。
本発明の他の目的は、人間の演奏における曖昧性に対応して入力された多声音楽の演奏位置を決定する楽譜追跡を提供することにある。
かかる課題を達成するために本発明が採用した技術手段は、多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定するものである。
本発明が採用した他の技術手段は、多声音楽の演奏位置を推定する楽譜追跡システムであって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定するものである。
本発明では、曖昧性を確率的に扱う数理モデルを用いることで、人間の演奏における演奏誤りやタイミングの変動に対応することができ、より精度の高い追跡が可能となる。確率モデルを用いることで、異なる要素(和音の誤り、音の脱落、時間的な変動)を整合性の取れた一つの数理モデルに統合することができ、また、確率推定論を用いて数理モデルのパラメータを学習することも可能である。1つの態様では、前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである。本明細書で開示する自動伴奏、楽譜追跡に関する技術的思想は、発明のカテゴリーとしては、自動伴奏システム、自動伴奏方法、自動伴奏用コンピュータプログラム、自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体、楽譜追跡システム、楽譜追跡方法、楽譜追跡用コンピュータプログラム、楽譜追跡用コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体、として提供され得る。
楽譜追跡において、従来のマッチング手法は、単純なマッチングか、特許文献1及び非特許文献1に見られるDPかであった。単純なマッチングでは一度誤りを起こすと回復が難しいと思われる。また、DPは、ピアノ演奏のように和音を含む演奏では使用できない。和音を含む曲の場合、和音を構成する音のMIDI信号としての時間順序に任意性があるためにマッチングの対象となる楽譜テンプレートがひとつに定まらないからである。本発明では、和音内での音の順序の交替を扱うモデルとして、ある拍位置では和音を構成する各音がその位置で自己ループをしながらマッチするように、和音に対応した自己遷移を行う拍位置のグラフモデルを用いる。演奏された音の中で和音に対応するものをクラスタとして扱うと、クラスタの単位でDPマッチングを行うことができる。ただし、クラスタとなる音の分け方も自明ではないので、マッチングを求めるには、発音情報をクラスタへのクラスタリングとクラスタと和音の対応とをクラスタの両方を考慮する。また、最適性の原理を用いた探索は、1つの好ましい態様では、2段DPを用いた探索である。また、1つの好ましい態様では、前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む。リズムの情報を用いてマッチングに利用することは、和音を含む音階名のみでは情報が不十分である場合に有効である。具体的には、同じ和音が連続する場合、その和音が刻むリズムに注目することでより正確に演奏位置を特定できるようになる。
入力される演奏情報は、1つの態様ではMIDI信号であるが、要は、演奏者の演奏した音の発音時刻と音高を取り出せれば使用できれば良く(演奏音の発音時刻がコンピュータにリアルタイムに入力される)、MIDI信号はその一例であり、音響信号からリアルタイムに発音時刻と音高情報を取得できる場合にも使用できる。
伴奏データも、1つの態様では、MIDI信号による演奏音であるが、音響信号も(ア)楽譜とのアライメントの取れた音響信号が用意され;(イ)その音響信号の再生速度/再生箇所をリアルタイムに制御できる、のであれば、伴奏データとして本発明に用いることができる。また、実際のソフトの実装では、MIDI信号を入力とし、また、伴奏データもMIDIファイルを再生することで行なっており、再生はソフトの内部でミリ秒単位で(一例では、1ミリ秒毎に)楽譜の位置を計算し、その位置に対応するMIDI信号を送るという操作を行なっている。したがって、(ア)楽譜と伴奏データは互いの位置の1対1対応が取れている;(イ)楽譜の位置(例えば、この楽譜の位置は楽譜追跡の結果求められる)を指定すると、その位置に対応する楽譜の音に対応する伴奏データが再生できる、ものであれば、本発明に用いられる伴奏データは限定されない。
1つの態様では、前記伴奏再生部は、楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、からなる。従来の自動伴奏の伴奏パート再生では、伴奏を演奏者に追随させることの実現を目指しているが、「どの程度」追随させるかを調節する機能については言及されていない。本発明では、演奏者と伴奏者の互いに僅かに相違しているはずの2つの演奏履歴を考え、この2つの演奏履歴から演奏者と伴奏者のどちらよりに未来の音楽を設計するかをパラメトリックに(0〜1の間の実数で)設定する。これにより、伴奏が演奏者にぴったり合わせるのか、予め打ち込んであるテンポと演奏者の中間程度に合わせるのかを、柔軟に変更することができる。
本発明では楽譜追跡を確率モデルで定式化することで、演奏の曖昧性に対しても良好に対応することができ、演奏者がテンポやリズムを変化させても、演奏者の演奏位置を正しく把握することができ、多声音楽の演奏に対して、演奏誤りやテンポの揺れを含む演奏に楽譜追跡することができる。
また、最適性の原理を用いた探索(好ましい態様では、2段DP)を採用することで、多声音楽における楽譜追跡を良好に行うことができる。
[1]自動伴奏システム
[A]自動伴奏システムの全体構成
自動伴奏システムの全体構成を図1に示す。
自動伴奏システムは、演奏者の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えている。楽譜追跡部は、演奏者がMIDI楽器を演奏することにより入力されるMIDI信号(演奏情報)と演奏テンプレート(楽譜情報)とから演奏者の演奏位置を推定する。伴奏再生部は、楽譜追跡部により推定された演奏位置に基づいて、伴奏音楽データを用いて伴奏を再生し、伴奏は伴奏のMIDI信号としてMIDI音源から出力される。自動伴奏システムの入出力は、電子楽器による演奏と伴奏のMIDI信号である。楽譜追跡では、MIDI信号と演奏テンプレートとを比較 し、演奏者の拍位置を推定する。伴奏再生では、演奏者の演奏箇所と一致するように伴奏を再生する。本発明に係る自動伴奏はコンピュータを主要構成とする自動伴奏システムよって行われ、該自動伴奏システムを構成するコンピュータは、各種データを入力する入力部(マウス、キーボードを含む)、所定のプログラムに基づいて各種制御を行う処理装置、各種データを出力する出力装置(表示装置を含む)、各種データを記憶する記憶装置(メモリ及び外部記憶装置を含む)、コンピュータを動作させる制御プログラム等を備えている。
[A]自動伴奏システムの全体構成
自動伴奏システムの全体構成を図1に示す。
自動伴奏システムは、演奏者の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えている。楽譜追跡部は、演奏者がMIDI楽器を演奏することにより入力されるMIDI信号(演奏情報)と演奏テンプレート(楽譜情報)とから演奏者の演奏位置を推定する。伴奏再生部は、楽譜追跡部により推定された演奏位置に基づいて、伴奏音楽データを用いて伴奏を再生し、伴奏は伴奏のMIDI信号としてMIDI音源から出力される。自動伴奏システムの入出力は、電子楽器による演奏と伴奏のMIDI信号である。楽譜追跡では、MIDI信号と演奏テンプレートとを比較 し、演奏者の拍位置を推定する。伴奏再生では、演奏者の演奏箇所と一致するように伴奏を再生する。本発明に係る自動伴奏はコンピュータを主要構成とする自動伴奏システムよって行われ、該自動伴奏システムを構成するコンピュータは、各種データを入力する入力部(マウス、キーボードを含む)、所定のプログラムに基づいて各種制御を行う処理装置、各種データを出力する出力装置(表示装置を含む)、各種データを記憶する記憶装置(メモリ及び外部記憶装置を含む)、コンピュータを動作させる制御プログラム等を備えている。
[B]楽譜追跡部
本発明に係る楽譜追跡部は、「演奏とテンプレートとは完全には一致しない」ことを前提としている。これらの不一致の理由としては、演奏誤り(音の脱落・挿入・置換);時系列としての不確定性(和音の発音順序);テンポやリズムの変動による発音時刻の変動、が挙げられる。したがって、本発明に係る楽譜追跡部は、確率的に最も確からしいものを求めるようにしている。最適性の原理を用いて動的計画法を用いてマッチングを行う。
本発明に係る楽譜追跡部は、「演奏とテンプレートとは完全には一致しない」ことを前提としている。これらの不一致の理由としては、演奏誤り(音の脱落・挿入・置換);時系列としての不確定性(和音の発音順序);テンポやリズムの変動による発音時刻の変動、が挙げられる。したがって、本発明に係る楽譜追跡部は、確率的に最も確からしいものを求めるようにしている。最適性の原理を用いて動的計画法を用いてマッチングを行う。
[C]伴奏再生部
本発明に係る伴奏再生部では、演奏者の意図に合った自然な伴奏の演奏の実現を目的としており、演奏に完全に追従する不自然な伴奏の演奏を解消し、楽譜追跡の推定誤りによる不自然な演奏を解消する。具体的な内容では、現在の演奏者の拍位置u(t)と伴奏の拍位置x(t)および事前に設定してある伴奏のテンポv(t)から、伴奏の拍位置の目標値x(t+△t)を決定する。ここでテンポは[拍/時間]の次元を持つものとして表記する。伴奏のMIDIクロック目標値は、伴奏と演奏者の間に設定され、最も単純な方法の一つとして以下のようにする。
α=1 の場合は演奏者に厳密に追従し、α=0 の場合は予め設定してあるテンポで演奏することに相当し、0から1の間の値を定めることでその間の伴奏演奏を行う。
本発明に係る伴奏再生部では、演奏者の意図に合った自然な伴奏の演奏の実現を目的としており、演奏に完全に追従する不自然な伴奏の演奏を解消し、楽譜追跡の推定誤りによる不自然な演奏を解消する。具体的な内容では、現在の演奏者の拍位置u(t)と伴奏の拍位置x(t)および事前に設定してある伴奏のテンポv(t)から、伴奏の拍位置の目標値x(t+△t)を決定する。ここでテンポは[拍/時間]の次元を持つものとして表記する。伴奏のMIDIクロック目標値は、伴奏と演奏者の間に設定され、最も単純な方法の一つとして以下のようにする。
MIDIデータの再生方法について説明する。MIDIファイルに含まれるデータは、MIDIクロックとMIDIメッセージのペア(MIDIイヴェント)の集合である。「MIDIクロック」とは、仮想的な時間情報(楽譜の拍とほぼ等価)である。「MIDIメッセージ」とは、発音、消音、楽器指定、等である。再生方法は、「リアルタイムに応じてMIDIクロックを進める(MIDIクロックの管理):、「微小時間でMIDIクロックを更新」、とからなる。MIDIクロックはミリ秒単位で更新される。
[D]演奏情報の入力から伴奏情報の出力までの流れ
演奏情報の入力から伴奏情報の出力までの流れを図2に示す。演奏者がMIDI楽器を演奏すると、演奏MIDI信号がシステムに入力される。例えば、電子ピアノによるMIDI演奏では、電子ピアノで弾かれた鍵盤の情報がシステムに送信され、ここで、送信される情報は、音高(ピッチ)、強さ(打鍵速度)であり、システムが受信する時刻で発音時刻が得られる。したがって、システムは演奏MIDI信号を受信することで、演奏の発音時刻と音高を取得する。演奏の発音時刻と音高は、Queueに追加される。演奏情報の時系列の一部において、演奏テンプレートとMIDIデータとの確率モデルを読み込み、確率モデルにおける全拍位置についてその拍位置を演奏している確率、即ち演奏に対する演奏位置の尤度を更新する。各演奏位置に現在の演奏が対応する確率を求め、事後確率最大の演奏位置決定を行い、演奏者の演奏位置を推定する。このようにして、電子ピアノ演奏のMIDI信号に対応する楽譜の音を瞬時に推定する。ここで、演奏者が楽譜をもとに演奏した場合、演奏には演奏に表情を与えるテンポやリズムの変動が加えられ、また、演奏には音の誤りが含まれ得るが、確率モデルを採用することで、これらに良好に対応するようにしている。
演奏情報の入力から伴奏情報の出力までの流れを図2に示す。演奏者がMIDI楽器を演奏すると、演奏MIDI信号がシステムに入力される。例えば、電子ピアノによるMIDI演奏では、電子ピアノで弾かれた鍵盤の情報がシステムに送信され、ここで、送信される情報は、音高(ピッチ)、強さ(打鍵速度)であり、システムが受信する時刻で発音時刻が得られる。したがって、システムは演奏MIDI信号を受信することで、演奏の発音時刻と音高を取得する。演奏の発音時刻と音高は、Queueに追加される。演奏情報の時系列の一部において、演奏テンプレートとMIDIデータとの確率モデルを読み込み、確率モデルにおける全拍位置についてその拍位置を演奏している確率、即ち演奏に対する演奏位置の尤度を更新する。各演奏位置に現在の演奏が対応する確率を求め、事後確率最大の演奏位置決定を行い、演奏者の演奏位置を推定する。このようにして、電子ピアノ演奏のMIDI信号に対応する楽譜の音を瞬時に推定する。ここで、演奏者が楽譜をもとに演奏した場合、演奏には演奏に表情を与えるテンポやリズムの変動が加えられ、また、演奏には音の誤りが含まれ得るが、確率モデルを採用することで、これらに良好に対応するようにしている。
伴奏再生部では、推定された演奏者の演奏位置に基づいて(微小時間後の演奏者の演奏位置を予測し)、微小時間後の伴奏演奏位置の目標値が設定される。現在の伴奏の演奏位置と設定された微小時間後の演奏位置の間に対応する伴奏データを再生する。ただし、大きく演奏位置が変わる、あるいは、演奏位置が戻る場合は伴奏データを再生しない。微小時間後の伴奏の演奏位置が設定されると、伴奏の演奏位置の更新値(テンポ)が取得され、伴奏再生位置の更新が行われる。伴奏再生位置の更新に基づいて伴奏再生用MIDIデータから指定された演奏位置のMIDIメッセージを取得し、伴奏MIDI信号としてMIDI再生機へ送信される。
[2]本発明に係る楽譜追跡の好ましい態様
本発明に係る楽譜追跡の好ましい態様である「和音の発音順序交替を許容した動的計画法による多声MIDI演奏の楽譜追跡」について説明する。人間の演奏者による演奏を対象としたリアルタイムで動作する楽譜追跡は、自動伴奏や音楽鑑賞支援に必要であり要求は多い。この点において、本発明に係る楽譜追跡は、伴奏システムの一部として適用されるものに限定されるものではなく、楽譜追跡自体で独立して発明を構成し得るものであり、伴奏システム以外に用いることもできる。電子ピアノ等の電子楽器による実演奏のように演奏のMIDI信号が得られる場合、演奏に誤りが無ければ楽譜追跡は容易であり実際に商品化されている。しかし、人間の実演奏には、演奏の誤りによる音の脱落・置換・挿入が含まれ、更に、演奏者の演奏の表情付けによるにリズムやテンポの変動、無意識に起こす発音時刻の変動も含まれるため、MIDI信号を対象とした場合であっても実演奏の楽譜追跡は簡単な問題ではない。本発明は、図4のように演奏によるMIDI信号が逐次入力されているときに、演奏された音のノートオンメッセージ(以下、発音情報)のみを用い、入力された発音情報に対応する楽譜上の拍位置をリアルタイムで求める楽譜追跡に関するものである。
本発明に係る楽譜追跡の好ましい態様である「和音の発音順序交替を許容した動的計画法による多声MIDI演奏の楽譜追跡」について説明する。人間の演奏者による演奏を対象としたリアルタイムで動作する楽譜追跡は、自動伴奏や音楽鑑賞支援に必要であり要求は多い。この点において、本発明に係る楽譜追跡は、伴奏システムの一部として適用されるものに限定されるものではなく、楽譜追跡自体で独立して発明を構成し得るものであり、伴奏システム以外に用いることもできる。電子ピアノ等の電子楽器による実演奏のように演奏のMIDI信号が得られる場合、演奏に誤りが無ければ楽譜追跡は容易であり実際に商品化されている。しかし、人間の実演奏には、演奏の誤りによる音の脱落・置換・挿入が含まれ、更に、演奏者の演奏の表情付けによるにリズムやテンポの変動、無意識に起こす発音時刻の変動も含まれるため、MIDI信号を対象とした場合であっても実演奏の楽譜追跡は簡単な問題ではない。本発明は、図4のように演奏によるMIDI信号が逐次入力されているときに、演奏された音のノートオンメッセージ(以下、発音情報)のみを用い、入力された発音情報に対応する楽譜上の拍位置をリアルタイムで求める楽譜追跡に関するものである。
[A]単旋律MIDI演奏の楽譜追跡
[A−1]音高の時系列によるマッチング
まず、MIDI演奏が単旋律である場合を考える。このとき、楽譜のある拍位置にはひとつの音しか存在しないため、楽譜の拍位置sの時系列に対応する音高nの時系列は一意に決まる。従って、発音時刻がt秒でノートナンバーがnである演奏の発音情報x(vector)=(t,n)と楽譜の拍位置sとの対応を求めるには、音高をもとに演奏と楽譜の対応付けを行えばよい。
[A−1]音高の時系列によるマッチング
まず、MIDI演奏が単旋律である場合を考える。このとき、楽譜のある拍位置にはひとつの音しか存在しないため、楽譜の拍位置sの時系列に対応する音高nの時系列は一意に決まる。従って、発音時刻がt秒でノートナンバーがnである演奏の発音情報x(vector)=(t,n)と楽譜の拍位置sとの対応を求めるには、音高をもとに演奏と楽譜の対応付けを行えばよい。
[A−2]動的計画法の適用
MIDI演奏と楽譜から得られる音高nの時系列のマッチングは、通常の文字列の比較と同様に脱落・挿入・置換の誤り数の合計を最小とするマッチングの問題としてDP(Dynamic Programming、動的計画法)を用いて求められる。即ち、音の脱落・挿入による誤りは図5左下に示すようにDPの経路コストで数え、置換の誤りは演奏のi番目の発音情報xi(vector)=(ti,ni)と楽譜のj番目の拍位置sjの音高のni一致を局所コスト
で数え、誤りの総数を最小とする対応はコスト最小とする経路にあたる。この経路探索問題は最適性の原理を用いて効率的な計算で解くことができる。DannebergはDPの原理を用いて独自に設定したコストを用いリアルタイムでの単旋律MIDI演奏の楽譜追跡を提案している(非特許文献1、特許文献1)。
MIDI演奏と楽譜から得られる音高nの時系列のマッチングは、通常の文字列の比較と同様に脱落・挿入・置換の誤り数の合計を最小とするマッチングの問題としてDP(Dynamic Programming、動的計画法)を用いて求められる。即ち、音の脱落・挿入による誤りは図5左下に示すようにDPの経路コストで数え、置換の誤りは演奏のi番目の発音情報xi(vector)=(ti,ni)と楽譜のj番目の拍位置sjの音高のni一致を局所コスト
[B]多重音を含むMIDI演奏の楽譜追跡
[B−1]同時発音における発音の順序の交替
次に、MIDI演奏が多重音を含む場合を考える。楽譜のある拍位置sには複数の音高が対応し、同時に発音することを意図された音の集合(以下、和音)の各音の発音情報はMIDIメッセージとして任意の時間順序で表れる。従って、単旋律の場合と異なり、一般には正しく演奏された場合の音高の時系列が一意には決まらない。また、楽譜の和音と演奏された和音とを比べて演奏誤りを数えるには、和音内では各音の音高の出現を独立に仮定することは適切でない。従って、単旋律で用いた音高のDPをそのまま適用することはできない。
[B−1]同時発音における発音の順序の交替
次に、MIDI演奏が多重音を含む場合を考える。楽譜のある拍位置sには複数の音高が対応し、同時に発音することを意図された音の集合(以下、和音)の各音の発音情報はMIDIメッセージとして任意の時間順序で表れる。従って、単旋律の場合と異なり、一般には正しく演奏された場合の音高の時系列が一意には決まらない。また、楽譜の和音と演奏された和音とを比べて演奏誤りを数えるには、和音内では各音の音高の出現を独立に仮定することは適切でない。従って、単旋律で用いた音高のDPをそのまま適用することはできない。
[B−2]2段DP法の適用
多重音を含む実演奏の発音情報からDPを用いて楽譜上の拍位置を求める手法の一つとして、和音を発音情報のクラスタと考えてDPを適用することが考えられる。各音が同時に発音することを意図したものか装飾音のように異なるタイミングで聴かせることを意図したものかを発音時刻間隔から決定することはできないので、MIDI演奏の発音情報の和音としてのクラスタリングは事前には与えられない。従って、発音情報の和音へのクラスタリングと、各和音と楽譜の拍との最適な対応を求める必要がある。
多重音を含む実演奏の発音情報からDPを用いて楽譜上の拍位置を求める手法の一つとして、和音を発音情報のクラスタと考えてDPを適用することが考えられる。各音が同時に発音することを意図したものか装飾音のように異なるタイミングで聴かせることを意図したものかを発音時刻間隔から決定することはできないので、MIDI演奏の発音情報の和音としてのクラスタリングは事前には与えられない。従って、発音情報の和音へのクラスタリングと、各和音と楽譜の拍との最適な対応を求める必要がある。
和音単位でDPを行うので、単旋律の場合のDPの自然な拡張として、局所コストに楽譜と演奏の和音を比較して数えた音の脱落・挿入・置換の誤りを用いる。i番目の発音情報xi(vector)からそのL個前までの発音情報xi−N+1(vector)の音高を和音N(I,L)={ni−L+1,・・・,ni}とし、また、楽譜のある拍位置sjの和音を構成する音高の集合をN(j)としたとき、局所コスト
と与えられる。図6に示すように和音となる音の個数の可能性を考え、誤りの個数を最小に数える対応を求めることができる。これは2段DPの原理(H.Sakoe,IEEE Trans. ASSP-27, pp.585-595, 1979.)を利用したものである。
アルゴリズムを実装し、演奏MIDIと楽譜との対応付けを正しく与えられることを人間のMIDI演奏を用いて確認した。この手法は、多声部音楽の演奏と楽譜との間で楽譜に対する演奏誤り数を求めるのに使用可能である。
[C]リズムを考慮したMIDI信号の楽譜追跡
[C−1]和音とリズムの一致を用いた楽譜追跡
これまで述べたMIDI演奏の楽譜追跡法は、音高情報のみを用いて誤り数最小を数え上げるマッチングであったが、同じ構成音の和音が長い間連続し音高のみでは演奏位置の特定が難しい場合には、演奏のリズムやテンポの特徴を用いてより頑健に演奏位置を推定できると考えられる。そこで、ここではリズムの特徴を含むように拡張した楽譜追跡を論じる。
[C−1]和音とリズムの一致を用いた楽譜追跡
これまで述べたMIDI演奏の楽譜追跡法は、音高情報のみを用いて誤り数最小を数え上げるマッチングであったが、同じ構成音の和音が長い間連続し音高のみでは演奏位置の特定が難しい場合には、演奏のリズムやテンポの特徴を用いてより頑健に演奏位置を推定できると考えられる。そこで、ここではリズムの特徴を含むように拡張した楽譜追跡を論じる。
[C−2]事後確率最大化による演奏位置の推定
発音時刻音の変動の可能性を考えると、一般に演奏された音は、ある拍で音高を誤まったものか、異なる拍の音をずれた発音時刻で演奏したものであるかは、演奏途中で決定することは原理的にできない。そこで、原理的に一意に解決できない問題を、確率的モデルによるモデル化を通して楽譜追跡を最も確からしい対応を求める推定問題として扱う。
発音時刻音の変動の可能性を考えると、一般に演奏された音は、ある拍で音高を誤まったものか、異なる拍の音をずれた発音時刻で演奏したものであるかは、演奏途中で決定することは原理的にできない。そこで、原理的に一意に解決できない問題を、確率的モデルによるモデル化を通して楽譜追跡を最も確からしい対応を求める推定問題として扱う。
演奏の発音情報X={x1(vector),・・・,x4(vector)}に対応する拍位置をS={s(1),・・・,s(i)}とするとき、最も確からしいS(hat)は、事後確率最大化問題として、
と定式化される。事後確率を最大にするために、今までの誤り数をコストとしてコスト最小となる対応を求めるDPの計算原理は、最適性の原理を確率最大の計算に用いたDPに置き換えて使用できる。確率モデルを用いる利点は、演奏の誤りと発音時刻の逸脱に関する各々異なる要素の評価関数を確率としての枠組で整合性をもって統一でき、パラメータを、統計理論を用いることでデータに対して最適な値を定められる点である。提案手法では、リズムと和音に関するそれぞれの確率を統合して、MIDI信号と楽譜の局所的な一致確率を計算する。
[C−3]2段DP法の適用
リズムは連続する音の時間長の組合せで表現されるので、楽譜と演奏をリズムについてマッチングを行うには、両者の時間的幅を持った区間を比較する必要がある。そこで、楽譜の拍位置sjからM個前の拍位置sj−M+1の区間とN個の発音情報xi−L+1(vector),・・・,xi(vector)による演奏される確率c3(I,j,L,M)を用いて局所的なマッチングを行う。ここでは、
とおく。図7下に示すように、発音情報xi(vector)に楽譜の拍位置sjが対応する確率は2段DPにより効率的に求められ、i-L番目より前の拍位置からの遷移の可能性の中から最適なものを選べばよい。
リズムは連続する音の時間長の組合せで表現されるので、楽譜と演奏をリズムについてマッチングを行うには、両者の時間的幅を持った区間を比較する必要がある。そこで、楽譜の拍位置sjからM個前の拍位置sj−M+1の区間とN個の発音情報xi−L+1(vector),・・・,xi(vector)による演奏される確率c3(I,j,L,M)を用いて局所的なマッチングを行う。ここでは、
[C−4]和音とリズムの一致確率の定式化
[C−4−1]和音構成音の音階についての一致確率
楽譜の和音の構成音に対して、実演奏がどのような構成音の和音が演奏されるかに関する確率を考える。各音高での音の存在を0、1の2値で表現した音高の数の成分がある音高ベクトルv(vector)は、演奏誤りがなければ一致する。ここでは、楽譜のvm(vector)に対してVl(vector)と演奏される確率p(vl(vector)|vm(vector))を誤り傾向を考慮して定める。実演奏がその拍で音の脱落・挿入・置換により音高ベクトルが一致しない場合は、低い確率が与えるように定める。
[C−4−1]和音構成音の音階についての一致確率
楽譜の和音の構成音に対して、実演奏がどのような構成音の和音が演奏されるかに関する確率を考える。各音高での音の存在を0、1の2値で表現した音高の数の成分がある音高ベクトルv(vector)は、演奏誤りがなければ一致する。ここでは、楽譜のvm(vector)に対してVl(vector)と演奏される確率p(vl(vector)|vm(vector))を誤り傾向を考慮して定める。実演奏がその拍で音の脱落・挿入・置換により音高ベクトルが一致しない場合は、低い確率が与えるように定める。
[C−4−2]リズムの一致確率
演奏者のテンポは楽譜追跡過程では未知であるので、ここではテンポに依存しない特徴量を用いて楽譜と演奏の発音タイミングを比較する。図8に示すように時間情報である発音時刻
「秒」とそれに対応する楽譜の「拍」をリスケールした時間情報rl、rmは、演奏が音価と一致するリズムでかつテンポが一定である厳密な発音時刻である場合は厳密に一致する。実演奏にはテンポや音長の変動が含まれるので、楽譜のrmに対応する発音情報がrlとして観測される確率p(rl|rm)を0を平均とした正規分布で与える。
演奏者のテンポは楽譜追跡過程では未知であるので、ここではテンポに依存しない特徴量を用いて楽譜と演奏の発音タイミングを比較する。図8に示すように時間情報である発音時刻
「秒」とそれに対応する楽譜の「拍」をリスケールした時間情報rl、rmは、演奏が音価と一致するリズムでかつテンポが一定である厳密な発音時刻である場合は厳密に一致する。実演奏にはテンポや音長の変動が含まれるので、楽譜のrmに対応する発音情報がrlとして観測される確率p(rl|rm)を0を平均とした正規分布で与える。
[C−4−3]和音単位の脱落・挿入誤りの確率
実演奏では、誤ってある拍siにおける音が全て演奏されない場合がある。理想的には、MIDI信号に対応する拍位置の遷移si→sjは、演奏曲の難易度に依存すると思われる。遷移についての確率p(sj|si)は、拍位置siからsjの間の箇所の演奏の難易度に応じて与えることができる。一方、和音単位での挿入誤りは、リズムベクトルと音高ベクトルの不一致に応じた低い確率が与えられる。
実演奏では、誤ってある拍siにおける音が全て演奏されない場合がある。理想的には、MIDI信号に対応する拍位置の遷移si→sjは、演奏曲の難易度に依存すると思われる。遷移についての確率p(sj|si)は、拍位置siからsjの間の箇所の演奏の難易度に応じて与えることができる。一方、和音単位での挿入誤りは、リズムベクトルと音高ベクトルの不一致に応じた低い確率が与えられる。
[C−5]動作検証
現実に使用する場合にはリアルタイムで少ない負荷での動作が望まれるので、拍位置と確率を与えるDPの漸化式の計算はMIDIノートオンの受信時刻間隔が0.05秒以上のときのみに行い、拍位置sの個数の幅を32とする傾斜制限を加え、局所距離の計算に用いるノートオンメッセージの個数をN=10に固定した。評価にはBurgmuller作曲の練習曲 Op.100の全25曲の電子ピアノ演奏を用いた。この曲集は初心者用の練習曲であるが、テンポの変化や装飾音の使用等リズムを含む。演奏誤りのない演奏と、その演奏に人工的に音階の誤りを5箇所加えたMIDIデータを用意した。楽譜追跡の正解率は、全推定回数に対する正しく推定した回数の割合で計算し、演奏に誤りがある・ないの両方の場合とも平均99.8%の正解率を得た。24曲では完全に追跡できた。誤推定は楽譜にフェルマータの指示がある箇所で見られ、テンポ一定してリズムの一致を計算したことが原因であった。実行中には誤りが起きても、その後は直ちに正しい拍位置を推定し正確な楽譜追跡が続けられた。
現実に使用する場合にはリアルタイムで少ない負荷での動作が望まれるので、拍位置と確率を与えるDPの漸化式の計算はMIDIノートオンの受信時刻間隔が0.05秒以上のときのみに行い、拍位置sの個数の幅を32とする傾斜制限を加え、局所距離の計算に用いるノートオンメッセージの個数をN=10に固定した。評価にはBurgmuller作曲の練習曲 Op.100の全25曲の電子ピアノ演奏を用いた。この曲集は初心者用の練習曲であるが、テンポの変化や装飾音の使用等リズムを含む。演奏誤りのない演奏と、その演奏に人工的に音階の誤りを5箇所加えたMIDIデータを用意した。楽譜追跡の正解率は、全推定回数に対する正しく推定した回数の割合で計算し、演奏に誤りがある・ないの両方の場合とも平均99.8%の正解率を得た。24曲では完全に追跡できた。誤推定は楽譜にフェルマータの指示がある箇所で見られ、テンポ一定してリズムの一致を計算したことが原因であった。実行中には誤りが起きても、その後は直ちに正しい拍位置を推定し正確な楽譜追跡が続けられた。
本発明は、楽器初心者の演奏支援や練習支援、室内楽曲や協奏曲など共演者を必要とする音楽演奏の練習支援、などに利用される。
Claims (17)
- 多声音楽の演奏位置を推定する楽譜追跡部と、楽譜追跡部により推定された演奏位置に基づいて伴奏を再生する伴奏再生部と、を備えた自動伴奏システムであって、
前記楽譜追跡部は、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、自動伴奏システム。 - 前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである、請求項1に記載の自動伴奏システム。
- 前記探索は、2段DPを用いた探索である、請求項1,2いずれかに記載の自動伴奏システム。
- 前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む、請求項1乃至3いずれかに記載の自動伴奏システム。
- 前記伴奏再生部は、
楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、
予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、
微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、
からなる、請求項1乃至4いずれかに記載の自動伴奏システム。 - 多声音楽の演奏位置を推定する楽譜追跡システムであって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、楽譜追跡システム。
- 前記確率モデルは、演奏の発音情報に対応する拍位置を、事後確率最大化問題として定式化するものである、請求項6に記載の楽譜追跡システム。
- 前記探索は、2段DPを用いた探索である、請求項6,7いずれかに記載の楽譜追跡システム。
- 前記演奏情報と楽譜情報とのマッチングには、リズムのマッチングを含む、請求項6乃至8いずれかに記載の楽譜追跡システム。
- 多声音楽の演奏位置を推定する楽譜追跡ステップと、楽譜追跡ステップにより推定された演奏位置に基づいて伴奏を再生する伴奏再生ステップと、を備えた自動伴奏方法であって、
前記楽譜追跡ステップは、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、自動伴奏方法。 - 前記伴奏再生ステップは、
楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測するステップと、
予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定するステップと、
微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御するステップと、
からなる、請求項10に記載の自動伴奏方法。 - 多声音楽の演奏位置を推定する楽譜追跡方法であって、演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する、楽譜追跡方法。
- 多声音楽の演奏に対して自動伴奏を行うために、コンピュータを、
多声音楽の演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する手段と、
推定された演奏位置に基づいて伴奏を再生する手段と、
して機能させるための自動伴奏用コンピュータプログラム。 - 前記伴奏再生手段は、
楽譜追跡部において推定された演奏位置に基づいて微小時間後の演奏者の演奏位置を予測する手段と、
予測された演奏者の微小時間後の演奏位置に基づいて伴奏の演奏位置を設定する手段と、
微小時間後に設定された伴奏の演奏位置を得るように伴奏のテンポを制御する手段と、
からなる、請求項13に記載の自動伴奏用コンピュータプログラム。 - 請求項13,14いずれかに記載の自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能記録媒体。
- 多声音楽の演奏に対して楽譜追跡を行うために、コンピュータを、
多声音楽の演奏情報と楽譜情報との対応関係を確率モデルで表し、和音を発音情報のクラスタとして、最適性の原理を用いた探索によりマッチングを行って演奏の演奏位置を推定する手段と、
して機能させるための自動伴奏用コンピュータプログラム。 - 請求項16に記載の自動伴奏用コンピュータプログラムを記録したコンピュータ読み取り可能記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006067318A JP2007241181A (ja) | 2006-03-13 | 2006-03-13 | 自動伴奏システム及び楽譜追跡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006067318A JP2007241181A (ja) | 2006-03-13 | 2006-03-13 | 自動伴奏システム及び楽譜追跡システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007241181A true JP2007241181A (ja) | 2007-09-20 |
Family
ID=38586747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006067318A Pending JP2007241181A (ja) | 2006-03-13 | 2006-03-13 | 自動伴奏システム及び楽譜追跡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007241181A (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011180590A (ja) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム |
FR3022051A1 (fr) * | 2014-06-10 | 2015-12-11 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
JP2017207615A (ja) * | 2016-05-18 | 2017-11-24 | ヤマハ株式会社 | 自動演奏システムおよび自動演奏方法 |
WO2018016638A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
WO2018016639A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | タイミング制御方法、及び、タイミング制御装置 |
WO2018016637A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
JP2018063295A (ja) * | 2016-10-11 | 2018-04-19 | ヤマハ株式会社 | 演奏制御方法および演奏制御装置 |
JP2018072368A (ja) * | 2016-10-24 | 2018-05-10 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
WO2018084316A1 (ja) * | 2016-11-07 | 2018-05-11 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
CN109478399A (zh) * | 2016-07-22 | 2019-03-15 | 雅马哈株式会社 | 演奏分析方法、自动演奏方法及自动演奏系统 |
WO2019181735A1 (ja) * | 2018-03-23 | 2019-09-26 | ヤマハ株式会社 | 演奏解析方法および演奏解析装置 |
EP3570271A1 (en) | 2018-05-18 | 2019-11-20 | Roland Corporation | Automatic performance device and automatic performance method |
WO2020137829A1 (ja) * | 2018-12-28 | 2020-07-02 | ヤマハ株式会社 | 演奏補正方法および演奏補正装置 |
WO2021044563A1 (ja) | 2019-09-04 | 2021-03-11 | ローランド株式会社 | 自動演奏装置および自動演奏プログラム |
CN112567450A (zh) * | 2018-08-10 | 2021-03-26 | 雅马哈株式会社 | 乐谱数据的信息处理装置 |
CN112735360A (zh) * | 2020-12-29 | 2021-04-30 | 玖月音乐科技(北京)有限公司 | 一种电子键盘乐器重奏方法和系统 |
CN112951184A (zh) * | 2021-03-26 | 2021-06-11 | 平安科技(深圳)有限公司 | 歌曲生成方法、装置、设备及存储介质 |
JP2023515122A (ja) * | 2020-02-20 | 2023-04-12 | アンテスコフォ | ユーザの楽曲演奏時のあらかじめ記録された楽曲伴奏の改善された同期 |
WO2023170757A1 (ja) * | 2022-03-07 | 2023-09-14 | ヤマハ株式会社 | 再生制御方法、情報処理方法、再生制御システムおよびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0527670A (ja) * | 1991-07-24 | 1993-02-05 | Yamaha Corp | 楽譜表示装置 |
JPH1138972A (ja) * | 1997-07-18 | 1999-02-12 | Yamaha Corp | 音楽制御装置および記憶媒体 |
JPH11184478A (ja) * | 1997-12-18 | 1999-07-09 | Ricoh Co Ltd | 音楽演奏装置 |
JP2001117580A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | 音声信号処理装置および音声信号処理方法 |
WO2002047066A1 (fr) * | 2000-12-07 | 2002-06-13 | Sony Corporation | Procede et dispositif de recherche de contenu, et procede et systeme de communication |
JP2003216156A (ja) * | 2002-01-18 | 2003-07-30 | Yamaha Corp | 和音検出装置及びプログラム |
WO2005066927A1 (ja) * | 2004-01-09 | 2005-07-21 | Toudai Tlo, Ltd. | 多重音信号解析方法 |
-
2006
- 2006-03-13 JP JP2006067318A patent/JP2007241181A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0527670A (ja) * | 1991-07-24 | 1993-02-05 | Yamaha Corp | 楽譜表示装置 |
JPH1138972A (ja) * | 1997-07-18 | 1999-02-12 | Yamaha Corp | 音楽制御装置および記憶媒体 |
JPH11184478A (ja) * | 1997-12-18 | 1999-07-09 | Ricoh Co Ltd | 音楽演奏装置 |
JP2001117580A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | 音声信号処理装置および音声信号処理方法 |
WO2002047066A1 (fr) * | 2000-12-07 | 2002-06-13 | Sony Corporation | Procede et dispositif de recherche de contenu, et procede et systeme de communication |
JP2003216156A (ja) * | 2002-01-18 | 2003-07-30 | Yamaha Corp | 和音検出装置及びプログラム |
WO2005066927A1 (ja) * | 2004-01-09 | 2005-07-21 | Toudai Tlo, Ltd. | 多重音信号解析方法 |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011180590A (ja) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム |
FR3022051A1 (fr) * | 2014-06-10 | 2015-12-11 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
WO2015189157A1 (fr) * | 2014-06-10 | 2015-12-17 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
US9865241B2 (en) | 2014-06-10 | 2018-01-09 | Makemusic | Method for following a musical score and associated modeling method |
EP3155608B1 (fr) * | 2014-06-10 | 2018-06-06 | Makemusic | Procedé de suivi d'une partition musicale et modélisation associée |
JP2017207615A (ja) * | 2016-05-18 | 2017-11-24 | ヤマハ株式会社 | 自動演奏システムおよび自動演奏方法 |
CN109478398B (zh) * | 2016-07-22 | 2023-12-26 | 雅马哈株式会社 | 控制方法以及控制装置 |
JPWO2018016639A1 (ja) * | 2016-07-22 | 2019-01-24 | ヤマハ株式会社 | タイミング制御方法、及び、タイミング制御装置 |
US10636399B2 (en) | 2016-07-22 | 2020-04-28 | Yamaha Corporation | Control method and control device |
EP3489944A4 (en) * | 2016-07-22 | 2020-04-08 | Yamaha Corporation | CONTROL METHOD AND CONTROL DEVICE |
US10665216B2 (en) | 2016-07-22 | 2020-05-26 | Yamaha Corporation | Control method and controller |
WO2018016639A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | タイミング制御方法、及び、タイミング制御装置 |
US10650794B2 (en) | 2016-07-22 | 2020-05-12 | Yamaha Corporation | Timing control method and timing control device |
WO2018016638A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
JPWO2018016637A1 (ja) * | 2016-07-22 | 2019-01-24 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
WO2018016637A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
JPWO2018016638A1 (ja) * | 2016-07-22 | 2019-01-24 | ヤマハ株式会社 | 制御方法、及び、制御装置 |
CN109478399A (zh) * | 2016-07-22 | 2019-03-15 | 雅马哈株式会社 | 演奏分析方法、自动演奏方法及自动演奏系统 |
CN109478398A (zh) * | 2016-07-22 | 2019-03-15 | 雅马哈株式会社 | 控制方法以及控制装置 |
CN109478399B (zh) * | 2016-07-22 | 2023-07-25 | 雅马哈株式会社 | 演奏分析方法、自动演奏方法及自动演奏系统 |
US20190237055A1 (en) * | 2016-10-11 | 2019-08-01 | Yamaha Corporation | Performance control method and performance control device |
CN109804427A (zh) * | 2016-10-11 | 2019-05-24 | 雅马哈株式会社 | 演奏控制方法以及演奏控制装置 |
US10720132B2 (en) | 2016-10-11 | 2020-07-21 | Yamaha Corporation | Performance control method and performance control device |
WO2018070286A1 (ja) * | 2016-10-11 | 2018-04-19 | ヤマハ株式会社 | 演奏制御方法および演奏制御装置 |
JP2018063295A (ja) * | 2016-10-11 | 2018-04-19 | ヤマハ株式会社 | 演奏制御方法および演奏制御装置 |
JP2018072368A (ja) * | 2016-10-24 | 2018-05-10 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
WO2018084316A1 (ja) * | 2016-11-07 | 2018-05-11 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
US10810986B2 (en) | 2016-11-07 | 2020-10-20 | Yamaha Corporation | Audio analysis method and audio analysis device |
JP2018077262A (ja) * | 2016-11-07 | 2018-05-17 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
JP7243026B2 (ja) | 2018-03-23 | 2023-03-22 | ヤマハ株式会社 | 演奏解析方法、演奏解析装置およびプログラム |
US11869465B2 (en) | 2018-03-23 | 2024-01-09 | Yamaha Corporation | Musical performance analysis method and musical performance analysis apparatus |
JP2019168599A (ja) * | 2018-03-23 | 2019-10-03 | ヤマハ株式会社 | 演奏解析方法および演奏解析装置 |
US20210005173A1 (en) * | 2018-03-23 | 2021-01-07 | Yamaha Corporation | Musical performance analysis method and musical performance analysis apparatus |
WO2019181735A1 (ja) * | 2018-03-23 | 2019-09-26 | ヤマハ株式会社 | 演奏解析方法および演奏解析装置 |
US10803845B2 (en) | 2018-05-18 | 2020-10-13 | Roland Corporation | Automatic performance device and automatic performance method |
EP3570271A1 (en) | 2018-05-18 | 2019-11-20 | Roland Corporation | Automatic performance device and automatic performance method |
CN112567450B (zh) * | 2018-08-10 | 2024-03-29 | 雅马哈株式会社 | 乐谱数据的信息处理装置 |
CN112567450A (zh) * | 2018-08-10 | 2021-03-26 | 雅马哈株式会社 | 乐谱数据的信息处理装置 |
JP7293653B2 (ja) | 2018-12-28 | 2023-06-20 | ヤマハ株式会社 | 演奏補正方法、演奏補正装置およびプログラム |
CN113228158A (zh) * | 2018-12-28 | 2021-08-06 | 雅马哈株式会社 | 演奏校正方法及演奏校正装置 |
CN113228158B (zh) * | 2018-12-28 | 2023-12-26 | 雅马哈株式会社 | 演奏校正方法及演奏校正装置 |
JP2020106766A (ja) * | 2018-12-28 | 2020-07-09 | ヤマハ株式会社 | 演奏補正方法および演奏補正装置 |
WO2020137829A1 (ja) * | 2018-12-28 | 2020-07-02 | ヤマハ株式会社 | 演奏補正方法および演奏補正装置 |
WO2021044563A1 (ja) | 2019-09-04 | 2021-03-11 | ローランド株式会社 | 自動演奏装置および自動演奏プログラム |
JP2023515122A (ja) * | 2020-02-20 | 2023-04-12 | アンテスコフォ | ユーザの楽曲演奏時のあらかじめ記録された楽曲伴奏の改善された同期 |
JP7366282B2 (ja) | 2020-02-20 | 2023-10-20 | アンテスコフォ | ユーザの楽曲演奏時のあらかじめ記録された楽曲伴奏の改善された同期 |
CN112735360B (zh) * | 2020-12-29 | 2023-04-18 | 玖月音乐科技(北京)有限公司 | 一种电子键盘乐器重奏方法和系统 |
CN112735360A (zh) * | 2020-12-29 | 2021-04-30 | 玖月音乐科技(北京)有限公司 | 一种电子键盘乐器重奏方法和系统 |
CN112951184A (zh) * | 2021-03-26 | 2021-06-11 | 平安科技(深圳)有限公司 | 歌曲生成方法、装置、设备及存储介质 |
WO2023170757A1 (ja) * | 2022-03-07 | 2023-09-14 | ヤマハ株式会社 | 再生制御方法、情報処理方法、再生制御システムおよびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007241181A (ja) | 自動伴奏システム及び楽譜追跡システム | |
Pardo et al. | Modeling form for on-line following of musical performances | |
US9018505B2 (en) | Automatic accompaniment apparatus, a method of automatically playing accompaniment, and a computer readable recording medium with an automatic accompaniment program recorded thereon | |
CN101796587B (zh) | 声音旋律的自动伴奏 | |
Raphael | Music Plus One and Machine Learning. | |
JP6565530B2 (ja) | 自動伴奏データ生成装置及びプログラム | |
JP2010538335A5 (ja) | ||
JPH1074093A (ja) | カラオケ装置 | |
Dixon | A lightweight multi-agent musical beat tracking system | |
JP2000231381A (ja) | メロディ生成装置及びリズム生成装置と記録媒体 | |
JP3776673B2 (ja) | 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体 | |
CN110867174A (zh) | 自动混音装置 | |
Grubb et al. | Automated accompaniment of musical ensembles | |
JP2001184059A (ja) | 電子楽器の演奏位置検索装置 | |
JP3430814B2 (ja) | カラオケ装置 | |
JP3879524B2 (ja) | 波形生成方法、演奏データ処理方法および波形選択装置 | |
JP6183737B2 (ja) | 最適経路探索装置 | |
Tekin et al. | Towards an intelligent score following system: Handling of mistakes and jumps encountered during piano practicing | |
JP2000330580A (ja) | カラオケ装置 | |
Raphael et al. | Orchestral accompaniment for a reproducing piano | |
JP6077492B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230351993A1 (en) | Method for tempo adaptive backing track | |
WO2022172732A1 (ja) | 情報処理システム、電子楽器、情報処理方法および機械学習システム | |
Robertson | Interactive real-time musical systems | |
WO2023182005A1 (ja) | データ出力方法、プログラム、データ出力装置および電子楽器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100712 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101109 |