JP2017519255A - 楽譜の追従方法及びそれに関連したモデル化方法 - Google Patents

楽譜の追従方法及びそれに関連したモデル化方法 Download PDF

Info

Publication number
JP2017519255A
JP2017519255A JP2017517192A JP2017517192A JP2017519255A JP 2017519255 A JP2017519255 A JP 2017519255A JP 2017517192 A JP2017517192 A JP 2017517192A JP 2017517192 A JP2017517192 A JP 2017517192A JP 2017519255 A JP2017519255 A JP 2017519255A
Authority
JP
Japan
Prior art keywords
chromatic scale
score
scale vector
theoretical
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017517192A
Other languages
English (en)
Inventor
コラフランセスコ,ジュリアン
デレーラ,グレゴリー
Original Assignee
メイクミュージック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メイクミュージック filed Critical メイクミュージック
Publication of JP2017519255A publication Critical patent/JP2017519255A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/023Electrically operated
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/391Automatic tempo adjustment, correction or control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/015Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/015Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/015Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
    • G10H2250/021Dynamic programming, e.g. Viterbi, for finding the most likely or most desirable sequence in music analysis, processing or composition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/161Logarithmic functions, scaling or conversion, e.g. to reflect human auditory perception of loudness or frequency
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本発明は、楽譜(10)を追従する方法であって、リアルタイムに遂行される、演奏者により放出された少なくとも1つの音(12)を記録(23)するステップ、少なくとも1つの半音階ベクトル(Vx)を推定(24)するステップ、半音階ベクトル(Vx)を楽譜(10)の理論半音階ベクトルと比較(26)するステップ、半音階ベクトル(Vx)と直前の半音階ベクトル(Vx−1)との間の移行部(Tx)を楽譜(10)の理論移行部と比較(27)するステップ、及び半音階ベクトル(Vx)の比較(26)及び移行部(Tx)の比較(27)から、の直前の練習位置(Px−1)の関数として演奏者の練習位置(Px)を推定(28)するステップ、を含み、記録のステップ(23)は、移行部(Tx)の期間(Dx)と基準期間(Dref)との間の比率に応じて好適な期間(Di)に対して実行される、方法に関する。

Description

本発明は、楽譜の追従方法及びそれに関連したモデル化方法に関する。本発明は、デジタル楽譜の読出しの分野に属する。
本発明により、コーチング、楽器の練習、または解釈に対する指導的リスニングに関して、特に有利な応用が見出される。
楽譜のテンポから、または演奏者により手動で付与された事前のテンポから能動区画(音符、小節、五線、等)を推測する、デジタル楽譜追従用のソフトウェアパッケージが存在する。これらのソフトウェアパッケージは従来、例えば上線または点状の指標等の楽譜マーキング用の要素を含んでいる。読出し開始を示す時間遅延の後、マーキング要素は楽譜のテンポに対応する速度で移動される。その結果、ミュージシャンは、楽譜のテンポを考慮して自身が理論的に位置すべき能動区画(音符、小節、五線、等)を見ながら、楽譜のテンポに合わせて楽譜を演奏し得る。
これらのソフトウェアパッケージは読出し時間が事前に規定されているため、ミュージシャンは演奏中に自分の実際のテンポを考慮に入れることはない。ミュージシャンは「楽譜のカーソルを追従」しなければならないのだが、自身の演奏に基づいて楽譜上でカーソル位置を規定することはできない。したがって、ミュージシャンは、解釈上困難な楽譜パートでスクロール速度を低減できない。同様に、ミュージシャンは、現存のソフトウェアパッケージによる追従中に、完璧さを望む楽譜パートについての反復ができない。
本発明の目的は、演奏者により付与された演奏を聴きながら楽譜を追従するための方法であって、スクロール速度または位置を演奏者の解釈の関数として変更するのに好適な方法を提案することにより、先行技術の欠点を改善することにある。
この目的のために、第1の態様によれば、本発明は、楽譜上にマーキング要素を表示するステップ、及びマーキング要素を移動するステップ、を含む、楽譜を追従する方法であって、リアルタイムに遂行される以下の、期間のデータフレームの形態で演奏者により放出された少なくとも1つの音を記録するステップ、データフレームの内容に基づいて少なくとも1つの半音階ベクトルを推定するステップ、半音階ベクトルを楽譜の理論半音階ベクトルと比較するステップ、半音階ベクトルと直前の半音階ベクトルとの間の移行部を楽譜の理論移行部と比較するステップ、及び演奏者の練習位置を半音階ベクトルの比較及び移行部の比較、の直前の練習位置の関数として推定するステップ、を更に含み、マーキング要素の表示及び移動のステップは、演奏者の練習位置の関数として実行され、かつ記録のステップは、移行部の期間と基準期間との間の比率の関数として適合された期間にわたって実行される、方法に関する。
本発明はかくして、演奏者により付与された音符またはコードを認識すること及び、この認識を楽譜のコードと関連付けることを可能にする。この関連付けにより、本追従方法の解釈へのリアルタイムな適合が可能になる。
例えば、音符またはコードに関する期間は楽譜の本来のテンポの関数として付与されるが、演奏者は必ずしもそれに合わせる必要はない。演奏者は、ある特定のパートについて速度の増大または減少を望み得る。本発明は、演奏者自身の特有のテンポに対する追従性の向上を可能にする。テンポのモデル化はまた、演奏者の現在のテンポ推定の取得を可能にし、高度な同期化用途に対して極めて有用であることが分かる。
別の実施例によれば、演奏者は全ての音符またはコードを最初から最後まで順に演奏するという有力な想定が存在する。実際には、演奏者はこのような稽古を行うことはほとんどない;逆に、演奏者は力を養うことを望んで、彼らが練習している楽曲内で前後に移動し停止して、その後別の箇所で再開するかもしれない。このような想定に取り組むために、本発明方法は、楽譜の連続性を断ちつつ楽譜内での「ジャンプ」の遂行を可能にする。このように、演奏の不連続性はモデル内で許容されるので、そのような不連続性が生じたとき、アルゴリズムは新たな位置への収束に限定的な時間しか要さない。
実施される本方法は、図形のみならず時間性を有するコードの正規化も広く含めて、楽譜に適用される。例えば、本方法はMIDIファイル(MIDIは「Musical Instrument Digital Interface」の略語)の形態で具体化された楽譜中の位置を示すことも可能であろう。
本発明はまた、解釈に対する指導的リスニングにも適用される。例えば、聴衆はスピーカを有するオーディオシステムを介して楽譜解釈に対応する音声トラック対するリスニングが可能であり、音声トラックと関連付けられた楽譜の演奏過程で能動区画を見ることが可能である。
一実施形態によれば、本方法は、楽譜の理論半音階ベクトルにより半音階ベクトルを正規化するステップを含む。この正規化ステップは、理論半音階ベクトルの推定半音階ベクトルを用いた適合化を可能にし、かくして演奏者により演奏されたコードの認識及び関連付けに際して演奏を改善する。
一実施形態によれば、半音階ベクトルを楽譜の理論半音階ベクトルと比較するステップは、半音階ベクトルと各理論半音階ベクトルとの間のユークリッド距離を推定するサブステップ、取得されたユークリッド距離の合計を正規化するサブステップ、及び各理論半音階ベクトル中に半音階ベクトルが帰属する確率を推定するサブステップ、を含む。この実施形態は、比較演奏とリアルタイム処理を可能にし得る必要算定リソースとの間の良好な折衷策を提示する。
一実施形態によれば、半音階ベクトルと直前の半音階ベクトルとの間の移行部を比較するステップは、ポアソンの法則によって遂行される。この実施形態もまた、比較演奏とリアルタイム処理を可能にし得る必要算定リソースとの間の良好な折衷策を提示する。
一実施形態によれば、少なくとも1つの推定は対数尺で遂行される。本発明は、多くの場合0に近い値を含んだ、多数の乗算を含む。かくして、考察下の構成中の浮動小数点数に関する精度が超過し得るので、算定は場合によっては不安定にもなり得る。これを改善するために、この実施形態は、「対数確率」ドメインで全ての算定を遂行することを可能にする;かくしてすべての乗算は加算になり、算定の精度は許容可能に維持される。
一実施形態によれば、記録ステップの期間の推定は、ビタビ復号アルゴリズムによって遂行される。この実施形態もまた、演奏とリアルタイム処理を可能にし得る必要算定リソースとの間の良好な折衷策を提示する。
一実施形態によれば、少なくとも1つの推定は閾値を含み、該閾値未満では推定は該当しないと判定されて、その結果は利用されないことになる。本発明による楽譜の追従方法は、その確率的性質から、間違いにより演奏者に稚拙な示唆を提示する可能性がある。こうした間違いは、演奏者が楽譜を過度に自由に解釈した際に自身の演奏等で何回かの誤りを犯したときに起こり得る。本発明方法の提案による情報が信頼し得ない場合に最良に対処するために、この実施形態は、推定の適合性を判定する評価規準を導入することを可能にする。
第2の態様によれば、本発明は、楽譜を内容及び期間を有する少なくとも一連の理論コードにスライスするステップ、各理論コードの内容を理論半音階ベクトルの形態で表現するステップ、及び種々の理論コードの間の理論移行部をモデル化するステップを含む楽譜をモデル化する方法に関する。本発明のこの第2の態様は、デジタル楽譜表現の取得を可能にする。半音階ベクトルは、コード間の比較をより簡素にする、デジタル楽譜のより「構造化された」表現である。
一実施形態によれば、種々の理論コードの間の理論移行部のモデル化のステップは、隠れマルコフモデルによって遂行される。この実施形態もまた、比較演奏とリアルタイム処理を可能にし得る必要算定リソースとの間の良好な折衷策を提示する。
一実施形態によれば、理論半音階ベクトルは、少なくとも1つの範囲の値0または1の12のスカラー量から成り、各スカラー量は半音階範囲の半音:ド、ド♯、レ、レ♯、ミ、ファ、ファ♯、ソ、ソ♯、ラ、ラ♯、シ、のうちの1つと関連付けられる。変形例として、半音階ベクトルは、例えばアラブ音楽の四分音を一体化するように、より多いスカラー数を含む。
本発明は、図面を参照しながら、本発明の実施形態の説明のためのみに以下に提示する詳細な説明の助けを得てより良好に理解されるであろう。
本発明の実施形態に従った楽譜をモデル化する方法のステップを示す。 本発明の実施形態に従った楽譜を追従する方法のステップを示す。 本発明の実施形態に従った楽譜の追従用のインターフェースを示す。
図1は、楽譜10がステップ30で一連の理論コードS={S0、S1、...、Si、SI−1}にスライスされる、楽譜10をモデル化する方法のステップを示す。Sのうちの各理論コードは、音高の組、場合によっては零、である内容Ciと、ならびに開始及び終了を有する期間Diとに関連付けられる。コードの開始及び終了はそれぞれ、コードの内容Ciが変化する直前の最小及び最大時間値である。
各理論コードSiの内容Ciは、ステップ31中で半音階ベクトルViの形態で表される。好ましくは、半音階ベクトルViは、0と1との間の値の様々な12のスカラー量から成り、各スカラー量は半音階範囲の半音:ド、ド♯、レ、レ♯、ミ、ファ、ファ♯、ソ、ソ♯、ラ、ラ♯、シ、のうちの1つと関連付けられる。好ましくは、各半音階ベクトルViのノルムは1に等しい。オクターブ差違は半音階ベクトルViとしてのこの表現内で解消し;そのためコードの絶対音高はもはや考えられない。半音階ベクトルViにより、理論コードSiの倍音の内容Ciのコンパクトな変形態様の取得が可能になる。半音階ベクトルViはまた、Sのうちの理論コード間の比較を行い、更にユークリッド距離について集中使用を可能にする、より「構造化された」表現である。
デジタル楽譜10の理論コードSの間の移行部T0、Ti、TI−1はまた、明示的期間を用いた隠れマルコフモデルによってモデル化されるのが好ましい。したがって、各理論コードSiはマルコフ状態であると考えられ、各状態Siは、表現が以下の通りの離散型タイムラインと関連付けられる:
i=[Li,0i,1...Li,j...Li,J-1]、
式中、Jは半音階ベクトルのサイズであり、L及びPはタイムラインのサンプリング周期であり、Li、jは演奏者がjPミリ秒間に状態Siにあった確率である。このタイムラインが一旦構築されると、一のコードから別のコードへの演奏者の進行に従った方式がモデル化され得る。
データベース15はこのため、Sの各理論コードに対して、半音階ベクトルVi、及び現在の理論コードとSのコードとの間の理論移行部T0、Ti、TI−1で補充される。
図2は、楽譜10を追従してリアルタイムに、即ち所定時間以内に、演奏者の演奏を分析する方法のステップを示す。
第1のステップ23で、演奏者により放出された音12は、期間Dx、例えば200ms、のデータフレームTrの形態で記録される。ステップ24では、このデータフレームTrの内容Cxに基づいて、半音階ベクトルVxの推定を行う。例えば、この推定は、演奏者により演奏され得る全コードを認識し得るニューラルネットワークにより実行され得る。半音階ベクトルVxの正規化は、データベース15に記憶された半音階ベクトルV0、V1、...Vi、...VI−1のフォーマットに対応するように、その後ステップ25で遂行される。
ステップ26ではその後、半音階ベクトルVxを楽譜10の半音階ベクトルV0、V1、...Vi、...VI−1と比較する。この目的のために、半音階ベクトルVxと各半音階ベクトルViとの間でユークリッド距離Eiが算定される。これらの値は保存されて、ユークリッド距離Eiの合計が1に等しくなるようにその後正規化される。したがって、ユークリッド距離Eiは、Sの種々の理論コード中の現在のフレームTrの「非帰属」を表す。前回のステップでは、これらの「非帰属」にある確率の「帰属」する確率への変換、即ち以下の演算の遂行を行う:
i:=1−Ei
別のステップ27では、半音階ベクトルVxと演奏者により直前に演奏された半音階ベクトルVx−1との間の移行部Txを分析する。したがって、明示的期間を用いた隠れマルコフモデルは、データベース15に記憶された理論移行部T0、...、Ti、TI−1の関数として使用される。移行部の算定は、以下の式の関数として遂行される:
i,0:=maxj(Poisson(j,λi)Li-1,j)、
式中、用語λは離散型タイムラインの各要素jと関連付けられた期待値を表す。用語ポアソンは、楽譜10中に発生する数の理論コードSの挙動について記述する離散型確率法則を指す。
離散型タイムラインの放出確率は、i及びjの全ての値に対して以下の式に従ってその後算定される:
i,j:=Li,ji
これらの値は保存されて、離散型タイムラインLi、jの合計が1に等しくなるようにその後正規化される。i及びjの最大論拠としては、演奏者により演奏される蓋然性が最も高いコード、及びコード内での演奏者の進行過程がそれぞれ示される。
上記の算定は、多くの場合0に近い値を含む多数の乗算を含んでいる。かくして、考察下の構成中の浮動小数点数に関する精度が超過に至り得るので、算定は場合によっては不安定になり得る。これを改善するために、全算定は「対数確率」ドメインで遂行され得;かくして全乗算は加算になり、算定の精度は許容可能に維持される。上記の数式はそれにより修正される。したがって、移行部の算定は以下の式に従って遂行されることになる:
i,0:=maxj(log(Poisson(j,λi))+Li-1,j)、
放出確率は、以下の式に従って考慮される:
i,j=Li,j+log(Ei)。
正規化は、次式に従って離散型タイムラインのリベースで置き換えられる:
i,j=Li,j−maxn,m(Ln,m)。
対数確率はこのように、それらの最大値が0に等しくなるように補償される。
この全情報により、ステップ28で、半音階ベクトルVxの比較及び移行部Txの比較の、直前の練習位置Px−1の関数として演奏者の練習位置Pxを推定することが可能になる。この練習位置Pxにより、デジタル楽譜10上のマーキング要素11の、表示がステップ20で可能になり、移動がステップ21で可能になる。
図3は、楽譜10追従用のインターフェース16を、マーキング要素11を含めて示す。マーキング要素11は、理論コードS1、S2、Si、SI−1を表す離散型ラインの形態を取る。好ましくは、理論コードS1、S2、Si、SI−1が中に位置する小節Bar_iもまたハイライト表示される。楽譜10追従用のインターフェース16はまた、本発明方法中の設定の調整のために演奏者にアクセス可能な指令制御部17を含み、例えば演奏者の解釈による声音、及びインターフェースにより演奏される声音を選択する。
この実施形態では、演奏者がページ下部に到達すると、演奏者自身の指の使用を要することなくページが自動的に変わる。変形例として、楽譜10は、練習位置Pxの関数として、例えばデジタルタブレットの画面サイズのために、画面上でのスクロールが可能である。
更に、理論コードS1、S2、Si、SI−1に関する期間Diは、楽譜10の本来のテンポTpoの関数として推定されるため、演奏者は必ずしもそれに合わせる必要はない。演奏者は、ある特定のパートで速度を増大または減少させるような解釈を望み得る。本発明は強化型追従を実施するために、演奏者の解釈速度に関する何らの不適当な想定も含まない。テンポVのモデル化により、演奏者による現在のテンポTpo_perfの推定が可能になる。この推定は、高度同期化の用途に極めて有用であると理解され得る。テンポDiは楽譜10内で有意に変化し得;そのため演奏者による精確なテンポTpo_perfが検討され、テンポVが以下の式の関数として推定される:
Figure 2017519255
このテンポVの推定は、楽譜10に対する演奏者の相対演奏速度を付与する。この速度推定をするために、マルコフ連鎖のビタビ復号法に適用可能なアルゴリズムのうちの1つを使用し得る。この復号法は、標的状態に繋がる蓋然性が最も高い状態連続の追跡を可能にする、動的復号法プログラミング技法である。明示的期間を用いるマルコフ連鎖の場合、標的は、厳密には状態ではなく確率Li、jの状態Si内の時相オフセットjPである。具体的に言えば、各標的は、その履歴を記憶するサイズKのベクトルMi、jを有する。ベクトルMi、jは、移行部ステップで、次式に従って更新される:
Figure 2017519255
i max=arg maxji、かつshift(Mi,j)で
Figure 2017519255
を全kに対し演算割り当てをする。
ベクトルMi、jは、前回のK状態で費やされた時間を要約し、それにより次式に従って所与の標的に対してテンポ推定の取得を可能にする:
Figure 2017519255
最終的なテンポは、(i,j)=arg maxi,jLi,jにより索引付けられた、蓋然性が最も高い標的に基づいて
Figure 2017519255
を評価することにより取得される。テンポ推定を一旦算定したら、理論コードSiと関連付けられた期間Diに修正を施す。この期間Di変更により、演奏者により演奏される次の音声フレームTrに対する好適な処理が可能になる。
楽譜10の追従方法は、その確率的性質から、間違いにより演奏者に対して稚拙な示唆を提示する可能性がある。こうした誤りは、演奏者が楽譜10を過度に自由に解釈した際に自身の演奏等で何回かの誤りを犯したときに起こり得る。本方法の提案による情報が信頼し得ない場合(例えば、演奏者への警告)の最良の対処のために、例えば先に詳述した「リベース」ステップを使用することにより推定装置による適合性を判定する評価規準を導入することは有益であるかもしれない。この手順中、用語maxn、m(Ln、m)は、考察に係る前回のフレームTrにより生じた全面的ペナルティとして解釈され得る。前回のNフレームについてmaxn、m(Ln、m)を平均することにより、前回のNPミリ秒の演奏に関するペナルティを取得することが可能である。したがって、超過した場合に推定が信頼し得ると判定される閾値を設定することが可能である。
楽譜10に関しては、第1の概算では、演奏者は楽譜10の直前の理論コードである状態Si−1から状態Siに到達し得ると考えられ得る。言い換えれば、演奏者はあらゆるコードを演奏する。実際には、演奏者はこのような稽古を有することはほとんどない;逆に、演奏者は力を養うことを切望し、彼らが練習中の楽曲内で前後に移動し、停止し、その後別の箇所で再開するかもしれない。この想定に取り組むために、本発明方法は、移行部確率の選択により生じた連続性を断ちながら、楽譜10内での「ジャンプ」の遂行を可能にする。「対数確率」空間では、値0は確率1に対応し、値−1は確率0(狭義の不可能)に対応する。本方法は、0未満または場合によっては−1に等しい「対数確率」を楽譜10のある特定の区画と関連付ける。演奏者の演奏履歴に基づいて確立されるそのような値は、当該区画を新たな演奏区域の開始点とみなすアルゴリズムの可能性を、引き続き分析されるフレームがそのような示唆をするとしても、ほぼ完全に妨げる。
これを改善するために、過度に小さくなった確率Li、jのチャート化が可能である。実際には、この確率Li、jは、実行される閾値化演算により以下の式に従って明らかになる:
Figure 2017519255
式中、Zは所望の閾値である。当該閾値は慎重に選択するべきである;この閾値は、その効果が任意の状況で蓋然性の等しい楽譜の各区画を表現するのだが、有効に維持されるように高すぎまたは低すぎてはならない。このように、演奏の不連続性がモデル内で許容され、そのような不連続性が生じたとき、本方法は新たな位置Pxに収束するのに僅か数秒しか要さない。
本発明はこのように、読み取りラインに関する演奏者のテンポ及び変化を考慮することによりデジタル楽譜10の演奏者による解釈に従って演奏者を能率的に誘導することを可能にする。

Claims (7)

  1. 楽譜(10)上にマーキング要素(11)を表示(20)するステップ、及び
    マーキング要素(11)を移動(21)するステップ、
    を含む、楽譜(10)を追従する方法であって、
    リアルタイムに遂行される、
    期間(Di)のデータフレーム(Tr)の形態で演奏者により放出された少なくとも1つの音(12)を記録(23)するステップ、
    データフレーム(Tr)の内容(Ci)に基づいて少なくとも1つの半音階ベクトル(Vx)を推定(24)するステップ、
    半音階ベクトル(Vx)を楽譜(10)の理論半音階ベクトル(V1、V2、Vi、VI−1)と比較(26)するステップ、
    半音階ベクトル(Vx)と直前の半音階ベクトル(Vx−1)との間の移行部(Tx)を楽譜(10)の理論移行部(T1、Ti、TI−1)と比較(27)するステップ、及び
    演奏者の練習位置(Px)を半音階ベクトル(Vx)の比較(26)及び移行部(Tx)の比較(27)、の直前の練習位置(Px−1)の関数として推定(28)するステップ、
    を更に含み、
    マーキング要素(11)の表示(20)及び移動(21)のステップは、演奏者の練習位置(Px)の関数として実行され、かつ
    記録のステップ(23)は、移行部(Tx)の期間(Dx)と基準期間(Dref)との間の比率の関数として適合された期間(Di)にわたって実行される、
    ことを特徴とする、
    方法。
  2. 半音階ベクトル(Vx)は楽譜(10)の理論半音階ベクトル(V1、V2、Vi、VI−1)により正規化(25)されるステップを含むことを特徴とする、請求項1に記載の方法。
  3. 半音階ベクトル(Vx)を楽譜(10)の理論半音階ベクトル(V1、V2、Vi、VI−1)と比較(26)するステップは、
    半音階ベクトル(Vx)と各理論半音階ベクトル(V1、V2、Vi、VI−1)との間のユークリッド距離(Ei)を推定するサブステップ、
    取得されたユークリッド距離(Ei)の合計を正規化するサブステップ、及び
    各理論半音階ベクトル(V1、V2、Vi、VI−1)中に半音階ベクトル(Vx)が帰属する確率を推定するサブステップ、
    を含むことを特徴とする、請求項1または2に記載の方法。
  4. 半音階ベクトル(Vx)と直前の半音階ベクトル(Vx−1)との間の移行部(Tx)を比較(27)するステップは、ポアソンの法則によって遂行されることを特徴とする、請求項1から3のいずれかに記載の方法。
  5. 少なくとも1つの推定は対数尺で遂行されることを特徴とする、請求項1から4のいずれかに記載の方法。
  6. 記録のステップ(23)の期間(Di)の推定は、ビタビ復号法アルゴリズムによって遂行されることを特徴とする、請求項1から5のいずれかに記載の方法。
  7. 少なくとも1つの推定は閾値を含み、該閾値未満では推定は該当しないと判定されてその結果は利用されないことになることを特徴とする、請求項1から6のいずれかに記載の方法。
JP2017517192A 2014-06-10 2015-06-08 楽譜の追従方法及びそれに関連したモデル化方法 Pending JP2017519255A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1455248A FR3022051B1 (fr) 2014-06-10 2014-06-10 Procede de suivi d'une partition musicale et procede de modelisation associe
FR1455248 2014-06-10
PCT/EP2015/062735 WO2015189157A1 (fr) 2014-06-10 2015-06-08 Procede de suivi d'une partition musicale et procede de modelisation associe

Publications (1)

Publication Number Publication Date
JP2017519255A true JP2017519255A (ja) 2017-07-13

Family

ID=52450217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517192A Pending JP2017519255A (ja) 2014-06-10 2015-06-08 楽譜の追従方法及びそれに関連したモデル化方法

Country Status (7)

Country Link
US (1) US9865241B2 (ja)
EP (1) EP3155608B1 (ja)
JP (1) JP2017519255A (ja)
CN (1) CN107077836A (ja)
CA (1) CA2950816A1 (ja)
FR (2) FR3022051B1 (ja)
WO (1) WO2015189157A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2609444T3 (es) * 2014-03-12 2017-04-20 Newmusicnow, S.L. Método, dispositivo y programa informático para desplazar una partitura musical
US10665124B2 (en) * 2017-03-25 2020-05-26 James Wen System and method for linearizing musical scores
JP6708179B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
US10586519B2 (en) * 2018-02-09 2020-03-10 Yamaha Corporation Chord estimation method and chord estimation apparatus
EP3579223B1 (en) * 2018-06-04 2021-01-13 NewMusicNow, S.L. Method, device and computer program product for scrolling a musical score
CN108711415B (zh) * 2018-06-11 2021-10-08 广州酷狗计算机科技有限公司 纠正伴奏和干音之间的时延的方法、装置及存储介质
US10460712B1 (en) * 2018-12-10 2019-10-29 Avid Technology, Inc. Synchronizing playback of a digital musical score with an audio recording
US10748515B2 (en) * 2018-12-21 2020-08-18 Electronic Arts Inc. Enhanced real-time audio generation via cloud-based virtualized orchestra
US10790919B1 (en) 2019-03-26 2020-09-29 Electronic Arts Inc. Personalized real-time audio generation based on user physiological response
US10799795B1 (en) 2019-03-26 2020-10-13 Electronic Arts Inc. Real-time audio generation for electronic games based on personalized music preferences
US10657934B1 (en) * 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
CN110111761B (zh) * 2019-03-28 2022-03-11 深圳市芒果未来科技有限公司 对乐音演奏进行实时跟随的方法及相关产品
US10643593B1 (en) * 2019-06-04 2020-05-05 Electronic Arts Inc. Prediction-based communication latency elimination in a distributed virtualized orchestra
US11017751B2 (en) * 2019-10-15 2021-05-25 Avid Technology, Inc. Synchronizing playback of a digital musical score with an audio recording
US10885891B2 (en) * 2020-01-23 2021-01-05 Pallavi Ekaa Desai System, method and apparatus for directing a presentation of a musical score via artificial intelligence
WO2024107949A1 (en) * 2022-11-16 2024-05-23 Music App Inc. Musical score performance alignment for automated performance evaluation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) * 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084168A (en) * 1996-07-10 2000-07-04 Sitrick; David H. Musical compositions communication system, architecture and methodology
KR100412196B1 (ko) * 2001-05-21 2003-12-24 어뮤즈텍(주) 악보 추적 방법 및 그 장치
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
WO2009001202A1 (en) * 2007-06-28 2008-12-31 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
CN101383149B (zh) * 2008-10-27 2011-02-02 哈尔滨工业大学 弦乐音乐颤音自动检测方法
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP5463655B2 (ja) * 2008-11-21 2014-04-09 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
CN103354092B (zh) * 2013-06-27 2016-01-20 天津大学 一种带检错功能的音频乐谱比对方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) * 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本 龍一: "隠れセミマルコフモデルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法", 情報処理学会研究報告 2012(平成24)年度, JPN6019006775, October 2012 (2012-10-01), JP, ISSN: 0004149580 *

Also Published As

Publication number Publication date
FR3022051B1 (fr) 2016-07-15
FR3022048A1 (fr) 2015-12-11
EP3155608B1 (fr) 2018-06-06
EP3155608A1 (fr) 2017-04-19
CN107077836A (zh) 2017-08-18
CA2950816A1 (fr) 2015-12-17
US20170110102A1 (en) 2017-04-20
US9865241B2 (en) 2018-01-09
WO2015189157A1 (fr) 2015-12-17
FR3022051A1 (fr) 2015-12-11

Similar Documents

Publication Publication Date Title
JP2017519255A (ja) 楽譜の追従方法及びそれに関連したモデル化方法
JP7448053B2 (ja) 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム
JP4640407B2 (ja) 信号処理装置、信号処理方法及びプログラム
CN109478399B (zh) 演奏分析方法、自动演奏方法及自动演奏系统
US6380474B2 (en) Method and apparatus for detecting performance position of real-time performance data
US10504498B2 (en) Real-time jamming assistance for groups of musicians
US10665216B2 (en) Control method and controller
CN111052223A (zh) 播放控制方法、播放控制装置及程序
JP4515054B2 (ja) 音声認識の方法および音声信号を復号化する方法
JP6759545B2 (ja) 評価装置およびプログラム
JP2005208648A (ja) スイッチング状態空間モデルによるマルチモーダル的変分推論を使用して音声を認識する方法
US20220310047A1 (en) User interface for displaying written music during performance
US20170316769A1 (en) Latency enhanced note recognition method in gaming
Nakamura et al. Real-time audio-to-score alignment of music performances containing errors and arbitrary repeats and skips
EP3979241A1 (en) Audio clip matching method and apparatus, computer-readable medium and electronic device
US9224406B2 (en) Technique for estimating particular audio component
CN113178183A (zh) 音效处理方法、装置、存储介质和计算设备
CN112309409A (zh) 音频修正方法及相关装置
JP5092589B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP5126055B2 (ja) 歌唱採点システムおよびプログラム
JP2001337675A (ja) 演奏支援装置および演奏支援方法
WO2019022117A1 (ja) 演奏解析方法およびプログラム
JP4613817B2 (ja) 運指表示装置、及びプログラム
US20230245636A1 (en) Device, system and method for providing auxiliary information to displayed musical notations
JP6597048B2 (ja) アライメント装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190612

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191119