JP2006201278A - 楽曲の拍節構造の自動分析方法および装置、ならびにプログラムおよびこのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】従来よりも高次の拍節構造を分析できるようにする。
【解決手段】楽譜データＭｕｓｉｃＸＭＬおよびグルーピング構造分析結果ＧｒｏｕｐｉｎｇＸＭＬに基づき、楽曲中の各拍点の局所的な強さの値を算出し、各拍点に対応づけてその強さの値を記憶手段に記憶する（ステップＳ１）。その後、次の階層の拍節構造のすべての候補において、その候補に含まれる拍点の強さの値を記憶手段から読み出して総和を求め、それぞれの候補における拍点の強さの値の総和を比較し、総和が最も大きい候補を次の階層の拍節構造として選択する（ステップＳ２）。
【選択図】 図２

Description

本発明は、楽曲の拍節構造の自動分析方法および装置に関し、より詳しくは、４分音符／２分音符／１小節／２小節／３小節など、階層的に強拍と弱拍を同定する拍節構造の分析方法および装置に関する。

人間が音楽を聴くとき、初めて聞くような旋律でも心地よく感じたり、音が外れているように聞こえるのはなぜだろうか、このような問いに対する研究は古くから行われてきた。その中で、楽曲を音符列という符号化された情報であるという視点から構造的に分析し、音楽認識を客観的に捉えようという理論がある。Generative Theory of Tonal Music（ＧＴＴＭ）は、そのような理論の中の一つであり、様々な理由により計算機上での自動化が有望視されている。ＧＴＴＭによる楽曲の分析が自動化されれば、これまでの音楽検索エンジンとは違ったアプローチによる楽曲検索エンジンの作成や、自動伴奏システム、作曲支援などへの応用が期待できる。

ＧＴＴＭは、グルーピング構造分析、拍節構造分析、タイムスパン簡約、プロロンゲーション簡約という４つのサブ理論から構成される。このうち、拍節構造分析は、４分音符／２分音符／１小節／２小節／３小節など、それぞれの拍節レベル（階層）における強拍と弱拍を同定するもので、聴取者が曲に合わせて手拍子を打つタイミングや指揮者がタクトを振るタイミングを求めるような分析である。
拍節構造分析は、拍節構成ルール（Metrical Well-Formedness Rules：ＭＷＦＲ）と、拍節選好ルール（Metrical Preference Rule：ＭＰＲ）の２種類によって定義されている。ＭＷＦＲは、拍節構造が成立するために必要な条件の制約であり、ＭＰＲは、ＭＷＦＲが成り立つ拍節構造が複数存在する場合に、どれが好ましいかを示すルールである。

上述したＧＴＴＭは、元々計算機上への実装を目指した理論ではない。このため、計算機上でのＧＴＴＭの自動化には多くの問題がある。第１に、ＭＰＲを適用する際に、ルールの適用順序が決まっていないので、ルールの競合がしばしば起きる。第２に、ＭＰＲの定義には、抽象的で曖昧な部分が多く含まれているので、計算機への実装が困難である。

一方、拍節構造を自動分析可能な従来の技術として、ビートトラッキング（拍節追跡）と呼ばれる技術がある（例えば、非特許文献１を参照）。このビートトラッキングを用いることにより、階層的な拍節構造を獲得できる。
ビートトラッキングでは、音楽ジャンルを限定して予めリズムパターンのテンプレートを用意し、小節の先頭を検出する。このリズムパターンのテンプレートは、繰り返しの単位である１小節程度の範囲までには有効であるが、２小節、４小節よりも広くなるとあまり機能しなくなる。このため、ビートトラッキングには、１小節程度よりも広い（つまり高次の）拍節構造を分析できない。

なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
Masataka Goto, An Audio-based Real-time Beat Tracking System for Music With or Without Drum-sounds, journal of New Music Reserch, 30:2, pp.159-171,2001 Lerdahl, F., and R. Jackendoff. A Generative Theory of Tonalo Music. Cambrige, Massachusetts: MIT Press, 1983

ビートトラッキングの例で説明したように、拍節構造を自動分析可能な従来の技術には、１小節程度よりも高次の拍節構造を分析できないという問題があった。
これに対し、ＧＴＴＭは、拍節構造分析のルールが１小節よりも高次の拍節構造にも適用可能なように定義されており、高次の拍節構造分析も可能である。しかし、ルールの競合や定義の曖昧性から、ＧＴＴＭの拍節構造分析を計算機上に実装し、自動化を図ることが困難であるという問題があった。

本発明は、このような課題を解決するためになされたものであり、その目的は、従来よりも高次の拍節構造分析を自動化することにある。

このような目的を達成するために、本発明に係る楽曲の拍節構造の自動分析方法は、楽曲データに示される連続した個々の音の特性に基づき、楽曲中のそれぞれの拍点の強さの値を算出し、拍点に対応づけてその強さの値を記憶手段に記憶する第１のステップと、次の階層の拍節構造のそれぞれの候補において、その候補に含まれる拍点の強さの値を記憶手段から読み出して総和を求め、それぞれの候補における拍点の強さの値の総和を比較することにより、候補の中から次の階層の拍節構造を選択する第２のステップとを備えることを特徴とする。

ここで、第１のステップは、複数の評価指標と、それぞれの評価指標に対する重みとに基づき、拍点の強さの値を算出するようにしてもよい。
また、第１のステップは、評価指標に基づいて拍点の評価値と閾値とを比較し、その結果に基づき拍点の強さの値を増大させるようにしてもよい。
また、第２のステップは、強拍と弱拍とが交互に現れる頻度が低い候補ほど小さい重みを用い、この重みを拍点の強さの値の総和にかけた値を比較することにより、候補の中から次の階層の拍節構造を選択するようにしてもよい。

また、本発明に係る楽曲の拍節構造の自動分析装置は、楽曲データに示される連続した個々の音の特性に基づき、楽曲中のそれぞれの拍点の強さの値を算出する拍点強度算出手段と、拍点に対応づけてその強さの値を記憶する記憶手段と、次の階層の拍節構造のそれぞれの候補において、その候補に含まれる拍点の強さの値を記憶手段から読み出して総和を求め、それぞれの候補における拍点の強さの値の総和を比較することにより、候補の中から次の階層の拍節構造を選択する拍節構造選択手段とを備えることを特徴とする。

ここで、拍点強度算出手段は、複数の評価指標と、それぞれの評価指標に対する重みとに基づき、拍点の強さの値を算出するものであってもよい。
また、拍点強度算出手段は、評価指標に基づいて拍点の評価値と閾値とを比較し、その結果に基づき拍点の強さの値を増大させるものであってもよい。
また、拍節構造選択手段は、強拍と弱拍とが交互に現れる頻度が低い候補ほど小さい重みを用い、この重みを拍点の強さの値の総和にかけた値を比較することにより、候補の中から次の階層の拍節構造を選択するものであってもよい。

また、本発明に係る拍節構造分析プログラムは、上述した楽曲の拍節構造の自動分析方法をコンピュータに実行させるためのプログラムである。
また、本発明に係る記録媒体は、拍節構造分析プログラムを記録した機械読み取り可能な記録媒体である。

本発明では、楽曲中の各拍点の強さの値を算出し、各拍点の強さに基づき次の階層の拍節構造を選択する。
また、各拍点の強さの値の算出に、複数の評価指標と、各評価指標に対する重みとを用いる。これにより、評価指標の間の優先順位が決まり、評価指標の競合を防止できる。
また、各拍点の強さの値を算出するときに、拍点の評価値と閾値とを比較を行なう。このように閾値を設定することにより、たとえ評価指標の定義が曖昧であっても、評価指標を定式化することが可能となる。
これにより、ルールの競合や定義の曖昧性の問題があるＧＴＴＭのような音楽理論であっても、計算機上に実装し、拍節構造分析を自動化を図ることが可能となる。したがって、本発明によれば、従来よりも高次の拍節構造分析が可能となる。

図１は、ＧＴＴＭに基づく音楽分析の全体構成を示す図である。
この音楽分析は、グルーピング構造分析、拍節構造分析、タイムスパン簡約という３つの処理から構成される。本発明は、このうちの拍節構造分析に関するものである。

図２は、本発明の一実施の形態に係る拍節構造分析方法の概要を示す図である。
この拍節構造分析方法は、現在の階層（拍節レベル）の拍節構造における各拍点の局所的な強さＤ_i ^low-level（ｉは自然数）を算出するステップＳ１と、ステップＳ１の算出結果に基づいて次の階層（拍節レベル）の拍節構造の候補ｍ（ハット）＝１，２，３，４，５の中から１つを選択するステップＳ２とからなり、次の階層の拍節構造の拍点が１つになるまでステップＳ１，Ｓ２を再帰的に繰り返すことにより（ステップＳ３）、楽曲の階層的な拍節構造を獲得するものである。拍節構造分析の対象は、グルーピング構造分析により得られた楽曲のグループ内である。

ステップＳ１においては、例えばＭｕｓｉｃＸＭＬで記述された楽譜データ（楽曲データ）およびＧｒｏｕｐｉｎｇＸＭＬで記述されたグルーピング構造分析結果を入力とし、評価指標としてＧＴＴＭの拍節選好ルールＭＰＲ１，２，３，４，５を適用して、現在の階層の拍節構造における各拍点の局所的な強さＤ_i ^low-levelを算出する。
ステップＳ２においては、次の階層の拍節構造の候補ｍ（ハット）＝１，２，３，４，５のそれぞれについて、その候補に含まれる各拍点の局所的な強さＤ_i ^low-levelの値の総和を求め、総和が最大となった候補を次の階層の拍節構造として選択する。
拍節構造の分析結果は、例えばＭｅｔｒｉｃａｌＸＭＬ形式で出力される。

１．データ形式
［ＭｕｓｉｃＸＭＬ］
ＭｕｓｉｃＸＭＬは、ＸＭＬ（extensible mark-up language）に基づく楽譜表記の方法で、アトリビュートエレメントとノートエレメントとからなる。アトリビュートエレメントには、調記号、拍子記号および音部記号が記述され、ノートエレメントには、音高、音価およびノーテーションエレメントが記述される。ノーテーションエレメントには、タイ、スラー、フェルマータ、アルペジオ、強弱記号、装飾音、アーティキュレーションなどが記述される。

［ＧｒｏｕｐｉｎｇＸＭＬ］
ＧｒｏｕｐｉｎｇＸＭＬは、グループエレメントと、ノートエレメントと、アプライドエレメントとからなる。すべてのノートエレメントは、発音時刻順に並んでおり、階層的なグループエレメントの内部に存在する。アプライドエレメントは、グループの終了タグと次のグループの開始タグとの間に位置し、ＧＴＴＭのグルーピング選好ルールＧＰＲの適用位置を表す。

［ＭｅｔｒｉｃａｌＸＭＬ］
ＭｅｔｒｉｃａｌＸＭＬは、メトリックエレメントと、メトリックエレメントの内部にあるアプライドエレメント、ノートエレメントとからなる。メトリックエレメントは、楽曲中の拍の強さを最小拍節レベルの拍ごとに表し、アプライドエレメントは、各拍節レベルに適用されるルールを表す。

２．拍節選好ルールＭＰＲの適用
以下、ＭＰＲ１，２，３，４，５ａ，５ｂ，５ｃ，５ｄ，５ｅの適用について説明する。なお、評価関数Ｄ_ik ^MPR1およびＤ_i ^{MPRj(=2,3,4,5a,5b,5c,5d,5e)}は、各ＭＰＲが成立する度合いを表す関数であり、０から１の値で示される。

［基本変数の算出］
ＭｕｓｉｃＸＭＬで記述された楽譜データから、５つの基本変数を算出する。５つの基本変数とは、拍点から始まる音のベロシティvelo_i、拍点の音価valu_i、連続する音量の長さvol_i、拍点のスラーの長さslur_i、拍点の音高num_iである。各基本変数に付いている添え字のｉは、現在の階層で何番目の拍点であるかを表している。各基本変数の平均値をそれぞれμ_velo，μ_valu，μ_vol，μ_slur，μ_numとする。
連続する音量の長さvol_iについて補足説明する。例えばピアノで、ある音がある音量で鳴っていた時間を考える。譜面上の音価が４分音符であって、実際には８分音符や１６分音符の長さしか音量が持続しない場合がある。あるいはスタカートが付いている音符は、通常、譜面上の音価よりも短く演奏される。連続する音量の長さvol_iとは、ある拍点から次の拍点まで鳴っていた時間を最大（例えば１．０）として、実際に音量が持続して音が鳴り続けた時間の割合を示す。
図３に、これら５つの基本変数の具体例を示す。

［ＭＰＲ１の適用］
ＭＰＲ１では、並列的なグループは並列的な拍節構造を優先する。本実施の形態では、ＭＰＲ１を式（１）のように定式化する。

next(j)はmin([n＞j|velo_n＞0])と定義され、拍点ｊの所にある音の次に現れる音の拍点を意味する。
ｘ_ikは並列性を比較する両方のグループに含まれる音の総数、ｙ_ikは発音時刻が一致する音の総数（音高変化の総数）、ｚ_ikは発音時刻が一致する音のうち音高変化が一致する音の総数を表す。したがって、ｙ_ik／ｘ_ikはグループ間で発音時間が一致する割合（リズム方向の一致性）、ｚ_ik／ｙ_ikはグループ間で音高変化が一致する割合（音高方向の一致性）を意味する。それぞれ、値が大きい（１に近い）ほど並列性が高い。
具体例を図４に示す。この例では、発音時間が一致する割合（ｙ_ik／ｘ_ik）＝６／７、音高変化が一致する割合（ｚ_ik／ｙ_ik）＝２／６となる。

これら２つの割合の重み付け和で並列の度合いを表現するために、調節可能なパラメータＷ_r（０≦Ｗ_r≦１）を導入する。Ｗ_rは、リズム方向のずれと音高方向のずれとのどちらを重視するかを決める重みである。値が大きいほど音高の方を重視する。
また、拍点ｉと拍点ｋとが並列的であるか（評価関数Ｄ_ik ^MPR1＝１）、そうでないか（評価関数Ｄ_ik ^MPR1＝０）を決める閾値として、調節可能なパラメータＴ^MPR1（０≦Ｔ^MPR1≦１）を導入する。値が大きいほどＭＰＲ１が成立しにくくなる。

比較対象となるグループは、拍点ｉを含み拍点が２つ以上ある最も小さなグループである。グループの先頭の拍点のｉをｉ^start、グループの終わりの拍点のｉをｉ^endとすると、ｉ^start≦ｉ≦ｉ^endが成立している。ｋに付いても同様に、ｋ^start≦ｋ≦ｋ^endが成立している。ＭＰＲ１では、グループをまたがるような旋律の並列性は考えないので、ｉとｋの上限はそれぞれｉ^endとｋ^endである。

［ＭＰＲ２の適用］
ＭＰＲ２では、最も強い拍がグループの中で比較的早くでる拍節構造を優先する。したがって、ＭＰＲ２を式（２）のように定式化する。評価関数Ｄ_i ^MPR2は、拍点がグループの先頭に近いほど大きな値を示す関数である。評価関数Ｄ_i ^MPR2をグラフ化したものを図５に示す。
Ｄ_i ^MPR2＝（ｉ^end−ｉ）／（ｉ^end−ｉ^start） （２）

［ＭＰＲ３の適用］
ＭＰＲ３では、拍点に音符がある拍節構造を優先する。したがって、ＭＰＲ３を式（３）のように定式化する。評価関数Ｄ_i ^MPR3をグラフ化したものを図６に示す。

［ＭＰＲ４，５ａ，５ｂ，５ｃの適用］
ＭＰＲ４では、強く弾いた拍が強拍となる拍節構造を優先する。ＭＰＲ５ａ，５ｂ，５ｃでは、相対的に長い音、長い音量、長いスラーが強拍となる拍節構造を優先する。
ＧＴＴＭでは、具体的にどの程度のものが強く、どの程度のものが長いのかが定義されていない。そこで、本実施の形態では、それらの判断するための閾値として調節可能なパラメータＴ^MPRj（０≦Ｔ^MPRj≦１，ｊ＝４，５ａ，５ｂ，５ｃ）を導入し、ＭＰＲｊを式（４）〜式（７）のように定式化する。ルールが成立する場合には評価関数Ｄ_i ^MPRj＝１、成立しない場合には評価関数Ｄ_i ^MPRj＝０となる。なお、Ｔ^MPR4は、どの程度強く弾いた拍を強拍とするかを判断するための閾値であり、Ｔ^MPR5a，Ｔ^MPR5b，Ｔ^MPR5cは、どの程度相対的に長い音、長い音量、長いスラーを強拍とするかを判断するための閾値である。値が大きいほどルールが成立しにくくなる。

図７に、ＭＰＲｊの適用例を示す。ベロシティvelo_i、音価valu_i、連続する音量の長さvol_i、スラーの長さslur_iがそれぞれ閾値Ｔ^MPRj（ｊ＝４，５ａ，５ｂ，５ｃ）を超えるところでＭＰＲｊが成立する。

［ＭＰＲ５ｄの適用］
ＭＰＲ５ｄでは、相対的に長いアーティキュレーションパターンの繰り返しが強拍となる拍節構造を優先する。ＧＴＴＭでは、アーティキュレーションパターンの繰り返しに関する具体的な定義がない。ここでは、非特許文献２での適用例から、ＭＰＲ５ａが連続して適用されている場所であると判断し、ＭＰＲ５ｄを式（８）のように定式化する。ＭＰＲ５ａが連続している場合には評価関数Ｄ_i ^MPR5d＝１、連続していない場合には評価関数Ｄ_i ^MPR5d＝０となる。

［ＭＰＲ５ｅの適用］
ＭＰＲ５ｅでは、同一音高が連続している場合に強拍となる拍節構造を優先する。したがって、ＭＰＲ５ｅを式（９）のように定式化する。次の拍点と音高が同じ場合にはＤ_i ^MPR5e＝１、異なる場合にはＤ_i ^MPR5e＝０となる。

３．局所的な拍点の強さの算出
まず、各拍点において、Ｄ_i ^{MPRj(j=2,3,4,5a,5b,5c,5d,5e)}の重み付け和Ｂ_iを算出する。ここで、調節可能なパラメータＳ^MPRj（０≦Ｓ^MPRj≦１）を導入する。Ｓ^MPRjは、各ＭＰＲｊの相対的な強さを決める重みである。値が大きいほど、ルールの影響が強くなる。
次に、重み付け和Ｂ_iを用いて、各拍点の局所的な強さＤ_i ^low-levelを算出する。この際、式（１０）に示すように、ＭＰＲ１を反映させる。ここで、調節可能なパラメータＳ^MPR1を導入する。Ｓ^MPR1は、ＭＰＲ１の強さを決める重みである。

４．階層的な拍節構造の獲得
次の階層の拍節構造には、図８に示すような５つの候補ｍ（ハット）＝１〜５が考えられる。局所的な拍点の強さＤ_i ^low-levelを用いて、これらの５つの候補の中から１つを次の階層の拍節構造として選択する。具体的には、各候補についてその候補に含まれる各拍点の局所的な強さＤ_i ^low-levelの値の総和を求め、総和が最大となった候補を次の階層の拍節構造として選択する。

この際、ＭＰＲ１０を反映させる。ＭＰＲ１０では、強拍と弱拍とが交互に現れる拍節構造を優先する。ここでは調節可能なパラメータＳ^MPR10（０≦Ｓ^MPR10≦１）を導入し、式（１１）のように定式化する。すなわち、強拍と弱拍とが交互に現れる頻度が低い候補ｍ（ハット）＝３，４，５でＤ_i ^low-levelの値の総和を求める際に、Ｄ_i ^low-levelの値を小さくするＳ^MPR10を掛ける。Ｓ^MPR10は、ＭＰＲ１０の強さを決める重みである。
現在の階層（拍節レベル）に拍点が２つ以上ある場合には、式（１１）により次の階層の拍節構造が求まる。

５．拍節構造分析装置
次に、上述した拍節構造分析方法を実現する装置について説明する。

［第１の構成例］
図９は、拍節構造分析装置の第１の構成例を示すブロック図である。
この拍節構造分析装置は、ＭｕｓｉｃＸＭＬで記述された楽譜データから各種の基本変数（velo_i，valu_i，vol_i，slur_i，num_i）を算出する基本変数算出部１と、ＧｒｏｕｐｉｎｇＸＭＬで記述されたグルーピング構造分析結果から各種の基本変数（ｉ^start，ｉ^end）を算出する基本変数算出部２と、基本変数算出部１，２において算出された基本変数を記憶する基本変数記憶部３と、各種のパラメータ（Ｗ_r，Ｔ^{MPRj(j=1,4,5a,5b,5c)}，Ｓ^{MPRj(j=1,2,3,4,5a,5b,5c,5d,5e,10)}を設定するパラメータ設定部４と、各種の基本変数とパラメータから現在の階層の拍節構造における各拍点の局所的な強さＤ_i ^low-levelを算出する局所的拍点強度算出部５と、Ｄ_i ^low-levelを記憶する拍点強度記憶部６と、Ｄ_i ^low-levelに基づいて次の階層の拍節構造を選択する拍節構造選択部７と、各階層の拍節構造を記憶する階層的拍節構造記憶部９と、階層的拍節構造記憶部９に記憶されている分析結果をＭｅｔｒｉｃａｌＸＭＬ形式で出力する分析結果出力部９とから構成される。

局所的拍点強度算出部５は更に、式（１）を計算することによりＭＰＲ１を評価するＭＰＲ１評価部５１と、式（２）を計算することによりＭＰＲ２を評価するＭＰＲ２評価部５２と、式（３）を計算することによりＭＰＲ３を評価するＭＰＲ３評価部５３と、式（４）〜（７）を計算することによりＭＰＲ４，５ａ〜５ｃを評価するＭＰＲ４，ＭＰＲ５ａ〜５ｃ評価部５４と、式（８）を計算することによりＭＰＲ５ｄを評価するＭＰＲ５ｄ評価部５５と、式（９）を計算することによりＭＰＲ５ｅを評価するＭＰＲ５ｅ評価部５６と、評価関数Ｄ_i ^{MPRj(j=2,3,4,5a,5b,5c,5d,5e)}の重み付け和Ｂ_iを算出する重み付け和算出部５７と、式（１０）を計算することにより拍点の強さＤ_i ^low-levelを算出する拍点強度算出部５８とから構成される。

図１０は、図９に示した拍節構造分析装置の動作の流れを示すフローチャートである。
ＭｕｓｉｃＸＭＬで記述された楽譜データが入力されると（ステップＳ１１）、基本変数算出部１において各種の基本変数（velo_i，valu_i，vol_i，slur_i，num_i，μ_velo，μ_valu，μ_vol，μ_slur，μ_num）を算出し（ステップＳ１２）、算出結果を基本変数記憶部３に記憶する（ステップＳ１３）。
また、ＧｒｏｕｐｉｎｇＸＭＬで記述されたグルーピング構造分析結果が入力されると（ステップＳ１４）、基本変数算出部２において各種の基本変数（ｉ^start，ｉ^end）を算出し（ステップＳ１５）、算出結果を同じく基本変数記憶部３に記憶する（ステップＳ１６）。

パラメータ設定部４から各種のパラメータ（Ｗ_r，Ｔ^{MPRj(j=1,4,5a,5b,5c)}，Ｓ^{MPRj(j=1,2,3,4,5a,5b,5c,5d,5e,10)}が設定されると（ステップＳ１７，ＹＥＳ）、局所的拍点強度算出部５において現在の階層の拍節構造における各拍点の局所的な強さＤ_i ^low-levelを算出し、拍点強度記憶部６に記録する（ステップＳ１８）。

より詳しくは、まずＭＰＲ１評価部５１において、基本変数記憶部３から、拍節構造分析対象のグループの基本変数velo_i，num_i，ｉ^start，ｉ^endと、比較対象のグループの基本変数velo_k，num_k，ｋ^start，ｋ^endとを読み出し、パラメータＷ_r，Ｔ^MPR1を用いて式（１）を計算することによりＤ_ik ^MPR1を求め、拍点強度算出部５８に出力する。
また、ＭＰＲ２評価部５２において、基本変数記憶部３から基本変数ｉ^start，ｉ^endを読み出し、式（２）を計算することによりＤ_i ^MPR2を求め、重み付け和算出部５７に出力する。
また、ＭＰＲ３評価部５３において、基本変数記憶部３から基本変数velo_iを読み出し、式（３）を計算することによりＤ_i ^MPR3を求め、重み付け和算出部５７に出力する。
また、ＭＰＲ４，ＭＰＲ５ａ〜５ｃ評価部５４において、基本変数記憶部３から基本変数velo_i，valu_i，vol_i，slur_i，μ_velo，μ_valu，μ_vol，μ_slurを読み出し、パラメータＴ^{MPRj(j=4,5a,5b,5c)}を用いて式（４）〜式（７）を計算することによりＤ_i ^{MPRj(j=4,5a,5b,5c)}を求め、重み付け和算出部５７に出力する。Ｄ_i ^MPR5aについては、ＭＰＲ５ｄ評価部５６にも出力する。
また、ＭＰＲ５ｄ評価部５５において、入力されたＤ_i ^MPR5aを用いて式（８）を計算することによりＤ_i ^MPR5dを求め、重み付け和算出部５７に出力する。
また、ＭＰＲ５ｅ評価部５６において、基本変数記憶部３から基本変数num_iを読み出し、式（９）を計算することによりＤ_i ^MPR5eを求め、重み付け和算出部５７に出力する。

続いて、重み付け和算出部５７において、入力されたＤ_i ^{MPRj(j=2,3,4,5a,5b,5c,5d,5e)}に重みＳ^MPRjを掛けてから加算して重み付け和Ｂ_iを求め、拍点強度算出部５８に出力する。
そして、拍点強度算出部５８において、入力されたＢ_i，Ｄ_ik ^MPR1および重みＳ^MPR1を用いて式（１０）を計算し、拍点ｉの強さＤ_i ^low-levelを算出する。すなわち、拍点ｉに並列的な拍点ｋがない場合には、単に重み付け和Ｂ_iをＤ_i ^low-levelとする。これに対し、拍点ｉに並列的な拍点ｋがある場合には、すべての拍点ｋの重み付け和Ｂ_kに重みＳ^MPR1を掛けたものの総和をとり、これに拍点ｉの重み付け和Ｂ_iを加算したものをＤ_i ^low-levelとする。そして、Ｄ_i ^low-levelを拍点強度記憶部６に記録する。

拍節構造分析対象のグループ内のすべての拍点ｉ^start〜ｉ^endに対して以上の処理を行ない、各拍点の局所的な強さＤ_i ^low-levelを拍点強度記憶部６に記録する。

その後、拍節構造選択部７において、拍点強度記憶部６からすべての拍点の局所的な強さＤ_i ^low-levelを読み出し、重みＳ^MPR10を用いて式（１１）を計算する。
具体的には、まず、強拍と弱拍とが交互に現れる候補ｍ（ハット）＝１について、そこに含まれる各拍点（（ｉ−１）ｍｏｄ２＝０）の局所的な強さＤ_i ^low-levelの値の総和を求める。候補ｍ（ハット）＝２も強拍と弱拍とが交互に現れるので、同様の処理を行う。
次に、候補ｍ（ハット）＝３について、強拍と弱拍とが交互に現れる頻度が低いので、そこに含まれる各拍点（（ｉ−３）ｍｏｄ２＝１）の局所的な強さＤ_i ^low-levelの値に１以下の重みＳ^MPR10をものの総和を求める。候補ｍ（ハット）＝４，５も強拍と弱拍とが交互に現れる頻度が低いので、候補ｍ（ハット）＝３と同様の処理を行う。
そして、５つの候補における総和を比較し、総和が最大となる候補を次の階層の拍節構造として選択し、階層的拍節構造記憶部８に記録する（ステップＳ１９）。

次の階層の拍点の数が２つ以上であれば（ステップＳ２０，ＹＥＳ）、この階層において、各拍点の局所的な強さの算出（ステップＳ１８）と、さらに次の階層の拍節構造の選択（ステップＳ１９）を再び行う。そして、この再帰的処理を次の階層の拍点の数が１つになるまで繰り返す（ステップＳ２０，ＮＯ）。これにより、階層的な拍節構造を獲得できる。

階層的拍節構造記憶部８に記録された階層的な拍節構造を、分析結果出力部９を介してＭｅｔｒｉｃａｌＸＭＬ形式で出力する（ステップＳ２１）。
この後、パラメータ設定部４からパラメータの設定が変更されたときには（ステップＳ２２，ＹＥＳ）、ステップＳ１８〜Ｓ２１の一連の処理を繰り返し行う。

［第２の構成例］
図１１は、拍節構造分析装置の第２の構成例を示すブロック図である。
この拍節構造分析装置は、第１の構成例の諸機能をコンピュータ７０により実現するものである。コンピュータ７０は、演算処理部７１と記憶部７２ａ，７２ｂとインターフェース部（Ｉ／Ｆ部）７３ａ，７３ｂ，７３ｃとがバス７４により接続された構成となっている。Ｉ／Ｆ部７３ａ、７３ｂは、それぞれコンピュータ７０の外部装置である操作卓７５、表示装置７６とインタフェースをとる。

コンピュータ７０の動作を制御するプログラム７８は、光磁気ディスク、半導体メモリその他の記録媒体７７に記録された状態で提供される。この記録媒体７７がＩ／Ｆ部７３ｃに接続されると、演算処理部７１は記録媒体７７に書き込まれたプログラム７８を読み出し、記憶部７２ａに格納する。その後、操作卓７５からの指示に基づき、演算処理部７１が記憶部７２ａに格納されたプログラム７８を実行し、図９に示した各部１〜９の機能を実現する。
なお、プログラム７８が、インターネットなどのディジタル通信網を介して提供されてもよい。

６．実験結果
本実施の形態による拍節構造分析の性能の評価を、適合率Ｐ（precisioｎ）と再現率Ｒ（reca11）とを組み合わせたＦ値で評価する。Ｆ値は、適合率と再現率が高いほど、高くなる。
Ｆ値＝２×（Ｐ×Ｒ）／（Ｐ＋Ｒ） （１２）
ただし、
Ｐ：適合率（正解データの拍点と同じ拍点が、装置の出力に含まれている割合）
Ｒ：再現率（装置が出力した拍点と同じ拍点が、正解データに含まれている割合）

この実験では、クラッシック曲から切り出した８小節の長さの１００個のメロディに対して、拍節構造分析の正解データを作成した。いくつかの具体例を以下に挙げる。
１．つむぎ歌
２．小犬のワルツ
３．ソルヴェイグの歌
４．アルルの女
５．タランテラ
６．モルダウの流れ
７．別れの曲
８．ダニューブ川の漣
９．ホフマンの舟歌
１０．ジムノペティ

拍節構造は、パラメータの調整によって変化する。そこでまず、パラメータ調節前（ベースライン）の性能を求めた。パラメータの初期値は、Ｗ_r＝０．５、Ｔ^{MPRj(j=4,5a,5b,5c)}＝０．５、Ｓ^{MPRj(j=1,2,3,4,5a,5b,5c)}＝０．５である。次に、手作業で１曲につき１０分間でパラメータの調整を行った。
パラメータ調節前後のＦ値を図１２に示す。横軸の番号は上記の曲の番号、縦軸の値はＦ値である。この図から、パラメータ調節により拍節構造分析の性能が向上することを確認できる。具体的には、平均でＦ値が０．０６した。

ＧＴＴＭに基づく音楽分析の全体構成を示す図である。 本発明の一実施の形態に係る拍節構造分析方法の概要を示す図である。 楽譜データから算出される５つの基本変数の具体例を示す図である。 ＭＰＲ１の適用例を説明する図である。 評価関数Ｄ_i ^MPR2のグラフである。 評価関数Ｄ_i ^MPR3のグラフである。 ＭＰＲｊ（ｊ＝４，５ａ，５ｂ，５ｃ）の適用例を説明する図である。 次の階層の拍節構造の選択方法を説明する図である。 本発明の一実施の形態に係る拍節構造分析方法を実現する装置の第１の構成例を示すブロック図である。 図９に示した拍節構造分析装置の動作の流れを示すフローチャートである。 本発明の一実施の形態に係る拍節構造分析方法を実現する装置の第２の構成例を示すブロック図である。 パラメータ調節の効果を示す図である。

符号の説明

１，２…基本変数算出部、３…基本変数記憶部、４…パラメータ設定部、５…局所的拍節強度算出部、５１…ＭＰＲ１評価部、５２…ＭＰＲ２評価部、５３…ＭＰＲ３評価部、５４…ＭＰＲ４，ＭＰＲ５ａ〜５ｃ評価部、５５…ＭＰＲ５ｄ評価部、５６…ＭＰＲ５ｅ 評価部、５７…重み付け和算出部、５８…拍点強度算出部、６…拍点強度記憶部、７…拍節構造記憶部、８…階層的拍節構造記憶部、９…分析結果出力部、７０…コンピュータ、７１…演算処理部、７２ａ，７２ｂ…記憶部、７３ａ〜７３ｃ…インターフェース部、７４…バス、７５…操作卓、７６…表示装置、７７…記録媒体、７８…プログラム。

Claims (10)

1. 楽曲データに基づきその楽曲の階層的な拍節構造を分析する方法において、
   前記楽曲データに示される連続した個々の音の特性に基づき、前記楽曲中のそれぞれの拍点の強さの値を算出し、前記拍点に対応づけて前記強さの値を記憶手段に記憶する第１のステップと、
   次の階層の拍節構造のそれぞれの候補において、その候補に含まれる拍点の強さの値を前記記憶手段から読み出して総和を求め、それぞれの候補における前記拍点の強さの値の総和を比較することにより、前記候補の中から前記次の階層の拍節構造を選択する第２のステップと
   を備えることを特徴とする楽曲の拍節構造の自動分析方法。
2. 請求項１に記載の楽曲の拍節構造の自動分析方法において、
   前記第１のステップは、複数の評価指標と、それぞれの評価指標に対する重みとに基づき、前記拍点の強さの値を算出することを特徴とする楽曲の拍節構造の自動分析方法。
3. 請求項２に記載の楽曲の拍節構造の自動分析方法において、
   前記第１のステップは、前記評価指標に基づいて前記拍点の評価値と閾値とを比較し、その結果に基づき前記拍点の強さの値を増大させることを特徴とする楽曲の拍節構造の自動分析方法。
4. 請求項１〜３の何れか１項に記載の楽曲の拍節構造の自動分析方法において、
   前記第２のステップは、強拍と弱拍とが交互に現れる頻度が低い候補ほど小さい重みを用い、この重みを前記拍点の強さの値の総和にかけた値を比較することにより、前記候補の中から前記次の階層の拍節構造を選択することを特徴とする楽曲の拍節構造の自動分析方法。
5. 楽曲データに基づきその楽曲の階層的な拍節構造を分析する装置において、
   前記楽曲データに示される連続した個々の音の特性に基づき、前記楽曲中のそれぞれの拍点の強さの値を算出する拍点強度算出手段と、
   前記拍点に対応づけて前記強さの値を記憶する記憶手段と、
   次の階層の拍節構造のそれぞれの候補において、その候補に含まれる拍点の強さの値を前記記憶手段から読み出して総和を求め、それぞれの候補における前記拍点の強さの値の総和を比較することにより、前記候補の中から前記次の階層の拍節構造を選択する拍節構造選択手段と
   を備えることを特徴とする楽曲の拍節構造の自動分析装置。
6. 請求項５に記載の楽曲の拍節構造の自動分析装置において、
   前記拍点強度算出手段は、複数の評価指標と、それぞれの評価指標に対する重みとに基づき、前記拍点の強さの値を算出することを特徴とする楽曲の拍節構造の自動分析装置。
7. 請求項６に記載の楽曲の拍節構造の自動分析装置において、
   前記拍点強度算出手段は、前記評価指標に基づいて前記拍点の評価値と閾値とを比較し、その結果に基づき前記拍点の強さの値を増大させることを特徴とする楽曲の拍節構造の自動分析装置。
8. 請求項５〜７の何れか１項に記載の楽曲の拍節構造の自動分析装置において、
   前記拍節構造選択手段は、強拍と弱拍とが交互に現れる頻度が低い候補ほど小さい重みを用い、この重みを前記拍点の強さの値の総和にかけた値を比較することにより、前記候補の中から前記次の階層の拍節構造を選択することを特徴とする楽曲の拍節構造の自動分析装置。
9. 請求項１〜４の何れか１項に記載の楽曲の拍節構造の自動分析方法をコンピュータに実行させるための拍節構造分析プログラム。
10. 請求項９に記載の拍節構造分析プログラムを記録した機械読み取り可能な記録媒体。

Images