JP2007101780A - 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 - Google Patents
楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2007101780A JP2007101780A JP2005289732A JP2005289732A JP2007101780A JP 2007101780 A JP2007101780 A JP 2007101780A JP 2005289732 A JP2005289732 A JP 2005289732A JP 2005289732 A JP2005289732 A JP 2005289732A JP 2007101780 A JP2007101780 A JP 2007101780A
- Authority
- JP
- Japan
- Prior art keywords
- time span
- head
- music
- strength
- heads
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】楽曲データからタイムスパン木を自動的に獲得する。
【解決手段】自動分析装置のタイムスパン簡約部は、楽曲データが示す連続した個々の音の特性に基づき、楽曲中のそれぞれのタイムスパンにおけるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップS31と、現在の処理対象のタイムスパンの中にヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を記憶手段から読み出して比較することにより、候補の中から次の階層のヘッドを選択するヘッド選択ステップS32とを実行すると共に、次の階層のヘッドが1つになるまでステップS31,S32を再帰的に繰り返す。
【選択図】 図6
【解決手段】自動分析装置のタイムスパン簡約部は、楽曲データが示す連続した個々の音の特性に基づき、楽曲中のそれぞれのタイムスパンにおけるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップS31と、現在の処理対象のタイムスパンの中にヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を記憶手段から読み出して比較することにより、候補の中から次の階層のヘッドを選択するヘッド選択ステップS32とを実行すると共に、次の階層のヘッドが1つになるまでステップS31,S32を再帰的に繰り返す。
【選択図】 図6
Description
本発明は、音楽理論GTTMに基づき、楽曲のメロディの構造を木構造で階層的に表したタイムスパン木を自動的に獲得する楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体に関するものである。
人間が音楽を聴くとき、初めて聞くような旋律でも心地よく感じたり、音が外れているように聞こえるのはなぜだろうか、このような問いに対する研究は古くから行われてきた。その中で、楽曲を音符列という符号化された情報であるという視点から構造的に分析し、音楽認識を客観的に捉えようという理論がある。Generative Theory of Tonal Music(GTTM)は、そのような理論の中の一つであり、様々な理由により計算機上での自動化が有望視されている。GTTMによる楽曲の分析が自動化されれば、これまでの音楽検索エンジンとは違ったアプローチによる楽曲検索エンジンの作成や、自動伴奏システム、作曲支援などへの応用が期待できる(例えば、非特許文献1、非特許文献2参照)。
GTTMは、グルーピング構造分析、拍節構造分析、タイムスパン簡約、プロロンゲーション簡約という4つのサブ理論から構成される。このうち、タイムスパン簡約は、楽曲に含まれる各音の関係をタイムスパン木と呼ばれる2分木で表す分析である。タイムスパン簡約は、タイムスパン簡約構成ルール(Time-Span Reduction Well-Formedness Rule:TSRWFR)とタイムスパン簡約選好ルール(Time-Span Reduction Preference Rule:TSRPR)の2種類によって定義されている。TSRWFRは、タイムスパン木が成立するために必要な条件の制約であり、TSRPRは、TSRWFRが成立するタイムスパン木が複数存在する場合に、どれが好ましいかを示すルールである。
T.A.Nord,「Toward Theoretical verfication:Developing a computer model of Lerdahl and Jackendoff's generative theory of tonal music」,University of Wisconsin-Madison,p.84-118,1992
F.Lerdahl et al.,「A Generative Theory of Tonal Music」,MIT Press,p.146-178,1983
上述したGTTMは、元々計算機上への実装を目指した理論ではない。このため、計算機上でのGTTMの自動化には多くの問題がある。第1に、TSRPRを適用する際に、ルールの適用順序が決まっていないので、ルールの競合がしばしば起きるという問題があり、第2に、TSRPRの定義には、抽象的で曖昧な部分が多く含まれるので、計算機上への実装が難しいという問題がある。非特許文献1には、計算機を使ってタイムスパン木の獲得を行う例が開示されているが、ルールの競合の問題やルールの定義の曖昧さの問題が解消されておらず、多くのルールの適用を手作業で適用しており、分析の自動化は実現できていなかった。以上のように、従来の技術では、ルールの競合や定義の曖昧性から、GTTMのタイムスパン簡約を計算機上に実装し、自動化を図ることが困難であるという問題点があった。
本発明は、このような課題を解決するためになされたものであり、その目的は、楽曲データからのタイムスパン木の獲得を自動化することにある。
本発明は、楽曲データに基づきその楽曲のタイムスパン木を分析する自動分析方法であって、前記楽曲データが示す連続した個々の音の特性に基づき、前記楽曲中のそれぞれのタイムスパンにおける重要な音であるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップと、現在の処理対象のタイムスパンの中に前記ヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を前記記憶手段から読み出して比較することにより、前記候補の中から前記次の階層のヘッドを選択するヘッド選択ステップとを備えるものである。
また、本発明の楽曲のタイムスパン木の自動分析方法の1構成例において、前記ヘッド強度算出ステップは、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出するようにしたものである。
また、本発明の楽曲のタイムスパン木の自動分析方法の1構成例において、前記ヘッド強度算出ステップは、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させるようにしたものである。
また、本発明の楽曲のタイムスパン木の自動分析方法の1構成例において、前記ヘッド強度算出ステップは、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出するようにしたものである。
また、本発明の楽曲のタイムスパン木の自動分析方法の1構成例において、前記ヘッド強度算出ステップは、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させるようにしたものである。
また、本発明の楽曲のタイムスパン木の自動分析装置は、前記楽曲データが示す連続した個々の音の特性に基づき、前記楽曲中のそれぞれのタイムスパンにおける重要な音であるヘッドについてその強さを算出するヘッド強度算出手段と、前記強さの値をヘッドと対応付けて記憶する記憶手段と、現在の処理対象のタイムスパンの中に前記ヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を前記記憶手段から読み出して比較することにより、前記候補の中から前記次の階層のヘッドを選択するヘッド選択手段とを備えるものである。
また、本発明の楽曲のタイムスパン木の自動分析装置の1構成例において、前記ヘッド強度算出手段は、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出するものである。
また、本発明の楽曲のタイムスパン木の自動分析装置の1構成例において、前記ヘッド強度算出手段は、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させるものである。
また、本発明の楽曲のタイムスパン木の自動分析装置の1構成例において、前記ヘッド強度算出手段は、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出するものである。
また、本発明の楽曲のタイムスパン木の自動分析装置の1構成例において、前記ヘッド強度算出手段は、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させるものである。
また、本発明のタイムスパン木自動分析プログラムは、ヘッド強度算出ステップと、ヘッド選択ステップとを、コンピュータに実行させるようにしたものである。
また、本発明の記録媒体は、タイムスパン木自動分析プログラムを記録したものである。
また、本発明の記録媒体は、タイムスパン木自動分析プログラムを記録したものである。
本発明では、楽曲中のそれぞれのタイムスパンにおけるヘッドの強さを算出し、各ヘッドの強さの値を比較して次の階層のヘッドを選択することにより、楽曲データから階層的なタイムスパン木を自動的に獲得することができる。
そして、本発明では、ヘッドの強さを算出する際に、複数の評価指標(タイムスパン簡約選好ルール)と、それぞれの評価指標に対する重みとを用いることにより、各ルール間の優先順位を決めることができ、ルールの競合を防止することができる。
また、本発明では、ヘッドの強さを算出する際に、ヘッドの評価値と閾値とを比較することにより、たとえ評価指標の定義が曖昧であっても、評価指標を定式化することが可能となる。
これにより、本発明では、ルールの競合や定義の曖昧性の問題があるGTTMのような音楽理論であっても、コンピュータ上に実装することができ、タイムスパン木を自動で獲得することが可能となる。
そして、本発明では、ヘッドの強さを算出する際に、複数の評価指標(タイムスパン簡約選好ルール)と、それぞれの評価指標に対する重みとを用いることにより、各ルール間の優先順位を決めることができ、ルールの競合を防止することができる。
また、本発明では、ヘッドの強さを算出する際に、ヘッドの評価値と閾値とを比較することにより、たとえ評価指標の定義が曖昧であっても、評価指標を定式化することが可能となる。
これにより、本発明では、ルールの競合や定義の曖昧性の問題があるGTTMのような音楽理論であっても、コンピュータ上に実装することができ、タイムスパン木を自動で獲得することが可能となる。
以下、本発明の実施の形態について図面を参照して説明する。図1は、本発明の実施の形態に係る楽曲の自動分析装置の第1の構成例を示すブロック図である。図1の自動分析装置は、GTTMに基づく音楽分析を行うものであり、グルーピング構造分析部1と、拍節構造分析部2と、タイムスパン簡約部3とから構成される。
図2に、グルーピング構造、拍節構造、タイムスパン木の概要を示す。グルーピング構造分析は、連続したメロディをフレーズやモチーフなどに階層的に分割するもので、長いメロディを歌うときにどこで息継ぎすべきかを見つけるような分析である。
拍節構造分析は、4分音符、2分音符、1小節、2小節、4小節などの各拍節レベルにおける強拍と弱拍を同定するもので、聴取者が曲に合わせて手拍子を打つタイミングや指揮者がタクトを振るタイミングを求めるような分析である。
拍節構造分析は、4分音符、2分音符、1小節、2小節、4小節などの各拍節レベルにおける強拍と弱拍を同定するもので、聴取者が曲に合わせて手拍子を打つタイミングや指揮者がタクトを振るタイミングを求めるような分析である。
タイムスパン簡約は、メロディの重要な部分と装飾的な部分を分離するもので、構造的に重要な音が幹になるようなタイムスパン木を求める分析である。図3(A)は、メロディとそのタイムスパン木を描いたものであるが、そのタイムスパンは、図3(B)のようにヘッドと呼ばれる1つの音で代表させることができる(ここでは、C4の音)。
本発明はGTTMに基づく音楽分析のうちタイムスパン簡約に関するものであるが、タイムスパン簡約はグルーピング構造分析と拍節構造分析の結果に基づいて行われるので、タイムスパン簡約について説明するために、まずグルーピング構造分析と拍節構造分析について簡単に説明する。
図4は、楽曲のグルーピング構造の自動分析方法の概要を示す図である。自動分析装置のグルーピング構造分析部1は、図4に示すように、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップS11と、入力された楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップS12と、検出した局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を分析するグルーピング構造分析ステップS13と、グルーピング構造分析結果を出力する分析結果出力ステップS14とを実行する。
自動分析装置に入力される楽曲データは、メロディを構成する個々の音の特性、例えば音の高さ、長さ、強さ、間隔などのデータからなる。楽曲データとしては、例えばMusicXML形式のデータを用いることができる。MusicXMLは、XML(extensible mark-up language)に基づく楽譜表記の方法であり、アトリビュートエレメントとノートエレメントとからなる。アトリビュートエレメントには、調記号、拍子記号および音部記号が記述され、ノートエレメントには、音高、音価およびノーテーションエレメントが記述される。ノーテーションエレメントには、タイ、スラー、フェルマータ、アルペジオ、強弱記号、装飾音、アーティキュレーションなどが記述される。
自動分析装置のグルーピング構造分析部1は、楽曲データの分析の結果、例えばGroupingXMLで記述されたグルーピング構造分析結果を出力する。XMLに基づくデータ構造は、後述する拍節構造、タイムスパン木でも用いるが、階層的なグルーピング構造、拍節構造、タイムスパン木を表現する上で極めて適している。
GroupingXMLは、グループエレメントと、ノートエレメントと、アプライドエレメントとからなる。すべてのノートエレメントは、発音時刻順に並んでおり、階層的なグループエレメントの内部に存在する。アプライドエレメントは、グループの終了タグと次のグループの開始タグとの間に位置し、GTTMのグルーピング選好ルールGPR(Grouping Preference Rules)の適用位置を表す。
GroupingXMLは、グループエレメントと、ノートエレメントと、アプライドエレメントとからなる。すべてのノートエレメントは、発音時刻順に並んでおり、階層的なグループエレメントの内部に存在する。アプライドエレメントは、グループの終了タグと次のグループの開始タグとの間に位置し、GTTMのグルーピング選好ルールGPR(Grouping Preference Rules)の適用位置を表す。
以上のグルーピング構造分析方法の詳細については、文献「浜中雅俊他,“GTTMグルーピング構造分析の実装:ルールを制御するパラメータの導入”,情報処理学会研究報告,Vol.2004,No.41,2004年5月」に記載されている。このようなグルーピング構造分析方法により、楽曲の階層的なグルーピング構造を検出することができる。
次に、拍節構造分析について説明する。図5は、楽曲の拍節構造の自動分析方法の概要を示す図である。自動分析装置の拍節構造分析部2は、図5に示すように、楽曲データMusicXMLとグルーピング構造分析結果GroupingXMLに基づいて、現在の階層(拍節レベル)の拍節構造における各拍点の局所的な強さDi low-level(iは自然数)を算出するステップS21と、ステップS21の算出結果に基づいて次の階層の拍節構造の候補mハット(以下、文字上に付した「∧」をハットと呼ぶ)=1,2,3,4,5の中から1つを選択するステップS22とを実行すると共に、次の階層の拍節構造の拍点が1つになるまでステップS21,S22を再帰的に繰り返すことにより(ステップS23)、楽曲の階層的な拍節構造を獲得する。拍節構造分析の対象は、グルーピング構造分析により得られた楽曲のグループ内である。
ステップS21においては、楽曲データMusicXMLおよびグルーピング構造分析結果GroupingXMLを入力とし、評価指標としてGTTMの拍節選好ルールMPR(Metrical Preference Rule)1,MPR2,MPR3,MPR4,MPR5を適用して、現在の階層の拍節構造における各拍点の局所的な強さDi low-levelを算出する。
ステップS22においては、次の階層の拍節構造の候補mハット=1,2,3,4,5のそれぞれについて、その候補に含まれる各拍点の局所的な強さDi low-levelの値の総和を求め、総和が最大となった候補を次の階層の拍節構造として選択する。
ステップS22においては、次の階層の拍節構造の候補mハット=1,2,3,4,5のそれぞれについて、その候補に含まれる各拍点の局所的な強さDi low-levelの値の総和を求め、総和が最大となった候補を次の階層の拍節構造として選択する。
拍節構造の分析結果は、例えばMetricalXML形式で出力される。MetricalXMLは、メトリックエレメントと、メトリックエレメントの内部にあるアプライドエレメントおよびノートエレメントとからなる。メトリックエレメントは、楽曲中の拍の強さを最小拍節レベルの拍ごとに表し、アプライドエレメントは、各拍節レベルに適用されるルールを表す。
以上の拍節構造分析方法の詳細については、文献「浜中雅俊他,“GTTMに基づく楽曲構造分析の実装:グルーピング構造と拍節構造の獲得”,情報処理学会研究報告,Vol.2004,No.84,2004年8月」に記載されている。このような拍節構造分析方法により、楽曲の階層的な拍節構造を検出することができる。
次に、タイムスパン簡約について説明する。図6は、本実施の形態に係る楽曲のタイムスパン木の自動分析方法の概要を示す図である。
自動分析装置のタイムスパン簡約部3は、楽曲データが示す連続した個々の音の特性に基づき、楽曲中のそれぞれのタイムスパンにおけるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップS31と、現在の処理対象のタイムスパンの中にヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を記憶手段から読み出して比較することにより、候補の中から次の階層のヘッドを選択するヘッド選択ステップS32とを実行すると共に、次の階層のヘッドが1つになるまでステップS31,S32を再帰的に繰り返すことにより(ステップS33)、楽曲のタイムスパン木を獲得する。
自動分析装置のタイムスパン簡約部3は、楽曲データが示す連続した個々の音の特性に基づき、楽曲中のそれぞれのタイムスパンにおけるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップS31と、現在の処理対象のタイムスパンの中にヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を記憶手段から読み出して比較することにより、候補の中から次の階層のヘッドを選択するヘッド選択ステップS32とを実行すると共に、次の階層のヘッドが1つになるまでステップS31,S32を再帰的に繰り返すことにより(ステップS33)、楽曲のタイムスパン木を獲得する。
タイムスパン簡約部3は、タイムスパン木の分析結果を、例えばTime−spanXML形式で出力する。Time−spanXMLは、タイムスパンエレメント、ヘッドエレメント、プライマリーエレメント、セカンダリーエレメントおよびノートエレメントからなる。タイムスパンエレメントの中には、ヘッドエレメント、プライマリーエレメント、セカンダリーエレメントがそれぞれ一つずつある。ノートエレメントは、ヘッドエレメントの中に現れる。そして、プライマリーエレメントとセカンダリーエレメントの下にはタイムスパンエレメントが再帰的に現れる。タイムスパン木の末端では、プライマリーエレメントとセカンダリーエレメントを含まないヘッドエレメントが現れる。
図7は、タイムスパン簡約部3の構成例を示すブロック図である。タイムスパン簡約部3は、楽曲データMusicXML、グルーピング構造分析部1から出力されたグルーピング構造分析結果GroupingXML、および拍節構造分析部2から出力された拍節構造分析結果MetricalXMLに基づいて各種の基本変数を算出する基本変数算出部31と、基本変数算出部31において算出された基本変数を記憶する基本変数記憶部32と、楽曲をメロディの分割単位であるタイムスパンに分割するタイムスパン分割部33と、GTTMの各タイムスパン簡約選好ルールTSRPRn(n=1,3a,3b,4,8,9)の相対的な強さを決めるパラメータSTSRPRnを設定するパラメータ設定部34と、基本変数とパラメータから現在の階層のタイムスパンにおける各ヘッドの局所的な強さDi time-spanを算出する局所的ヘッド強度算出部35と、算出されたヘッドの強さDi time-spanを記憶する記憶手段となるヘッド強度記憶部36と、ヘッドの強さDi time-spanに基づいて次の階層のタイムスパンのヘッドを選択するヘッド選択部37と、各階層のヘッドを記憶する階層的ヘッド記憶部38と、階層的ヘッド記憶部38に記憶されている分析結果をTime−spanXML形式で出力する分析結果出力部39とから構成される。
局所的ヘッド強度算出部35は、さらにGTTMのタイムスパン簡約選好ルールTSRPR1を評価するTSRPR1評価部51と、タイムスパン簡約選好ルールTSRPR3aを評価するTSRPR3a評価部52と、タイムスパン簡約選好ルールTSRPR3bを評価するTSRPR3b評価部53と、タイムスパン簡約選好ルールTSRPR4を評価するTSRPR4評価部54と、タイムスパン簡約選好ルールTSRPR8を評価するTSRPR8評価部55と、タイムスパン簡約選好ルールTSRPR9を評価するTSRPR9評価部56と、評価関数Di TSRPRj(j=1,3a,3b,8,9)の重み付け和Biを算出する重み付け和算出部57と、局所的なヘッドの強さDi time-spanを算出するヘッド強度算出部58とから構成される。
図8は、タイムスパン簡約部3の動作を示すフローチャートである。まず、タイムスパン簡約部3には、楽曲データMusicXMLと、グルーピング構造分析結果GroupingXMLと、拍節構造分析結果MetricalXMLが入力される(ステップS101,S102,S103)。
タイムスパン簡約部3のタイムスパン分割部33は、楽曲を階層的なタイムスパン構造に分割する(ステップS104)。各タイムスパンには、最低1個以上の音符が含まれる。階層的なタイムスパン構造では、最大単位(最上層)のタイムスパンから最小単位(最下層)のタイムスパンへとタイムスパンが次第に小さくなっていくが、このうち上層側のタイムスパンについては、グルーピング構造分析結果GroupingXMLが示している階層的なグルーピング構造における各グループをそのままタイムスパンとして採用すればよい。すなわち、最大単位のグループを最大単位のタイムスパンとして、以下順に下層に向かって各層のタイムスパンを決定していけばよい。
そして、グルーピング構造分析結果GroupingXMLが示している最小単位のグループ(図2に示したグルーピング構造における最上層のグループ)をタイムスパンとして採用したときに、このタイムスパンが複数の音符を含む場合には、拍節構造分析結果MetricalXMLに基づいて、このタイムスパンに含まれる最も強い拍点の位置でタイムスパンを2つに分割し、分割した2つのタイムスパンを下層のタイムスパンとして採用する。このような分割と下層のタイムスパンの生成を、下層のタイムスパンに含まれる音符が1個になるまで繰り返す。音符が1個になったタイムスパンが最小単位のタイムスパンである。すなわち、最小単位のタイムスパンには1個の音符が含まれ、それよりも上層のタイムスパンは複数のタイムスパンを含むものである。こうして、楽曲の階層的なタイムスパン構造を検出することができる。
本実施の形態では、評価指標としてGTTMのタイムスパン簡約選好ルールTSRPRn(n=1,3a,3b,4,8,9)を用いて、現在の階層のタイムスパンにおける各ヘッドの局所的な強さDi time-spanを算出するので、パラメータ設定部34の動作を説明する前に、タイムスパン簡約選好ルールTSRPRnについて説明する。
本実施の形態では、各選好ルールを数式化することによって、複数のルールの適用結果の統合が容易に行えるようにする。評価関数Di TSRPRjは、ルールが成立する度合いを示す関数である。評価関数Di TSRPRjは、成立するかどうかが明らかなルールの場合、1か0のどちらかの値をとる。また、評価関数Di TSRPRjは、成立するかどうかが曖昧なルールの場合、1から0までの値をとる。
まず、TSRPR1は、強い拍点のヘッドを次の階層のヘッドとして優先するルールである。本実施の形態では、TSRPR1の評価関数Di TSRPR1を式(1)のように定式化する。
式(1)において、式(2)の値は、処理対象のタイムスパンに含まれるヘッドjのうち拍点の数が最大となるヘッドの拍点の数を意味する。
TSRPR3aは、旋律の高い音を次の階層のヘッドとして優先するルールである。本実施の形態では、TSRPR3aの評価関数Di TSRPR3aを式(3)のように定式化する。
式(3)において、式(4)の値は、処理対象のタイムスパンに含まれるヘッドjのうち音高の差が最大となるヘッドの音高の差を意味する。
TSRPR3bは、低いベース音を次の階層のヘッドとして優先するルールである。本実施の形態では、TSRPR3bの評価関数Di TSRPR3bを式(5)のように定式化する。
TSRPR4は、並行的な部分は並行的なヘッドを優先するルールである。本実施の形態では、TSRPR4の評価関数Dik TSRPR4を式(6)のように定式化する。
式(6)は、処理対象のタイムスパンにおけるヘッドi−1と次のヘッドiとの間の発音時刻間隔ioii-1と、次のタイムスパンにおけるヘッドk−1と次のヘッドkとの間の発音時刻間隔ioik-1とが等しく、かつヘッドiと次のヘッドi+1との間の発音時刻間隔ioiiと、ヘッドkと次のヘッドk+1との間の発音時刻間隔ioikとが等しく、さらにヘッドi+1と次のヘッドi+2との間の発音時刻間隔ioii+1と、ヘッドk+1と次のヘッドk+2との間の発音時刻間隔ioik+1とが等しい場合、評価関数Dik TSRPR4が1となり、その他の場合は評価関数Dik TSRPR4が0となることを示している。
TSRPR8は、次の階層のタイムスパンの始めになるヘッドを優先するルールである。本実施の形態では、TSRPR8の評価関数Di TSRPR8を式(7)のように定式化する。
式(7)は、ヘッドiが処理対象のタイムスパンにおける先頭のヘッドistartである場合、評価関数Di TSRPR8が1となり、その他の場合は評価関数Di TSRPR8が0となることを示している。
TSRPR9は、次の階層のタイムスパンの終わりになるヘッドを優先するルールである。本実施の形態では、TSRPR9の評価関数Di TSRPR9を式(8)のように定式化する。
TSRPR9は、次の階層のタイムスパンの終わりになるヘッドを優先するルールである。本実施の形態では、TSRPR9の評価関数Di TSRPR9を式(8)のように定式化する。
式(7)は、ヘッドiが処理対象のタイムスパンにおける最後のヘッドiendである場合、評価関数Di TSRPR9が1となり、その他の場合は評価関数Di TSRPR9が0となることを示している。
パラメータ設定部34は、以上のような各タイムスパン簡約選好ルールTSRPRn(n=1,3a,3b,4,8,9)の相対的な強さを決める重みとなるパラメータSTSRPRn(0≦STSRPRn≦1)を設定する(図8ステップS105)。パラメータSTSRPRnの値が大きいほど、ルールTSRPRnの影響が強くなる。このパラメータSTSRPRnの値は、自動分析装置を使用するユーザによって予め指定されている。
次に、基本変数算出部31は、楽曲データMusicXMLとグルーピング構造分析結果GroupingXMLと拍節構造分析結果MetricalXMLに基づいて4つの基本変数を算出する(ステップS106)。
基本変数算出部31が算出する4つの基本変数は、現在の処理対象のタイムスパンにおけるヘッドiの消音時刻から次のヘッドi+1の発音時刻までの消音発音時刻間隔resti、現在のヘッドiと次のヘッドi+1との間の発音時刻間隔ioii、現在のヘッドiと次のヘッドi+1との間の音高の差pitchi、現在のヘッドiの拍点の数dotiである。消音発音時刻間隔resti、発音時刻間隔ioii、音高差pitchiの1例を図9に示す。
基本変数記憶部32は、これらの基本変数を記憶する(ステップS107)。
基本変数記憶部32は、これらの基本変数を記憶する(ステップS107)。
次に、局所的ヘッド強度算出部35は、処理対象のタイムスパンにおけるヘッドの局所的な強さDi time-spanを処理対象のタイムスパンに含まれるヘッド毎に算出する(ステップS108)。
このステップS108の処理をより詳細に説明すると、局所的ヘッド強度算出部35のTSRPR1評価部51は、基本変数記憶部32から基本変数を読み出し、前記の式(1)により処理対象のタイムスパンにおけるTSRPR1の評価関数Di TSRPR1を算出して重み付け和算出部57に出力する。
TSRPR3a評価部52は、基本変数記憶部32から基本変数を読み出し、前記の式(3)により処理対象のタイムスパンにおけるTSRPR3aの評価関数Di TSRPR3aを算出して重み付け和算出部57に出力する。
TSRPR3b評価部53は、基本変数記憶部32から基本変数を読み出し、前記の式(5)により処理対象のタイムスパンにおけるTSRPR3bの評価関数Di TSRPR3bを算出して重み付け和算出部57に出力する。
TSRPR4評価部54は、基本変数記憶部32から基本変数を読み出し、前記の式(6)により処理対象のタイムスパンと次のタイムスパンにおけるTSRPR4の評価関数Di TSRPR4を算出してヘッド強度算出部58に出力する。
TSRPR8評価部55は、基本変数記憶部32から基本変数を読み出し、前記の式(7)により処理対象のタイムスパンにおけるTSRPR8の評価関数Di TSRPR8を算出して重み付け和算出部57に出力する。
TSRPR9評価部56は、基本変数記憶部32から基本変数を読み出し、前記の式(8)により処理対象のタイムスパンにおけるTSRPR9の評価関数Di TSRPR9を算出して重み付け和算出部57に出力する。
重み付け和算出部57は、TSRPR1評価部51、TSRPR3a評価部52、TSRPR3b評価部53、TSRPR8評価部55およびTSRPR9評価部56の各算出結果から評価関数Di TSRPRj(j=1,3a,3b,8,9)の重み付け和Biを式(9)のように算出してヘッド強度算出部58に出力する。ここで、重み付け和算出部57は、パラメータ設定部34から出力されたパラメータSTSRPRj(j=1,3a,3b,8,9)を用いる。
次に、ヘッド強度算出部58は、重み付け和算出部57から出力された重み付け和Bi、パラメータ設定部34から出力されたパラメータSTSRPR4を用いて局所的なヘッドの強さDi time-spanを式(10)のように算出する。
ヘッド強度算出部58は、評価関数Dik TSRPR4が0の場合、単に重み付け和Biをヘッドの強さDi time-spanとする。また、ヘッド強度算出部58は、評価関数Dik TSRPR4が1の場合、ヘッドkの重み付け和BkにパラメータSTSRPR4を掛けたものの総和をとり、これにヘッドiの重み付け和Biを加算したものをヘッドの強さDi time-spanとする。処理対象のタイムスパン内の全てのヘッドに対して以上の処理を行い、各ヘッドの局所的な強さDi time-spanをヘッド毎に算出する。これで、ステップS108の処理が終了する。
ヘッド強度記憶部36は、局所的ヘッド強度算出部35によって算出されたヘッドの強さDi time-spanを記憶する(ステップS109)。
次に、ヘッド選択部37は、現在の処理対象のタイムスパンの中にヘッドが2つ以上存在する場合、式(11)によって次の階層のヘッドhハットを選択する(ステップS110)。
次に、ヘッド選択部37は、現在の処理対象のタイムスパンの中にヘッドが2つ以上存在する場合、式(11)によって次の階層のヘッドhハットを選択する(ステップS110)。
式(11)は、処理対象のタイムスパンに含まれるヘッドのうち、強さが最大となるヘッドを次の階層のヘッドhハットとして選択することを意味している。
階層的ヘッド記憶部38は、ヘッド選択部37によって選択されたヘッドを記憶する(ステップS111)。
階層的ヘッド記憶部38は、ヘッド選択部37によって選択されたヘッドを記憶する(ステップS111)。
次に、局所的ヘッド強度算出部35は、次の階層のタイムスパンに含まれるヘッドが2つ以上存在する場合(ステップS112においてYES)、この階層において、ステップS106〜S111の処理を再び行う。そして、次の階層のタイムスパンに含まれるヘッドの数が1つになるまで(ステップS112においてNO)、このような再帰的処理を繰り返す。この再帰的処理は、タイムスパン分割部33が決定した階層的なタイムスパン構造に従って、図10に示すようにタイムスパン木を最下層のレベルdから最上層のレベルaへと順次辿っていく処理である。こうして、図10のような階層的なタイムスパン木を獲得することができる。
なお、タイムスパン簡約部3は、以上の処理をグルーピング構造分析結果GroupingXMLが示している最大単位のグループ(図2に示したグルーピング構造における最下層のグループ)毎に行う。
分析結果出力部39は、階層的ヘッド記憶部38に記憶された階層的なタイムスパン木を、Time−spanXML形式で出力する(ステップS113)。
この後、パラメータ設定部34からパラメータSTSRPRnの設定が変更されたときには(ステップS114においてYES)、ステップS106〜S113の一連の処理が行われる。このパラメータ変更は、ユーザの指示に応じて行われる。すなわち、ユーザは、タイムスパン木分析結果Time−spanXMLが示しているタイムスパン木を評価した結果、このタイムスパン木が不適切であると判断した場合、パラメータSTSRPRnを変更する。
この後、パラメータ設定部34からパラメータSTSRPRnの設定が変更されたときには(ステップS114においてYES)、ステップS106〜S113の一連の処理が行われる。このパラメータ変更は、ユーザの指示に応じて行われる。すなわち、ユーザは、タイムスパン木分析結果Time−spanXMLが示しているタイムスパン木を評価した結果、このタイムスパン木が不適切であると判断した場合、パラメータSTSRPRnを変更する。
図11は、本実施の形態に係る楽曲の自動分析装置の第2の構成例を示すブロック図である。この自動分析装置は、図1に示した第1の構成例の諸機能をコンピュータ70により実現するものである。コンピュータ70は、演算処理部(CPU)71と記憶部72a,72bとインターフェース部(I/F部)73a,73b,73cとがバス74により接続された構成となっている。I/F部73a、73bは、それぞれコンピュータ70の外部装置である操作卓75、表示装置76とインタフェースをとる。
コンピュータ70の動作を制御するプログラム78は、光磁気ディスクや半導体メモリその他の記録媒体77に記録された状態で提供される。この記録媒体77がI/F部73cに接続されると、演算処理部71は記録媒体77に書き込まれたプログラム78を読み出し、記憶部72aに格納する。その後、操作卓75からの指示に基づき、演算処理部71が記憶部72aに格納されたプログラム78を実行し、グルーピング構造分析部1と拍節構造分析部2とタイムスパン簡約部3の機能を実現する。分析結果のタイムスパン木は表示装置76に表示される。
なお、プログラム78が、インターネットなどのディジタル通信網を介して提供されてもよい。
なお、プログラム78が、インターネットなどのディジタル通信網を介して提供されてもよい。
最後に、本実施の形態によるタイムスパン簡約の性能の評価を、適合率P(precision)と再現率R(reca11)とを組み合わせたF値で評価する。F値は、適合率と再現率が高いほど、高くなる。
F=2×(P×R)/(P+R) ・・・(12)
ただし、適合率Pは、正解データのヘッドと同じヘッドが、タイムスパン木分析結果Time−spanXMLに含まれている割合、再現率Rは、タイムスパン木分析結果Time−spanXMLに含まれているヘッドと同じヘッドが、正解データに含まれている割合である。
F=2×(P×R)/(P+R) ・・・(12)
ただし、適合率Pは、正解データのヘッドと同じヘッドが、タイムスパン木分析結果Time−spanXMLに含まれている割合、再現率Rは、タイムスパン木分析結果Time−spanXMLに含まれているヘッドと同じヘッドが、正解データに含まれている割合である。
この実験では、GTTMを理解している音楽家がクラッシック曲から切り出した8小節の長さの100個のメロディに対して、タイムスパン簡約の正解データを作成した。いくつかの具体例を以下に挙げる。
1.楽興の時
2.子守歌
3.トロイメライ
4.よろこびの歌
5.舟唄
1.楽興の時
2.子守歌
3.トロイメライ
4.よろこびの歌
5.舟唄
タイムスパン木は、パラメータの調整によって変化する。そこでまず、パラメータ調節前(ベースライン)の性能を求めた。パラメータの初期値は、STSRPRn(n=1,3a,3b,4,8,9)=0.5である。次に、手作業で1曲につき10分間でパラメータの調整を行った。
パラメータ調節前後のF値を図12に示す。ユーザがパラメータを適切に調節することにより、F値がベースラインの場合よりも向上していることが確認できる。なお、図12における「平均」は100個のメロディの各F値の平均を意味している。
パラメータ調節前後のF値を図12に示す。ユーザがパラメータを適切に調節することにより、F値がベースラインの場合よりも向上していることが確認できる。なお、図12における「平均」は100個のメロディの各F値の平均を意味している。
以上のように、本実施の形態では、ヘッドの強さの算出の際に、複数の評価指標であるDi TSRPR1、Di TSRPR3a、Di TSRPR3b、Dik TSRPR4、Di TSRPR8およびDi TSRPR9と、それぞれの評価指標に対する重みとなるパラメータSTSRPRn(n=1,3a,3b,4,8,9)とを用いることにより、各タイムスパン簡約選好ルールTSRPRn間の優先順位を決めることができ、ルールTSRPRnの競合を防止することができる。また、ヘッドの強さを算出するときに、ヘッドの評価値と閾値とを比較することにより、たとえ評価指標の定義が曖昧であっても、評価指標を定式化することが可能となる。これにより、ルールの競合や定義の曖昧性の問題があるGTTMのような音楽理論であっても、コンピュータ上に実装することができ、タイムスパン木を自動で獲得することが可能となる。
なお、式(1)、式(3)、式(5)の代わりに、それぞれ式(12)、式(13)、式(14)を使うようにしてもよい。
TTSRPR1、TTSRPR3a、TTSRPR3bは閾値である。例えば、式(3)に示した評価関数Di TSRPR3aは音高が高いほど大きな値を出力する関数であるが、式(13)に示した評価関数Di TSRPR3aは、音高が閾値TTSRPR3aより高い場合は1、音高が閾値TTSRPR3a以下の場合は0となる。こうして、閾値TTSRPR3aとの比較結果に基づきヘッドの強さを増大させるようにしている。
本発明は、GTTMに基づく音楽分析に適用することができる。
1…グルーピング構造分析部、2…拍節構造分析部、3…タイムスパン簡約部、31…基本変数算出部、32…基本変数記憶部、33…タイムスパン分割部、34…パラメータ設定部、35…局所的ヘッド強度算出部、36…ヘッド強度記憶部、37…ヘッド選択部、38…階層的ヘッド記憶部、39…分析結果出力部、51…TSRPR1評価部、52…TSRPR3a評価部、53…TSRPR3b評価部、54…TSRPR4評価部、55…TSRPR8評価部、56…TSRPR9評価部、57…重み付け和算出部、58…ヘッド強度算出部。
Claims (8)
- 楽曲データに基づきその楽曲のタイムスパン木を分析する自動分析方法であって、
前記楽曲データが示す連続した個々の音の特性に基づき、前記楽曲中のそれぞれのタイムスパンにおける重要な音であるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップと、
現在の処理対象のタイムスパンの中に前記ヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を前記記憶手段から読み出して比較することにより、前記候補の中から前記次の階層のヘッドを選択するヘッド選択ステップとを備えることを特徴とする楽曲のタイムスパン木の自動分析方法。 - 請求項1記載の楽曲のタイムスパン木の自動分析方法において、
前記ヘッド強度算出ステップは、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出することを特徴とする楽曲のタイムスパン木の自動分析方法。 - 請求項2記載の楽曲のタイムスパン木の自動分析方法において、
前記ヘッド強度算出ステップは、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させることを特徴とする楽曲のタイムスパン木の自動分析方法。 - 楽曲データに基づきその楽曲のタイムスパン木を分析する自動分析装置であって、
前記楽曲データが示す連続した個々の音の特性に基づき、前記楽曲中のそれぞれのタイムスパンにおける重要な音であるヘッドについてその強さを算出するヘッド強度算出手段と、
前記強さの値をヘッドと対応付けて記憶する記憶手段と、
現在の処理対象のタイムスパンの中に前記ヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を前記記憶手段から読み出して比較することにより、前記候補の中から前記次の階層のヘッドを選択するヘッド選択手段とを備えることを特徴とする楽曲のタイムスパン木の自動分析装置。 - 請求項4記載の楽曲のタイムスパン木の自動分析装置において、
前記ヘッド強度算出手段は、GTTMに基づく複数の評価指標と、それぞれの評価指標に対する重みとに基づいて、前記ヘッドの強さを算出することを特徴とする楽曲のタイムスパン木の自動分析装置。 - 請求項5記載の楽曲のタイムスパン木の自動分析装置において、
前記ヘッド強度算出手段は、前記評価指標に基づいて前記ヘッドの評価値と閾値とを比較し、その結果に基づき前記ヘッドの強さを増大させることを特徴とする楽曲のタイムスパン木の自動分析装置。 - 楽曲データに基づきその楽曲のタイムスパン木を分析する自動分析装置としてコンピュータを機能させるタイムスパン木自動分析プログラムであって、
前記楽曲データが示す連続した個々の音の特性に基づき、前記楽曲中のそれぞれのタイムスパンにおける重要な音であるヘッドについてその強さを算出し、算出した強さの値をヘッドと対応付けて記憶手段に格納するヘッド強度算出ステップと、
現在の処理対象のタイムスパンの中に前記ヘッドが2つ以上含まれる場合、これらのヘッドを次の階層のタイムスパンのヘッドの侯補とし、これらのヘッドの強さの値を前記記憶手段から読み出して比較することにより、前記候補の中から前記次の階層のヘッドを選択するヘッド選択ステップとを、前記コンピュータに実行させることを特徴とするタイムスパン木自動分析プログラム。 - 請求項7記載のタイムスパン木自動分析プログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005289732A JP2007101780A (ja) | 2005-10-03 | 2005-10-03 | 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005289732A JP2007101780A (ja) | 2005-10-03 | 2005-10-03 | 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007101780A true JP2007101780A (ja) | 2007-04-19 |
Family
ID=38028793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005289732A Pending JP2007101780A (ja) | 2005-10-03 | 2005-10-03 | 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007101780A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009099103A1 (ja) * | 2008-02-05 | 2009-08-13 | Japan Science And Technology Agency | モーフィング楽曲生成装置及びモーフィング楽曲生成用プログラム |
CN113557565A (zh) * | 2019-03-22 | 2021-10-26 | 雅马哈株式会社 | 乐曲解析方法及乐曲解析装置 |
-
2005
- 2005-10-03 JP JP2005289732A patent/JP2007101780A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009099103A1 (ja) * | 2008-02-05 | 2009-08-13 | Japan Science And Technology Agency | モーフィング楽曲生成装置及びモーフィング楽曲生成用プログラム |
US8278545B2 (en) | 2008-02-05 | 2012-10-02 | Japan Science And Technology Agency | Morphed musical piece generation system and morphed musical piece generation program |
EP2242042A4 (en) * | 2008-02-05 | 2015-11-25 | Japan Science & Tech Agency | MORPHOSIS MUSIC GENERATION DEVICE AND MORPHOSIS MUSIC GENERATION PROGRAM |
CN113557565A (zh) * | 2019-03-22 | 2021-10-26 | 雅马哈株式会社 | 乐曲解析方法及乐曲解析装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9881596B2 (en) | System and method for analysis and creation of music | |
CN101740013B (zh) | 信息处理设备和声音分析方法 | |
CN101740010B (zh) | 信息处理设备和声音分析方法 | |
US9607593B2 (en) | Automatic composition apparatus, automatic composition method and storage medium | |
US11887566B2 (en) | Method of generating music data | |
US9558726B2 (en) | Automatic composition apparatus, automatic composition method and storage medium | |
US20160148605A1 (en) | Automatic composition apparatus, automatic composition method and storage medium | |
Hamanaka et al. | Implementing methods for analysing music based on lerdahl and jackendoff’s generative theory of tonal music | |
CN111754962B (zh) | 基于升降采样的民歌智能辅助作曲系统及方法 | |
Cambouropoulos | The harmonic musical surface and two novel chord representation schemes | |
JP2012506061A (ja) | デジタル音楽音響信号の分析方法 | |
JP7537175B2 (ja) | 楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラム | |
US10431191B2 (en) | Method and apparatus for analyzing characteristics of music information | |
JP2006201278A (ja) | 楽曲の拍節構造の自動分析方法および装置、ならびにプログラムおよびこのプログラムを記録した記録媒体 | |
JP2007101780A (ja) | 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 | |
Maršık et al. | Towards a harmonic complexity of musical pieces | |
JP5272900B2 (ja) | 楽曲難易度算出装置および楽曲難易度算出プログラム | |
WO2022202297A1 (ja) | 文章提供方法、プログラムおよび文章提供装置 | |
JP6565529B2 (ja) | 自動アレンジ装置及びプログラム | |
Wongsaroj et al. | A music similarity measure based on chord progression and song segmentation analysis | |
US20230267899A1 (en) | Automatic audio mixing device | |
JP2006047725A (ja) | 楽曲のグルーピング構造の自動分析方法および装置、ならびにプログラムおよびこのプログラムを記録した記録媒体 | |
Abeßer et al. | Bass Playing Style Detection Based on High-level Features and Pattern Similarity. | |
Rybnik et al. | Extension of knowledge-driven harmonization model for tonal music | |
KR101426166B1 (ko) | 음악 분위기 수치화 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090203 |