JP2014038308A - 音符列解析装置 - Google Patents

音符列解析装置 Download PDF

Info

Publication number
JP2014038308A
JP2014038308A JP2013118644A JP2013118644A JP2014038308A JP 2014038308 A JP2014038308 A JP 2014038308A JP 2013118644 A JP2013118644 A JP 2013118644A JP 2013118644 A JP2013118644 A JP 2013118644A JP 2014038308 A JP2014038308 A JP 2014038308A
Authority
JP
Japan
Prior art keywords
note
index value
value
similarity
note string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013118644A
Other languages
English (en)
Other versions
JP5799977B2 (ja
Inventor
Kohei Sumi
康平 須見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2013118644A priority Critical patent/JP5799977B2/ja
Priority to EP13176155.3A priority patent/EP2688063B1/en
Priority to US13/944,333 priority patent/US9087500B2/en
Publication of JP2014038308A publication Critical patent/JP2014038308A/ja
Application granted granted Critical
Publication of JP5799977B2 publication Critical patent/JP5799977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Auxiliary Devices For Music (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】利用者の演奏を評価する場合に評価対象となる楽曲を指定する負担を軽減する
【解決手段】類似解析部22は、利用者が指定した指定音符列SQと参照楽曲の参照音符列SRとの類似度に応じた類似指標値Z[n]を複数の参照楽曲の各々について算定する。楽曲選択部24は、類似解析部22が算定した類似指標値Z[n]に応じた参照楽曲を選択する。評価処理部26は、楽曲選択部24が選択した参照楽曲について類似解析部22が算定した類似指標値Z[n]に応じた評価指標値Pを特定する。表示制御部28は、各指定音符列SQに対応する評価指標値Pの時系列を示す評価遷移画像を表示装置16に表示させる。
【選択図】図1

Description

本発明は、利用者が指定した複数の音符の時系列を解析する技術に関する。
利用者による楽器の演奏を評価する技術が従来から提案されている。例えば特許文献1には、利用者が複数の候補から選択した楽曲の音符列と利用者が電子楽器で演奏した音符列とを比較することで利用者による演奏の巧拙を評価する技術が開示されている。
特許第3915452号公報
しかし、特許文献1の技術のもとでは、評価対象となる楽曲を利用者が演奏毎に指定する必要があり煩雑であるという問題がある。楽曲演奏の習熟には相当の回数にわたる反復的な演奏が重要となるから、演奏毎に利用者が楽曲を指定する作業の負担は意外と大きい。以上の事情を考慮して、本発明は、評価対象となる楽曲を利用者が指定する作業の負担を軽減することを目的とする。
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
本発明に係る音符列解析装置は、利用者が指定した指定音符列と参照楽曲の参照音符列との類似度に応じた類似指標値(例えば類似指標値Z[n])を複数の参照楽曲の各々について算定する類似解析手段(例えば類似解析部22)と、類似解析手段が算定した類似指標値に応じた参照楽曲を選択する楽曲選択手段(例えば楽曲選択部24)と、楽曲選択手段が選択した参照楽曲について類似解析手段が算定した類似指標値に応じた評価指標値(例えば評価指標値P)を特定する評価処理手段(例えば評価処理部26)とを具備する。以上の構成では、指定音符列と参照音符列との間の類似指標値に応じた参照楽曲が選択されて当該参照楽曲の評価指標値が特定されるから、評価対象の参照楽曲を利用者が指定する手順は不要である。したがって、評価対象となる参照楽曲を利用者が指定する作業の負担が軽減されるという利点がある。
本発明の好適な態様において、類似解析手段は、指定音符列と参照音符列との間の編集距離に応じた類似指標値を算定する。以上の態様では、指定音符列と参照音符列との間の編集距離に応じた類似指標値が算定されるから、複数の音符の配列(音符名や配列順)の観点から指定音符列と参照音符列との類似度を評価することが可能である。
指定音符列と参照音符列との間の編集距離に応じた類似指標値を算定する構成の好適例(例えば第2実施形態や第3実施形態)において、類似解析手段は、指定音符列内の第1音符(例えば音符ν[m1])と参照音符列内の第2音符(例えば音符ν[m2])との間の置換コスト(例えば置換コストγ)を、第1音符および第2音符の一方が、第1音符および第2音符の他方を包含する許容区間(例えば許容区間α[m1]または許容区間α[m2])内の複数の音符の何れかに一致する場合に第1値(例えば0)に設定し、許容区間内の複数の音符の何れにも一致しない場合に第1値を上回る第2値(例えば1)に設定して編集距離を算定する。以上の構成では、第1音符および第2音符の一方と第1音符および第2音符の他方を包含する許容区間内の複数の音符との異同に応じて第1音符と第2音符との間の置換コストが設定されるから、指定音符列内の各音符の順序の相違に対して頑健に指定音符列と参照音符列との相関(類似度)を解析することが可能である。
前述の許容区間を利用する構成の好適例(例えば第4実施形態)において、類似解析手段は、第1音符を包含する許容区間(例えば許容区間α[m1])を指定音符列内に設定した場合の編集距離(例えば編集距離EQ)と、第2音符を包含する許容区間(例えば許容区間α[m2])を参照音符列内に設定した場合の編集距離(例えば編集距離ER)とに応じて類似指標値を算定する。以上の態様によれば、指定音符列内に許容区間を設定した場合の編集距離と参照音符列内に許容区間を設定した場合の編集距離とに応じて類似指標値が算定されるから、指定音符列に許容区間を設定した場合と参照音符列に許容区間を設定した場合との編集距離の相違の影響を低減して高精度に指定音符列と参照音符列との相関を評価できるという利点がある。
本発明の好適な態様において、類似解析手段は、単位区間内で一のピッチクラスに対応する各音符の継続長の合計値に応じた要素値を複数のピッチクラスについて配列した継続長特徴量(例えば継続長特徴量T)を、指定音符列の各単位区間と参照音符列の各単位区間との間で対比した結果に応じた類似指標値を算定する。以上の構成では、指定音符列の各単位区間と参照音符列の各単位区間との間で継続長特徴量を対比した結果に応じた類似指標値が算定されるから、和声感の観点から指定音符列と参照音符列との類似度を評価することが可能である。
本発明の好適な態様において、類似解析手段は、各音価に対応する音符の個数に応じた要素値を複数の音価について配列した音価特徴量(例えば音価特徴量H)を、指定音符列と参照音符列との間で対比した結果に応じた類似指標値を算定する。以上の構成では、指定音符列と参照音符列との間で音価特徴量を対比した結果に応じた類似指標値が算定されるから、音価毎の音符数の観点から指定音符列と参照音符列との類似度を評価することが可能である。
以上の各態様における好適例において、類似解析手段は、参照音符列の全区間と指定音符列の全区間との間の類似度に応じた類似指標値を算定する。以上の態様では、参照音符列の全区間と指定音符列の全区間との間の類似度に応じた類似指標値が算定されるから、例えば参照音符列のうち指定音符列として正確に指定した区間が長いほど評価指標値が高評価を意味する数値に設定される。他の態様において、類似解析手段は、参照音符列に対する指定音符列の時間軸上の位置を相違させた複数の場合の各々について指定音符列と参照音符列との類似度に応じた基礎値(例えば基礎値x[b]や基礎値y[b])を算定し、各場合の基礎値に応じた類似指標値を算定する。以上の態様では、参照楽曲内の特定の区間のみが指定音符列として指定された場合でも評価指標値が高評価を意味する数値に設定される。なお、楽曲選択手段が選択した参照楽曲の参照音符列の音符列長と指定音符列の音符列長との相対比に応じて当該参照楽曲の類似指標値を補正する構成によれば、例えば参照音符列のうち指定音符列として正確に指定した区間が長いほど評価指標値を高評価の数値に設定することも可能である。
本発明の好適な態様においては、複数の指定音符列の各々について、類似解析手段による各参照楽曲の類似指標値の算定と、楽曲選択手段による参照楽曲の選択と、評価処理手段による評価指標値の特定とが順次に実行され、各指定音符列に対応する評価指標値の時系列を示す評価遷移画像(例えば評価遷移画像312)を表示装置に表示させる表示制御手段(例えば表示制御部28)を具備する。以上の構成では、各指定音符列に対応する評価指標値の時系列を示す評価遷移画像が表示装置に表示されるから、参照楽曲の演奏の巧拙の時間的な変化を利用者が視覚的に把握できるという利点がある。なお、表示制御手段を具備する構成では楽曲選択手段を省略することも可能である。
表示制御手段を具備する態様の好適例において、表示制御手段は、類似解析手段が算定した類似指標値が閾値に対して非類似側の数値である場合に、指定音符列が何れの参照音符列にも類似しないことを表示装置に表示させる。以上の構成によれば、利用者が指定した指定音符列が何れの参照楽曲とも類似しないこと(例えば指定音符列に対応する参照楽曲が用意されていないこと)を利用者が認識できるという利点がある。なお、「類似指標値が閾値に対して非類似側の数値である」とは、指定音符列と参照音符列とが類似するほど類似指標値が増加する態様では類似指標値が閾値を下回ることを意味し、指定音符列と参照音符列とが類似するほど類似指標値が減少する態様では類似指標値が閾値を上回ることを意味する。
本発明の好適な態様において、楽曲選択手段は、類似解析手段が算定した類似指標値に応じた複数の参照楽曲のうち利用者が指定した参照楽曲を選択する。以上の構成においては、類似指標値に応じた複数の参照楽曲から利用者の指定により参照楽曲が選択される。したがって、例えば、類似指標値が最大である参照楽曲を選択する構成と比較して、利用者が意図しない参照楽曲が選択される可能性を低減することができる。
以上の各態様に係る音符列解析装置は、音符列の解析に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、利用者が指定した指定音符列と参照楽曲の参照音符列との類似度に応じた類似指標値を複数の参照楽曲の各々について算定する類似解析処理と、類似解析処理で算定した類似指標値に応じた参照楽曲を選択する楽曲選択処理と、楽曲選択処理で選択した参照楽曲について類似解析処理で算定した類似指標値に応じた評価指標値を特定する評価処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音符列解析装置と同様の作用および効果が実現される。なお、本発明に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
また、本発明は、音符列を解析する方法としても特定される。本発明に係る音符列解析方法は、コンピュータが、利用者が指定した指定音符列と参照楽曲の参照音符列との類似度に応じた類似指標値(例えば類似指標値Z[n])を複数の参照楽曲の各々について算定し、算定した類似指標値に応じた参照楽曲を選択し、選択した参照楽曲について算定された類似指標値に応じた評価指標値(例えば評価指標値P)を特定する。以上の方法によれば、本発明に係る音符解析装置と同様の作用及び効果が実現される。
本発明の第1実施形態に係る音符列解析装置のブロック図である。 類似指標値と評価指標値との関係を例示するグラフである。 第1実施形態に係る音符列解析装置の動作を表すフローチャートである。 評価結果画像を例示する模式図である。 類似解析部のブロック図である。 第1解析部の動作の説明図である。 距離行列の説明図である。 距離行列内の各距離の説明図である。 距離行列の具体例である。 継続長特徴量の説明図である。 第2解析部の動作の説明図である。 類似指標値を算定する処理の具体例のフローチャートである。 基礎値を算定する処理の具体例のフローチャートである。 第2実施形態における距離行列内の各距離の説明図である。 第2実施形態における距離行列の具体例である。 第2実施形態における第1解析部の動作のフローチャートである。 第3実施形態における距離行列内の各距離の説明図である。 第3実施形態における距離行列の具体例である。 第3実施形態における第1解析部の動作のフローチャートである。 第4実施形態における第1解析部の動作のフローチャートである。 第5実施形態における類似解析部のブロック図である。 音価特徴量の説明図である。 候補リスト画像を例示する模式図である。 第6実施形態の動作のフローチャートである。
<第1実施形態>
図1は、本発明の第1実施形態に係る音符列解析装置100のブロック図である。第1実施形態の音符列解析装置100は、利用者が指定した複数の音符の時系列(以下「指定音符列」という)と事前に用意された参照楽曲を構成する複数の音符の時系列(以下「参照音符列」という)との音楽的な相関を評価する信号処理装置であり、利用者による楽曲演奏の巧拙を評価する演奏評価装置として利用される。図1に示すように、音符列解析装置100は、演算処理装置12と記憶装置14と表示装置16と入力装置18とを具備するコンピュータシステムで実現される。
記憶装置14は、演算処理装置12が実行するプログラムPGMや演算処理装置12が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置14として任意に採用され得る。
第1実施形態の記憶装置14は、相異なるN個(Nは2以上の自然数)の参照楽曲の各々について属性情報DAと参照音符列SRとを記憶する。属性情報DAは、参照楽曲の識別符号(例えば楽曲名)や参照楽曲の演奏テンポ等を指定する。参照音符列SRは、参照楽曲の少なくとも一部を構成する複数の音符の時系列である。例えば、参照楽曲の各音符の音高を指定して発音/消音を指示するイベントデータと各イベントデータの処理時点を指定するタイミングデータとを時系列に配列したMIDI(Musical Instrument Digital Interface)形式の時系列データとして参照音符列SRは記述される。
表示装置16(例えば液晶表示パネル)は、演算処理装置12による解析結果を表示する。入力装置18は、利用者からの指示を受付ける。具体的には、入力装置18は、指定音符列SQを構成する複数の音符の指定を利用者から順次に受付ける。例えばMIDI楽器等の電子楽器が入力装置18として好適に利用される。したがって、参照音符列SRと同様にMIDI形式の時系列データとして指定音符列SQは記述される。なお、参照音符列SRおよび指定音符列SQの表記のように、参照音符列SRに関連する要素の符号には添字R(Reference)を付記し、指定音符列SQに関連する要素の符号には添字Q(Query)を付記する場合がある。
演算処理装置12は、記憶装置14に格納されたプログラムPGMを実行することで、指定音符列SQとN個の参照楽曲の各々の参照音符列SRとの相関(類似または相違の度合)を解析して解析結果を利用者に提示するための複数の機能(類似解析部22,楽曲選択部24,評価処理部26,表示制御部28)を実現する。なお、演算処理装置12の機能を複数の装置に分散した構成や、演算処理装置12の機能の一部を専用の電子回路(DSP)が実現する構成も採用され得る。
類似解析部22は、指定音符列SQと参照音符列SRとの類似度(距離または相関)に応じた類似指標値Z[n](Z[1]〜Z[N])をN個の参照楽曲の各々について算定する(n=1〜N)。指定音符列SQと参照音符列SRとが音楽的に類似する(利用者が参照楽曲を正確に演奏する)ほど類似指標値Z[n]が大きい数値となるように、第1実施形態の類似解析部22は各類似指標値Z[n]を0以上かつ1以下の範囲内で算定する。
楽曲選択部24は、類似解析部22が参照楽曲毎に算定した類似指標値Z[n]に応じた1個の参照楽曲(以下「対象楽曲」という)をN個の参照楽曲から選択する。具体的には、楽曲選択部24は、N個の参照楽曲のうち類似指標値Z[n]が最大となる参照楽曲を対象楽曲として選択(検索)する。N個の参照楽曲のうち利用者が演奏した参照楽曲の類似指標値Z[n]は大きい数値になるという傾向があるから、楽曲選択部24は、利用者が演奏した参照楽曲を類似指標値Z[n]に応じて推定する要素として機能する。
評価処理部26は、楽曲選択部24が選択した対象楽曲について類似解析部22が算定した類似指標値Z[n](すなわちN個の類似指標値Z[1]〜Z[N]の最大値)に応じた評価指標値Pを特定する。評価指標値Pは、利用者による指定音符列SQの指定(すなわち対象楽曲の演奏)の巧拙の指標として利用される数値(スコア)である。第1実施形態の評価処理部26は、例えば以下の数式(1A)や数式(1B)の演算を実行することで対象楽曲の類似指標値Z[n]を所定の範囲内(0以上かつ100以下)の評価指標値Pに変換(マッピング)する。
Figure 2014038308

数式(1A)は、係数aを冪指数とする冪関数であり、図2の部分(A)のように類似指標値Z[n]と評価指標値Pとの関係を係数aに応じて可変に規定する。他方、数式(1B)は、係数aをゲインとするシグモイド関数であり、図2の部分(B)のように類似指標値Z[n]と評価指標値Pとの関係を係数aに応じて可変に規定する。数式(1A)または数式(1B)における係数aは可変に設定される。例えば、入力装置18に対する利用者からの指示に応じて係数aを制御する構成や、例えば参照楽曲の時間長に応じて係数aを制御する構成が好適である。
以上に説明したように、第1実施形態では、利用者が指定した指定音符列SQと参照楽曲の参照音符列SRとの間の類似指標値Z[n]に応じて評価対象の参照楽曲(対象楽曲)がN個の参照楽曲から選択されるから、利用者が例えば入力装置18を操作して参照楽曲を指定する手順は不要である。したがって、評価対象となる参照楽曲を利用者が指定する作業の負担が軽減されるという利点がある。
利用者は、所望の参照楽曲の演奏(指定音符列SQの入力)を複数回にわたり反復する。利用者による指定音符列SQの指定毎に、類似解析部22による各参照楽曲の類似指標値Z[n]の算定と、楽曲選択部24による参照楽曲の選択と、評価処理部26による評価指標値Pの特定とが順次に実行される。すなわち、複数の指定音符列SQの各々について評価指標値Pが算定される。図1の表示制御部28は、各指定音符列SQの評価結果を利用者に提示する画像(以下「評価結果画像」という)30を表示装置16に表示させる。
図3は、音符列解析装置100(演算処理装置12)の動作のフローチャートである。例えば楽器演奏の評価の開始が利用者から指示された場合に図3の処理が開始される。入力装置18に対する操作に応じた指定音符列SQを取得すると(SA1)、演算処理部12(類似解析部22)は、指定音符列SQと参照楽曲の参照音符列SRとの類似度に応じた類似指標値Z[n]を複数の参照楽曲の各々について算定する(SA2)。演算処理装置12は、楽曲選択部24として機能することで楽曲毎の類似指標値Z[n]に応じた参照楽曲を対象楽曲として選択し(SA3)、評価処理部26として機能することで対象楽曲の類似指標値Z[n]に応じた評価指標値Pを算定する(SA4)。そして、演算処理装置12(表示制御部28)は、例えば以下に例示する評価結果画像30を表示装置16に表示させる(SA5)。
図4は、第1実施形態における評価結果画像30の模式図である。評価結果画像30は、第1領域31と第2領域32とを含んで構成される。第1領域31には、評価指標値P(縦軸)の時間的な変化を表現するグラフ(以下「評価遷移画像」という)312が表示される。評価遷移画像312は、時間軸(横軸)上の各指定音符列SQに対応する時点(各回の演奏)とその指定音符列SQについて算定された評価指標値Pとに対応した座標に配置された図形(以下「評価指示子」という)314を相互に連結した折線である。また、各評価指標値Pの時間的な遷移を近似する評価近似線316が評価遷移画像312とともに第1領域31に表示される。評価近似線316の生成には、多項式近似や対数近似や指数近似等の公知の近似処理が任意に採用される。
以上のように評価指標値Pの時間的な遷移(評価遷移画像312および評価近似線316)が表示装置16に図形的に表示されるから、利用者は、参照楽曲の演奏の巧拙の時間的な変化を視覚的および直観的に把握することが可能である。また、参照楽曲の演奏が次第に上達していく様子が評価遷移画像312から容易に把握できるから、楽曲演奏を練習する誘因が利用者に付与されるという利点もある。
他方、評価結果画像30の第2領域32には、楽曲選択部24が選択した対象楽曲の属性情報DAが示す識別符号(楽曲名)322と、利用者が過去に指定した複数の指定音符列SQのうち1個の指定音符列SQに対応する評価指標値Pの数値324とが表示される。具体的には、表示制御部28は、過去の複数の指定音符列SQのうち最新の1個の指定音符列SQに対応する評価指標値Pの数値324を第2領域32に配置し、利用者が入力装置18に対する操作で所望の評価指示子314を選択した場合にはその評価指示子314に対応する指定音符列SQの評価指標値Pの数値324を第2領域32に配置する。すなわち、利用者は、過去の任意の時点における指定音符列SQの評価指標値Pの数値324を確認することが可能である。
<類似解析部22>
図1の類似解析部22の具体的な構成および動作を以下に説明する。第1実施形態の類似解析部22は、図5に示すように、第1解析部42と特徴量算定部44と第2解析部46と指標算定部48とを含んで構成される。第1解析部42は、指定音符列SQと参照音符列SRとの間の編集距離(レーベンシュタイン距離)に応じた類似指標値X[n](X[1]〜X[N])を参照楽曲毎に算定する。すなわち、類似指標値X[n]は、複数の音符の配列(音符名および配列順)の観点から指定音符列SQと参照音符列SRとの類似度を評価するための指標である。
図6は、第1解析部42の処理の説明図である。図6に示すように、指定音符列SQおよび参照音符列SRの各々は時間軸上で複数の単位区間Fに区分される。単位区間Fは、例えば楽曲の1小節に相当する時間長に設定される。具体的には、参照楽曲の属性情報DAが指定する演奏テンポに応じた1小節分(例えば4分音符の4個分の区間)が参照音符列SRの1個の単位区間Fとして画定され、入力装置18に対する操作で利用者が指示した演奏テンポに応じた1小節分が指定音符列SQの1個の単位区間Fとして画定される。演奏テンポが指定されていない場合、所定の演奏テンポおよび所定の拍子のもとで1小節に相当する区間が単位区間Fに設定される。例えば演奏テンポを120BPM(Beats Per Minute)と仮定して拍子を4/4拍子と仮定した場合には単位区間Fは2秒に設定される。以上のように演奏テンポを所定値に設定することで処理が簡素化されるという利点がある。以下の説明では、指定音符列SQがK個(Kは2以上の自然数)の単位区間Fで構成され、参照音符列SRがK個を上回る個数の単位区間Fで構成される場合を想定する。
第1解析部42は、図6に示すように、参照音符列SRに対する指定音符列SQの時間軸上の位置を相違させた複数(B回)の場合の各々について基礎値x[b](x[1]〜x[B])を算定する(b=1〜B)。第1実施形態では、指定音符列SQを参照音符列SRに対して単位区間Fの1個分ずつ移動(シフト)した各場合について基礎値x[b]が算定される。すなわち、第1解析部42は、指定音符列SQの位置を相違させた各場合について参照音符列SRのうち指定音符列SQに対応する対象区間σ[b](K個の単位区間Fの集合)を順次に選択し、指定音符列SQと対象区間σ[b]とを比較することで基礎値x[b]を算定する。第1解析部42は、参照音符列SR内の相異なる対象区間σ[b]に対応するB個の基礎値x[1]〜x[B]に応じて類似指標値X[n]を算定する。具体的には、B個の基礎値x[1]〜x[B]のなかの最大値(すなわち参照音符列SRと指定音符列SQとの間の最大の類似を示す数値)や平均値が類似指標値X[n]として選択される。
第1実施形態の第1解析部42は、指定音符列SQと参照音符列SRの対象区間σ[b]との間で相互に対応する単位区間F毎に類似度V[k](V[1]〜V[K])を算定する(k=1〜K)。具体的には、指定音符列SQおよび参照音符列SRの各々を各音符に対応する文字の時系列(文字列)と看做し、第1解析部42は、指定音符列SQの第k番目の単位区間Fと対象区間σ[b]内の第k番目の単位区間Fとの間の編集距離に応じて類似度V[k]を算定する。第1解析部42は、参照音符列SR内の1個の対象区間σ[b]の相異なる単位区間Fについて算定したK個の類似度V[1]〜V[K]から基礎値x[b]を算定する。例えばK個の類似度V[1]〜V[K]の平均値や最大値が基礎値x[b]として算定される。
なお、指定音符列SQが参照音符列SRよりも長い場合(指定音符列SQの単位区間の個数が参照音符列SRの単位区間の個数を上回る場合)、指定音符列SQの末尾側の区間を削除することで参照音符列SRと同等の長さ(単位区間Fの個数)に調整してから図6の処理を実行することが可能である。また、指定音符列SQが参照音符列SRよりも長い場合、指定音符列SQと参照音符列SRとを入替えて図6の処理を実行する(すなわち、参照音符列SRを指定音符列SQに対して単位区間Fの1個分ずつ移動させた各場合について基礎値x[n]を算定する)ことも可能である。
指定音符列SQと参照音符列SRとの間の編集距離は、1文字に相当する音符の削除,挿入または置換の操作で指定音符列SQおよび参照音符列SRの一方を他方に変形するために必要な操作の最小回数を意味する。以下の説明では、指定音符列SQの第k番目の単位区間FがM1個の音符で構成され、参照音符列SRの対象区間σ[b]のうち第k番目の単位区間FがM2個の音符で構成される場合を想定して両者間の編集距離Eを説明する。編集距離Eの算定には、例えば動的計画法(Dynamic Programming)を利用した以下の方法が好適に採用される。
図7の距離行列(コスト行列)Cを想定する。距離行列Cは、距離c[m1,m2]を要素とする(M1+1)行×(M2+1)列の行列である(m1=0〜M1,m2=0〜M2)。図7に示すように、距離行列Cの第m1行は、指定音符列SQのうち第k番目の単位区間F内の第m1番目の音符ν[m1]に対応し、距離行列Cの第m2列は、参照音符列SRの対象区間σ[b]のうち第k番目の単位区間F内の第m2番目の音符ν[m2]に対応する。第1解析部42は、第0行第0列の距離c[0,0]を0に設定し、以下の数式(2)の演算で距離行列Cの各距離c[m1,m2]を算定する。
Figure 2014038308
数式(2)の記号min{ }は、括弧内の複数の数値の最小値を選択する演算を意味する。図8に矢印A1で示すように、数式(2)の数値{c[m1,m2-1]+1}は、参照音符列SR内の音符ν[m2]を指定音符列SQに挿入する手順(挿入コスト)の増加を意味する。また、図8に矢印A2で示すように、数式(2)の数値{c[m1-1,m2]+1}は、指定音符列SQ内の音符ν[m1]を削除する手順(削除コスト)の増加を意味する。
数式(2)の数値{c[m1-1,m2-1]+γ}は、図8に矢印A3で示すように、指定音符列SQ内の音符ν[m1]を参照音符列SR内の音符ν[m2]に置換する手順の増加を意味する。すなわち、数式(2)の記号γは、指定音符列SQ内の音符ν[m1]を参照音符列SR内の音符ν[m2]に置換する手順の増加分(以下「置換コスト」という)に相当する。指定音符列SQ内の音符ν[m1]と参照音符列SR内の音符ν[m2]とが一致する場合に置換コストγは0に設定され、音符ν[m1]と音符ν[m2]とが一致しない場合に置換コストγは1に設定される。図9には、指定音符列SQ(SQ={C,E,G,D,F,C,E},M1=7)と参照音符列SR(SR={C,G,F,E,D,C,D,C},M2=8)との間の距離行列Cが例示されている。以上の処理で距離行列Cの各距離c[m1,m2]が算定され、第M1行第M2列の距離c[M1,M2]が編集距離Eとして選択される。図9の例示では編集距離Eは6である。
第1解析部42は、指定音符列SQと参照音符列SRとの間で第k番目の単位区間Fについて算定した編集距離Eに応じて類似度V[k]を算定する。具体的には、第1解析部42は、以下の数式(3)の演算で類似度V[k]を算定する。
Figure 2014038308
数式(3)の記号Emaxは、指定音符列SQの第k番目の単位区間F内の音符数M1および参照音符列SRの対象区間σ[b]のうち第k番目の単位区間F内の音符数M2の大きい方(指定音符列SQおよび参照音符列SRの一方を他方に変形する最大手順)を意味する。数式(3)から理解されるように、編集距離Eが小さい(指定音符列SQと参照音符列SRとで音符の配列が類似する)ほど類似度V[k]は大きい数値となる。図6を参照して前述した通り、第1解析部42は、対象区間σ[b]の各単位区間Fに対応するK個の類似度V[1]〜V[K]から基礎値x[b]を算定し、第n番目の参照楽曲の参照音符列SR内で相異なる対象区間σ[b]に対応するB個の基礎値x[1]〜x[B]の最大値や平均値を類似指標値X[n]として選択する。以上の説明から理解されるように、指定音符列SQ内の音符の配列に類似する区間を含む参照楽曲の類似指標値X[n]ほど大きい数値となる。
図5の特徴量算定部44は、音符列の音楽的な特徴(特に和声的な特徴)を表現する継続長特徴量T(参照音符列SRの継続長特徴量TRおよび指定音符列SQの継続長特徴量TQ)を算定する。継続長特徴量TRは参照音符列SRの単位区間F毎に算定され、継続長特徴量TQは指定音符列SQの単位区間F毎に算定される。なお、編集距離Eの算定対象となる単位区間Fと継続長特徴量Tの算定対象となる単位区間Fとを相違させることも可能である。また、各参照音符列SRの継続長特徴量TRを事前に記憶装置14に格納した構成も採用され得る。すなわち、特徴量算定部44が参照音符列SRの継続長特徴量TRを算定する構成は省略され得る。
時間軸(横軸)と音高軸(縦軸)とが設定された座標平面に配列された音符列(ピアノロール画像)が図10に例示されている。図10に示すように、継続長特徴量T(TR,TQ)は、相異なるピッチクラス(音名)に対応する12個の要素値t[1]〜t[12]を配列した12次元ベクトルである。第1実施形態のピッチクラスは、音名が共通する複数の音高(ノートナンバ)の集合である。すなわち、周波数が2の冪乗倍の関係(相異なるオクターブにて音名が共通する関係)にある複数の音高は共通のピッチクラスに属する。12半音(C,C#,D,D#,E,F,F#,G,G#,A,A#,B)に対応する12個のピッチクラスについて要素値t[1]〜t[12]が算定される。
第c番目(c=1〜12)のピッチクラスに対応する要素値t[c]は、1個の単位区間F内に存在する複数の音符のうちそのピッチクラスに属する各音符の継続長の合計値τaに応じた数値に設定される。具体的には、要素値t[c]は、単位区間F内の複数の音符のうち第c番目のピッチクラスに属する各音符の継続長の合計値τaと、その単位区間F内の全部の音符の継続長の合計値τbとの比(t[c]=τa/τb)である。合計値τbによる除算は、要素値t[c]を0以上かつ1以下の範囲内の数値に正規化する演算に相当する。図10に示すように、ピッチクラス(音名G)が共通する音高G2の音符(継続長2秒)と音高G3の音符(継続長0.2秒)とが単位区間F内に存在し(τa=2+0.2=2.2)、単位区間F内の全部の音符の継続長の合計値τbが8秒である場合、継続長特徴量Tのうち音名Gのピッチクラス(c=8)に対応する要素値t[8]は、0.275(=2.2/8)となる。
図5の第2解析部46は、指定音符列SQの各単位区間Fの継続長特徴量TQと参照音符列SRの各単位区間Fの継続長特徴量TRとを対比することでN個の参照楽曲の各々について類似指標値Y[n](Y[1]〜Y[N])を算定する。類似指標値Y[n]は、第n番目の参照楽曲の参照音符列SRと指定音符列SQとが和声的な観点から相互に類似する度合の指標である。類似指標値X[n]が各音符の継続長を無視して音符列間の相関を評価するための尺度であるのに対し、類似指標値Y[n]は、継続長が長い音符ほど重視して和声的な観点から音符列間の相関を評価するための尺度であるとも換言され得る。
第2解析部46は、図11に示すように、参照音符列SRに対する指定音符列SQの時間軸上の位置を相違させた複数(B回)の場合の各々について基礎値y[b](y[1]〜y[B])を算定する。具体的には、指定音符列SQを参照音符列SRに対して単位区間Fの1個分ずつ移動した各場合について基礎値y[b]が算定される。すなわち、第2解析部46は、参照音符列SR内の対象区間σ[b]を順次に選択し、指定音符列SQ内のK個の単位区間Fにわたる継続長特徴量TQと対象区間σ[b]内のK個の単位区間Fにわたる継続長特徴量TRとを比較することで基礎値y[b]を算定する。
具体的には、第2解析部46は、指定音符列SQ内のK個の単位区間Fにわたる継続長特徴量TQの平均ベクトルと、対象区間σ[b]内のK個の単位区間Fにわたる継続長特徴量TRの平均ベクトルとの距離(例えばコサイン距離)を基礎値y[b]として算定する。したがって、指定音符列SQの各単位区間Fの継続長特徴量TQと対象区間σ[b]の各単位区間Fの継続長特徴量TRとが類似するほど基礎値y[b]は大きい数値となる。第2解析部46は、参照音符列SR内に順次に設定される各対象区間σ[b]に対応したB個の基礎値y[1]〜y[B]に応じた類似指標値Y[n]を算定する。例えば、B個の基礎値y[1]〜y[B]のなかの最大値(すなわち、指定音符列SQの各継続長特徴量TQに最も類似する継続長特徴量TRが存在する対象区間σ[B]の基礎値y[b])が類似指標値Y[n]として算定される。したがって、指定音符列SQに音楽的(和声的)に類似する区間を含む参照楽曲の類似指標値Y[n]ほど大きい数値に設定される。なお、B個の基礎値y[1]〜y[B]の平均値を類似指標値Y[n]として算定することも可能である。
図5の指標算定部48は、第1解析部42が算定した類似指標値X[n]と第2解析部46が算定した類似指標値Y[n]とに応じた類似指標値Z[n]を参照楽曲毎に算定する。例えば指標算定部48は、以下の数式(4)で表現されるように、類似指標値X[n]と類似指標値Y[n]との加重和を第n番目の参照楽曲の類似指標値Z[n]として算定する。
Figure 2014038308

数式(4)の記号WXは類似指標値X[n]に対する加重値(すなわち、音符の配列の類似性を重視する度合)を意味し、記号WYは類似指標値Y[n]に対する加重値(すなわち、和声感の類似性を重視する度合)を意味する(典型的にはWX+WY=1)。加重値WXおよび加重値WYは、例えば入力装置18に対する利用者からの指示に応じて可変に設定される。なお、加重値WXおよび加重値WYを所定値(例えばWX=WY=0.5)に固定した構成も採用され得る。以上の説明から理解されるように、指定音符列SQと参照音符列SRとが類似するほど類似指標値Z[n]は大きい数値となる。なお、類似指標値X[n]と類似指標値Y[n]とに応じた類似指標値Z[n]を算定する方法は適宜に変更される。例えば、類似指標値X[n]と類似指標値Y[n]との乗算値を類似指標値Z[n]として算定する構成や、類似指標値X[n]および類似指標値Y[n]を所定の演算式に適用することで類似指標値Z[n]を算定する構成も採用され得る。
図4に示すように、表示制御部28は、評価処理部26が算定した評価指標値Pの数値324とともに、評価指標値Pのうち類似指標値X[n]に由来する数値(例えばP・(WX・X[n]/Z[n]))326と類似指標値Y[n]に由来する数値(例えばP・(WY・Y[n]/Z[n]))328とを第2領域32に配置する。したがって、利用者は、音符の配列の正確性(類似指標値X[n])と和声感の正確性(類似指標値Y[n])とを個別に確認することが可能である。
図12は、演算処理装置12(類似解析部22)が類似指標値Z[n]を算定する処理(図3のステップSA2)の具体例のフローチャートである。演算処理装置12は、指定音符列SQおよび参照音符列SRを複数の単位区間Fに区分し(SB1)、図5の特徴量算定部44として機能することで単位区間F毎に継続長特徴量T(参照音符列SRの継続長特徴量TRおよび指定音符列SQの継続長特徴量TQ)を算定する(SB2)。演算処理装置12は、参照音符列SRに対する指定音符列SQの時間軸上の位置を設定し(SB3)、当該位置に応じた基礎値x[b]の算定(SB4)と当該位置に応じた基礎値y[b]の算定(SB5)とを実行する。基礎値y[b]の算定には、ステップSB2で算定された継続長特徴量TRおよび継続長特徴量TQが適用される。
演算処理装置12は、参照音符列SRに対する指定音符列SQの全通り(B通り)の位置について基礎値x[b](x[1]〜x[B])および基礎値y[b](y[1]〜y[B])の算定が完了したか否かを判定し(SB6)、算定が完了していない場合には(SB6:NO)、参照音符列SRに対する指定音符列SQの位置を変更した(SB3)うえで基礎値x[b]の算定(SB4)と基礎値y[b]の算定(SB5)とを実行する。他方、B個の基礎値x[1]〜x[B]とB個の基礎値y[1]〜y[B]との算定が完了すると(SB6:YES)、演算処理装置12は、B個の基礎値x[1]〜x[B]に応じた類似指標値X[n]の算定(SB7)とB個の基礎値y[1]〜y[B]に応じた類似指標値Y[n]の算定(SB8)とを実行する。基礎値x[b]の算定(SB4)と類似指標値X[n]の算定(SB7)とが第1解析部42の処理に相当し、基礎値y[b]の算定(SB5)と類似指標値Y[n]の算定(SB8)とが第2解析部46の処理に相当する。演算処理装置12(指標算定部48)は、類似指標値X[n]と類似指標値Y[n]とに応じた類似指標値Z[n]を算定する(SB9)。以上に例示した動作が図3のステップSA2にて実行される。
図13は、演算処理装置12(第1解析部42)が基礎値x[b]を算定する処理(図12のステップSB4)の具体例のフローチャートである。演算処理装置12は、図12のステップSB3で設定した参照音符列SRと指定音符列SQとの位置関係のもとで各々の第k番目の単位区間Fを選択し(SC1)、参照音符列SRの第k番目の単位区間Fと指定音符列SQの第k番目の単位区間Fとの間で編集距離Eを算定する(SC2)。そして、演算処理装置12は、ステップSC2で算定した編集距離Eを適用した数式(3)の演算で類似度V[k]を算定し(SC3)、K個の単位区間Fについて類似度V[k](V[1]〜V[K])の算定が完了したか否かを判定する(SC4)。算定が完了していない場合(SC4:NO)、類似度V[k]の算定対象となる単位区間Fを変更した(SC1)うえで編集距離Eの算定(SC2)と類似度V[k]の算定(SC3)とを実行する。K個の類似度V[1]〜V[K]の算定が完了した場合(SC4:YES)、演算処理装置12は、K個の類似度V[1]〜V[K]に応じた基礎値x[b]を算定する(SC5)。以上に例示した動作が図12のステップSB4にて実行される。
以上の説明から理解される通り、第1実施形態の類似解析部22は、指定音符列SQと参照音符列SRとの間の編集距離E(類似指標値X[n])と、指定音符列SQの各継続長特徴量TQと参照音符列SRの各継続長特徴量TRとの対比結果(類似指標値Y[n])とに応じた類似指標値Z[n]を算定する要素として機能する。すなわち、第1実施形態では、指定音符列SQおよび参照音符列SRの音符の配列に着目した類似指標値X[n]と、指定音符列SQおよび参照音符列SRの和声感に着目した類似指標値Y[n]との双方に応じた類似指標値Z[n]が算定される。したがって、音符列間の編集距離のみを利用する構成と比較して指定音符列SQと参照音符列SRとの相関(利用者による演奏の巧拙)を高精度に評価できるという利点がある。
また、参照音符列SRに対する指定音符列SQの位置を変化させた複数の場合の各々について算定された基礎値x[n]および基礎値y[b]に応じて類似指標値X[n]および類似指標値Y[n]が算定される。したがって、参照楽曲内の特定の区間のみを利用者が指定音符列SQとして指示した場合(指定音符列SQが参照音符列SRの特定の部分のみに対応する場合)でも、指定音符列SQに対応する対象楽曲を高精度に特定して指定音符列SQと参照音符列SRとの類似度(参照楽曲の特定区間の演奏の巧拙)を適切に評価できるという利点がある。
<第2実施形態>
本発明の第2実施形態を以下に説明する。以下に例示する各態様において作用や機能が第1実施形態と同様である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
和音を構成する複数の音符や相異なる演奏パートに対応する複数の音符が並列に発音される複音楽曲(ポリフォニック)の音符列が参照音符列SRや指定音符列SQとして指定される場合がある。利用者が入力装置18の操作で複数の音符を同時に指定したつもりでも実際には各音符列の指定の時点は相違するから、利用者が指定した和音を構成する各音符が指定音符列SQにて指定される順番は、入力装置18に対する利用者からの操作(各音符を指定する時点の微妙な相違)に応じて変化し得る。例えば、利用者が「ドミソ」の和音を指定したつもりでも、和音を構成する各音符は、実際の指定音符列SQ内では「ドソミ」や「ミドソ」や「ソドミ」等の様々な順番で配列し得る。指定音符列SQ内で以上のように発生し得る音符の順序の変動を補償して、利用者が実際に意図した楽曲と各参照楽曲との相関を高精度に評価するために、以下に説明する第2実施形態では、指定音符列SQ内で相前後する各音符の順序の入替を許容して編集距離Eを算定する。
第2実施形態の第1解析部42は、前述の数式(2)の演算で距離行列Cの各距離c[m1,m2]を算定する。距離c[m1,m2]の算定に適用される挿入コストや削除コストは第1実施形態と同様であるが、置換コストγの算定の方法が第1実施形態とは相違する。図14は、第2実施形態の第1解析部42が距離行列Cの距離c[m1,m2]の算定(数式(2))に適用する置換コストγの説明図である。
図14に示すように、第1解析部42は、指定音符列SQの音符ν[m1]を包含する許容区間(マージン)α[m1]を指定音符列SQ内に設定する。図14では、直前の音符ν[m1-1]と音符ν[m1]と直後の音符ν[m1+1]とを含む音符3個分の許容区間α[m1]を設定した場合が例示されている。第1解析部42は、指定音符列SQ内の音符ν[m1]と参照音符列SR内の音符ν[m2]とに対応する距離c[m1,m2]の算定に適用される置換コストγを、指定音符列SQの許容区間α[m1]内の3個の音符(ν[m1-1],ν[m1],ν[m1+1])の何れかに参照音符列SR内の音符ν[m2]が一致する場合に0(第1値)に設定し、参照音符列SR内の音符ν[m2]が許容区間α[m1]内の何れの音符にも一致しない場合に1(第2値)に設定する。したがって、指定音符列SQ内の各音符の配列が、参照音符列SR内で相前後する各音符を入替えた配列に相当する場合には、距離c[m1,m2]の増加(手順の増加)は発生しない。なお、置換コストγを0または2(または2以上の数値)に設定することも可能である。
図15は、第1実施形態で参照した図9と同様の指定音符列SQおよび参照音符列SRを対象とした場合に第2実施形態の第1解析部42が算定する距離行列Cである。第2実施形態では指定音符列SQ内で相前後する各音符の入替えが許容されるから、図15に示すように、第2実施形態で算定される編集距離E(E=2)は、第1実施形態の編集距離E(E=6)と比較して小さい数値となる。編集距離Eに応じた類似指標値X[n]の算定は第1実施形態と同様である。
図16は、第2実施形態における第1解析部42の動作のフローチャートである。第1実施形態で例示した図13の処理に代えて図16の処理が実行される。図16の処理では、図13の処理のステップSC2が図16のステップSC2-2に置換される。図16のステップSC2-2において、第1解析部42は、図15を参照して説明した通り、指定音符列SQに許容区間α[m1]を設定したうえで編集距離Eを算定する。第1解析部42が実行する他の処理は第1実施形態(図13)と同様である。
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態では、指定音符列SQ内で相前後する音符の入替えを許容して指定音符列SQと参照音符列SRとの編集距離Eが算定されるから、指定音符列SQの各音符の順序の誤差に対して頑健に指定音符列SQと参照音符列SRとの相関を解析する(対象楽曲を選択する)ことが可能である。すなわち、例えば指定音符列SQの各音符の順序と利用者が意図した音符の順序(すなわち利用者が検索したい参照楽曲内の音符の順序)とが相違する場合でも、利用者が意図した参照楽曲について高い類似指標値X[n]を算定することが可能である。例えば、参照音符列SRが「ドミソ」の和音を含む場合、利用者が指定音符列SQとして「ドソミ」や「ミドソ」や「ソドミ」といった順番で和音の各構成音を指定した場合でも類似指標値X[n]は「ドミソ」と指定した場合と同等である。また、第1実施形態における音符ν[m1]と音符ν[m2]との異同の判定を許容区間α[m1]内の各音符と音符ν[m2]との異同の判定に変更することで、以上の効果を容易に実現できるという利点もある。
<第3実施形態>
図17は、第3実施形態の第1解析部42が距離行列Cの距離c[m1,m2]の算定(数式(2))に適用する置換コストγの説明図である。第2実施形態の第1解析部42は、指定音符列SQに許容区間α[m1]を設定した。第3実施形態の第1解析部42は、図17に示すように、参照音符列SRの音符ν[m2]を包含する許容区間α[m2]を参照音符列SRに設定する。図17では、直前の音符ν[m2-1]と音符ν[m2]と直後の音符ν[m2+1]とを含む音符3個分の許容区間α[m2]を設定した場合が例示されている。
第1解析部42は、指定音符列SQ内の音符ν[m1]と参照音符列SR内の音符ν[m2]とに対応する距離c[m1,m2]の算定に適用される置換コストγを、指定音符列SQ内の音符ν[m1]が許容区間α[m2]内の何れかの音符(ν[m2-1],ν[m2],ν[m2+1])に一致する場合に0(第1値)に設定し、音符ν[m1]が許容区間α[m2]内の何れの音符にも一致しない場合に1(第2値)に設定する。したがって、参照音符列SR内の各音符の配列が、指定音符列SQ内で相前後する各音符を入替えた配列に相当する場合には、距離c[m1,m2]の増加は発生しない。以上の手順で算定された距離行列Cのうち第M1行第M2列の距離c[M1,M2]が編集距離Eとして選択される。編集距離Eに応じた類似度V[k]の算定や類似度V[k]に応じた類似指標値X[n]の算定は第1実施形態と同様である。
図18は、図9と同様の指定音符列SQおよび参照音符列SRを対象とした場合に第3実施形態の第1解析部42が算定する距離行列Cである。図18に示すように、第3実施形態で算定される編集距離E(E=4)は、第1実施形態の編集距離E(E=6)と比較して小さい数値となる。第3実施形態においても第2実施形態と同様の効果が実現される。
図19は、第3実施形態における第1解析部42の動作のフローチャートである。第1実施形態で例示した図13の処理に代えて図19の処理が実行される。図19の処理では、図13の処理のステップSC2が図19のステップSC2-3に置換される。図19のステップSC2-3において、第1解析部42は、図17を参照して説明した通り、参照音符列SRに許容区間α[m2]を設定したうえで編集距離Eを算定する。第1解析部42が実行する他の処理は第1実施形態(図13)と同様である。
<第4実施形態>
図15と図18とを対比することで把握できる通り、指定音符列SQ内に許容区間α[m1]を設定した場合の編集距離E(E=2)と参照音符列SR内に許容区間α[m2]を設定した場合の編集距離E(E=4)とは相違し得る。第4実施形態の第1解析部42は、指定音符列SQ内に許容区間α[m1]を設定した場合の編集距離E(EQ)と参照音符列SR内に許容区間α[m2]を設定した場合の編集距離E(ER)との双方を算定し、編集距離EQと編集距離ERとに応じて編集距離E(ひいては類似指標値X[n])を算定する。例えば第1解析部42は、編集距離EQと編集距離ERとの平均値(典型的には単純平均)を編集距離Eとして算定する。例えば、図15および図18の場合、編集距離Eは3(=(2+4)/2)と算定される。編集距離Eに応じた類似度V[k]の算定や類似度V[k]に応じた類似指標値X[n]の算定は第1実施形態と同様である。なお、編集距離EQおよび編集距離ERの最大値または最小値を編集距離Eとして類似指標値X[n]を算定する構成や、編集距離EQおよび編集距離ERに対する所定の演算(例えば編集距離EQと編集距離ERとの乗算)で編集距離Eを算定する構成も採用され得る。
図20は、第4実施形態における第1解析部42の動作のフローチャートである。第1実施形態で例示した図13の処理に代えて図20の処理が実行される。図20の処理では、図13の処理のステップSC2が図20のステップSC2-4a〜SC2-4cに置換される。図20のステップSC2-4aにおいて、第1解析部42は、図16のステップSC2-2と同様に、指定音符列SQに許容区間α[m1]を設定したうえで編集距離EQを算定する。また、図20のステップSC2-4bにおいて、第1解析部42は、図19のステップSC2-3と同様に、参照音符列SRに許容区間α[m2]を設定したうえで編集距離ERを算定する。そして、第1解析部42は、ステップSC2-4aで算定した編集距離EQとステップSC2-4bで算定した編集距離ERとの平均値を編集距離Eとして算定する(SC2-4c)。第1解析部42が実行する他の処理は第1実施形態(図13)と同様である。
第4実施形態においても第2実施形態と同様の効果が実現される。また、第4実施形態では、編集距離EQと編集距離ERとに応じて編集距離Eが算定されるから、指定音符列SQに許容区間α[m1]を設定した場合と参照音符列SRに許容区間α[m2]を設定した場合との編集距離Eの相違の影響を低減して高精度に指定音符列SQと参照音符列SRとの相関を評価できるという利点がある。
<第5実施形態>
図21は、第5実施形態における類似解析部22のブロック図である。第5実施形態の類似解析部22は、第1実施形態の類似解析部22に特徴量算定部52と第3解析部54とを追加した構成である。特徴量算定部52は、音符列の音楽的な特徴(特に音価の特徴)を表現する音価特徴量H(参照音符列SRの音価特徴量HRおよび指定音符列SQの音価特徴量HQ)を算定する。音価は、音符の楽譜上の時間長(全音符,2分音符,4分音符等)を意味する。したがって、ひとつの音価の音符が実際に継続する時間長は、演奏テンポに連動して変化する。音価特徴量HRは参照音符列SRの単位区間F毎に算定され、音価特徴量HQは指定音符列SQの単位区間F毎に算定される。なお、各参照音符列SRの音価特徴量HRを事前に記憶装置14に格納した構成(音価特徴量HRの算定を省略した構成)も採用され得る。なお、単位区間Fの設定方法は前述の各形態と同様である。例えば、演奏テンポを所定値と仮定した場合の1小節分の区間が単位区間Fに設定される。演奏テンポの設定値が実際の数値と相違する場合には指定音符列SQおよび参照音符列SRの各々の音符毎の音価が正確には特定されないが、指定音符列SQと参照音符列SRとの間で音価の特徴を比較するという目的は問題なく達成される。
時間軸と音高軸とが設定された座標平面に配列された音符列が図22に例示されている。図22に示すように、音価特徴量H(HR,HQ)は、相異なる音価(音符長)に対応する8個の要素値h[1]〜h[8]を配列した8次元ベクトルである。図22では、全音符,付点2分音符,2分音符,付点4分音符,4分音符,付点8分音符,8分音符および16分音符の8種類の音価に対応する要素値h[1]〜h[8]が例示されている。
参照音符列SRおよび指定音符列SQの各々の単位区間F内の各音符は、その音符の継続長とテンポとから8種類の音価の何れかに分類される。第d番目(d=1〜8)の音価に対応する要素値h[d]は、1個の単位区間F内に存在する複数の音符のうちその音価に分類された音符の総数に応じた数値に設定される。具体的には、要素値h[d]は、単位区間F内の複数の音符のうち第d番目の音価に分類される音符の総数μaと、その単位区間F内の音符の総数μbとの比(h[d]=μa/μb)である。音符の総数μbによる除算は、要素値h[d]を0以上かつ1以下の範囲内の数値に正規化する演算に相当する。例えば、図22の例示のように単位区間F内に7個の音符が存在する状況を想定する。図22の単位区間F内には、全音符(d=1)に分類される3個の音符が存在するから要素値h[1]は3/7に設定され、4分音符(d=5)に分類される1個の音符が存在するから要素値h[5]は1/7に設定され、8分音符(d=7)に分類される3個の音符が存在するから要素値h[7]は3/7に設定され、残余の要素値h[d](h[2],h[3],h[4],h[6])は0に設定される。図21の特徴量算定部52は、以上に説明した音価特徴量H(HR,HQ)を参照音符列SRおよび指定音符列SQの各々について単位区間F毎に算定する。なお、各要素値h[d]に対応する8種類の音価の何れにも合致しない音符(例えば3連符)は、その音符の継続長に最も近い音価に近似的に分類される。
第3解析部54は、指定音符列SQの各単位区間Fの音価特徴量HQと参照音符列SRの各単位区間Fの音価特徴量HRとを対比することでN個の参照楽曲の各々について類似指標値U[n](U[1]〜U[N])を算定する。類似指標値U[n]は、指定音符列SQの各音価特徴量HQと参照音符列SRの各音価特徴量HRとの類似度を評価するための指標である。
第3解析部54が類似指標値U[n]を算定する方法は、前述の各形態における第2解析部46が類似指標値Y[n]を算定する方法(図11)と同様である。すなわち、第3解析部54は、参照音符列SRに対する指定音符列SQの時間軸上の位置を相違させた複数(B回)の場合の各々について基礎値u[b](u[1]〜u[B])を算定し、B個の基礎値u[1]〜u[B]に応じた数値(例えば最大値や平均値)を類似指標値U[n]として算定する。例えば、指定音符列SQ内のK個の単位区間Fにわたる音価特徴量HQの平均ベクトルと、参照音符列SRの対象区間σ[b]内のK個の単位区間Fにわたる音価特徴量HRの平均ベクトルとの距離(例えばコサイン距離)が基礎値u[b]の好例である。
以上の説明から理解されるように、音価毎の音符数が指定音符列SQと参照音符列SRとの間で類似するほど(すなわち音価の特徴が相互に類似するほど)、類似指標値U[n]は大きい数値に設定される。すなわち、前述の類似指標値X[n]が音符の配列(音符名および配列順)の観点から音符列間の相関を評価するための尺度として利用されるのに対し、類似指標値U[n]は、音符の配列(音符名や配列順)を無視して音価毎の音符数の観点から音符列間の相関を評価するための尺度として利用される。
第5実施形態の指標算定部48は、第1解析部42が算定した類似指標値X[n]と第2解析部46が算定した類似指標値Y[n]とに加えて第3解析部54が算定した類似指標値U[n]を加味した類似指標値Z[n]を参照楽曲毎に算定する。具体的には、指標算定部48は、以下の数式(5)で表現されるように、類似指標値X[n]と類似指標値Y[n]と類似指標値U[n]との加重和を第n番目の参照楽曲の類似指標値Z[n]として算定する。
Figure 2014038308
数式(5)の記号WUは、類似指標値U[n]に対する加重値(すなわち、各音価の音符数の類似性を重視する度合)を意味する(典型的にはWX+WY+WU=1)。加重値WUは、加重値WXおよび加重値WYと同様に、利用者から指定された数値または所定の固定値に設定される。類似指標値U[n]を利用した楽曲選択部24の動作(対象楽曲の選択)や評価処理部26の動作(評価指標値Pの算定)は前述の各形態と同様である。
第5実施形態においても第1実施形態と同様の効果が実現される。また、第5実施形態では、各音符の音価に応じた音価特徴量Hを参照音符列SRと指定音符列SQとの間で対比した結果(類似指標値U[n])が類似指標値Z[n]に反映されるから、例えば音符列間の編集距離のみを利用する構成と比較して指定音符列SQと参照音符列SRとの相関(利用者による演奏の巧拙)を高精度に評価できるという利点がある。特に第5実施形態の音価特徴量Hには音符毎の音価(継続長)の特徴が反映されるから、第5実施形態によれば、指定音符列SQにおける各音符の継続長の正確性を評価することが可能である。なお、以上の説明では第1実施形態を基礎としたが、音価特徴量H(HR,HQ)を利用する第5実施形態の構成は第2実施形態から第4実施形態にも同様に適用される。また、例えば類似指標値X[n]と類似指標値U[n]とに応じて類似指標値Z[n]を算定する構成(類似指標値Y[n]の算定を省略した構成)も採用され得る。
<第6実施形態>
第1実施形態においては、類似指標値Z[n]が最大となる参照楽曲を選択した。しかし、演奏の態様(例えば演奏の巧拙)によっては、類似指標値Z[n]が最大である参照楽曲と利用者が意図した参照楽曲とが一致しない場合(すなわち利用者が意図した楽曲とは相違する参照楽曲の類似指標値Z[n]が最大になる場合)がある。利用者が意図した楽曲以外の参照楽曲を対象楽曲として特定された評価指標値Pは、実際に利用者が演奏した楽曲の巧拙の指標とはならない。以上の事情を考慮して、第6実施形態の楽曲選択部24は、類似解析部22が算定した類似指標値Z[n]に応じた複数の参照楽曲(以下「候補楽曲」という)のうち利用者が指定した1個の参照楽曲を選択する。
具体的には、本実施形態の楽曲選択部24は、N個の参照楽曲のうち類似指標値Z[n]が所定の閾値を上回る複数の参照楽曲を候補楽曲として特定する。表示制御部28は、楽曲選択部24が特定した候補楽曲の属性情報DAが示す識別符号(楽曲名)を提示する画像(以下「候補リスト画像」)を表示装置16に表示させる。図23は、候補リスト画像の具体例である。候補リスト画像には、類似指標値Z[n]の降順で複数の候補楽曲の各々の楽曲名が配列される。利用者は、例えば入力装置18を操作することで、候補リスト画像に提示された複数の候補楽曲のうち自身が意図した1個の参照楽曲を指定することができる。楽曲選択部24は、利用者が指定した候補楽曲を対象楽曲として選択する。評価処理部26は、第1実施形態と同様に、楽曲選択部24が選択した対象楽曲について類似指標値Z[n]に応じた評価指標値Pを特定する。なお、複数の候補楽曲を選択する方法は任意である。例えば、N個の参照楽曲のうち類似指標値Z[n]の降順で上位に位置する所定個(例えば5個)の参照楽曲を候補楽曲として特定することも可能である。
図24は、第6実施形態における音符列解析装置100(演算処理装置12)の動作のフローチャートである。例えば楽器演奏の評価の開始が利用者から指示された場合に図24の処理が開始される。入力装置18に対する操作に応じた指定音符列SQを取得すると(SD1)、演算処理部12(類似解析部22)は、指定音符列SQと参照楽曲の参照音符列SRとの類似度に応じた類似指標値Z[n]を複数の参照楽曲の各々について算定する(SD2)。類似指標値Z[n]の算定には、例えば第1実施形態から第5実施形態と同様の方法が適用される。演算処理装置12(楽曲選択部24)は、ステップSD2で算定した類似指標値Z[n]に応じて複数の候補楽曲を選択する(SD3)。そして、演算処理装置12は、表示制御部28として機能することで候補リスト画像を表示装置16に表示させ(SD4)、楽曲選択部24とし機能することで複数の候補楽曲のうち利用者からの指示に応じた1個の参照楽曲を対象楽曲として選択する(SD5)。演算処理装置12は、評価処理部26として機能することで対象楽曲の類似指標値Z[n]に応じた評価指標値Pを算定するとともに(SD6)、表示制御部28として機能することで例えば図4の表示結果画像30を表示装置16に表示させる(SD7)。
第6実施形態においても第1実施形態と同様の効果が実現される。また、第6実施形態においては、類似指標値Z[n]に応じた複数の候補楽曲のうち利用者が指定した1個の参照楽曲が選択される。したがって、類似指標値Z[n]が最大である1個の参照楽曲を対象楽曲として選択する構成と比較して、利用者が意図した楽曲以外の参照楽曲を対象楽曲として評価指標値Pが算定される可能性を低減することができる。
<変形例>
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)前述の各形態のように、類似指標値Z[n]が最大となる参照楽曲を対象楽曲として選択する構成では、指定音符列SQが実際には何れの参照音符列SRにも類似しない場合でも類似指標値Z[n]の最大の1個の参照楽曲が対象楽曲として選択される。そこで、各参照楽曲について算定されたN個の類似指標値Z[n]の最大値が所定の閾値を下回る場合(すなわち指定音符列SQが何れの参照音符列SRにも類似しない場合)に、以下に例示する所定の処理(例外処理)を実行することも可能である。
例えば、指定音符列SQが何れの参照音符列SRにも類似しないことを通知するメッセージ(エラー表示)を表示制御部28が表示装置16に表示させる構成や、記憶装置14内のN個の参照楽曲のリストを表示制御部28が表示装置16に表示させて対象楽曲(利用者が演奏した参照楽曲)を利用者に選択させる構成が採用され得る。
また、N個の類似指標値Z[n]の最大値が閾値を下回る場合(例えば記憶装置14内のN個の参照楽曲以外の楽曲を利用者が演奏した場合)に、指定音符列SQに対応する参照楽曲を、多数の参照楽曲を記憶する音楽サーバ装置に対して音符列解析装置100(例えば携帯電話機等の通信端末)から照会することも可能である。音楽サーバ装置は、音符列解析装置100から通知された指定音符列SQに対応する参照楽曲を検索して音符列解析装置100の表示装置16に例えば楽曲名を表示させる。音楽サーバ装置における参照楽曲の検索には、例えば前述の各形態と同様の類似指標値Z[n]が好適に利用される。また、音楽サーバ装置にて検索された参照楽曲を音符列解析装置100に通知して利用者に音楽データ(例えばMIDIデータ)の購入を提案する構成も好適である。
(2)前述の各形態では、単位区間FのK個毎に算定された基礎値x[b](単位区間毎の類似度V[k])に応じて類似指標値X[n]を設定し、単位区間FのK個毎に算定された基礎値y[b]に応じて類似指標値Y[n]を設定した。以上の構成では、参照楽曲のうち単位区間FのK個分(または単位区間Fの1個分)に相当する区間だけを指定音符列SQとして指定した場合に評価指標値Pが高評価を意味する大きい数値となる。そこで、指定音符列SQと参照音符列SRとの音符列長(例えば音符数や時間長)の相対比に応じて評価指標値Pを補正する構成も採用される。具体的には、評価処理部26は、対象楽曲の参照音符列SRの音符列長(例えば音符数や時間長)LRに対する指定音符列SQの音符列長LQの相対比(LQ/LR)を評価指標値Pに乗算する。以上の構成では、例えば、参照音符列SRの20%に相当する区間のみを利用者が指定音符列SQとして指定した場合(LQ/LR=2/10)、評価指標値Pは、参照音符列SRの全体を演奏した場合(S=100)の20%(S=20)に設定される。すなわち、参照音符列SRのうち利用者が正確に演奏した区間が長いほど評価指標値Pは高評価を意味する大きい数値となる。
(3)前述の各形態では、単位区間F毎の編集距離Eに応じて類似指標値X[n]を算定したが、指定音符列SQの全区間と参照音符列SRとの全区間との対比で編集距離Eを算定する構成(指定音符列SQや参照音符列SRを単位区間Fに区分せずに編集距離Eを算定する構成)も採用され得る。例えば編集距離Eを前掲の数式(3)に適用することで類似指標値X[n]が算定される。同様に、指定音符列SQの全区間と参照音符列SRの全区間との間で各単位区間Fの継続長特徴量Tを対比する構成も好適である。以上の構成によれば、参照音符列SRの一部のみを利用者が指定音符列SQとして指定した場合に評価指標値Pを低下させる(すなわち指定音符列SQを適切に評価する)ことが可能である。
(4)楽曲選択部24が対象楽曲の選択に利用する類似指標値Z[n](楽曲選択用の類似指標値Z1[n])と評価処理部26が評価指標値Pの算定に適用する類似指標値Z[n](演奏評価用の類似指標値Z2[n])とを相違させることも可能である。具体的には、類似指標値Z1[n]と類似指標値Z2[n]とで加重値WXおよび加重値WYを相違させた構成が採用される。例えば対象楽曲の選択の場面では各音符の配列(類似指標値X[n])が重視され、演奏評価の場面では各音符の配列および和声感(類似指標値Y[n])の双方が重視されるという傾向を前提とすれば、類似指標値Z1[n]の算定時の加重値WXを類似指標値Z2[n]の算定時の加重値WXを上回る数値に設定した構成(楽曲選択時に類似指標値X[n]を重視する構成)や、類似指標値Z1[n]の算定時の加重値WYを類似指標値Z2[n]の算定時の加重値WYを下回る数値に設定した構成(楽曲選択時に類似指標値Y[n]を重視しない構成)が好適である。また、楽曲選択用の類似指標値Z1[n]に類似指標値X[n]および類似指標値Y[n]の一方のみを反映させる(加重値WXおよび加重値WYの一方を0に設定する)とともに演奏評価用の類似指標値Z2[n]には類似指標値X[n]および類似指標値Y[n]の双方を反映させる構成も採用される。
(5)前述の各形態では、編集距離Eに応じた類似指標値X[n]と継続長特徴量Tの対比結果に応じた類似指標値Y[n]とから類似指標値Z[n]を算定したが、類似指標値Z[n]の算定方法は、以上の例示に限定されることなく任意に変更される。例えば、公知の動的時間伸縮法(DTW:Dynamic Time Warping)を利用して指定音符列SQと参照音符列SRとの類似度に応じた類似指標値Z[n]を算定する構成が採用される。また、編集距離Eに応じた類似指標値X[n]と継続長特徴量Tに応じた類似指標値Y[n]と音価特徴量Hに応じた類似指標値U[n]との少なくともひとつのみに応じて類似指標値Z[n]を設定する構成も好適である。例えば、類似指標値X[n]と類似指標値Y[n]と類似指標値U[n]の何れかひとつのみを類似指標値Z[n]として算定する構成や、類似指標値X[n]および類似指標値Y[n]の一方と類似指標値U[n]とに応じて類似指標値Z[n]を算定する構成も採用され得る。数式(1A)や数式(1B)の演算で算定される数値(評価指標値P)を最終的な類似指標値Z[n]として確定することも可能である。
また、前述の各形態では、指定音符列SQと参照音符列SRとが類似するほど類似指標値Z[n]が大きい数値となる構成を例示したが、指定音符列SQおよび参照音符列SRの間の類否と類似指標値Z[n](類似指標値X[n]および類似指標値Y[n])の大小との関係は以上の例示に限定されない。例えば、指定音符列SQと参照音符列SRとが類似するほど類似指標値Z[n]が小さい数値となるように各参照楽曲の類似指標値Z[n](類似指標値X[n]および類似指標値Y[n])を算定することも可能である。
(6)利用者が入力装置18の操作で指定した各指定音符列SQを記憶装置14に順次に格納し、評価結果画像30の評価遷移画像312における所望の評価指示子314を利用者が入力装置18の操作で選択した場合に、その評価指示子314に対応する指定音符列SQを記憶装置14から取得して放音装置から音響を再生する構成も採用され得る。以上の構成によれば、過去の各指定音符列SQを対比的に聴取することで楽曲演奏の習熟度を聴感的に把握することが可能である。
(7)前述の各形態では、対象楽曲の類似指標値Z[n]を数式(1A)または数式(1B)の演算で評価指標値Pに変換したが、類似指標値Z[n]に応じた評価指標値Pを特定する方法は任意である。例えば、類似指標値Z[n]を評価指標値Pとして特定する構成も採用される。以上の説明から理解されるように、前述の各形態における評価処理部26は、類似指標値Z[n]に応じた評価指標値Pを特定する要素として包括され、類似指標値Z[n]の変換の有無(類似指標値Z[n]と評価指標値Pとの異同)は不問である。
(8)前述の各形態では、全部の参照楽曲について共通の方法で類似指標値Z[n]を算定したが、N個の参照楽曲を区分したグループ毎に類似指標値Z[n]の算定方法を相違させることも可能である。具体的には、N個の参照楽曲をジャンル毎に複数のグループに区分し、グループ毎に個別に設定された加重値で各参照楽曲の類似指標値Z[n]を加重する構成が採用される。類似解析部22(指標算定部48)は、第1グループに属する第1参照楽曲の類似指標値Z[n]に加重値ω1を乗算し、第2グループに属する第2参照楽曲の類似指標値Z[n]に加重値ω2を乗算する。例えば、利用者が入力装置18の操作で指定したジャンルの各参照楽曲の類似指標値Z[n]に対する加重値が、他のジャンルの参照楽曲の類似指標値Z[n]に対する加重値を上回る数値に設定される。以上の構成によれば、参照楽曲が対象楽曲として選択される可能性をグループ毎(参照楽曲のジャンル毎)に相違させることが可能である。
(9)第2実施形態および第4実施形態では、1個の音符ν[m1]に対して前方および後方の同数の音符にわたる許容区間α[m1]を例示したが、許容区間α[m1]の設定方法は適宜に変更される。例えば、1個の音符ν[m1]を末尾とする所定個の音符の時系列を許容区間α[m1]として設定する構成や、1個の音符ν[m1]を先頭とする所定個の音符の時系列を許容区間α[m1]として設定する構成も採用される。また、許容区間α[m1]内で音符ν[m1]の前方に位置する音符の個数と後方に位置する音符の個数とを相違させることも可能である。なお、以上の説明では指定音符列SQに設定される許容区間α[m1]を例示したが、第3実施形態および第4実施形態において参照音符列SRに設定される許容区間α[m2]についても同様の変形が適用される。
(10)前述の各形態では、12半音の各々に対応する12個のピッチクラスについて要素値t[1]〜t[12]を算定したが、ピッチクラスの総数(継続長特徴量Tを構成する要素値t[c]の個数)や各ピッチクラスの区分の方法は適宜に変更される。例えば12個を上回る個数(例えば24個,36個,48個)のピッチクラスを設定した構成や、12個を下回る個数のピッチクラスを設定した構成も採用され得る。ピッチクラスの総数は、例えば音律を考慮して選定され得る。また、音域毎にピッチクラスを区別することも可能である。例えば、複数のオクターブのうち奇数番目の各オクターブに属する12半音の各々に対応する12個のピッチクラスと、偶数番目の各オクターブに属する12半音の各々に対応する12個のピッチクラスとを個別に設定した構成(したがって、合計24個の要素値t[c]が単位区間F毎に算定される)が採用され得る。また、所定の閾値を上回る音域内(例えば旋律音の音域内)で12半音の各々に対応する12個のピッチクラスと、その閾値を下回る音域内(例えば伴奏音の音域内)で12半音の各々に対応する12個のピッチクラスとを個別に設定する(したがって、合計24個の要素値t[c]が単位区間F毎に算定される)ことも可能である。以上の例示から理解されるように、ピッチクラスは、音名が相互に共通する少なくとも2個の音高を含む範囲(分類)を意味し、その総数や区分方法は任意である。また、継続長特徴量Tの要素値t[c]の算定方法も以上の例示に限定されない。例えば、前述の例示のように継続長特徴量TQと継続長特徴量TRとのコサイン距離(ベクトル同士の角度)を算定する構成では、単位区間F内の複数の音符のうち第c番目のピッチクラスに属する各音符の継続長の合計値τaを要素値t[c]とする(すなわち単位区間F内の全部の音符の継続長の合計値τbとの比を算定しない)ことも可能である。
(11)第5実施形態では、8種類の音価の各々に対応する要素値h[1]〜h[8]を含む音価特徴量H(HR,HQ)を例示したが、音価特徴量Hに反映される音価の種類や総数は任意である。例えば、全音符,2分音符,4分音符,8分音符の4種類の音価に対応した要素値h[1]〜h[4]で構成される4次元ベクトルを音価特徴量Hとして算定することも可能である。音価指標値Hの各要素値h[d]の算定方法も以上の例示に限定されない。例えば、前述の例示のように音価特徴量HQと音価特徴量HRとのコサイン距離(ベクトル同士の角度)を算定する構成では、単位区間F内の複数の音符のうち第d番目の音価に分類される音符の個数μaを要素値h[d]とする(すなわち単位区間F内の音符の総数μbとの比を算定しない)ことも可能である。また、類似指標値U[n]の算定方法は前述の例示に限定されない。例えば、音符列(参照音符列SR,指定音符列SQ)の全区間にわたり音価毎の音符数を計数することで音符列の全区間に対応する音価特徴量Hを算定する構成(単位区間F毎の個別の音価特徴量Hは算定しない構成)が採用され得る。第3解析部54は、参照音符列SRの全区間に対応する1個の音価特徴量HRと指定音符列SQの全区間に対応する1個の音価特徴量HQとの距離(例えばコサイン距離)を類似指標値U[n]として算定する。すなわち、各基礎値u[b]の算定は省略される。また、参照音符列SRの単位区間F毎の音価特徴量HRの平均と指定音符列SQの単位区間F毎の音価特徴量HQの平均とを対比する(例えば距離を算定する)ことで類似指標値U[n]を算定することも可能である。
(12)音符列解析装置100は、携帯電話機やパーソナルコンピュータ等の端末装置と通信するサーバ装置としても実現され得る。すなわち、音符列解析装置100は、端末装置の入力装置18に対して利用者が指示した指定音符列SQを端末装置から受信して指定音符列SQと各参照音符列SRとの相関を解析し、解析結果の画像を端末装置の表示装置16に表示させる。以上の説明から理解されるように、前述の各形態における入力装置18や表示装置16は音符列解析装置100から省略され得る。
(13)音符列間の類似度を評価するための特徴量は、前述の継続長特徴量Tや音価特徴量Hに限定されない。例えば、各音符の演奏強度(音量)をピッチクラス毎に加算した数値を複数のピッチクラスについて配列したクロマベクトル(ピッチクラスプロファイル)を特徴量として音符列間の類似度を評価することも可能である。しかし、クロマベクトルには各音符の継続長(音価)が反映されないから、音符列間の類似度を評価するための特徴量として充分でない場合もある。前述の各形態で例示した継続長特徴量Tや音価特徴量Hを利用すれば、各音符の継続長(音価)の観点から音符列間の類似度を適切に評価できるという利点がある。
以上の説明から理解される通り、継続長特徴量Tや音価特徴量Hは音符列の特徴量として単独でも有効に利用され得る。したがって、前述の各形態において継続長特徴量Tや音価特徴量Hを算定する構成は各々が単独で(すなわち音符列間の類似度の評価や参照楽曲の検索等を要件とせずに)発明として成立し得る。具体的には、音符列から継続長特徴量Tを算定する要素(例えば前述の各形態の特徴量算定部44)を具備する音符列解析装置や、音符列から音価特徴量Hを算定する要素(例えば第5実施形態の特徴量算定部52)を具備する音符列解析装置が単独の発明として特定され得る。
100……音符列解析装置、12……演算処理装置、14……記憶装置、16……表示装置、18……入力装置、22……類似解析部、24……楽曲選択部、26……評価処理部、28……表示制御部、30……評価結果画像、31……第1領域、32……第2領域、42……第1解析部、44……特徴量算定部、46……第2解析部、48……指標算定部、52……特徴量算定部、54……第3解析部。

Claims (6)

  1. 利用者が指定した指定音符列と参照楽曲の参照音符列との類似度に応じた類似指標値を複数の参照楽曲の各々について算定する類似解析手段と、
    前記類似解析手段が算定した類似指標値に応じた参照楽曲を選択する楽曲選択手段と、
    前記楽曲選択手段が選択した参照楽曲について前記類似解析手段が算定した類似指標値に応じた評価指標値を特定する評価処理手段と
    を具備する音符列解析装置。
  2. 前記類似解析手段は、前記指定音符列と前記参照音符列との間の編集距離に応じた前記類似指標値を算定する手段であって、前記指定音符列内の第1音符と前記参照音符列内の第2音符との間の置換コストを、前記第1音符および前記第2音符の一方が、前記第1音符および前記第2音符の他方を包含する許容区間内の複数の音符の何れかに一致する場合に第1値に設定し、前記許容区間内の前記複数の音符の何れにも一致しない場合に前記第1値を上回る第2値に設定して前記編集距離を算定する
    請求項1の音符列解析装置。
  3. 前記類似解析手段は、単位区間内で一のピッチクラスに対応する各音符の継続長の合計値に応じた要素値を複数のピッチクラスについて配列した継続長特徴量を、前記指定音符列の各単位区間と前記参照音符列の各単位区間との間で対比した結果に応じた前記類似指標値を算定する
    請求項1または請求項2の音符列解析装置。
  4. 前記類似解析手段は、各音価に対応する音符の個数に応じた要素値を複数の音価について配列した音価特徴量を、前記指定音符列と前記参照音符列との間で対比した結果に応じた前記類似指標値を算定する
    請求項1から請求項3の何れかの音符列解析装置。
  5. 複数の指定音符列の各々について、前記類似解析手段による各参照楽曲の類似指標値の算定と、前記楽曲選択手段による参照楽曲の選択と、前記評価処理手段による評価指標値の特定とが順次に実行され、
    前記各指定音符列に対応する評価指標値の時系列を示す評価遷移画像を表示装置に表示させる表示制御手段
    を具備する請求項1から請求項4の何れかの音符列解析装置。
  6. 前記楽曲選択手段は、前記類似解析手段が算定した類似指標値に応じた複数の参照楽曲のうち利用者が指定した参照楽曲を選択する
    請求項1から請求項5の何れかの音符列解析装置。
JP2013118644A 2012-07-18 2013-06-05 音符列解析装置 Active JP5799977B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013118644A JP5799977B2 (ja) 2012-07-18 2013-06-05 音符列解析装置
EP13176155.3A EP2688063B1 (en) 2012-07-18 2013-07-11 Note sequence analysis
US13/944,333 US9087500B2 (en) 2012-07-18 2013-07-17 Note sequence analysis apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012159331 2012-07-18
JP2012159331 2012-07-18
JP2013118644A JP5799977B2 (ja) 2012-07-18 2013-06-05 音符列解析装置

Publications (2)

Publication Number Publication Date
JP2014038308A true JP2014038308A (ja) 2014-02-27
JP5799977B2 JP5799977B2 (ja) 2015-10-28

Family

ID=48782244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013118644A Active JP5799977B2 (ja) 2012-07-18 2013-06-05 音符列解析装置

Country Status (3)

Country Link
US (1) US9087500B2 (ja)
EP (1) EP2688063B1 (ja)
JP (1) JP5799977B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008081A1 (ja) * 2016-07-05 2018-01-11 Pioneer DJ株式会社 照明制御データ生成用楽曲選択装置、照明制御データ生成用楽曲選択方法、および照明制御データ生成用楽曲選択プログラム
US11600251B2 (en) 2018-04-26 2023-03-07 University Of Tsukuba Musicality information provision method, musicality information provision apparatus, and musicality information provision system

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6019858B2 (ja) * 2011-07-27 2016-11-02 ヤマハ株式会社 楽曲解析装置および楽曲解析方法
JP5935503B2 (ja) * 2012-05-18 2016-06-15 ヤマハ株式会社 楽曲解析装置および楽曲解析方法
US9384719B2 (en) * 2013-07-15 2016-07-05 Apple Inc. Generating customized arpeggios in a virtual musical instrument
US20150348164A1 (en) * 2014-04-03 2015-12-03 Uma Satish Doshi Method and system for music recommendation
EP4218975A3 (en) * 2015-05-19 2023-08-30 Harmonix Music Systems, Inc. Improvised guitar simulation
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
JP6801225B2 (ja) * 2016-05-18 2020-12-16 ヤマハ株式会社 自動演奏システムおよび自動演奏方法
US10008188B1 (en) * 2017-01-31 2018-06-26 Kyocera Document Solutions Inc. Musical score generator
US10121461B1 (en) * 2017-06-27 2018-11-06 International Business Machines Corporation Providing feedback on musical performance
JP6743843B2 (ja) * 2018-03-30 2020-08-19 カシオ計算機株式会社 電子楽器、演奏情報記憶方法、及びプログラム
WO2020080268A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309087A (ja) * 1989-03-24 1989-12-13 Yamaha Corp 音列パターン抽出方法およびこれを使用した演奏結果表示装置,演奏結果採点装置
JPH0561917A (ja) * 1991-08-29 1993-03-12 Nec Corp 旋律情報を利用した音楽データベース検索方式および旋律整合方式
JPH0736478A (ja) * 1993-06-28 1995-02-07 Nec Corp 音符列間類似度計算装置
JP2002215143A (ja) * 2001-01-18 2002-07-31 Yamaha Corp 楽曲データ出力装置及び楽曲データ出力方法
US20030233930A1 (en) * 2002-06-25 2003-12-25 Daniel Ozick Song-matching system and method
JP2009031486A (ja) * 2007-07-26 2009-02-12 Yamaha Corp 演奏音の類似度を評価する方法、装置およびプログラム
JP2011095530A (ja) * 2009-10-30 2011-05-12 Casio Computer Co Ltd 自動伴奏装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0731446B1 (en) * 1995-03-08 2001-07-04 GENERALMUSIC S.p.A. A microprocessor device for selection and recognition of musical pieces
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP3678135B2 (ja) * 1999-12-24 2005-08-03 ヤマハ株式会社 演奏評価装置および演奏評価システム
AU2001252900A1 (en) * 2000-03-13 2001-09-24 Perception Digital Technology (Bvi) Limited Melody retrieval system
JP3915452B2 (ja) 2001-08-13 2007-05-16 カシオ計算機株式会社 演奏教習装置及び演奏教習処理のプログラム
JP5147389B2 (ja) * 2007-12-28 2013-02-20 任天堂株式会社 楽曲提示装置、楽曲提示プログラム、楽曲提示システム、楽曲提示方法
EP2180463A1 (de) * 2008-10-22 2010-04-28 Stefan M. Oertl Verfahren zur Erkennung von Notenmustern in Musikstücken
US9153217B2 (en) * 2010-11-01 2015-10-06 James W. Wieder Simultaneously playing sound-segments to find and act-upon a composition
JP6019858B2 (ja) * 2011-07-27 2016-11-02 ヤマハ株式会社 楽曲解析装置および楽曲解析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309087A (ja) * 1989-03-24 1989-12-13 Yamaha Corp 音列パターン抽出方法およびこれを使用した演奏結果表示装置,演奏結果採点装置
JPH0561917A (ja) * 1991-08-29 1993-03-12 Nec Corp 旋律情報を利用した音楽データベース検索方式および旋律整合方式
JPH0736478A (ja) * 1993-06-28 1995-02-07 Nec Corp 音符列間類似度計算装置
JP2002215143A (ja) * 2001-01-18 2002-07-31 Yamaha Corp 楽曲データ出力装置及び楽曲データ出力方法
US20030233930A1 (en) * 2002-06-25 2003-12-25 Daniel Ozick Song-matching system and method
JP2009031486A (ja) * 2007-07-26 2009-02-12 Yamaha Corp 演奏音の類似度を評価する方法、装置およびプログラム
JP2011095530A (ja) * 2009-10-30 2011-05-12 Casio Computer Co Ltd 自動伴奏装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015017317; Marcel Mongeau and David Sankoff: 'Comparison of Musical Sequences' Computers and the Humanities Volume 24, Issue 3, 199006, p.161-175, Kluwer Academic Publishers *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008081A1 (ja) * 2016-07-05 2018-01-11 Pioneer DJ株式会社 照明制御データ生成用楽曲選択装置、照明制御データ生成用楽曲選択方法、および照明制御データ生成用楽曲選択プログラム
US10390410B2 (en) 2016-07-05 2019-08-20 Pioneer Dj Corporation Music selection device for generating lighting control data, music selection method for generating lighting control data, and music selection program for generating lighting control data
US11600251B2 (en) 2018-04-26 2023-03-07 University Of Tsukuba Musicality information provision method, musicality information provision apparatus, and musicality information provision system

Also Published As

Publication number Publication date
EP2688063A3 (en) 2014-08-20
JP5799977B2 (ja) 2015-10-28
US20140020546A1 (en) 2014-01-23
EP2688063B1 (en) 2017-02-22
EP2688063A2 (en) 2014-01-22
US9087500B2 (en) 2015-07-21

Similar Documents

Publication Publication Date Title
JP5799977B2 (ja) 音符列解析装置
JP5949544B2 (ja) リズムパターンの類似度に基づく楽音データの検索
JP5935503B2 (ja) 楽曲解析装置および楽曲解析方法
EP2515296B1 (en) Performance data search using a query indicative of a tone generation pattern
US8680387B2 (en) Systems and methods for composing music
JP6056437B2 (ja) 音データ処理装置及びプログラム
JP6019858B2 (ja) 楽曲解析装置および楽曲解析方法
US20100300262A1 (en) Music difficulty level calculating apparatus and music difficulty level calculating method
JP5970934B2 (ja) 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記録媒体
US20120300950A1 (en) Management of a sound material to be stored into a database
WO2019167719A1 (ja) 楽曲の演奏を処理するための情報処理方法および装置
JP5071441B2 (ja) 楽曲難易度評価装置および楽曲難易度評価プログラム
JP5879996B2 (ja) 音信号生成装置及びプログラム
JP5696435B2 (ja) コード検出装置及びプログラム
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
JP7120468B2 (ja) 音響解析方法、音響解析装置およびプログラム
JP6565529B2 (ja) 自動アレンジ装置及びプログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
WO2020255214A1 (ja) 楽曲解析装置、プログラムおよび楽曲解析方法
JP5825449B2 (ja) コード検出装置
JP6179188B2 (ja) 楽曲解析装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R151 Written notification of patent or utility model registration

Ref document number: 5799977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151