JP2019109357A - 音楽情報の特徴解析方法及びその装置 - Google Patents

音楽情報の特徴解析方法及びその装置 Download PDF

Info

Publication number
JP2019109357A
JP2019109357A JP2017242127A JP2017242127A JP2019109357A JP 2019109357 A JP2019109357 A JP 2019109357A JP 2017242127 A JP2017242127 A JP 2017242127A JP 2017242127 A JP2017242127 A JP 2017242127A JP 2019109357 A JP2019109357 A JP 2019109357A
Authority
JP
Japan
Prior art keywords
probability
transition
performance
string pattern
improvisation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017242127A
Other languages
English (en)
Other versions
JP6722165B2 (ja
JP2019109357A5 (ja
Inventor
大黒　達也
Tatsuya Oguro
達也 大黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2017242127A priority Critical patent/JP6722165B2/ja
Priority to US16/104,284 priority patent/US10431191B2/en
Publication of JP2019109357A publication Critical patent/JP2019109357A/ja
Publication of JP2019109357A5 publication Critical patent/JP2019109357A5/ja
Application granted granted Critical
Publication of JP6722165B2 publication Critical patent/JP6722165B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G10H2210/115—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
    • G10H2210/121—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure using a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/015—Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nonlinear Science (AREA)
  • Databases & Information Systems (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

【解決課題】 音楽理論に基づくものでなく、直感的に生み出された即興演奏の分析を可能にするシステムの提供を目的とする。【解決手段】 音楽記録媒体に記録された即興演奏者の楽曲データを解析し記号化する楽曲情報コーディング部１０と、記号化した楽曲データからマルコフモデルによる確率解析を行うために、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出する音列パターン抽出部１１と、上記抽出した各音列パターンのピッチ遷移列を求めるピッチ遷移列抽出部１２と、マルコフモデルを用いて、ピッチ遷移列の遷移確率と各遷移列の出現確率を１次〜ｎ次の各階層レベルで計算する遷移確率・出現確率演算部１３と、前記遷移確率と出現確率に基づいて、各階層レベルでピッチ遷移率を並べ替え、統計的に起こり得る可能性の高いピッチ遷移列を特定し、１２音平均律に基づいて全調作成し楽譜化することで即興演奏フレーズを生成する即興演奏フレーズ構成部１４とを有する演奏解析システムが提供される。【選択図】 図１

Description

本発明は、音楽情報から特徴を抽出するための方法とその装置に関するものである。
ジャズの重要な要素として即興演奏がある。
即興演奏とは、予め用意された楽譜等を用いないで、その場で直感的に演奏することである。従来は、即興演奏技術を習得するためには、過去の他の奏者の即興演奏を繰り返し聴き、耳を頼りにコピーしながら練習をする必要があり、膨大な労力と時間を必要とするということがあった。
これに対して、今日では、音楽学者や音楽家によって音楽理論的な解釈がなされた即興演奏のフレーズ集が多く提供されており、自力でコピーする必要がなくフレーズの習得が可能となっている。
特表２００６−５０８３９０号公報 特開２００３−１５６８４号公報 特開２００１−２９０４７４号公報 特開２００７−２２５６６１号公報
しかし、音楽学者や音楽家の音楽理論的解釈により用意された即興演奏のフレーズ集によって学んだ学習者は、当然のことながら音楽理論的な法則から脱した演奏が困難となる。このため、毎回ワンパターンな即興演奏になってしまい、直感的であるべき本来の即興演奏を行えないということがあった。
本発明は、このような課題を解決するべくなされたものであり、その目的は、音楽理論に基づくものでなく、直感的に生み出された即興演奏の分析を可能にするシステム及びこのシステムによって実行される方法を提供するものである。
上記課題を解決するため、この発明の第一の主要な観点によれば、演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出部と、上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算部と、前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成部とを有することを特徴とする即興演奏解析システムが提供される。
このような構成によれば、神経生理学的な脳の潜在学習・直感生成メカニズムに基づいて、あらゆる著名なジャズ奏者が即興演奏した音楽情報から、曲に埋め込まれている演奏者の潜在知識を抽出しフレーズを出力することができる。
これにより、音楽理論に縛られないフレーズを提供することができる。
この発明の１の実施態様によれば、上記演奏解析システムにおいて、前記演奏者の演奏は、即興演奏である。
また、別の１の実施態様によれば、前記音列パターン抽出部は、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出するものであり、前記遷移確率・出現確率演算部は、マルコフモデルを用いて、１次〜ｎ次の各階層レベルの各ピッチ遷移列の遷移確率を求めるものである。
更なる別の１の実施態様によれば、前記楽曲データは、ＸＭＬファイル若しくはＭＩＤＩ音源である。
この発明の第２の主要な観点によれば、ンピュータが、演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出工程と、コンピュータが、上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算工程と、コンピュータが、前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成工程とを有することを特徴とする即興演奏解析方法が提供される。
この発明の第３の主要な観点によれば、記憶媒体に格納され、即興演奏解析を実行するコンピュータソフトウエアプログラムであって、以下の、コンピュータが、演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出工程と、コンピュータが、上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算工程と、コンピュータが、前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成工程とを実行させるものであることを特徴とするコンピュータソフトウエアプログラムが提供される。
なお、この発明の、上記した以外の特徴については、次の「発明を実施するための形態」の記載及び図面の記載中に明らかにされる。
図１は、この発明の一実施形態を示す概略構成図。
図２は、同じく、フローチャート。
図３は、同じく、マルコフに基づく音列パターンの抽出を説明する概念図。
図４は、同じく、遷移確率と、出現確率を説明する概念図。
図５は、同じく、即興演奏フレーズの生成を説明する概念図。
以下、本発明の一実施形態を図面に基づいて説明する。
１．本発明の考え方
本発明は、音楽理論に縛られない即興演奏のフレーズを提供するシステム及び方法を提供するものである。
ここで、音楽理論とは、数学的・物理的な論理に基づいて構成されており、音楽理論に厳格に従って作られた音楽は、不協和音等のない綺麗な響きやメロディーラインとなる、というものである。その意味で、即興演奏においても、ある程度音楽理論に基づく必要がある。
しかながら、即興演奏を行う演奏者は、実際の演奏時には音楽理論的な妥当性を常に厳格に考えながら演奏するのではなく、これまで習得してきた演奏技術を頼りに、その場の直感に基づいて演奏するのが普通である。
したがって、音楽は物理的な法則を除けば根本的に脳の創造物といえるのであって、即興演奏によるメロディは、脳がこれまで獲得してきた知識に基づいて直感的に生み出されているといえる。
本発明者は、このような知見に基づいて本発明を完成させたものである。
すなわち、脳の最も根本的な学習メカニズムは、統計学習である。統計学習とは、意識や意図とは関係なく、系列情報の遷移確率を脳が自動的・潜在的に計算・学習するというもので、ヒトが生み出す直感も、この潜在統計知識に基づいて発生しているといわれている。
そこで、この発明においては、即興演奏者の演奏情報を統計的に分析して音列パターンの特徴を特定し、これに基づいてフレーズを抽出するようにしているものである。これにより即興演奏者の直感的な部分を反映したフレーズを得ることができる。このことで学習者は、「音楽理論」ではなく「直感」から生み出されてきた即興演奏技術を直接的に会得する事ができる。
本発明は、発明者のこのような知見に基づいてシステム化されたものである。
２．本実施形態にかかるシスステム構成
図１は、この実施形態にかかるシステムを示す概略構成図である。
このシステムは、ＣＰＵ１、ＲＡＭ２、出力部・表示部３、入力部４等が接続されているバス５に、データ記憶部６とプログラム記憶部７が接続されてなる。
データ記憶部６には、入力データとしての即興演奏者楽曲データ８と、出力データとしての即興演奏フレーズ情報９が格納されている。
プログラム記憶部７には、
基本プログラムの他、本実施例に関係するプログラムのみ挙げると、
（１）音楽記録媒体に記録された即興演奏者の楽曲データを解析し記号化する楽曲情報コーディング部１０と、
（２）記号化した楽曲データからマルコフモデルによる確率解析を行うために、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出する音列パターン抽出部１１と、
（３）上記抽出した各音列パターンのピッチ遷移列を求めるピッチ遷移列抽出部１２と、
（４）マルコフモデルを用いて、ピッチ遷移列の遷移確率と各遷移列の出現確率を１次〜ｎ次の各階層レベルで計算する遷移確率・出現確率演算部１３と、
（５）前記遷移確率と出現確率に基づいて、各階層レベルでピッチ遷移率を並べ替え、統計的に起こり得る可能性の高いピッチ遷移列を特定し、１２音平均律に基づいて全調作成し楽譜化することで即興演奏フレーズを生成する即興演奏フレーズ構成部１４と
が格納されている。
上記各構成部１０〜１４は、実際にはコンピュータソフトウエアプログラムであり、ＣＰＵ１によってＲＡＭ２上に展開され実行されることでこの発明の各構成要素として機能するようになっている。
以下、各構成部１０〜１４の詳しい構成及び機能を、処理動作を通して明らかにする。
図２は、上記システムによる処理工程を示すフローチャートである。図中、Ｓ１〜Ｓ７は、各処理工程を示す符号であり、以下の各ステップに対応する。
（１）音楽記録媒体に記録された即興演奏者の楽曲データを解析し記号化する工程（ステップＳ１、Ｓ２）（楽曲情報コーディング部１０）
音楽記録媒体（図示せず）に格納されたＭＸＬやＭＩＤＩなどの楽曲データは、Ｃ、Ｆ、Ｅなどのアルファベットによる音名情報であったり、言語的な情報であることが多い。これらの情報を統計処理し遷移確率を計算するためには、情報を全て数値に記号化する必要がある。
図３は、この記号化の処理を説明する概略図である。
図３で２０で示す楽譜情報に対応する楽曲データ（即興演奏者の演奏した生の楽曲データ）が例えばＳＤカード等の音楽記憶媒体２0に格納されており、この楽曲データはカードリーダ等の入力部４を通してこのシステムに読み込まれ、上記データ格納部６に格納される。（ステップＳ１）
次いで、前記楽曲情報コーディング部１０が、この楽曲データの数値解析を行い、ｐｉａｎｏの８８腱の音高に基づき最低音から順に１〜８８まで番号付けをする。
図３中２２はその結果を示すもので、上段はアルファベットによる音高情報で、下段は数値に変換した場合を示すものである。例えば、上記符号２１で示される楽譜にあるメロディを音名で表すと、「Ｆ５、Ｇ５、Ｆ５、Ｅｂ５、Ｆ５．．．」（図３中符号２２の上段）となり、それを８８の番号で表すと、「５７、５９、５７、５５、５７．．．］（図３中符号２２の下段)と表現される。
（２）記号化した楽曲データからマルコフモデルによる確率解析を行うために、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出する工程（ステップＳ３）（音列パターン抽出部）
ここで、マルコフモデルとは、時系列データの確率モデルであって、現在の状態の確率が、直前のｎ個前の状態に依存して決まるモデルをいう。
この実施形態では、まず、上記で記号化された楽曲データ２２から、各階層毎（１次〜ｎ次）の音列パターンを抽出する。
例えば、上記コーディングした楽曲データ２２の下段の［５７、５９、５７、５５、５７．．．］から抽出したマルコフモデルに従う１次音列パターンは［５７、５９］、「５９、５７］、［５７、５５］、［５５、５７］．．．となる。また、６次の音列パターンは、［５７、５９、５７、５５、５７、（-４５、５８）］となる。
（３）上記抽出した各音列パターンのピッチ遷移列を求める工程（ステップＳ４）（ピッチ遷移列抽出部１２）
音楽では、曲毎に調が存在し、この調によって曲全体の音の高さや、各音高での役割が変わってくる。本発明では、このような音楽特有の法則や理論等を排除するために、遷移パターン毎に最初のピッチ周波数を０、半音増加を１、半音減少を-１とし、各遷移パターンの最初の音からピッチが相対的にどのように遷移するかだけを抽出する。
例えば、１重マルコフモデルで計算すると前記１次音列パターン［５７、５９］、 ［５９、５７］、 ［５７、５５］、 ［５５、５７］．．．は、最初の音を０とした場合、ピッチ遷移列は、図３中符号２３で示す出力結果の左側２５に示すように、［０、２］、 ［０、-２］、 ［０、-２］、 ［０、２］．．．となる。６重マルコフモデルで計算すると前記６次音列パターン［５７、５９、５７、５５、５７、（-４５、５８）］．．．は、最初の音を０とした場合、図３中符号２３で示す出力結果の右側２４に示すように、［０、２、０、-２、０、（-１２、１）］．．．となる。
このように、ピッチ遷移列を１重マルコフ〜ｎ重マルコフまで各階層毎に計算する。
（４）マルコフモデルを用いて、１次〜ｎ次の各階層レベルの各ピッチ遷移列の遷移確率と各遷移列の出現確率を計算する工程（ステップＳ５）（遷移確率・出現確率演算部１３）
まず、この工程では、前記で抽出した遷移列のうち、遷移確率の高いものを計算から導き出すために、多重マルコフモデルを用いて各遷移パターンの遷移確率を計算する。
下記の式１は、階層をn、記号化された遷移パターンのピッチをＸ、時間をtとした時の、遷移確率Ｐを示すものである。
Figure 2019109357
このようにして求められた各遷移パターンの遷移確率を集計して、最終的に最も出現確率が高いいくつかのフレーズを特定し、出力する。
以下、遷移確率及び出現確率の求め方及び意義について、詳細に説明する。
なお、図３に示した実際の音楽データの例では列数が多くなり理解しづらいと思われるので、以下に単純化した例を使って説明する。
図４（ａ）の表は、前記遷移確率・出現確率演算部１３が、６次の遷移列をソートし、前記数式１で求めた遷移確率を集計して示すものである。すなわち、表１の１行目は、６次の遷移列全てのうち、遷移列の前半に「０、２、４、５、７、９」がこの順で出現する場合をソートし、「０、２、４、５、７、９」の次に「１」、「２」、「３」、「４」のいずれかに遷移する確率をそれぞれ集計して表したものである。
この例では、「０、２、４、５、７、９」が、「１」に遷移する確率は、「１」、「２」、「３」、「４」のどれかに遷移する総数のうち、１０％である。同様に、「２」に遷移する確率は、３０％、「３」は２０％、「４」は４０％であることを示している。
同様に、２行目は、「０、-１、-３、-５、-７、８」が出現した場合、次に「１」、「２」、「３」、「４」のいずれかに遷移する確率を表している。３行目は、「０、２、４、２、０、-１」が出現した場合、次に「１」、「２」、「３」、「４」のいずれかに遷移するということを表している。
次に、図３（ｂ）は、図３（ａ）の例で、前記遷移確率・出現確率演算部１３が、全遷移パターンに対する出現確率を求める例を示したものである。
すなわち、上記マルコフによる遷移確率（図３（ａ）の表）は、各行がそれぞれ合計で１００％となるような計算方法であるのに対し、全遷移数における各遷移パターンの出現確率（図３（ｂ））は、全体が１００％となるように計算する。
すなわち、図３（ａ）の一列目の「０、２、４、５、７、９」が「１」に遷移する場合は、前半に「０、２、４、５、７、９」を持つ遷移列の中では１０パーセントの確率で現れるが、この表の全ての行に示される全遷移列の中では２．５パーセントであることが示される。このようにして、全ての遷移確率についての出現確率を求める。
上記２つの計算、すなわちマルコフによる遷移確率及びその全遷移列に対する出現確率の算出を行うことで、直前にある音列が出現した場合、次はどの音に遷移する可能性が高いかがわかる（遷移確率）と同時に（図３（ａ））、そのフレーズが全体的にどの程度重要なのか（出現確率）がわかる（図３（ｂ））。
例えば、図３（ａ）の表において、１行目の「０、２、４、５、７、９、１」と２行目の「０、−１、−３、−５、−７、８、２］の２つの例の遷移確率は、マルコフモデルに基づけば「１０％」と同じでも、図３（ｂ）に示すように全体に占める出現頻度は異なり、１行目の「０、２、４、５、７、９、１」は２．５％で、２行目の「０、−１、−３、−５、−７、８、２］は５％である。
つまり、音列「０、２、４、５、７、９、１」 に比べて、音列「０、−１、−３、−５、−７、８、２］は、その曲においてより重要なフレーズであるといえる。すなわち、この２つの計算方法を用いることで、重要なフレーズを抽出する精度を上げることが分かる。
図５中、符号２６は、図３の例における出現確率を示すものである。「seq」は各遷移パターン、「prob」が出現確率である。
例えば、この例では、６次の遷移パターンのうち１つ目の遷移パターンの「０、２、０−２、−２、１」の出現確率は、０．００１５５である。
（５）前記遷移確率と出現確率に基づいて、各階層レベルでピッチ遷移率を並べ替え、統計的に起こり得る可能性の高いピッチ遷移列を特定し、１２音平均律に基づいて全調作成し楽譜化することで即興演奏フレーズを生成する工程（ステップＳ６、Ｓ７）（即興演奏フレーズ構成部１４）
（５−１）まず、遷移確率と出現確率に基づいて、統計的に起こり得る可能性の高い遷移列から順番に並べ替え、ＭＸＬファイルにて出力する（ステップＳ６）。
上記処理によれば、遷移列のうち、遷移確率と出現確率が高いものが、直感的に即興演奏されやすいものといえる。この実施形態では、即興演奏フレーズ構成部１４が、曲毎、演奏者毎にどのように直感的に即興演奏されているのかを理解するために、遷移確率と出現確率の高い順に並べ変え、それぞれ上位１０位までの遷移列パターンを採用する。
ついで、数値のままだと、その遷移パターンが音楽的にどのようなフレーズなのかがわかりづらいので、今度は数値を音名情報に置き換える必要がある。上述したたように本発明では、調などの音楽特有の法則や理論を排除し、ピッチが相対的にどのように遷移するかだけを抽出したので、各遷移パターンを、全調（１２音平均律）で表現することができる。例えば、［０、-３、-２、０、１、３、４］という遷移パターンが抽出された場合、０を音名ド、レのフラット．．．．．．シまで１２通り表現することができる。このように各遷移パターンを全調に置き換えた情報を、今度はＭＸＬファイルにて出力する。
（５−２）１２音平均律に基づいて、各遷移列を全調作成し、楽譜化する工程（ステップＳ７）。
ついで、即興演奏フレーズ構成部１４は、出力されたＭＸＬファイルをもとに楽譜化処理を実行する）。図５中２７で示すのが出力例であり、演奏者Ｂｉｌｌ Ｅｖａｎｓの曲Ａｕｔｕｍｎ ｌｅａｖｅｓでの即興演奏を、６重マルコフモデルで計算した場合、遷移パターン［０、-３、-２、０、１、３、４］は、出現確率６/６４６であり、これらを各調（Ｃ、Ｄｂ、Ｄ．．．）で表した時のフレーズを表している。この実施形態では、前記即興演奏フレーズ構成部１４が、このようなものを、各演奏者、各曲で、各階層（１〜Ｎ重マルコフモデル）レベルで提示する。
このような構成によれば、このシステムは、即興演奏技術に必要な「直感」を生み出すメカニズムである潜在統計知識に基づくフレーズを実現することができる。そして、このシステムを使用することによって、学習者はより直感に近い即興演奏フレーズを直接的に会得する事ができる。
なお、この発明は上記一実施形態に限定されるものではなく、発明の要旨を変更しない範囲で種々変形可能である。
例えば、上記遷移確率、出現確率が高い音列をマルコフモデルを用いて統計解析したが、マルコフモデルに限定されるものではない。他の統計的手法を用いても良い。
また、遷移確率や出現確率を求める場合に、他の要素を考慮しても良い。例えば、同じ楽曲であっても演奏者によって異なる重み付けをしても良い。又同じ演奏者でも、曲によって、年代によって等、遷移確率や出現確率に異なる重み付け定数を付けて計算するようにしても良い。
１…ＣＰＵ
２…ＲＡＭ
３…出力部・表示部
４…入力部
５…バス
６…データ記憶部
７…プログラム記憶部
８…即興演奏者楽曲データ
９…即興演奏フレーズ情報
１０…楽曲情報コーディング部
１１…音列パターン抽出部
１２…ピッチ遷移列抽出部
１３…遷移確率・出現確率演算部
１４…即興演奏フレーズ構成部
２０…音楽記憶媒体
２２…楽曲データ

Claims (11)

  1. 演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出部と、
    上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算部と、
    前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成部と
    を有することを特徴とする即興演奏解析システム。
  2. 請求項１記載の演奏解析システムにおいて、
    前記演奏者の演奏は、即興演奏であることを特徴とする演奏解析システム。
  3. 請求項１記載の演奏解析システムにおいて、
    前記音列パターン抽出部は、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出するものであり、
    前記遷移確率・出現確率演算部は、マルコフモデルを用いて、１次〜ｎ次の各階層レベルの各ピッチ遷移列の遷移確率を求めるものである
    ことを特徴とする演奏解析システム。
  4. 前記楽曲データは、ＸＭＬファイルであることを特徴とする演奏解析システム。
  5. 前記楽曲データは、ＭＩＤＩ音源であることを特徴とする演奏解析システム。
  6. コンピュータが、演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出工程と、
    コンピュータが、上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算工程と、
    コンピュータが、前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成工程と
    を有することを特徴とする即興演奏解析方法。
  7. 請求項６記載の演奏解析方法において、
    前記演奏者の演奏は、即興演奏であることを特徴とする演奏解析方法。
  8. 請求項６記載の演奏解析方法において、
    前記音列パターン抽出工程は、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出するものであり、
    前記遷移確率・出現確率演算工程は、マルコフモデルを用いて、１次〜ｎ次の各階層レベルの各ピッチ遷移列の遷移確率を求めるものである
    ことを特徴とする演奏解析方法。
  9. 記憶媒体に格納され、即興演奏解析を実行するコンピュータソフトウエアプログラムであって、以下の
    コンピュータが、演奏者の実際の演奏を記録した楽曲データを解析し、１次〜ｎ次の全ての音列パターンを抽出する音列パターン抽出工程と、
    コンピュータが、上記抽出した各音列パターンの遷移確率と、全音列パターンにおける出現確率を演算する遷移確率・出現確率演算工程と、
    コンピュータが、前記遷移確率と出現確率とに基づいて、統計的に起こり得る可能性の高い音列パターンを特定し、その音列パターンを楽譜化することで前記演奏者の演奏フレーズを生成し出力する演奏フレーズ構成工程と
    を実行させるものであることを特徴とするコンピュータソフトウエアプログラム。
  10. 請求項９記載のコンピュータソフトウエアプログラムにおいて、
    前記演奏者の演奏は、即興演奏であることを特徴とするコンピュータソフトウエアプログラム。
  11. 請求項９記載のコンピュータソフトウエアプログラムにおいて、
    前記音列パターン抽出工程は、ｎ次マルコフ連鎖として起こり得る全ての１次〜ｎ次音列パターンを抽出するものであり、
    前記遷移確率・出現確率演算工程は、マルコフモデルを用いて、１次〜ｎ次の各階層レベルの各ピッチ遷移列の遷移確率を求めるものである
    ことを特徴とする演奏解析方法。
JP2017242127A 2017-12-18 2017-12-18 音楽情報の特徴解析方法及びその装置 Active JP6722165B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017242127A JP6722165B2 (ja) 2017-12-18 2017-12-18 音楽情報の特徴解析方法及びその装置
US16/104,284 US10431191B2 (en) 2017-12-18 2018-08-17 Method and apparatus for analyzing characteristics of music information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242127A JP6722165B2 (ja) 2017-12-18 2017-12-18 音楽情報の特徴解析方法及びその装置

Publications (3)

Publication Number Publication Date
JP2019109357A true JP2019109357A (ja) 2019-07-04
JP2019109357A5 JP2019109357A5 (ja) 2020-03-26
JP6722165B2 JP6722165B2 (ja) 2020-07-15

Family

ID=66815272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242127A Active JP6722165B2 (ja) 2017-12-18 2017-12-18 音楽情報の特徴解析方法及びその装置

Country Status (2)

Country Link
US (1) US10431191B2 (ja)
JP (1) JP6722165B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210127480A (ko) * 2020-04-14 2021-10-22 에프알씨앤씨 주식회사 음원 관련 서비스 제공 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470601B (zh) * 2021-07-07 2023-04-07 南昌航空大学 一种自动作曲方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3403550C2 (de) * 1984-02-02 1986-04-30 Adam Opel AG, 6090 Rüsselsheim Transport- und Lagergestell
US20010044719A1 (en) 1999-07-02 2001-11-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for recognizing, indexing, and searching acoustic signals
JP3776673B2 (ja) 2000-04-06 2006-05-17 独立行政法人科学技術振興機構 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体
AU2002368387A1 (en) 2002-11-28 2004-06-18 Agency For Science, Technology And Research Summarizing digital audio data
US7323629B2 (en) * 2003-07-16 2008-01-29 Univ Iowa State Res Found Inc Real time music recognition and display system
JP2007225661A (ja) 2006-02-21 2007-09-06 Univ Of Tokyo 音楽情報解析方法及び装置
US7737354B2 (en) * 2006-06-15 2010-06-15 Microsoft Corporation Creating music via concatenative synthesis
US20090071315A1 (en) * 2007-05-04 2009-03-19 Fortuna Joseph A Music analysis and generation method
US8058544B2 (en) * 2007-09-21 2011-11-15 The University Of Western Ontario Flexible music composition engine
JP5463655B2 (ja) * 2008-11-21 2014-04-09 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP5593608B2 (ja) * 2008-12-05 2014-09-24 ソニー株式会社 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム
JP5293460B2 (ja) * 2009-07-02 2013-09-18 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN101950377A (zh) * 2009-07-10 2011-01-19 索尼公司 新型马尔可夫序列生成器和生成马尔可夫序列的新方法
JP6019858B2 (ja) * 2011-07-27 2016-11-02 ヤマハ株式会社 楽曲解析装置および楽曲解析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210127480A (ko) * 2020-04-14 2021-10-22 에프알씨앤씨 주식회사 음원 관련 서비스 제공 장치 및 방법
KR102410513B1 (ko) 2020-04-14 2022-06-20 에프알씨앤씨 주식회사 음원 관련 서비스 제공 장치 및 방법

Also Published As

Publication number Publication date
US20190189100A1 (en) 2019-06-20
JP6722165B2 (ja) 2020-07-15
US10431191B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
Norgaard How jazz musicians improvise: The central role of auditory and motor patterns
Gillick et al. Machine learning of jazz grammars
Collins et al. Developing and evaluating computational models of musical style
Raczyński et al. Melody harmonization with interpolated probabilistic models
US20210335333A1 (en) Computing orders of modeled expectation across features of media
Cogliati et al. Transcribing Human Piano Performances into Music Notation.
CN117334170A (zh) 生成音乐数据的方法
Cambouropoulos The harmonic musical surface and two novel chord representation schemes
Lin et al. Generationmania: Learning to semantically choreograph
Chemillier Toward a formal study of jazz chord sequences generated by Steedman’s grammar
Briot et al. Representation
JP2019109357A (ja) 音楽情報の特徴解析方法及びその装置
CN113763913A (zh) 一种曲谱生成方法、电子设备及可读存储介质
Glickman et al. (A) Data in the Life: Authorship Attribution of Lennon-McCartney Songs
Van Balen Audio description and corpus analysis of popular music
CN110134823B (zh) 基于归一化音符显马尔可夫模型的midi音乐流派分类方法
Yanchenko et al. Classical music composition using state space models
Trochidis et al. CAMeL: Carnatic percussion music generation using n-gram models
Conklin et al. Pattern and antipattern discovery in Ethiopian bagana songs
De Valk Structuring lute tablature and MIDI data: Machine learning models for voice separation in symbolic music representations
Srivatsan et al. Checklist models for improved output fluency in piano fingering prediction
Shepherd Let’s Calculate Bach: Applying Information Theory and Statistics to Numbers in Music
Ma et al. AMI–creating musical compositions with a coherent long-term structure
KR102149773B1 (ko) 딥러닝 기반의 작곡용 드럼 패턴 생성장치 및 그 방법
Khatri et al. Guitar Tuning Identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200619

R150 Certificate of patent or registration of utility model

Ref document number: 6722165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250