JP2019144485A

JP2019144485A - コード特定方法およびプログラム

Info

Publication number: JP2019144485A
Application number: JP2018030460A
Authority: JP
Inventors: 康平須見; Kohei Sumi
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2018-02-23
Filing date: 2018-02-23
Publication date: 2019-08-29
Anticipated expiration: 2038-02-23
Also published as: US11322124B2; JP7069819B2; US20190266988A1

Abstract

【課題】楽曲の属性に応じた適切なコードを特定する。【解決手段】コード特定装置１００は、楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号Ｖの特徴量Ｙからコードを特定するための複数のコード特定部のうち、処理対象の音響信号Ｖが表す楽曲の属性に対応したコード特定部により、処理対象の音響信号Ｖに応じたコードＸを特定する。【選択図】図２

Description

本発明は、音声や楽音を示す音響信号からコード（和音）を判別する技術に関する。

複数の音声や楽音の混合音の波形を示す音響信号からコード名を特定する技術が従来から提案されている。例えば特許文献１には、入力される楽音の波形情報からコードを判定する技術が開示されている。周波数スペクトルに関する情報と、事前に用意された和音パターンとを比較するパターンマッチングを利用して和音が特定される。

特開２０００−２９８４７５号公報

楽曲中で観測されるコードは、当該楽曲の属性（例えばジャンル）に応じて傾向が相違する。例えば、楽曲の属性に応じて演奏の頻度が高いコードや低いコードがある。したがって、楽曲の属性を加味しない特許文献１の技術では、必ずしも適切なコードを特定することができないという問題がある。以上の事情を考慮して、本発明は、楽曲の属性に応じた適切なコードを特定することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係るコード特定方法は、楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する。

本発明の好適な態様に係るプログラムは、楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する処理をコンピュータに実行させる。

本発明の実施形態に係るコード特定装置の構成を示すブロック図である。コード特定装置の機能的な構成を示すブロック図である。機械学習装置の機能的な構成を示すブロック図である。コード特定処理のフローチャートである。

図１は、本発明の好適な形態に係るコード特定装置１００の構成を例示するブロック図である。本実施形態のコード特定装置１００は、楽曲の演奏音（例えば歌唱音声または楽音等）を表す音響信号Ｖに応じたコードＸを特定するコンピュータシステムであり、図１に例示される通り、表示装置１１（提示装置の一例）と操作装置１２と制御装置１３と記憶装置１４とを具備する。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末がコード特定装置１００として好適に利用され得る。

表示装置１１（例えば液晶表示パネル）は、制御装置１３による制御のもとで各種の画像を表示する。本実施形態では、音響信号Ｖから特定された複数のコードＸの時系列を表示する。操作装置１２は、利用者からの指示を受付ける入力機器である。例えば、利用者が操作可能な複数の操作子、または、表示装置１１の表示面に対する接触を検知するタッチパネルが、操作装置１２として好適に利用される。

制御装置１３は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、コード特定装置１００を構成する各要素を統括的に制御する。本実施形態の制御装置１３は、記憶装置１４に記憶された音響信号Ｖに応じたコードＸを特定する。

記憶装置１４は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置１３が実行するプログラムと制御装置１３が使用する各種のデータとを記憶する。本実施形態の記憶装置１４は、相異なる楽曲に対応する複数の音響信号Ｖを記憶する。各音響信号Ｖには、当該音響信号Ｖが表す楽曲の属性を表すデータ（以下「属性データ」という）Ｚが対応付けられている。楽曲の属性とは、楽曲の特徴や性質を示す情報である。本実施形態では、楽曲のジャンル（例えばロック、ポップまたはハードコア等）を楽曲の属性として例示する。なお、コード特定装置１００とは別体の記憶装置１４（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１３が記憶装置１４に対する書込および読出を実行してもよい。すなわち、記憶装置１４はコード特定装置１００から省略され得る。

図２は、制御装置１３の機能的な構成を例示するブロック図である。図２に例示される通り、制御装置１３は、記憶装置１４に記憶されたプログラムを実行することで、音響信号Ｖに応じた複数のコードＸの時系列を特定するための複数の機能（属性特定部３２，抽出部３４，処理部３６）を実現する。なお、複数の装置の集合（すなわちシステム）で制御装置１３の機能を実現してもよいし、制御装置１３の機能の一部または全部を専用の電子回路（例えば信号処理回路）で実現してもよい。

利用者は、操作装置１２の操作により、記憶装置１４に記憶された複数の音響信号Ｖのうち、処理対象の音響信号Ｖを選択する。属性特定部３２は、処理対象の音響信号Ｖが表す楽曲の属性を特定する。具体的には、属性特定部３２は、処理対象の音響信号Ｖに対応付けられた属性データＺを記憶装置１４から読み出すことで、属性を特定する。

抽出部３４は、処理対象の音響信号Ｖから当該音響信号Ｖの特徴量Ｙを抽出する。特徴量Ｙは、単位期間毎に抽出される。単位期間は、例えば楽曲の１拍分に相当する期間である。すなわち、音響信号Ｖから複数の特徴量Ｙの時系列が生成される。特徴量Ｙは、音響信号Ｖのうち各単位期間に対応した部分について音響的な特徴を表す指標である。例えば、複数の音階音（例えば平均律の１２半音）の各々に対応する複数の要素を含むクロマベクトル（ＰＣＰ：Pitch Class Profile）が特徴量Ｙとして例示される。クロマベクトルのうち任意の１個の音階音に対応する要素は、音響信号Ｖのうち当該音階音に対応する成分の強度を複数のオクターブにわたり加算した強度に設定される。

処理部３６は、処理対象の音響信号Ｖに応じたコードＸを特定する。具体的には、処理部３６は、音響信号Ｖの特徴量ＹからコードＸを特定するための複数の学習済モデルＭ（コード特定部の一例）を具備する。複数の学習済モデルＭは、楽曲に関する相異なる複数の属性（例えばロック、ポップまたはハードコア等）にそれぞれ対応する。本実施形態の処理部３６は、複数の学習済モデルＭのうち、属性特定部３２が特定した属性（すなわち処理対象の音響信号Ｖが表す楽曲の属性）に対応した学習済モデルＭにより、処理対象の音響信号Ｖに応じたコードＸを特定する。具体的には、処理部３６は、複数の学習済モデルＭのうち、属性特定部３２が特定した属性に対応した学習済モデルＭを選択し、当該選択した学習済モデルＭに抽出部３４が抽出した特徴量Ｙを入力することでコードＸを特定する。抽出部３４が抽出した複数の特徴量Ｙの各々についてコードＸが特定される。すなわち、音響信号Ｖに応じた複数のコードＸの時系列が特定される。表示装置１１は、処理部３６により特定された複数のコードＸの時系列を表示する。

本実施形態の学習済モデルＭは、音響信号Ｖの特徴量ＹとコードＸとの間の関係を学習した統計的モデルであり、複数の係数Ｋで規定される。具体的には、学習済モデルＭは、抽出部３４が抽出した特徴量Ｙの入力に対してコードＸを出力する。例えばニューラルネットワーク（典型的にはディープニューラルネットワーク）が学習済モデルＭとして好適に利用される。ひとつの属性に対応する学習済モデルＭの複数の係数Ｋは、当該属性に関する複数（Ｑ個）の教師データＬを利用した機械学習により設定される。

図３は、複数の係数Ｋを設定するための機械学習装置２００の構成を示すブロック図である。機械学習装置２００は、図３に例示される通り、分類部２１と複数の学習部２３とを具備するコンピュータシステムで実現される。分類部２１および各学習部２３は、例えばＣＰＵ（Central Processing Unit）等の制御装置（図示略）により実現される。なお、コード特定装置１００に機械学習装置２００を搭載してもよい。複数の教師データＬの各々は、コードＸと当該コードＸの特徴量Ｙとの組合せである。教師データＬには、属性データＺが対応付けられている。

分類部２１は、Ｎ個（Ｑ＜Ｎ）の教師データＬを属性毎に分類する。具体的には、分類部２１は、Ｎ個の教師データＬを、属性データＺが共通する教師データＬ毎に分類する。複数の学習部２３は、相異なる複数の属性（例えばロック、ポップまたはハードコア等）にそれぞれ対応する。各学習部２３は、当該学習部２３に対応する属性に分類されたＱ個の教師データＬを利用した機械学習（深層学習）により、当該属性に関する学習済モデルＭを規定する複数の係数Ｋを生成する。属性毎に生成された複数の係数Ｋは、記憶装置１４に記憶される。以上の説明から理解される通り、特定の属性に対応する学習済モデルＭは、当該属性を有する楽曲の音響信号Ｖの特徴量ＹとコードＸとの関係を学習する。すなわち、特定の属性に対応する学習済モデルＭに特徴量Ｙを入力することで、当該属性を有する楽曲のもとで当該特徴量Ｙに対して妥当なコードＸが出力される。

図４は、コード特定装置１００の制御装置１３が音響信号Ｖに応じたコードＸを特定する処理（以下「コード特定処理」という）のフローチャートである。コード特定処理は、例えば利用者からの指示を契機として開始される。コード特定処理を開始すると、属性特定部３２は、処理対象の音響信号Ｖが表す楽曲の属性を特定する（Ｓa1）。抽出部３４は、処理対象の音響信号Ｖから単位期間毎に特徴量Ｙを抽出する（Ｓa2）。処理部３６は、複数の学習済モデルＭのうち、属性特定部３２が特定した属性に対応する学習済モデルＭを選択する（Ｓa3）。処理部３６は、選択した学習済モデルＭに、抽出部３４が抽出した特徴量Ｙを入力することで単位期間毎にコードＸを特定する（Ｓa4）。

以上に説明した通り、本実施形態では、処理対象の音響信号Ｖが表す楽曲の属性に対応した学習済モデルＭにより、処理対象の音響信号Ｖに応じたコードＸが特定される。したがって、属性に関わらず共通の学習済モデルＭによりコードＸを特定する構成と比較して、楽曲の属性に応じた適切なコードＸを特定することができる。

本実施形態では特に、音響信号Ｖの特徴量ＹとコードＸとの間の関係を学習した学習済モデルＭによりコードＸが特定されるから、例えば事前に用意されたコードＸと音響信号Ｖの特徴量Ｙとの比較によりコードＸを特定する構成と比較して、音響信号Ｖの多様な特徴量Ｙから高精度にコードＸを特定することができるという利点がある。また、学習済モデルＭは、当該学習済モデルＭに対応する属性に応じた複数の教師データＬを利用した機械学習により生成されるから、音響信号Ｖの特徴量ＹとコードＸとの間で楽曲の属性毎に観測される傾向に沿って、適切にコードＸを特定することができる。

＜変形例＞
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）例えば移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置によりコード特定装置１００を実現してもよい。端末装置は、属性が対応付けられた音響信号Ｖをコード特定装置１００に送信する。コード特定装置１００は、端末装置から送信された音響信号Ｖに対するコード特定処理により、音響信号Ｖおよび属性からコードＸを特定し、当該コードＸを端末装置に送信する。なお、端末装置は、音響信号Ｖの特徴量Ｙをコード特定装置１００に送信してもよい。つまり、抽出部３４は、コード特定装置１００から省略され得る。

（２）前述の形態では、楽曲のジャンルを属性として例示したが、属性が示す情報は以上の例示に限定されない。例えば楽曲を演奏した奏者（アーティスト）、または、楽曲が作成された年代等の各種の情報を属性としてもよい。

（３）前述の形態では、記憶装置１４に記憶された属性データＺを読み出すことで、属性を特定したが、属性の特定方法は以上の例示に限定されない。例えば属性特定部３２は、記憶装置１４に記憶された音響信号Ｖの解析により、当該音響信号Ｖが表す楽曲の属性を特定してもよい。例えば属性特定部３２は、音響信号Ｖの解析により楽曲のジャンルを特定する。ジャンルの特定には、公知の技術が採用される。音響信号Ｖの解析により属性を特定する構成によれば、処理対象の音響信号Ｖが表す楽曲の属性を利用者が指示する操作が不要になるという利点がある。

（４）前述の形態では、処理部３６は複数の属性にそれぞれ対応した複数の学習済モデルＭを利用してコードＸを特定したが、コードＸを特定する方法は以上の例示に限定されない。例えば、複数の属性にそれぞれ対応した複数の参照テーブルを利用してコードＸを特定してもよい。各参照テーブルは、相異なる複数のコードＸの各々に、当該コードＸに対応する特徴量Ｙが対応付けられたデータテーブルである。処理部３６は、複数の参照テーブルのうち、属性特定部３２が特定した属性に対応する参照テーブルを選択すると、当該参照テーブルに登録された特徴量Ｙのうち、抽出部３４が抽出した特徴量Ｙに最も近似する特徴量Ｙに対応するコードＸを特定する。音響信号Ｖの特徴量ＹからコードＸを特定するための要素は、「コード特定部」として包括的に表現される。すなわち、コード特定部は、前述の形態で例示した学習済モデルＭや、前述の参照テーブルを含む概念である。

（５）前述の形態では、音響信号Ｖの特徴量Ｙとしてクロマベクトルを例示したが、特徴量Ｙの種類は以上の例示に限定されない。例えば音響信号Ｖの周波数スペクトルを特徴量Ｙとしてもよい。

（６）前述の形態では、ニューラルネットワークを学習済モデルＭとして例示したが、学習済モデルＭは以上の例示に限定されない。例えばＳＶＭ（Support Vector Machine）またはＨＭＭ（Hidden Markov Model）を学習済モデルＭとして利用してもよい。

（７）前述の形態では、特徴量Ｙを入力してコードＸを出力する学習済モデルＭを利用したが、学習済モデルＭの態様は以上の例示に限定されない。例えば特徴量Ｙを入力してコードＸ毎の出現確率を出力する学習済モデルＭを利用してもよい。処理部３６は、出現確率が最高のコードＸを特定する。以上の構成では、出現確率が昇順で上位に位置する複数のコードＸを特定してもよい。

（８）前述の各形態に係るコード特定装置１００および機械学習装置２００は、各形態での例示の通り、コンピュータ（具体的には制御装置）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。また、プログラムの実行主体はＣＰＵに限定されず、Tensor Processing UnitおよびNeural Engine等のニューラルネットワーク用のプロセッサ、または、信号処理用のＤＳＰ（Digital Signal Processor）がプログラムを実行してもよい。また、以上の例示から選択された複数種の主体が協働してプログラムを実行してもよい。

（９）学習済モデルＭは、制御装置（コンピュータの例示）により実現される統計的モデル（例えばニューラルネットワーク）であり、入力Ａに応じた出力Ｂを生成する。具体的には、学習済モデルＭは、入力Ａから出力Ｂを特定する演算を制御装置に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。学習済モデルＭの複数の係数は、入力Ａと出力Ｂとを対応させた複数の教師データＬを利用した事前の機械学習（深層学習）により最適化されている。すなわち、学習済モデルＭは、入力Ａと出力Ｂとの間の関係を学習した統計的モデルである。制御装置は、学習済の複数の係数と所定の応答関数とを適用した演算を未知の入力Ａに対して実行することで、複数の教師データＬから抽出される傾向（入力Ａと出力Ｂとの間の関係）のもとで入力Ａに対して妥当な出力Ｂを生成する。

（１０）以上に例示した形態から、例えば以下の構成が把握される。

本発明の好適な態様（第１態様）に係るコード特定方法は、楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する。以上の態様によれば、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、処理対象の音響信号に応じたコードが特定されるから、属性に関わらず共通のコード特定部によりコードを特定する構成と比較して、楽曲の属性に応じた適切なコードを特定することができる。

第１態様の好適例（第２態様）において、前記複数のコード特定部の各々は、音響信号の特徴量とコードとの間の関係を学習した学習済モデルである。以上の態様によれば、音響信号の特徴量とコードとの間の関係を学習した学習済モデルによりコードが特定されるから、例えば事前に用意されたコードと音響信号の特徴量との比較によりコードを特定する構成と比較して、音響信号の多様な特徴量から高精度にコードを特定することができる。

第２態様の好適例（第３態様）において、前記複数のコード特定部の各々は、当該コード特定部に対応する属性に応じた複数の教師データを利用した機械学習により生成される。以上の態様によれば、コード特定部が当該コード特定部に対応する属性に応じた複数の教師データを利用した機械学習により生成されるから、音響信号の特徴量とコードとの間で楽曲の属性毎に観測される傾向に沿って、適切にコードを特定することができる。

第１態様から第３態様の何れかの好適例（第４態様）において、前記処理対象の音響信号が表す楽曲の属性を特定し、前記複数のコード特定部のうち、前記特定した属性に対応したコード特定部により前記コードを特定する。以上の態様によれば、処理対象の音響信号が表す楽曲の属性を特定し、当該特定した属性に対応したコード特定部によりコードが特定されるから、処理対象の音響信号が表す楽曲の属性を利用者が指示する操作が不要になる。

第１態様から第４態様の何れかの好適例（第５態様）において、前記処理対象の音響信号を端末装置から受信し、前記受信した音響信号の特徴量から特定したコードを前記端末装置に送信する。以上の態様によれば、例えば利用者の端末装置に搭載されたコード特定部によりコードを特定する方法と比較して、端末装置での処理負荷が低減される。

本発明の好適な態様（第６態様）に係るプログラムは、楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する処理をコンピュータに実行させる。以上の態様によれば、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、処理対象の音響信号に応じたコードが特定されるから、属性に関わらず共通のコード特定部によりコードを特定する構成と比較して、楽曲の属性に応じた適切なコードを特定することができる。

１００…コード特定装置、２００…機械学習装置、１１…表示装置、１２…操作装置、１３…制御装置、１４…記憶装置、２１…分類部、２３…学習部、３２…属性特定部、３４…抽出部、３６…処理部。

Claims

楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する
コンピュータにより実現されるコード特定方法。
前記複数のコード特定部の各々は、音響信号の特徴量とコードとの間の関係を学習した学習済モデルである
請求項１のコード特定方法。
前記複数のコード特定部の各々は、当該コード特定部に対応する属性に応じた複数の教師データを利用した機械学習により生成される
請求項２のコード特定方法。
前記処理対象の音響信号が表す楽曲の属性を特定し、
前記複数のコード特定部のうち、前記特定した属性に対応したコード特定部により前記コードを特定する
請求項１から請求項３の何れかのコード特定方法。
前記処理対象の音響信号を端末装置から受信し、
前記受信した音響信号の特徴量から特定したコードを前記端末装置に送信する
請求項１から請求項４の何れかのコード特定方法。
楽曲に関する相異なる複数の属性にそれぞれ対応し、音響信号の特徴量からコードを特定するための複数のコード特定部のうち、処理対象の音響信号が表す楽曲の属性に対応したコード特定部により、前記処理対象の音響信号に応じたコードを特定する処理
をコンピュータに実行させるプログラム。