JP2008304610A - 信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体 - Google Patents

Abstract

【課題】参照信号と蓄積信号が異なる調で演奏された場合でも１回の照合で正しい探索結果を出力し、また、演奏されるテンポが異なる場合にも正しく探索結果を出力する。
【解決手段】音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む。また、参照音響信号について同様に自己類似度ベクトルを生成して参照特徴ベクトル列とする。参照特徴ベクトル列と、データベース内の蓄積特徴ベクトル列とをフレームを移動しながら照合して、照合スコアの高い楽曲および時刻を特定し、その楽曲に付随する情報と時刻を出力する。
【選択図】図１

Description

本発明は、信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体に関する。

参照音響信号と類似する箇所を蓄積音響信号の中を探索して検出する従来の方法には、特に、オリジナルが同一の信号ではなく、また、蓄積音響信号と参照音響信号のどちらか一方又は両方が単旋律ではなく、同時に複数の音が演奏される場合にも適用可能な方法として、特許文献１に記載されているような、１２音階に対応する周波数のパワー値で音響特徴を表現して探索を行う手法が知られている。同様の考え方に基づく音響特徴の表現は、非特許文献１においても採用されており、同一曲内での類似箇所の検出に使われている。
また、非特許文献２では、同一楽曲内の２点間の音響特徴の類似度を用いて楽曲の音響的構造を表現する手法を提案しており、この手法を音楽探索に応用する方法も同時に提案している。
特開２００３−４４０８２号公報 M. Goto，"A chorus-section detecting method for musical audio signals"，in Proc. of ICASSP，pp. 437-440，2003. J. Foote，"Visualizing music and audio using self-similarity"，Proc. of ACM Multimedia，pp.77-80，1999.

上述する特許文献１や非特許文献１の方法を用いて、移調された音楽の探索を行う場合には、参照音響信号に対して、移調の可能性のある１２種類の特徴ベクトルを算出し、それぞれを用いて１２回の探索処理を行わなければならず、計算時間がかかるという問題があった。また、非特許文献２の方法では、参照音響信号の時刻と蓄積音響信号の時刻のすべての組み合わせについて周波数特徴の類似度を計算し、参照音響信号と蓄積音響信号の音響的類似度の構造を表現しているため、移調された音楽や時間的に伸縮した音楽の探索を行うことは困難である、という問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、参照信号と蓄積信号が異なる調で演奏された場合でも１回の照合で正しい探索結果を出力し、また、演奏されるテンポが異なる場合にも正しく探索結果を出力することができる信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体を提供することにある。

前記課題を解決するために、本発明は、音響信号の特徴を抽出する信号特徴抽出方法であって、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成することを特徴とする信号特徴抽出方法である。
本発明によれば、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素とすることにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトルを得ることができる。

また、本発明は、上述する信号特徴抽出方法であって、ｉ番目のフレームのベクトルｐ_ｉと、当該フレームからＮ個先のフレームまでの各フレームｐ_ｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐ_ｉｊを算出し、この算出した類似度ｐ_ｉｊを要素とした自己類似度ベクトルを特徴ベクトルとして生成する、ことを特徴とする。

また、本発明は、上述する信号特徴抽出方法であって、ｉ番目のフレームのベクトルｐ_ｉと、当該フレームからＮ個先のフレームまでの各フレームｐ_ｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐ_ｉｊを要素とした自己類似度ベクトルをｓ_ｉとしたとき、自己類似度ベクトルｓ_ｋ（ｉ≦ｋ≦Ｎ−１）それぞれについて、１から（Ｎ−ｋ）番目までの要素を取り出して三角領域を得、１つの領域に少なくとも１以上の自己類似度ベクトルの要素が含まれ、かつ、照合の始点となる要素ｓ_１ｉから時間的距離の長い自己類似度ベクトル、及び、同じ自己ベクトル内において時間的距離の長い要素がより大きな領域に含まれるよう前記三角領域をメッシュ状の複数の領域に分割し、分割した各領域に含まれる自己類似度ベクトルの要素の平均値を算出し、この算出した平均値を要素としたベクトルを特徴ベクトルとする、ことを特徴とする。
また、本発明によれば、時間方向に不均等なサイズの領域に分割するメッシュを用いた特徴計算用マスクを導入することにより、音響信号の時間方向の変動に対応した特徴ベクトルを得ることが可能となる。

また、本発明は、参照用に入力された音響信号に基づき、あらかじめデータベースの中に蓄積された音響信号の中を探索する信号探索方法であって、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算過程と、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算過程と、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算過程により生成された参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合過程と、前記照合過程により検出された類似する箇所を出力する探索結果出力過程とを有することを特徴とする信号探索方法である。
本発明によれば、照合過程において、参照信号と蓄積信号の特徴ベクトル列の類似度の計算を行うことにより照合を行い、照合類似度の高い楽曲の部分を出力する。従来の手法で用いられる短時間スペクトルの形状を特徴ベクトルとして利用すると、同一の楽曲が異なる調で演奏された場合などには高い類似度が得られず、正しい探索結果を得ることができない。一方、本発明では、蓄積特徴ベクトル列計算過程と参照特徴ベクトル列計算過程において、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素として利用することにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトル列を得ることができ、正しい検索結果を得ることが可能となる。

また、本発明は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段を備えることを特徴とする信号特徴抽出装置である。

また、本発明は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段と、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段と、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段と、前記照合手段により検出された類似する箇所を出力する探索結果出力手段とを備えることを特徴とする信号特徴抽出装置である。

また、本発明は、信号特徴抽出装置として用いられるコンピュータを、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段として動作させることを特徴とするコンピュータプログラムである。

また、本発明は、信号特徴抽出装置として用いられるコンピュータを、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段、前記照合手段により検出された類似する箇所を出力する探索結果出力手段として動作させることを特徴とするコンピュータプログラムである。

また、本発明は、上述するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、楽曲が移調された場合においても、２つの時刻間の音響特徴（周波数特徴）の類似度（自己類似度）は保存されやすい、という音楽音響信号の特性を利用し、自己類似度を利用した特徴ベクトル列を得ることができる。そして、このように生成された特徴ベクトル列を利用することにより、移調された音楽の探索を１回の照合処理で行うことが可能となる。
また、本発明によれば、自己類似度ベクトルに対し、時間的に離れた自己類似度ベクトル列の要素には大きなサイズの領域を与えるメッシュで覆い、各領域の自己類似度ベクトル列の要素の平均値を要素として持つ特徴ベクトル列を算出することで、時間的に伸縮した音楽の探索を可能とする特徴ベクトル列を得ることが可能となる。
このように、従来の技術とは、参照音響信号が蓄積音響信号の同一楽曲とは異なる調やピッチ、演奏速度などで演奏された場合にも、高い照合類似度を得ることが可能な特徴ベクトルを得、また、その特徴ベクトルを用いて一回で照合を行うことができる点が異なる。

以下、図面を用いて本発明の実施形態を説明する。
本実施の形態に示す信号検索方法について、音響信号を例に説明する。本実施の形態では、楽曲の断片が参照音響信号として与えられたときに、蓄積音響信号の中から参照音響信号に対応する部分を探索し、該当楽曲のタイトル等の情報（楽曲付随情報）と参照音響信号の出現時刻を出力するものである。

図１は、本発明の一実施の形態による信号特徴抽出装置としての音楽探索システムの概略動作を示す図である。
音楽探索システムは、複数の楽曲の音響信号の周波数解析を行い（ステップＳ１）、短時間フレームごとの特徴ベクトルを抽出し（ステップＳ２）、これを並べた特徴ベクトル列を予めデータベースに登録しておく。
そして、音響信号の断片が参照信号として提示されたときに、データベース作成時と同様の方法で特徴抽出を行い（ステップＳ３、Ｓ４）、参照信号の特徴ベクトルを計算する。音楽探索システムは、この計算した参照信号の特徴ベクトルと、データベースに登録されている楽曲の特徴ベクトルとを、フレームを移動しながら照合し、照合スコアの高い楽曲および時刻を特定し、その楽曲に付随する情報（タイトル、演奏者など）と時刻を出力する。
以下、本発明の詳細な実施形態について、図２〜図１７の図面を使って説明する。

［第１の実施形態］
図２は、本発明の第１の実施形態による信号特徴抽出装置としての音楽探索システムの構成を示すブロック図である。同図において、音楽探索システムの構成は、データベース作成処理部１０と探索処理部３０およびデータベース２０の３つの部分からなる。

データベース２０は、蓄積信号ＤＢ（データベース）２１と、蓄積特徴ベクトル列ＤＢ２２と、楽曲付随情報ＤＢ２３とで構成される。
データベース作成処理部１０は、蓄積音響信号入力手段１１と、蓄積特徴ベクトル列計算手段１２と、楽曲付随情報入力手段１３とで構成され、図１における蓄積特徴ベクトル列の作成を行う。蓄積音響信号入力手段１１は、入力された音響信号を蓄積信号ＤＢ２１に蓄積する。蓄積特徴ベクトル列計算手段１２は、入力あるいは蓄積された音響信号から蓄積特徴ベクトル列を算出して蓄積特徴ベクトル列ＤＢ２２に書き込む。楽曲付随情報入力手段１３は、入力された楽曲付随情報を楽曲付随情報ＤＢ２３に書き込む。

探索処理部３０は、参照音響信号入力手段３１と、参照特徴ベクトル列計算手段３２と、照合手段３３と、探索結果出力手段３４とで構成され、図１における参照特徴ベクトル列の作成、蓄積特徴ベクトル列との照合を行う。参照音響信号入力手段３１は、参照音響信号の入力を受ける。参照特徴ベクトル列計算手段３２は、参照音響信号から参照特徴ベクトル列を算出する。照合手段３３は、参照特徴ベクトル列と、蓄積特徴ベクトル列ＤＢ２２内の蓄積特徴ベクトル列との照合処理を行う。探索結果出力手段３４は、検出された蓄積特徴ベクトル列に対応する楽曲付随情報を楽曲付随情報ＤＢ２３から読み出して出力する。

図３及び図４は、図２に示すデータベース作成処理部１０の処理フローである。
図３において、まず、データベース作成処理部１０に音響信号の入力を行うと（ステップＳ１１０）、蓄積音響信号入力手段１１は、入力された音響信号を予め設定されたサンプリング周波数Ｆ_ｓHz（ヘルツ）でサンプリングし、蓄積信号ＤＢ２１に保存する（ステップＳ１２０）。次に、蓄積特徴ベクトル列ＤＢ２２は、この音響信号を使って蓄積特徴ベクトル列の計算を行う（ステップＳ１４０）。この計算に使う音響信号は、入力された信号を直接利用するか、事前に蓄積信号ＤＢ２１に蓄積された信号を読み出して（ステップＳ１３０）使う。蓄積特徴ベクトル列計算手段１２は、ここで得られた蓄積ベクトル列を蓄積特徴ベクトル列ＤＢ２２に登録する（ステップＳ１５０）。

また、図３の処理とは独立の処理として、図４に示すように、データベース作成処理部１０に音響信号に関連する、タイトル等の楽曲付随情報を入力し、楽曲付随情報入力手段１３は、この入力された楽曲付随情報を楽曲付随情報ＤＢ２３へ登録する（ステップＳ２１０）。

各楽曲には音響信号および楽曲付随情報の入力時に固有のＩＤ番号を付与し、蓄積信号ＤＢ２１に蓄積されている音響信号と、蓄積特徴ベクトル列ＤＢ２２に蓄積される特徴ベクトル列と、楽曲付随情報ＤＢ２３内に蓄積される楽曲付随情報との対応関係を管理する。楽曲付随情報とは、各楽曲に関連する情報を含むデータ（例えば、タイトル名、アーティスト名などのテキストデータやレコードジャケット写真等の画像データ、プロモーションビデオなどの音響・映像データなど）のことである。

図６は、図３のステップＳ１４０における蓄積特徴ベクトル列計算処理フローの詳細を示したものである。まず、蓄積特徴ベクトル列計算手段１２は、入力された音響信号が２つ以上のチャンネルを含んでいた場合には、各サンプリング時刻について平均値をとるなどしてモノラル信号に変換する（ステップＳ３１０）。次に、蓄積特徴ベクトル列計算手段１２は、周波数特徴の計算を行う（ステップＳ３２０）。

周波数特徴は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べたベクトル列で表現される。周波数特徴の計算には、短時間フーリエ変換を利用したものなどが考えられるが、ここでは、以下の（式１）に定義する中心周波数Ｆ_ｃ（ｋ）Hzを持つ帯域フィルタバンクの出力を使う。

各帯域フィルタ出力のパワー値は、短時間フレームごとに平均され、その対数を要素とするベクトルｐ_ｉ（ｉはフレーム番号）を得る。なお、各ベクトルｐ_ｉは、その長さが１となるように正規化を行う。

次に、蓄積特徴ベクトル列計算手段１２は、周波数特徴を用いて自己類似度ベクトル列を計算する（ステップＳ３３０）。図８はｉ番目のフレームにおける自己類似度ベクトルｓ_ｉ＝（ｓ_１ｉ，ｓ_２ｉ，…，ｓ_Ｎｉ）^Ｔの算出方法を示すものである。自己類似度ベクトルｓ_ｉの算出には、ベクトルｐ_ｉの後に続くベクトルｐ_ｉ＋１，ｐ_ｉ＋２，…，ｐ_ｉ＋ＮのＮフレーム分の周波数特徴が使われる。自己類似度ベクトルｓ_ｉのｊ番目の要素ｓ_ｊｉ（ｊ＝１，２，…，Ｎ）は、ベクトルｐ_ｉとベクトルｐ_ｊの類似度Ｓ（ｐ_ｉ，ｐ_ｊ）で定義される。これを自己類似度と呼ぶ。類似度Ｓ（ｐ_ｉ，ｐ_ｊ）には、例えば以下の（式２）または（式３）のような関数を用いる。

音響信号末尾付近のフレームにおいては、後続のフレーム数がＮ未満となる場合があるが、このような場合には自己類似度は計算しないか、ｐ_ｊ＝０として自己類似度を計算する。
蓄積特徴ベクトル列計算手段１２は、各自己類似度ベクトルｓ_ｉを、蓄積特徴ベクトル列ｆ^ｄ _ｉとして、蓄積特徴ベクトル列ＤＢ２２に登録する（ステップＳ３４０）。つまり、ｆ^ｄ _ｉ＝ｓ_ｉとする。

同じ楽曲が異なる調で演奏されたり、異なる楽器を用いて演奏されたりした場合においては、各時刻における周波数特徴などの音響特徴は変化する。そのため、これらの特徴を使って照合処理を行っても正しく検出することは困難である。しかし、ある時刻とそのΔｔ秒後（若しくはｊフレーム後）の音響特徴の類似度（自己類似度）は、このような変動に対して保存されやすいという特徴を持つ。例えば、ある音の４拍後に同じ音が演奏された場合は、４拍後と間の自己類似度は、異なる楽器で演奏しても、それらの音が移調されたものであっても高くなる。したがって、自己類似度を特徴として利用することにより、調や楽器の変動について頑健な音楽探索が可能となる。

図５は、図２における探索処理部３０の処理フローである。
まず、探索処理部３０の参照音響信号入力手段３１に参照音響信号が入力されると（ステップＳ４１０）、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列計算手段１２における蓄積特徴ベクトル列の計算と同じ方法を用いて参照特徴ベクトル列の計算を行う（ステップＳ４２０）。

次に、照合手段３３は、蓄積特徴ベクトル列ＤＢ２２から蓄積特徴ベクトル列を読み出して照合処理を行い、探索類似度の高い特徴ベクトル列内のフレームを検出する（ステップＳ４３０）。最後に、探索結果出力手段３４は、検出された特徴ベクトル列に対応する楽曲付随情報を楽曲付随情報ＤＢ２３から読み出し、検出されたフレーム番号に該当する時刻とともに出力する（ステップＳ４４０）。

図７は、図５におけるステップＳ４２０における参照特徴ベクトル列計算処理フローの詳細を示したものである。まず、参照特徴ベクトル列計算手段３２は、入力された音響信号のサンプリング周波数が、蓄積音響信号のサンプリング周波数Ｆ_ｓHzと異なる場合には、低域通過フィルタを適用し、Ｆ_ｓHzを超える成分を除去した後にＦ_ｓHzで再サンプリングを行う。また、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列の計算と同様に、入力された音響信号が２つ以上のチャンネルを含んでいた場合には各サンプリング時刻について平均値をとるなどしてモノラル信号に変換する（ステップＳ５１０）。次に、参照特徴ベクトル列計算手段３２は、図６のステップＳ３２０と同様に周波数特徴の計算を行う（ステップＳ５２０）。参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列ｆ^ｄ _ｉの計算と同様の自己類似度ベクトル列計算を行い、得られた自己類似度ベクトル列を特徴ベクトル列ｆ^ｑ _ｉとして照合手段３３に渡す（ステップＳ５３０）。

図９は、図５のステップＳ４３０における照合処理の概要である。まず、照合手段３３は、蓄積特徴ベクトル列に対して参照特徴ベクトル列の長さ（短時間フレームの数、Ｎ_ｒとする）と同じ長さの窓をかけ、蓄積特徴ベクトル列の窓に含まれる部分を切り出す（ステップＳ６１０）。つまり、この窓とは、蓄積特徴ベクトル列において、連続したフレームの範囲を特定するものである。次に、照合手段３３は、参照特徴ベクトル列と切り出された蓄積特徴ベクトル列との探索スコアを計算し、事前に設定された閾値Θ_ｓを超える場合には、類似する箇所であると判断し、特徴ベクトル列の切り出した最初のフレーム番号を出力する（ステップＳ６２０）。照合手段３３は、窓を１フレーム分だけ後の時刻にずらし（ステップＳ６３０）、ステップＳ６１０、Ｓ６２０の処理を特徴ベクトル列の末端に到達するまで繰り返す。なお、探索結果出力手段３４は、フレーム番号が出力された参照ベクトル列のＩＤに対応した楽曲付随情報を楽曲付随情報ＤＢ２３から読み出して出力するとともに、フレーム番号に該当する時刻を出力する。

探索スコアには、例えば、類似度または距離を用いることができ、以下の（式４）または（式５）のような関数を使うことができる。

ここで、Ｆ^ｑは参照特徴ベクトル列ｆ^ｑ _ｉを１列（または１行）に並べて出来るベクトル、Ｆ^ｄは蓄積特徴ベクトル列ｆ^ｄ _ｉの長さＮ_ｒの窓で切り出された部分を１列（または１行）に並べて出来るベクトルであり、Ｓ_ｃ（Ｆ^ｑ，Ｆ^ｄ）は、Ｆ^ｑとＦ^ｄの探索スコアである。また、「・」は内積を表す。

［第２の実施形態］
図１０は、第２の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１の実施形態と同様の構成には同じ符号を付し、説明を省略する。
同図に示す音楽探索システムは、図２の音楽探索システムの構成に、参照音響信号の時間伸縮のバリエーションを吸収する手段である、時間伸縮対応手段４０を加えた構成である。時間伸縮対応手段４０は、蓄積特徴ベクトル列計算手段１２および参照特徴ベクトル列計算手段３２により呼び出される。
以下では、第１の実施形態との差分を中心に説明する。

本実施の形態によるデータベース作成処理部１０の処理フローは図３及び図４と同様であるが、図３のステップＳ１４０における蓄積特徴ベクトル列計算においては、図６に示す処理の代わりに図１１に示す処理を行う。

図１１は、図１０の構成における、蓄積特徴ベクトル列計算手段１２の処理フローを示している。
同図において、モノラル化から自己類似度ベクトル列計算までのステップＳ７１０〜Ｓ７３０を実行し、自己類似度ベクトル列ｓ_ｉを得るところまでは、図６に示すステップＳ３１０〜Ｓ３３０と同一の処理を行う。ここで、蓄積特徴ベクトル列計算手段１２は、時間伸縮対応手段４０を呼び出し、メッシュによる特徴ベクトル列計算を行い、自己類似度ベクトル列から蓄積特徴ベクトル列ｇ^ｄ _ｉを得る（ステップＳ７４０）。

図１３及び図１４に、ｉ番目のフレームについてのメッシュによる特徴ベクトル列の計算方法を示す。
まず、時間伸縮対応手段４０は、自己類似度ベクトル列ｓ_ｉ，ｓ_ｉ＋１，…，ｓ_{ｉ＋Ｎ−１}のＮ個の自己類似度ベクトルを用いて、自己類似度ベクトル列ｓ_ｉ＋ｋについては最初のＮ−ｋ個の要素、つまりｓ_{１（ｉ＋ｋ）}，ｓ_{２（ｉ＋ｋ）}，…，ｓ_{（Ｎ−ｋ）（ｉ＋ｋ）}を取り出すことにより、図１３の太線で囲まれた三角領域を抽出する。

次に、時間伸縮対応手段４０は、図１４に示すように、三角領域をメッシュで覆い、複数の領域に分割する。各領域には、少なくとも１つ以上の自己類似度ベクトルの要素が含まれるものとする。各領域には、Ｒ_１，Ｒ_２，…，Ｒ_ｎのように名前を付ける（ｎは領域の総数を表す）。

入力される音響信号が時間的に伸縮した場合には、元の音楽の音響信号に対して、自己類似度ベクトル列は、時間方向と同時に、自己類似度ベクトルの要素番号の方向にも伸縮するという特性がある。つまり、時間伸縮した音響信号の時刻ｔ’が元の音響信号における時刻ｔに対応しているとすると、元の音響信号内の時刻ｔとｔ＋ｄの関係は、時間伸縮した音響信号内の時刻ｔ’とｔ’＋Ｃｄとの関係に相当する。ここで、Ｃは伸縮率である。従って、ｄが大きくなるにつれて、２つの音響信号の対応する箇所が時間的に離れてしまい、元の音響信号の自己類似度ベクトルの要素ｓ_ｊｉは、時間伸縮した音響信号の自己類似度ベクトルの要素ｓ’_{（ｊ＋ε）ｉ’}に対応することになる。なお、ここでｉ’は元の音響信号のフレームｉに対応する、時間伸縮した音響信号フレーム番号であり、εは伸縮率とｊによって決まる正又は負の整数である。

音響信号の時間伸縮の程度Ｃの値は入力音響信号によって異なるため、εを決めることはできない。εの値はｊが大きくなればなるほど大きくなるので、ｊの値が大きくなるにつれてそのサイズが大きくなるように領域Ｒ_１，…，Ｒ_ｎを定義し、それぞれの領域からｎ次元のベクトルを計算し、特徴ベクトルとすることで、ずれを吸収する。自己類似度ベクトル列の時間方向についても、同様の時間伸縮の影響があるため、ｉから離れるにつれてそのサイズが大きくなるように領域Ｒ_１，…，Ｒ_ｎを定義する。したがって、図１３の三角領域において、Ｒ_１，…，Ｒ_ｎは、最も左上の要素（ｓ_１ｉ）の近くは小さなサイズを与え、最も左上の要素から離れた要素には大きな領域を与えることとなる。この処理により、音響信号の時間的な伸縮に頑健な特徴ベクトル列を得ることが可能となる。

各領域の縦および横のサイズは、最初領域の左上（図１４おける領域Ａ中の左上の網掛けされている要素）の位置によって決められる。ここでは、領域Ａを例にとり、説明する。領域Ａの左上の要素（網掛けされている要素）が特徴ベクトルｓ_ｉ＋ｋのｌ番目の要素、つまり、ｓ_{ｌ（ｉ＋ｋ）}であるとする。領域Ａの縦の長さＬ_ｖは以下の（式６）のように定義される。

ここで、Ｍは予め設定された定数で、どの程度の時間伸縮Ｃを想定するかに関連する値で、領域の要素番号１０前後の値が使われる。Ｌ_ｖと同様の方法で、領域Ａの横の長さＬ_ｈは以下の（式７）のように定義される。

ある位置において、Ｌ_ｖ、Ｌ_ｈを算出したら領域の大きさが決定されるので、この領域に含まれるその他の自己類似度ベクトルの要素は領域の左上に位置しないので、Ｌ_ｖ、Ｌ_ｈの計算は行わない。

上記の方法で得られた領域Ｒ_１，Ｒ_２，…，Ｒ_ｎについて、それぞれの領域に含まれる自己類似度ベクトルの要素の平均値を計算し、これらを要素とするｎ次元ベクトルを特徴ベクトルとする。

図１３において、三角領域を右に１フレームずつ移動し、三角領域の右端が、自己類似度ベクトル列の右端に達するまで特徴ベクトルを計算することにより、蓄積特徴ベクトル列ｇ^ｄ _ｉを生成し、蓄積特徴ベクトル列ＤＢ２２に保存する（図１１：ステップＳ７５０）。

本実施の形態による探索処理部３０の処理フローは図５と同様であるが、図５のステップＳ４２０における参照特徴ベクトル列計算においては、図７に示す処理の代わりに図１２に示す処理を行う。

図１２は、図１０の構成における参照特徴ベクトル列計算手段３２の処理フローを示している。同図において、モノラル化から自己類似度ベクトル列計算までのステップＳ８１０〜Ｓ８３０を実行し、特徴ベクトル列ｆ^ｑ _ｉを得るところまでは、図７に示すステップＳ５１０〜Ｓ５３０と同一の処理を行う。
ステップＳ８４０において、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列の計算と同様の特徴ベクトルの計算により参照特徴ベクトル列ｇ^ｑ _ｉを生成し、照合手段３３に渡す。

照合手段３３では、第１の実施形態と同様、図９で示される処理により照合を行う。探索スコアは、第１の実施形態の照合手段３３の蓄積特徴ベクトル列ｆ^ｄ _ｉの代わりに蓄積特徴ベクトル列ｇ^ｄ _ｉを、参照特徴ベクトル列ｆ^ｑ _ｉの代わりに参照特徴ベクトル列ｇ^ｑ _ｉを使って計算される。参照特徴ベクトル列ｇ^ｑ _ｉを１列（または１行）に並べて出来るベクトルをＧ^ｑとし、蓄積特徴ベクトル列ｇ^ｄ _ｉの長さＮ_ｒの窓で切り出された部分を１列（または１行）に並べて出来るベクトルをＧ^ｄとすると、探索スコアＳ_ｃ（Ｇ^ｑ，Ｇ^ｄ）は以下の（式８）または（式９）のような関数で定義することができ、類似度または距離を用いることができる。

ここで、「・」は内積を表す。

蓄積音響信号入力手段１１、楽曲付随情報入力手段１３、参照音響信号入力手段３１、探索結果出力手段３４で行われる処理は、第一の実施形態と同じである。

［第３の実施形態］
図１５は、第３の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１の実施形態と同様の構成には同じ符号を付し、説明を省略する。
図２に示す第１の実施形態による照合手段３３おいては、探索スコアの値のとる範囲は、参照音響信号の特性によってばらつきがあるため、図１５のように、探索処理部３０内に探索スコア補正手段３５を導入し、照合手段３３から呼び出すことで、このばらつきを補正することが可能となる。
以下では、第１の実施形態との差分を中心に説明する。

図１７は探索スコア補正手段３５を導入した場合の照合手段３３の処理概要を示している。まず、ステップＳ９１０において、照合手段３３は、図９の処理と同様に蓄積特徴ベクトル列に参照特徴ベクトル列と同じ長さの窓をかけ、フレームの切り出しを行い、そこに含まれる要素を並べたベクトルＦ^ｄを得る。同様に参照特徴ベクトル列に含まれる要素を並べたベクトルＦ^ｑも用意しておく。次に、ステップＳ９２０において、探索スコア補正手段３５は、ベクトルＦ^ｄとＦ^ｑのユークリッド距離を計算し、これを、距離値ｚ_ｉに代入する（ｉは蓄積特徴ベクトル列の切り出し窓の左端のフレーム番号を示している）。ステップＳ９３０において、探索スコア補正手段３５は、蓄積特徴ベクトル列ＤＢ２２に保存されているすべての蓄積特徴ベクトル列について、窓をシフトしながら距離値ｚ_ｉを計算する。ステップＳ９４０において、探索スコア補正手段３５は、距離値ｚ_ｉを計算したすべてのフレームについて、その前後Ｗフレームの距離値の中で最小となる場合に、そのフレームを検出フレーム候補として、特徴ベクトル列の番号およびフレーム位置ｉと距離値ｚ_ｉを探索処理部３０内のバッファＤへ保存する。ステップＳ９５０において、探索スコア補正手段３５は、各フレームの探索スコアＳ_ｃ（ｉ）を、バッファＤに含まれるフレームの距離値の平均ｚ_ｍ、標準偏差ｚ_ｄを用いて、以下の（式１０）のように算出する。

最後に図９の処理と同様、照合手段３３は、探索スコアＳ_ｃ（ｉ）が事前に設定した閾値Θを超えるフレームを探索結果として探索結果出力手段３４へ渡す。閾値Θは標準偏差ｚ_ｄに対する比率で表すことが可能となり設定が容易となる。
照合手段３３以外の部分は第１の実施形態と同じである。

［第４の実施形態］
図１６は、第４の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１または第２の実施形態と同様の構成には同じ符号を付し、説明を省略する。
図１６は、第２の実施形態の探索処理部３０に、第３の実施形態で記述した探索スコア補正手段３５を導入した例である。照合手段３３、探索スコア補正手段３５は、第３の実施形態における、Ｆ^ｄの代わりにＧ^ｄを、Ｆ^ｑの代わりにＧ^ｑを用いて探索スコアＳ_ｃ（ｉ）の計算を行う。その他の構成要素は第２の実施形態と同じである。

上記実施形態によれば、照合手段３３において、参照信号と蓄積信号の特徴ベクトル列の類似度の計算を行うことにより照合を行い、照合類似度の高い楽曲の部分を出力する。従来の手法で用いられる短時間スペクトルの形状を特徴ベクトルとして利用すると、同一の楽曲が異なる調で演奏された場合などには高い類似度が得られず、正しい探索結果を得ることができない。一方、本実施形態では、蓄積特徴ベクトル列計算手段１２と参照特徴ベクトル列計算手段３２において、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素として利用することにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトル列を得ることができ、正しい検索結果を得ることが可能となる。
また、蓄積特徴ベクトル列計算手段１２と参照特徴ベクトル列計算手段３２において、特徴ベクトルを計算するために、時間方向に不均等なサイズの領域に分割するメッシュを用いた特徴計算用マスクを導入することにより、音響信号の時間方向の変動に対応することが可能となる。

このように、本実施形態によれば、以下の効果がある。
（１）参照信号と蓄積信号が異なる調で演奏された場合に１回の照合で正しい探索結果を出力することが出来ない問題や、演奏されるテンポが異なる場合には正しく探索結果を出力することが出来ないという問題を解決する。
（２）音響信号におけるある時刻の特徴量を、その時刻のスペクトル形状と後続の複数の時刻におけるスペクトル形状との類似度からなるベクトル（自己類似度ベクトル）で表現することで、参照音響信号と蓄積音響信号で演奏される調が異なる場合においても探索を可能とする。
（３）自己類似度ベクトルを時間方向に並べた自己類似度ベクトル列に対し、大きさの不均等な領域を持ったマスクを適用し、各領域内の自己類似度ベクトルの要素の値を平均したものを特徴ベクトルとして利用することにより、音響信号の時間軸上での伸縮にも対応することができる。

なお、上述の音楽探索システムは、内部にコンピュータシステムを有している。そして、音楽探索システムのデータベース作成処理部１０、データベース２０、探索処理部３０及び時間伸縮対応手段４０の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明の一実施形態における音楽探索システムの処理を説明する概念図。 本発明の第１の実施形態における音楽探索システムの構成例を示すブロック図。 図２のデータベース作成処理部における処理の動作例を示すフローチャート。 図２のデータベース作成処理部における処理の動作例を示すフローチャート。 図２の探索処理部における処理の動作例を示すフローチャート。 図３における蓄積特徴ベクトル列計算処理の詳細を示すフローチャート。 図５における参照特徴ベクトル列計算処理の詳細を示すフローチャート。 図３、図７における自己類似度ベクトル列計算の処理を説明する図。 図５における照合処理の概要を示す図。 第２の実施形態による音楽探索システムの構成例を示すブロック図。 図１０の蓄積特徴ベクトル列計算手段における処理の詳細を示すフローチャート。 図１０の参照特徴ベクトル列計算手段における処理の詳細を示すフローチャート。 図１１、図１２におけるメッシュによる特徴ベクトル列計算処理の概要を示す図。 図１１、図１２におけるメッシュによる特徴ベクトル列計算処理の概要を示す図。 第３の実施形態による音楽探索システムの構成例を示すブロック図。 第４の実施形態による音楽探索システムの構成例を示すブロック図。 図１５、図１６における照合手段から探索スコア補正手段を呼び出した場合の照合処理の概要を示す図。

符号の説明

１０…データベース作成処理部
１１…蓄積音響信号入力手段
１２…蓄積特徴ベクトル列計算手段
１３…楽曲付随情報入力手段
２０…データベース
２１…蓄積信号ＤＢ
２２…蓄積特徴ベクトル列ＤＢ
２３…楽曲付随情報ＤＢ
３０…探索処理部
３１…参照音響信号入力手段
３２…参照特徴ベクトル列計算手段
３３…照合手段
３４…探索結果出力手段
３５…探索スコア補正手段
４０…時間伸縮対応手段

Claims (9)

1. 音響信号の特徴を抽出する信号特徴抽出方法であって、
   音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、
   生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する
   ことを特徴とする信号特徴抽出方法。
2. ｉ番目のフレームのベクトルｐ_ｉと、当該フレームからＮ個先のフレームまでの各フレームｐ_ｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐ_ｉｊを算出し、この算出した類似度ｐ_ｉｊを要素とした自己類似度ベクトルを特徴ベクトルとして生成する、
   ことを特徴とする請求項１に記載の信号特徴抽出方法。
3. ｉ番目のフレームのベクトルｐ_ｉと、当該フレームからＮ個先のフレームまでの各フレームｐ_ｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐ_ｉｊを要素とした自己類似度ベクトルをｓ_ｉとしたとき、
   自己類似度ベクトルｓ_ｋ（ｉ≦ｋ≦Ｎ−１）それぞれについて、１から（Ｎ−ｋ）番目までの要素を取り出して三角領域を得、
   １つの領域に少なくとも１以上の自己類似度ベクトルの要素が含まれ、かつ、照合の始点となる要素ｓ_１ｉから時間的距離の長い自己類似度ベクトル、及び、同じ自己ベクトル内において時間的距離の長い要素がより大きな領域に含まれるよう前記三角領域をメッシュ状の複数の領域に分割し、
   分割した各領域に含まれる自己類似度ベクトルの要素の平均値を算出し、この算出した平均値を要素としたベクトルを特徴ベクトルとする、
   ことを特徴とする請求項１に記載の信号特徴抽出方法。
4. 参照用に入力された音響信号に基づき、あらかじめデータベースの中に蓄積された音響信号の中を探索する信号探索方法であって、
   音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算過程と、
   参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算過程と、
   前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算過程により生成された参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合過程と、
   前記照合過程により検出された類似する箇所を出力する探索結果出力過程と
   を有することを特徴とする信号探索方法。
5. 音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段
   を備えることを特徴とする信号特徴抽出装置。
6. 音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段と、
   参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段と、
   前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段と、
   前記照合手段により検出された類似する箇所を出力する探索結果出力手段と
   を備えることを特徴とする信号特徴抽出装置。
7. 信号特徴抽出装置として用いられるコンピュータを、
   音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段
   として動作させることを特徴とするコンピュータプログラム。
8. 信号特徴抽出装置として用いられるコンピュータを、
   音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段、
   参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段、
   前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段、
   前記照合手段により検出された類似する箇所を出力する探索結果出力手段
   として動作させることを特徴とするコンピュータプログラム。
9. 請求項７または８のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images