JP2012234202A - リズムの構造を抽出する方法、複数の音声信号のアイテム間の類似する関係を決定する方法、および、そのプログラム - Google Patents

Abstract

【課題】 音楽的構成等のリズム構造に関する情報を自動的且つ効率的に抽出する。
【解決手段】 データベースからリズム構造を抽出する処理において、解析により入力信号を処理して、入力信号に含まれているリズム情報を選択し、解析の実行中に音を合成する。データベースには、例えば打撃音を表すデータが格納されている。入力信号は、例えばスペクトル分析により処理される。
【選択図】図１

Description

本発明は、供給される信号、例えば音楽信号からリズム構造（rhythmic structure）を抽出するリズム構造抽出方法、このリズム構造を用いて信号の類似関係（similarity relation）を判定する類似関係判定方法、リズム構造抽出装置、類似関係判定装置及びコンピュータプログラム製品に関する。本発明は、特に、信号分析（signal analysis）における音の合成（synthesizing sound）に関する。本発明が提供するリズム構造の表現は、例えば楽曲等の所定のアイテム間の類似関係を表すように設計されている。類似するリズムを有する異なる音楽信号は、類似する表現を有する。本発明は、音楽カタログに対して類似性に基づく検索を実行する電子音楽配給（Electronic Music Distribution：ＥＭＤ）の分野に応用される。音楽カタログには、例えば同様のリズムを有する楽曲を検索するための検索コードを用いてアクセスすることができる。

比較的短い音楽信号に関する音楽的な特徴の抽出について様々な研究がなされている。これら抽出される特徴とは、ピッチ（pitch）、基本周波数（fundamental frequency）、スペクトル特性（spectral characteristics）等である。また、例えばポピュラー音楽の楽曲の抜粋等の比較的長い音楽信号から拍（beat）又はテンポ（temp）を抽出する研究もなされている。

拍及びテンポの抽出に関する参照文献は、インターネットＵＲＬ、http://stephanus2.socsci.kun.nl/mmm/papers/foot-tapping-bib.htmlphanus2.socsci.kun.nl/mmm/papers/foot-tapping-bib.htmlにも紹介されている。

さらに、１９９８年１月、ジェイ・アコースト・エスオーシー・エイエム（J. Acoust. Soc. Am）発行のシェイラー・エリック・ディー（Scheirer, Eric D.）著、「アコスティック音楽信号のテンポ及び拍の分析（Tempo and Beat Analysis of Acoustic Musical Signals）」１０３（１）、第５８８〜６０１頁にもテンポ抽出に関する研究が解説されている。

さらに、シェイラー・エリック・ディー（Scheirer, Eric D.）及びスラニー・マルコルム（Slaney Malcolm）を発明者とする国際特許出願公開番号ＷＯ９８１７５４３Ａ２号、「多特性音声／音楽判定装置（Multifeature Speech/MusicDiscrimination System）」にも特性抽出の技術が開示されている。この技術は、インターネットＵＲＬ、http://sound.media.mit.edu/ eds/papers.htmlにも解説されている。

上述の国際特許出願に開示されている装置では、音声／音楽判定回路（speech/music discriminator）は、オーディオ信号の複数の特徴データを分類回路（classifier）に入力する。オーディオ信号の個々のフレームから判定される特徴データの幾つか、及び他の入力データは、複数のフレームに亘る特徴の変化（variations）に基づいており、音声における有声（voiced）及び無声（unvoiced）成分の変化（changes）を、音楽におけるより一定の特徴から区別する。この文献では、特徴データに基づき検査点（test point）へのラベル付けを行う種類が異なる複数の分類回路が開示されている。好ましい分類回路の組は、Ｋ−ｄツリー空間分割技術（K-d tree spatial partitioning technique）を含む様々な種類の最隣接法（nearest-neighbor approach）に基づいている。

国際特許出願公開番号ＷＯ９８／１７５４３Ａ２号

インターネットＵＲＬ、http://stephanus2.socsci.kun.nl/mmm/papers/foot-tapping-bib.htmlphanus2.socsci.kun.nl/mmm/papers/foot-tapping-bib.html １９９８年１月、ジェイ・アコースト・エスオーシー・エイエム（J. Acoust. Soc. Am）発行のシェイラー・エリック・ディー（Scheirer, Eric D.）著、「アコスティック音楽信号のテンポ及び拍の分析（Tempo and Beat Analysis of Acoustic Musical Signals）」１０３（１）、第５８８〜６０１頁

完全な自動的手法（automatic approaches）を用いて高レベルの音楽的特性を抽出する技術は未だ確立されていない。さらに、例えば音色等の他の音楽的次元から厳密に独立させて、楽曲のリズム構造を定義することは困難であった。

上述の技術は、ＭＰＥＧ７にも関連する。ＭＰＥＧ７は、将来のＭＰＥＧ７標準規格に含まれる「オーディオディスクリプタ（audio descriptors）」に関するレポートの草案を作成中である。しかしながら、この草案は、本願の出願日以前には公開されていない。ＭＰＥＧ７では、「低レベルディスクリプタ（low level descriptor）」を中心とする研究がなされており、本発明では、例えばスペクトル中心（spectral centroid）の文脈において、この低レベルディスクリプタについても検討する。

ＭＰＥＧ７オーディオに関する記事は、インターネットＵＲＬhttp://www.iua.upf.es/ xserra/articles/cbmi99/cbmi99.htmlupf.es/ xserra/articles/cbmi99/cbmi99.htmlにおいても参照できる。

本発明は、上述の課題に鑑みてなされたものであり、音楽的構成等のリズム構造に関する情報を自動的に抽出することができる、信頼度が高く効率的なリズム構造抽出方法及び類似関係判定方法を提供することを目的とする。

上述の目的を達成するために、本発明に係るリズム構造抽出方法は、音を表すデータを含むデータベースからリズム構造を抽出するリズム構造抽出方法において、解析により入力信号を処理して、入力信号に含まれているリズム情報を選択するステップと、解析の実行中に音を合成するステップとを有する。

このデータベースは、打撃音を表すデータを含んでいてもよい。

入力信号を処理するステップは、入力信号をスペクトル分析により処理するステップを有していてもよい。

記音を合成するステップは、オンセットピークのタイムシリーズ及び入力信号から新たな打撃音を合成し、新たな打撃音を定義し、繰り返される反復処理を可能とするステップと、算出されるピークシリーズタイムシリーズサイクルが先行するサイクルと同じになるまで、反復処理を繰り返すステップと、入力信号をピーク抽出のために全ての打撃音と比較した後に、２つの異なるタイムシリーズを選択するステップとを有していてもよい。

また、本発明に係るリズム構造抽出方法は、それぞれが１つの打撃音の時間的な貢献（contribution）を表すタイムシリーズとしてリズム構造を定義するステップを有していてもよい。リズム構造を定義するステップは、好ましくは、上述の処理より先に行う。

さらに、本発明に係るリズム構造抽出方法は、複数のオンセットタイムシリーズを組み合わせてリズム構造を構築するステップと、複数のタイムシリーズ内に含まれるリズム情報を削減し、アイテムに対する削減されたリズム情報を抽出するステップと有していてもよい。

好ましくは、このリズム構造抽出方法において、リズム構造は、オーディオ信号における所定のアイテムの数値的表現によって形成され、データベース内の打撃音は、オーディオ信号内に存在する。

また、リズム構造を定義するステップは、それぞれがオーディオ信号における打撃音の１つに対応する時間的貢献を表すタイムシリーズの重なりとしてリズム構造を定義するステップを有していてもよい。

さらに、リズム構造を構築するステップは、複数のオンセットタイムシリーズを組み合わせて入力信号のリズム構造の数値的表現を構築するステップを有していてもよい。

また、リズム構造を削減するステップは、複数のタイムシリーズの相関を分析することにより複数のタイムシリーズに含まれているリズム情報を削減し、オーディオ信号のアイテムに対応する削減されたリズム情報を抽出するステップを有していてもよい。

また、本発明に係る類似関係判定方法は、一方が比較の参照として使用されるオーディオ信号におけるアイテムのリズム構造を比較することにより、アイテム間の類似関係を判定するものであり、上述のリズム構造抽出方法を実行して比較すべきオーディオ信号の各アイテムに対応するリズム構造を判定するステップと、削減されたリズム情報に基づいてオーディオ信号のアイテム間の距離測定を行うステップと、特定の基準を用いて、参照用のアイテムから特定の距離内にあるオーディオ信号のアイテムが同様のリズムを有するものと判定するステップとを有する。

この類似関係判定方法は、参照用のオーディオ信号との類似性に基づいてオーディオ信号のアイテムを選択するステップを有していてもよい。

さらに、リズム構造を定義するステップは、各タイムシリーズが与えられた打撃音の時間的ピークを表すものと定義するステップを有していてもよい。

入力信号を処理するステップは、入力信号に対するピーク抽出処理を実行するステップを有していてもよい。

ピーク抽出処理を実行するステップは、信号を高調波音と雑音として分析することによりピークを抽出するステップを有していてもよい。

また、入力信号を処理するステップは、ピークフィルタリング処理を実行するステップを有していてもよい。

好ましくは、ピークフィルタリング処理を実行するステップは、所定の閾値に達するまで、オーディオ信号における打撃音の発生を表すオンセットタイムシリーズを繰り返し抽出するステップを有する。

さらに、ピークフィルタリング処理を実行するステップは、オーディオ信号と打撃音の相関関数値を算出する相関分析技術により、データベースに格納されている各打撃音とオーディオ信号とを比較するステップを有していてもよい。

さらに、ピークフィルタリング処理を実行するステップは、所定の振幅閾値以下の相関関数値をフィルタリングして除去し、所定の時間閾値以下の発生時間を有するピークをフィルタリングして除去し、所定の質閾値以下の質を有するピークをフィルタリングして除去することにより、処理の結果得られたタイムシリーズのピークの質を評価して、ピーク位置ベクトル及びピーク値ベクトルを有するオンセットタイムシリーズを生成するステップを有していてもよい。

また、本発明に係るリズム構造抽出方法及び類似関係判定方法において、入力信号を処理するステップは、相関分析処理を実行するステップを有していてもよい。

この相関分析処理を実行するステップは、タイムシリーズの相関積を公式化するステップと、相関積からテンポ値を選択するステップと、テンポ値をスケーリングするステップとを有していてもよい。

さらに、相関積を公式化するステップは、信号における２つの主要な打撃音のオンセットタイムシリーズを表す２つのタイムシリーズを入力情報として特定するステップと、入力されたタイムシリーズに含まれているリズム情報を削減した情報を表す数値の組を出力情報として生成するステップと、２つのタイムシリーズの相関積を算出するステップとを有していてもよい。

テンポ値を選択するステップは、信号における顕著な期間を表すテンポ値を選択するステップを有していてもよい。

また、テンポ値を選択するステップは、相関積からテンポ値を抽出するステップを有し、顕著な期間は所定の範囲内から選択してもよい。

テンポ値をスケーリングするステップは、テンポ値及び振幅の値に基づいてタイムシリーズをスケーリングし、新たな正規化されたタイムシリーズの組を生成するステップと、相関積をトリミング及び削減し、所定の範囲内に含まれる正規化された各相関積に対応する値を残すステップとを有していてもよい。

また、テンポ値をスケーリングするステップは、タイムシリーズを相関積によりスケーリングするステップを有していてもよい。

好ましくは、距離の測定値を算出するステップは、オーディオ信号の各アイテムに対するリズムの内部表現に基づいてオーディオ信号２つのアイテムを算出し、相関積から算出されたデータを単純な数値に削減するステップを有する。

距離の測定値を算出するステップは、それぞれがフィルタにおけるタイムシリーズの貢献を表す係数の組として各タイムシリーズの構造の表現を算出するステップと、各フィルタによりタイムシリーズをフィルタリングし、リズムを表す所定の数値を生成するステップとを実行することによりリズムの内部表現を構築する。

また、距離の測定値を算出するステップは、リズムを表現する所定の数値により各信号を表現するステップと、２つの信号間について距離の測定値を算出するステップとを有していてもよい。

本発明において、オーディオ信号のアイテムは、例えば楽曲であり、オーディオ信号は例えば音楽オーディオ信号である。

さらに、データベースに含まれる打撃音は、例えば打楽器により発生された音に基づくオーディオ信号である。

さらに、２つの信号は、例えばバスドラムとスネアドラムの音をそれぞれ表している。

また、本発明に係るリズム構造抽出装置及び類似関係判定装置は、汎用コンピュータと周辺装置とを備え、上述のリズム構造抽出方法又は類似関係判定方法を実現するようプログラミングされている。

また、本発明に係るプログラム製品は、汎用コンピュータの内部メモリにロードされ、汎用コンピュータに上述のリズム構造抽出方法又は類似関係判定方法を実行させる。

以上のように、本発明に係るリズム構造抽出方法は、音を表すデータを含むデータベースからリズム構造を抽出するリズム構造抽出方法において、解析により入力信号を処理して、入力信号に含まれているリズム情報を選択するステップと、解析の実行中に音を合成するステップとを有する。これにより、音楽的構成等のリズム構造に関する情報を自動的且つ効率的に抽出することができる。

また、本発明に係る類似関係判定方法は、一方が比較の参照として使用されるオーディオ信号におけるアイテムのリズム構造を比較することにより、アイテム間の類似関係を判定するものであり、上述のリズム構造抽出方法を実行して比較すべきオーディオ信号の各アイテムに対応するリズム構造を判定するステップと、削減されたリズム情報に基づいてオーディオ信号のアイテム間の距離測定を行うステップと、特定の基準を用いて、参照用のアイテムから特定の距離内にあるオーディオ信号のアイテムが同様のリズムを有するものと判定するステップとを有する。音楽的構成等のリズム構造に関する情報を自動的且つ効率的に抽出し、信号の類似関係を判定することができる。

本発明に基づいて入力信号内の打撃音の発生を検出及び抽出して得られたスペクトルを示す図である。 本発明に基づく質の測定により得られたスペクトルを示す図である。 本発明に基づく処理の全体の流れを説明する図である。 本発明に基づくピークの抽出、評価、及び音合成の処理の流れを説明する図である。

以下、本発明に係るリズム構造抽出方法、類似関係判定方法、リズム構造抽出装置、類似関係判定装置及びコンピュータプログラム製品について、図面を参照して詳細に説明する。

信号を分析して音を合成（synthesize）することにより明白又は自明ではない音の出現を検出することができる。

図１（ａ）〜（ｃ）の左側は、連続する音のスペクトルを示し、詳しくは、図１（ａ）に示すスペクトルは、包括的な音（general sound）を示し、図１（ｂ）及び図１（ｃ）のスペクトルは、それぞれ入力信号から合成された音を示している。図１（ａ）〜（ｃ）の右側に示すスペクトルは、対応する入力信号の打撃音（percussive sound）から検出されたピークを示している。

図２に示すように、上述したピークの質の測定（quality measure of peak）によって、これらピークのローカルエネルギ（local energy）が他の打撃音に対応する他のピークのローカルエネルギより小さい場合であっても、与えられた打撃音の真の発生に実際に対応するピークのみを検出することができる。

本発明の具体例では、以下の２つの処理段階（以下、フェーズという。）を有する。
１）トレーニングフェーズ：このフェーズにおいては、本発明に基づくパラメータの一部が調整（tune）され、関連する楽曲のクラスタ（cluster）及び／又はカテゴリ（category）が生成される。
２）ワーキングフェーズ：このフェーズにおいては、入力された楽曲に類似するクラスタが生成される。

これらフェーズは、以下のような特徴を有している。
１）トレーニングフェーズ
入力：デジタルフォーマットの音楽信号のデータベース、例えば通常２０秒以上の長さの波形ファイル（wav）
出力：このデータベースのクラスタ
２）ワーキングフェーズ
入力：デジタルフォーマットの音楽信号のデータベース、例えば通常２０秒以上の長さの波形ファイル（wav）
出力：この楽曲とデータベース内の他の楽曲間の距離の測定値（distance measure）。この測定値により、入力された楽曲に類似するリズム構造を有する楽曲を含むクラスタの集合が生成される。

以下、与えられた楽曲に対し、トレーニングフェーズにおいてクラスタを自動的に構築し、ワーキングフェーズにおいて、標準的な分類法を用いて、同様のクラスタを発見する処理に適した楽曲のリズム構造の数値的表現を抽出する本発明のメインモジュールについて説明する。

楽曲のリズム構造抽出
リズム構造は、タイムシリーズ（time series）の重なり（superposition）として定義される。各タイムシリーズは、入力信号における所定の打楽器の打撃音による複数の一時的なピークを表している。ピークは、信号における打撃音の発生（significant contribution）を表している。与えられた入力信号に対して、打撃音のライブラリにおける異なる打楽器に関する、複数のタイムシリーズが抽出される。抽出される異なるタイムシリーズの数は、例えば、２つであってもよい。

これらタイムシリーズが抽出されると、データ削減処理（data reduction process）が行われ、各タイムシリーズの主要な特性が抽出され、タイムシリーズ間の関係が集合的に調べられる。

このデータ削減処理により、各タイムシリーズ及び各タイムシリーズの組合せの様々な自己相関（auto-correlation）及び相関パラメータに関する削減された情報を含む特徴空間（feature space）における多次元点（multi-dimensional point）が生成される。

この処理を包括的に図３に示す。本発明に基づく処理は、少なくとも以下の動作を実行する。
１）スペクトル分析技術を用いて入力信号を前処理し、入力信号における非リズム情報を抑圧する。
２）信号内の打撃音の発生を表す複数のオンセットタイムシリーズ（onset times series）を組み合わせて入力信号のリズム構造の表現を構築する。
３）信号からこれらタイムシリーズを抽出するために、打撃音のライブラリを使用する。
４）音合成モジュール（sound synthesis module）を用いて、打撃音のライブラリを反復的に構築する。
５）タイムシリーズの自己相関及び相互相関積（auto-correlation and cross-correlation products）を算出することにより、タイムシリーズ内に与えられた情報を削減する。
６）タイムシリーズの相関を分析して、単純なテンポ抽出を行う。
７）削減された情報を用いて、２つの楽曲間の距離の測定値を求める。

楽曲用の削減されたリズム情報の抽出は、幾つかのフェーズにより実現される。
まず、信号を前処理し、非リズム情報をフィルタリングする。これにより、信号は単純化され、リズム情報のみを有するようになる。続いて、以下のような処理を行う。
１）チャンネル抽出
・サウンドライブラリの全ての打撃音に対し、入力信号上のピーク抽出を行う。・処理の結果得られたタイムシリーズのピークの質を評価する。
・固定点が決定されるまで、処理を繰り返す。
・抽出が成功したタイムシリーズを合成する。
２）相関分析
・相関積を算出する。
・相関積からテンポを抽出する。
・相関積をスケーリングする。
・相関積に対するトリミング及び削減を行う。
３）２）の結果から距離測定値を算出する。

好適な実施の形態に使用される４つのモジュールの定義
１）非リズム情報をフィルタリングする前処理
この処理では、ＳＭＳ法（SMS approach）と同様の技術を利用する。すなわち、信号を高調波音と雑音の和として分析する処理は、例えば、１９９７年ザビエル・セラ（Xavier Serra）著、シー・ローズ（C.Roads）、エス・ポープ（S.Pope）、エー・ピチアリ（A.Picialli）、ジー・ド・ポリ（G.De Poli）編「正弦波と雑音の和による楽音モデリング（Musical Sound Modelling With Sinusoids Plus Noise）」及びスウェッツアンドザイトリンジャパブリッシャ社（Swets & Zeitlinger Publishers）発行の「音楽信号処理（Musical Singal Processing）」等に記述されている技術と同様の技術を用いる。
２）チャンネル抽出
このモジュールは、信号における打撃音の発生を表すオンセットタイムシリーズを抽出する。この抽出処理の流れを図４に示す。この処理は、固定点に達するまで繰り返し実行される。
ｉ）相関の技術を用いて、打撃音のサウンドライブラリ内の各音と信号とを比較する。この処理では、以下に示す式を用いて、ｔを［１，Ｎ_Ｓ］に属する要素とする信号Ｓ（ｔ）及びｔを［１，Ｎ_Ｉ］に属する要素とする楽器音Ｉ（ｔ）に関する相関関数Ｃｏｒ（δ）を算出する。

ｉｉ）処理の結果得られたタイムシリーズのピークの質の算出及び評価
このモジュールは、以下のような一連のフィルタにより信号をフィルタリングすることにより実現される。
ａ）例えば、ＴＡ＝５０／１００×Ｍａｘ（Ｃｏｒ）として、振幅閾値ＴＡを下回るＣｏｒ関数の全ての値をフィルタリングして取り除く。
ｂ）「近すぎる」ピーク、すなわち、他のピークとの間の発生時間の間隔が時間閾値ＴＳより小さい全てのピークをフィルタリングして取り除く。ＴＳは、信号において、通常１０ミリ秒に設定される。
ｃ）十分に高い質を示す測定値を有さない全てのピークを取り除く。質の測定値は、以下に示す式に基づき、相関信号Ｃｏｒ内のピークｔにおけるローカルエネルギと、ピークｔの近辺のローカルエネルギＱ（Ｃｏｒ）との比として算出される。

通常、picWidthは、５００サンプルとし、これは、１１０２５Ｈｚのサンプリングレートで４５ミリ秒の期間に相当する。ここで、質閾値ＴＱを５０／１００Ｍａｘ（Ｑ（cor,t））として、Ｑ（ｐ）＞ＴＱを満たすピークのみを残す。これにより得られるオンセットタイムシリーズは、１≦ｉ≦nbPeaksとして、ピークの位置を表すpeakPosition(i)及びピークの値を表すpeakValue(i)といった２つのベクトルにより表現される。
ｄ）ピークのタイムシリーズのこの時点における新たな打撃音が、元の信号と合成される。新たに合成される打撃音は、以下のように定義される。

ここで、ｔは［１，Ｎ_ｉ］に属する要素とする。
ｅ）楽器Ｉを新たな楽器newInstに置き換えて、上述の処理を繰り返す。この処理は、算出されたピークタイムシリーズが先行するサイクルと同様に算出されるまで繰り返され、すなわち、固定点反復処理（fixed point iteration）を実行する。

ピーク抽出に対して、信号を全ての打撃音と比較した後、以下の判定基準に基づいて、２つのタイムシリーズを選択する。
・２つのタイムシリーズは異なっていなくてはならず、一方が他方を包含する関係にあってはならない。
・矛盾が生じた場合、すなわち、２つのタイムシリーズの候補が異なる音を有するものである場合、ピーク数が最大のタイムシリーズを選択する。

このような処理により、２つのタイムシリーズが得られ、これらのタイムシリーズは、整合される打楽器のスペクトル中心（spectral centroid）に基づいて区別（sort out）される。例えば、第１のタイムシリーズはバスドラムを表し、第２のタイムシリーズはスネアドラムを表すものとする。ここで、打撃音がバスドラム及びスネアドラムのような音ではない場合であっても、タイムシリーズを定められた順序で生成及び比較することのみを目的として、このような区別を行う。
３）相関分析
このモジュールには、前段のモジュールにより算出され、信号における２つの主要な打撃音のオンセットタイムシリーズを表す２つのタイムシリーズが入力される。また、このモジュールは、このデータを削減し、後の分類（classification）に適するデータを表す数値の組を出力する。この数値のシリーズをＴＳ_１及びＴＳ_２として示す。

このモジュールは、次の処理を実行する。
ｉ）相関積の算出
各タイムシリーズＣ_１，１、Ｃ_２，２、Ｃ_１，２は、以下の式に示すように、ＴＳ１とＴＳ２の相関積として算出される。

ｉｉ）相関積からのテンポ抽出
テンポは、以下の式を用いて相関積から抽出される。
すなわち、ｔ＞０として、
ＭＡＸ＝ＭＡＸ（Ｃ_１，１（ｔ）＋Ｃ_２，２（ｔ））
なお、ここで、Ｃ_１，１のエネルギを表すＣ_１，１（０）の検討を避けるために、ｔ＞０から開始する。ＭＡＸの演算子（index）の値、すなわちＩＭＡＸは、可能な乗数（multicative factor）を有する信号における最も顕著な期間（prominent period）を表し、これをテンポと推定する。ここでは、６０拍毎分（beat per minute：以下、ｂｐｍとする。）〜１８０ｂｐｍのテンポ、すなわち２５０ミリ秒〜７５０ミリ秒の期間についてのみ検討する。したがって、顕著な期間がこの範囲内にない場合、次のような乗算又は除算を行う。すなわち、ＩＭＡＸ＜２５０ミリ秒の場合、ＩＭＡＸ＝ＩＭＡＸ×２とし、ＩＭＡＸ＞７５０ｍｓの場合、ＩＭＡＸ＝ＩＭＡＸ／２とする。
ｉｉｉ）相関積のスケーリング
一旦、テンポが抽出されると、続いて、テンポ及び振幅の最大値に基づいて、タイムシリーズをスケーリングして正規化する。以下に示す式により、新たな３つの正規化されたタイムシリーズが算出される。
Ｃ_１，１＝Ｃ_１，１（ｔ×ＩＭＡＸ）／ＭＡＸ
Ｃ_２，２＝Ｃ_２，２（ｔ×ＩＭＡＸ）／ＭＡＸ
Ｃ_１，２＝Ｃ_１，２（ｔ×ＩＭＡＸ）／ＭＡＸ
ｉｖ）相関積のトリミング及び削減
ここでは、各正規化されたタイムシリーズについて、０〜１の範囲内の値のみを残す。
４）モジュール３）の結果からの距離測定値の算出
各楽曲のリズムの内部表現に基づいて、２つの楽曲間の距離を測定し、これにより、モジュール３）で算出されたデータは、単純な数値に削減される。
ｉ）リズムの内部表現の構築
それぞれがタイムシリーズにおける櫛形フィルタ（comb filter）の効果（contribution）を表す係数の組として、各タイムシリーズＣＮ_ｉ，ｊの構造（morphology）の表現を算出する。櫛形フィルタＦ_ｌ，Ｆ_ｎの組は、以下のように定義される。

すなわち、各櫛形フィルタＦ_ｉは、前段のフィルタＦ_ｊ（ｊ＞ｉ）内の成分（fraction）が重なることを避けるために、素因子（prime fraction）のみを含むという条件で、範囲［０，１］を１／ｉ、２／ｉ、（ｉ−１）／ｉに分割したものを表している。

関数gauss（ｔ）は、クロスオーバー（crossover）を避けるのに十分な減衰係数（decaying coefficient）を有するガウス関数である。減衰係数は、例えば３０に設定される。

タイムシリーズＣＮを各フィルタＦ_ｉによりフィルタリングすることにより、Ｎ個の数値が得られる。

本発明に基づく具体例では、Ｎ＝８とし、これにより２拍、３拍から最大８拍までのリズムパターンを記述することができる。なお、要求に応じて、Ｎの値として他の値を使用してもよい。

したがって、３個のタイムシリーズＣＮ_ｉｊからは、リズムを表す３×８＝２４個の数値が生成される。
ｉｉ）距離に関連付けられた多次元空間内におけるリズムの表現
各音楽信号Ｓは、上述の方法により、２４個の数値により表現される。音楽信号Ｓ_１と音楽信号Ｓ_２間の距離の測定値は、この空間における自乗差分（squared differences）の重み付け加算値として表される。

重みα_ｉの実際の値は、標準的なデータ解析技術を用いて決定される。

本発明によれば、複数の打撃音を含むデータベースを用いてリズムの構造を抽出する方法であって、ａ）入力信号を入力する段階と、ｂ）前記入力信号に含まれているリズムの情報を選択するため分析手法により前記入力信号を処理する分析段階と、ｃ）前記分析手法を遂行している間、音を合成する合成段階とを具備し、
前記分析段階における上記分析手法は、
繰り返して反復処理して、前記入力信号内のオンセット（頭節の出だし）ピークの時系列データから新しい打撃音を合成して、新しい打撃音を規定する段階、
計算されたピークのシリーズ（系列）サイクルが前のサイクルと同じになるまで、前記反復処理を遂行する段階、および、
前記ピークの抽出のため、前記入力信号を全ての前記打撃音と比較した後、２つの異なる時系列データを選択する段階
を具備する、リズムの構造を抽出する方法が提供される。

好ましくは、当該方法は、各々が打撃音の１つのための一時的な寄与を表している、時系列データとして前記リズムの構造を規定する段階を具備する。

好ましくは、当該方法は、ａ）複数のオンセット時系列データを組み合わせることにより前記入力信号のリズムの構造を構成する段階と、ｂ）前記複数のオンセット時系列データに含まれる前記リズムの情報を減少させる段階であって、アイテムのための減少されたリズムの情報を抽出する、リズムの情報を減少させる段階とを具備する。

好ましくは、前記リズムの構造を規定する段階は、各々が音声信号内の前記打撃音の１つのため一時的な寄与を表している、複数の時系列データを重畳したものとして前記リズムの構造を規定する段階を具備する。

好ましくは、前記リズムの構造を構成する段階は、複数のオンセット時系列データを組み合わせることにより前記入力信号のリズムの構造の前記数字的な表記を構成する段階を具備する。

好ましくは、前記リズムの情報を減少させる段階は、前記複数の時系列データに含まれる前記リズム情報をその相関積を分析することにより減少させ、その結果、音声信号のアイテムのための減少されたリズムの情報を抽出する段階を具備する。

また本発明によれば、複数の音声信号のアイテム間の類似する関係を、リズムの構造と比較することにより決定する方法であって、前記複数のアイテムの１つが比較のため参照として使用されるものであり、当該方法は、上記いずれかに記載の段階を遂行することによって比較すべき各音声信号のアイテムのためのリズムの構造を決定する段階と、減少されたリズムの情報を基に前記複数の音声信号のアイテム間の距離の測定を遂行する段階とを具備し、それにより、特定の基準における参照アイテムの特定の距離内の音声信号のアイテムが同じリズムを持つと考慮される、
複数の音声信号のアイテム間の類似する関係をリズムの構造を比較することにより決定する方法が提供される。

好ましくは、当該方法は、前記参照音声信号に対するその類似度に基づいて音声信号のアイテムを選択する段階をさらに具備する。

好ましくは、前記リズムの構造を規定する段階は、与えられた打撃音の一時的なピークを表すものとして前記時系列データの各々を規定する段階を具備する。

好ましくは、前記入力信号を処理する段階は、相関分析を行う段階を具備し、前記相関分析を行う段階は、時系列データの相関積を数式化する段階と、前記相関積からテンポ（音の速さ）を選択する段階と、前記テンポをスケールする段階とを具備する。

好ましくは、前記数式化する段階は、下記の諸段階、すなわち、ａ）前記入力信号として、前記入力信号内の２つの主の打撃音のオンセット時系列データを表す２つ１の時系列データを特定する段階と、ｂ）出力として、前記入力系列に含まれるリズムの情報の減少を表す数の組を提供する段階と、ｃ）前記２つの時系列データの相関積を計算する段階とを具備する。

好ましくは、前記複数の音声信号のアイテム間の距離の測定を行う段階は、音声信号の各アイテムのためのリズムを表す本質的な特性（インターナル）に基づいて前記２つの音声信号のアイテムを計算し、それにより、前記相関積から計算したデータを簡単な数に減少させる、段階を具備する。

好ましくは、前記複数の音声信号のアイテム間の距離の測定を行う段階は、リズムを表す前記本質的な特性（インターナル）を構成する段階を具備し、当該インターナルを構成する段階は下記の処理を行う、ａ）フィルタの前記時系列データ内の寄与を表すそれぞれの係数の組としての前記時系列データの各々のためのモルフォロジー（形態）についつての表記を計算し、ｂ）各フィルタを時系列データに適用して、それにより、前記リズムを表す所定の数を生成する。

また本発明によれば、コンピュータにおいて実施される、上記いずれかの方法を実施するプログラムが提供される。

本発明のリズムの構造を抽出する方法によれば、音楽的構成などのリズム構造に関する情報を自動的かつ効率的に抽出することができる。

本発明の複数の音声信号のアイテム間の類似する関係をリズムの構造を比較することにより決定する方法によれば、音楽的構成などのリズム構造に関する情報を自動的かつ効率的に抽出し、信号の類似関係を判定することができる。
本発明のプログラムは、上記リズムの構造を抽出する方法、または、複数の音声信号のアイテム間の類似する関係をリズムの構造を比較することにより決定する方法を、コンピュータにおいて実行可能である。

Claims (34)

1. 音を表すデータを含むデータベースからリズム構造を抽出するリズム構造抽出方法において、
   解析により入力信号を処理して、該入力信号に含まれているリズム情報を選択するステップと、
   上記解析の実行中に上記音を合成するステップとを有するリズム構造抽出方法。
2. 上記データベースは、打撃音を表すデータを含んでいることを特徴とする請求項１記載のリズム構造抽出方法。
3. 上記入力信号を処理するステップは、該入力信号をスペクトル分析により処理するステップを有することを特徴とする請求項１又は２記載のリズム構造抽出方法。
4. 上記音を合成するステップは、
   オンセットピークのタイムシリーズ及び上記入力信号から新たな打撃音を合成し、該新たな打撃音を定義し、繰り返される反復処理を可能とするステップと、
   算出されるピークシリーズタイムシリーズサイクルが先行するサイクルと同じになるまで、上記反復処理を繰り返すステップと、
   上記入力信号をピーク抽出のために全ての打撃音と比較した後に、２つの異なるタイムシリーズを選択するステップとを有することを特徴とする請求項１乃至３いずれか１項記載のリズム構造抽出方法。
5. それぞれが１つの打撃音の時間的な貢献を表すタイムシリーズとして上記リズム構造を定義するステップを有する請求項１乃至４いずれか１項記載のリズム構造抽出方法。
6. 複数のオンセットタイムシリーズを組み合わせて上記リズム構造を構築するステップと、
   上記複数のタイムシリーズ内に含まれるリズム情報を削減し、アイテムに対する削減されたリズム情報を抽出するステップと有する請求項１乃至５いずれか１項記載のリズム構造抽出方法。
7. 上記リズム構造は、オーディオ信号における所定のアイテムの数値的表現によって形成され、上記データベース内の打撃音は、オーディオ信号内に存在することを特徴とする請求項６記載のリズム構造抽出方法。
8. 上記リズム構造を定義するステップは、それぞれが上記オーディオ信号における打撃音の１つに対応する時間的貢献を表すタイムシリーズの重なりとして上記リズム構造を定義するステップを有することを特徴とする請求項５乃至７いずれか１項記載のリズム構造抽出方法。
9. 上記リズム構造を構築するステップは、複数のオンセットタイムシリーズを組み合わせて上記入力信号のリズム構造の数値的表現を構築するステップを有することを特徴とする請求項６乃至８いずれか１項記載のリズム構造抽出方法。
10. 上記リズム構造を削減するステップは、上記複数のタイムシリーズの相関を分析することにより該複数のタイムシリーズに含まれているリズム情報を削減し、オーディオ信号のアイテムに対応する削減されたリズム情報を抽出するステップを有することを特徴とする請求項６乃至９いずれか１項記載のリズム構造抽出方法。
11. 一方が比較の参照として使用されるオーディオ信号におけるアイテムのリズム構造を比較することにより、アイテム間の類似関係を判定する類似関係判定方法において、
    請求項１乃至１０いずれか１項記載のリズム構造抽出方法を実行して比較すべきオーディオ信号の各アイテムに対応するリズム構造を判定するステップと、
    削減されたリズム情報に基づいて上記オーディオ信号のアイテム間の距離測定を行うステップと、
    特定の基準を用いて、参照用のアイテムから特定の距離内にあるオーディオ信号のアイテムが同様のリズムを有するものと判定するステップとを有する類似関係判定方法。
12. 上記参照用のオーディオ信号との類似性に基づいてオーディオ信号のアイテムを選択するステップを有する請求項１１記載の類似関係判定方法。
13. 上記リズム構造を定義するステップは、各タイムシリーズが与えられた打撃音の時間的ピークを表すものと定義するステップを有することを特徴とする請求項５乃至１２いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
14. 上記入力信号を処理するステップは、該入力信号に対するピーク抽出処理を実行するステップを有することを特徴とする請求項１乃至１３いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
15. 上記ピーク抽出処理を実行するステップは、信号を高調波音と雑音として分析することによりピークを抽出するステップを有することを特徴とする請求項１４記載のリズム構造抽出方法又は類似関係判定方法。
16. 上記入力信号を処理するステップは、ピークフィルタリング処理を実行するステップを有することを特徴とする請求項１乃至１５いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
17. 上記ピークフィルタリング処理を実行するステップは、所定の閾値に達するまで、上記オーディオ信号における打撃音の発生を表すオンセットタイムシリーズを繰り返し抽出するステップを有することを特徴とする請求項１６記載のリズム構造抽出方法又は類似関係判定方法。
18. 上記ピークフィルタリング処理を実行するステップは、オーディオ信号と打撃音の相関関数値を算出する相関分析技術により、上記データベースに格納されている各打撃音と上記オーディオ信号とを比較するステップを有することを特徴とする請求項１６又は１７記載のリズム構造抽出方法又は類似関係判定方法。
19. 上記ピークフィルタリング処理を実行するステップは、所定の振幅閾値以下の相関関数値をフィルタリングして除去し、所定の時間閾値以下の発生時間を有するピークをフィルタリングして除去し、所定の質閾値以下の質を有するピークをフィルタリングして除去することにより、処理の結果得られた上記タイムシリーズのピークの質を評価して、ピーク位置ベクトル及びピーク値ベクトルを有するオンセットタイムシリーズを生成するステップを有することを特徴とする請求項１６乃至１８いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
20. 上記入力信号を処理するステップは、相関分析処理を実行するステップを有することを特徴とする請求項１乃至１９いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
21. 上記相関分析処理を実行するステップは、タイムシリーズの相関積を公式化するステップと、該相関積からテンポ値を選択するステップと、該テンポ値をスケーリングするステップとを有することを特徴とする請求項２０記載のリズム構造抽出方法又は類似関係判定方法。
22. 上記相関積を公式化するステップは、
    上記信号における２つの主要な打撃音のオンセットタイムシリーズを表す２つのタイムシリーズを入力情報として特定するステップと、
    上記入力されたタイムシリーズに含まれているリズム情報を削減した情報を表す数値の組を出力情報として生成するステップと、
    上記２つのタイムシリーズの相関積を算出するステップとを有する請求項２１記載のリズム構造抽出方法又は類似関係判定方法。
23. 上記テンポ値を選択するステップは、上記信号における顕著な期間を表すテンポ値を選択するステップを有することを特徴とする請求項２１又は２２記載のリズム構造抽出方法又は類似関係判定方法。
24. 上記テンポ値を選択するステップは、上記相関積からテンポ値を抽出するステップを有し、上記顕著な期間は所定の範囲内から選択されることを特徴とする請求項２３記載のリズム構造抽出方法又は類似関係判定方法。
25. 上記テンポ値をスケーリングするステップは、
    上記テンポ値及び振幅の値に基づいて上記タイムシリーズをスケーリングし、新たな正規化されたタイムシリーズの組を生成するステップと、
    上記相関積をトリミング及び削減し、上記所定の範囲内に含まれる正規化された各相関積に対応する値を残すステップとを有する請求項２１乃至２４いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
26. 上記テンポ値をスケーリングするステップは、上記タイムシリーズを上記相関積によりスケーリングするステップを有することを特徴とする請求項２５記載のリズム構造抽出方法又は類似関係判定方法。
27. 上記距離の測定値を算出するステップは、上記オーディオ信号の各アイテムに対するリズムの内部表現に基づいて該オーディオ信号２つのアイテムを算出し、上記相関積から算出されたデータを単純な数値に削減するステップを有することを特徴とする請求項１１乃至２６いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
28. 上記距離の測定値を算出するステップは、それぞれがフィルタにおけるタイムシリーズの貢献を表す係数の組として上記各タイムシリーズの構造の表現を算出するステップと、各フィルタによりタイムシリーズをフィルタリングし、上記リズムを表す所定の数値を生成するステップとを実行することにより上記リズムの内部表現を構築することを特徴とする請求項２７記載のリズム構造抽出方法又は類似関係判定方法。
29. 上記距離の測定値を算出するステップは、上記リズムを表現する所定の数値により各信号を表現するステップと、２つの信号間について上記距離の測定値を算出するステップとを有することを特徴とする請求項２７又は２８記載のリズム構造抽出方法又は類似関係判定方法。
30. 上記オーディオ信号のアイテムは、楽曲であり、上記オーディオ信号は、音楽オーディオ信号であることを特徴とする請求項１乃至２９記載のリズム構造抽出方法又は類似関係判定方法。
31. 上記データベースに含まれる打撃音は、打楽器により発生された音に基づくオーディオ信号であることを特徴とする請求項１乃至３０いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
32. 上記２つの信号は、それぞれバスドラムとスネアドラムの音を表していることを特徴とする請求項２２乃至３１いずれか１項記載のリズム構造抽出方法又は類似関係判定方法。
33. 汎用コンピュータと周辺装置とを備え、請求項１乃至３２いずれか１項記載のリズム構造抽出方法又は類似関係判定方法を実現するようプログラミングされたリズム構造抽出装置又は類似関係判定装置。
34. 汎用コンピュータの内部メモリにロードされ、該汎用コンピュータに請求項１乃至３２いずれか１項記載のリズム構造抽出方法又は類似関係判定方法を実行させるコンピュータプログラム製品。

Images