JP2004531758A - 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間信号を参照する方法及びその装置 - Google Patents

Abstract

時間信号から信号識別子を抽出する方法において、信号端は、特定化された仮の波長を有し、時間信号の信号端の仮の発生を検出する（１２）。また、２つの選択された、検出された信号端との間の間隔を決定する（１４）。決定された仮の間隔から、周波数値を計算（１６）し、当該周波数値と当該周波数値が発生する時間との座標組を得るために、上記周波数値と、上記時間信号における上記周波数値が発生する時間とを関連付ける。信号識別子が、上記時間信号の仮の形態を反映した信号識別子値の数列を含むことにより、各々の座標組が周波数値と発生時間とを含む、複数の座標組から信号識別子を作成する（１８）。抽出された信号識別子は、時間信号の信号端に基づいており、時間信号の仮の形態を再生する。したがって、信号識別子は時間信号の特徴を有する一方、時間信号の変化に対し頑強である。

Description

【０００１】
本発明は、調和成分(harmonic portion)を有する時間信号(time signal)の処理に関し、特に、複数の信号識別子が、複数の時間信号として蓄積されているデータベース手段により、時間信号を書き込む(describe)ことができるように、時間信号から信号識別子を作成することに関する。
【０００２】
例えば音声データといった調和成分を有する時間信号を識別でき、かつ、参照することができる手段による考え方(concept)は、多くに使用者に対して使いやすいということである。特に、題名及び作者が不明な音声信号が存在する状況(situation)では、それぞれの歌が由来する人を調べることが望ましい。また、例えば、問題となっている演奏者のＣＤを得たい場合、上述の必要性が生じる。現在の音声信号が、演奏者、音楽会社(music publisher)等の名前を含まず、時間信号のみを含む場合、音声信号の由来、もしくは、歌が由来する人または法人(institution)を識別することは不可能である。作者、または、好みの歌を得るために、音声信号を購入した情報源(source)に関して、参照データを含んでいるので、再度、音声要素を聞くことだけが期待できる。
【０００３】
検索エンジンについては、文字データ(textual data)を分配する(deal)方法のみが知られているので、インターネット上での検索機を用いて、音声データを検索できない。音声信号、より一般的な会話(speaking)、または、調和成分を有する時間信号は、文字検索識別を含んでいない場合、上述の検索エンジンにより処理されないかもしれない。
【０００４】
音声ファイルの実際のストックは、数千の蓄積された音声ファイルから、最大数十万の音声ファイルで構成されている。音楽データベース情報は、中央のインターネットサーバーに蓄積され、インターネットを介して、潜在的な検索エンジンを作用するかもしれない。また、近年のハードディスク容量に伴い、使用者のローカルハードディスクのシステムにこれらの中央音楽データベースを持つことが実現可能になった。音声ファイル（参照データは不明であるが、音声ファイル事態が知られている）についての参照データを得るために、上述の音楽データベースを（Ｗｅｂで）閲覧できる(browse)ことが望ましい。
【０００５】
さらに、例えば、類似要素を調べることができるような基準を用いて、音楽データベースを（Ｗｅｂで）閲覧できることが同様に望ましい。類似要素としては、例えば、類似した旋律、類似の法人、単調な類似の音（例えば、海の音、鳥の鳴き声、男性の声、女性の声等）を有する要素が挙げられる。
【０００６】
米国特許番号５，９１８，２２３には、音声情報について、内容に基づいた分析、貯蓄、検索(retrieval)、及び、分断(segmentation)の方法及びその装置が開示されている。この方法は、音声信号から音響特性を抽出することに基づいている。評価する(measure)ものとしては、音量、低音(bass)、間隔、鮮明さ(brightness)、及び、定期的な間隔での特定の波長の時間窓(time window)の、Ｍｅｌ周波数に基づいたケプストラム係数(Cepstral coefficient)が挙げられる。各組の評価データは、一連の評価された特性ベクトルからなる。それぞれの特性から計算された、完全な一組の特性数列(feature sequence)により、それぞれの音声ファイルを特定化する。さらに、特性ベクトルのそれぞれの数列から、１次微分(first derivation)を計算する。この一組の値は、Ｎベクトル、すなわちｎ成分のベクトルとして蓄積される。それぞれの音声ファイルについてＮベクトルを導き出すために、複数の音声ファイルに対して上記の処理を適用する。そうすることで、データベースは、複数のＮベクトルから、徐々に構築される。このとき、同様の処理を用いて、不明の音声ファイルから検索Ｎベクトルを抽出する。検索照会で、特定化されたＮベクトルの距離、及び、データベースに蓄積されたＮベクトルか決定される。最終的に、検索Ｎベクトルから最小距離にあるベクトルが、出力される。上記Ｎベクトル出力は、その音声ファイルに関する、作者、題名、供給源等のデータを有している。このため、その由来に関して、音声ファイルを識別するかもしれない。
【０００７】
上記の方法の欠点をしては、いくつかの特性を計算し、特徴的な量を計算するために、任意の経験則(arbitrary heuristic)を導入するかもしれないことが挙げられる。一つの音声ファイル全体の全ての特性ベクトルについて、平均値及び標準偏差を計算することにより、特性ベクトルの仮の形態より得られた情報が、いくらかの特性量に減少する。これにより、高い情報の欠損が生じる。
【０００８】
本発明の目的は、極めて高い情報の欠損なしに、時間信号の意味ある識別を可能にする、時間信号から信号識別子を抽出する方法及びその装置を提供することにある。
【０００９】
上記目的は、請求項１で請求された時間信号から信号識別子を抽出する方法、または、請求項１９で請求された時間信号から信号識別子を抽出する装置により、達成される。
【００１０】
本発明のさらなる目的は、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間信号を参照する方法及びその装置を提供することにある。
【００１１】
上記目的は、請求項１３で請求されたデータベースを作成する方法、請求項２０で請求されたデータベースを作成する装置、請求項１４で請求された検索時間信号を参照する方法、または、請求項２１で請求された検索時間信号を参照する装置により、達成される。
【００１２】
本願発明は、以下の知見に基づいている。すなわち、調和成分を有する時間信号において、時間信号から、当該時間信号の識別子を抽出するために、この信号の仮の形態を用いて、この信号識別子は、上記時間信号に関して良好な指紋(fingerprint)を提供する。その一方で、この信号識別子は、そのデータ容量に関して管理しやすく、データベース上の複数の信号識別子を通して、効率的な検索を可能にする。調和成分を有する時間信号の必須な性質(property)は、上記時間信号で信号端(signal edge)を循環すること(recurring)である。ここでは、例えば同一の、かつ／または、類似した波長を有する２つの連続的な信号端により、持続期間(duration of a period)、及び、時間と周波数とに関して高度に分離した時間信号の周波数の提示が可能になる（信号端自体の存在だけでなく、時間信号における信号端の仮の発生も考慮に入れた場合）。そして、上記時間信号は、仕官における周波数の連続からなることから、時間信号の書き込み(description)を得ることができる。一例として音声信号を用いることにより、音（周波数）が時間のある点に存在し、そして、時間の後の点で、この音（周波数）の次にもう一つの音（周波数）が続くというように、上記音声信号が特徴付けられる。
【００１３】
本発明によれば、仮のサンプル(sample)の数列による時間信号の書き込みから、周波数、及び、この周波数で発生する時間の座標組による時間信号の書き込みへと転送が成される。この実施例によれば、信号識別子、または、言い換えれば、時間信号の書き込みに用いる特性ベクトル（ｆｖ）は、おおよそ、多かれ少なかれ、時間信号の仮の形態を反映する信号識別子の値の数列を含んでいる。したがって、上記時間信号は、従来技術のようなスペクトル特性ではなく、時間信号の周波数の仮の数列により特徴付けられる。
【００１４】
検出された信号端から、周波数の値を計算するためには、少なくとも２つの検出された信号端が必要である。検出された全ての信号端から、これら２つの信号端の選択は、どの周波数値を計算するかで、多種多様になる。まず、同一の波長を必須に有する連続した２つの信号端を用いてもよい。このとき、周波数値は、これらの端の仮の間隔の逆数(reciprocal)である。また、検出された信号端の振幅により、選択がなされてもよい。つまり、周波数値を決定するために、同一振幅の２つの連続した信号端を用いてもよい。しかしながら、必ずしも２つの連続した信号端を用いるのではなく、例えば、同一の振幅または波長を有する第２、第３、第４…の信号端を用いてもよい。なお、最後に、統計的な方法を用いて、重ね合わせの法則(superposition laws)に基づき、上記座標組を得るために、いかなる２つの信号端を用いてもよい。フルートの例として、フルートから由来する(issued)音色は、高い振幅を有する２つの信号端を提供し、その端の間で、より小さな振幅を有する波形の頂点(wavecrest)が存在することが記載されている。フルートの基本的な音色を決定するために、例えば、振幅により、２つの検出された信号端を選択してもよい。
【００１５】
音声信号の必須要素(essence)は、非常に仮の音色の数列であり、この数列は、音楽信号で、最も簡潔な方法でみられるので、特に、音声信号において、音色の仮の数列は、特徴付けるのに最も自然な形態である。聞き手が音楽信号から得る、最も直接的な認識は、上記の仮の音色の数列である。クラシック音楽において、一つの演奏(work)は、異なる変化の演奏全体を通して、様々に作業する(running)特定のテーマの周りで常に構築されているが、このクラシック音楽だけでなく、人気の歌または他の最新音楽の中にも、記憶に残る(catchy)音色がある。この音色は、一般に、単純な音色の数列、テーマ、または、単純な音色からなる。そして、この音色は、リズム、間隔、用いてもよい楽器随伴物(instrument accompaniment)等の、それぞれの認知度により作られていることが必須である。
【００１６】
本発明の概念は、上述の知見に基づき、信号識別子を提供する。この信号識別子は、周波数の仮の数列からなる、もしくは、実施形態に応じて、統計的な方法により、周波数（音色）の仮の数列に由来する。
【００１７】
本発明の有利な点としては、以下の点が挙げられる。すなわち、周波数の仮の数列としての信号識別子は、調和成分を有する時間信号に関して、広範囲の情報内容の指紋を表わしており、そのため、時間信号の要点、または、核心を具体化する。
【００１８】
本発明のもう一つの有利な点としては、以下の点が挙げられる。すなわち、本発明により抽出された信号識別子は、時間信号における発音の圧縮(pronounced compression)を表わすが、時間信号の仮の形態に依存する。このため、この信号識別子は、時間信号（すなわち、音楽成分）が自然に認識されるように調整される。
【００１９】
本発明のもう一つの有利な点としては、以下の点が挙げられる。すなわち、信号識別子の逐次的な性質(sequential nature)によって、従来技術のように、アルゴリズムを参照する距離計算をする必要がなく(leave behind)、データベース中の時間信号を参照するために、ＤＮＡ配列決定で知られているアルゴリズムを用いることができる。さらに、これに加えて、置換／挿入／欠損の操作を有する、ＤＮＡ配列決定アルゴリズムを用いることにより、類似した計算を行うことができる。
【００２０】
本発明のさらなる有利な点としては、以下の点が挙げられる。ホック変換(hough transformation)は、画像処理、及び、画像認識の分野で効率的なアルゴリズムである。所望の方法で、時間信号における信号端の仮の発生を検出するために、このホック変換を用いてもよい。
【００２１】
本発明のさらなる有利な点としては、以下の点が挙げられる。すなわち、本発明により抽出された、時間信号の信号識別子に関して、この信号識別子が全時間信号に由来するのか、時間信号の成分にのみ由来するのかは、無関係である。なぜなら、ＤＮＡ配列決定のアルゴリズムにより、参照信号識別子を有する検索信号識別子の、（時間に関して、順次行なわれる）比較が実行されてのよいからである。上記比較が時間で逐次的であるため、実際には、識別される時間信号の成分は、参照時間信号を、自動的に識別される。この参照時間信号において、検索信号識別子と参照信号識別子との間で最も発音の適合(pronounced match)がある。
【００２２】
本発明の好ましい実施形態は、添付図面を参照にして、以下より詳細に説明されるであろう。
図１は、本発明にかかる時間信号から信号識別子を抽出する装置のブロック図である。
図２は、好ましい実施形態のブロック図であり、音声信号の前処理様態の図である。
図３は、信号識別子を作成する一実施形態のブロック図である。
図４は、本発明にかかるデータベースを作成し、上記データベース中の検索時間信号を参照する装置のブロック図である。
図５は、周波数−時間座標組によるモーツアルトＫＶ５８１(Mozart KV 581)の抽出要素のグラフ図である。
【００２３】
図１は、本発明にかかる時間信号から信号識別子を抽出する装置のブロック図を示す。この装置は、信号端の検出を実行する手段１２、２つの選択された検出端(edge detected)の距離を決定する手段１４、周波数計算を行う手段１６、及び、当該周波数計算を行う手段１６からの座標組の出力を用いて、信号識別子を作成する手段１６を含んでいる。上記組は、それぞれ、周波数値、及び、この周波数値が発生する時間を有している。
【００２４】
なお、以下、音声信号を時間信号として参照する。しかしながら、時間信号識別子は、時間信号が、周波数の仮の数列（音声信号の一例としては、音色）からなるという事実に基づいているので、本発明の概念は、音声信号だけでなく、調和成分を有するいかなる時間信号にも適合するものとする。
【００２５】
時間信号における信号端の仮の発生を検出する手段１２は、ホック変換を実行していることが好ましい。
【００２６】
ポール Ｖ．Ｃ．ホック(Paul V. C. Hough) による米国特許番号３，０６９，６５４に、ホック変換について記載されている。ホック変換は、複合構造(complex structure)、特に、写真、または、他の写真表示において、複合線(complex line)を自動的に識別するのに用いられる。ホック変換は、一般的に、画像内に特定形状を有する特性を抽出するために用いられる技術である。
【００２７】
本発明にかかるその適用では、時間信号から特定化された仮の波長を有する信号端を抽出するために、ホック変換を用いる。信号端は、初めに、その仮の波長で、特定化される。理想的な湾曲波形の場合、信号端は、０°から９０°までのサイン関数の立ち上がり(rising edge)により定義されている。また、信号端は、−９０°から＋９０°までのサイン関数の上部分(rise)により、特定化される。
【００２８】
上記時間信号が、仮のサンプルの数列として存在している場合、サンプルと共に生成するサンプリング周波数を考慮に入れると、信号端の仮の波長は、サンプルのある番号に対応する。したがって、上記信号端が構成しようとする(intend to)サンプルの番号を提示することにより、信号端の波長を容易く特定化するかもしれない。
【００２９】
さらに、同一の、安定で、かつ、第１に単調な形態を有するものである場合、すなわち、正の信号端であれば、第１の単調な上昇形態(rising form)を有している場合にのみ、信号端として信号端を検出することが好ましい。負の信号端、すなわち、単調に降下する信号端である場合にもまた、検出してもよい。
【００３０】
信号端を分類する、さらなる基準としては、信号端が、ある一定のレベル範囲を超えた場合にのみ、信号端を信号端として検出することが挙げられる。ノイズ障害を無効にするために、信号端の最小レベル範囲、または、振幅範囲を特定することが好ましい。そうすることで、単調に上昇する信号端が上記のレベル範囲の手前で(short of)降下しても、信号端として検出されることは無い。
【００３１】
本発明の好ましい実施形態によれば、音声信号を参照するために、特定された仮の波長が、最小カットオフ波長よりも大きく、かつ、最小カットオフの仮の波長よりも小さくなる信号端のみを検索する効果が成されるように、さらなる制約(restriction)が掛かる。言い換えれば、このことは、上部カットオフ周波数よりも低く、下部カットオフ周波数よりも高い周波数を示す、信号端を検出することを意味する。音楽成分において、２７．５Ｈｚ（音色Ａ２）から４，１８６Ｈｚ（音色ｃ５）までの周波数範囲の周波数を示す信号端を検出することが好ましい。ピアノから得られる音色は、共通して、上記の周波数範囲を超える。この音色の範囲は、音楽成分の信号識別子として十分であることは証明されている。
【００３２】
上記信号端検出装置(unit)１２は、信号端、及び、当該信号端の発生時間を提供する。ここでは、信号端が同等に処理されている間、上記信号端の信号発生時間として得られる時間が、信号端の第１サンプル時間、信号端の最終サンプル時間、または、信号端内の何れの他のサンプル時間であるかどうかは、関連性がない。
【００３３】
手段１４は、２つの連続した信号端間の仮の間隔を決定する。これらの信号端の仮の波長は、所定の許容値(tolerance value)を除いて、等しい。上記手段１４は、手段１２による信号端出力を検査し、ある特定された許容値の範囲内で、同一、または、基本的に同一である、２つの連続した信号端を抽出する。単純なサイン音色(sine tone)を検討する場合、２つの連続した仮の間隔、例えば正の、同一の１／４波長により、サイン音色の周期(period)が得られる。このことは、手段１６が決定された仮の間隔から周波数値を計算する基本を提供する。
【００３４】
上記の処理を用いて、時間信号の表示は、時間に関して、高分解能で(with high resolution)提供されていてもよい。それと同時に、上記時間信号で起きている周波数を提示することにより、及び、上記周波数に対応する発生時間を提示することにより、周波数に関して、高分解能で(with high resolution)提供されていてもよい。手段１６による周波数計算の結果を、グラフで表わした場合、図５にかかる図が得られる。
【００３５】
図５は、ウォルフガング アマデウス モーツアルトによる、クラリネット五重奏Ａメジャー、ラルゲット(larghetto)の楽章ＫＶ５８１における、約１３秒の波長の抽出を示している。そして、この抽出は、周波数計算を行う手段１６の出力で表わしている。この抽出において、主な音色の独奏部分を演奏するクラリネット、及び、それに伴う弦楽四重奏が存在する。手段１６により周波数計算を行い生成した結果が、図５に示す座標組である。
【００３６】
最後に、手段１８は、信号識別子を作成するために用いられる。手段１６の結果から、この信号識別子は、信号識別子データベースに、有利で、かつ、適したものになる。上記信号識別子は、一般的に、複数の座標組から生成される。それぞれの座標組は、周波数値と、上記信号識別子が、上記時間信号の仮の形態を反映する信号識別子の数列を含むような発生時間とを含んでいる。
【００３７】
後述するように、手段１８は、図５の周波数−時間の図から、必須の情報を抽出するのに用いられる。この図５は、上記時間信号の指紋を作成するために、手段１６により生成される。上記指紋は、簡潔である一方、十分に正確な方法で、他の時間信号と上記時間信号とを区別することができる。
【００３８】
図２は、本発明の好ましい実施形態に係る、信号識別子を抽出する本発明の装置を示している。時間信号として、音声ファイル２０は、音声Ｉ／Ｏ処理機(audio I/O handler)に入力される。上記音声Ｉ／Ｏ処理機としては、例えば、ハードディスクから音声ファイルを読み取るものが挙げられる。音声データストリームは、サウンドカードから直接読み込まれてもよい。音声データストリーム部分を読み込んだ後、手段２２は、音声ファイルを再び投入する(re-close)。そして、手段２２は、処理する次の音声ファイルを取り込む、もしくは、読み込み操作を終了する。例えばＣＤから得られる、ＰＣＭ（ＰＣＭ＝変調されたパルスコード）サンプルの数列は、音声信号の前処理を行う手段２４に入力される。手段２４は、必要に応じて、サンプル速度の変換を実行するのに用いられる一方で、音声信号の容量改変(volume modification)を達成するのに用いられる。音声信号は、異なる媒体で、異なるサンプリング周波数で、存在する。既に説明したように、音声信号の信号端の発生時間は、音声信号を読み込むために用いられる。しかしながら、そのためには、信号端の発生時間を正確に検出するために、さらに、周波数値を正確に検出するために、サンプリング速度を把握しておかなければならない。また、異なるサンプル速度の音声信号を、同一のサンプル速度の音声信号にするような、相殺(decimation)、または、内挿(interpolation)手段により、サンプル速度変換を実行してもよい。
【００３９】
本発明の好ましい実施形態は、いくつかのサンプル速度に対して適しているようにしている。そのために、本発明の好ましい実施形態では、手段２４は、サンプル速度の調整を実行ができるように、備えられている。
【００４０】
また、ＰＣＭサンプルは、手段２４内で成された自動レベル調整の対象になる。手段２４内では、音声信号の平均信号能力(mean signal power)は、前方の緩衝器(a look-ahead buffer)での自動レベル調整で決定される。２つの最小信号能力の間に存在する音声信号成分(audio signal portion)は、ある倍率で増幅される(multiplied)。この倍率は、重み係数、及び、フルスケール偏差の指数、並びに、区分内の最小レベルにより得られる。上記前方の緩衝器の波長は、変化してもよい。
【００４１】
次に、このように前処理された音声信号は、手段１２に送り込まれる。手段１２は、図１を参照にして説明したように、信号端の検出を実行する。この検出のために、ホック変換を用いることが好ましい。回路技術に関してのホック変換の実現は、ＷＯ９９／２６１６７に開示されている。
【００４２】
ホック変換により決定された信号端の振幅、及び、信号端の検出時間は、図１の手段１４で処理される。この装置内では、２つの連続した検出時間は、相互の周波数値と仮定される発生時間から、それぞれ差し引かれている。この作業は、図１の手段１６により実行され、音楽成分が処理されている場合、図５の周波数−時間図のようになる。この図５では、モーツアルト カッヘル要覧より得られた、周波数／時間の座標組がプロットされている。
【００４３】
本発明によれば、上記座標組の仮の数列は、時間信号の仮の形態を反映しているので、図５の表示は、時間信号の信号識別子として用いられている。
【００４４】
しかしながら、一実施形態では、信号を参照するために、図５の周波数−時間図から、小さいができる限り意味のある時間信号の指紋を提供する、必須情報を抽出するために、後処理を実行することが好ましい。
【００４５】
最後に、信号識別子生成手段１８は、図３に示すように、構成されていてもよい。手段１８は、クラスター領域を決定する手段１８ａ、グループ化する手段１８ｂ、グループを平均化する手段１８ｃ、間隔を決定する手段１８ｄ、量子化する手段１８ｅ、最後に、時間信号の信号識別子を得る手段１８ｆに細分化される。
【００４６】
図５に見られるように、特徴的な分布点の雲（クラスターとする）は、クラスター領域を決定する手段１８ａで、精緻化される(elaborated)。この精緻化は、最も近い空間的な隣接からの所定の最小距離を越えた、全単離周波数−時間組を除外することにより成される。このように単離された周波数−時間組としては、例えば、図５の上左側のドットが挙げられる。これは、ピッチ輪郭ストライプバンドと呼ばれており、図５の参照符号５０で示されている。このピッチ輪郭ストライプバンドは、ある周波数幅、及び、波長のクラスターからなり、演奏された音色により、このクラスターを引き起こすことができる。これらの音色は、図５（５２）の縦軸に交差する垂直線によって示されている。図５で示されている例としては、与えられた数列の約６〜１０秒の間の範囲で起きている、ｈ１、ｃ２、ｃｉｓ２、ｄ２、及び、ｈ１が挙げられる。音色ａ１は、４４０Ｈｚの周波数を有している。音色ｈ１は、４９４Ｈｚの周波数を有している。音色ｃ２は、５２３Ｈｚの周波数を有している。音色ｃｉｓ２は、５５４Ｈｚの周波数を有している。これに対し、音色ｄ２は、５８７Ｈｚの周波数を有している。
【００４７】
多声音では、結果として、ストライプバンドがより広くなる。単一音色での上記ストライプ幅は、単一音色を作成する音楽楽器の震動に依存する。
【００４８】
グループ化する、または、ブロックをつくる手段１８ｂでは、処理ブロックをつくり、分離して処理するために、ピッチ輪郭ストライプの座標組は、ｎサンプルの時間窓のバンドと組み合わせられる、または、グループ化される。ブロックサイズを、等距離で、または、変化させて選択してもよい。信号識別子から得られる、精度及び記憶スペースに応じて、相対コース細分(relatively course subdivision)を選択してもよい。例えば、１／２ラスターが挙げられる。この１／２ラスターは、現サンプリング速度を介した、ブロック、または、より小さな細分当たりの、ある一定のサンプル数に対応する。音楽成分に関して、音符の様態の根本的な表記を考慮するために、ラスターは、当該ラスターに１つの音色が入るように、選択されるであろう。最終的に、音色の波長を見積もる必要がある。これは、図５に模写した多項式の適合関数(fit function)５４により可能になる。このとき、上記多項式における２つの局部極値間の仮の間隔により、グループ、または、ブロックを決定する。特に、比較的多声成分の場合、上述の処理は、６秒と１２秒との間で起きるような、比較的大きなサンプルのグループを提供する。これに対して、図５の２秒、または、１２秒のように、座標組が大きい周波数範囲を超えて分配されているような、音楽成分の比較的多声間隔の場合、より小さなグループが選択される。そして、ブロックを厳格に形成するときよりも、情報の圧縮が小さくなる。
【００４９】
ブロック１８ｃは、サンプルのグループを平均化する。このブロック１８ｃで、要求されるときに、ブロックに存在する全座標組の重量平均値が決定される。上記の好ましい実施形態では、上記ピッチ輪郭ストライプバンド外の組は、前もって、既に除外されている。しかしながら、上述の除外はなくてもよい。そして、これにより、手段１６により計算された全座標組が、手段１８ｃにより実行される平均化で考慮される。
【００５０】
手段１８ｄは、間隔を決定する。この手段１８ｄで、サンプルの次のグループ（時間で継続的なサンプルのグループ）の中央を決定するために、ジャンプ幅(jumping width)を決定する。
【００５１】
なお、手段１８ｃでは、算数の、幾何学的な、または、メジアン平均を実行してもよい。
【００５２】
量子化器１８ｅでは、手段１８ｃにより計算された値が、非等距離ラスター値に量子化される。音楽成分の場合、音色−周波数スケールの細分に基づくことが好ましい。これにより、音色−周波数スケールは、既に説明したように、８８の音色レベルを含み、２７．５Ｈｚ（音色Ａ２）から４，１８６Ｈｚ（音色ｃ５）に至るピアノに共通する周波数範囲に応じて細分化される。手段１８ｃの出力で平均化し存在する値が、２つの隣接する半音の間である場合、最も近い参照音色の値を平均値とする。
【００５３】
結果として、量子化する手段１８ｅの出力で、量子化された値の数列が徐々にできる。そして、その値は、信号識別子の形態を組み合わせる。必要なときには、手段１８ｆにより、上記量子化された値を後処理してもよい。手段１８ｆにおいて、後処理としては、例えば、ピッチの補正(a correction of the pitch offset)、異なる音色スケールへの転換(transposition)等が挙げられる。
【００５４】
次に、参照は、図４により成される。図４は、データベース４０の検索時間信号を参照する装置の概略を示す。このデータベース４０は、複数のデータベースの信号識別子を構成している。このデータベース４０には、好ましくは、データベース４０とは別に、ライブラリー４２で時間信号のトラック１〜トラックｍが蓄積されている。
【００５５】
データベース４０を用いて、時間信号を参照するために、このデータベースは、最初に充填されて(fill)いなければならない。これは、「学習」モードにより達成されるかもしれない。最終的に、音声ファイル４１は、順に、ベクトル生成器４３へ取り込まれる。このベクトル生成器４３は、それぞれの音声ファイルの参照識別子を構成しており、例えばライブラリー４２で、どの音声ファイルが、どの信号識別子に属するのかを認識するように、データベースで参照識別子を蓄積する。
【００５６】
図４に示す関連によれば、信号識別子ＭＶ１１、…ＭＶ１ｎは、時間信号トラック１に対応する。信号識別子ＭＶ２１、…ＭＶ２ｎは、時間信号トラック２に属する。最終的に、信号識別子ＭＶｍ１、…ＭＶｍｎは、時間信号トラックｍに対応する。
【００５７】
ベクトル生成器４３は、一般的に、図１に示した関数を実行することにより、実施される。そして、好ましい実施形態によれば、図２及び３に示した関数を実行することによっても、実施される。「学習」モードにおいて、データベース中に時間信号の信号識別子を蓄積する（データベースを満たす）ために、ベクトル生成器４３は、異なる音声ファイル（トラック１〜トラックｍ）を、順に処理する。
【００５８】
「検索」モードでは、音声ファイル４１がデータベース４０を用いて参照される。最終的に、検索識別子４５を生成するベクトル生成器４３により、検索時間信号４１が処理される。検索識別子４５は、ＤＮＡシークエンサー４６に取り込まれる。そして、データベース４０中で参照識別子と比較することが可能になる。上記ＤＮＡシークエンサー４６は、さらに、複数のデータベースに関して、検索時間信号についての記述をライブラリー４２からの時間信号にするように整える。検索識別子４５を用いて、ＤＮＡシークエンサーは、適合する参照識別子を、データベース４０から検索し、ポインタを、ライブラリー４２の代表的な音声ファイルに転送する。これにより、音声ファイルは、参照識別子と関連性が生まれる。
【００５９】
そして、ＤＮＡシークエンサー４６は、データベースの参照識別子に関して、検索識別子４５、または、その一部分の比較を実行する。特定化された数列、または、部分的な数列が存在する場合、関連する時間信号は、ライブラリー４２で参照される。
【００６０】
ＤＮＡシークエンサー４６は、ボイヤー−モーレ(Boyer-Moore)−アルゴリズムを実行することが好ましい。このアルゴリズムは、例えば専門書「文字列、階層、及び、数列のアルゴリズム」（ダン ガスフィールド カンベルク大学出版、１９９７）に記載されている。第１の代替案に応じて、正確な適合を検査することが好ましい。さらに記述にするということは、上記検索時間信号が、ライブラリー４２の時間信号と一致することを意味する。また、さらに、置換／挿入／削除の操作、及び、ピッチ補正を用いて２つの数列の類似性を試験してもよい。
【００６１】
データベース４０は、信号識別子の連鎖になるように、構成されていることが好ましい。時間信号ファイル境界を介して検索を持続しないように、時間信号の各ベクトル信号識別子の末端は、分離器(separator)により特定化される。いくつかの適合が成されると、参照された時間信号が、全て提示される。
【００６２】
置換／挿入／削除の操作を通して、類似性の測定は、導入されてもよい。そして、類似特定化測定に関して、検索時間信号４１と最も類似性のある、時間信号が、ライブラリー４２に参照される。ライブラリー中のいくつかの信号で、検索音声信号の類似性測定を決定することが更に好ましい。そして、ライブラリー４２で、ｎ個の最類似成分を、降順に出力することが好ましい。
【図面の簡単な説明】
【００６３】
【図１】図１は、本発明にかかる時間信号から信号識別子を抽出する装置のブロック図である。
【図２】図２は、好ましい実施形態のブロック図であり、音声信号の前処理様態の図である。
【図３】図３は、信号識別子を作成する一実施形態のブロック図である。
【図４】図４は、本発明にかかるデータベースを作成し、上記データベース中の検索時間信号を参照する装置のブロック図である。
【図５】図５は、周波数−時間座標組によるモーツアルトＫＶ５８１(Mozart KV 581)の抽出要素のグラフ図である。

Claims (22)

1. 調和成分を有する時間信号から信号識別子を抽出する方法であって、
   上記時間信号における信号端の仮の発生を検出する過程（１２）と、
   選択された２つの検出信号端の間の間隔を決定する過程（１４）と、
   上記の決定された仮の間隔から周波数値を計算（１６）し、当該周波数値と当該周波数値が発生する時間との座標組を得るために、上記周波数値と、上記時間信号における上記周波数値が発生する時間とを関連付ける過程と、
   信号識別子が、上記時間信号の仮の形態を反映した信号識別子値の数列を含むことにより、各々の座標組が周波数値と発生時間とを含む、複数の座標組から信号識別子を作成する（１８）過程とを含む方法。
2. 上記検出する過程（１２）において、信号フランクの特定化された仮の波長で、所定の振幅閾値よりも大きい振幅を有する、同一のものが存在する場合にのみ、上記信号フランクを信号フランクとして検出する請求項１に記載の方法。
3. 上記検出する過程（１２）において、信号フランクの特定化された仮の波長が、最小カットオフ波長よりも大きく、かつ、最大カットオフ波長よりも小さい場合にのみ、上記信号フランクを信号フランクとして検出する請求項１または２に記載の方法。
4. 上記時間信号が、音声信号であり、
   最大可聴カットオフ周波数により、最小カットオフ仮波長を特定化し、
   最小可聴カットオフ周波数により、最大カットオフ仮波長を特定化することを特徴とする請求項３に記載の方法。
5. 上記時間信号が、音声信号であり、
   楽器により生成される最大音色カットオフ周波数により、最小カットオフ仮波長を特定化し、
   楽器により生成される最小音色カットオフ周波数により、最大カットオフ仮波長を特定化することを特徴とする請求項３に記載の方法。
6. 上記信号識別子を生成する過程（１８）において、
   座標組のクラスターを決定するために、周波数−時間図で、隣接する座標組から所定の距離の閾値以上離れて配置された座標組を精緻化する過程（１８ａ）を含むことを特徴とする請求項１〜５の何れか１項に記載の方法。
7. 上記信号識別子を生成する過程（１８）において、
   連続した間隔で、座標組を、当該座標組のブロックにグループ化する過程（１８ｂ）を含むことを特徴とする請求項５または６に記載の方法。
8. 上記連続した間隔が、固定、及び／または、可変の波長を有することを特徴とする請求項７に記載の方法。
9. 上記信号識別子を生成する過程（１８）において、
   上記間隔での座標組の周波数値を平均化し、仮の間隔の数列に対して平均化された周波数値の数列を得て、上記平均化された周波数値の数列を特性ベクトルとして表わす平均化過程（１８ｃ）を含むことを特徴とする請求項７または８に記載の方法。
10. 上記信号識別子を生成する過程（１８）において、
    上記特性ベクトルを量子化し、量子化特性ベクトルを得る量子化過程（１８ｅ）を含むことを特徴とする請求項９に記載の方法。
11. 上記量子化する過程では、非等距離に分配されたラスター点を用いて実行し、音色−周波数スケールに応じて、隣接するラスター点の距離を決定することを特徴とする請求項１０に記載の方法。
12. 上記信号端を検出する過程（１８）において、ホック変換を用いることを特徴とする請求項１〜１１の何れか１項に記載の方法。
13. 複数の時間信号の参照信号識別子からデータベース（４０）を作成する方法であって、
    請求項１〜１２の何れか１項に記載の方法により、第１時間信号から第１信号識別子を抽出する過程と、
    請求項１〜１２の何れか１項に記載の方法により、第２時間信号から第２信号識別子を抽出する過程と、
    データベース（４０）に、抽出された第１信号識別子を、第１時間信号と関連付けて、蓄積する過程と、
    データベース（４０）に、抽出された第２信号識別子を、第２時間信号と関連付けて、蓄積する過程とを含む方法。
14. データベース時間信号を請求項１〜１２の何れか１項に記載の方法により決定し、複数のデータベース時間信号の参照信号識別子からなるデータベース（４０）を用いて、検索時間信号を参照する方法であって、
    少なくとも１つの検索時間信号を提供する（４１）過程と、
    データベース時間信号を請求項１〜１２の何れか１項に記載の方法により、検索時間信号から、検索信号識別子を抽出する（４３）過程と、
    複数の参照信号識別子と、上記検索信号識別子とを比較（４６）し、当該比較に応答して、上記複数のデータベース時間信号に関して、検索時間信号についての記述を作成する過程とを含むことを特徴とする方法。
15. 上記記述を作成する過程において、上記検索信号識別子が、参照信号識別子の少なくとも１つの成分と適合している場合、参照時間信号として、検索時間信号を識別することを特徴とする請求項１４に記載の方法。
16. 上記記述を作成する過程において、再生操作により、上記検索時間信号、及び／または、少なくともデータベース信号識別子の成分を適合させている場合、検索時間信号とデータベース時間信号との類似性を定めることを特徴とする請求項１４に記載の方法。
17. 上記データベース信号識別子は、上記データベース時間信号の仮の形態を再生する、データベース信号識別子値の数列からなり、
    上記検索信号識別子は、上記検索時間信号の仮の形態を再生する、検索信号識別子値の数列からなり、
    上記データベース数列の波長は、上記検索数列の数列よりも長く、
    逐次的に、上記検索数列と上記データベース数列とを比較することを特徴とする請求項１４〜１６の何れか１項に記載の方法。
18. 上記検索数列と上記データベース数列とを比較する間に、上記検索時間信号と上記データベース時間信号との類似性を決定するために、上記検索、及び／または、上記データベース信号識別子の少なくとも１つの値について、変換、挿入、または、削除操作を行うことにより、上記検索、及び／または、上記データベース信号識別子の補正を実行することを特徴とする請求項１７に記載の方法。
19. 上記比較する（４６）過程は、ＤＮＡ配列決定アルゴリズム、及び／または、ボイヤー−モーレアルゴリズムを用いて、実行されることを特徴とする請求項１４〜１８の何れか１項に記載の方法。
20. 調和成分を有する時間信号から、信号識別子を抽出する装置であって、
    上記時間信号における信号端の仮の発生を検出する手段（１２）と、
    選択された２つの検出信号端の間の間隔を決定する手段（１４）と、
    上記の決定された仮の間隔から周波数値を計算（１６）し、当該周波数値と当該周波数値が発生する時間との座標組を得るために、上記周波数値と、上記時間信号における上記周波数値が発生する時間とを関連付ける手段と、
    信号識別子が、上記時間信号の仮の形態を反映した信号識別子値の数列を含むことにより、各々の座標組が周波数値と発生時間とを含む、複数の座標組から信号識別子を作成する（１８）手段とを備えた装置。
21. 複数の時間信号の参照信号識別子からデータベース（４０）を作成する装置であって、
    請求項１〜１２の何れか１項に記載の方法により、第１時間信号から第１信号識別子を抽出する手段と、
    請求項１〜１２の何れか１項に記載の方法により、第２時間信号から第２信号識別子を抽出する手段と、
    データベース（４０）に、抽出された第１信号識別子を、第１時間信号と関連付けて、蓄積する手段と、
    データベース（４０）に、抽出された第２信号識別子を、第２時間信号と関連付けて、蓄積する手段とを備えた装置。
22. データベース時間信号を請求項１〜１２の何れか１項に記載の方法により決定し、複数のデータベース時間信号の参照信号識別子からなるデータベース（４０）を用いて、検索時間信号を参照する装置であって、
    少なくとも１つの検索時間信号を提供する（４１）手段と、
    データベース時間信号を請求項１〜１２の何れか１項に記載の方法により、検索時間信号から、検索信号識別子を抽出する（４３）手段と、
    複数の参照信号識別子と、上記検索信号識別子とを比較（４６）し、当該比較に応答して、上記複数のデータベース時間信号に関して、検索時間信号についての記述を作成する手段とを備えた装置。