JP2004534274A

JP2004534274A - 内容ベースのマルチメディア情報検索で使用するためデジタル表示で音楽情報を表示する方法およびシステム

Info

Publication number: JP2004534274A
Application number: JP2003511140A
Authority: JP
Inventors: シュ、チャンシェン; ジュ、ヨンウェイ
Original assignee: インスティチュート・フォー・インフォコム・リサーチ
Priority date: 2001-03-23
Filing date: 2001-03-23
Publication date: 2004-11-11
Also published as: TW513641B; US20040093354A1; WO2003005242A1

Abstract

本発明は内容ベースのオーディオ／音楽検索およびその他の内容ベースのマルチメディア情報検索に関する。１つの特徴では、本発明は内容ベースの情報のインデックス化と検索で使用するのに適したデジタル表示でオーディオ／音楽情報を表す方法を提供し、これはオーディオ／音楽の少なくとも１つの特性の最大値および最小値にそれぞれ対応する１組のピークとバレーを含んでいる第１の表示を決定し、ピークとバレー間の相対的な差を表す値を含んでいる第２の表示を決定するステップを含んでいる。本発明は内容ベースの音楽検索のための方法およびシステムを与える。音楽スコアデータベースは実際の音楽の歌の特有の表示を行うように構成されている。スコアキーワードは音楽の歌の特徴として音楽スコアから抽出される。本発明はハミングにより入力された問合わせを問合わせキーワードへ自動的に変換する方法も提供する。抽出された問合わせキーワードは関連する音楽の歌を検索するため音楽のスコアデータベース中の既存のスコアキーワードと一致される。音楽の歌と実際の音楽の歌の間に正確な対応が存在するので、検索の正確性は他の低レベルの特性ベースの音楽検索方法と比較して非常に改良される。
【選択図】図６ａ

Description

【技術分野】
【０００１】
本発明は、内容ベースのオーディオ／音楽検索、およびマルチメディア情報がオーディオ／音楽を含んでいる場合の他の内容ベースのマルチメディア情報の検索に関する。
【背景技術】
【０００２】
インターネットに関するコンピュータネットワークおよび技術の急速な進歩はデジタルマルチメディアのデータ集収の大きさを急激に増加している。効率的なブラウジング、サーチ、検索を可能にするためにこのような情報を効率的に組織する方法は過去数十年間、活発な研究分野であり、現在も続いている。種々の種類の内容ベースのイメージおよびビデオ検索方法は１９９０年代初期以来進歩している。正確性と速度は検索方法を評価するための２つの重要な指標性能である。内容ベースのイメージおよびビデオ検索と比較して、内容ベースのオーディオ検索、特に音楽の検索は、生のデジタルオーディオデータが名称、ファイルフォーマット、サンプリングレートのような最も未発達なフィールドが取付けられた特徴のないバイトの集合であり、これは内容ベースの検索を容易に可能にしないので特別な挑戦を与える。現在の内容ベースのオーディオ検索方法は内容ベースのイメージ検索と同一のアイディアにしたがう。第１に、特徴ベクトルはデータベース中のオーディオの音響の特徴を抽出することにより構成される。第２に、同じ特徴は問合わせから抽出される。最後に、データベースの関連するオーディオは問合わせとデータベースとの間の特徴の一致にしたがってランクされる。
【０００３】
米国特許第5,918,223 号明細書はデータファイルの内容に基づいてオーディオファイルの解析および比較を行うシステムを開示している。オーディオデータの解析によれば典型的にマルチメディアデータベースまたはワールドワイドウェブに記憶されている個々のオーディオファイル間の類似性を区分しランクするために使用されることのできる１組の数値（特徴ベクトル）が発生される。解析はまたユーザ規定クラスのメンバである１組のオーディオファイルの解析に基づいて、オーディオファイルのユーザ規定クラスの記述を容易にする。システムは１つの長い音内の音を発見することができ、オーディオ記録が自動的に一連の短いオーディオセグメントに分割されることを可能にする。
【０００４】
Stan Z. Liの“Content-based Classification and Retrieval of Audio Using the Nearest Line method ”と題する出版物（IEEE Transactions on Speech and Audio Processing 公認、1999年）は内容ベースのオーディオ区分および検索方法を開示している。これは最隣の特徴ライン（ＮＦＬ）と呼ばれる新しいパターンの区分方法に基づいている。ＮＦＬでは、１クラス当り多数のプロトタイプにより与えられる情報が探求されている。これは問合わせが各プロトタイプに個々に比較される最隣の近傍（ＮＮ）区分と対照的である。オーディオ表示に関して、知覚およびセプストラル特性とそれらの組合わせが考慮される。
【０００５】
J. Foot の“Content-based Retrieval of Music and Audio”と題する出版物（Proc. of SPIE 、3229巻、1997年、 138〜147 頁）はオーディオ特徴として１２メル周波数セプストラル係数（ＭＦＣＣ）とエネルギを使用する方法を開示する。ツリー構造のベクトル量子化装置は特徴ベクトル空間をディスクリートな数の領域または“ビン”に区画するために使用される。音のヒストグラム間のユークリッドまたはコサイン距離は比較され、区分はＮＮルールを使用して行われる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
既存の方法の１つの問題は、雑音が特徴の抽出のプロセスで誘発されるためこれらは満足できる検索の正確度を得ることができないと考えられることである。さらに従来技術の方法は特徴ベクトル空間が大きくなるならば時間がかかると考えられる。
【課題を解決するための手段】
【０００７】
１つの特徴では、本発明は内容ベースの情報のインデックス化と検索で使用するのに適したデジタル表示でオーディオ／音楽情報を表す方法を提供し、これはオーディオ／音楽の少なくとも１つの特性の最大値および最小値にそれぞれ対応する１組のピークおよびバレーを含んでいる第１の表示を決定し、ピークとバレーとの間の相対的な差を表す値を含んでいる第２の表示を決定するステップを含んでいる。
【０００８】
別の特徴では、本発明はオーディオ／音楽スコアデータベースを作成する方法を提供し、これはオーディオ／音楽スコアデータベースとオーディオ／音楽データベースとの間にリンクが設けられるように実際の音楽の歌を特有に表すためにオーディオ／音楽スコアを使用し、オーディオ／音楽スコアを表すために１組のデジタル値を含んでいる曲線を使用し、オーディオ／音楽スコアデータベースをインデックスするために曲線のピークとバレーを使用するステップを含んでいる。
【０００９】
さらに別の特徴では、本発明はオーディオ／音楽スコアをスコアキーワードに変換する方法を提供し、これは、ゼロの音調を除去するようにオーディオ／音楽音調を表す１組のデジタル値を含んでいるスコア曲線を予め処理し、スコア曲線のピークとバレーを検出し、各ピーク／バレーとバレー／ピーク対との間の距離を計算し、スコアキーワードとして機能するように基準点としてのピークおよびバレーと、ピークおよびバレーの音調ヒストグラムとを使用するステップを含んでいる。
【００１０】
さらに別の特徴では、本発明は前述の方法にしたがって動作する内容ベースの情報検索で使用するためのシステムを提供する。
【００１１】
本質的に、本発明は特徴的な相対差値を含むオーディオ／音楽情報の表示が内容ベースの音響／音楽情報を表示し、インデックスしおよび／または検索する比較的正確で迅速な手段を提供する認識から生まれている。これらの相対的な差値が比較的複雑ではない特徴表示を与えることも発見された。
【００１２】
好ましい実施形態では、本発明の方法はさらに第１の表示のヒストグラムを決定するステップを含んでいる。
【００１３】
好ましくは、第１の表示のヒストグラムは所定の時間インターバルにおけるピークまたはバレーのポピュレーションまたは継続時間の表示を含んでいる。
【００１４】
好ましくは、ピークの相対差値はピークのすぐ後のバレーの大きさと、ピークの大きさとの差により与えられ、バレーの相対差値はバレーのすぐ後のピークの大きさと、バレーの大きさとの差により与えられる。
【００１５】
別の好ましい実施形態では、本発明の方法は第２の表示のヒストグラムを決定するステップをさらに含んでいる。
【００１６】
好ましくは、オーディオ／音楽情報は音楽のスコアである。この実施形態では、本発明の方法は第１の表示を決定するステップを行う前に音楽スコアを予め処理するステップをさらに含んでおり、これは音楽スコアからゼロの音調を除去し、除去されたゼロの音調により残された任意のギャップを埋めるために残りのゼロではない音調を接合することを含んでいる。
【００１７】
好ましくは、オーディオ／音楽情報は音響信号であり、音響信号は肉声またはハミング信号であってもよい。この実施形態では、本発明の方法は第１の表示を決定するステップを行う前に音響信号を予め処理するステップを含んでおり、それは音響信号をデジタル信号へ変換し、雑音をデジタル信号から除去し、雑音のないデジタル信号にピッチ検出を受けさせ、ピッチ検出されたデジタル信号にインターバルまたは音調検出を受けさせるステップを含んでいる。ピッチ検出は雑音のないデジタル信号のウィンドウされたフーリエ変換と自動相関を含んでいる。インターバルまたは音調検出はピッチ検出されたデジタル信号の対数的なスケールを含んでいる。
【００１８】
好ましくは、オーディオ／音楽特性は音量レベル、ピッチ、インターバル情報のうちの任意の１以上である。
【００１９】
別の好ましい実施形態では、本発明は音楽スコアデータベースを作成する方法が提供され、この方法は、音楽スコアと実際の音楽トラックとの間にリンクを設けるように音楽スコアで特有に実際の音楽トラックを表示し、検索キーワードを形成するため前述の方法にしたがって音楽スコアを表示し、検索キーワードをデータベースに記憶するステップを含んでいる。
【００２０】
本発明の好ましい実施形態では、音楽スコアデータベースを作成する方法は、データベースで記憶するために少なくとも１つのインデックスを作成するステップをさらに含んでおり、少なくとも１つのインデックスは音楽スコア全体に対応するグローバル特徴を含み、グローバル特徴は第２の表示のヒストグラムを含んでいる。
【００２１】
別の好ましい実施形態では、本発明は音楽スコアデータベースにおける音楽情報の検索のために音響入力から問合わせキーワードを作成する方法を提供し、この方法は前述の方法にしたがってデジタル表示で音響入力を表示するステップを含んでいる。
【００２２】
さらに別の好ましい実施形態では、本発明は、問合わせキーワードをデータベースのキーワードと整合することによって前述したように音楽スコアデータベースを作成する方法にしたがって作成された音楽スコアデータベースから音楽情報を検索する方法を提供し、この方法は、関連しないデータベースのキーワードを除去するために、前述したように問合わせキーワードを作成する方法にしたがって作成された問合わせキーワードを各音楽スコアに対応するグローバルな特徴と比較し、問合わせの第２の表示を各データベースキーワードの第２の表示と比較し、問合わせの第１の表示のヒストグラムを各データベースキーワードの第１の表示のヒストグラムと比較するステップを含んでいる。
【００２３】
好ましい実施形態では、本発明は音楽のスコアデータベースを組織するためのインデックスの作成方法を提供し、この方法は完全な実際の音楽の歌のグローバルな特徴を構成するステップを含んでおり、グローバルな特徴は各ピーク／バレーとバレー／ピーク対との間の距離値のヒストグラムである。
【００２４】
さらに別の好ましい実施形態では、本発明はハミングの形態の音響入力を自動的に問合わせキーワードに変換する方法を提供し、この方法は音響入力をデジタル信号へ変換し、デジタル信号からピッチを検出し、ピッチを音調に変換し、ピッチの曲線により音響入力を表示し、小さいピークとバレーを除去することによりピッチ曲線をスムーズにし、ピッチ曲線のピークとバレーを検出し、以下のステップにしたがってピークとバレーを使用して問合わせキーワードを発生する。その使用するステップは、
・各ピーク／バレーおよびバレー／ピーク対との間の距離を計算し、
スコアキーワードとして機能するように基準点としてのピークおよびバレーと、ピークおよびバレーの音調ヒストグラムとを使用する。
【００２５】
別の好ましい実施形態では、本発明は問合わせキーワードを音楽のスコアキーワードに整合する方法を提供し、この方法は関連しない音楽スコアキーワードを除去するためグローバル特徴をチェックし、問合わせのピーク／バレー距離値のシーケンスと音楽スコアキーワードのピーク／バレー距離値を整合し、ヒストグラムの交差により音調ヒストグラムと整合するステップを含んでいる。
【００２６】
説明した従来技術に関連する問題を克服する検索の正確性および速度を改良するための内容ベースの音楽検索方法を提供することが望ましい。音楽データベースから抽出されたキーワードを整合するためにハミングにより入力された問合わせを問合わせキーワードへ変換する方法を提供することも望ましい。データベースを組織化する効率的なインデックス化方法を提供し、問合わせキーワードをデータベースキーワードに整合させる頑丈な類似性一致方法を提供することはさらに望ましい。
【００２７】
［スコアキーワード抽出およびデータベース構造］
内容ベースの検索の正確性を改良するため、データベース構造は非常に重要である。伝統的な内容ベースのオーディオ／音楽検索方法では、データベースはオーディオ／音楽クリップから特徴を抽出し、各オーディオ／音楽クリップの特徴ベクトルを生成することにより構成される。特徴抽出が近似的なプロセスであり、全ての種類のオーディオ／音楽の特徴を正確に表すために幾つかの特徴を使用することは困難であるので、このプロセスで導入される雑音は検索結果の正確性に明確に影響する。１実施形態では、本発明はデータベースの構成方法を提案する。イメージおよびビデオと異なって、音楽の歌は作曲家により作成され、したがって各音楽のピースはその音楽を特有に特徴付けることのできる音楽スコアを有する。この事実に基づいて、実際の音楽の歌の特徴として音楽スコアからスコアキーワードを抽出する。低レベルの特徴と比較して、音楽スコアキーワードはより効率的な音楽表示である。音楽の最も重要な特性を捕捉し、音楽検索のためにデータベース側の雑音を劇的に減少することができる。
【００２８】
［問合わせ処理］
本発明の別の実施形態では、伝統的なテキストベースの問合わせ方法とは異なる問合わせ方法を提供する。ユーザはマイクロホンにより音楽または歌のピースをハミングすることによって問合わせを入力できる。入力された問合わせは本発明の方法を問合わせに適用することによって問合わせキーワードに自動的に変換される。抽出された問合わせキーワードはデータベース中のスコアキーワードと整合される。検索結果は問合わせとスコアキーワードとの類似性にしたがってランクされる。
【００２９】
［インデックス化および一致］
小さい音楽データベースでハミングによる問合わせを行うとき、ハミング音響からのデータベース中の全ての音楽の歌に対する類似性尺度を計算し、その後所望結果に一致する音楽の歌を選択することは容易である。しかしながら、大きいデータベースではこれは高価すぎる。実際の応用では、音楽データベースは数千または数万の歌を通常含んでいる。内容ベースの音楽検索を大きいサイズの音楽集収に調節可能にし検索の速度を上げることを可能にするため、効率的なインデックス化技術を開発する必要がある。本発明では、データベースを組織するために効率的なインデックス化方式を提供する、これは大きいデータベースで高速度の検索を実現できる。
【００３０】
内容ベースの音楽検索の正確性に影響する別の重要な要素は整合の方法である。問合わせを入力するユーザが音楽の専門家であることを確認できないので、特にメモリからハミングするとき一般人が歌を正確にハミングすることは困難である。それ故、ハミングによる音楽を検索するために適用される任意のキーワード整合方法は問合わせ側のエラーを許容しなければならない。本発明の１実施形態では、さらに高い検索の正確度を得るため、ユークリッドではない類似性の尺度が使用される。これはユークリッド測定がある聴覚内容の人間の知覚を効率的にシミュレートしないという考慮に基づいている。ユークリッドではない尺度はヒストグラム交差、コサイン、相関等を含んでいる。他方で、本発明の実施形態で使用されるインデックス化技術もまたユークリッドではない類似性尺度をサポートできる。
【発明を実施するための最良の形態】
【００３１】
本発明のこれらおよび他の特徴と利点は添付図面を伴って使用する以下の説明から当業者に容易に明白になるであろう。
図１はサーバとクライアントとの間の通信のシステム構造を示している。デジタル音楽内容を記憶するためサーバには１または幾つかの音楽データベースが存在する。各音楽データベースに対応するスコアキーワードを含んだ音楽スコアデータベースが存在する。サーバ側のサービスにはクライアントからの問合わせを受信し、問合わせキーワードを音楽スコアデータベース中のスコアキーワードと整合し、関連する音楽の歌を検索し、それらをクライアントへ送信することが含まれている。クライアント側のサービスには音楽検索エンジン、問合わせ処理、音楽ブラウジングが含まれている。ユーザはマイクロホンによってハミングを音楽検索エンジンに入力できる。問合わせ処理モジュールは問合わせから問合わせキーワードを抽出し、問合わせキーワードをインターネットによってサーバへ送信する。サーバが検索された音楽の歌をクライアントへ返送したとき、音楽ブラウジングツールはユーザがこれらの歌を明白に観察し、容易に聞くことを可能にする。
【００３２】
図２は音楽スコアデータベースの構造を示している。音楽スコアデータベースは実際の音楽の歌を含んでいる音楽データベースに対応する。音楽スコアデータベースの記録フィールドは音楽のタイトル、歌手、音楽のタイプ、スコアキーワード、音楽データベースに記憶されている実際の音楽への連係を含んでいる。
【００３３】
図３はスコアデータベース構造のブロック図を示している。これは３つのステップ、即ちスコアメロディの処理、スコアキーボードの発生、スコアキーボードのインデックス化からなる。
【００３４】
このモジュールへの入力は音楽の歌に対応する音楽スコアであり、これは音楽のデータベースにも挿入される。音楽スコアは音楽の複合情報を提供し、音楽のアーティストが音楽を一度作成すると入手可能になる。音楽のスコアは基本的にどの音調が何時、どのぐらいの長さで演奏されるかを特定する。したがって音楽のスコアはデジタル形態で容易に表示されることができる。各音調を１つの整数で表示し、大きい整数は高い音調に対応する。２つの隣接する音調の距離は１セミトーンであり、２つの音調を表す２つの整数間の距離も１である。各音調の時間情報は４分の１ビート（またはさらに細かい単位）の整数倍で測定される。
【００３５】
音楽スコア情報はスコアメロディ処理モジュールとそれに続くキーワード発生モジュールにより処理される。２つのモジュールは個々の図面（図４および図５）により示されている。スコアキーワードの抽出後、これらはスコアデータベースの効率的な記憶および検索の目的でインデックスされることができる。
【００３６】
図４はスコアメロディ処理モジュールのフローチャートを示している。音楽のスコアは最初に予め処理され、曲線に変換され、ｘ軸は時間でありｙ軸は音調レベルである。相対的な音調変化だけが重要であるので、各音調の絶対値は無視される。音楽のスコアでは、ゼロ（０）音調が存在し、これは無音を表す。０音調はスコア曲線から除去され、除去された０音調の前および後の音調は単に接続される。第２に、スコア曲線のピークおよびバレーが検出される。ピークは前および後にそれに接続された２つの両音調よりも高い音調として定義される。類似のことはバレーの定義である。これらのピークおよびバレーは音楽のインデックス化と検索で使用される非常に重要な特性点である。スコア曲線とそのピークおよびバレーの１例が図６ａに示されている。
【００３７】
図５はスコアキーワード発生のフローチャートを示している。スコア曲線のピークおよびバレーの検出後、各ピークおよび各バレーに対して値が計算される。ピークでは、値はそのすぐ後のバレーとそのピーク自体との差であり、値は正である。バレーでは、値はそのすぐ後のピークとそのバレー自体との差であり、負の値である。ピークとバレーの値のシーケンスは音楽検索で使用される特徴の第１の部分である。図６ａの下方の図はピークとバレーをそれらの関連する値と共に示している。
【００３８】
その後、音調ヒストグラムは各ピークおよび各バレーについて計算されている。音調ヒストグラムは時間インターバル中に与えられる音調の数または長さの情報を含んでいる。時間インターバルは一定の時間期間であるか開始するピーク／バレーからそれに続くｘ番目のピーク／バレーまでである。図６ｃはこの例において第１のピークの音調ヒストグラムを示している。この例において１つのピーク／バレーから４番目のピーク／バレーまでのインターバルを使用する。
【００３９】
完全な歌のピークおよびバレーの特徴値はまたヒストグラムに統計的に記憶され、音楽のグローバル特徴として使用される。これは整合の第１のステップとして使用されることができる。ヒストグラムと検索された音楽との間に一致が存在しないならば、さらに他の特徴と一致することは必要ではない。これは検索プロセスの速度を上げることができる。
【００４０】
図６ａは音楽スコアのピースに対応する１例のスコア曲線である。検出されたピークおよびバレーとそれらの特徴値も示されている。図６ｂは完全な音楽のピースの検出されたピーク／バレーである。下方の図はグローバルな特徴を示しており、これはピーク／バレー特徴のヒストグラムである。図６ｃはスコア曲線の第１のピークに対応する抽出されたスコアキーワードである。この図では、ヒストグラムの原点は６であり、ビン６が開始音調（この例では最初のピーク）の音調値に対応していることを意味する。
【００４１】
図７は問合わせキーワード抽出のブロック図を示している。ハミングにより入力された問合わせは音響信号である。これは音響カード等のＡ／Ｄ変換装置によりデジタル信号に変換される。デジタル信号は環境雑音を除去するために前処理機構を通過する。その後、ピッチ検出とインターバル検出が処理されたデジタル信号に適用される。スムースなピッチおよびインターバル曲線を得るため、ピッチメロディ処理は抽出されたピッチおよびインターバル情報に対して行われる。最終的に問合わせキーワードはピッチおよびインターバル曲線にしたがって発生される。
【００４２】
ピッチ検出はウィンドウ処理されたフーリエ変換と自動相関により行われる。
【００４３】
検出されたピッチ値の対数的なスケーリングによりインターバル検出または音調検出が行われる。音調検出後、音調値の時間変化はスコア音調値の時間変化に匹敵する。入力されたハミング問合わせはピッチ曲線で表されることができる。さらに特徴を抽出するためにこのピッチ曲線が使用される。
【００４４】
ピッチメロディ処理はスコア曲線（図８）のようにピッチ曲線のピーク／バレーを検出する。
【００４５】
最終的な問合わせキーワード発生はスコア曲線と同一のプロセスを使用して行われ、図５に示されている。
【００４６】
図８はピッチメロディ処理のフローチャートを示している。ピッチ曲線は小さい値の変化を除去することにより最初にスムースにされる。その後、ピーク／バレー検出はスムースにされたピッチ曲線について行われる。インデックス化プロセスまたはスコアキーワードプロセスに類似して、問合わせキーワードの抽出もまたピーク／バレー値の変化と音調ヒストグラムを計算する。これらの特性はその後、整合プロセスで使用される。
【００４７】
図９ａは図６ａの音楽スコアのピースと同一のハミングから変換されたデジタル問合わせ信号である。図９ｂは図９ａからの検出されたピッチおよびインターバル曲線である。検出されたピーク／バレー値も示されている。図９ｃは図９ｂの情報にしたがった抽出されたピッチキーワードである。
【００４８】
図１０ａは図６ａの音楽スコアのピースと同一のハミングから変換された別のデジタル問合わせ信号である。図１０ｂは図１０ａからの検出されたピッチおよびインターバル曲線である。対応するピーク／バレー値も示されている。図１０ｃは図１０ｂの情報にしたがって抽出されたスコアキーワードである。図９、図１０および図６から、スコア／ピッチ曲線または問合わせキーワードとスコアキーワードは類似していることが分かる。
【００４９】
図１１はスコアキーワードと問合わせキーワード間の整合のブロック図を示している。抽出された問合せキーワードは整合アルゴリムの使用によりデータベース中のスコアキーワードと比較される。検索結果は問合わせキーワードとスコアキーワードとの類似性にしたがってランクされ、ユーザに戻される。
【００５０】
図１２はキーワード整合のステップを示している。ステップ１では、問合わせからの検出されたピーク／バレー値はスコアキーワードのピーク／バレー値と比較される。この比較はピーク／バレー値の累積された距離を測定することにより行われる。距離がしきい値よりも小さいならば、更に類似性測定が行われ、そうでなければ、整合は次の候補にスキップする。差はピーク／バレー値のシーケンス、例えば５値で測定され、５値の差は最終的な距離を形成するように合計され、その後しきい値と比較される。
【００５１】
ステップ２で、音調ヒストグラムが比較される。ヒストグラムの交差は問合わせと候補との類似性の測定に使用される。類似性は最も高い類似から低い類似への順序で検索結果をリストするようにランクされることができる。
【図面の簡単な説明】
【００５２】
【図１】本発明を使用した音楽データベース検索システムにおけるサーバとクライアントとの間の通信のシステム構造を示している図。
【図２】図１の音楽スコアデータベースの構造を示している図。
【図３】スコアデータベース構造のブロック図。
【図４】スコアデータベース構造で行われたスコアメロディ処理を示している図。
【図５】スコア／ピッチキーワード抽出のフローチャート。
【図６ａ】音楽スコアのピース、メロディ曲線、抽出されたスコアキーワードの１例を示している図。
【図６ｂ】音楽スコアのピース、メロディ曲線、抽出されたスコアキーワードの１例を示している図。
【図６ｃ】音楽スコアのピース、メロディ曲線、抽出されたスコアキーワードの１例を示している図。
【図７】問合わせ処理およびキーワード抽出のフローチャート。
【図８】問合わせ処理で行われるピッチメロディ処理のフローチャート。
【図９ａ】デジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図９ｂ】デジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図９ｃ】デジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図１０ａ】別のデジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図１０ｂ】別のデジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図１０ｃ】別のデジタル問合わせ信号、検出されたピッチおよびインターバル曲線、抽出されたスコアキーワードの１例を示している図。
【図１１】スコアキーワードと問合わせキーワード間の整合方法のブロック図。
【図１２】整合アルゴリズムのフローチャート。

Claims

内容ベースの情報のインデックス化と検索で使用するのに適したデジタル表示でオーディオ／音楽情報を表す方法において、
ａ）オーディオ／音楽の少なくとも１つの特性の最大値および最小値にそれぞれ対応する１組のピークおよびバレーを含んでいる第１の表示を決定し、
ｂ）ピークとバレーとの間の相対的な差を表す値を含んでいる第２の表示を決定するステップを含んでいる方法。
ｃ）第１の表示のヒストグラムを決定するステップをさらに含んでいる請求項１記載の方法。
第１の表示のヒストグラムは所定の時間インターバルにおけるピークまたはバレーのポピュレーションまたは継続時間の表示を含んでいる請求項２記載の方法。
ピークの相対差値は、
ピークのすぐ後のバレーの大きさと、そのピークの大きさとの差により与えられ、
バレーの相対差値は、
バレーのすぐ後のピークの大きさと、そのバレーの大きさとの差により与えられる請求項１記載の方法。
ｄ）第２の表示のヒストグラムを決定するステップをさらに含んでいる請求項１記載の方法。
オーディオ／音楽情報は音楽のスコアである請求項１記載の方法。
ステップａ）を行う前に音楽スコアを予め処理するステップをさらに含んでおり、これは、
音楽スコアからゼロの音調を除去し、
除去されたゼロの音調により残された任意のギャップを埋めるために残りのゼロではない音調を接合することを含んでいる請求項６記載の方法。
オーディオ／音楽情報は音響信号である請求項１記載の方法。
音響信号は肉声またはハミング信号である請求項８記載の方法。
ステップａ）を行う前に音響信号を予め処理するステップを含んでおり、これは，
音響信号をデジタル信号へ変換し、
雑音をデジタル信号から除去し、
雑音のないデジタル信号にピッチ検出を受けさせ、
ピッチ検出されたデジタル信号についてインターバルまたは音調検出を行うステップを含んでいる請求項８記載の方法。
ピッチ検出は雑音のないデジタル信号のウィンドウされたフーリエ変換および自己相関を含んでいる請求項１０記載の方法。
インターバルまたは音調検出はピッチ検出されたデジタル信号を対数的にスケールするステップを含んでいる請求項１０記載の方法。
オーディオ／音楽の特性は、
音量レベルと、
ピッチと、
インターバル情報のうちの任意の１以上である請求項１記載の方法。
音楽スコアデータベースを作成する方法において、
音楽スコアと実際の音楽トラックとの間にリンクを設けるように音楽スコアで特有に実際の音楽トラックを表示し、
検索キーワードを形成するために請求項６に記載の方法にしたがって音楽スコアを表示し、
検索キーワードをデータベースに記憶するステップを含んでいる方法。
データベースで記憶するため少なくとも１つのインデックスを作成するステップをさらに含んでおり、少なくとも１つのインデックスは音楽スコア全体に対応するグローバル特徴を含み、グローバル特徴は第２の表示のヒストグラムを含んでいる請求項１４記載の方法。
音楽スコアデータベースにおける音楽情報の検索のために音響入力から問合わせキーワードを作成する方法において、
請求項８記載の方法にしたがってデジタル表示で音響入力を表示するステップを含んでいる方法。
問合わせキーワードをデータベースのキーワードと整合することによって請求項１４に記載されている方法にしたがって作成された音楽スコアデータベースからオーディオ／音楽情報を検索する方法において、
ａ．関連しないデータベースのキーワードを除去するため、請求項１６に記載されている方法にしたがって作成された問合わせキーワードを各音楽スコアに対応するグローバル特徴と比較し、
ｂ．問合わせの第２の表示を各データベースキーワードの第２の表示と比較し、
ｃ．問合わせの第１の表示のヒストグラムを各データベースキーワードの第１の表示のヒストグラムと比較するステップを含んでいる方法。
音楽スコアデータベースを作成する方法において、
（ａ）音楽スコアデータベースと音楽データベースとの間にリンクが設けられるように実際の音楽の歌を特有に表すために音楽スコアを使用し、
（ｂ）音楽スコア情報を表すため１組のデジタル値を含んでいる曲線を使用し、
（ｃ）音楽スコアデータベースをインデックスするために曲線のピークとバレーを使用するステップを含んでいる方法。
音楽スコアをスコアキーワードに変換する方法において、
（ａ）ゼロの音調を除去するように音楽音調を表す１組のデジタル値を含んでいるスコア曲線を予め処理し、
（ｂ）スコア曲線のピークとバレーを検出し、
（ｃ）各ピーク／バレーおよびバレー／ピーク対間の距離を計算し、
（ｄ）スコアキーワードとして機能するように基準点としてのピークおよびバレーと、ピークおよびバレーの音調ヒストグラムとを使用するステップを含んでいる方法。
請求項１８記載の方法にしたがって作成された音楽のスコアデータベースを組織するためのインデックスの作成方法において、
ａ．完全な実際の音楽の歌に対してグローバル特徴を構成するステップを含んでおり、グローバル特徴は各ピーク／バレーとバレー／ピーク対との間の距離値のヒストグラムである作成方法。
ハミングの形態の音響入力を自動的に問合わせキーワードに変換する方法において、
ａ．音響入力をデジタル信号へ変換し、
ｂ．デジタル信号からピッチを検出し、
ｃ．ピッチを音調に変換し、
ｄ．ピッチの曲線により音響入力を表示し、
ｅ．小さいピークとバレーを除去することによりピッチ曲線をスムーズにし、
ｆ．ピッチ曲線のピークとバレーを検出し、
ｇ．請求項１９のステップｃ）およびｄ）にしたがってピークとバレーを使用して問合わせキーワードを生成するステップを含んでいる方法。
請求項２１記載の問合わせキーワードを請求項１９記載の音楽のスコアキーワードと整合させる方法において、
ａ．関連しない音楽スコアキーワードを除去するために請求項２０記載の方法にしたがって構成されたグローバル特徴をチェックし、
ｂ．問合わせのピーク／バレー距離値のシーケンスと音楽スコアキーワードのピーク／バレー距離値を整合させ、
ｃ．ヒストグラムの交差により音調ヒストグラムを整合させるステップを含んでいる方法。
請求項１記載の方法にしたがって動作する内容ベースの情報検索において使用するシステム。
請求項１８記載の方法にしたがって動作する内容ベースの情報検索において使用するシステム。
請求項１９記載の方法にしたがって動作する内容ベースの情報検索において使用するシステム。