JP2004219804A

JP2004219804A - 類似音声音楽検索装置，類似音声音楽検索処理方法，類似音声音楽検索プログラムおよびそのプログラムの記録媒体

Info

Publication number: JP2004219804A
Application number: JP2003008083A
Authority: JP
Inventors: Hirotoshi Suga; 啓敏須賀
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-01-16
Filing date: 2003-01-16
Publication date: 2004-08-05
Anticipated expiration: 2023-01-16
Also published as: JP3999674B2

Abstract

【課題】音声音楽信号の検索において，非定常な雑音を含む音声音楽信号を精度良く，高速に検索できるようにする。
【解決手段】短時間窓音声音楽特徴量抽出部１１は，検索キーの音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量類似検索部１２は，抽出された短時間窓音声音楽特徴量を用いて，あらかじめ蓄積された検索対象の短時間窓音声音楽特徴量から，部分類似度が高い短時間窓音声音楽特徴量を検索する。音声音楽情報比較統合部１３は，類似検索の結果により，検索対象の音声音楽信号から正解候補音声音楽区間を切り出し，その正解候補音声音楽区間と検索キーとの全体類似度を計算する。音声音楽表示出力装置２１は，全体類似度が高い順に正解候補音声音楽区間のリストを表示し，指定された区間の音声音楽信号を出力する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は，音声音楽信号を検索する技術に関し，特に非定常雑音を含む音声音楽信号でも精度よく，高速に検索可能な類似音声音楽検索装置，類似音声音楽検索処理方法，類似音声音楽検索プログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
音声音楽信号を高速に検索する従来技術（従来手法１）としては，例えば，特許文献１「高速信号探索方法，装置及びその記録媒体」および非特許文献１に示されているような，検索対象中から検索キーと一致する音声音楽信号を検索する技術がある。
【０００３】
また，雑音を含む音声音楽信号を検索する従来技術（従来手法２）として，検索対象の音声音楽信号を時間周波数領域で多数の小領域に分割し，各領域間で検索キーの音声音楽信号との類似度を計算する手法がある（例えば，特許文献２「情報送受信システム及び方法，情報処理装置及び方法」，非特許文献２参照）。この手法では，各領域の類似度を投票法により積算することで，検索対象と検索キーの音声音楽信号中のナレーションなどの突発的で非定常な雑音部分以外の背景音楽などの部分で一致検索を行う。
【０００４】
この他に，類似する音声音楽信号を検索する従来技術（従来手法３）として，一致する音声音楽信号だけでなく類似する音声音楽信号も検索でき，多次元インデックスを用いることで高速な検索ができる手法がある（例えば，非特許文献３参照）。
【０００５】
ここで，後述する本発明の実施の形態で利用している技術が記載された文献として，例えば非特許文献４，非特許文献５，非特許文献６，非特許文献７がある。
【０００６】
【特許文献１】
特許第３０６５３１４号公報
【特許文献２】
特開２００２−１０２３７号公報
【非特許文献１】
柏野邦夫，ガビンスミス，村瀬洋：“ヒストグラム特徴を用いた音響信号の高速探索法−時系列アクティブ探索法−”：電子情報通信学会論文誌，Ｄ−１，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩＮＯ．９，ｐｐ．１３６５−１３７３，１９９９
【非特許文献２】
阿部素嗣，西口正之：“背景音楽同定のための自己最適化スペクトル相関法”：電子情報通信学会技術報告，ＰＲＭＵ２００１−２０９，ｐｐ．２５−３０，２００２
【非特許文献３】
須賀啓敏，寺本純司，片岡良治，芳西崇：“類似音声検索による映像検索”：電子情報通信学会，第１３回データ工学ワークショップ（ＤＥＷＳ２００２ＩＳＳＮ１３４７−４４１３）Ｂ１−１，２００２
【非特許文献４】
鹿野清宏他，：“ＩＴｔｅｘｔ音声認識システム”，オーム社，２００１
【非特許文献５】
ＬａｗｒｅｎｃｅＲａｂｉｎｅｒ，Ｂｉｉｎｇ−ＨｗａｎｇＪｕａｎｇ共著，古井貞煕監訳：“音声認識の基礎（上）”，ＮＴＴアドバンステクノロジ株式会社，１９９５
【非特許文献６】
ＮｏｒｉｏＫａｔａｙａｍａａｎｄＳｈｉｎ’ｉｃｈｉＳａｔｏｈ：“ＴｈｅＳＲ−ｔｒｅｅ：ＡｎＩｎｄｅｘＳｔｒｕｃｔｕｒｅｆｏｒＨｉｇｈ−ＤｉｍｅｎｓｉｏｎａｌＮｅａｒｅｓｔＮｅｉｇｈｂｏｒＱｕｅｒｉｅｓ”，ｉｎＰｒｏｃ．ＡＣＭＳＩＧＭＯＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＯｎＭａｎａｇｅｍｅｎｔｏｆＤａｔａ，ｐｐ．３６８−３８０，Ｍａｙ１９９７
【非特許文献７】
ＹａｓｕｓｈｉＳａｋｕｒａｉ，ＭａｓａｔｏｓｈｉＹｏｓｈｉｋａｗａ，ＳｈｕｎｓｕｋｅＵｅｍｕｒａ，ａｎｄＨａｒｕｈｉｋｏＫｏｊｉｍａ：“Ａ−ｔｒｅｅ：ＡｎＩｎｄｅｘＳｔｒｕｃｔｕｒｅｆｏｒＨｉｇｈ−ＤｉｍｅｎｓｉｏｎａｌＳｐａｃｅＵｓｉｎｇＲｅｌａｔｉｖｅＡｐｐｒｏｘｉｍａｔｉｏｎｓ ”，ＩｎＰｒｏｃ．ｏｆｔｈｅ２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＶｅｒｙＬａｒｇｅＤａｔａＢａｓｅｓ（ＶＬＤＢ），ｐｐ．５１６−５２６，Ｃａｉｒｏ，Ｓｅｐｔｅｍｂｅｒ２０００
【０００７】
【発明が解決しようとする課題】
〔課題１〕前述した従来手法１では，一致する音声音楽信号を検索するため，信号に雑音が入ると検索できなくなってしまうという問題がある。
〔課題２〕従来手法２では，非定常な雑音が入った音声音楽信号でも検索が可能であるが，類似度計算の計算量が大きく，計算に時間がかかってしまうという問題がある。
〔課題３〕従来手法３では，音声音楽信号に雑音が入っても信号が類似していれば従来手法２よりも高速な検索が可能であるが，雑音がない場合に比べて検索精度は下がってしまうという問題がある。
【０００８】
本発明は，上記問題点の解決を図り，非定常な雑音を含む音声音楽信号を精度良く，高速に検索できる手段を確立することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の類似音声音楽検索装置は，上記課題を解決するため，検索キー音声音楽信号入力手段と，短時間窓音声音楽特徴量抽出手段と，短時間窓音声音楽特徴量類似検索手段と，音声音楽情報比較統合手段と，音声音楽表示出力手段と，検索対象音声音楽信号入力手段と，特徴量の蓄積手段とを備える。
【００１０】
検索キー音声音楽信号入力手段は，検索キーとして数秒間の音声音楽信号を入力する。
【００１１】
短時間窓音声音楽特徴量抽出手段は，短時間窓を少しずつずらしながら，短時間窓長の音声音楽信号を切り出し，そこから短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量は多次元ベクトルの形で表現される。
【００１２】
短時間窓音声音楽特徴量類似検索手段は，蓄積された短時間窓音声音楽特徴量の中から，検索キーから抽出されたそれぞれの短時間窓音声音楽特徴量に類似するものを検索する。類似度は，多次元ベクトル間の距離が近いものほど類似度が高いとする。なお，この類似度のことを部分類似度と呼ぶことにする。
【００１３】
音声音楽情報比較統合手段は，前記短時間窓音声音楽特徴量類似検索手段による短時間窓音声音楽特徴量ごとの類似検索結果から正解候補音声音楽区間を作成し，その正解候補音声音楽区間全体と検索キー音声音楽信号全体との間の類似度を計算し，その類似度の高い正解候補音声音楽区間のリストを作成する。
【００１４】
この類似度は，例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和が小さいものほど類似度が高いものとする。なお，この類似度を全体類似度と呼ぶこととする。そして，正解候補音声音楽区間リストを全体類似度の高い順に並び替える。
【００１５】
音声音楽表示出力手段は，ディスプレイ等の表示装置に全体類似度の高い順に正解候補音声音楽区間のリストを表示し，マウス等のポインティングデバイスで選択したリスト中の正解候補音声音楽区間の音声音楽信号をスピーカー等で出力する。
【００１６】
検索対象音声音楽信号入力手段は，検索対象となる長時間の音声音楽信号を入力する。
【００１７】
蓄積手段は，検索対象音声音楽信号から抽出された個々の短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量を蓄積する。また抽出した短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量から多次元空間インデックスを構成する。
【００１８】
以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００１９】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち，実施の形態の説明中で用いている言葉の意味について簡単に説明する。
【００２０】
「非定常雑音」：ある区間に対して，その全体に渡って入っていない雑音（例えば，雑音としての人の話し声は，息継ぎなどのために音が途切れるので，非定常雑音である）。
【００２１】
「短時間窓」：約２０ミリ秒から４０ミリ秒程度の時間窓。
【００２２】
「短時間窓音声音楽特徴量」：短時間窓長の音声音楽信号から抽出される特徴量。多次元ベクトルで表される。
【００２３】
「検索キー音声音楽信号」：検索キーとして入力される数秒（例えば４秒など）の音声音楽信号。
【００２４】
「検索対象音声音楽信号」：検索対象となる長時間の音声音楽信号（例えば，テレビ番組１週間分，ＣＤ音源１０００曲分等）。
【００２５】
「部分類似度」：多次元ベクトルで表される短時間窓音声音楽特徴量間（または平均短時間窓音声音楽特徴量間）の類似度である。多次元ベクトル間の距離が近いものほど，この類似度は高い。
【００２６】
「全体類似度」：検索キーと検索対象中の検索キーと同じ長さの音声音楽信号との間の類似度である。例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する検索対象中の検索キーの長さの音声音楽信号から抽出された短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和の小さいものほどこの類似度が高い。
【００２７】
「正解候補音声音楽区間」：検索キーの短時間窓音声音楽特徴量の検索キー音声音楽信号中での位置と，部分類似度の高い検索対象中の短時間窓音声音楽信号の位置が同じになるように切り出した，検索対象中の音声音楽信号区間。これが全体類似度も高い正解の候補とする。
【００２８】
「平均短時間窓音声音楽特徴量」：短時間窓音声音楽特徴量を時間順に並ぶ複数ごとに平均をとったもの。これを短時間窓音声音楽特徴量の代わりとして扱うことにより，類似検索処理の際に検索回数を少なくでき，高速化が図れる。
【００２９】
以下，図面を用いて本発明の実施の形態を説明する。
【００３０】
〔実施の形態１〕
本実施の形態１では，ＣＤなどから切り出された雑音の入っていない音声音楽信号を検索キーとし，検索対象として用意される長時間のテレビ映像音声などからその音声音楽信号がオリジナルのまま使われている部分や背景音楽として使われている部分を検索する。背景音楽として使われる部分には非定常な雑音が入っているが，本発明では，そのような雑音が入っている音声音楽信号でも高速に検索が行える。
【００３１】
図１は，本発明の実施の形態における類似音声音楽検索装置の構成例を示す図である。類似音声音楽検索装置１０は，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１，短時間窓音声音楽特徴量類似検索部１２，音声音楽情報比較統合部１３，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１４，蓄積部１５，記憶部１６とから構成されており，検索キー音声音楽信号入力装置２０，音声音楽表示出力装置２１，検索対象音声音楽信号入力装置２２と接続されている。
【００３２】
類似音声音楽検索装置１０の動作は，検索キーの短時間窓音声音楽特徴量で検索対象の短時間窓音声音楽特徴量を検索することにより類似音声音楽を検索する検索フェーズＰ１と，検索対象の音声音楽信号と短時間窓音声音楽特徴量とを蓄積する蓄積フェーズＰ２からなる。
【００３３】
図２は，本実施の形態における類似音声音楽検索処理フローチャートである。この例では，検索キー入力処理ステップＳ１０において，ＣＤなどの雑音の入っていない音源を入力する。そこから数秒程度の音声音楽信号を検索キーとして切り出す処理を行い，検索キー音声音楽信号を得る。
【００３４】
次に，特徴量抽出処理ステップＳ２０において，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１は，約２０ミリ秒から４０ミリ秒程度の短時間窓を少しずつずらしながら，検索キー入力処理ステップＳ１０で得られた検索キー音声音楽信号から音声音楽信号を切り出し，その切り出した音声音楽信号から短時間窓音声音楽特徴量を抽出する。
【００３５】
ここで，短時間窓音声音楽特徴量としては，例えば，非特許文献４に述べられているメル周波数ケプストラム係数や，フィルタバンク分析による各帯域の音声パワーや，非特許文献５に述べられている重み付きケプストラム係数等を用いることができる。なお，短時間窓音声音楽特徴量は，多次元ベクトルとして表される。
【００３６】
類似検索処理ステップＳ３０による検索のために，あらかじめ短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１４が，長時間の検索対象音声音楽信号から上記特徴量抽出処理ステップＳ２０の特徴量抽出処理と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１５が，抽出された短時間窓音声音楽特徴量を記憶部１６に蓄積しておく。また，それらの短時間窓音声音楽特徴量から，非特許文献６に述べられているＳＲ−ｔｒｅｅや，非特許文献７に述べられているＡ−ｔｒｅｅなどの多次元空間インデックスを構成しておく。
【００３７】
類似検索処理ステップＳ３０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーから抽出された個々の短時間窓音声音楽特徴量を入力し，それぞれに類似する検索対象中の短時間窓音声音楽特徴量を，多次元空間インデックスを使って高速に検索する。検索キーの短時間窓音声音楽特徴量ごとに，部分類似度の高い検索対象中の短時間窓音声音楽特徴量のリストを作成する。
【００３８】
部分類似度は，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。なお，多次元空間インデックスを使うことで，使わない場合と比較した時に約１０倍高速に検索できていることが確認されている。
【００３９】
続いて，比較統合処理ステップＳ４０に進む。図３は，本実施の形態における比較統合処理フローチャートである。本実施の形態１における音声音楽情報比較統合部１３による比較統合処理ステップＳ４０は，図３のフローチャートを用いて詳細に説明する。
【００４０】
ステップＳ４１０において，類似検索処理ステップＳ３０で得られた類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，検索キーの短時間窓音声音楽特徴量の位置と，対応する部分類似度の高い検索対象中の短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ，検索対象音声音楽信号から検索キーと同一の長さの音声音楽信号を切り出して正解候補音声音楽区間を作成する。これを入力されたすべての部分類似度の高い短時間窓音声音楽特徴量について行い，正解候補音声音楽区間のリストを作成する。
【００４１】
図４は，上記ステップＳ４１０の処理における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。検索キー音声音楽信号における０，１，…，９および検索対象音声音楽信号におけるａ，ｂ，…は，それぞれ短時間窓音声音楽特徴量を表している。まず，図４（Ａ）のように，検索キー音声音楽信号中の短時間窓音声音楽特徴量の位置と，類似度が高い検索対象音声音楽信号中の短時間窓音声音楽特徴量の位置とを合わせる。図４（Ａ）の例では，検索キー短時間窓音声音楽特徴量「４」と検索対象の短時間窓音声音楽特徴量「ｈ」との類似度が高いので，その位置を合わせる。
【００４２】
次に，図４（Ｂ）のように，検索対象音声音楽信号から，検索キー音声音楽信号と同じ長さの区間を正解候補音声音楽区間として切り出す。図４（Ｂ）の例では，検索対象音声音楽信号（「ａ」〜…）から，検索キー音声音楽信号（「０」〜「９」）と同じ長さの区間（「ｄ」〜「ｍ」）が正解候補音声音楽区間として切り出される。
【００４３】
次に，図３のステップＳ４２０において，正解候補音声音楽区間のリストを入力し，そのリスト中の最上位にある正解候補音声音楽区間中の短時間窓音声音楽特徴量を読み込む。また，ステップＳ４３０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間のリストの最上位の正解候補音声音楽区間をリストから削除する。
【００４４】
続いて，ステップＳ４４０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間の全体の短時間窓音声音楽特徴量を入力し，それと検索キー全体の短時間窓音声音楽特徴量との全体類似度を計算をする。音声音楽情報比較統合部１３は，この正解候補音声音楽区間と全体類似度の組を蓄積部１５に出力し，蓄積部１５はそれらを記憶部１６に保持する。
【００４５】
全体類似度の計算方法としては，例えば次のような方法を用いることができる。検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものの上位何個かの和をとり，その和が小さいものほど全体類似度が高いものとする。
【００４６】
すなわち，例えば検索キー音声音楽信号から短時間窓で切り出した音声音楽信号が３００個である場合に，検索キーと正解候補音声音楽区間との間において，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離が近い値の上位１００個だけの和を検索キーと正解候補音声音楽区間との距離とし，その距離が近いものほど全体類似度が高いものであると定義する。
【００４７】
これにより，雑音が入っていない部分や雑音の影響が少ない部分だけを扱って全体類似度の計算ができるため，非定常な雑音の影響を低減した検索をすることができる。なお，距離の近い上位のもののうち，いくつの距離の和とするかは，あらかじめ設定しておくものとする。上位何個の和を全体類似度して用いるかを，ユーザが設定できるようにするためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を設ける実施も好適である。短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いもののうちの和をとる個数を，雑音が多いときは少なく，雑音が少ないときは多くすることで，検索精度をさらに向上させることが可能である。
【００４８】
図５に従って全体類似度の計算方法の具体例を説明する。図５の例では，まず，検索キーと正解候補音声音楽区間との部分類似度を計算し，部分類似度の距離が小さい上位６件（「３」，「４」，「５」，「７」，「９」，「１０」）の和を，検索キーと正解候補音声音楽区間との全体類似度の距離としている。これによって，雑音の影響により部分類似度の距離が大きい部分（「１」，「２」，「６」，「８」）を除くことができ，非定常な雑音があっても類似する音声音楽信号を検索することができる。
【００４９】
図３のステップＳ４５０において，正解候補音声音楽区間リストを入力し，このリストがすでに空であれば，ステップＳ４６０に進む。空でなければステップＳ４２０に戻り，同様に処理を繰り返す。
【００５０】
すべての正解候補音声音楽区間について，ステップＳ４２０〜Ｓ４４０の処理が終了し，正解候補音声音楽区間リストが空になったならば，ステップＳ４６０では，ステップＳ４４０において記憶部１６に保持されたすべての正解候補音声音楽区間とその全体類似度の組を蓄積部１５から入力し，それらを全体類似度の高い順に並び替えてリストを作成する。
【００５１】
これらのステップＳ４１０からステップＳ４６０までの処理を行うことで，図２のフローチャートの比較統合処理ステップＳ４０は，類似検索処理ステップＳ３０の類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，全体類似度の高い順に並び替えられた正解候補音声音楽区間のリストを出力することができる。
【００５２】
その後，図２の表示出力処理ステップＳ５０において，全体類似度の高い順の正解候補音声音楽区間のリストを，ディスプレイ等の音声音楽表示出力装置２１に出力し，マウス等のポインティングデバイスで選択されたリスト中の正解候補音声音楽区間の音声音楽信号を，スピーカー等の音声音楽表示出力装置２１で出力する。
【００５３】
〔実施の形態２〕
本実施の形態２では，放送されているテレビ映像音声などから非定常な雑音が含まれるような数秒の楽曲の音声音楽信号を逐次的に切り出して検索キーとし，検索対象として用意されているＣＤ等の雑音が含まれない音声音楽信号を格納した音楽データベースから，その雑音が入った楽曲の音声音楽信号と同じ楽曲の同じ部分を検索する。これにより，放送されている映像音声中の雑音が入っているような楽曲部分の楽曲名とそれが楽曲中のどの部分であるかを検索することができる。
【００５４】
本実施の形態２における類似音声音楽検索装置の構成例は，前述した実施の形態１と同様に，図１に示される構成例となる。また，本実施の形態２における類似音声音楽検索処理フローチャートは，前述の実施の形態１と同様に，図２に示されるフローチャートとなる。以下，本実施の形態２について，図２のフローチャートを用いて説明するが，前述した実施の形態１とは，検索キー入力処理ステップＳ１０と表示出力処理ステップＳ５０とが異なる。
【００５５】
特徴量抽出処理ステップＳ２０，類似検索処理ステップＳ３０，比較統合処理ステップＳ４０については，前述した実施の形態１における処理と同様の処理であるので，説明を省略する。
【００５６】
検索キー入力処理ステップＳ１０において，放送中のＴＶ番組の音声などのリアルタイムに流れている音声音楽を入力し，そこから逐次的に数秒程度の音声音楽信号を検索キーとして切り出す処理を行い，検索キー音声音楽信号を得る。
【００５７】
表示出力処理ステップＳ５０では，全体類似度の高い順の正解候補音声音楽区間のリストを，音声音楽表示出力装置２１（ディスプレイ等）に出力し，マウス等のポインティングデバイスで選択されたリスト中の正解候補音声音楽区間の音声音楽信号を，音声音楽表示出力装置２１（スピーカー等）で出力する。本実施の形態２では，この処理を逐次的に繰り返す。これによって，リアルタイムに流れている音声音楽信号に対して，その背景で使われている楽曲を検索することができる。
【００５８】
〔実施の形態３〕
本実施の形態３では，前述した実施の形態１，実施の形態２の検索時間をより高速化するため，類似検索する際に，短時間窓音声音楽特徴量をそのまま使わずに，時間順に並んだ複数個の短時間窓音声音楽特徴量の平均となる平均短時間窓音声音楽特徴量を使って類似検索を行う。平均短時間窓音声音楽特徴量は，それぞれの短時間窓音声音楽特徴量を表す多次元ベクトルの平均ベクトルにより表される。これにより類似検索の回数の削減と検索対象のデータ数が削減されるため，処理の高速化が図れる。
【００５９】
本実施の形態３における類似音声音楽検索装置の構成例は，前述した実施の形態１，実施の形態２と同様に，図１に示される構成例となる。また，本実施の形態３における類似音声音楽検索処理フローチャートは，前述した実施の形態１，実施の形態２と同様に，図２に示されるフローチャートとなる。以下，本実施の形態３について，図２のフローチャートを用いて説明するが，前述した実施の形態１，実施の形態２とは，類似検索処理ステップＳ３０と比較統合処理ステップＳ４０とが異なる。
【００６０】
検索キー入力処理ステップＳ１０，特徴量抽出処理ステップＳ２０，表示出力処理ステップＳ５０については，前述した実施の形態１，実施の形態２における処理と同様の処理であるので，説明を省略する。
【００６１】
図６は，本実施の形態３における類似検索処理フローチャートである。本実施の形態３における類似検索処理ステップＳ３０の処理を，図６のフローチャートを用いて詳細に説明する。
【００６２】
類似検索処理のために，あらかじめ以下のステップＳ３１０〜Ｓ３３０による蓄積フェーズＰ２を実行する。ステップＳ３１０において，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１４が，検索対象となる長時間の音声音楽信号を入力し，特徴量抽出処理ステップＳ２０と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１５が，抽出された短時間窓音声音楽特徴量を記憶部１６に蓄積しておく。
【００６３】
ステップＳ３２０において，検索対象音声音楽信号から抽出したすべての短時間窓音声音楽特徴量を入力し，それらの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとって平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００６４】
ステップＳ３３０において，ステップＳ３２０で作成した平均短時間窓音声音楽特徴量を入力し，それらの短時間窓音声音楽特徴量から，前述した実施の形態１，実施の形態２と同様に，多次元空間インデックスを構築しておく。
【００６５】
検索フェーズＰ１では，ステップＳ３４０において，検索キーの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとり，平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００６６】
ステップＳ３５０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーの平均短時間窓音声音楽特徴量を入力し，それらの検索キーの平均短時間窓音声音楽特徴量と類似するものを，蓄積されている検索対象の平均短時間窓音声音楽特徴量の中から検索し，検索キーの平均短時間窓音声音楽特徴量ごとに，部分類似度の高い平均短時間窓音声音楽特徴量のリストを作成する。
【００６７】
ここでの部分類似度は，平均短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。この際に，ステップＳ３３０で構築した多次元空間インデックスを使用することで高速に検索することができる。
【００６８】
また，例えば，Ｋ＝６として短時間窓音声音楽特徴量の６個分の平均を平均短時間窓音声音楽特徴量とすると，前述した実施の形態１，実施の形態２と比較して多次元インデックスを構成するデータ数は６分の１となり，さらに多次元インデックスを用いて行う検索回数も６分の１となることにより，検索の高速化が図られる。
【００６９】
本実施の形態３における比較統合処理ステップＳ４０については，図３に示すフローチャートのステップＳ４１０の処理（正解候補音声音楽区間のリストを作成する処理）だけが前述した実施の形態１，実施の形態２と異なる。ステップＳ４２０からステップＳ４６０までについては，前述した実施の形態１，実施の形態２と同様であるので説明を省略する。
【００７０】
以下，本実施の形態３における平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法の例を説明するが，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法は，以下の例に限られるものではない。
【００７１】
図７は，本実施の形態３における正解候補音声音楽区間リスト作成処理フローチャートである。本実施の形態３における正解候補音声音楽区間のリストを作成する処理（前述した実施の形態１，実施の形態２において，図３のステップＳ４１０に該当する処理）は，図７のフローチャートを用いて詳細に説明する。
【００７２】
ステップＳ４１１において，本実施の形態３における類似検索処理ステップＳ３０の結果である平均短時間窓音声音楽特徴量のリストを入力し，このリストの最上位の平均短時間窓音声音楽特徴量を読み込む。また，ステップＳ４１２において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量のリストの最上位の平均短時間窓音声音楽特徴量をリストから削除する。
【００７３】
ステップＳ４１３において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量を入力し，この平均短時間窓音声音楽特徴量の平均をとった元であるＫ個の短時間窓音声音楽特徴量を，記憶部１６から蓄積部１５を介して読み込む。
【００７４】
ステップＳ４１４において，平均をとった元のＫ個の短時間窓音声音楽特徴量ごとに，その平均をとった元の短時間窓音声音楽特徴量の位置が，検索キー中の対応する短時間窓音声音楽特徴量（例えば，平均をとった区間の中央の短時間窓音声音楽特徴量）と同じ位置になるように検索対象音声音楽信号の位置を合わせ，正解候補音声音楽区間を切り出す。切り出された正解候補音声音楽区間は合計でＫ個となる。
【００７５】
ステップＳ４１５において，Ｋ個の正解候補音声音楽区間を入力し，それらＫ個の正解候補音声音楽区間を正解候補音声音楽区間のリストに記載する。
【００７６】
ステップＳ４１６において，平均短時間窓音声音楽特徴量のリストを入力し，そのリストが空でなければＳ４１１に戻り，空になったならば正解候補音声音楽区間のリストを出力する。以上のステップＳ４１１〜Ｓ４１６の処理を，すべての平均短時間窓音声音楽特徴量のリストについて実行する。
【００７７】
図８は，本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。図８の例では，短時間窓音声音楽特徴量の３個（Ｋ＝３）の平均を平均短時間窓音声音楽特徴量としている。また，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量としている。
【００７８】
図中，「ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける平均短時間窓音声音楽特徴量を表す。また，「ｔＸ」（Ｘ＝０，１，２，…）は検索対象における短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｔＸ」（Ｘ＝０，１，２，…）は検索対象における平均短時間窓音声音楽特徴量を表す。
【００７９】
図８（Ａ）において，検索キー音声音楽信号の「Ｍｅａｎ−ｓ１」と検索対象音声音楽信号の「Ｍｅａｎ−ｔ３」との間の類似度が高いものとする。「Ｍｅａｎ−ｓ１」の元になっている短時間窓音声音楽特徴量は「ｓ３」，「ｓ４」，「ｓ５」であり，「Ｍｅａｎ−ｔ３」の元になっている短時間窓音声音楽特徴量は「ｔ９」，「ｔ１０」，「ｔ１１」である。検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量とすると，ここでは「ｓ４」である。
【００８０】
これをもとに正解候補音声音楽区間を切り出す場合，図８（Ｂ）に示すように，検索対象音声音楽信号の「ｔ９」，「ｔ１０」，「ｔ１１」位置を，それぞれ検索キー音声音楽信号の「ｓ４」の位置に合わせて，「ｔ９」，「ｔ１０」，「ｔ１１」ごとに検索キーの長さと同じ長さで音声音楽信号を切り出し，正解候補音声音楽区間を作成する。Ｋ＝３であるので，「ｓ４」の位置に「ｔ９」を合わせたもの，「ｔ１０」を合わせたもの，「ｔ１１」を合わせたものの３つの正解候補音声音楽区間が作成される。
【００８１】
以上の図７，図８によって，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間を作成する方法の一例を示したが，これに限られるものではなく，例えば，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量ではなく，他のものにすることも可能である。また，例えば図８の例において，作成する正解候補音声音楽区間の数は，Ｋ＝３個に限らず，Ｋ＋２＝５個，Ｋ−１＝１個のように任意の数を設定することも可能である。
【００８２】
【発明の効果】
本発明は，検索キーとそれと同じ長さに切り出された検索対象の音声音楽信号との全体類似度を表す距離を，短時間窓音声音楽特徴量間の部分類似度を表す距離のうち距離の近い上位のものだけの和とすることによって，非定常な雑音の影響を低減した音声音楽信号の類似検索が可能になるという効果を有する（課題１，課題３の解決）。
【００８３】
また，短時間窓音声音楽特徴量間の部分類似度の高いものを検索する際に多次元空間インデックスを用いることにより，高速な検索ができるという効果を有する（課題２の解決）。
【図面の簡単な説明】
【図１】本発明の実施の形態における類似音声音楽検索装置の構成例を示す図である。
【図２】本実施の形態における類似音声音楽検索処理フローチャートである。
【図３】本実施の形態における比較統合処理フローチャートである。
【図４】本実施の形態における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。
【図５】本実施の形態における全体類似度の計算方法を説明する図である。
【図６】本実施の形態における類似検索処理フローチャートである。
【図７】本実施の形態における正解候補音声音楽区間リスト作成処理フローチャートである。
【図８】本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。
【符号の説明】
Ｐ１検索フェーズ
Ｐ２蓄積フェーズ
１０類似音声音楽検索装置
１１短時間窓音声音楽特徴量抽出部（検索フェーズ）
１２短時間窓音声音楽特徴量類似検索部
１３音声音楽情報比較統合部
１４短時間窓音声音楽特徴量抽出部（蓄積フェーズ）
１５蓄積部
１６記憶部
２０検索キー音声音楽信号入力装置
２１音声音楽表示出力装置
２２検索対象音声音楽信号入力装置

Claims

検索対象となる音声音楽信号から，検索キーとなる音声音楽信号と類似する音声音楽信号を検索する類似音声音楽検索装置であって，
検索キーとなる音声音楽信号を入力する検索キー入力手段と，
前記検索キーとなる音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する特徴量抽出手段と，
前記抽出された短時間窓音声音楽特徴量を用いて，蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から，部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索手段と，
前記類似検索の結果により，前記部分類似度が高い短時間窓音声音楽特徴量を含むように，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し，その正解候補音声音楽区間と前記検索キーとの全体類似度を計算する比較統合手段と，
前記全体類似度の高い順に，前記正解候補音声音楽区間を出力する表示出力手段とを備える
ことを特徴とする類似音声音楽検索装置。
請求項１に記載の類似音声音楽検索装置において，
前記比較統合手段は，
正解候補音声音楽区間の作成において，前記検索キーの音声音楽信号中での前記検索キーの短時間窓音声音楽特徴量の位置と，前記部分類似度の高い短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ，前記検索対象の音声音楽信号から前記検索キーの音声音楽信号と同一の長さの音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索装置。
請求項１または請求項２に記載の類似音声音楽検索装置において，
前記比較統合手段は，
前記検索キーと前記正解候補音声音楽区間との全体類似度の計算において，個々の短時間窓音声音楽特徴量を表す多次元ベクトル間の距離のうち，距離の近いものだけの和をとり，その和が小さいものほど全体類似度が高いとする
ことを特徴とする類似音声音楽検索装置。
請求項１，請求項２または請求項３に記載の類似音声音楽検索装置において，
前記類似検索手段は，
部分類似度の高い短時間窓音声音楽特徴量の検索において，短時間窓音声音楽特徴量の代わりに，時間順に並ぶＫ個（Ｋは２以上の任意の整数）ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて，部分類似度の高い平均短時間窓音声音楽特徴量を検索し，
前記比較統合手段は，
正解候補音声音楽区間の作成において，前記平均短時間窓音声音楽特徴量を用いた類似検索手段の結果により，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索装置。
検索対象となる音声音楽信号から，検索キーとなる音声音楽信号と類似する音声音楽信号を検索する類似音声音楽検索処理方法であって，
検索キーとなる音声音楽信号を入力する検索キー入力過程と，
前記検索キーとなる音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する特徴量抽出過程と，
前記抽出された短時間窓音声音楽特徴量を用いて，蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から，部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索過程と，
前記類似検索の結果により，前記部分類似度が高い短時間窓音声音楽特徴量を含むように，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し，その正解候補音声音楽区間と前記検索キーとの全体類似度を計算する比較統合過程と，
前記全体類似度の高い順に，前記正解候補音声音楽区間を出力する表示出力過程とを有する
ことを特徴とする類似音声音楽検索処理方法。
請求項５に記載の類似音声音楽検索処理方法において，
前記比較統合過程では，
正解候補音声音楽区間の作成において，前記検索キーの音声音楽信号中での前記検索キーの短時間窓音声音楽特徴量の位置と，前記部分類似度の高い短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ，前記検索対象の音声音楽信号から前記検索キーの音声音楽信号と同一の長さの音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索処理方法。
請求項５または請求項６に記載の類似音声音楽検索処理方法において，
前記比較統合過程では，
前記検索キーと前記正解候補音声音楽区間との全体類似度の計算において，個々の短時間窓音声音楽特徴量を表す多次元ベクトル間の距離のうち，距離の近いものだけの和をとり，その和が小さいものほど全体類似度が高いとする
ことを特徴とする類似音声音楽検索処理方法。
請求項５から請求項７までのいずれかに記載の類似音声音楽検索処理方法において，
前記類似検索過程では，
部分類似度の高い短時間窓音声音楽特徴量の検索において，短時間窓音声音楽特徴量の代わりに，時間順に並ぶＫ個（Ｋは２以上の任意の整数）ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて，部分類似度の高い平均短時間窓音声音楽特徴量を検索し，
前記比較統合過程では，
正解候補音声音楽区間の作成において，前記平均短時間窓音声音楽特徴量を用いた類似検索手段の結果により，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索処理方法。
請求項５から請求項８までのいずれか１項に記載された類似音声音楽検索処理方法をコンピュータに実行させるための類似音声音楽検索プログラム。
請求項５から請求項８までのいずれか１項に記載された類似音声音楽検索処理方法をコンピュータに実行させるためのプログラムを記録した類似音声音楽検索プログラムの記録媒体。