JP2006505821A - 指紋情報付マルチメディアコンテンツ - Google Patents

Abstract

マルチメディア信号、特に音声信号から指数情報を取り出す方法及び装置であって当該音声信号の速度変化に無関係なものが開示されている。このため、本方法は、マルチメディア信号、例えば音声信号のパワースペクトルから強力な知覚的特徴のセットを抽出すること（１２，１３）を含む。フーリエ・メリン変換（１５）によって、そのパワースペクトルを、音声再生速度が変化した場合にのみ位相変化を受けるフーリエ係数に変換する。これらの大きさ又は位相差（１６）は、速度変化に不変な指紋情報を構成する。閾値動作（１９）によって、指紋情報を少数ビットによって表すことができる。

Description

本発明は、マルチメディア信号から指紋情報（又は埋め込まれた透かし情報）を取り出す方法及び装置に関する。

ハッシュ又はシグネチャと呼ばれることのある文献における指紋情報は、マルチメディアコンテンツから取り出された２進シーケンスであり、当該コンテンツを認識するために用いることができる。データファイルの暗号法のハッシュ（データファイルの単一ビットが変化するとすぐに変化するもの）とは異なり、マルチメディアコンテンツ（音声、画像、ビデオ）の指紋情報は、圧縮やＤ/Ａ及びＡ/Ｄ変換のような処理に対してある程度不変なものである。これは一般に、当該コンテンツの知覚的に必須な特徴から指紋情報を取り出すことによって達成される。

マルチメディア信号から指紋情報を抽出する従来の方法は、国際特許出願ＷＯ０２／０６５７８２に開示されている。この方法は、マルチメディア信号から強固な知覚的特徴のセットを抽出するステップと、当該特徴のセットを指紋情報に変換するステップとを有する。音声信号の場合、当該知覚的特徴は、選択されたサブバンドにおける音声成分のエネルギである。画像信号の場合、知覚的特徴は、当該画像が分割された結果としての各ブロックの平均輝度である。２進シーケンスへの変換は、閾値処理、例えばその隣接のものと各特徴サンプルを比較する処理によって行われる。

指紋情報処理の注目すべき用途は、コンテンツ認証である。音楽の曲又はビデオクリップのアーチスト及びタイトルは、当該未知のマテリアルの抄録又は抜粋から指紋情報を抽出してそれを当該情報が記憶された指紋情報の大規模データベースに送ることによって認証可能である。

実験により、音声信号から指紋情報を抽出する従来の方法は、ＭＰ３圧縮及び伸長、等化、再サンプリング、ノイズ付加並びにＤ/Ａ及びＡ/Ｄ変換などの一般的に使用されている殆ど全ての音声処理動作に対して非常に強固であることが判明されている。

ラジオ局によって数パーセント音声を高速化することは極めて普通である。ラジオ局は恐らく２つの理由のためにこれを行っている。１つは曲の持続期間が短くなるので、ラジオ局がより多くのコマーシャルを放送することが可能となる点である。２つ目には、曲のビートが速く聴取者がこれを好んでいると考えられる点である。速度の変更は、通常は０ないし４パーセントである。

音声マテリアルの速度変更は、時間及び周波数領域双方における配置ミスをもたらす。従来技術の指紋情報抽出方法は、時間領域における誤配置を受けない。何故なら指数情報は、重なる音声フレームから抽出される小さな副指紋情報の連続であるからである。約２％の速度変化は、対応するオリジナルの抜粋の２５５番目の副指紋情報の位置において２５０番目の副指紋情報の抜粋が抽出されるに過ぎない。

周波数領域における配置の誤りは、他の周波数へのスペクトルエネルギのシフトにより生じる。上記例の２％高速化によって全ての音声周波数が２％上昇する。従来技術の音声指紋情報抽出方法においては、これにより、選択されたサブバンドにおけるエネルギ（及びその指紋情報）が変化してしまう。その結果、異なる速度のバージョンに対応する複数の指紋情報が曲毎にデータベースに記憶されていない限り、指紋情報はもはやデータベースにおいて見つからなくなる。

同様の考察は、画像及びビデオマテリアルにも、また指紋情報の抽出のために用いられる他の種類の知覚的特徴にも当てはまる。

本発明の目的は、マルチメディアコンテンツから指紋情報を抽出するための改善された方法及び装置を提供することである。本発明の特定の目的は、音声信号から指紋情報を抽出する方法及び装置であって当該音声信号の速度変化に対して実質的に不変なものを提供することである。

このため、マルチメディア信号から指紋情報を抽出する本発明による方法は、前記マルチメディア信号から強固な知覚的特徴のセットを抽出するステップと、当該抽出されたセットの特徴をフーリエ・メリン変換にかけるステップと、当該変換されたセットの特徴を指紋情報を構成するシーケンスに変換するステップと、を有する。

本発明は、フーリエ・メリン変換（Fourier-Mellin transform）がログマッピング及びフーリエ変換からなるという見識を利用するものである。このログマッピングは、シフトにおける速度変化のためにエネルギスペクトルのスケーリングを変換する。後のフーリエ変換は、当該シフトを全てのフーリエ係数にとって同じ位相変化に変換する。フーリエ係数の大きさは、速度変化の影響を受けない。したがって、当該大きさ又はフーリエ係数の位相の導関数から得られる指紋情報は、速度変化に対して不変である。

以下、本発明を、音声信号から指紋情報を抽出する装置について説明する。図１は、本発明による当該装置を概略的に示している。

この装置は、フレーミング回路１１を有し、この回路は、当該音声信号を概して０．４秒でオーバラップ（重なり）係数が３１／３２の重なりフレームに分割する。このオーバラップは、後のフレームの副指紋情報の一方と他方との間の高い相関性が得られるように選定される。フレームに分割する前では、音声信号は概して３００Ｈｚ〜３ｋＨｚの周波数範囲に限定されダウンサンプルされているので（図示せず）、各フレームは２０４８サンプルを有する。

フーリエ変換回路１２は、毎フレームのスペクトル内容を計算する。次のブロック１３において、音声フレームのパワースペクトルが、例えば（複素）フーリエ係数の大きさを２乗することによって計算される。２０４８個の音声信号サンプルの各フレームについて、パワースペクトルは、１０２４サンプルにより表される（正及び対応する負の周波数は同じ大きさを有する）。このパワースペクトルのサンプルは、強固な知覚的特徴のセットを構成する。このスペクトルは、Ｄ／Ａ及びＡ／Ｄ変換又はＭＰ３圧縮などの動作には殆ど影響を受けない。

パワースペクトルの計算の後、オプションとしての正規化回路１４は、当該パワースペクトルに対して局部的正規化を施す。かかる正規化（これは逆畳み込み及びフィルタリング処理を含む）は、パワースペクトルのより決定的で強固な内容を得るので性能が向上する。局部的正規更は、当該スペクトルの重要な特性を保持するものであり、等化処理などの音声スペクトルの局部的変更を含む音声処理の全種類に対して強固なものである。最も有望なアプローチは、スペクトルの音色の部分を局部的な平均値で正規化することにより強調することである。数学的には、次のように、正規化スペクトルＮ（ω）は、スペクトルＡ（ω）をその局部平均Ｌｍ（ω）で割ることによって得られる。

この局部平均は、種々の方法によって計算可能であり、例えば、次のようなものなどがある。

正規化されたスペクトルは等化に対して不変のままである。さらに、音色情報は、人間の聴覚に直接関係し、殆どの音声処理の後に十分に残存させられる。音色情報の重要性は広く認められており、音声認識や音声圧縮のビットアロケーションに用いられている。局部正規化は多くの利点を有するが、ω−δとω＋δとの間の音色成分がない場合、圧縮後に不一致となる。この効果を軽減するために、Ｌｍ（ω）に時間積分とトータルエネルギ期間が付加される。そして次のように、変更された局部平均Ｌｍ′（ω）が求められる。

ここでΔ及びαは定数であり、これらは実験によって決定される。時間積分によって、正規化はより正確となり、トータルエネルギ期間は、正規化後の小さい非音色成分の増加を制限する。

本発明は、速度変化回復を達成するためにパワースペクトルへフーリエ・メリン変換１５を適用するところにある。フーリエ・メリン変換は、ログマッピング処理１５１及びフーリエ変換（又は逆フーリエ変換）からなる。

図２及び図３は、ログマッピング動作を示している。図２において、参照符号２１は、音声信号が通常速度で再生されている場合にフーリエ変換１２によって供給されるような音声フレームのパワースペクトルのサンプルを指している。便宜上、３００〜３０００Ｈｚの範囲における滑らかなパワースペクトルを示している。実際には、このスペクトルは、凹凸の外形を呈するのが普通である。図２における参照符号２２は、音声信号が高速で再生されている場合における同じ音声フレームのパワースペクトルを指している。この図から分かるように、速度変化によってパワースペクトルは伸縮される。

図３は、ログマッピング回路１５１によって計算されるような対応するパワースペクトルを示している。このパワースペクトルは、ここで対数的に間隔をおいた選択された数の連続的なサブバンドにおける音声フレームのエネルギを表す。参照符号３１は、通常速度で再生されている音声信号のログマッピングされたパワースペクトルを指す。参照符号３２は、高速で再生されている音声信号のログマッピングされたパワースペクトルを指す。

ログマッピングの処理は、幾つかの方法によって実行可能である。図３に示される実施例においては、入力スペクトルは内挿され対数的に間隔をおいたインターバルで再サンプルされる。他の実施例（図示せず）においては、入力パワースペクトルの対数的に間隔をおいた（仕分けされた）サブバンド内のサンプルは、ログマップ化されたパワースペクトルのそれぞれのサンプルを得るように累積される。

ログマップ化されたパワースペクトルを呈するサンプルの数は、後の動作が十分な精度で実行されることが可能なように選択される。実用的実施例では、ログマップ化されたパワースペクトルは５１２個のサンプルによって表される。図３の観察から分かるのは、ログマッピング動作によって、速度変化によるパワースペクトルのスケーリング（２１→２２）がシフト（３１→３２）へ変換されることである。フレーム期間内で音声信号の再生速度が変わらない限り（これは実用上理にかなった前提である）、当該シフトは全ての係数について同じである。

その後のフーリエ変換１５２によって、当該シフトが複素フーリエ係数の位相の変化に変換される。この位相変化は、全ての係数について同じである。したがって、音声信号の速度が変化した場合、フーリエ変換回路１５２によって計算された全てのフーリエ係数の位相は、同じ量だけ変化する。すなわち、各係数の大きさもそれらの位相差も速度変化に対して不変である。これらは、計算回路１６において計算される。当該大きさ及び位相差は正及び負の周波数に対して同じなので、特異値の数は２５６である。

音声フレームのログマップ化されたパワースペクトルを呈する２５６個の大きさ又は位相差のベクトルは、以下、Ｆ（ｋ，ｎ）と称し、ｋ＝１．．．２５６とし、ｎは音声フレーム番号とする。実際、このベクトルは、速度変化に不変な指紋情報を構成する。但し、値の個数は多く、各値はディジタル指紋情報システムにおいて多ビット表示を必要とする。指紋情報を表すためのビットの数は、最も低い次数の値だけを選択することによって減らすことができる。これは、選択回路（Ｓｅｌｅｃｔ）１７によって行うことができる。３２個の最も低い値（最も重要な係数）は、ログマップ化されたパワースペクトルの十分に正確な表示を呈する。

ビット数は、選択された大きさ又は値に対する位相差を閾値処理にかけることによってさらに減らすことができる。簡単な実施例においては、閾値処理段（Threshold）１９は、各特徴サンプルに対して１つのビットを発生する。例えば、値Ｆ（ｋ，ｎ）が閾値を上回る場合には「１」を、当該閾値以下の場合には「０」を発生する。或いは、対応する特徴サンプルＦ（ｋ，ｎ）がその隣接のものよりも大きい場合には値「１」を、そうでない場合には「０」を指紋情報ビットに付与する。このために、特徴サンプルＦ（ｋ，ｎ）は、一次元時間フィルタ（（２ＤFilter）１８において先ずフィルタ処理される。本実施例は、後者の代替のものの改良されたバージョンを用いる。この好適実施例においては、特徴サンプルＦ（ｋ，ｎ）がその隣のものよりも大きいとき及び前のフレームにおいてもそのような場合であったときに、指紋情報ビット「１」が発生される。そうでないときは、指紋情報ビットは「０」とされる。この実施例において、フィルタ１８は２次フィルタである。数学的に表記すると、

である。閾値処理が用いられると、音声フレームから抽出されている各副指紋情報は３２ビットを有する。

本発明を音声の指紋情報について説明してきたが、画像及び動画ビデオのような他のマルチメディア信号に本発明を適用することも可能である。速度変化は音声信号にしばしば適用されるが、シフト、スケーリング及び回転などのアフィン変換は画像やビデオにもしばしば適用される。本発明による方法は、かかるアフィン変換に対しての強固さを向上するために用いることができる。２次信号の場合、ログマッピング処理１５１は、回転に対してもスケーリング（アスペクト比保持）に対しても不変となるように複素対数極座標変換（log-polar mapping）に変更される。ログ・ログマッピング（log-log mapping）により当該アスペクト比の変化が不変なものとされる。フーリエ・メリン変換（ここでは２Ｄ変換）の大きさ及び周波数軸に沿うその位相の二重微分は、所望のアフィン不変特性を有する。

開示しているのは、マルチメディア信号（特に音声信号）から指紋情報を抽出するための方法及び装置であって音声信号の速度変化に不変なものである。このために、本方法は、マルチメディア信号、例えば音声信号のパワースペクトルから強固な知覚的特徴のセットを抽出すること（１２，１３）を含んでいる。フーリエ・メリン変換（１５）は、パワースペクトルを音声再生速度が変化した場合にのみ位相変化を受けるフーリエ係数に変換する。これらの大きさ又は位相差（１６）は、速度変化に不変な指紋情報を構成する。閾値処理（１９）によって、指紋情報は少ないビット数によって表すことが可能となる。

マルチメディア信号から指紋情報を抽出する装置、すなわち本発明により当該指紋情報を抽出する方法の対応する各ステップを概略的に示す図。 図１に示されるログマッピング回路の動作を示す図。 図１に示されるログマッピング回路の動作を示す図。

Claims (8)

1. マルチメディア信号から指紋情報を抽出する方法であって、
   ・前記マルチメディア信号から強固な知覚的特徴のセットを抽出するステップと、
   ・当該抽出されたセットの特徴をフーリエ・メリン変換にかけるステップと、
   ・当該変換されたセットの特徴を指紋情報を構成するシーケンスに変換するステップと、
   を有する、
   方法。
2. 請求項１に記載の方法であって、前記変換するステップは、フーリエ・メリン変換の大きさを変換することを含む、方法。
3. 請求項１に記載の方法であって、前記変換するステップは、前記フーリエ・メリン変換の位相の導関数を変換することを含む、方法。
4. 請求項１に記載の方法であって、前記マルチメディア信号は、音声信号であり、前記フーリエ・メリン変換は、前記知覚的特徴のセットに適用される１次ログマッピング処理を含む、方法。
5. 請求項１に記載の方法であって、前記マルチメディア信号は、画像又はビデオ信号であり、前記フーリエ・メリン変換は、前記知覚的特徴のセットに適用される２次複素対数座標変換処理を含む、方法。
6. 請求項１に記載の方法であって、前記マルチメディア信号は、画像又はビデオ信号であり、前記フーリエ・メリン変換は、前記知覚的特徴のセットに適用される２次ログ・ログマッピング処理を含む、方法。
7. 請求項１に記載の方法であって、前記抽出するステップは、前記知覚的特徴のセットの正規化を含む、方法。
8. マルチメディア信号から指紋情報を抽出する装置であって、
   ・前記マルチメディア信号から強固な知覚的特徴のセットを抽出する手段と、
   ・当該抽出されたセットの特徴をフーリエ・メリン変換にかける手段と、
   ・当該変換されたセットの特徴を前記指紋情報を構成するシーケンスに変換する手段と、
   を有する、
   装置。

Images