JP2006501498A - 指紋抽出 - Google Patents

Abstract

指紋は、媒体信号（例えば、オーディオ又はビデオクリップ）を識別するようその媒体信号から抽出されるビットストリングである。一般的に、指紋は、例えば、オーディオフラグメントのスペクトルエネルギー分布又はビデオ画像の輝度分布といった媒体信号の知覚的特性から得られる。本願には、知覚的特性のシフトに対してロバストである、指紋抽出の方法及び構成を開示する。このようなシフトは、特に、指紋が、オーディオ信号の対数的にマッピングされたスペクトルエネルギー分布から得られ、そのオーディオ信号が速度変化を受ける場合に、発生する。本発明では、指紋は、知覚的特性自体から得られるのではなく、その自己相関関数から得られる。

Description

本発明は、媒体信号から指紋を抽出する方法及び装置に係る。

署名又はハッシュともしばしば称される指紋は、例えば、オーディオ曲、画像、ビデオクリップ等のマルチメディアコンテンツから得られるビットシーケンスである。マルチメディア指紋は、特に、受信コンテンツがオリジナルであるか否かを検証する、又は、コンテンツが改ざんされたか否かを検出するために用いることが好適である認証の分野において用いられる。指紋は、メディアコンテンツを識別するためにも用いられる。近い将来非常に人気となり得るサービスは、オーディオ識別である。未知の音楽から得られる指紋がデータベースに送られ、このデータベースにおいて、タイトル、アーティスト、及び他のメタデータが調べられ、消費者に戻される。

媒体信号から指紋を抽出する公知の方法は、出願人の国際特許出願ＷＯ０２／０６５７８２に開示される。この従来技術の方法の概略図を図１に示す。媒体信号（ここではオーディオ曲）は、重なりフレームに分割される（１０１）。各フレームのスペクトル表現が、高速フーリエ変換を行うことにより得られる（１０２）。次に、３３の対数的に間隔が置かれたサブバンドにおけるオーディオ信号のエネルギーが計算される（１０３）。バンドは、３００乃至２０００Ｈｚの範囲にあり、これは知覚的に最も適切な範囲である。３３のエネルギーレベルは、各オーディオ信号フレームの一連の知覚的特性サンプルを構成する。オーディオ信号の絶対音量に対し不変であるよう、また、主要な１つのオーディオ周波数が連続フレームに対し同一のシーケンスを生成しないよう単純な２次元フィルタ（１０４）を、３２の差異特性サンプルを得る前にスペクトログラムに適用する。シーケンスは、次に、適切な閾値演算によりビットストリングに変換される（１０５）。より具体的には、特定のフレームにおけるサブバンドは、その隣接サブバンドとのエネルギー差が、前のフレームにおけるその隣接サブバンドとのエネルギー差より大きい場合は、ビット「１」が割当てられる。大きくない場合は、指紋ビットは、「０」である。

公知の方法は、各オーディオフレームに対し３２ビットのストリング（約０．４秒）を生成する。フレームは、ビットストリングが時間と共にゆっくりと変化するよう重なっている（例えば、３１／３２倍で）ことが好適である。これは、指紋抽出を時間シフト及びフレーム境界位置付けに対し不変であるようにする。一般的に、２５６の重なりフレームのブロック、即ち、２５６×３２＝８１９２ビット（オーディオの約３秒）を用いて曲を識別している。

従来技術の指紋抽出方法は、ＭＰ３符号化、サンプルレート変換、Ｄ／Ａ及びＡ／Ｄ変換、均等化といったほとんど全ての一般的に用いられるオーディオ処理段階に対し非常にロバストであることが分っている。しかし、従来技術の方法は、速度変化に対してはあまりロバストではない。無線局が、オーディオを、数パーセント加速することはかなり一般的である。無線局は、２つの理由からこのことを行うと考えられる。第１に、その場合、曲の継続時間が短くなり、従って、より多くの宣伝を放送することが可能となる。第２に、曲のビートが速くなり、リスナはこれを好むようである。速度変化は、一般的に、ゼロと４パーセントの間である。

本発明は、媒体信号から指紋を抽出する改良された方法及び装置を提供することを目的とする。

このために、本発明の方法は、媒体信号から、その媒体信号の所与の知覚的特性のサンプルのシーケンスを得る段階と、自己相関値のシーケンスを得るよう特性サンプルのシーケンスに自己相関関数をかける段階と、自己相関値を、各閾値と比較する段階と、比較の結果を、指紋の各ビットにより表す段階とを有する。

本発明の方法は、指紋ビットが、媒体信号の知覚的特性自体から得られるのではなく、その知覚的特性の自己相関から得られるという点で、従来技術の方法とは異なる。本発明は、オーディオ信号の速度変化は、サブバンドにおけるエネルギーレベルを１つのサブバンドから別のサブバンドにシフトさせるという認識に基づいており、また、自己相関関数はシフトに対し不変であるという見識を利用する。

自己相関関数は、連続（時間）領域においては周知である。しかし、ここでは、特性値（例えば、エネルギーレベル）の有限シーケンスを取り扱う。従って、本発明の方法の実用的な実施例では、所望の自己相関は、特性サンプルのサブシーケンスを、特性サンプルの完全なシーケンスと相関させることにより近似される。

自己相関関数は、統計的に有意な数の特性サンプルから計算されることが好適であり、この数は、指紋ビットの所望数より大きい。計算された自己相関関数のダウンサンプリングが、自己相関値の所望数を得るために与えられる。

オーディオ信号の速度変化は、時間領域及び周波数領域の両方における不一致（misalignment）をもたらす。時間的な不一致を考慮するに、例えば、２％の速度変化を受けるオーディオ抜粋は、この抜粋の２５０番目の指紋が、元の抜粋の２５５番目の指紋の位置において抽出されることをもたらす。好都合に、シフト不変であるためには、指紋は、時間軸に沿って相関関係を有するよう構成される。従って、元の抜粋と、速度変化を有する同じ抜粋とのＢＥＲ（ビット誤り率）は、時間的な不一致によって劇的に増加するわけではない。

従って、大きい速度変化により引き起こされる主な問題は、周波数の不一致である。図１に示す従来技術の構成では、２％の加速は、フーリエ変換で得られるスペクトラムの周波数軸のスケーリング（scaling）をもたらす。例えば、５００Ｈｚのトーンは、結果として５１０Ｈｚのトーンとなり、１０００Ｈｚのトーンは、結果として１０２０Ｈｚのトーンとなる。スペクトラムを計算した後、対数的に間隔が置かれたバンドにおけるエネルギーが決定される。バンドは、対数的に間隔が置かれるので、速度変化は、１つのバンドから次のバンドへのエネルギーのシフトを結果としてもたらす。１つのバンドから次のバンドへシフトするエネルギーが多いほど、抽出された指紋ビットが誤りとなる確率が大きくなる。これは、指紋ビットは、隣接バンドのエネルギー差により決定されるという事実による。

総当たり攻撃（brute force）アプローチを使用して、大きい速度変化を有するオーディオを識別することが提案されている。総当たり攻撃アプローチは、データベース内に、複数の速度で抽出された指紋を格納することか、又は、複数の速度で抽出された指紋を用いてデータベースにクエリすることにより構成される。この方法の不利点は、検索速度及び／又は格納要件は、Ｎ倍で増加することであり、Ｎは、特定のアプリケーションに必要な様々な速度の数である。

図２は、本発明によるオーディオ信号から指紋を抽出する構成を示す図である。図２では、図１を参照して既に説明した段階と同一又は同様の機能には同じ参照番号を用いる。より具体的には、オーディオ信号は、重なりフレームに分割され（１０１）、各フレームのスペクトラムが計算される（１０２）。

自己相関段階（２０２）は、より良好な速度変化耐性を達成するための基本的な段階である。速度変化により、計算されたエネルギーベクトルがシフトする。自己相関は、シフト不変である特性を有する。一般的に知られるように、連続関数ｆ（ｔ）の自己相関ρ（ｘ）は、

である。

しかし、ここでは、無限の連続関数ｆ（ｔ）を取り扱うのではなく、特性サンプル（エネルギー）の有限のシーケンスである。統計的に有意な数の特性サンプルから自己相関を計算するために、３３ではなく、５１２のサブバンドのエネルギーが計算される（２０１）。バンドは依然として対数的であり、また、依然として３００乃至２０００Ｈｚの範囲内にある。従って、バンドは、より小さい幅を有する。自己相関は、エネルギーのサブシーケンスを完全なシーケンスと相関させることにより近似される。より具体的には、自己相関ρ［ｘ］は、以下のように、サブバンドエネルギーサンプルＥ（ｊ）から計算される。

ただし、ここではＮは、全エネルギーベクトルの長さを表し（ここでは、Ｎ＝５１２）、Ｍは、サブシーケンスの長さを表し、Ｋは、完全なシーケンスにおいてサブシーケンスが始まる位置を表す。Ｍ及びＫの一般的な設定は、それぞれ６４と９６である。ロバスト性を高めるために、結果として得られる自己相関値は、任意選択的に低域通過フィルタリングされる（２０３）。低域通過フィルタリングされた自己相関は、５１２−６４＝４４８の値を有し、一方、３３の入力値は、閾値演算（１０５）の前の２次元フィルタ（１０４）に必要とされる。従って、４４８の自己相関値は、ダウンサンプラ（２０４）において３３の値にダウンサンプリングされる。結果として得られる指紋は、各フレームに対し３２ビットのストリングである。

方法と構成の実施例は、オーディオ指紋抽出を参照して説明したが、本発明はこれに制限されるものではない。前出の出願人の国際特許出願ＷＯ０２／０６５７８２は、ビデオ指紋が、各画像が分割される画像ブロックの平均輝度値から得られるビデオ指紋抽出方法を開示する。本発明では、各画像は、より大きい数のブロックに分割され、そのブロックのサブセット（「スーパーブロック」）は、そのスーパーブロックの幾つかの位置に対し、全画像と相関される。得られた自己相関値のシーケンスは、ビデオ画像のシフトに対し不変である。このシーケンスは、任意選択的に低域通過フィルタリングされ、その後、ダウンサンプリングされる。

本発明は、以下のように要約することができる。指紋は、媒体信号（例えば、オーディオ又はビデオクリップ）を識別するためにその媒体信号から抽出されるビットストリングである。一般的に、指紋は、例えば、オーディオフラグメントのスペクトルエネルギー分布又はビデオ画像の輝度分布といった媒体信号の知覚的特性から得られる。本願には、知覚的特性のシフトに対してロバストである、指紋抽出の方法及び構成を開示する。このようなシフトは、特に、指紋が、オーディオ信号の対数的にマッピングされたスペクトルエネルギー分布から得られ、そのオーディオ信号が速度変化を受ける場合に、発生する。本発明では、指紋は、知覚的特性自体から得られるのではなく、その自己相関関数から得られる。

オーディオ信号から指紋を抽出する従来技術の構成を示す図である。 オーディオ信号から指紋を抽出する本発明の構成を示す図である。

Claims (7)

1. 媒体信号から指紋を抽出する方法において、
   前記媒体信号から、前記媒体信号の所与の知覚的特性のサンプルのシーケンスを抽出する段階と、
   前記シーケンスから、前記指紋を構成する２値シーケンスを得る段階と、
   を有する方法であって、前記方法は更に、
   自己相関値のシーケンスを得るよう前記特性サンプルのシーケンスに自己相関関数をかける段階と、
   前記自己相関値を、各閾値と比較する段階と、
   前記比較の結果を、前記指紋の各ビットにより表す段階と、
   を有することを特徴とする方法。
2. 前記特性サンプルのシーケンスに自己相関関数をかける段階は、
   特性サンプルのサブシーケンスを、特性サンプルの完全なシーケンスと相関させる段階を有する請求項１記載の方法。
3. 前記特性サンプルのシーケンスに自己相関関数をかける段階は、
   所望数の自己相関値を得るよう前記自己相関値のシーケンスをダウンサンプリングする段階を更に有する請求項１記載の方法。
4. 前記媒体信号から、知覚的特性値シーケンスを得る前記段階は、
   オーディオ信号をサブバンドに分割する段階と、
   前記オーディオサブバンドのエネルギーを計算する段階と、
   を有する請求項１記載の方法。
5. 前記媒体信号から、知覚特性のシーケンスを得る前記段階は、
   画像をブロックに分割する段階と、
   前記画像ブロックの輝度を計算する段階と、
   を有する請求項１記載の方法。
6. 媒体信号から指紋を抽出する装置において、
   前記媒体信号から、前記媒体信号の所与の知覚的特性のサンプルのシーケンスを得る手段と、
   前記シーケンスから、前記指紋を構成する２値シーケンスを得る手段と、
   を有する装置であって、前記装置は更に、
   自己相関値のシーケンスを得るよう前記特性サンプルのシーケンスに自己相関関数をかける手段と、
   前記自己相関値を、各閾値と比較する手段と、
   前記比較の結果を、前記指紋の各ビットにより表す手段と、
   を有することを特徴とする装置。
7. 受信した媒体信号から、該媒体信号の所与の知覚的特性のサンプルのシーケンスを得る段階と、
   自己相関値のシーケンスを得るよう前記特性サンプルのシーケンスに自己相関関数をかける段階と、
   前記自己相関値を、各閾値と比較する段階と、
   前記比較の結果を、指紋の各ビットにより表す段階と、
   を、プログラマブル装置に行わせる命令を有するコンピュータプログラム。

Images