JP2010530100A - 複数の検索の組み合わせを使用して、オーディオ／ビデオの指紋検索精度を改善する方法及び装置 - Google Patents

Abstract

オーディオ及び／又はビデオの情報のセグメントの識別で使用される方法は、前記セグメント中の複数の間隙を介した時間的位置の各々で質問指紋を得る工程と、そのような各質問指紋に一致し得るデータベース中の指紋を検索する工程と、そのような各質問指紋に対してデータベース中で見つかった指紋の潜在的な一致の信頼水準を得る工程と、そして潜在的な一致を得るために検索する結果を組み合わせる工程であって、そこでは各潜在的な一致結果がそれぞれの信頼水準によって重み付けられる工程を有する。信頼水準は、（１）質問指紋と見つかった指紋との間の差の測定値、および（２）質問指紋の時間的位置と見つかった指紋の時間的位置の相対的なタイミング関係、の少なくとも一方又は両方の関数である。
【選択図】図３

Description

本発明は、オーディオとビデオの指絞採取に関する。さらに詳しくは、本発明は指紋検索精度における精度の改善に関する。

デジタルコンテンツの急成長で、適切にコンテンツを管理し見つけることの需要が増加している。予期される１つの応用は、既知のコンテンツの保存場所内のオーディオやビデオの抜粋（excerpt）を確認することである。これは、インターネット上のコンテンツの違法なダウンロードや転送の監視に役立つ。使用者が聞いたり、見たり、興味のあるコンテンツではあるが、タイトルや著者情報を知らないコンテンツへのインテリジェントなアクセスを提供するのに役立つ。使用者は、例えば、現在歌を再生しているラウドスピーカーに携帯電話を押しつけて、携帯電話の運営者のソフトウェアによって歌のタイトル、その芸術家およびアルバム情報、その他を見つけ出させることができる。

そのような識別能力は、ユニークにオーディオおよびビデオ信号を識別するように設計された特徴情報（指紋（fingerprint）と呼ばれる）を最初に生成することで一般的に実施され、次に、保存場所／データベースからの指紋と検索質問（search query）の抜粋との間のパターンマッチング検索が実施される。また、そのようなデータベースはしばしば検索木（search tree）の形で実施されるが、別のデータ構造も可能である。一般に、各指紋はオーディオまたはビデオの一定のセグメントに相当する。したがって、２秒のオーディオ指紋はオーディオの２秒のセグメントに相当する。指紋は、しばしば署名（signature）と呼ばれる特徴情報の小さなブロックの連結として通常実施される。例えば、２秒の指紋は２００個の１０ミリ秒長の署名から成る。そこでは各署名は１０ミリ秒の新しいオーディオあるいはビデオ情報から計算される。したがって、指紋のパターンマッチングは対応する署名を比較する過程である。これは、署名からの指紋の生成を示す図1に示される。

検索質問の抜粋からの指紋とデータベースからの指紋との間の適切なパターンマッチングを行なうために、比較の間において両者の間に適切な時間的整合を有することは重大である。通常、それを保証するために、あらゆる可能な時間オフセットからスタートする全ての指紋がデータベースに加えられて、その中の少なくとも１個が質問指紋（query fingerprint）に十分に接近している時間的整合を有することを保証する。署名が長さ１０ミリ秒である場合、２秒の指紋は２秒のスライドウィンドウ上に１０ミリ秒ごとに移され、次に、データベースに加えられる。これもまた図1に示されており、この場合、それは連続の指紋間の９９．５％のオーバーラップを作成する。しかし、そのような冗長性はよい検索のパフォーマンスを保証するために通常要求される。１０ミリ秒（あるいは一般に、各署名の時間）未満のどんな残り時間不整合に対処するためにも、良く設計された指紋生成方法では、質問に対応する署名により適合するように、タイミングの観点からより接近しているいずれかの署名を選択するべきである。要するに、指紋検索システムのゴールは質問指紋に対応する相当物指紋を見つけることである。また、そのような不整合が少しでも存在する場合でも、相当物指紋は質問指紋との時間不整合を最小限にする。

質問抜粋が、携帯電話を使用してラウドスピーカーで再生された音から再現するような、若干の編集ステップあるいは処理ステップを受けるので、得られたオーディオ／ビデオ信号に若干の歪みがある。その結果、得られる指紋は、データベース中にそれらの相当物があると見なして、データベース中の相当物に対して僅かに変化してもよい。

抜粋中の歪みの可能性によって、そのような検索での最良一致が、多くの場合同一一致ではなく、しかし最も近い一致の形式であることを意味する。最も近い一致を定義するためには、２個の指紋間の差の測定値（measure of difference）の定義が必要となる。例えば、差の測定値に一般に用いられるのはハミング距離であり、すなわち、質問抜粋からの指紋とデータベースからの指紋と間の異なるビットの数である。差の測定値におけるこの定義で、最も近い一致に対応する判定基準は、このように質問抜粋からの指紋からの最小のハミング距離を有するデータベースからの指紋である。指紋中のビットの数で割られた２個の指紋間のハミング距離は、しばしばビット誤り率（ＢＥＲ）と呼ばれる。ＢＥＲは相対差の測定値の具体例である。抜粋とその相当物からの指紋間のＢＥＲが小さい場合に、最小のハミング距離の判定基準が良く働く。しかしながら、ＢＥＲが増加すると、最小のハミング距離を生成する検索結果は、ますます実際の相当物を見つけなくなる。幸運にも、たいていの指紋検索のアプリケーションでは、正確なオーディオ／ビデオピースを識別することだけが必要であり、必ずしも対応するセグメントを識別する必要はない。しかし、ＢＥＲがさらに増加する場合、検索結果にはオーディオ／ビデオピース内の正確なセグメントはいうまでもなく、さらに間違ったオーディオ／ビデオピースを見つけるようになる。ＢＥＲは、質問抜粋中の歪みのレベルおよびそのような歪みに関する指紋抽出法のロバスト性の両方に依存する。

更に、抜粋がデータベース中のいかなる構成要素にも属さないことがありえる。例えば、抜粋が音楽の新しい作曲の録音の場合である。抜粋がデータベースに属するかどうか検索アルゴリズムが（知らされることなしで）前もって知ることができないので、それができる最良のものは、引き続いて最小のハミング距離の同じ基準を適用することである。しかし、そのような場合に見つかった最小のハミング距離は、もとのデータベースからの抜粋の距離と比較すると、はるかに異なる（むしろより大きい）ことが予想される。そこで、抜粋がデータベースからか否か判断するために、あるしきい値を使用する。

したがって、例えばＢＥＲの項のように、任意のしきい値を適用する前に、データベースを検索するために１個の質問指紋だけが使用されるような、単一の検索動作の後に３個の起こりうる結果がある：
１．抜粋がデータベースに属する。そして、検索では正確なオーディオ／ビデオピースを返す。正確なピースを見つけることで十分であり、正確な相当物セグメントを見つけることは必要ではない。
２．抜粋がデータベースに属する。そして、検索では間違ったオーディオ／ビデオピースを返す。
３．抜粋がデータベースに属さない。そして、検索があるオーディオ／ビデオピースを常に返すので、答えは常に間違っている。

図2は、単一の検索の３個の異なる起こりうる結果に対するＢＥＲ分布の具体例を示す。これらの各結果は、ＢＥＲの対応する確率密度関数（ＰＤＦ）分布を生成する。良く設計された指紋抽出アルゴリズムでは、図2に示されるように、第1結果のＢＥＲは第2結果と第３結果のＢＥＲより一般に小さい。

しかしながら、第2結果と第３結果のＢＥＲとが非常に良く似たＰＤＦ分布を有するならば、抜粋がデータベースに属するが間違った検索結果を有する場合と、抜粋がデータベースに属しない場合とを区別するのは難しい。さらに、もともとデータベースに基づくピースに対しても、コーデック圧縮のような一般のオーディオ／ビデオ歪みを適用した後では、典型的な実施の検索結果は、任意のＢＥＲしきい値を適用する前では、指紋時間と歪み形状に依存して、（正確なピースを識別する点では）通常９０％から９９％までの範囲で正確である。これは良であるが、より高いレベルの精度が確かに望ましい。また、ＢＥＲしきい値（図2で、例えばＢＥＲ＝０．２）を適用した後に、正確な検索結果の比率はわずかに減少する。その理由は、結果1のＢＥＲ分布の尾部が、結果2の頭部分布の大部分を偽って検知することを回避するために、捨てられるからである。これは、ＢＥＲしきい値だけを調整することのみでは、単一の検索で高精度（例えば９９．９％）に結びつかないことを意味する。

図１は特定形式の指紋が生成される手法の具体例の構成図である。 図２は、単一の指紋一致検索について３個の起こりうる結果の各々に対して得られるビット誤り率（ＢＥＲ）の関数として確率密度関数（ＰＤＦ）の理想化された具体例を示す。 図３は、３個の検索に関して多数決投票を使用することを組み合わせて、指紋の一致する検索結果の具体例の図式概念化である。 図４ａは、時間的位置（time location）が３回一致し得る場合に２回一致する３回の検索に関する、指紋検索結果の具体例の概念的構成図である。 図４ｂは、時間的位置が３回一致し得る場合に２回一致していない３回の検索に関する、指紋検索結果の具体例の概念的構成図である。 図５は、ビット誤り率（ＢＥＲ）の関数として信頼水準が写像される手法の具体例である。 図６は、直線回帰を使用して、指紋質問の時と、データベースで見つかった指紋の時との間の相対的な時間的位置を決定する一つの手法を理解するのに役立つ概念化された例である。 図７は、指紋質問の時と、データベースで見つかった指紋の時との間の相対的な時間的位置の時間差の関数として、信頼水準が写像される手法の具体例である。

本発明の態様に従って、オーディオ及び／又はビデオの情報のセグメントの識別で使用される方法は、前記セグメント中の複数の間隙を介した時間的位置の各々で質問指紋を得る工程と、そのような各質問指紋に一致し得るデータベース中の指紋を検索する工程と、そのような各質問指紋に対してデータベース中で見つかった指紋の潜在的な一致の信頼水準を得る工程と、そして潜在的な一致を得るために検索する結果を組み合わせる工程であって、そこでは各潜在的な一致結果がそれぞれの信頼水準によって重み付けられる工程を有する。

信頼水準は、（１）質問指紋と見つかった指紋との間の差の測定値、および（２）質問指紋の時間的位置と見つかった指紋の時間的位置の相対的なタイミング関係、の少なくとも一方又は両方の関数である。差の測定値は、ハミング距離や、ビット誤り率のようなハミング距離の相対差の改良型に基づく。あるいは、それは、指紋を構成するベクトルの各次元に対する差の絶対値の第ｐ次のべき乗の和の第ｐ次の根から得られるＬｐノルムに基づく。Ｌｐノルム測定値は、差の絶対値の平方の和の平方根から得られるＬ２ノルム差測定値（difference measure）でもよい。さらに進んだ選択肢として、差の測定値は、相関の値が一致の接近を表示する自己相関によって得られてもよい。

信頼水準は、（１）質問指紋と見つかった指紋との間の差の測定値、および（２）質問指紋の時間的位置と見つかった指紋の時間的位置の相対的なタイミング関係、の少なくとも一方又は両方の関数の各々の信頼水準の組合せである。各々の信頼水準の組合せは、例えば各々の信頼水準の合計、又は各々の信頼水準の掛け算の積である。

信頼水準は、少なくとも質問指紋の時間的位置とデータベースで見つかった指紋の潜在的一致の時間的位置との間の相対的なタイミング関係の関数である。この場合には、少なくとも３個の間隙を介した時間的位置がある。

オーディオ及び／又はビデオの情報のセグメント中の間隙を介した時間的位置は、２個又は３個以上の質問指紋の間の相関を最小にするように間隙を介している。

潜在的な一致のために検索結果の組が組み合わせられる複数の組の各々に関して、間隙を介した時間的位置の多数の組がある。検索結果は、各組内で組み合わせられてもよく、また、そのような組合せの結果は次にさらに組み合わせられてもよい。あるいは、検索結果は、すべての組にわたって組み合わせられてもよい。

データベース中の指紋は前記オーディオ及び／又はビデオの情報にメタデータを関連づけられる。このメタデータには、オーディオ及び／又はビデオの情報の少なくとも１個のピースタイトルを含む。

質問指紋は、前記複数の間隙を介した時間的位置の各々から、実質的に同じ手法で得られる。

多数の検索から得られる結果を組み合わせる単純であるが有用な方法は多数決である。例えば、図３に示されるように、ある者が３個の検索を行なう場合、それらのうちの２個はピースＡを返し、１個はピースＢを返す時、我々は最終検索結果がピースＡであるとの結論を下す。我々が３個の異なる答え、ピースＡ、ピースＢ及びピースＣを得れば、大多数の当選者はいない。そこで、答えは結論に到達しないというものである。この場合、抜粋がデータベースに属さないと結論を下すことが最も良い。何故なら、抜粋がデータベースに属する場合に、３回の検索で３個の異なる結果を得ることは比較的ありそうもないからである。

これは、下に示された擬似コードによって示されるような多数決（投票の半分以上を得るピースが勝つこと）や、作成者によって望まれた投票方式（例えば、最高票を有するピースであると共に、同順位票がないものが勝つ）を使用して、任意の回数の検索に一般化できる。投票方式は、確率的解析を使用して、正解の数を最大化すると共に、間違った答えの数を最小限にするように設計される。例えば、本来はデータベースからのピースに関しては、単一の検索に９８％の精度がある場合、多数決で３回の検索を組み合わせることで間違った結論を引き出すものは、３回の検索のうちの少なくとも２回の検索が間違っている場合に限られ、それは3 x 0.98 x 0.02² + 0.02³ ≒ 1.2 x 10^-3である、したがって、組み合わせた正確性はほぼ９９．９％である。この確率的解析は各検索を別の検索に依存していない（つまり検索間の無相関）と仮定する。

多数決を使用する検索組合せ用の典型的な擬似コードは以下のように表現される：
Ｎ＝３；
Ｎ個の指紋検索を、抜粋について時間t, ｔ＋ｄ[１], …, ｔ＋ｄ［N−１］でそれぞれ行う；
もし過半数（＞Ｎ／２）の検索が同じピースＡを返すなら
ピースＡを返す；
それ以外であれば
「抜粋はデータベースに属しない」を返す；

図３の時間間隔d[1]、d[2]、…、は異なる場所での検索を行なうために使用される。そして、検索結果間のいかなる不適当な相関も低減するようにするために、一般にそれらは、対応する検索セグメント中のオーバーラップを最小限にするように選ばれる。組合せ過程は、結論に到達しない票の場合には、さらに複数回の検索を追加で反復することで段階的に行うことができる。また、作成者によって選ばれた投票方式と共に、新しい反復中の票のみを考慮するか、あるいは前回の投票の一部又は全てを組み合わせることができる。

多数決のような単純なスキームは非常に好結果を与えるように見える。上記の例は、ほぼ９９．９％の精度を示唆する。しかし、検索におけるエラーの相関や強いバースト性がある場合、実際の精度は本来の９８％より少しよいだけである。もし1回の検索が間違った結果を与えれば、近くの時間的位置での検索は多分同様な間違った結果を与え、しばしば同じ間違った結果を与える。これは、例えば、低いビットレート圧縮や暗騒音のそれぞれによる歪みに、より敏感なオーディオ／ビデオの一定の領域（例えば、ビデオ信号の高速動作セグメントや静かなオーディオ信号）に関して、起こる。これによって、正解を見つけていない場合でも、多数決アルゴリズムが正解を見つけたと思うような誤りをする。さらに、ピースがデータベースに属さない場合、ピースが間違った過半数の当選者に帰着するので、1回以上の検索が同じピースを返す場合に対処する必要がある。

本発明の態様を使用することで、そのようなバースト誤りがある状態でさえ精度が増加する。これは、例えば、各検索結果からのピースのタイトル情報だけでなく、見つかったピース内の見つかったセグメントの時間的位置や検索結果のＢＥＲのような付属情報（accessory information）も組み合わせることで遂行される。図４（ａ）に示す例のように、３回の検索のうちの２回がピースAを返し、これら２回の検索セグメントの時間的位置が５秒異なる場合、これらの２回の検索結果で見つかったセグメントの時間的位置もまた、５秒だけ異なる（あるいは一定の許容誤差内にある）。図４（ｂ）に示す例のように、これが満たされない場合、これが誤りの過半数の当選者であることはほとんど確かである。検索が間違ったピースを返す場合、最小のハミング距離を生成する結果で生じた事故によることがほとんど確かなので、これは公平な仮定である。したがって、見つかったセグメントの時間的位置は決定的というよりむしろ比較的ランダムである。それゆえ、１組の連続して接近している時間的位置で、２回の間違った検索結果が同じ間違ったピースを返す確率は、相当に低い。正確な確率は、正確な検索結果と間違った検索結果の両方の時間的位置のＰＤＦ分布の解析により評価できる。

N回の検索についてのこの比較を一般化すると、それらの検索の時間的位置間の違いが、質問と検索結果のいたる所で同じか接近していることを意味する。しかし、ソフトウェア中でこの比較を実装することをより容易にするために、本来のピースの時間的位置と検索結果中の抜粋との間でオフセット（つまり差）を計算する。また、この値は図４（ａ）と図４（ｂ）でｔ_{ｏｆｆｓｅｔ}として参照される。それぞれ、第１回の検索に対するオフセットはｔ_{ｏｆｆｓｅｔ,１}であり、第２回の検索に対するオフセットはｔ_{ｏｆｆｓｅｔ,２}である。同じピースを返す各組の検索結果に対して、それらのｔ_{ｏｆｆｓｅｔ}間の差を計算してもよい。次に、最小の差を達成するペアに関して、そのような最小の差が一定のしきい値（例えば0.2秒）未満である場合、そのピースタイトルは最終的な答えと考えられる。これは、付属情報を使用して組合せられる以下の検索用の擬似コード中に示され、ここでMin_t_offset_distは最小の差である。また、候補者はこの最小値を示す（一組の）検索を意味する。2秒の例示的な値を有するしきい値ｄ＿Ａは、結果が十分に信頼できるかどうか判断するために使用される。

ｔ_{ｏｆｆｓｅｔ}付属情報を使用する検索組合せ用の典型的な擬似コードは以下のように表現される：
Ｎ＝３；
Ｎ個の指紋検索を、抜粋についてそれぞれ時間t, ｔ＋ｄ[１], …, ｔ＋ｄ［N−１］で行う；
Min_t_offset_dist = min(ｔ_{ｏｆｆｓｅｔ,ｉ}−ｔ_{ｏｆｆｓｅｔ,ｊ}, ここで、検索［i]．ピース = =検索［j]．ピース, i < j)；
候補者= arg_ｉmin(ｔ_{ｏｆｆｓｅｔ,ｉ}−ｔ_{ｏｆｆｓｅｔ,ｊ}, ここで、検索［i]．ピース = =検索［j]．ピース, i < j)｛Candidate = arg_ｉmin(ｔ_{ｏｆｆｓｅｔ,ｉ}−ｔ_{ｏｆｆｓｅｔ,ｊ}, where search[i].piece = = search[j].piece, i < j)｝；
d_A = 0.2；
もし(Min_t_offset_dist < d_A &&候補者が過半数の投票を有する)ときは
検索［候補者]．ピースを返す；
それ以外であれば
「抜粋はデータベースに属しない」を返す；

上記の擬似コード中で、「検索［i]」（"search[i]"）は第i番目の検索からの結果を意味する、そして、「検索［i]．ピース」（"search[i].piece"）は見つかったピースのタイトルのような識別情報である。タイミング情報の付属情報を使用するもっと一般化されたものは、下記に述べられるように、ｔ_{ｏｆｆｓｅｔ}ではなく時間計測ｔ_{ｄｉｓｔａｎｃｅ}を使用する。

検索の大きなNの数に関して、より多くの検索が同じピースを返す場合で、結果が正確である場合には、明らかに"Min_t_offset_dist"の値がより小さくなる。例えば、ほかのものが等しい場合、５個のサンプル中の最小値は、３個のサンプル中の最小値より確かに小さい。したがって、どれだけの検索が同じピースを返すかに依存して、ｄ＿Ａに加えて、より多くのしきい値（例えばｄ＿Ｂ、ｄ＿Ｃ）を定義できる。このように、多数決情報（どれだけの検索が同じピースを返すか）に知的に基づいた付属情報（この例におけるｔ_{ｏｆｆｓｅｔ}）を使用して、より高い精度を達成できる。

もし質問材料が、ラジオ番組の場合に時々あるように、あるスピードアップあるいはスピードダウンを受けていれば、質問指紋間の間隔対検索結果からの指紋間の間隔は、もはや同じにならない。代わりに、それらは、質問指紋間の間隔に関して徐徐にだんだん離れて行く。これに対処するために、質問指紋間の間隔が原因で、ｔ_{ｏｆｆｓｅｔ}の偏差がｄ＿Ａのようなしきい値を越えないことを、確保することができる。または、投票に十分な数がある場合、検索結果からの指紋と質問指紋との間の時差相関を観測できる。この時差相関は、スピードアップあるいはスピードダウンを経験したかに依存して、少しより高いか又は低い傾斜を有する直線の傾向を生成する。別の歪みを考慮することで、検索結果からの指紋のタイミングにおけるエラーをなくすことに寄与する。次に、組合せ結果の信頼性を決定するために、直線回帰に基づくような、直線の傾向の信頼性測定を使用する。そのような直線回帰の一例は、下に述べられる図６に示される。

ｔ_{ｏｆｆｓｅｔ}の概念と同じように、検索結果中のＢＥＲが非常に低い場合、それは非常に近似した一致を表示するもので、結果の正確さにおいて高度に確信できる。しかし、ＢＥＲが高い場合、結果はそれほど信頼できない。更に、付属情報の１ピース以上が論理積の手法で使用される場合、それらに対して固定のしきい値のみを使用するようには制約されない。例えば、当初のしきい値ｄ＿Ａが０．２秒で、ＢＥＲしきい値が１２％であるが、しかし、現在の検索のＢＥＲが非常に低い場合、例えば０．１％の場合には、強い確信をもってしきい値ｄ＿Ａを０．２秒から例えば０．３秒に緩めることができる。これは動的しきい値化（dynamic thresholding）と呼ばれる。このような動的しきい値化の正確な調節量は、動的しきい値化に起因する誤りの一致の数が無視できることを保証するために確率的解析を使用して、作成者によって決定する。

３個の検索を組み合わせた後でも結果が結論に到達しない場合、諦めて、抜粋がデータベースに属さないと主張する代わりに、より多くの検索を行ない、結果をすべて組み合わせてもよい。例えば、図４（ｂ）の場合には、さらに２回の検索を行なう。抜粋がピースAに実際に属するが、しかしどうゆう訳か第２回検索が間違った時間的位置を返す場合、追加の２回の検索により、これらの２回の１回が正しい時間的位置を備えたピースAを返す可能性が非常に高い。しかし、５回の検索を組み合わせる場合、投票スキームの定義はより複雑になる。単純化された実施の具体例では、（５回のうち）２回の検索で同じピースを返すと共に、当選者として時間的位置の面から最も一貫しているものを当選者と定義する。これは、上記の擬似コードで「min」演算子と「argmin」演算子が使用される手法である。

したがって、本発明の態様に従って、指紋検索精度は多数回の検索による結果を組合せることにより改善される。好ましくは、本発明の別の態様に従って、そのような結果は知的に組み合わせられる。

上述された本発明の態様では、検索結果中の利用可能な情報に基づいて投票型式が指紋検索精度を改善するために使用される。主な利用可能な情報は検索されたピース（質問抜粋）の（推測された）タイトルである。付属の利用可能な情報は、結果を組み合わせる際に実質的に精度を改善することができるものである。これには、ｔ_{ｏｆｆｓｅｔ}（上述されたような）やｔ_{ｄｉｓｔａｎｃｅ}のようなパラメーターと、ＢＥＲのような距離の測定を含んでいる。パラメーターｔ_{ｄｉｓｔａｎｃｅ}は、質問ピースと見つかったピースとの間の時間的位置の線形性を表わす：時間的位置が接近していればいるほど直線となり（直線回帰によって得られる）、結果の一致に関してより確信が持てる。ｔ_{ｄｉｓｔａｎｃｅ}パラメーターは、図６に関連してさらに下で記述される。

同様に、ハミング距離に由来したＢＥＲは、見つかったピースが質問ピースからどれくらい異なるか示す。ＢＥＲが高ければ高いほど、それらは互いにより異なる。そしてＢＥＲが低ければ低いほど、それらは互い関してより似ており、相違が少なくなる。他のすべてが等しい場合には、より高いＢＥＲを有する一致と比較して、より低いＢＥＲを有する一致がより確信できる。

したがって、付属情報の値はそれらの対応する検索結果の信頼度を示す。ここで概説される、知的にそれらを組み合わせる１個のアプローチは、結果の組み合わせにおける重み付けとして付属情報の個別価値の信頼水準を使用することである。図５は、ＢＥＲの関数として信頼水準の具体例を示す。そのような関数は、ｆ_Ｂ（ＢＥＲ）として参照される。

前の例において、ＢＥＲは信頼水準に写像されるが、そのような差の測定値は発明に対して重大ではない。また、差の測定値の別の形式も使用される。指紋は数のベクトルとして見られる。ハミング距離とＢＥＲの場合には、それが2進数のベクトル（つまりバイナリーベクトル）として見られる。そのようなベクトルの各ディメンションは単に1ビットである。しかし、バイナリー以外の数の指紋ベクトルを想定してもよい。また、それは予測可能であるべきであるが、各ディメンションの寸法は異なるディメンションにわたって異なってもよい。したがって、より一般には、差の測定値は、指紋を構成するベクトルの各ディメンションに対する距離の絶対値の第ｐ次のべき乗の和の第ｐ次の根が得られるＬｐノルム測定値である。ＢＥＲはハミング距離に基づく。それは、Ｌ１ノルム差測定値であり、各ディメンションが1ビットである場合、各ディメンションの差の絶対値の和をいう。各ディメンションが1ビットである場合、Ｌ２ノルムはＬ１ノルムと同様であるが、Ｌ２ノルム差測定値でもよい。ここで、Ｌ２ノルムでは差の絶対値の平方の和の平方根が得られる。自己相関による差測定もまた存在し、そこではより高い値はより近い一致を表示する。

同様に、データベース中の質問指紋に潜在的に一致する時間的位置は、例えば直線回帰によって、予測されるような推測場所からどの程度の距離離れているか、測定することができる。これは、図６に示される。ここでｔｉｍｅ_{ｑｕｅｒｙ}は質問指紋の時間的位置であり、ｔｉｍｅ_{ｆｏｕｎｄ}が、見つかったピースの潜在的に一致する指紋の時間的位置である。また、これらの組の2つの値は図６に菱形（ダイヤモンド形状）で示される。次に、直線回帰はこれらの菱形点上で行なわれる。得られる直線回帰予測（直線）からの各菱形点の偏差は、図６に垂直線として示される時間的位置距離ｔ_{ｄｉｓｔａｎｃｅ}として参照される。次に、図７に示されるように、この距離を信頼水準に写像する。このような関数をｆ_ｌ（ｔ_{ｄｉｓｔａｎｃｅ}）として参照する。任意の適切な形の直線回帰が使用される。任意の異常値を除去するための様々な技術が、直線回帰を行なう前に、あるいは直線回帰過程の構成要素として使用される。

上述されるように、ｔ_{ｄｉｓｔａｎｃｅ}パラメーターはｔ_{ｏｆｆｓｅｔ}パラメーターをもっと一般化した形式である。ｔ_{ｏｆｆｓｅｔ}パラメーターを使用する例は、図４ａと図４ｂの中に示される。それは、質問抜粋中の時間的位置と対応する一致の時間的位置との間のオフセットを測定する。連続する指紋照合が正確な場合、それは概略的に定数であるが、しかし、スピードアップやスピードダウンがない場合、必ずしも0に近い値である必要はない（質問材料の不確かな絶対時刻のために）。図６に示されるように、パラメーターｔ_{ｄｉｓｔａｎｃｅ}はより一般的である。それは、標本点（そのX座標とY座標は、それぞれ質問抜粋と一致の時間的位置である）と直線回帰の様々な適切な形式のうちの任意なものよって得られた直線との間の垂直距離を測定する。パラメーターｔ_{ｄｉｓｔａｎｃｅ}はそれが良い一致に対応する場合、0に近くなると思われる。スピードアップやスピードダウンがある場合でさえｔ_{ｄｉｓｔａｎｃｅ}の概念は良く働く。その理由は、それが直線回帰を使用し、ｔ_{ｏｆｆｓｅｔ}パラメーターが行うような、直線回帰の傾斜が一個であることを仮定しないためである。ｔ_{ｏｆｆｓｅｔ}パラメーターが傾斜の一個を仮定するので、２個の時間的位置だけでｔ_{ｏｆｆｓｅｔ}の一貫性をチェックすることが可能であることに注意する。しかしｔ_{ｄｉｓｔａｎｃｅ}を使用する場合、傾斜が１個であることを仮定しないので、自明でない直線回帰を得るために少なくとも３個の時間的位置を必要とする（必要であれば、直線回帰を得るために少なくとも２個の時間的位置を使用し、次に、１個の傾斜から掛け離れた任意の傾斜を廃棄する）。

図７では、信頼水準が図５よりも素早く減少することに注意する。これは、典型的な実施例では、ｔ_{ｄｉｓｔａｎｃｅ}のどんな少なからぬ量でも結果がそれほど信頼できない兆候である一方で、ＢＥＲに対する許容範囲が比較的高いと期待するからである。さらに、２点の場合はそれらを完全に通過する直線を常に生成するので、ｔ_{ｄｉｓｔａｎｃｅ}に基づく信頼水準の使用は専ら３点以上の場合に考慮する。

処理手順の一例は、本発明の態様に従って、信頼水準を組み合わせて検索結果の結果を知的に決定するために以下の擬似コード中で示される。

信頼水準を組み合わせて、検索結果の結果を決定するための典型的な擬似コードは、次のように表現される：
For ( X in set of unique pieces in the results) {
For (i in where search [i]. piece = = X) {
Confidence1 =ｆ_Ｂ(search[i].ＢＥＲ);
もし(組、ここで検索[i].ピース = = X が３点以上である)ならば
Confidence2 =ｆ_ｌ(search[i].t_distance);
それ以外であれば
Confidence2 = 0;
合計スコア[X] += Confidence1 + Confidence2;
}
合計スコア[X] が最大値であるＸを拾う;
もし (合計スコア[X] > しきい値)ならば
「質問抜粋はピースXである」を返す；
それ以外であれば
「未知の質問抜粋」を返す；

擬似コード中で表示されるように、最初にＢＥＲとｔ_{ｄｉｓｔａｎｃｅ}とを対応する信頼水準に写像して、次に組み合わせる。この例において、組み合わせは単なる加算演算であるが、組み合わせ演算が各信頼水準に関して単調非減少関数である限り、当業者は乗算のような別の演算を使用してもよい（ここでは、信頼水準は負でない数である必要がある）。ｆ_Ｂ（）が常に１を返し、ｆ_ｌ（）が常に０を返し、変数“threshold”（しきい値」）が値Ｎ／２であって、ここでNが処理された検索の回数である場合、擬似コード中で表わされた処理手順は、単純な多数決投票方式に還元される。実際上、当業者は関数ｆ_Ｂ（）、ｆ_ｌ（）に関して、最終出力が正しい確率を最大化するように選ぶ。

実施（Implementation）
本発明は、ハードウェア、ソフトウェア、あるいは両方の組み合わせ（例えばプログラマブルロジックアレイ）で実行される。別段の定めがない限り、本発明の構成部分を有する方法やアルゴリズムは、いかなる特別のコンピュータや他の装置とも本質的に関係がない。特に、様々な汎用機は、ここに教示に従って書かれたプログラムと共に使用される。あるいは、必要な方法のステップを行なうために、もっと専門化した装置（例えば集積回路）を構成するほうがより好都合である。したがって、その発明は、１台以上のプログラム可能なコンピュータシステム上で実行する１個以上のコンピュータプログラムで実行される。このコンピュータシステムは、少なくとも１個のプロセッサ、少なくとも１個のデータ保存システム（揮発性と不揮発性のメモリ及び／又は記憶装置を含む）、少なくとも１個の入力装置あるいは入力ポート、少なくとも１個の出力装置あるいは出力ポートで構成される。ここに記述された作用を行ない、かつ出力情報を生成するために、プログラムコードが入力データに適用される。出力情報は既知の方法で１台以上の出力装置にあてがわれる。

そのような各プログラムは、コンピュータシステムと通信するために任意の希望のコンピュータ言語（機械語、アセンブリ、あるいは高水準の手続的、論理的、またはオブジェクト指向のプログラミング言語を含む）で実装される。いかなる場合も、言語はコンパイルされた言語やインタープリタされた言語でよい。

そのような各コンピュータプログラムは、好ましくは、一般的なコンピュータか特別目的のプログラム可能なコンピュータによって判読可能な記憶媒体や装置（例えば固体メモリや媒体、あるいは磁気媒体や光学媒体）に格納されるかダウンロードされる。この目的は、ここに記述された処理手順を行なうために、記憶媒体や装置がコンピュータシステムによって読まれる場合に、コンピュータを構成し動かすためである。本発明にかかるシステムも、コンピュータプログラムで構成されて、コンピュータ可読記憶媒体として実装されると考えられる。ここで、このように構成された記憶媒体によって、コンピュータシステムはここに記述された作用を行なう特定であって所定のやり方で作動する。

発明の多くの実施例が記述された。しかしながら、本発明の趣旨および適用範囲から外れることなく、様々な修正がなされることが理解される。例えば、上述されたステップのうちのいくつかは独立した順序であり、したがって記述されたものと異なる順序で行なうことができる。その結果、別の実施例も本請求項の範囲内である。

Claims (20)

1. オーディオ及び／又はビデオのセグメントの識別で使用される方法であって；
   前記セグメント中の複数の間隙を介した時間的位置の各々で質問指紋を得る工程と；
   そのような各質問指紋に一致し得るデータベース中の指紋を検索する工程と；
   そのような各質問指紋に対して前記データベース中で見つかった指紋の潜在的な一致の信頼水準を得る工程と；
   前記潜在的な一致を得るために検索結果を組み合わせる工程であって、そこでは各潜在的な一致結果がそれぞれの信頼水準によって重み付けられる工程と；
   を備えることを特徴とする前記方法。
2. 信頼水準は、（１）質問指紋と見つかった指紋との間の差の測定値、および（２）質問指紋の時間的位置と見つかった指紋の時間的位置の相対的なタイミング関係、の少なくとも一方又は両方の関数であることを特徴とする請求項1に記載の方法。
3. 前記差の測定値が、ハミング距離に基づくことを特徴とする請求項２に記載の方法。
4. 前記差の測定値が、ビット誤り率であることを特徴とする請求項３に記載の方法。
5. 前記差の測定値が、指紋を構成するベクトルの各次元に対する距離の絶対値の第ｐ次のべき乗の和の第ｐ次の根から得られるＬｐノルムであることを特徴とする請求項２に記載の方法。
6. 前記差の測定値が、距離の絶対値の平方の和の平方根から得られるＬ２ノルム距離測定であることを特徴とする請求項５に記載の方法。
7. 相関の値が一致の近さを示す自己相関によって、前記差の測定値が得られることを特徴とする請求項２に記載の方法。
8. 前記信頼水準が、（１）質問指紋と見つかった指紋との間の前記差の測定値、および（２）質問指紋の時間的位置と見つかった指紋の時間的位置の前記相対的なタイミング関係、の少なくとも一方又は両方の関数の各々の信頼水準の組合せであることを特徴とする請求項２乃至請求項７の何れか１項に記載の方法。
9. 前記各々の信頼水準の前記組合せが、各々の信頼水準の合計であることを特徴とする請求項８に記載の方法。
10. 前記各々の信頼水準の前記組合せが、各々の信頼水準の掛け算の積であることを特徴とする請求項８に記載の方法。
11. 前記時間的位置は、２個又は３個以上の質問指紋の間の検索結果の相関を最小にするように間隙を介していることを特徴とする請求項１乃至請求項１０の何れか１項に記載の方法。
12. 潜在的な一致を得るために前記検索結果の組が組み合わせられる複数の組の各々に関して、間隙を介した時間的位置の複数の組があることを特徴とする請求項１乃至請求項１１の何れか１項に記載の方法。
13. 前記検索結果が各組内に組み合わせられ、前記組合せの結果がさらに組み合わせられることを特徴とする請求項１２に記載の方法。
14. 前記検索結果がすべての組にわたって組み合わせられることを特徴とする請求項１２に記載の方法。
15. 前記データベース中の指紋は前記オーディオ及び／又はビデオの情報にメタデータを関連づけられることを特徴とする請求項１乃至請求項１４の何れか１項に記載の方法。
16. 前記メタデータには、前記オーディオ及び／又はビデオの情報の少なくとも１個のピースタイトルを含むことを特徴とする請求項１５に記載の方法。
17. 質問指紋は、前記複数の間隙を介した時間的位置の各々から、実質的に同じ手法で得られることを特徴とする請求項１乃至請求項１６の何れか１項に記載の方法。
18. 信頼水準は、少なくとも前記質問指紋の前記時間的位置と前記データベースで見つかった前記指紋の潜在的一致の前記時間的位置との間の相対的なタイミング関係の関数であると共に、少なくとも３個の間隙を介した時間的位置を有することを特徴とする請求項２乃至請求項１７の何れか１項に記載の方法。
19. 請求項１乃至請求項１８の何れか１項に記載の方法を実施するのに適応した装置。
20. コンピュータに請求項１乃至請求項１８の何れか１項に記載の方法を行なわせるためにコンピュータの読み取り可能な媒体上に記録されたコンピュータプログラム。

Images