JP2005020742A - ビデオコピーの検出方法及び装置 - Google Patents

Abstract

【課題】ビデオコピー検出の方法及び装置。
【解決手段】ビデオクリップのコピーを検出するためのマッチング技法の方法を提供する。この方法は、ビデオクリップフレームとターゲットビデオフレームとの濃度分布の時間的軌跡を比較することを含んでいる。ビデオコピー検出のためのコンピュータ可読媒体、コンピュータシステム、集積回路も提供する。
【選択図】 図１３

Description

本発明は一般的にはデジタルビデオ技術に関し、より具体的にはビデオデータの時空間コンテンツに基づいて無許可のビデオデータコピーを検出するための方法及び装置に関する発明である。

インターネットの成功と費用対効果の高いデジタル記憶装置が広く使用できるようになったことで、デジタルコンテンツを労なく複製、伝送、配信できるようになった。そのため、特にデジタル画像の著作権に関して、知的所有権（ＩＰＲ）の保護が重要な法的課題になっている。とりわけ、デジタルメディア（画像、音声、映像）のコピー検出は、著作権違反を調査している者にとって基本的な必要条件である。使用されている２つのコピー検出適用アプリケーションには、使用の追跡と著作権違反に対する法的強制執行がある。

現在、２つの手法がデジタル画像の著作権の保護に広く採用されている。ウォーターマークとコンテンツベースのコピー検出である。一般的に知られているように、ウォーターマークは、配信する前に、情報を画像の中に埋め込むものである。よって、マーク付きコンテンツの全てのコピーに所有権を証明するウォーターマークが入っており、ウォーターマークは抽出可能である。コンテンツベースのコピー検出は、画像そのものがあれば、それ以外の追加情報は要らない。一般的に、画像や映像には、コピー、それもとりわけ違法に配信されたコピーを検出するのに用いることのできる固有情報が十分含まれている。例えば、画像や映像の所有権者がインターネットで画像が違法に配信されているのではないかと疑わしく思ったら、所有権者はコピー検出システムに疑問を呈することができる。言うまでもなく、コンテンツベースのコピー検出はウォーターマークに対する補足的手法にもなり得る。コピー検出者がクリエーターやディストリビューターに容疑者リストを提供した後、メディアの実際の所有権者はウォーターマークやその他の正当性証明技法を用いて所有権を証明することができる。

コンテンツベースのコピー検出スキームは原画像からシグネチャを抽出する。テスト画像から抽出された同じシグネチャを原画像に比較してテスト画像が原画像のコピーかどうかを判定する。ウォーターマークと比べてコンテンツベースのコピー検出が優れている主要な長所は、画像が配信される前にシグネチャ抽出を行なわなくてもよいということである。しかしながら、原画像と同じでないコピー、つまり、かすかに変更が加えられているコピーは検出できないことがある。例えば、第三者が様々な変更版を生成してコピー検出を回避したり画像品質を向上させようとすると、そうした変更によってコンテンツベースのコピー検出システムはコピーを検出できないことがある。

コンテンツベースの画像／映像検索システムでは、共通ヒストグラム方法(histogram intersection method)などの、カラーヒストグラムベースの方法が使用されてきた。しかしながら、カラーヒストグラムは色の空間分布についての情報を保存しないので、これらの方法はコピー検出システムには向かない。画素位置を考察することのできる別の方法は分割（partition）ベースの手法である。この方法では、画像が部分画像に分割される。そうした方法の一つでは、局所カラーヒストグラムによって各区画のカラー情報が取得される。２個の画像の相似性が、それらの局所カラーヒストグラムを比較し、全ての部分画像の相似性を考察することによって、測定される。しかしながら、この方法は計算費用が高くなるし所要の検索時間が長くなる。さらに、この方法は、空間的アウトレイ(outlay)が変更された画像を検出することはできない。

伝統的なビデオマッチング技法は圧倒的に画像対応に依存している。対応するフレームの非相似性を結合して２個のビデオシーケンス間の距離が計算される。ビデオマッチングの一つの課題は、デジタル化及び符号化のプロセスが異なると、明度が変わり、色相がずれ、彩度が変わり、ブロック状のアーティファクトが色々と異なるといったように、いくつかの歪みを生じさせることである。すなわち、現在使用可能な技法のほとんどが、導入されたかすかな色の歪みを色々と異なる符号化パラメータによって対応することを中心にしている。しかしながら、アスペクト比の変換に対応するための技法を考えなければならない。というのは、これらの変換は実際にはいろいろ異なるディスプレイに適合するようになっていることが多いからである。例えば、ビデオストリームは４：３や１６：９のアスペクト比で表示されるかもしれない。伝統的なビデオマッチング技法は、アスペクト比が異なるコピーを識別するようにアスペクト比の変更に対応できる機能を有していない。図１Ａ及び図１Ｂは、ビデオデータのアスペクト比を変えるのに用いられる一般的な技法を説明した図である。図１Ａのビデオフレーム１００は、「レターボックス」手法を用いてビデオのアスペクト比を縮小したビデオフレーム１００である。図１Ｂは、「ピラーボックス」を用いてビデオのアスペクト比を変えたビデオフレーム１０２である。例えば、キーフレームベースの手法、相関ベースの方法、順序測定技法などの、伝統的なビデオマッチング技法は、アスペクト比の変更に対応できない上に、ビデオストリームの時間アスペクトを考察することができない。ビデオの時間的変異に気付かないとコピーの誤った検出になることが多い。

米国特許出願公開第2001/0020954号明細書 米国再発行特許発明第6,408,301号明細書

そこで、アスペクト比が変更されているコピーのロバスト且つ効率的なビデオコピー検出の方法及び装置を提供するために先行技術のもつ問題を解決する必要がある。

おおまかに言えば、本発明は、ビデオストリームの時間アスペクトを考慮して、コンテンツのアスペクト比の変更又はかすかな歪みに影響されないビデオコピー検出の方法やシステムを提供することによってこれらのニーズに応えるものである。言うまでもなく、本発明は、方法、システム、コンピュータ可読メディア又は装置など、色々な方法で実現できる。本発明のいくつかの実施例を以下に説明する。

本発明は、ビデオデータがターゲットビデオの中に現われるかどうか検出するための方法を提供する。この方法は、ビデオデータ及びターゲットビデオと関連付けられる２個の空間シグネチャ間の空間距離を計算することから始まる。この方法では、ビデオデータ及びターゲットビデオと関連付けられる２個の時間シグネチャ間の時間距離も計算される。その次に、空間距離と時間距離が結合される。そして、ビデオデータがターゲットビデオの中に現われるかどうか判定され、判定結果は結合距離に基づく。空間距離及び時間距離は、以下に説明する、対応する空間シグネチャ値及び時間シグネチャ値から計算される。

また本発明は、ビデオクリップのコピーを検出するための方法を提供する。この方法は、ターゲットビデオと関連付けられるアスペクト比が変わったときターゲットビデオと関連付けれる順序測度(ordinal measure)が変わらないように、ビデオクリップのフレーム並びにターゲットビデオのフレームを共に分割することから始まる。この方法では、ビデオクリップフレームとターゲットビデオフレームとの非相似性値も判定される。

また本発明は、ビデオクリップのコピーを検出するマッチング技法のための方法を提供する。この方法は、ビデオクリップフレームとターゲットビデオフレームとの濃度分布の時間的軌跡(temporal trails)を比較することから始まる。

さらにまた本発明は、ビデオデータがターゲットビデオの中に現われるかどうか検出するプログラム命令を有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体は、ビデオデータ及びターゲットデータと関連付けられる空間シグネチャ値を計算するためのプログラム命令と、ビデオデータ及びターゲットデータと関連付けられる時間シグネチャ値を計算するためのプログラム命令とを含んでいる。空間シグネチャ値及び時間シグネチャ値を結合するためのプログラム命令を提供する。この結合された値に基づいてビデオデータがターゲットビデオの中に現われるかどうか判定するためのプログラム命令を提供する。

また本発明は、ビデオクリップのコピーを検出するプログラム命令を有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体は、ターゲットビデオと関連付けられるアスペクト比が変わったときターゲットビデオと関連付けられる順序測度は変わらないように、ビデオクリップのフレームとターゲットビデオのフレームを分割するためのプログラム命令を含んでいる。ビデオクリップのフレームとターゲットビデオのフレームとの非相似性値を判定するためのプログラム命令を含んでいる。

また本発明は、ビデオクリップのコピーを検出するマッチング技法を実行するプログラム命令を有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体は、ビデオクリップとターゲットビデオとの濃度分布の時間的軌跡を比較するプログラム命令を含んでいる。

また本発明は、コンピュータを提供する。このコンピュータは中央処理ユニット（CPU）とメモリを有する。ビデオクリップのコピーを検出するように構成されたビデオコピー検出ロジックを有する。このビデオコピー検出ロジックは、ビデオクリップのフレームとターゲットビデオのフレームを分割するためのロジック、及びビデオクリップのフレームと関連付けられる順位行列(rank matrix)とターゲットビデオのフレームと関連付けられる順位行列との空間非相似性を判定するためのロジックを含む。ビデオクリップのシーケンシャルフレームとターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向を判定するためのロジックもビデオコピー検出ロジックの一部である。ＣＰＵ、メモリ、ビデオ検出ロジックを相互接続するバスを含む。

また本発明は、集積回路を提供する。この集積回路はターゲットビデオフレームの区画と照会ビデオフレームの対応区画との間に定義された空間距離値と、ターゲットビデオフレームの区画並びに照会ビデオフレームの対応区画と関連付けられた時間距離値とを結合して非相似性値を定義するためのロジックを含む。非相似性値が局所最小値かどうか判定するためのロジックも有する。

発明のその他の態様並びに作用効果は、発明の原理を例として説明している添付の図面と共に、以下に詳細に述べる説明から明白になる。

以下、本発明の実施形態を図面に基づいて説明する。

本発明を無許可のビデオコピーを検出するためのシステム、装置、方法として説明する。しかしながら、当業者であれば、下記に照らして、これらの具体的な詳細を部分的又は全く知らなくても本発明を実施できることは明白である。他の場合には、公知のプロセス操作については本発明を不要に曖昧にしないために詳細な説明は省いた。図１Ａ及び図１Ｂについては「背景技術」の項で説明した。

本発明の実施例は、ビデオデータのコピーを効率よく検出するアルゴリズムを活用するシステムを提供する。以下にもっと詳説するように、色や視的様相だけでなく、空間構成（例えば、アスペクト比）が変更されたコピーは日常的な技術で識別できる。ステレオ画像マッチングに順序測度を使用する場合には、学校の成績のように、離散的順序集合から順序変数が引き出されることがある。この場合、２個の測定値間の割合は重要でなく、相対的順序だけが直接関係がある。測定値間の相対的順序はその順位(rank)によって表わすことができる。測定値を昇順に整列させ、整数[1,2,3,…,N]を用いてラベルを付けることによって順位置換(rank permutation)を得る。Ｎは測定値の個数である。

図２Ａ〜２Ｃは、コピー検出に順序測度を使用した場合のグラフ表現である。図２Ａは、ｍ×ｎ（３×３）個の等しい大きさのブロックに分割された画像１０４を表わす。画像をｍ×ｎ個の同じサイズのブロックに分割すると、システムが入力画像の大きさに影響されないようになることを理解すべきである。図２Ｂのｍ×ｎ個の部分画像１０６は、図２Ａの画像１０４の対応する各ブロックの平均値(average value)をとって計算される。この配列は図２Ｃに示した順位行列１０８に変換される。図２Ｂの部分画像１０６の濃度値は各々、コピー画像において１０増えるので、部分画像は値｛｛74, 71, 56｝, ｛145, 156, 126｝, ｛195, 184, 155｝｝を有すると仮定しよう。とは言え、増えた値を有する部分画像の順位行列は図２Ｃに表示した順位行列と同一だから、原画像との完全なマッチングを達成できる。

しかしながら、上に説明した順序測度を使用すると、それもとりわけ画像の空間アウトレイが変更されている場合、非正則なやり方で変更が加えられているコピーを検出できない。図３Ａ−２から図３Ｂ−３は、画像が異なった分割になっている場合の画像３Ａ−１の濃度分布を説明している。図３Ａ−１は原画像１１０ａで、図３Ａ−２は画像１１０ａの２×２分割の濃度分布１１２を表わしている。図３Ａ−３は画像１１０ａの３×３分割の濃度分布１１４を説明している。図３Ｂ−１は、図３Ａ−１の画像１１０ａが空間的に変更された画像１１０ｂである。この例において、図３Ａ−１の４×３ビデオフォーマットはレターボックスフォーマットに変更されている。図３Ａ−２と図３Ｂ−２を比較すると分かるように、分割が２×２のときには、分割値が対称だから、濃度分布、つまり順序測度は不変である。例えば、濃度分布１１２及び１１６は、濃度分布がアスペクト比の変化によって同じように影響されるから、つまり区画は各々平等に濃くなるから、濃度分布１１２及び１１６の順序測度は同じままである。しかしながら、区画数が２×２よりも大きくなると、濃度分布の程度を表わしている図３Ａ−３及び図３Ｂ−３の区画の陰影を比較すると分かるように非対称的変化により順序測度の変化が起きる。例えば、濃度分布１１４及び１１８は、濃度分布が別々に影響される、つまり非対称だから、順序測度が変わる。レターボックスフォーマットでは基本的に上下の区画が濃くなり中間の区画は影響を受けない。従って、効率的なビデオコピー検出器を設計する際の大きな課題の一つはアスペクト比の変更の影響を考慮することである。当業者であれば、上記の分析はピラーボックスフォーマットの変更又はその他の任意の適したアスペクト比の変更に適用可能なことが明白である。以下にさらに詳細に説明するように、２×２分割の画像フレームの順序測度に基づいたマッチング方法を提供する。ここで、このマッチング方法の順序測度はビデオデータのアスペクト比の変化に対して不変である。

当業者であれば、コピー検出技法の性能に関して２つの課題、つまりロバスト性及び判別可能性があることを理解するだろう。システムがミスマッチを発生するまでに至らずに許容可能なデータの矛盾性の量はロバスト性によって決まるが、判別可能性は誤った検出が起きないように直接関係のないデータを拒絶する技法の能力に関係する。これらの相反する課題間でバランスをとる決定的な要因は分割の数である。予想通り、このシステムは分割数が減るとそれだけロバストになる。対照して、分割数が増えるとそれだけ判別可能性が高くなる。従って、以前の技法は、容認できる程度のロバスト性を維持しつつ判別可能性を高めるために、２×２を超える分割を活用していた。小さな分割数、例えば、２×２を採用しているために、判別可能性が低いかもしれないから、本明細書で説明する実施例はビデオデータの順序シグネチャだけでなく、判別可能性を向上させる時間シグネチャも利用する。

伝統的なビデオマッチング技法は、ほとんどの場合、画像の対応に依存している。２つのビデオシーケンス間の距離が対応するフレームの非相似性を結合することによって計算される。しかしながら、ビデオの時間的変異に気付かないと、それがコピーの誤った検出につながることが多い。図４Ａ及び図４Ｂは、本発明の一実施例により、原画像フレームを分割することから得た２つの部分画像シーケンスを説明している。２つの部分画像シーケンスには、図４Ａにおいてフレーム１２０ａ〜１２０ｄで表わされるシーケンス１と、図４Ｂにおいて１２２ａ〜１２２ｄで表わされるシーケンス２とがある。しかしながら、対応する部分画像間で順序シグネチャは同一である。伝統的な画像フレームマッチングをベースにした方法は、時間情報を考慮に入れていないので、これらの直接関係のないビデオを拒絶することができないことを理解すべきである。以下に説明するように、順序シグネチャのシーケンスと共に、ビデオデータの時間情報を考慮することによって、もっと効
率的なビデオマッチングのやり方を提供する。

当業者であれば、この測度は２×２分割のマッチングアルゴリズムとみることができることを理解するだろう。

画像の相似点の結合に基づいてビデオマッチングを判定すると、ビデオの時間特性が除外される。ビデオは時間をかけて起きるプロセスだから、濃度分布の時間的軌跡を画像の相似性測度と結合しなければならないことを理解すべきである。図５Ａは、本発明の一実施例による、フレーム及びその区画の濃度分布の平均値(mean value)の時間的変異を説明するグラフである。この例で、ビデオフレームのシーケンスは２×２構成に分割されている。図で示しているように、区画の濃度分布の平均値はフレーム全体と比べもっとばらつきがある。すなわち、区画１２４ａ−１〜１２４ｄ−１にそれぞれ対応する線１２４ａ〜１２４ｄは、フレーム全体の濃度分布を表わす線１２６よりも変動の程度が高いことを示している。

図５Ｂは、本発明の一実施例において、ヒストグラム平坦化が適用されたフレーム及びその区画の濃度分布の平均値の時間的変異を示すグラフである。ヒストグラム平坦化の目指すところであるように、線１３０で示したフレーム全体の平均値は、各フレームがヒストグラム平坦化で処理されると区別不能になるので、そのフレームの平均は常にグレースケールの中間値に調整される。とは言え、４個の区画１２８ａ−１〜１２８ｄ−１の濃度分布の平均値は、対応する軌跡１２８ａ〜１２８ｄによって示されているように未だ判別可能な動作をしていることが観察された。

と定義される。

２個のビデオ間の非相似性を測定するための提案しているメソドロジーは、次の方程式（６）、

図７は、本発明の一実施例において、照会ビデオクリップとターゲットビデオとの一致を判定するためのプロセスの概要をビジュアルに示す簡約概略図である。ビデオクリップフレーム１４３（照会ビデオと称することもある）を用いてそのビデオクリップの何らかのコピーがターゲットビデオフレーム１４２の中に含まれているかどうか判定する。例として、ビデオクリップフレーム１４３には５フレームが入っているものとして説明する。しかしながら、照会ビデオクリップは１より大きな適した任意のフレーム数が入っていて構わないし、また或る特定のフレーム数に限定されるものではない。よって、上に説明した空間及び時間距離はターゲットビデオフレーム１４２の５フレームビデオクリップごとに計算及び結合される。この距離を図７のグラフに示す。空間及び時間距離（Ｄ）を線１４５で追い、先に説明した方程式６によって計算する。点１４６ａと１４６ｂに局所最小値がある。局所最小値が線１４４で表わされたしきい値εよりも小さければ、局所最小値と関連付けられたフレームとその前の４フレームは照会ビデオクリップの５フレームのコピーと識別される。ターゲットビデオには一つ以上の照会ビデオクリップのコピーが入っているかもしれないことを理解すべである。例えば、ターゲットビデオがテレビ番組で照会ビデオクリップが番組中に流されたコマーシャルだとすれば、コマーシャルは番組中何回も繰り返して流されたかもしれない。図７は先に操作１〜４で説明したプロセスを絵で説明していることを理解すべきである。

図８は、本発明の一実施例において、本明細書で説明しているビデオコピー検出器実現の模式的なグラフィカルユーザインタフェース（GUI）を説明した図である。テストビデオは120,000個を超えるフレームを有し、ＭＰＥＧ１フォーマットに符号化されている。テストビデオ、つまりターゲットビデオには、スポーツ、風景、ホームビデオなど、色々なタイプのシーケンスが入っている。ＧＵＩ１４７の領域１４９は、マッチング技法が適用されていることを示している。ハイライトされた技法はα値0.5及び(1−α)値0.5を含む。この例で、αはＳで表現され、1−αはＴで表現されている。ボタン１４８ａ−ｃは、汎用ナビゲーションボタン１４８ｃ、問合せ生成ボタン１４８ｂ、マッチングボタン１４８ａを含む。一例として、問合せ生成ボタン１４８ｂにより照会画像を生成及び分割する機能が始動する。マッチングボタン１４８ｃによりターゲットビデオクリップ内で照会ビデオクリップの一致を探す機能が始動する。ターゲットビデオクリップは領域１５１内に表示されても構わない。局所最小値の決定に適用されたしきい値は領域１５３に表示されているように0.1であった。領域１４９に見えるように、本明細書で説明しているアルゴリズムは５個の異なるα値（0.0, 0.3, 0.5, 0.7, 1.0）を用いてテストされた。αの値が低いとアルゴリズムは時間マッチングが中心になりがちで、α＝0.5では空間及び時間マッチング間にバランスのとれたマッチングが可能になり、αが１に近いと空間マッチングが中心になる傾向がある。従って、αによって、このアルゴリズムは様々な空時間の重み付けに適応できる。

図９は、本発明の一実施例において、受信器動作特性（ROC）曲線を用いる提案しているアルゴリズムの性能を説明するグラフである。当業者であれば、これは、偽の正レート（FPR）対偽の負レート（FNR）のプロットであることを解るであろう。N_Tはマッチテストが行なわれているフレームの総数で、τは正規化されたしきい値であると仮定しよう。FNを偽の負数の数（検出されなかったコピーのクリップ数）とし、FPを偽の正数の数（検出されたコピーでないクリップ数）とすると、偽の負レート（FNR）及び偽の正レート（FPR）は次のように与えられる。

これらのレートを表わす点が図８の２次元グラフ１５０に線１５４ａ〜ｅで描かれているようにしきい値が変化してプロットされている。理想曲線は(0,0)、つまりゼロFNR及びゼロFPRを通る。図８に表示されているように、提案しているアルゴリズムの判別可能性はα＝0.5のときに最も高い（線１５４ｅ）。これは、提案しているアルゴリズムの性能は、時空間一致点(Spatio- and temporal matches)が均等にバランスがとれているときに最も優れていることを意味する。テストで、２０個の照会クリップをテストシーケンスからサンプリングした。どのクリップも５０個のフレームを有し、画素レベルブースと、ヒストグラム平坦化、レターボックス及びピラーボックススタイルへのフォーマット変更といった修正を用いて各問い合わせから５個のコピークリップが生成される。

図１０Ａ及び図１０Ｂは、本発明の一実施例において、正規化されたしきい値に対する精度(precision rate)及び再現率(recall rate)それぞれのグラフである。当業者であれば、適切なしきい値を決めるには、これらのレートを考慮すべきことを理解するだろう。ある特定のしきい値で、精度及び再現率は次のように定義される：

ここで、τは正規化されたしきい値。一致したクリップはコピーとして検出されたクリップ（偽の正数を含んでいるかもしれない）のことであることが分かるはずである。一致したコピークリップ（検出コピークリップとも呼ばれる）は、コピーとして検出されたクリップの中で、本当のコピークリップ、つまり、偽の正数を無視して一致した実際のコピーを意味する。コピークリップ総数はターゲットビデオ中に存在している本物のコピークリップ数を示している。図１０Ａ及び１０Ｂにおいて、望ましい結果がτ＝0.1で得られることを示しており、レートが共に高い。図１０Ａのグラフ１５６で、線１５８ａ〜ｅを比較すると、線１５８ｅが精度が最も優れている。図１０Ｂのグラフ１６０で、線１６２ａ〜ｅを比較すると、線１６２ｅが再現度が最も優れている。よって、両方ともα＝0.7である。

図１１は、本発明の一実施例において、τが0.1のときの精度及び再現率を説明する棒グラフである。コピーの見落とし数を最小にするには、再現率を高くすることが重要であることに注目。図１１に示すように、α＝0.7のとき、このアルゴリズムは再現率が最も高くなる。しかしながら、α＝0.7のとき精度は低い。これはあまりにも多くの誤検出が存在するということである。そこで、システムパラメータをα＝0.5及びτ＝0.1に決めた。これらのパラメータは発明の機能をさらに定義するために提示した具体的な説明上の模式的な例であることを理解すべきである。よって、具体的なアプリケーションいかんにより、最適パラメータは上述の模式的パラメータとは異なる。

図１２は、本発明の一実施例において、ビデオコピー検出システムを説明する簡略図である。ビデオコピー検出システム１６６は、中央処理ユニット（CPU）１７４、メモリ１７２、ビデオコピー検出ロジック１６８を有し、これらは全てバス１７０で相互接続されている。ビデオコピー検出ロジック１６８は、上述のごとく、ビデオクリップのフレーム及びターゲットビデオのフレームを分割するためのロジックを含んでいることを理解すべきである。例えば、図２において、各フレームを分割するためのロジックは各フレームを２×２の行列に分割するように構成されている。ビデオコピー検出ロジック１６８には、ビデオクリップのフレームと関連付けられた順位行列とターゲットビデオのフレームと関連付けられた順位行列との空間非相似性を判定するためのロジックも入っている。上述のごとく、２つのシーケンス間の空間非相似性は２個の画像フレーム間の空間距離を計算(calculate)することによって計算(compute)される。ビデオコピー検出ロジック１６８はさらに、ビデオクリップのシーケンシャルフレームとターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向を判定するためのロジックを有する。この例で、ビデオは時間をかけて発生するので時間的変異を考慮するために、濃度分布の方向から時間的軌跡が生まれる。

図６及び図７で説明したように、対応する区画について、空間非相似性を表わす値と濃度分布の方向を表わす対応する値とが結合されて、その結果として一列の値を生じる。一例として、第１列はビデオクリップの逐次区画の時間的濃度分布と関連付けられるのに対し、第２列の値はターゲットビデオに対応する時間的濃度変化と関連付けられる。次に、第１列の値と第２列の値とを比較して、値が、図６に関して説明したと同じように、類似した方向に変わっているかどうか判定される。当業者であれば、ビデオコピー検出ロジック１６８はハードウェア、ソフトウェア、又はその両方の何らかの組合せとして実施できることが分かるだろう。ハードウェア構成には本明細書で説明している機能を実行するように構成された回路機構を含む集積回路を取り入れることができる。言うまでもなく、集積回路はプラグインボード又はアダプタカードに装備されていて構わない。

図１３は、本発明の一実施例において、ビデオデータがターゲットビデオに出現するかどうか検出するための方法操作を説明したフローチャートである。この方法は、ビデオクリップのフレーム及びターゲットビデオのフレームが共に分割される操作１８０から始まる。上述のごとく、ターゲットビデオと関連付けられたアスペクト比が変わったときターゲットビデオと関連付けられた順序測度は変わらないように、ビデオクリップのフレーム及びターゲットビデオのフレームは共に２×２行列に分割される。例えば、ターゲットビデオのアスペクト比がピラーボックス又はレターボックス構成に変わっている場合、２×２構成はこうした変化に対応できるのでターゲットビデオと関連付けられた順序測度が影響を受けない。この方法は次に操作１８２に進み、ビデオデータ及びターゲットビデオと関連付けられる空間シグネチャ値が計算される。上述のごとく、空間シグネチャ値は２個の画像フレーム間の空間距離を表わしている。例えば、空間距離を上述のごとく２つの順位行列間の正規化された距離として表わしても構わない。

図１３の方法は次に操作１８４に進み、ビデオデータ及びターゲットビデオと関連付けられる時間シグネチャ値が計算される。時間シグネチャ値は正規化された距離によって表わされた時間距離計量値を表わすことを理解すべきである。言い換えれば、時間シグネチャ値は、図６で説明したように、不一致の程度の推定値、つまり、時間的変異が同じ方向でない対応する対の数の推定値を含んでいる。この方法は次に操作１８６に進み、空間シグネチャ値及び時間シグネチャ値が結合される。この例で、空間シグネチャ値及び時間シグネチャ値は、方程式６に関して説明したように結合されて構わない。そこで説明しているように、時間距離と空間距離とのトレードオフ値を提供する。

操作１８８で、１列のフレームに対して区画ごとに空間シグネチャ値及び時間シグネチャ値が結合されて、その結果として空間シグネチャ値と対応する時間シグネチャ値とが結合されたシーケンスが生じる。操作１９０で、操作１８８で確立されたシーケンスの最小値が判定される。その後、決定の操作１９２で、操作１９０から生じた最小値がしきい値よりも小さいかどうか判定される。ここで、図７において説明したように、一つ以上の局所最小値を見出しても構わない。局所最小値がしきい値よりも小さければ、ターゲットビデオはビデオデータのコピーを含んでおり、そのようにマークが付けられる。決定の操作１９２で最小値がしきい値より大きければ、操作１９６に表わされているように、ターゲットビデオはビデオデータのコピーを含んでいない。

要約すれば、上述の発明は無許可のビデオクリップのコピーを検出する。空間及び時間因子を用いることによって、照会及びターゲットビデオデータに対して２×２分割の画像が用いられる。分割数が少ないために空間因子は低判別可能性と関連付けられるから、分割構成の犠牲になる判別可能性を向上させるために時間間因子が組み込まれている。上述のごとく、分割構成はターゲットビデオに加えられたアスペクト比の変更を評価することができる。その上に、上述の実施例と関連付けられたシグネチャを保持／索引付けするのに要するメモリはフレームにつき４バイトである。これは、空間マッチングだけに基づくビデオコピー検出に要するメモリと比べて、比較的に少量である。

さらに、本書で説明した実施例はマルチメディアのサーチエンジンに組み込むことができる。こうしたエンジンは、例えば、検索結果の中にいくつかのコピーが存在するなど、多数のコピーがごった返しになっているので、ユーザは素早くブラウジングできない。従って、コピーを予防するのに、先に説明したように表示する前に検索結果からコピーを検出して削除するスキームを活用することができる。さらに、コンテンツベースのビデオコピー検出スキームはメディアトラッキングにも役立つ。メディアトラッキングとは、或る特定の公知のメディアがいつ、どこで使われたか記録することである。例えば、市場調査のためにある特定のＴＶコマーシャルをモニタするのはメディアトラッキングの具体的な適用業務である。詳細に言えば、いつ、何回、どのチャンネルで、競合他社のコマーシャルが放送されたか知りたいかもしれない。そうすることによって、競合他社のマーケティング戦略を理解することができる。メディアトラッキングは、所有権の管理及びロイヤリティの支払いに関しても役立つ。

上記の実施例に照らせば、発明は、コンピュータで実現される、コンピュータシステムに保持されたデータを伴う様々な操作を採用するかもしれないことを理解すべきである。これらの操作は物理的数量の物理的操作を要する操作を含んでいる。必ずしてもそうであるとは限らないが、普通、こうした数量は保持、転送、結合、比較、及びその他の操作が可能な電気又は磁気信号の形式をとる。さらに、実行される操作は、生成、識別、判定、又は比較といった表現で呼ばれることが多い。

上記の発明は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの又はプログラミング可能な消費者エレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含んだ他のコンピュータシステム構成と共に実施されても構わない。発明はまた、通信ネットワークでリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境で実施してもよい。

発明は、コンピュータ可読媒体にコンピュータ可読コードとして実施されることもできる。コンピュータ可読媒体は、コンピュータシステムが後から読み出せるデータを保持することができる任意のデータ記憶装置である。コンピュータコードが実装された電磁搬送波もコンピュータ可読媒体の一つである。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続型記憶装置（NAS）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、その他の光学式及び非光学式データ記憶装置などがある。コンピュータ可読媒体は、コンピュータ可読コードを分散して保持及び実行できるように、ネットワーク結合コンピュータシステムで分散されることもできる。

はっきりと理解できるように、上記の発明をある程度詳細に説明してきたが、添付の特許請求の範囲内で一定の変更及び修正が可能なことは明白であろう。従って、本願の実施例は説明のためで限定のためではないと考えるべきで、発明は本明細書で述べた細部に限定されるものではなく、添付の特許請求の範囲及び同等の範囲内で修正可能である。特許請求の範囲において、要素及び／又はステップは、明確に記載されていない限り、操作の特定の順番を暗に示しているものではない。

ビデオデータのアスペクト比を変える一般的な技法を説明した図。 コピー検出のための順序測度を使用したグラフ表現。 画像を異なる分割にした場合の画像の濃度分布を説明した図。 本発明の、原画像フレームを分割することから得た２つの部分画像シーケンスを説明する図。 本発明の、フレーム及びその区画の濃度分布の平均値(mean value)の時間的変異を説明したグラフ。 ヒストグラム平坦化を適用した場合の、フレーム及びその区画の濃度分布の平均値(mean value)の時間的変異を説明したグラフ。 本発明のｄ_T(δ_q,δ_t)（２区画間の距離）を計算するための手段の図形表現。 本発明の照会ビデオクリップとターゲットビデオとの一致を判定するプロセスの概要を視覚的に示した概略図。 本発明のビデオコピー検出器実現の模式的グラフィカルユーザインタフェース（ＧＵＩ）を説明した図。 本発明の受信器動作特性（ＲＯＣ）曲線を用いる提案しているアルゴリズムの性能を説明するグラフ。 本発明の正規化されたしきい値に対しての精度及び再現率それぞれを説明するグラフ。 本発明のτが0.1のときの精度及び再現率を説明する棒グラフ。 本発明のビデオコピー検出システムを説明する簡素化された図。 本発明のターゲットビデオデータの中にビデオデータが現われるかどうか検出するための方法操作を説明したフローチャート。

符号の説明

１００、１０２、１０４ ビデオフレーム
１０６ 部分画像
１０８ 順位行列
１１０ 画像
１４２ ターゲットビデオフレーム
１４３ ビデオクリップフレーム
１４８ ボタン
１６６ ビデオコピー検出システム
１６８ ビデオコピー検出ロジック
１７０ バス
１７２ メモリ
１７４ ＣＰＵ

Claims (43)

1. ビデオデータがターゲットビデオに現われるかどうか検出するための方法であって、
   前記ビデオデータ及び前記ターゲットビデオと関連付けられる２つの空間シグネチャ間の空間距離を計算する操作と、
   前記ビデオデータ及び前記ターゲットビデオと関連付けられる２つの時間シグネチャ間の時間距離を計算する操作と、
   前記空間距離及び前記時間距離を結合する操作と、
   前記結合された空間距離と時間距離とに基づいて前記ビデオデータが前記ターゲットビデオの中に現われるかどうか判定する操作とを有することを特徴とする検出方法。
2. 請求項１において、
   前記ビデオデータ及び前記ターゲットビデオと関連付けられる空間シグネチャ値を計算し、
   前記ビデオデータ及び前記ターゲットビデオと関連付けられる時間シグネチャ値を計算し、
   前記ビデオデータのフレームと前記ターゲットビデオの対応フレームとを、前記ターゲットビデオの対応フレームのアスペクト比の変更を補償する構成に分割することを有することを特徴とする方法。
3. 請求項１において、前記ビデオデータ及び前記ターゲットビデオと関連付けられる空間シグネチャ値を計算する方法操作は、
   前記ビデオデータのフレームの第１順序測度(ordinal measure)と前記ターゲットビデオのフレームの第２順序測度とを共に判定し、
   前記第１順序測度及び前記第２順序測度間の空間距離を計算することを特徴とする方法。
4. 請求項１において、前記ビデオデータ及び前記ターゲットビデオと関連付けられる時間シグネチャ値を計算する方法操作は、
   前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の時間的濃度分布の方向を判定することを特徴とする方法。
5. 請求項１において、前記空間距離及び前記時間距離を結合する方法操作は、
   前記空間距離を値だけ調整し、
   前記時間距離を１から前記値を引いた分だけ調整し、前記値は０と１の間の数であることを特徴とする方法。
6. ビデオクリップのコピーを検出するための方法であって、
   前記ビデオクリップのフレーム及びターゲットビデオのフレームを、前記ターゲットビデオと関連付けられたアスペクト比が変わったときに前記ターゲットビデオと関連付けられた順序測度は変わらないように分割する操作と、
   前記ビデオクリップフレーム及び前記ターゲットビデオフレーム間の非相似性値を判定する操作と、を有することを特徴とする検出方法。
7. 請求項６において、前記ビデオクリップのフレーム並びにターゲットビデオのフレームを共に分割する方法操作は、
   前記ビデオクリップのフレーム及び前記ターゲットビデオのフレームを共に４個の領域に細分することを特徴とする方法。
8. 請求項６において、前記ビデオクリップフレーム及び前記ターゲットビデオフレーム間の非相似性値を判定する方法操作は、
   前記ビデオクリップフレームの順位行列と前記ターゲットビデオフレームの順位行列との差に基づいて空間非相似性値を計算し、
   前記ビデオクリップのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向に基づいて時間距離計量値を計算し、
   前記空間非相似性値を前記時間距離計量値と結合することを特徴とする方法。
9. 請求項６において、さらに
   分割及び決定を繰り返し、
   一列の非相似性値を生成し、
   前記一列の非相似性値の中の最小値を識別することを特徴とする方法。
10. 請求項９において、前記一列の非相似性値の中の最小値を識別する方法操作は、
    最小値がしきい値よりも小さいかどうか判定し、
    もし最小値がしきい値よりも小さければ、前記方法は、
    最小値と関連付けられたターゲットビデオのフレームを、前記ビデオクリップの対応フレームのコピーとして識別することを特徴とする方法。
11. ビデオクリップのコピーを検出するマッチング技法であって、
    前記ビデオクリップのフレーム及びターゲットビデオのフレーム間の濃度分布の時間的軌跡(temporal trails)を比較する操作を有することを特徴とするマッチング技法。
12. 請求項１１において、さらに
    前記ビデオクリップフレーム及び前記ターゲットビデオフレームを、前記ターゲットビデオフレームと関連付けられるアスペクト比が変わったとき前記ターゲットビデオフレームと関連付けられた順序測度は変わらない構成に、分割することを特徴とするマッチング技法。
13. 請求項１１において、さらに
    前記ビデオクリップのフレーム及びターゲットビデオのフレーム間の空間シグネチャを比較し、
    前記時間的軌跡の比較及び前記空間シグネチャの比較から生じた結果を結合することを特徴とするマッチング技法。
14. 請求項１３において、さらに
    しきい値を確立し、
    結合された結果を検査し、
    結合された結果の最小値を判定し、
    最小値をしきい値と比較し、
    最小値がしきい値よりも小さければ、最小値と関連付けられたターゲットビデオのフレームをコピーとして識別することを特徴とするマッチング技法。
15. 請求項１１において、前記ビデオクリップのフレーム及びターゲットビデオのフレーム間の濃度分布の時間的軌跡を比較する方法操作は、
    前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向を識別することを特徴とするマッチング技法。
16. 請求項１５において、前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向を識別する方法操作は、
    前記ビデオデータのシーケンシャルフレームの逐次区画の濃度に対応する第１集合の値を割り当て、
    前記ターゲットビデオのシーケンシャルフレームの逐次区画の濃度に対応する第２集合の値を割り当てることを特徴とするマッチング技法。
17. 請求項１６において、さらに
    前記ビデオデータのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第１列の値を生成し、
    前記ターゲットビデオのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第２列の値を生成し、
    前記第１列の値と前記第２列の値を比較して前記ビデオデータの時間的濃度変化と前記ターゲットビデオの時間的濃度変化が同じ方向かどうか判定することを特徴とするマッチング技法。
18. ビデオデータがターゲットビデオに現われるかどうか検出するためのプログラム命令を有するコンピュータ可読媒体であって、
    前記ビデオデータ及び前記ターゲットビデオと関連付けられる２つの空間シグネチャ間の空間距離を計算するためのプログラム命令と、
    前記ビデオデータ及び前記ターゲットビデオと関連付けられる２つの時間シグネチャ間の時間距離を計算するためのプログラム命令と、
    前記空間距離及び前記時間距離を結合するためのプログラム命令と、
    前記結合された空間距離及び時間距離を表わす値に基づいて前記ビデオデータが前記ターゲットビデオに現われるかどうか判定するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
19. 請求項１８において、さらに
    前記ビデオデータ及び前記ターゲットビデオと関連付けられた空間シグネチャ値を計算するためのプログラム命令と、
    前記ビデオデータ及び前記ターゲットビデオと関連付けられた時間シグネチャ値を計算するためのプログラム命令と、
    前記ビデオデータのフレーム及び前記ターゲットビデオの対応フレームを、前記ターゲットビデオの対応フレームのアスペクト比の変更を補償する構成に分割するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
20. 請求項１９において、前記ビデオデータ及び前記ターゲットビデオと関連付けられた空間シグネチャ値を計算するためのプログラム命令は、
    前記ビデオデータのフレームの第１順序測度並びに前記ターゲットビデオのフレームの第２順序測度を共に判定するためのプログラム命令と、
    前記第１順序測度及び前記第２順序測度間の空間距離を計算するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
21. 請求項１９において、前記ビデオデータ及び前記ターゲットビデオと関連付けられた時間シグネチャ値を計算するプログラム命令は
    前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルとの対応する区画間の時間的濃度分布の方向を判定することを特徴とするコンピュータ可読媒体。
22. ビデオクリップのコピーを検出するためのプログラム命令を有するコンピュータ可読媒体であって、
    前記ビデオクリップのフレーム及びターゲットビデオのフレームを、前記ターゲットビデオと関連付けられたアスペクト比が変わったときに前記ターゲットビデオと関連付けられた順序測度は変わらないように、分割するためのプログラム命令と、
    前記ビデオクリップフレーム及び前記ターゲットビデオフレーム間の非相似性値を判定するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
23. 請求項２２において、前記ビデオクリップのフレーム並びにターゲットビデオのフレームを共に分割するためのプログラム命令は、
    前記ビデオクリップフレーム並びに前記ターゲットビデオフレームを共に４個の領域に細分するためのプログラム命令を含むことを特徴とするコンピュータ可読媒体。
24. 請求項２２に記載において、前記ビデオクリップフレーム及び前記ターゲットビデオフレーム間の非相似性値を判定するためのプログラム命令は、
    前記ビデオクリップフレームの順位行列と前記ターゲットビデオフレームの順位行列との差に基づいて空間非相似性値を判定するためのプログラム命令と、
    前記ビデオクリップのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の濃度分布の方向に基づいて時間距離計量値を計算するためのプログラム命令と、
    前記空間非相似性値を前記時間距離計量値と結合するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
25. 請求項２２において、さらに
    分割及び判定を繰り返すためのプログラム命令と、
    一列の非相似性値を生成するためのプログラム命令と、
    前記一列の非相似性値の中の最小値を識別するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
26. 請求項２５において、前記一列の非相似性値の中の最小値を識別するためのプログラム命令は、
    最小値がしきい値よりも小さいかどうか判定するためのプログラム命令を含み、
    最小値がしきい値よりも小さければ、前記プログラム命令は、
    最小値と関連付けられた前記ターゲットビデオのフレームを前記ビデオクリップの対応フレームのコピーとして識別するためのプログラム命令を有することを特徴とするコンピュータ可読媒体。
27. ビデオクリップのコピーを検出するためのマッチング技法を実行するためのプログラム命令を有するコンピュータ可読媒体であって、
    前記ビデオクリップ及びターゲットビデオ間で濃度分布の時間的軌跡を比較するためのプログラム命令を有することを特徴とするコンピュータ可読媒体。
28. 請求項２７において、さらに
    前記ビデオクリップのフレーム及び前記ターゲットビデオのフレームを、前記ターゲットビデオのフレームと関連付けられたアスペクト比が変わったとき前記ターゲットビデオのフレームと関連付けられた順序測度は変わらない構成に、分割するためのプログラム命令を有することを特徴とするコンピュータ可読媒体。
29. 請求項２７において、さらに
    前記ビデオクリップのフレーム及びターゲットビデオのフレーム間で空間シグネチャを比較するためのプログラム命令と、
    前記時間的軌跡の比較及び前記空間シグネチャの比較から生じた結果を結合するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
30. 請求項２９において、
    しきい値を確立するためのプログラム命令と、
    結合された結果を調べるためのプログラム命令と、
    結合された結果の最小値を判定するためのプログラム命令と、
    最小値をしきい値と比較するためのプログラム命令と、
    最小値がしきい値よりも小さければ、前記ターゲットビデオで最小値と関連付けられたフレームをコピーとして識別するためのプログラム命令とをさらに有することを特徴とするコンピュータ可読媒体。
31. 請求項２７において、前記ビデオクリップのフレーム及びターゲットビデオのフレーム間の濃度分布の時間的軌跡を比較するためのプログラム命令は、
    前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとで対応する区画間の時間的濃度分布の方向を識別するプログラム命令を含むことを特徴とするコンピュータ可読媒体。
32. 請求項３１において、前記ビデオデータのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとの対応する区画間の時間的濃度分布の方向を識別するプログラム命令は、
    前記ビデオデータのシーケンシャルフレームの逐次区画の濃度に対応する第１集合の値を割り当てるためのプログラム命令と、
    前記ターゲットビデオのシーケンシャルフレームの逐次区画の濃度に対応する第２集合の値を割り当てるためのプログラム命令とを含むことを特徴とするコンピュータ可読媒体。
33. 前記ビデオデータのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第１列の値を生成するためのプログラム命令と、
    前記ターゲットビデオのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第２列の値を生成するためのプログラム命令と、
    前記第１列の値及び前記第２列の値を比較して前記ビデオデータの時間的濃度変化と前記ターゲットビデオの時間的濃度変化とが同じ方向かどうかを判定するためのプログラム命令とをさらに有することを特徴とするコンピュータ可読媒体。
34. コンピュータであって、
    中央処理ユニット（CPU）と、
    メモリと、
    ビデオクリップのコピーを検出するように構成されたビデオコピー検出ロジックとを備え、前記ビデオコピー検出ロジックは、
    前記ビデオクリップのフレーム及びターゲットビデオのフレームを分割するためのロジックと、
    前記ビデオクリップのフレームと関連付けられた順位行列と前記ターゲットビデオのフレームと関連付けられた順位行列との空間非相似性を判定するためのロジックと、
    前記ビデオクリップのシーケンシャルフレームと前記ターゲットビデオのそれぞれのシーケンシャルフレームとで対応する区画間の濃度分布の方向を判定するためのロジックとを含み、さらに、
    前記CPU、前記メモリ、及び前記ビデオコピー検出ロジックを相互接続するバスを備えることを特徴とするコンピュータ。
35. 請求項３４において、前記ビデオコピー検出ロジックはさらに、
    対応する区画について空間非相似性を表わす値と濃度分布の方向を表わす値とを結合するためのロジックを含むことを特徴とするコンピュータ。
36. 請求項３４において、前記ビデオコピー検出ロジックはさらに、
    前記ビデオクリップのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第１列の値を生成するためのロジックと、
    前記ターゲットビデオのシーケンシャルフレームの逐次区画の時間的濃度変化を示す第２列の値を生成するためのロジックと、
    前記第１列の値と前記第２列の値とが同じ方向に変化しているかどうか判定するためのロジックとを含むことを特徴とするコンピュータ。
37. 請求項３４において、前記ビデオクリップのフレーム及び前記ターゲットビデオのフレームを分割するためのロジックは、各フレームを２×２フォーマットに分割することを特徴とするコンピュータ。
38. 請求項３４において、各ロジック素子は、ハードウェアか、ソフトウェアか、又はハードウェアとソフトウェアとの組合せかであることを特徴とするコンピュータ。
39. 集積回路であって、
    ターゲットビデオフレームの区画と照会ビデオフレームで対応する区画との間に定義された空間距離値を、前記ターゲットビデオフレームの区画及び前記照会ビデオフレームの対応区画と関連付けられた時間距離値と結合して非相似性値を定義するためのロジックと、
    非相似性値が局所最小値かどうか判定するためのロジックとを備えることを特徴とする集積回路。
40. 請求項３９において、前記区画と関連付けられた順序測度に基づいて空間距離値を計算するためのロジックをさらに備えることを特徴とする集積回路。
41. 請求項３９において、ターゲットビデオと照会ビデオとの対応している逐次ビデオフレーム間の濃度分布の変化の方向に基づいて時間距離値を計算するためのロジックをさらに備えることを特徴とする集積回路。
42. 請求項３９において、前記ターゲットビデオフレーム及び前記照会ビデオフレームを共に２×２行列に分割するためのロジックをさらに備えることを特徴とする集積回路。
43. 請求項３９において、前記非相似性値が局所最小値かどうか判定するためのロジックは、
    非相似性値をしきい値と比較するためのロジックと、
    非相似性値がしきい値よりも小さければ、非相似性値を局所最小値として識別するためのロジックとを含むことを特徴とする集積回路。