JP2018532198A - 視覚データのストリーム中のコピーを検出するための方法およびデバイス - Google Patents

Abstract

本発明は、初期画像を受信することと、初期画像をグレースケールにコンバートすることと、グレー化画像を複数の行と偶数個の列とを有する低減された画像にリサイズすることと、低減された画像の全体的シグネチャを計算することと、低減された画像の全体的シグネチャと基準画像のシグネチャとの間の比較の結果に従って、初期画像が画像のコピーまたはほとんどコピーであるかどうかを決定することとからなる、画像のコピーまたはほとんどコピーを検出するための方法およびデバイスに関する。全体的シグネチャを計算するステップは、低減された画像の各列についての行シグネチャを計算するステップであって、計算が、各行に対する対称的ピクセルのサブセットにわたる統計的に取得された値の比較に基づく、計算するステップと、全体的シグネチャを取得するために行シグネチャを連結するステップとを含む。

Description

本発明は、マルチメディアドキュメント、たとえば画像またはビデオの送信および交換の分野に関する。より詳細には、本発明は、視覚コンテンツのほぼコピー（ｎｅａｒ−ｃｏｐｙ）の検出に関する。

ソーシャルウェブの増加は、ウェブサイトにわたるまたはオンラインソーシャルネットワーク（ＯＳＮ）のユーザのプロファイルにわたる、視覚コンテンツ、すなわち、画像、ビデオの伝搬の大量の増加につながった。公開されたコンテンツと中継されたコンテンツとは、同一であることがあり、その場合、コンテンツのコピーへの言及が行われ、あるいはささいな変更を含んでいることさえあり、その場合、コンテンツのほぼコピーへの言及が行われる。説明の残り全体にわたって、「コピー」という用語を使用する「コンテンツコピー」、「画像コピー」、「コピー検出」という表現および他の変形形態は、「コピー」および／または「ほぼコピー」という用語を包含するものと解釈されることになる。

画像のほぼコピーは変換のうちの１つまたは組合せを受けた基準画像（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）であると、一般的に認められている。基準画像は、画像の固定ベースに属するか、または他の場合、視覚データのストリームを介してあらかじめ収集され得る。

以下の変換は、主要なソーシャルメディア出力、すなわち、ブログ、ソーシャルネットワーク、フォーラム、オンライン新聞などの上で公開された現在画像の中からの、インターネット上で遭遇される可能性が最も高い変換の例である：
− たとえばＪＰＥＧへの、圧縮、
− たとえばＰＮＧコンバージョンなど、符号化の変更、
− たとえば左右反転を通した、フリッピング、
− 比率（スケーリング）の変更、
− たとえば、画像のエッジが削除され、必ずしもセンタリングされているとは限らない、クロッピング、
− たとえばグレースケールまたはセピアへの、比色コンバージョン、
− たとえば２０°未満の、小さい回転、
− テキスト（タイトル、シグネチャなど）または画像（たとえばロゴ）を埋め込むこと。

基準視覚コンテンツのアイテムのコピーの検出は、ブログについてか、ソーシャルネットワークについてか、フォーラムについてかまたは他の場合オンライン新聞についてかにかかわらず、ソーシャルメディア分析の分野において複数の実益を有する。この問題は、ほんのいくつかの有利な適用例を挙げれば、保護コンテンツの違法コピーを探索すること、コンテンツの人気を測定すること、ソーシャルメディアを監視すること、または他の場合、ビデオ内のプログラミングの位置を特定することなど、様々な適用例のコアにある。

それの用途にかかわらず、コピー検出は、それのコンテンツによって画像を識別することからなる動作、「コンテンツベースの検索（ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｒｅｔｒｉｅｖａｌ）」として知られる技法である。ソーシャルネットワークの分野において考慮に入れられるべき重要な特徴は、コンテンツが、連続的に処理されなければならないデータストリームであることであり、したがって、（画像またはキーフレームがビデオから抽出される）視覚データのストリームから生じるコピー検出は、概して、基準ベース中の画像についてオンラインで探索するためにかかる時間と、画像が受け得る様々な変換に対するロバストネスとに集中される。したがって、コピーまたはほぼコピーを検出するための知られている手法は、探索プロセスの速度を上げるために、画像の局所特徴を集約することによってコンパクトな視覚シグネチャが構築される方法に依拠する。コピー検出要求の処理が、分析されるべき画像についてのシグネチャの算出と、基準画像中のほぼコピーについての探索とを含むデジタル視覚データのストリームの場合、総処理時間は、処理されるべきデータストリームのビットレートに適合することが必要である。

しかしながら、局所特徴を算出し、集約することのコストは無視できず、インデックス付け時間（シグネチャ算出）は、画像ストリームの処理が想定される瞬間から十分に短くなければならない。視覚シグネチャを算出するのにかかる時間は、新しいデータの受信の頻度に適合しなければならない。より詳細には、インデックス付けおよび探索動作は、着信ストリームからの新しいデータの収集のレートよりも高いレートで実行されなければならない。たとえば、システムが１日当たり５０万個の視覚マルチメディア記事をダイジェストする場合、それらと１千万から１億個のドキュメントを含むと仮定される最近コンテンツとの比較は、（２４×３６００）／５０００００＝１７２．８ミリ秒よりも小さい、すなわち１秒当たり６つの画像程度で行われなければならない。そのような厳しい処理レートは、コンピューティングリソースが限定される場合、局所特徴の圧縮および変換に基づくシグネチャの使用を採用するのを困難にする。したがって、要求を処理するのにかかる時間はまた、サービスを提供するのに必要とされるコンピューティングリソース（メモリ、プロセッサ）とのバランスをとられなければならない。

図１は、コピー検出のための標準処理チェーンを示す。一般原理は、それのコンテンツにより画像を基準ベースにわたって探索することと、画像が基準画像のコピーまたはほぼコピーであるかどうかを決定することとからなる。したがって、要求を処理するためのデバイスは、第１のオフライン処理チェーン（１０２）において、それの表示が１つまたは複数のベクトルを含み得る、所与の画像（基準ドキュメント）のベクトル表示を設定することからなる、視覚特徴を抽出するためのモジュール（１０４−１）と、特徴の抽出に起因する記述子をインデックス付けし、したがって、効率的に探索され得るインデックス付き基準ベース（ｉｎｄｅｘｅｄ ｒｅｆｅｒｅｎｃｅ ｂａｓｅ）を形成するためのインデックス付けモジュール（１０６）とを含む。随意に、インデックス付けは、複数の基準画像がそれら自体ほぼコピーである場合、ラベルを含み得る。

デバイスは、要求画像が基準画像のコピーであるか否かを決定するために決定モジュール（１１２）に結合された、同様の画像を見つけるために要求画像のベクトル記述を使用し、基準ベースに問い合わせる比較モジュール（１１０）に結合された、要求画像のベクトル記述を設定するために視覚特徴を抽出するためのモジュール（１０４−２）を含む、要求を処理するための第２のオンライン処理チェーン（１０８）をさらに含む。

マルチメディアの分野における知られている作業の大部分は、画像を表すために局所記述子（ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ）の抽出に基づく。各基準画像中で、関心のあるポイントのセットは、視覚的に顕著であり、画像が変更された後でも見つけられる可能性がある画像中のポイントに相当するものとして選択される。局所記述子は、その後、各関心のあるポイントの空間近傍において算出される。

そのような手法は、「Ｍｅｔｈｏｄ ｏｆ ｉｄｅｎｔｉｆｙｉｎｇ ａ ｍｕｌｔｉｍｅｄｉａ ｄｏｃｕｍｅｎｔ ｉｎ ａ ｒｅｆｅｒｅｎｃｅ ｂａｓｅ， ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｄｅｖｉｃｅ」と題する、Ｇｅｎｇｅｍｂｒｅ Ｎｉｃｏｌａｓらによる特許出願ＷＯ ２００９／０９５６１６、さもなければ、「Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｃｏｐｙ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｄｉｓｔｏｒｔｉｏｎ−Ｂａｓｅｄ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｓｉｍｉｌａｒｉｔｙ Ｓｅａｒｃｈ」と題する、Ｊｏｌｙ，Ａ．、Ｂｕｉｓｓｏｎ，Ｏ．およびＦｒｅｌｉｃｏｔ，Ｃ．による論文、Ｍｕｌｔｉｍｅｄｉａ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、第９巻、第２号、２９３、３０６頁、２００７年２月に示されている。

しかしながら、この方法は、局所記述子を抽出することと、なにより基準ベースが大きくなったときに基準ドキュメントを発見することとの両方のための算出時間に関して極めて費用がかかる。

したがって、局所記述子を使用する方法は良好な性能を呈し、それらを高速画像探索のために利用するために効率的なインデックス付け方式が提案された。しかしながら、これらの取り組みは、探索時間に集中し、提案された方法は、特徴を抽出するためにかかる時間が必須パラメータである、連続データストリームにおける算出に適用されるには依然としてあまりに遅い。

１つの知られている代替形態は、分析されるべき画像のための全体的シグネチャ（ｏｖｅｒａｌｌ ｓｉｇｎａｔｕｒｅ）を使用することからなる。その場合、インデックス付けは、しばしば、連結動作からなり、未加工（ロー）シグネチャファイルを生じる。その後の比較動作は、ベクトル間の単純な距離（または類似度）を決定することからなる。この手法の利点は、シグネチャの算出が高速であることである。欠点は、概して、局所記述子を使用する手法よりも変換に対してあまりロバストでないことである。さらに、比較速度は、基準ベースのサイズに、およびシグネチャのサイズに比例する。したがって、それは、可能な最小シグネチャを見つけることに関する。

以下の参考文献は、全体的シグネチャの算出に関する論文を与える。

Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗによる刊行物「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３は、共通ベンチマークに関する複数のそのような手法を比較する。

「アベレージハッシュ」と呼ばれるいくぶんより単純な手法をおそらく使用する、画像検索エンジン「ＴｉｎＥｙｅ」（ｗｗｗ．ｔｉｎｅｙｅ．ｃｏｍ）も言及に値する。それは、従来のハッシュ関数とは異なり、信号のコンテンツの小さい変化が、ハッシュキーを少量のみだけ変更するということに依拠する。これは、使用されるべき「ほとんど同一」のコンテンツを見つけるためによく知られている、ハミング距離（Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ）などの類似度関数を可能にする。

Ｚａｕｎｅｒ、Ｃｈｒｉｓｔｏｐｈによる刊行物「Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ Ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｈａｓｈ Ｆｕｎｃｔｉｏｎｓ」修士論文、Ｕｐｐｅｒ Ａｕｓｔｒｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ハーゲンバーグキャンパス、２０１０年は、全体的シグネチャにたとえられることがある「知覚ハッシング（ｐｅｒｃｅｐｔｕａｌ ｈａｓｈｉｎｇ）」関数を検討する。

アドレスｈｔｔｐ：／／ｂｌｏｇ．ｉｃｏｎｆｉｎｄｅｒ．ｃｏｍ／ｄｅｔｅｃｔｉｎｇ−ｄｕｐｌｉｃａｔｅ−ｉｍａｇｅｓ−ｕｓｉｎｇ−ｐｙｔｈｏｎ／において、２０１４年４月にオンラインで利用可能な刊行物は、Ｚａｕｎｅｒによって論文において記述された方法と同じ方法のカテゴリーに該当する、ブロック平均（ｂｌｏｃｋ ｍｅａｎ）に基づく知覚ハッシング方法について説明する。特に、本方法は、以下のステップからなる：
− 要求画像をグレースケールにコンバートするステップ、
− グレー化画像を「８×９」（８つの行、９つの列）の固定サイズに低減するステップ、
− たとえば、ピクセルが、右隣接ピクセルのグレースケール値よりも大きいグレースケール値を有する場合、「真」値を帰する（ａｔｔｒｉｂｕｔｅ）ために、各行中の隣接ピクセルの強度を比較するステップ、
− １６進法で、得られたバイナリ画像（８×８）を符号化するステップ。

図２ａは、この原理に従う、行「ｉ」のためのハッシュ関数の構成を示す。この例では、要求画像が、８行×９列の固定サイズに低減される。ピクセルを比較するステップは、ピクセルの強度が隣接ピクセルの強度よりも大きい場合、「真」値を帰することからなる。この例では、行は、それぞれの強度（Ｂ１＝１２０、Ｂ２＝１２１、Ｂ３＝１２１、Ｂ４＝８８、Ｂ５＝８６、Ｂ６＝１３６、Ｂ７＝１３０、Ｂ８＝８４、Ｂ９＝８５）のピクセルブロック（Ｂ１−Ｂ９）を含む。右隣接ピクセルを比較した後、１６進法で符号化された得られたバイナリ行（行「ｉ」のハッシュ）は、８つの値「０、０、１、１、０、１、１、０」をもつ行である。得られた画像は、サイズ（８×８）の画像である。

この方法は極めて速いが、それは、いくつかの変換のみに対してロバストであり、左右反転の場合、および小さい回転の場合など、多数の他の変換の場合、期待されるロバストネスを与えない。

代替的に、当業者は、図２ｂに示されているように、対称的ピクセルを比較することによって、この方法の対称バージョンを構築することができるであろう。行「ｉ」は、それぞれのピクセル値「１２１、１２２、１２０、８７、８６、１２５、１１９、８４」の８つの列Ｂ１からＢ８から構成される。直線的中心対称性に従って、それらのピクセル値、ピクセルＢ１の値＝１２１とピクセルＢ８の値＝８４との比較が行われ、以下同様に行われる。１６進法で符号化された得られたバイナリ行（行「ｉ」のハッシュ）は、４つの値「１、１、０、１」をもつ行である。得られた画像は、サイズ（８×４）の画像である。そのような手法は、比較動作の数を２だけ低減し、それにより、よりコンパクトなシグネチャが取得されることを可能にするが、これは、特に、画像中の比較される領域が実際上、より少ないことによる情報の損失により、プロセスを、変換に対してあまりロバストでなくする。

国際公開第２００９／０９５６１６号

Ｊｏｌｙ，Ａ．、Ｂｕｉｓｓｏｎ，Ｏ．およびＦｒｅｌｉｃｏｔ，Ｃ．、「Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｃｏｐｙ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｄｉｓｔｏｒｔｉｏｎ−Ｂａｓｅｄ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｓｉｍｉｌａｒｉｔｙ Ｓｅａｒｃｈ」、Ｍｕｌｔｉｍｅｄｉａ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、第９巻、第２号、２９３、３０６頁、２００７年２月 Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗ、「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３ Ｚａｕｎｅｒ、Ｃｈｒｉｓｔｏｐｈ、「Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ Ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｈａｓｈ Ｆｕｎｃｔｉｏｎｓ」修士論文、Ｕｐｐｅｒ Ａｕｓｔｒｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ハーゲンバーグキャンパス、２０１０年 ｈｔｔｐ：／／ｂｌｏｇ．ｉｃｏｎｆｉｎｄｅｒ．ｃｏｍ／ｄｅｔｅｃｔｉｎｇ−ｄｕｐｌｉｃａｔｅ−ｉｍａｇｅｓ−ｕｓｉｎｇ−ｐｙｔｈｏｎ／、２０１４年４月 Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８ Ａ．ＯｌｉｖａおよびＡ．Ｔｏｒｒａｌｂａ、「Ｍｏｄｅｌｉｎｇ ｔｈｅ ｓｈａｐｅ ｏｆ ｔｈｅ ｓｃｅｎｅ：Ａ ｈｏｌｉｓｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｓｐａｔｉａｌ ｅｎｖｅｌｏｐｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第４２巻、第３号、１４５−１７５頁、２００１年 Ｂ．Ｔｈｏｍｅｅ、Ｅ．Ｍ．ＢａｋｋｅｒおよびＭ．Ｓ．Ｌｅｗ、「ＴＯＰ−ＳＵＲＦ：ａ ｖｉｓｕａｌ ｗｏｒｄｓ ｔｏｏｌｋｉｔ」、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、ＡＣＭ、２０１０年、１４７３−１４７６頁

したがって、従来技術では、以下のような、画像を表す全体的シグネチャが構成されることを可能にする解決策がない：
− 少数の機械リソースを用いて、画像のためのシグネチャを極めて急速に算出するために、低いアルゴリズム的複雑性を提供し、
− 基準ベースにわたる高速探索を可能にするのに十分コンパクトであり、
− インターネット上で最も一般に遭遇される変換に対してロバストである。

本発明はこの必要に対処する。

説明される解決策は、視覚データストリームコンテキストにおいて視覚コンテンツを探索する問題を解決することを目的とする。

この目的を達成するために、本発明の１つの主題は、画像の全体的シグネチャを取得する新しい様態に基づくコピーを検出するためのデバイスおよび方法を提案することである。

有利には、画像シグネチャが生成されることを可能にする本発明の方法は高速であり、たとえば約３ＧＨｚの周波数範囲で動作している機械など、一般的リソースをもつ機械の場合、シグネチャが５ｍｓ程度またはそれよりも小さい時間で算出されることを可能にする。

同じく有利には、本発明の方法を介して取得されたシグネチャは、極めてコンパクトであり、１００バイトよりも小さく、したがって大きいデータベースにわたる迅速なおよび網羅的な探索を可能にし、データベースのコンテンツは、利用可能なメモリサイズに依存し、たとえば、１０^７から１０^８個程度の画像を含んでいることが可能である。

有利には、本発明の方法を介して取得された画像シグネチャは、探索が速度を上げられることを可能にする反転インデックス構造（ｉｎｖｅｒｔｅｄ ｉｎｄｅｘ ｓｔｒｕｃｔｕｒｅ）でインデックス付けされるように、Ｋメジアン方法によって定量化され得る。Ｋ平均によってＧＩＳＴシグネチャを定量化する、同様の方法が、Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８に記載されている。Ｋメジアン方法は、（当業者によく知られている）Ｋ平均方法と同一であるが、平均算出をメジアン算出と置き換える。

より一般的には、本発明の方法を介して取得される画像シグネチャは、インターネット上で通常遭遇される画像変換に対してロバストである。

本発明は、保護コンテンツの違法コピーを探索しなければならないという問題、ブロードキャストコンテンツの人気を測定したいという問題、プログラミングのビデオ内の位置を特定したいという問題を対象とする任意の適用例において、または他の場合、ソーシャルメディアの監視に関係する適用例のために有利であることになる。

求められている結果を取得するために、画像のコピーまたはほぼコピーを検出するための方法およびデバイスが提案される。本発明は、初期画像を受信することと、初期画像をグレースケールにコンバートすることと、グレー化画像を複数の行と偶数個の列とを有する低減された画像にリサイズすることと、低減された画像のための全体的シグネチャを算出することと、低減された画像の全体的シグネチャと基準画像シグネチャとの間の比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定することとからなる。全体的シグネチャを算出するステップは、低減された画像の各行についての行シグネチャを算出するステップであって、算出が、各行において対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出するステップと、画像のための全体的シグネチャを取得するために行シグネチャを連結するステップとを含む。

一実施形態では、行シグネチャを算出するステップが、低減された画像についての対称的ピクセルの複数の領域を定義するステップと、各行において、対称的ピクセルのサブセットのグループ（Ｐｘｉ、Ｐｙｊ）を選択するステップであって、各サブセットが、ピクセルがグループＰｘｉに属する場合は行におけるそれの対称的パートナーがグループＰｙｊに属するようなやり方で定義される、選択するステップとを含む。

有利には、統計値は、ピクセルのサブセットにわたる平均であり、行シグネチャは、統計値に従うハッシュ関数の要素に帰される値である。

一変形実装形態では、ハッシュ関数の要素に帰される値が、サブセットＰｘｉについて取得された平均が対称的サブセットＰｙｊについて取得された平均よりも大きい場合、「１」に等しい。

有利には、全体的シグネチャは、各行について算出されたハッシュ関数を連結することによって取得される全体的なハッシュ関数である。一変形形態では、全体的シグネチャを算出するステップは、全体的統計値を追加することを含む。

一実施形態によれば、グレー化画像をリサイズするステップは、初期画像を「Ｈ」行×「Ｗ＋Ｋ」列の第１の画像に低減するステップであって、ここで、「Ｗ」が偶数であり、「Ｋ」が奇数である、低減するステップと、次いで「Ｈ」行×「Ｗ」列の第２の画像に簡略化するステップであって、ここで、「Ｗ」が偶数である、簡略化するステップとからなる。

別の実施形態によれば、全体的シグネチャを算出するステップは、初期画像についての、および画像を極座標にコンバートするための全体的シグネチャを算出するステップからなる。

有利には、本方法は、画像をリサイズするステップの後に、コンテンツに従って画像の安定した中心を決定するステップをさらに含み得る。

一変形形態では、本方法は、Ｋメジアンによってシグネチャを定量化するステップを含み得る。次いで、比較ステップは、反転インデックス構造によって実装される。

本発明は、初期画像が受信されることと、初期基準画像がグレースケールにコンバートされることと、グレー化基準画像が、複数の行と偶数個の列とを有する低減された基準画像にリサイズされることと、グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズすることと、行シグネチャが低減された基準画像の各行につい算出されることであって、算出は、各行における対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出されることとを可能にする、基準画像シグネチャを生成するためのデバイスをもカバーする。取得された行シグネチャは、基準画像シグネチャを取得するために連結される。

本発明は、プログラムがコンピュータ上で実行されるとき、請求される方法のステップが行われることを可能にするコード命令を含むコンピュータプログラム製品の形態で動作し得る。

本発明の様々な態様および利点が、以下の図面を参照しながら、本発明の実装の１つの好適な、しかし非限定的な様態の説明の裏付けとして明らかになろう。

知られているコピー検出デバイスの機能ブロックを示す図である。 知られている方法による行シグネチャの構成の一例を示す図である。 知られている方法による行シグネチャの構成の一例を示す図である。 本発明の一実施形態による、画像のためのシグネチャを取得するための方法のステップを示す図である。 一実施形態における本発明のデバイスの機能ブロックを示す図である。

画像のための全体的シグネチャの算出、すなわち、画像のための全体的記述子の構成のための本発明の方法の主要なステップを示す図３への参照が行われる。本発明の方法は、ソフトウェアおよびハードウェア要素を使用して実装され得る。ソフトウェア要素は、コンピュータによって読み取られ得る、電子、磁気、光または電磁的であり得る媒体上にコンピュータプログラム製品の形態で存在し得る。ハードウェア要素は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態で、あるいはデジタル信号プロセッサ（ＤＳＰ）またはグラフィックス処理ユニット（ＧＰＵ）の形態で完全にまたは部分的に存在し得る。

方法（３００）は、図１に示されているもの（１０４−１、１０４−２）など、視覚特徴を抽出するためのデバイス内に実装される。方法は、基準画像ベースが設定されている間、分離されたオフラインモードで適用され、視覚データのストリーム中の画像を分析するために連続オンラインモードで動作される。

方法は、基準画像を作成したいという要求の受信時、あるいは視覚データのストリーム中の画像が基準画像のコピーまたはほぼコピーであることを検出したいという要求の受信時のいずれかで、開始する（３００）。

ステップ３０２から３１０の説明の残り全体にわたって、「画像」という用語は、視覚データのストリーム中の初期画像から生じる画像、または、基準画像であることを意図された初期画像から生じる画像を示す。

第１のステップ（３０２）において、初期画像がグレースケールにコンバートされる。当業者が従来の技法を介して適用することが可能であるこの動作は、ここでは詳述されない。１つの変形形態は、たとえば、実際の輝度を算出することからなる。別の代替形態は、特に、関数ｃｖＣｖｔＣｏｌｏｒ（）によってＯｐｅｎＣＶライブラリにおいて提案されるような、関数「（Ｒ＋Ｇ＋Ｂ）／３」を算出することであり得る。

有利には、クロミナンスプレーンの平均をとるこのステップは、比色変換に対するロバストネスをもたらす。

第２のステップ（３０４）において、方法は、「グレー」画像のサイズが低減されることを可能にする。画像は、最初に、それのサイズが「Ｈ」行×「Ｗ＋Ｋ」列である第１の画像に低減され、ここで、Ｗは偶数（Ｗ＝２ｗ）であり、Ｋは奇数（Ｋ＝２ｋ＋１）またはゼロ（Ｋ＝０）である。特定の一実施形態では、「Ｗ」が偶数である、ピクセルの「Ｈ」行×ピクセルの「Ｗ」列を有する第２の画像を保ち、したがって、最終的に、左右不変性に対して不変であるように構成された記述子を取得するために、たとえば、画像の中心列を保持しないことと、必要な場合、画像のエッジにおける列を保持しないこととによって、列の偶数サブセットのみがリサイジングのために保持される。

画像は、知られている補間技法を適用することによってリサイズされ得、可能な手法が隣接ピクセルの平均をとることになる。代替的に、たとえば、画像は、線形、双線形、双３次またはスプライン補間を介してリサイズされ得る。

有利には、このステップは、ウォーターマークまたは他の場合テキストなど、基準画像を特徴づける際にほとんど利益がないと考えられる詳細が、削除されることを可能にする。リサイジングステップはまた、元の比率が保持されるか否かにかかわらず、変換をリサンプリングすることに対する方法のロバストネスを改善する。

後続のステップ（３０６）において、方法は、対称的ピクセルの複数の領域を定義するために、低減された画像の各行に対して動作する。方法は、各行について、対称的ピクセルのサブセットのグループ（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）が選択されることであって、各サブセットが、ピクセルがグループＰ_ｘ ^ｉに属する場合は行におけるそれの対称的パートナーがグループＰ_ｙ ^ｊに属するようなやり方で定義される、選択されることを可能にする。

図２ｂにおける行の例を再び使用して、以下の表１は、行についての対称的ピクセルの「Ｊ＝１２」サブセット（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）の選択を示す：

この例では、グループＰ_ｘ ^ｉの４つの第１のサブセット（１２１、１２２、１２０、８７）はシングルトン（ｓｉｎｇｌｅｔｏｎ）であり、対称バージョンについて上記で説明された基本知覚ハッシュ関数と同一であることに留意されたい。

有利には、定義されるサブセットは、必ずしも「完全に排他的」であるとは限らない。したがって、表１の最後の行において、行「ｉ」の中央のブロックに対応するピクセル（８７、８６）は、ピクセルのグループＰ_ｘ ^ｉのサブセット（１２１、８７、８６）とピクセルのグループＰ_ｙ ^ｊのサブセット（８７、８６、８４）との両方に属する。

後続のステップ（３０８）において、方法は、統計がピクセルの各サブセットについて計算されることを可能にし、値が、取得された統計値に従って、対応するハッシュ関数の要素に帰されることを可能にする。

特定の一実施形態では、および、表１の例を再利用する以下の表２に示されているように、統計は、ピクセルの各サブセットについて、グループＰ_ｘ ^ｉのピクセルについての平均「μ_ｉ」とグループＰ_ｙ ^ｊのピクセルについての「μ_ｊ」とを算出することと、次いで、サブアセンブリＰ_ｘ ^ｊについて取得された平均が、サブセットＰ_ｙ ^ｊについてのそれよりも大きい場合、値「１」を、またはさもなければ「０」をハッシュ要素に帰することとからなる。

画像の各行について、ピクセルの各サブセットについてのハッシュ値を算出した後、方法は、後続のステップ（３１０）において、全体的ハッシュ値が、低減された画像について算出されることを可能にする。全体的ハッシュ関数は、各行について算出されたハッシュ関数の連結である。上記の例では、全体的ハッシュ関数のサイズは、「Ｈ×Ｊ」である。ハッシュ値は２進数である（それらは値０または１のみをとる）ので、全体的ハッシュ関数の「Ｈ×Ｊ」次元は、最大Ｅ［Ｈ×Ｊ／８］＋１バイトで符号化され得、ここで、Ｅ［ｘ］はｘの整数部分である。

有利には、追加の対称グループを定義することによって、シグネチャは、比較される値が、画像上の複数の箇所で平均化（平滑化）されるので、埋込みテキストまたは画像など、他の変換に対してよりロバストになる。

１つの代替実施形態では、画像のシグネチャの算出は、ペア（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）の２つの要素の平均が同一である回数（均等の数）を（全体的ハッシュ関数に）追加することが可能である。

１つの代替実施形態では、画像の全体的シグネチャの算出は、１つまたは複数の全体的統計値を（全体的ハッシュ関数に）追加することが可能である。

たとえば、算出は、ペアの２つの要素の平均が同一である回数（均等の数）、ならびに、画像の平均強度などの全体的統計値を考慮に入れ得る。

この変形形態では、その場合、全体的シグネチャのサイズは、「Ｈ×Ｊ＋Ｇ＋１」であり、ここで、「Ｇ」、追加される全体的統計値、すなわち画像の平均強度、の数は、１に等しい。

たとえば、画像の平均、分散およびメジアンとして、「Ｇ＝３」であり、「Ｇ」個の全体的統計値が追加される場合、均等の数を加えて、全体的ハッシュ関数のサイズは、「Ｈ×Ｊ＋Ｇ＋１＝ＨＪ＋４」に等しい。

均等の数が、たとえば、２バイトで符号化され、各全体的な統計値が２バイトで符号化される場合、サイズ「Ｈ×Ｊ＋Ｇ＋１」のシグネチャは（Ｅ［Ｈ×Ｊ／８］＋１＋２×Ｇ＋２）バイトで符号化され得る。

異なる実施形態では、方法３００は、グレースケールの元の画像と、極座標へのそれのコンバージョンとに適用され得る。この実装形態では、当業者は、線上の対称中心が、すべての画像について任意に固定され得ることに留意されよう。

１つの変形実施形態では、対称中心は、より安定した中心を取得するように、画像のコンテンツに従って自動的に決定され得る。これを行う１つの方法は、たとえば、元の画像よりも小さいサイズへのリサイジングの動作の続きのために、ピクセルの重心（ピクセルのグレースケール値によって重み付けされた空間位置の平均）を算出し、次いで、重心が安定した空間近傍に局在化したままでいるとき、対称中心を選定することであり得る。

代替的に、ピクセルの重心は、たとえば、画像をグレースケールにコンバートし得るデジタルフィルタ処理の後に、潜在的に算出され得る。

画像のためのシグネチャを生成するための方法３００は、それが連続オンラインモードで適用されるとき、比較方法が続き得る。上記で説明されたように、処理チェーンの比較モジュール（図１のモジュール１１０）内で行われる比較は、オンラインで取得される全体的シグネチャが、オフラインで算出された基準ベースからのシグネチャと比較されことを可能にする。

一変形形態では、方法は、Ｋメジアンによってシグネチャを定量化するステップを含み得る。次いで、比較ステップは、反転インデックス構造によって実装される。Ｋ平均定量化を介した探索時間の速度を上げるためのそのような方法は、Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８において、ＧＩＳＴ記述子について説明されている。好ましくは、定量化は、Ｋ平均アルゴリズムと同一であるが、平均をメジアンと置き換える、Ｋメジアンアルゴリズムによって行われる。

一実施形態では、比較は、全体的シグネチャと基準ベースから生じる画像シグネチャとの間の距離を算出することによって行われる。一変形形態では、距離は、合成的であり、距離「ｄＨ」と距離「ｄＭＥ」との平均に対応し、ここで、ｄＨは、全体的ハッシュ関数にわたるハミング距離であり、「ｄＭＥ」は、全体的統計値と均等の数とにわたる距離である。たとえば、ｄＭＥは、マンハッタン距離またはユークリッド距離であり得る。

上記の実施形態の好ましい実装形態は、低減された画像のサイズは「Ｈ＝Ｗ＝１６」に等しく、ピクセルのサブセットのグループの数は「Ｊ＝１６」に等しく、全体的ハッシュ関数にわたる距離「ｄＨ」はハミング距離であるようにとられ、グレースケール平均にわたる距離「ｄＭＥ」はマンハッタン距離Ｌ１である、実装形態である。この構成で、次いで、１行について１６個のグループが以下の表３に従って設定され、ここで、｛ｐ_ｋ，ｋ＝１，．．．１６｝は、ｐ_１が最左ピクセルであり、ｐ_１６が最右ピクセルである左から右への順序での、低減された画像の１行の連続ピクセルである：

本発明の方法は、Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗ、「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３によって提案されたベンチマークに関して評価されてきた。それは、６０個の異なるやり方で変換された６０００個の画像からなり、変換は、画像処理をよく知っており、インターネット上で最も一般的に遭遇する変換を報告した４５名の調査の後に選定された。３６００００個の得られた画像は、基準ベースを形成するために２百万個の画像とマージされた。６０００個の元の画像はクエリ中で使用され、性能は、「平均適合率の平均」（ＭＡＰ：ｍｅａｎ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ）、当業者によく知られている測定値に関して測定される。

方法は、ベンチマークに関して最も良好な結果を取得した、「ＧＩＳＴ」方法と比較され、性能がローカル記述子の使用に依存する方法である、「ＴＯＰ−ＳＵＲＦ」と比較された。

「ＧＩＳＴ」方法についての参照は、以下の通りである：Ａ．ＯｌｉｖａおよびＡ．Ｔｏｒｒａｌｂａ、「Ｍｏｄｅｌｉｎｇ ｔｈｅ ｓｈａｐｅ ｏｆ ｔｈｅ ｓｃｅｎｅ：Ａ ｈｏｌｉｓｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｓｐａｔｉａｌ ｅｎｖｅｌｏｐｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第４２巻、第３号、１４５−１７５頁、２００１年。

「ＴＯＰ−ＳＵＲＦ」方法についての参照は、以下の通りである：Ｂ．Ｔｈｏｍｅｅ、Ｅ．Ｍ．ＢａｋｋｅｒおよびＭ．Ｓ．Ｌｅｗ、「ＴＯＰ−ＳＵＲＦ：ａ ｖｉｓｕａｌ ｗｏｒｄｓ ｔｏｏｌｋｉｔ」、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、ＡＣＭ、２０１０年、１４７３−１４７６頁。

実験結果は、適合率（ＭＡＰ）と算出時間（秒単位）の両方について報告された。算出時間は、シグネチャを算出するためにかかる時間（以下の表４中の「記述」）と基準ベースにわたって探索するためにかかる時間（以下の表４中の「比較」）との間で分割される。

さらに、方法は、上記で説明されたように、Ｋメジアン定量化によって探索時間の速度を上げるための方法と組み合わせられた。

その２つのバージョンでは、提案された方法の性能は、従来技術の方法よりも優れており、とりわけ比較ステップにおいてはるかに高速である。

したがって、本発明の方法の利点は、特に、シグネチャが、極めて迅速に、ＶＧＡサイズの画像について単一のインテルＣｏｒｅ（ＴＭ）ｉ７−４８００ＭＱ ＣＰＵ＠２．７０ＧＨｚプロセッサコアを用いた平均では、５ｍｓ未満で算出されることである。さらに、シグネチャは、やはり単一のインテルＣｏｒｅ（ＴＭ）ｉ７−４８００ＭＱ ＣＰＵ＠２．７０ＧＨｚプロセッサコアを用いると、１００ｍｓ未満での何百万個の画像にわたる探索を可能にするのに十分にコンパクトである。最後に、本方法は、シグネチャがインターネット上で最も一般的に遭遇される変換に対してロバストであることを可能にする。

図４は、一実施形態において画像のコピーまたはほぼコピーを検出するための本発明のデバイス（４００）の機能ブロックを示す。デバイスは、図３に関して説明された方法のステップを実行するように構成されたモジュールを含む。

デバイス（４００）は、初期画像を受信するように構成された受信機モジュール（４０２）を含む。初期画像は、初期画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４０４）に送信される。ひとたびグレー化されると、グレー化画像は、グレー化画像を低減された画像にリサイズするように構成されたリサイジングモジュール（４０６）に送信され、低減された画像は複数の行と偶数個の列とを有する。低減された画像は、その後、低減された画像のための全体的シグネチャを算出するように構成された算出モジュール（４０８）に送信される。有利には、算出モジュールは、行シグネチャが、低減された画像の各行について算出されることを可能にする第１の構成要素（４０９）と、全体的シグネチャを取得するために行シグネチャが連結されることを可能にする第２の構成要素（４１０）とを含む。概して、算出は、各行中の対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく。デバイスはさらに、比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定するために、取得された低減された画像の全体的シグネチャを基準画像シグネチャ（４３０）と比較するように構成された比較モジュール（４１２）を含む。

基準画像シグネチャ（４３０）は、オフラインで動作し、初期基準画像を受信するように構成された受信機モジュール（４２２）と、初期基準画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４２４）と、グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズするように構成されたリサイジングモジュール（４２６）と、低減された基準画像の各行について行シグネチャを算出することであって、各行中の対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出することを行うように構成された算出モジュール（４２８）と、行シグネチャを連結し、基準画像シグネチャを取得するためのモジュール（４３０）とを含む、デバイス（４２０）によって取得される。

本発明のデバイスのモジュールは、ハードウェア要素および／またはソフトウェア要素であり得る。ソフトウェア要素は、コンピュータによって読み取られ得る、電子、磁気、光または電磁的であり得る媒体上にコンピュータプログラム製品の形態で存在し得る。ハードウェア要素は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態で、あるいはデジタル信号プロセッサ（ＤＳＰ）またはグラフィックス処理ユニット（ＧＰＵ）の形態で完全にまたは部分的に存在し得る。

本発明は、マルチメディアドキュメント、たとえば画像またはビデオの送信および交換の分野に関する。より詳細には、本発明は、視覚コンテンツのほぼコピー（ｎｅａｒ−ｃｏｐｙ）の検出に関する。

ソーシャルウェブの増加は、ウェブサイトにわたるまたはオンラインソーシャルネットワーク（ＯＳＮ）のユーザのプロファイルにわたる、視覚コンテンツ、すなわち、画像、ビデオの伝搬の大量の増加につながった。公開されたコンテンツと中継されたコンテンツとは、同一であることがあり、その場合、コンテンツのコピーへの言及が行われ、あるいはささいな変更を含んでいることさえあり、その場合、コンテンツのほぼコピーへの言及が行われる。説明の残り全体にわたって、「コピー」という用語を使用する「コンテンツコピー」、「画像コピー」、「コピー検出」という表現および他の変形形態は、「コピー」および／または「ほぼコピー」という用語を包含するものと解釈されることになる。

画像のほぼコピーは変換のうちの１つまたは組合せを受けた基準画像（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）であると、一般的に認められている。基準画像は、画像の固定ベースに属するか、または他の場合、視覚データのストリームを介してあらかじめ収集され得る。

以下の変換は、主要なソーシャルメディア出力、すなわち、ブログ、ソーシャルネットワーク、フォーラム、オンライン新聞などの上で公開された現在画像の中からの、インターネット上で遭遇される可能性が最も高い変換の例である：
− たとえばＪＰＥＧへの、圧縮、
− たとえばＰＮＧコンバージョンなど、符号化の変更、
− たとえば左右反転を通した、フリッピング、
− 比率（スケーリング）の変更、
− たとえば、画像のエッジが削除され、必ずしもセンタリングされているとは限らない、クロッピング、
− たとえばグレースケールまたはセピアへの、比色コンバージョン、
− たとえば２０°未満の、小さい回転、
− テキスト（タイトル、シグネチャなど）または画像（たとえばロゴ）を埋め込むこと。

基準視覚コンテンツのアイテムのコピーの検出は、ブログについてか、ソーシャルネットワークについてか、フォーラムについてかまたは他の場合オンライン新聞についてかにかかわらず、ソーシャルメディア分析の分野において複数の実益を有する。この問題は、ほんのいくつかの有利な適用例を挙げれば、保護コンテンツの違法コピーを探索すること、コンテンツの人気を測定すること、ソーシャルメディアを監視すること、または他の場合、ビデオ内のプログラミングの位置を特定することなど、様々な適用例のコアにある。

それの用途にかかわらず、コピー検出は、それのコンテンツによって画像を識別することからなる動作、「コンテンツベースの検索（ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｒｅｔｒｉｅｖａｌ）」として知られる技法である。ソーシャルネットワークの分野において考慮に入れられるべき重要な特徴は、コンテンツが、連続的に処理されなければならないデータストリームであることであり、したがって、（画像またはキーフレームがビデオから抽出される）視覚データのストリームから生じるコピー検出は、概して、基準ベース中の画像についてオンラインで探索するためにかかる時間と、画像が受け得る様々な変換に対するロバストネスとに集中される。したがって、コピーまたはほぼコピーを検出するための知られている手法は、探索プロセスの速度を上げるために、画像の局所特徴を集約することによってコンパクトな視覚シグネチャが構築される方法に依拠する。コピー検出要求の処理が、分析されるべき画像についてのシグネチャの算出と、基準画像中のほぼコピーについての探索とを含むデジタル視覚データのストリームの場合、総処理時間は、処理されるべきデータストリームのビットレートに適合することが必要である。

しかしながら、局所特徴を算出し、集約することのコストは無視できず、インデックス付け時間（シグネチャ算出）は、画像ストリームの処理が想定される瞬間から十分に短くなければならない。視覚シグネチャを算出するのにかかる時間は、新しいデータの受信の頻度に適合しなければならない。より詳細には、インデックス付けおよび探索動作は、着信ストリームからの新しいデータの収集のレートよりも高いレートで実行されなければならない。たとえば、システムが１日当たり５０万個の視覚マルチメディア記事をダイジェストする場合、それらと１千万から１億個のドキュメントを含むと仮定される最近コンテンツとの比較は、（２４×３６００）／５０００００＝１７２．８ミリ秒よりも小さい、すなわち１秒当たり６つの画像程度で行われなければならない。そのような厳しい処理レートは、コンピューティングリソースが限定される場合、局所特徴の圧縮および変換に基づくシグネチャの使用を採用するのを困難にする。したがって、要求を処理するのにかかる時間はまた、サービスを提供するのに必要とされるコンピューティングリソース（メモリ、プロセッサ）とのバランスをとられなければならない。

図１は、コピー検出のための標準処理チェーンを示す。一般原理は、それのコンテンツにより画像を基準ベースにわたって探索することと、画像が基準画像のコピーまたはほぼコピーであるかどうかを決定することとからなる。したがって、要求を処理するためのデバイスは、第１のオフライン処理チェーン（１０２）において、それの表示が１つまたは複数のベクトルを含み得る、所与の画像（基準ドキュメント）のベクトル表示を設定することからなる、視覚特徴を抽出するためのモジュール（１０４−１）と、特徴の抽出に起因する記述子をインデックス付けし、したがって、効率的に探索され得るインデックス付き基準ベース（ｉｎｄｅｘｅｄ ｒｅｆｅｒｅｎｃｅ ｂａｓｅ）を形成するためのインデックス付けモジュール（１０６）とを含む。随意に、インデックス付けは、複数の基準画像がそれら自体ほぼコピーである場合、ラベルを含み得る。

デバイスは、要求画像が基準画像のコピーであるか否かを決定するために決定モジュール（１１２）に結合された、同様の画像を見つけるために要求画像のベクトル記述を使用し、基準ベースに問い合わせる比較モジュール（１１０）に結合された、要求画像のベクトル記述を設定するために視覚特徴を抽出するためのモジュール（１０４−２）を含む、要求を処理するための第２のオンライン処理チェーン（１０８）をさらに含む。

マルチメディアの分野における知られている作業の大部分は、画像を表すために局所記述子（ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ）の抽出に基づく。各基準画像中で、関心のあるポイントのセットは、視覚的に顕著であり、画像が変更された後でも見つけられる可能性がある画像中のポイントに相当するものとして選択される。局所記述子は、その後、各関心のあるポイントの空間近傍において算出される。

そのような手法は、「Ｍｅｔｈｏｄ ｏｆ ｉｄｅｎｔｉｆｙｉｎｇ ａ ｍｕｌｔｉｍｅｄｉａ ｄｏｃｕｍｅｎｔ ｉｎ ａ ｒｅｆｅｒｅｎｃｅ ｂａｓｅ， ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｄｅｖｉｃｅ」と題する、Ｇｅｎｇｅｍｂｒｅ Ｎｉｃｏｌａｓらによる特許出願ＷＯ ２００９／０９５６１６、さもなければ、「Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｃｏｐｙ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｄｉｓｔｏｒｔｉｏｎ−Ｂａｓｅｄ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｓｉｍｉｌａｒｉｔｙ Ｓｅａｒｃｈ」と題する、Ｊｏｌｙ，Ａ．、Ｂｕｉｓｓｏｎ，Ｏ．およびＦｒｅｌｉｃｏｔ，Ｃ．による論文、Ｍｕｌｔｉｍｅｄｉａ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、第９巻、第２号、２９３、３０６頁、２００７年２月に示されている。

しかしながら、この方法は、局所記述子を抽出することと、なにより基準ベースが大きくなったときに基準ドキュメントを発見することとの両方のための算出時間に関して極めて費用がかかる。

したがって、局所記述子を使用する方法は良好な性能を呈し、それらを高速画像探索のために利用するために効率的なインデックス付け方式が提案された。しかしながら、これらの取り組みは、探索時間に集中し、提案された方法は、特徴を抽出するためにかかる時間が必須パラメータである、連続データストリームにおける算出に適用されるには依然としてあまりに遅い。

１つの知られている代替形態は、分析されるべき画像のための全体的シグネチャ（ｏｖｅｒａｌｌ ｓｉｇｎａｔｕｒｅ）を使用することからなる。その場合、インデックス付けは、しばしば、連結動作からなり、未加工（ロー）シグネチャファイルを生じる。その後の比較動作は、ベクトル間の単純な距離（または類似度）を決定することからなる。この手法の利点は、シグネチャの算出が高速であることである。欠点は、概して、局所記述子を使用する手法よりも変換に対してあまりロバストでないことである。さらに、比較速度は、基準ベースのサイズに、およびシグネチャのサイズに比例する。したがって、それは、可能な最小シグネチャを見つけることに関する。

以下の参考文献は、全体的シグネチャの算出に関する論文を与える。

Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗによる刊行物「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３は、共通ベンチマークに関する複数のそのような手法を比較する。

「アベレージハッシュ」と呼ばれるいくぶんより単純な手法をおそらく使用する、画像検索エンジン「ＴｉｎＥｙｅ」（ｗｗｗ．ｔｉｎｅｙｅ．ｃｏｍ）も言及に値する。それは、従来のハッシュ関数とは異なり、信号のコンテンツの小さい変化が、ハッシュキーを少量のみだけ変更するということに依拠する。これは、使用されるべき「ほとんど同一」のコンテンツを見つけるためによく知られている、ハミング距離（Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ）などの類似度関数を可能にする。

Ｚａｕｎｅｒ、Ｃｈｒｉｓｔｏｐｈによる刊行物「Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ Ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｈａｓｈ Ｆｕｎｃｔｉｏｎｓ」修士論文、Ｕｐｐｅｒ Ａｕｓｔｒｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ハーゲンバーグキャンパス、２０１０年は、全体的シグネチャにたとえられることがある「知覚ハッシング（ｐｅｒｃｅｐｔｕａｌ ｈａｓｈｉｎｇ）」関数を検討する。

アドレスｈｔｔｐ：／／ｂｌｏｇ．ｉｃｏｎｆｉｎｄｅｒ．ｃｏｍ／ｄｅｔｅｃｔｉｎｇ−ｄｕｐｌｉｃａｔｅ−ｉｍａｇｅｓ−ｕｓｉｎｇ−ｐｙｔｈｏｎ／において、２０１４年４月にオンラインで利用可能な刊行物は、Ｚａｕｎｅｒによって論文において記述された方法と同じ方法のカテゴリーに該当する、ブロック平均（ｂｌｏｃｋ ｍｅａｎ）に基づく知覚ハッシング方法について説明する。特に、本方法は、以下のステップからなる：
− 要求画像をグレースケールにコンバートするステップ、
− グレー化画像を「８×９」（８つの行、９つの列）の固定サイズに低減するステップ、
− たとえば、ピクセルが、右隣接ピクセルのグレースケール値よりも大きいグレースケール値を有する場合、「真」値を帰する（ａｔｔｒｉｂｕｔｅ）ために、各行中の隣接ピクセルの強度を比較するステップ、
− １６進法で、得られたバイナリ画像（８×８）を符号化するステップ。

図２ａは、この原理に従う、行「ｉ」のためのハッシュ関数の構成を示す。この例では、要求画像が、８行×９列の固定サイズに低減される。ピクセルを比較するステップは、ピクセルの強度が隣接ピクセルの強度よりも大きい場合、「真」値を帰することからなる。この例では、行は、それぞれの強度（Ｂ１＝１２０、Ｂ２＝１２１、Ｂ３＝１２１、Ｂ４＝８８、Ｂ５＝８６、Ｂ６＝１３６、Ｂ７＝１３０、Ｂ８＝８４、Ｂ９＝８５）のピクセルブロック（Ｂ１−Ｂ９）を含む。右隣接ピクセルを比較した後、１６進法で符号化された得られたバイナリ行（行「ｉ」のハッシュ）は、８つの値「０、０、１、１、０、１、１、０」をもつ行である。得られた画像は、サイズ（８×８）の画像である。

この方法は極めて速いが、それは、いくつかの変換のみに対してロバストであり、左右反転の場合、および小さい回転の場合など、多数の他の変換の場合、期待されるロバストネスを与えない。

代替的に、当業者は、図２ｂに示されているように、対称的ピクセルを比較することによって、この方法の対称バージョンを構築することができるであろう。行「ｉ」は、それぞれのピクセル値「１２１、１２２、１２０、８７、８６、１２５、１１９、８４」の８つの列Ｂ１からＢ８から構成される。直線的中心対称性に従って、それらのピクセル値、ピクセルＢ１の値＝１２１とピクセルＢ８の値＝８４との比較が行われ、以下同様に行われる。１６進法で符号化された得られたバイナリ行（行「ｉ」のハッシュ）は、４つの値「１、１、０、１」をもつ行である。得られた画像は、サイズ（８×４）の画像である。そのような手法は、比較動作の数を２だけ低減し、それにより、よりコンパクトなシグネチャが取得されることを可能にするが、これは、特に、画像中の比較される領域が実際上、より少ないことによる情報の損失により、プロセスを、変換に対してあまりロバストでなくする。

国際公開第２００９／０９５６１６号

Ｊｏｌｙ，Ａ．、Ｂｕｉｓｓｏｎ，Ｏ．およびＦｒｅｌｉｃｏｔ，Ｃ．、「Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｃｏｐｙ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｄｉｓｔｏｒｔｉｏｎ−Ｂａｓｅｄ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｓｉｍｉｌａｒｉｔｙ Ｓｅａｒｃｈ」、Ｍｕｌｔｉｍｅｄｉａ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ、第９巻、第２号、２９３、３０６頁、２００７年２月 Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗ、「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３ Ｚａｕｎｅｒ、Ｃｈｒｉｓｔｏｐｈ、「Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ Ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｈａｓｈ Ｆｕｎｃｔｉｏｎｓ」修士論文、Ｕｐｐｅｒ Ａｕｓｔｒｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ハーゲンバーグキャンパス、２０１０年 ｈｔｔｐ：／／ｂｌｏｇ．ｉｃｏｎｆｉｎｄｅｒ．ｃｏｍ／ｄｅｔｅｃｔｉｎｇ−ｄｕｐｌｉｃａｔｅ−ｉｍａｇｅｓ−ｕｓｉｎｇ−ｐｙｔｈｏｎ／、２０１４年４月 Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８ Ａ．ＯｌｉｖａおよびＡ．Ｔｏｒｒａｌｂａ、「Ｍｏｄｅｌｉｎｇ ｔｈｅ ｓｈａｐｅ ｏｆ ｔｈｅ ｓｃｅｎｅ：Ａ ｈｏｌｉｓｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｓｐａｔｉａｌ ｅｎｖｅｌｏｐｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第４２巻、第３号、１４５−１７５頁、２００１年 Ｂ．Ｔｈｏｍｅｅ、Ｅ．Ｍ．ＢａｋｋｅｒおよびＭ．Ｓ．Ｌｅｗ、「ＴＯＰ−ＳＵＲＦ：ａ ｖｉｓｕａｌ ｗｏｒｄｓ ｔｏｏｌｋｉｔ」、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、ＡＣＭ、２０１０年、１４７３−１４７６頁

したがって、従来技術では、以下のような、画像を表す全体的シグネチャが構成されることを可能にする解決策がない：
− 少数の機械リソースを用いて、画像のためのシグネチャを極めて急速に算出するために、低いアルゴリズム的複雑性を提供し、
− 基準ベースにわたる高速探索を可能にするのに十分コンパクトであり、
− インターネット上で最も一般に遭遇される変換に対してロバストである。

本発明はこの必要に対処する。

説明される解決策は、視覚データストリームコンテキストにおいて視覚コンテンツを探索する問題を解決することを目的とする。

この目的を達成するために、本発明の１つの主題は、画像の全体的シグネチャを取得する新しい様態に基づくコピーを検出するためのデバイスおよび方法を提案することである。

有利には、画像シグネチャが生成されることを可能にする本発明の方法は高速であり、たとえば約３ＧＨｚの周波数範囲で動作している機械など、一般的リソースをもつ機械の場合、シグネチャが５ｍｓ程度またはそれよりも小さい時間で算出されることを可能にする。

同じく有利には、本発明の方法を介して取得されたシグネチャは、極めてコンパクトであり、１００バイトよりも小さく、したがって大きいデータベースにわたる迅速なおよび網羅的な探索を可能にし、データベースのコンテンツは、利用可能なメモリサイズに依存し、たとえば、１０^７から１０^８個程度の画像を含んでいることが可能である。

有利には、本発明の方法を介して取得された画像シグネチャは、探索が速度を上げられることを可能にする反転インデックス構造（ｉｎｖｅｒｔｅｄ ｉｎｄｅｘ ｓｔｒｕｃｔｕｒｅ）でインデックス付けされるように、Ｋメジアン方法によって定量化され得る。Ｋ平均によってＧＩＳＴシグネチャを定量化する、同様の方法が、Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８に記載されている。Ｋメジアン方法は、（当業者によく知られている）Ｋ平均方法と同一であるが、平均算出をメジアン算出と置き換える。

より一般的には、本発明の方法を介して取得される画像シグネチャは、インターネット上で通常遭遇される画像変換に対してロバストである。

本発明は、保護コンテンツの違法コピーを探索しなければならないという問題、ブロードキャストコンテンツの人気を測定したいという問題、プログラミングのビデオ内の位置を特定したいという問題を対象とする任意の適用例において、または他の場合、ソーシャルメディアの監視に関係する適用例のために有利であることになる。

特に、本発明は、もはや従来技術の場合のようなピクセル対ピクセルの単純な比較に基づかず、ピクセルのサブセット対ピクセルのサブセットの比較に基づき、比較されるサブセットはそれぞれ対称的ピクセルを含む。低減された画像の各行について、ピクセルの定義された複数のサブセットがあり、各サブセットは１つからいくつかのピクセルを有する。各サブセットは、他のサブセットのピクセルの対称的ピクセルを含んでいる、行における対称的サブセットを有する。ピクセルの全体的サブセットは、対称的ピクセルのグループ（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）を定義する。グループ（Ｐ_ｘ ^ｉ）の各サブセットは行のピクセルを含んでおり、それについて、それぞれの対称的ピクセルが他のグループ（Ｐ_ｙ ^ｊ）の対称的サブセットに属する。したがって、画像中の評価される領域の数を増加させることによって、提案される方法は変換に対してよりロバストである。

求められている結果を取得するために、画像のコピーまたはほぼコピーを検出するための方法およびデバイスが提案される。本発明は、初期画像を受信することと、初期画像をグレースケールにコンバートすることと、グレー化画像を複数の行と偶数個の列とを有する低減された画像にリサイズすることと、低減された画像のための全体的シグネチャを算出することと、低減された画像の全体的シグネチャと基準画像シグネチャとの間の比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定することとからなる。全体的シグネチャを算出するステップは、低減された画像の各行についての行シグネチャを算出するステップであって、算出が、各行において対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出するステップと、画像のための全体的シグネチャを取得するために行シグネチャを連結するステップとを含む。

一実施形態では、行シグネチャを算出するステップが、低減された画像についての対称的ピクセルの複数の領域を定義するステップと、各行において、対称的ピクセルのサブセットのグループ（Ｐｘｉ、Ｐｙｊ）を選択するステップであって、各サブセットが、ピクセルがグループＰｘｉに属する場合は行におけるそれの対称的パートナーがグループＰｙｊに属するようなやり方で定義される、選択するステップとを含む。

有利には、統計値は、ピクセルのサブセットにわたる平均であり、行シグネチャは、統計値に従うハッシュ関数の要素に帰される値である。

一変形実装形態では、ハッシュ関数の要素に帰される値が、サブセットＰｘｉについて取得された平均が対称的サブセットＰｙｊについて取得された平均よりも大きい場合、「１」に等しい。

有利には、全体的シグネチャは、各行について算出されたハッシュ関数を連結することによって取得される全体的なハッシュ関数である。一変形形態では、全体的シグネチャを算出するステップは、全体的統計値を追加することを含む。

一実施形態によれば、グレー化画像をリサイズするステップは、初期画像を「Ｈ」行×「Ｗ＋Ｋ」列の第１の画像に低減するステップであって、ここで、「Ｗ」が偶数であり、「Ｋ」が奇数である、低減するステップと、次いで「Ｈ」行×「Ｗ」列の第２の画像に簡略化するステップであって、ここで、「Ｗ」が偶数である、簡略化するステップとからなる。

別の実施形態によれば、全体的シグネチャを算出するステップは、初期画像についての、および画像を極座標にコンバートするための全体的シグネチャを算出するステップからなる。

有利には、本方法は、画像をリサイズするステップの後に、コンテンツに従って画像の安定した中心を決定するステップをさらに含み得る。

一変形形態では、本方法は、Ｋメジアンによってシグネチャを定量化するステップを含み得る。次いで、比較ステップは、反転インデックス構造によって実装される。

本発明は、初期画像が受信されることと、初期基準画像がグレースケールにコンバートされることと、グレー化基準画像が、複数の行と偶数個の列とを有する低減された基準画像にリサイズされることと、グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズすることと、行シグネチャが低減された基準画像の各行につい算出されることであって、算出は、各行における対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出されることとを可能にする、基準画像シグネチャを生成するためのデバイスをもカバーする。取得された行シグネチャは、基準画像シグネチャを取得するために連結される。

本発明は、プログラムがコンピュータ上で実行されるとき、請求される方法のステップが行われることを可能にするコード命令を含むコンピュータプログラム製品の形態で動作し得る。

本発明の様々な態様および利点が、以下の図面を参照しながら、本発明の実装の１つの好適な、しかし非限定的な様態の説明の裏付けとして明らかになろう。

知られているコピー検出デバイスの機能ブロックを示す図である。 知られている方法による行シグネチャの構成の一例を示す図である。 知られている方法による行シグネチャの構成の一例を示す図である。 本発明の一実施形態による、画像のためのシグネチャを取得するための方法のステップを示す図である。 一実施形態における本発明のデバイスの機能ブロックを示す図である。

画像のための全体的シグネチャの算出、すなわち、画像のための全体的記述子の構成のための本発明の方法の主要なステップを示す図３への参照が行われる。本発明の方法は、ソフトウェアおよびハードウェア要素を使用して実装され得る。ソフトウェア要素は、コンピュータによって読み取られ得る、電子、磁気、光または電磁的であり得る媒体上にコンピュータプログラム製品の形態で存在し得る。ハードウェア要素は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態で、あるいはデジタル信号プロセッサ（ＤＳＰ）またはグラフィックス処理ユニット（ＧＰＵ）の形態で完全にまたは部分的に存在し得る。

方法（３００）は、図１に示されているもの（１０４−１、１０４−２）など、視覚特徴を抽出するためのデバイス内に実装される。方法は、基準画像ベースが設定されている間、分離されたオフラインモードで適用され、視覚データのストリーム中の画像を分析するために連続オンラインモードで動作される。

方法は、基準画像を作成したいという要求の受信時、あるいは視覚データのストリーム中の画像が基準画像のコピーまたはほぼコピーであることを検出したいという要求の受信時のいずれかで、開始する（３００）。

ステップ３０２から３１０の説明の残り全体にわたって、「画像」という用語は、視覚データのストリーム中の初期画像から生じる画像、または、基準画像であることを意図された初期画像から生じる画像を示す。

第１のステップ（３０２）において、初期画像がグレースケールにコンバートされる。当業者が従来の技法を介して適用することが可能であるこの動作は、ここでは詳述されない。１つの変形形態は、たとえば、実際の輝度を算出することからなる。別の代替形態は、特に、関数ｃｖＣｖｔＣｏｌｏｒ（）によってＯｐｅｎＣＶライブラリにおいて提案されるような、関数「（Ｒ＋Ｇ＋Ｂ）／３」を算出することであり得る。

有利には、クロミナンスプレーンの平均をとるこのステップは、比色変換に対するロバストネスをもたらす。

第２のステップ（３０４）において、方法は、「グレー」画像のサイズが低減されることを可能にする。画像は、最初に、それのサイズが「Ｈ」行×「Ｗ＋Ｋ」列である第１の画像に低減され、ここで、Ｗは偶数（Ｗ＝２ｗ）であり、Ｋは奇数（Ｋ＝２ｋ＋１）またはゼロ（Ｋ＝０）である。特定の一実施形態では、「Ｗ」が偶数である、ピクセルの「Ｈ」行×ピクセルの「Ｗ」列を有する第２の画像を保ち、したがって、最終的に、左右不変性に対して不変であるように構成された記述子を取得するために、たとえば、画像の中心列を保持しないことと、必要な場合、画像のエッジにおける列を保持しないこととによって、列の偶数サブセットのみがリサイジングのために保持される。

画像は、知られている補間技法を適用することによってリサイズされ得、可能な手法が隣接ピクセルの平均をとることになる。代替的に、たとえば、画像は、線形、双線形、双３次またはスプライン補間を介してリサイズされ得る。

有利には、このステップは、ウォーターマークまたは他の場合テキストなど、基準画像を特徴づける際にほとんど利益がないと考えられる詳細が、削除されることを可能にする。リサイジングステップはまた、元の比率が保持されるか否かにかかわらず、変換をリサンプリングすることに対する方法のロバストネスを改善する。

後続のステップ（３０６）において、方法は、対称的ピクセルの複数の領域を定義するために、低減された画像の各行に対して動作する。方法は、各行について、対称的ピクセルのサブセットのグループ（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）が選択されることであって、各サブセットが、ピクセルがグループＰ_ｘ ^ｉに属する場合は行におけるそれの対称的パートナーがグループＰ_ｙ ^ｊに属するようなやり方で定義される、選択されることを可能にする。

図２ｂにおける行の例を再び使用して、以下の表１は、行についての対称的ピクセルの「Ｊ＝１２」サブセット（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）の選択を示す：

この例では、グループＰ_ｘ ^ｉの４つの第１のサブセット（１２１、１２２、１２０、８７）はシングルトン（ｓｉｎｇｌｅｔｏｎ）であり、対称バージョンについて上記で説明された基本知覚ハッシュ関数と同一であることに留意されたい。

有利には、定義されるサブセットは、必ずしも「完全に排他的」であるとは限らない。したがって、表１の最後の行において、行「ｉ」の中央のブロックに対応するピクセル（８７、８６）は、ピクセルのグループＰ_ｘ ^ｉのサブセット（１２１、８７、８６）とピクセルのグループＰ_ｙ ^ｊのサブセット（８７、８６、８４）との両方に属する。

後続のステップ（３０８）において、方法は、統計がピクセルの各サブセットについて計算されることを可能にし、値が、取得された統計値に従って、対応するハッシュ関数の要素に帰されることを可能にする。

特定の一実施形態では、および、表１の例を再利用する以下の表２に示されているように、統計は、ピクセルの各サブセットについて、グループＰ_ｘ ^ｉのピクセルについての平均「μ_ｉ」とグループＰ_ｙ ^ｊのピクセルについての「μ_ｊ」とを算出することと、次いで、サブアセンブリＰ_ｘ ^ｊについて取得された平均が、サブセットＰ_ｙ ^ｊについてのそれよりも大きい場合、値「１」を、またはさもなければ「０」をハッシュ要素に帰することとからなる。

画像の各行について、ピクセルの各サブセットについてのハッシュ値を算出した後、方法は、後続のステップ（３１０）において、全体的ハッシュ値が、低減された画像について算出されることを可能にする。全体的ハッシュ関数は、各行について算出されたハッシュ関数の連結である。上記の例では、全体的ハッシュ関数のサイズは、「Ｈ×Ｊ」である。ハッシュ値は２進数である（それらは値０または１のみをとる）ので、全体的ハッシュ関数の「Ｈ×Ｊ」次元は、最大Ｅ［Ｈ×Ｊ／８］＋１バイトで符号化され得、ここで、Ｅ［ｘ］はｘの整数部分である。

有利には、追加の対称グループを定義することによって、シグネチャは、比較される値が、画像上の複数の箇所で平均化（平滑化）されるので、埋込みテキストまたは画像など、他の変換に対してよりロバストになる。

１つの代替実施形態では、画像のシグネチャの算出は、ペア（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）の２つの要素の平均が同一である回数（均等の数）を（全体的ハッシュ関数に）追加することが可能である。

１つの代替実施形態では、画像の全体的シグネチャの算出は、１つまたは複数の全体的統計値を（全体的ハッシュ関数に）追加することが可能である。

たとえば、算出は、ペアの２つの要素の平均が同一である回数（均等の数）、ならびに、画像の平均強度などの全体的統計値を考慮に入れ得る。

この変形形態では、その場合、全体的シグネチャのサイズは、「Ｈ×Ｊ＋Ｇ＋１」であり、ここで、「Ｇ」、追加される全体的統計値、すなわち画像の平均強度、の数は、１に等しい。

たとえば、画像の平均、分散およびメジアンとして、「Ｇ＝３」であり、「Ｇ」個の全体的統計値が追加される場合、均等の数を加えて、全体的ハッシュ関数のサイズは、「Ｈ×Ｊ＋Ｇ＋１＝ＨＪ＋４」に等しい。

均等の数が、たとえば、２バイトで符号化され、各全体的な統計値が２バイトで符号化される場合、サイズ「Ｈ×Ｊ＋Ｇ＋１」のシグネチャは（Ｅ［Ｈ×Ｊ／８］＋１＋２×Ｇ＋２）バイトで符号化され得る。

異なる実施形態では、方法３００は、グレースケールの元の画像と、極座標へのそれのコンバージョンとに適用され得る。この実装形態では、当業者は、線上の対称中心が、すべての画像について任意に固定され得ることに留意されよう。

１つの変形実施形態では、対称中心は、より安定した中心を取得するように、画像のコンテンツに従って自動的に決定され得る。これを行う１つの方法は、たとえば、元の画像よりも小さいサイズへのリサイジングの動作の続きのために、ピクセルの重心（ピクセルのグレースケール値によって重み付けされた空間位置の平均）を算出し、次いで、重心が安定した空間近傍に局在化したままでいるとき、対称中心を選定することであり得る。

代替的に、ピクセルの重心は、たとえば、画像をグレースケールにコンバートし得るデジタルフィルタ処理の後に、潜在的に算出され得る。

画像のためのシグネチャを生成するための方法３００は、それが連続オンラインモードで適用されるとき、比較方法が続き得る。上記で説明されたように、処理チェーンの比較モジュール（図１のモジュール１１０）内で行われる比較は、オンラインで取得される全体的シグネチャが、オフラインで算出された基準ベースからのシグネチャと比較されことを可能にする。

一変形形態では、方法は、Ｋメジアンによってシグネチャを定量化するステップを含み得る。次いで、比較ステップは、反転インデックス構造によって実装される。Ｋ平均定量化を介した探索時間の速度を上げるためのそのような方法は、Ｍ．Ｄｏｕｚｅ、Ｈ．Ｊｅｇｏｕ、Ｈ．Ｓａｎｄｈａｗａｌｉａ、Ｌ．Ａｍｓａｌｅｇ、およびＣ．Ｓｃｈｍｉｄ、「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｇｉｓｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｗｅｂ−ｓｃａｌｅ ｉｍａｇｅ ｓｅａｒｃｈ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ、ニューヨーク、ＮＹ、米国：ＡＣＭ、２００９年、ｐｐ．１９：１−１９：８において、ＧＩＳＴ記述子について説明されている。好ましくは、定量化は、Ｋ平均アルゴリズムと同一であるが、平均をメジアンと置き換える、Ｋメジアンアルゴリズムによって行われる。

一実施形態では、比較は、全体的シグネチャと基準ベースから生じる画像シグネチャとの間の距離を算出することによって行われる。一変形形態では、距離は、合成的であり、距離「ｄＨ」と距離「ｄＭＥ」との平均に対応し、ここで、ｄＨは、全体的ハッシュ関数にわたるハミング距離であり、「ｄＭＥ」は、全体的統計値と均等の数とにわたる距離である。たとえば、ｄＭＥは、マンハッタン距離またはユークリッド距離であり得る。

上記の実施形態の好ましい実装形態は、低減された画像のサイズは「Ｈ＝Ｗ＝１６」に等しく、ピクセルのサブセットのグループの数は「Ｊ＝１６」に等しく、全体的ハッシュ関数にわたる距離「ｄＨ」はハミング距離であるようにとられ、グレースケール平均にわたる距離「ｄＭＥ」はマンハッタン距離Ｌ１である、実装形態である。この構成で、次いで、１行について１６個のグループが以下の表３に従って設定され、ここで、｛ｐ_ｋ，ｋ＝１，．．．１６｝は、ｐ_１が最左ピクセルであり、ｐ_１６が最右ピクセルである左から右への順序での、低減された画像の１行の連続ピクセルである：

本発明の方法は、Ｂ．Ｔｈｏｍｅｅ、Ｍ．Ｊ．Ｈｕｉｓｋｅｓ、Ｅ．Ｍ．Ｂａｋｋｅｒ、およびＭ．Ｊ．Ｌｅｗ、「Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｄｕｐｌｉｃａｔｅ ｉｍａｇｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｗｅｂ ｓｅａｒｃｈ」、ＩＣＭＥ ２０１３によって提案されたベンチマークに関して評価されてきた。それは、６０個の異なるやり方で変換された６０００個の画像からなり、変換は、画像処理をよく知っており、インターネット上で最も一般的に遭遇する変換を報告した４５名の調査の後に選定された。３６００００個の得られた画像は、基準ベースを形成するために２百万個の画像とマージされた。６０００個の元の画像はクエリ中で使用され、性能は、「平均適合率の平均」（ＭＡＰ：ｍｅａｎ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ）、当業者によく知られている測定値に関して測定される。

方法は、ベンチマークに関して最も良好な結果を取得した、「ＧＩＳＴ」方法と比較され、性能がローカル記述子の使用に依存する方法である、「ＴＯＰ−ＳＵＲＦ」と比較された。

「ＧＩＳＴ」方法についての参照は、以下の通りである：Ａ．ＯｌｉｖａおよびＡ．Ｔｏｒｒａｌｂａ、「Ｍｏｄｅｌｉｎｇ ｔｈｅ ｓｈａｐｅ ｏｆ ｔｈｅ ｓｃｅｎｅ：Ａ ｈｏｌｉｓｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｓｐａｔｉａｌ ｅｎｖｅｌｏｐｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第４２巻、第３号、１４５−１７５頁、２００１年。

「ＴＯＰ−ＳＵＲＦ」方法についての参照は、以下の通りである：Ｂ．Ｔｈｏｍｅｅ、Ｅ．Ｍ．ＢａｋｋｅｒおよびＭ．Ｓ．Ｌｅｗ、「ＴＯＰ−ＳＵＲＦ：ａ ｖｉｓｕａｌ ｗｏｒｄｓ ｔｏｏｌｋｉｔ」、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ、ＡＣＭ、２０１０年、１４７３−１４７６頁。

実験結果は、適合率（ＭＡＰ）と算出時間（秒単位）の両方について報告された。算出時間は、シグネチャを算出するためにかかる時間（以下の表４中の「記述」）と基準ベースにわたって探索するためにかかる時間（以下の表４中の「比較」）との間で分割される。

さらに、方法は、上記で説明されたように、Ｋメジアン定量化によって探索時間の速度を上げるための方法と組み合わせられた。

その２つのバージョンでは、提案された方法の性能は、従来技術の方法よりも優れており、とりわけ比較ステップにおいてはるかに高速である。

したがって、本発明の方法の利点は、特に、シグネチャが、極めて迅速に、ＶＧＡサイズの画像について単一のインテルＣｏｒｅ（ＴＭ）ｉ７−４８００ＭＱ ＣＰＵ＠２．７０ＧＨｚプロセッサコアを用いた平均では、５ｍｓ未満で算出されることである。さらに、シグネチャは、やはり単一のインテルＣｏｒｅ（ＴＭ）ｉ７−４８００ＭＱ ＣＰＵ＠２．７０ＧＨｚプロセッサコアを用いると、１００ｍｓ未満での何百万個の画像にわたる探索を可能にするのに十分にコンパクトである。最後に、本方法は、シグネチャがインターネット上で最も一般的に遭遇される変換に対してロバストであることを可能にする。

図４は、一実施形態において画像のコピーまたはほぼコピーを検出するための本発明のデバイス（４００）の機能ブロックを示す。デバイスは、図３に関して説明された方法のステップを実行するように構成されたモジュールを含む。

デバイス（４００）は、初期画像を受信するように構成された受信機モジュール（４０２）を含む。初期画像は、初期画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４０４）に送信される。ひとたびグレー化されると、グレー化画像は、グレー化画像を低減された画像にリサイズするように構成されたリサイジングモジュール（４０６）に送信され、低減された画像は複数の行と偶数個の列とを有する。低減された画像は、その後、低減された画像のための全体的シグネチャを算出するように構成された算出モジュール（４０８）に送信される。有利には、算出モジュールは、行シグネチャが、低減された画像の各行について算出されることを可能にする第１の構成要素（４０９）と、全体的シグネチャを取得するために行シグネチャが連結されることを可能にする第２の構成要素（４１０）とを含む。概して、算出は、各行中の対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく。デバイスはさらに、比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定するために、取得された低減された画像の全体的シグネチャを基準画像シグネチャ（４３０）と比較するように構成された比較モジュール（４１２）を含む。

基準画像シグネチャ（４３０）は、オフラインで動作し、初期基準画像を受信するように構成された受信機モジュール（４２２）と、初期基準画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４２４）と、グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズするように構成されたリサイジングモジュール（４２６）と、低減された基準画像の各行について行シグネチャを算出することであって、各行中の対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出することを行うように構成された算出モジュール（４２８）と、行シグネチャを連結し、基準画像シグネチャを取得するためのモジュール（４３０）とを含む、デバイス（４２０）によって取得される。

本発明のデバイスのモジュールは、ハードウェア要素および／またはソフトウェア要素であり得る。ソフトウェア要素は、コンピュータによって読み取られ得る、電子、磁気、光または電磁的であり得る媒体上にコンピュータプログラム製品の形態で存在し得る。ハードウェア要素は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態で、あるいはデジタル信号プロセッサ（ＤＳＰ）またはグラフィックス処理ユニット（ＧＰＵ）の形態で完全にまたは部分的に存在し得る。

Claims (26)

1. 画像のコピーまたはほぼコピーを検出するための方法であって、
   − 初期画像を受信するステップと、
   − 初期画像をグレースケールにコンバートするステップと、
   − グレー化画像を複数の行と偶数個の列とを有する低減された画像にリサイズするステップと、
   − 低減された画像についての全体的シグネチャを算出するステップと、
   − 低減された画像の全体的シグネチャと基準画像シグネチャとの間の比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定するステップと
   を含み、
   方法が、全体的シグネチャを算出するステップが、
   − 低減された画像の各行についての行シグネチャを算出するステップであって、前記算出が、各行における対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出するステップと、
   − 全体的シグネチャを取得するために行シグネチャを連結するステップと
   を含むことを特徴とする、
   方法。
2. 行シグネチャを算出するステップが、
   − 低減された画像についての対称的ピクセルの複数の領域を定義するステップと、
   − 各行において、対称的ピクセルのサブセットのグループ（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）を選択するステップであって、各サブセットが、ピクセルがグループＰ_ｘ ^ｉに属する場合は行におけるそれの対称的パートナーがグループＰ_ｙ ^ｊに属するようなやり方で定義される、選択するステップと
   を含む、請求項１に記載の方法。
3. 統計値が、ピクセルのサブセットにわたる平均であり、行シグネチャが、統計値に従うハッシュ関数の要素に帰される値である、請求項１または２に記載の方法。
4. ハッシュ関数の要素に帰される値が、サブセットＰ_ｘ ^ｉについて取得された平均が対称的サブセットＰ_ｙ ^ｊについて取得された平均よりも大きい場合、「１」に等しい、請求項３に記載の方法。
5. 全体的シグネチャが、各行について算出されたハッシュ関数を連結することによって取得された全体的ハッシュ関数である、請求項３または４に記載の方法。
6. グレー化画像をリサイズするステップが、初期画像を「Ｈ」行×「Ｗ＋Ｋ」列の第１の画像に低減するステップであって、ここで、「Ｗ」が偶数であり、「Ｋ」が奇数である、低減するステップと、次いで「Ｈ」行×「Ｗ」列の第２の画像に簡略化するステップであって、ここで、「Ｗ」が偶数である、簡略化するステップとからなる、請求項１から５のいずれか一項に記載の方法。
7. 全体的シグネチャを算出するステップが、画像についての１つまたは複数の全体的統計値を追加することを含む、請求項１から６のいずれか一項に記載の方法。
8. 全体的シグネチャを算出するステップが、初期画像についての、および画像を極座標にコンバートするための全体的シグネチャを算出するステップからなる、請求項１から７のいずれか一項に記載の方法。
9. 画像をリサイズするステップの後に、コンテンツに従って画像の安定した中心を決定するステップをさらに含む、請求項１から８のいずれか一項に記載の方法。
10. Ｋメジアンによってシグネチャを定量化するステップをさらに含み、比較ステップが、逆インデックス構造によって実装される、請求項１から９のいずれか一項に記載の方法。
11. コンピュータプログラム製品であって、前記コンピュータプログラムが、前記プログラムがコンピュータ上で実行されるとき、請求項１から１０のいずれか一項に記載の方法のステップを動作させるためのコード命令を含む、コンピュータプログラム製品。
12. 画像のコピーまたはほぼコピーを検出するためのデバイスであって、
    − 初期画像を受信するように構成された受信機モジュール（４０２）と、
    − 初期画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４０４）と、
    − グレー化画像を複数の行と偶数個の列とを有する低減された画像にリサイズするように構成されたリサイジングモジュール（４０６）と、
    − 低減された画像についての全体的シグネチャを算出するように構成された算出モジュール（４０８）と、
    − 比較の結果に従って、初期画像が画像のコピーまたはほぼコピーであるかどうかを決定するために、低減された画像の全体的シグネチャを基準画像シグネチャと比較するように構成された比較モジュール（４１２）と
    を含み、
    デバイスが、算出モジュール（４０８）が、
    − 低減された画像の各行についての行シグネチャを算出するための構成要素（４０９）であって、算出が、各行の対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、構成要素（４０９）と、
    − 全体的シグネチャを取得するために行シグネチャを連結するための構成要素（４１０）と
    を含むことを特徴とする、
    デバイス。
13. 行シグネチャを算出するための構成要素が、
    − 低減された画像についての対称的ピクセルの複数の領域が定義されることと、
    − 各行について、対称的ピクセルのサブセットのグループ（Ｐ_ｘ ^ｉ、Ｐ_ｙ ^ｊ）が選択されることであって、各サブセットが、ピクセルがグループＰ_ｘ ^ｉに属する場合は行におけるそれの対称的パートナーがグループＰ_ｙ ^ｊに属するようなやり方で定義される、選択されることと
    を可能にする、請求項１２に記載のデバイス。
14. 統計値が、ピクセルのサブセットにわたる平均であり、行シグネチャが、統計値に従うハッシュ関数の要素に帰される値である、請求項１２または１３に記載のデバイス。
15. ハッシュ関数の要素に帰される値が、サブセットＰ_ｘ ^ｉについて取得された平均が対称的サブセットＰ_ｙ ^ｊについて取得された平均よりも大きい場合、「１」に等しい、請求項１４に記載のデバイス。
16. 全体的シグネチャが、各行について算出されたハッシュ関数を連結することによって取得された全体的ハッシュ関数である、請求項１４または１５に記載のデバイス。
17. グレー化画像をリサイズするためのモジュールが、初期画像が、「Ｈ」行×「Ｗ＋Ｋ」列の第１の画像に低減されることであって、ここで、「Ｗ」が偶数であり、「Ｋ」が奇数である、低減されることと、次いで第１の画像が、「Ｈ」行×「Ｗ」列の第２の画像に簡略化されることであって、ここで、「Ｗ」が偶数である、簡略化されることとを可能にする、請求項１２から１６のいずれか一項に記載のデバイス。
18. 全体的シグネチャを算出するためのモジュールが、画像についての１つまたは複数の全体的統計値を追加することが考慮されることを可能にする、請求項１２から１７のいずれか一項に記載のデバイス。
19. 全体的シグネチャを算出するためのモジュールが、初期画像についての、および初期画像を極座標にコンバートするための全体的シグネチャが算出されることを可能にする、請求項１２から１８のいずれか一項に記載のデバイス。
20. コンテンツに従って、リサイズされた画像の安定した中心を決定するためのモジュールを含む、請求項１２から１９のいずれか一項に記載のデバイス。
21. Ｋメジアンによってシグネチャを定量化するように構成されたモジュールをさらに含み、比較モジュールが、逆インデックス構造によって実装される、請求項１２から２０のいずれか一項に記載のデバイス。
22. 基準画像シグネチャを生成するための方法であって、
    − 初期基準画像を受信するステップと、
    − 初期基準画像をグレースケールにコンバートするステップと、
    − グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズするステップと、
    − 低減された基準画像の各行についての行シグネチャを算出するステップであって、前記算出が、各行における対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出するステップと、
    − 基準画像シグネチャを取得するために行シグネチャを連結するステップと
    を含む、方法。
23. 基準画像についての請求項２から１０のいずれか一項に記載のステップをさらに含む、請求項２２に記載の方法。
24. 基準画像シグネチャを生成するためのデバイス（４２０）であって、
    − 初期基準画像を受信するように構成された受信機モジュール（４２２）と、
    − 初期基準画像をグレースケールにコンバートするように構成されたコンバージョンモジュール（４２４）と、
    − グレー化基準画像を複数の行と偶数個の列とを有する低減された基準画像にリサイズするように構成されたリサイジングモジュール（４２６）と、
    − 低減された基準画像の各行についての行シグネチャを算出するように構成された算出モジュール（４２８）であって、前記算出が、各行における対称的ピクセルのサブセットにわたって統計的に取得された値の比較に基づく、算出モジュール（４２８）と、
    − 行シグネチャを連結するモジュール（４３０）であって、基準画像シグネチャを取得するためのモジュールと
    を備える、デバイス（４２０）。
25. 基準画像シグネチャが、請求項２４に記載のデバイス（４２０）によって取得される、請求項１２から２１のいずれか一項に記載のデバイス。
26. コンピュータプログラム製品であって、前記コンピュータプログラムが、前記プログラムがコンピュータ上で実行されるとき、請求項２２または２３に記載の方法のステップが行われることを可能にするコード命令を含む、コンピュータプログラム製品。

Images