JP2013515998A - サンプル画像インデックスの作成ならびに画像フィルタリングおよび検索のための方法およびシステム - Google Patents

Abstract

監視する画像の精度を向上するために、サンプル画像インデックステーブルを作成し、画像をフィルタリングし、画像を検索するための方法および装置。画像フィルタリングのための方法は、サンプル画像インデックステーブルを確立することと、検索される画像から領域特徴を抽出することと、検索される画像の領域特徴を対応するノードにクラスタリングすることと、ノード識別を使用してサンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得することと、検索される画像と、サンプル画像との間の重複ノードの数を判定することと、検索される画像のノードの数およびサンプル画像のノードの数に基づいて、検索される画像の類似度を取得することと、検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合に、検索される画像をフィルタリング除去することと、を含む。

Description

本発明は、サンプル画像インデックスの作成ならびに画像フィルタリングおよび検索のための方法およびシステムに関する。

関連出願の相互参照
本出願は、２００９年１２月２４日に出願された中国特許出願第２００９１０２６０１７５．５号、名称「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＳＡＭＰＬＥ ＩＭＡＧＥ ＩＮＤＥＸ ＣＲＥＡＴＩＯＮ ＡＮＤ ＩＭＡＧＥ ＦＩＬＴＥＲＩＮＧ ＡＮＤ ＳＥＡＲＣＨ」の優先権を主張し、参照によりその全体が本明細書に組み込まれる。

本開示は、画像認識技術分野に関し、具体的には、サンプル画像インデックス作成ならびに画像フィルタリングおよび検索のための方法およびシステムに関する。

インターネット企業は概して、画像を監視する必要性を有する。例えば、Ｔａｏｂａｏ．ｃｏｍ等の電子商取引プラットフォーム上でのオンライン取引において、武器および薬物等の違法な物品が不可避的に出現する。アップロードされた画像が法律および規制に準拠することを確実にする必要性が存在する。物品監視のための従来の方法は、物品名および物品の説明文等のテキスト情報を監視することである。検出されることを避けるために、違反者はしばしば、違法な物品を説明するために暗示的な、不明瞭な言い回しまたはヒントを使用する。この状況は、Ｔａｏｂａｏ．ｃｏｍのようなプラットフォームが物品を監視する際に多大な困難をもたらす。

現在、基本的な画像フィルタリングのための理論が既に存在し、その基本は画像認識技術である。しかしながら、実際にはまだ多数の問題が存在する。例えば、ある既知のソフトウェアは、画像認識に基づいて、積極的なポルノ画像監視技術を提供する。そのようなソフトウェアは、皮膚の色のセグメンテーションに基づいて、裸の皮膚の大部分を含む可能性がある画像を識別する。そのようなソフトウェアの利点は、ポルノ画像を積極的にブロックできることである。しかし、皮膚の色のセグメンテーションに基づくため、非ポルノ画像をポルノ画像として識別する可能性が高い。エラー率は極めて高い。

画像認識技術自体が発展途上の研究分野である。異なる画像コンテンツをどのように効果的かつ効率的にモデル化するかは、まだ研究者を悩ませている。比較的発展した研究分野である、ポルノ画像の分類の場合も、まだ満足できる実際的な効果は存在しない。オンライン取引のアプリケーション分野において監視されているオブジェクトは、異なる分野の画像が全て監視対象のオブジェクトとなる可能性があるため、ポルノ画像、書籍、薬物、武器、個人情報文書、化粧品等に限定されない。さらに、オンライン取引で監視されることが必要な画像の変化の速度は非常に速く、画像認識に基づいた従来のフィルタリング技術は、オンライン取引のアプリケーションには十分ではない。

画像認識に基づいた現在のフィルタリング技術は、低い精度のために、オンライン取引の商用アプリケーションを満足させることができない。

本開示は、画像監視の精度を向上するために、サンプル画像インデックステーブルを作成し、画像をフィルタリングするための方法および装置を提供する。

一態様に従い、サンプル画像インデックステーブルを作成するための方法は、サンプル画像から領域特徴を抽出することと、サンプル画像の領域特徴を複数のノードにクラスタリングすることであって、それぞれのノードのそれぞれの領域特徴が、同じ類似度を有し、各ノードがそれぞれのノード識別に対応することと、サンプル画像インデックステーブルを確立することであって、サンプル画像インデックステーブルが、複数のノードのうちの第１のノードの第１のノード識別と、サンプル画像の識別と、第１のノードのそれぞれの領域特徴がサンプル画像に出現する回数との間の相関を記憶し、サンプル画像インデックステーブルが、サンプル画像のノードのノード識別と、サンプル画像の中のノードの数のカウントとをさらに記憶することと、を含む。

一実施形態において、サンプル画像から領域特徴を抽出することは、スケール不変性を用いる抽出アルゴリズムを使用することによって、サンプル画像から領域特徴を抽出することを含むことができる。抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論（ｓｃａｌｅ ｉｎｖａｒｉａｂｉｌｉｔｙ ｔｈｅｏｒｙ）に基づいた特徴検出器またはＤａｖｉｄ Ｌｏｗｅのスケール不変特性変換（ＳＩＦＴ）様の高次元記述子アルゴリズムであってもよい。

一実施形態において、領域特徴は、領域特徴ベクトルであってもよく、サンプル画像の領域特徴をクラスタリングすることは、定義されたクラスタリングアルゴリズムを使用して、サンプル画像の領域特徴ベクトルの間のそれぞれの距離を計算することと、サンプル画像の領域内にあり、かつ距離閾値よりも小さいそれぞれの距離を有する、領域特徴の数を同じノードに分類することと、を含むことができる。

別の態様に従い、画像フィルタリングのための方法は、サンプル画像インデックステーブルを確立することであって、サンプル画像インデックステーブルが、複数のノードのノード識別と、複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、ノードの各々のそれぞれの領域特徴がサンプル画像に出現する回数との間の相関を記憶し、サンプル画像インデックステーブルが、サンプル画像のノードのノード識別と、サンプル画像の中のノードの数のカウントとをさらに記憶することと、検索される画像から領域特徴を抽出することと、検索される画像の領域特徴を対応するノードにクラスタリングすることと、検索される画像のノードのノード識別を使用して、サンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得することと、検索される画像と、サンプル画像との間の重複ノードの数を判定することと、検索される画像のノードの数およびサンプル画像のノードの数に基づいて、検索される画像の類似度を取得することと、検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合に、検索される画像をフィルタリング除去することと、をさらに含む。

一実施形態において、検索される画像の類似度の程度を取得することは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者のうちの小さい方の数を提供することと、検索される画像とサンプル画像との間の類似度の程度を、検索される画像とサンプル画像との間の重複ノードの数と小さい方の数との比率として取得することと、を含むことができる。

別の実施形態において、検索される画像の類似度の程度を取得することは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者の間の大きい方の数を提供することと、検索される画像とサンプル画像との間の類似度を、検索される画像とサンプル画像との間の重複ノードの数と大きい方の数との比率として取得することと、を含むことができる。

別の態様に従い、サンプル画像インデックステーブルを作成するための装置は、サンプル画像から領域特徴を抽出する、特徴抽出ユニットと、サンプル画像の領域特徴を、各々が同じ類似度を有するそれぞれの数の領域特徴を有する複数のノードにクラスタリングする、クラスタリングユニットであって、各ノードが、それぞれのノード識別に対応する、クラスタリングユニットと、サンプル画像インデックステーブルを確立する記憶ユニットであって、サンプル画像インデックステーブルが、複数のノードのうちの第１のノードの第１のノード識別と、サンプル画像の識別と、第１のノードのそれぞれの領域特徴がサンプル画像に出現する回数との間の相関を記憶し、サンプル画像インデックステーブルが、サンプル画像のノードのノード識別と、サンプル画像の中のノードの数のカウントとをさらに記憶する、記憶ユニットと、を備えることができる。

一実施形態において、特徴抽出ユニットは、スケール不変性を用いる抽出アルゴリズムを使用することによって、サンプル画像から領域特徴を抽出してもよい。抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論に基づいた特徴検出器またはＤａｖｉｄ Ｌｏｗｅのスケール不変特性変換（ＳＩＦＴ）様の高次元記述子アルゴリズムであってもよい。

一実施形態において、領域特徴は、領域特徴ベクトルであってもよく、クラスタリングユニットは、定義されたクラスタリングアルゴリズムを使用して、サンプル画像の領域特徴ベクトルの間のそれぞれの距離を計算し、サンプル画像の領域内にあり、かつ距離閾値より小さいそれぞれの距離を有する領域特徴の数を同じノードに分類することができる。

別の態様に従い、画像フィルタリングのための装置は、サンプル画像インデックステーブルを記憶する記憶ユニットであって、サンプル画像インデックステーブルが、複数のノードのノード識別と、複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、ノードの各々のそれぞれの領域特徴がサンプル画像に出現する回数との間の相関を記憶し、サンプル画像インデックステーブルが、サンプル画像のノードのノード識別と、サンプル画像の中のノードの数のカウントとをさらに記憶する、記憶ユニットと、検索される画像から領域特徴を抽出する、抽出ユニットと、検索される画像の領域特徴を対応するノードにクラスタリングする、ノード判定ユニットと、検索される画像のノードのノード識別を使用してサンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得する、インデックスユニットと、検索される画像と、サンプル画像との間の重複ノードの数を計算する、計算ユニットと、検索される画像のノードの数およびサンプル画像のノードの数に基づいて、検索される画像の類似度を取得する、類似度計算ユニットと、検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合に、検索される画像をフィルタリング除去する、出力フィルタリングユニットと、を備えることができる。

一実施形態において、類似度計算ユニットは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者の間の小さい方の数を提供し、検索される画像とサンプル画像との間の類似度の程度を、検索される画像とサンプル画像との間の重複ノードの数と小さい方の数との比率として取得するようにさらに構成されてもよい。

別の実施形態において、類似度計算ユニットは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者の間の大きい方の数を提供し、検索される画像とサンプル画像との間の類似度を、検索される画像とサンプル画像との間の重複ノードの数と大きい方の数との比率として取得するように、さらに構成されてもよい。

また別の態様に従い、画像検索のための方法は、サンプル画像インデックステーブルを確立することであって、サンプル画像インデックステーブルが、複数のノードのノード識別と、複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、ノードの各々のそれぞれの領域特徴がサンプル画像に出現する回数との間の相関を記憶し、サンプル画像インデックステーブルが、サンプル画像のノードのノード識別と、サンプル画像の中のノードの数のカウントとをさらに記憶することと、検索される画像から領域特徴を抽出することと、検索される画像の領域特徴を対応するノードにクラスタリングすることと、検索される画像のノードのノード識別を使用してサンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得することと、検索される画像と、サンプル画像との間の重複ノードの数を計算することと、検索される画像のノードの数およびサンプル画像のノードの数に基づいて、検索される画像の類似度を取得することと、検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合に、検索結果としてサンプル画像を提供することと、を含んでもよい。

一実施形態において、検索される画像の類似度を取得することは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者の間の小さい方の数を提供することと、検索される画像とサンプル画像との間の類似度の程度を、検索される画像とサンプル画像との間の重複ノードの数と小さい方の数との比率として取得することと、を含んでもよい。

別の実施形態において、検索される画像の類似度を取得することは、検索される画像のノードの数と、サンプル画像のノードの数とを比較して、両者の間の大きい方の数を提供することと、検索される画像とサンプル画像との間の類似度を、検索される画像とサンプル画像との間の重複ノードの数と大きい方の数との比率として取得することと、を含んでもよい。

本開示の実施形態は、検索される画像から領域特徴を抽出することができる。検索される画像の領域特徴に対応するノードは、クラスタリングアルゴリズムによって取得することができる。対応するサンプル画像識別は、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するノード識別を使用することによって、取得することができる。検索される画像とサンプル画像との間の類似度が計算される。検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合、検索される画像はさらなる検証のためにフィルタリング除去される。画像監視の精度が向上する。

同様に、本開示の技法は、画像検索のプロセスにおいて適用することができる。検索される画像からのある領域特徴は、検索される取得された画像から抽出することができる。検索される画像の領域特徴に対応するノードは、クラスタリングアルゴリズムによって取得することができる。対応するサンプル画像識別は、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するノード識別を使用することによって、取得することができる。検索される画像とサンプル画像との間の類似度が計算される。検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合、サンプル画像が検索結果として使用される。画像検索の精度は高い。

本開示に従うサンプル画像インデックステーブルを作成するための例示的な方法のフローチャートである。 本開示に従う画像フィルタリングのための例示的な方法のフローチャートである。 本開示に従う画像フィルタリングのための例示的な方法のフローチャートである。 本開示に従うサンプル画像インデックステーブルを作成するための装置の模式図である。 本開示に従う画像フィルタリングのための装置の模式図である。 本開示に従う画像検索のための例示的な方法のフローチャートである。 本開示に従う画像検索のための装置の模式図である。

本開示の実施形態において、サンプル画像インデックステーブルは、画像フィルタリングの精度を向上するように記憶されることが必要である。サンプル画像インデックステーブルは、サンプル画像に含有される領域特徴のノード情報を記憶する。領域特徴が検索される画像から抽出される際、検索される画像の領域特徴に対応するノードが取得され、各領域特徴に対応するノード識別は、サンプル画像をインデックスしてサンプル画像識別を取得するために使用される。検索される画像と、対応するサンプル画像の各々との間の重複するノードの数は、統計法によって計算される。検索される画像の類似度は、インデックステーブルから取得される、クラスタリング後の検索される画像の抽出された領域特徴のノードの数、およびクラスタリング後のサンプル画像の抽出された領域特徴のノードの数を使用することによって取得される。検索される画像とサンプル画像との間の類似度が既定の類似性の閾値より高い場合、検索される画像は、画像検証ユニットにフィルタリング入力される。

図１を参照し、サンプル画像インデックステーブルを作成するための方法を以下に記載する。

１０１で、方法は、既定の抽出アルゴリズムを使用することによって、サンプル画像からある領域特徴の情報を抽出する。

サンプル画像は、予め選択され、フィルタリングの基準として使用することができる画像である。領域特徴は、複数のサンプル画像から抽出することができる。サンプル画像の選択もまたユーザの必要性によって画定することができる。例えば、サンプル画像としてポルノ画像を選択することができる。サンプル画像として、書籍、薬物、武器、個人情報、および化粧品の画像も選択することができる。

本明細書では、抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論に基づいた特徴検出器およびＤａｖｉｄ Ｌｏｗｅのスケール不変特性変換（ＳＩＦＴ）様の高次元記述子アルゴリズム等、スケール不変性を用いる任意の領域特徴抽出アルゴリズムとすることができる。これらの抽出アルゴリズムは、画像の構造のスケールを自動的に取得することができ、スケール分散、光分散、角度分散、および回転分散等の多様な分散に対するスケールに基づいた領域特徴を計算することができる。領域特徴が取得された後、画像は、何百もの領域特徴として表現される。領域特徴の情報は、抽出された領域特徴ベクトルにすることができる。本開示は、サンプル画像から領域特徴の情報を抽出するために使用される抽出アルゴリズムの種類を制限しない。

１０２で、方法は、既定のクラスタリングアルゴリズムを使用することによって、サンプル画像の領域特徴の情報の全てをクラスタリングする。

定義された類似度を持つ領域特徴は、１つのノードに分類される。各ノードは、対応するノード識別を有する。

動作１０２において、複数の領域特徴は、類似度に基づいて、いくつかの群に分類することができる。換言すると、相対的に類似した領域特徴は１つの群に分類される。各群は１つのノードとして参照される。各群の領域特徴は、対応するノードに属する。

領域特徴情報が領域特徴ベクトルを含む場合、１０２で、方法は、既定のクラスタリングアルゴリズムを使用して、各サンプル画像の領域特徴ベクトルの間の距離を計算することができる。その距離が既定の距離閾値より小さい領域特徴は、同じノードに分類される。

１０３で、方法はサンプル画像インデックステーブルを確立する。サンプル画像インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を記憶するために使用される。サンプル画像インデックステーブルはまた、ノード識別と、サンプル画像に含まれるノードの数とを記憶するためにも使用される。

図２を参照して、画像フィルタリングのための方法を以下に記載する。

２０１で、方法は、既定の抽出アルゴリズムを使用することによって、検索される画像からある領域特徴を抽出する。

２０２で、方法は、既定のクラスタリングアルゴリズムを使用することによって、検索される画像の領域特徴に対応するノードを取得し、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するそれぞれのノード識別を使用することによって、対応するサンプル画像識別を取得する。

２０３で、方法は、検索される画像と対応するサンプル画像との間の重複ノードの数を判定する。

２０４で、方法は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を使用することによって、検索される画像の類似度を取得する。

検索される画像の類似度は、以下に記載の様式で取得することができる。

抽出された領域特徴のクラスタリング後の検索される画像のノードの数と、対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数とが比較されて、小さい方の数が選択される。検索される画像と対応するサンプル画像との間の重複ノードの数と小さい方の数との比率が、検索される画像とサンプル画像との間の類似度として使用される。代替として、本開示は、検索される画像のノードの数とサンプル画像インテックステーブルから取得された対応するサンプル画像のノードの数との間の大きい方の数を、類似度の計算数として使用することもできる。本開示は、小さい方の数と大きい方の数とのどちらが使用されるかを制限しない。

２０５で、方法は、検索される画像とサンプル画像との間の類似度が既定の類似性の閾値を超えるかどうかを判定する。超える場合、検索される画像は、画像検証ユニットにフィルタリング入力され、超えない場合は、正常画像として見なされる。

図３を参照して、画像フィルタリングのための別の方法を以下に記載する。

３００で、方法は、既定のアルゴリズムを使用することによって、サンプル画像からある領域特徴をサンプル画像の画像特徴として抽出し、クラスタリングアルゴリズムを使用することによって、類似した領域特徴を同じノードに数値化し、インデックステーブルを確立する。インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を含む。クラスタリング方法は、高次元領域特徴の計算量を削減するために使用することができる。

例えば、以下の表１において、ノード識別が「１」であるノードは、画像識別が「＃Ｉｍｇ３３０７」および「＃Ｉｍｇ４６１５」であるサンプル画像に属する。この例において、ノード「１」はサンプル画像「＃Ｉｍｇ３３０７」に２回、サンプル画像「＃Ｉｍａｇ４６１５」に３回出現する。同様に、この例では、ノード識別が「Ｎ」であるノードは、画像識別が「＃Ｉｍｇ２９４８」および「＃Ｉｍｇ３６９３」であるサンプル画像に属する。ノード「Ｎ」は、サンプル画像「＃Ｉｍｇ２９４８」に３回、サンプル画像「＃Ｉｍｇ３６９３」に５回出現する。サンプル画像の番号は、サンプル画像識別に相当する。

３０１で、方法は、コンテンツ安全性フィルタリングシステムを起動して、ユーザからアップロードされた画像を受信後に、ユーザによってアップロードされた画像の記憶パスを収集する。

３０２で、方法は、記憶パスを通じて、ファイルシステムからユーザによってアップロードされた画像を取得する。

３０３で、方法は、検索される画像として取得された画像を、画像検索データベースへ送信する。

３０４で、画像検索データベースは、図２に関して記載したアルゴリズムと同じアルゴリズムを使用することによって、検索される画像の画像特徴として、検索される画像のある領域特徴を抽出する。

３０５で、画像検索データベースは、図２に関して記載したアルゴリズムと同じクラスタリングアルゴリズムを使用することによって、検索される画像の類似した領域特徴を対応するノードに数値化する。

３０６で、画像検索データベースは、検索される画像に対応するノード識別を使用することによって、インデックステーブルをインデックスし、検索される画像に含まれる各ノード識別の対応するサンプル画像番号を取得し、検索される画像と各サンプル画像との間の重複ノードの数を計算する。

３０７で、方法は、検索される画像とサンプル画像との間の重複ノードの数、および検索される画像の中のノードの数とサンプル画像の中のノードの数との間の小さい方のノードの数を使用することによって、検索される画像とサンプル画像との間の類似度を取得する。

全てのサンプル画像から抽出された領域特徴は、最終的に、異なるノードにクラスタリングまたは分類される。検索される画像ＩｍｇＡの領域特徴は、ノードセットＡ＝｛ａ１，ａ２，…，ａＮ｝に分類される。同様に、サンプル画像ＩｍｇＢの領域特徴は、ノードセットＢ＝｛ｂ１，ｂ２，…，ｂＭ｝に分類され、式中、ａ１，ａ２，…，ａＮおよびｂ１，ｂ２，…，ｂＭはノード番号を表す。重複ノードの数は、Ａ∩ＢまたはＡとＢの交わりと呼ばれる。ノード数の小さい方は、ｍｉｎ（Ｎ，Ｍ）である。

３０８で、方法は、検索される画像とサンプル画像との間の類似度が、既定の類似性の閾値より高い、すなわちこれを超える場合に、検索される画像を画像検証ユニットにフィルタリング入力する。

検索される画像とサンプル画像との間の類似度が類似性の閾値を超える場合、検索される画像は疑わしい画像として見なされる。検索される画像のリスクをさらに判定するために、そのような画像は、手動判定のために画像検証ユニットに入力される。

画像検証ユニットの中のサンプル画像は、システムによって自動的に判定されたリスクの高い画像である。手動検証を必要とする、少数の判定エラーが存在する場合がある。さらに、システムによって判定されたリスクの高い画像の中で、いくつかは、サンプル画像に類似するが、同一ではない。そのような種類の画像は、サンプル画像データベースをさらに向上するために、検証後にサンプルデータベースに追加することができる。

サンプル画像データベースの管理は手動で実行することができる。禁忌画像は時々変化する場合があるので、本開示は、サンプル画像データベースを手動で変更するための機能も提供する。サンプル画像データベースが更新された後、インデックステーブルもリアルタイムで変更され、検索結果に適時に反映され、従って高い効率を達成する。

図４を参照すると、本開示は、サンプル画像インデックステーブルを確立するための装置を開示する。装置は、特徴抽出ユニット４１と、クラスタリングユニット４２と、記憶ユニット４３とを含む。

特徴抽出ユニット４１は、既定の抽出アルゴリズムを使用することによって、サンプル画像からある領域特徴情報を抽出するように構成される。

クラスタリングユニット４２は、既定のクラスタリングアルゴリズムを使用することによって、サンプル画像の領域特徴の情報をクラスタリングするように構成される。定義された類似度を持つ領域特徴は、１つのノードに分類される。各ノードは、対応するノード識別を有する。

記憶ユニット４３は、サンプル画像インデックステーブルを確立するように構成される。サンプル画像インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を記憶するために使用される。サンプル画像インデックステーブルはまた、ノード識別と、サンプル画像に含まれるノードの数とを記憶するためにも使用される。

抽出アルゴリズムは、スケール不変性を用いる任意の領域特徴抽出アルゴリズムにすることができる。

抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論に基づいた特徴検出器、またはＳＩＦＴ様高次元記述子アルゴリズムにすることができる。

領域特徴情報は、抽出された領域特徴ベクトルにすることができる。クラスタリングユニット４２は、既定のクラスタリングアルゴリズムを使用して、各サンプル画像の領域特徴ベクトルの間の距離を計算することができる。その距離が既定の距離閾値より小さい領域特徴は、同じノードに分類される。

図５を参照して、本開示は、画像フィルタリングのための装置を開示する。装置は、記憶ユニット５１と、抽出ユニット５２と、ノード判定ユニット５３と、インデックスユニット５４と、計算ユニット５５と、類似度計算ユニット５６と、出力フィルタリングユニット５７とを含む。

記憶ユニット５１は、サンプル画像インデックステーブルを記憶するように構成される。サンプル画像インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を記憶するために使用される。サンプル画像インデックステーブルはまた、ノード識別と、サンプル画像に含まれるノードの数とを記憶するためにも使用される。

抽出ユニット５２は、既定の抽出アルゴリズムを使用することによって、検索される画像からある領域特徴情報を抽出するように構成される。

ノード判定ユニット５３は、既定のクラスタリングアルゴリズムを使用することによって、検索される画像の領域特徴に対応するノードを取得するように構成される。

インデックスユニット５４は、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するノード識別を使用することによって、対応するサンプル画像識別を取得するように構成される。

計算ユニット５５は、検索される画像と対応するサンプル画像との間の重複ノードの数を計算するように構成される。

類似度計算ユニット５６は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を使用することによって、検索される画像の類似度を取得するように構成される。

出力フィルタリングユニット５７は、検索される画像とサンプル画像との間の類似度が、既定の類似性の閾値より高い、すなわちこれを超える場合に、検索される画像をフィルタリングするように構成される。

類似度計算ユニット５６は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を比較するように構成される。両者のうちの小さい方の数が選択される場合がある。検索される画像と対応するサンプル画像との間の重複ノードの数と小さい方の数との比率が、検索される画像とサンプル画像との間の類似度として使用される。

本開示の実施形態のフィルタリング技術は、画像検索に基づき、アップロードされた画像を、監視を必要とする１つ以上のサンプル画像と比較する。アップロードされた画像がサンプル画像に非常に類似する場合、アップロードされた画像は、検証のために検証ユニットへ送信される。本技術の利点は、高速、および高精度である。一方、手動検証は、エラー率をさらに削減することができる。

本開示の実施形態は、画像のコンテンツを認識することを意図せず、アップロードされた画像を１つ以上のサンプル画像と単純かつ効率的に比較し、アップロードされた画像のリスクの程度として、類似度を分析することを意図する。高いリスクの可能性がある画像に対して、さらなる手動の検証を行う場合がある。オンライン取引に関する画像のほとんどが売買品の画像であり、売買品の画像を繰り返し使用する、または簡単な変化後の売買品の画像を繰り返して使用する高い可能性があることから、画像検索および比較の利用によって、ほとんどの違法な画像を監視することができる。その上、サンプル画像データベースはリアルタイムで手動により維持される。監視ルールに変化が存在する場合、サンプル画像データベースの変更によって、監視ルールを変更することができる。異なる商品に対して異なる監視ターゲットを使用して、範囲問題を解決することができる。一方、異なる売買品の特徴に対して、画像の特徴を分析することができ、監視の柔軟度は、精度を向上するように設定することができる。

同様に、本開示の画像インデックスの発想は、画像検索分野においても使用することができる。画像データベースは、事前に検索エンジンサーバにおいて確立される必要がある。画像データベースに記憶される画像は、例えば、ウェブサイトにログインするユーザによってアップロードされた画像、他のシステムからインポートされた画像、大量のウェブページからネットワークスパイダーによって抽出された画像、他の情報源からの画像、および１つ以上の上記の情報源の組み合わせからの画像である可能性がある。本開示は、画像の情報源を限定しない。インターネット上の大量のウェブページからネットワークスパイダーによって画像を抽出するための技術は、周知の技術であり、本明細書には詳細を記載しない。画像データベースの中の画像に関して、領域特徴情報は、サンプル画像インデックステーブルを確立するために取得される。サンプル画像インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を記憶し、さらにノード識別と、サンプル画像の中に含まれるノードの数とを記憶するために使用される。検索エンジンのクライアントが画像検索のための命令を送信すると、検索エンジンサーバは、検索される画像を分析し、サンプル画像インデックステーブルで問い合わせを行い、検索される画像を含む同一または類似の画像を取得し、検索エンジンのクライアントに結果を返す。

図６を参照して、本開示は、以下に記載の画像検索のための方法を提供する。

６０１で、方法は、検索される画像からある領域特徴を抽出する。

６０２で、方法は、検索される画像の領域特徴に対応するノードを取得し、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するノード識別を使用することによって、対応するサンプル画像識別を取得する。

６０３で、方法は、検索される画像と対応するサンプル画像との間の重複ノードの数を計算する。

６０４で、方法は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を使用することによって、検索される画像の類似度を取得する。

検索される画像の類似度は、以下に記載の様式で取得することができる。

抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数が比較されて、小さい方の数が選択される。検索される画像と対応するサンプル画像との間の重複ノードの数と小さい方の数との比率が、検索される画像とサンプル画像との間の類似度として使用される。代替として、本開示は、検索される画像のノードの数とサンプル画像インテックステーブルから取得された対応するサンプル画像のノードの数との間の大きい方の数を、類似度の計算数として使用することもできる。

６０５で、方法は、検索される画像とサンプル画像との間の類似度が既定の類似性の閾値を超える場合、検索結果としてサンプル画像を使用する。

図７を参照して、本開示は、画像検索のための装置を提供する。装置は、記憶ユニット７１と、抽出ユニット７２と、ノード判定ユニット７３と、インデックスユニット７４と、計算ユニット７５と、類似度計算ユニット７６と、出力検索ユニット７７とを含む。

記憶ユニット７１は、サンプル画像インデックステーブルを記憶するように構成される。サンプル画像インデックステーブルは、ノード識別と、そのノードに領域特徴がクラスタリングされるサンプル画像識別と、領域特徴が対応するサンプル画像に出現する回数との間の対応関係を記憶するために使用される。サンプル画像インデックステーブルはまた、ノード識別と、サンプル画像に含まれるノードの数とを記憶するためにも使用される。

抽出ユニット７２は、検索される画像から、ある領域特徴情報を抽出するように構成される。

ノード判定ユニット７３は、検索される画像の領域特徴に対応するノードを取得するように構成される。

インデックスユニット７４は、サンプル画像インデックステーブルをインデックするために、各領域特徴に対応するノード識別を使用することによって、対応するサンプル画像識別を取得するように構成される。

計算ユニット７５は、検索される画像と対応するサンプル画像との間の重複ノードの数を計算するように構成される。

類似度計算ユニット７６は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を使用することによって、検索される画像の類似度を取得するように構成される。

出力検索ユニット７７は、検索される画像とサンプル画像との間の類似度が既定の類似性の閾値を超える場合に、サンプル画像を出力するように構成される。

類似度計算ユニット７６は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を比較するように構成される。両者のうちの小さい方の数が選択さてもよい。検索される画像と対応するサンプル画像との間の重複ノードの数と小さい方の数との比率が、検索される画像とサンプル画像との間の類似度として使用される。

類似度計算ユニット７６は、抽出された領域特徴のクラスタリング後の検索される画像のノードの数、および対応するサンプル画像の領域特徴のクラスタリング後のサンプル画像インデックステーブルから取得された対応するサンプル画像のノードの数を比較するように構成することもできる。両者のうちの大きい方の数が選択されてもよい。検索される画像と対応するサンプル画像との間の重複ノードの数と大きい方の数との比率が、検索される画像とサンプル画像との間の類似度として使用される。

本開示の上記の技法は、画像検索のプロセスにおいて適用することができる。検索される画像が取得された場合、検索される画像からある領域特徴を抽出することができる。検索される画像の領域特徴に対応するノードは、クラスタリングアルゴリズムによって取得することができる。対応するサンプル画像識別は、サンプル画像インデックステーブルをインデックスするために、各領域特徴に対応するノード識別を使用することによって、取得することができる。検索される画像とサンプル画像との間の類似度が計算される。検索される画像とサンプル画像との間の類似度が既定の類似性の閾値を超える場合、サンプル画像が検索結果として使用される。画像検索の精度は高い。

当業者は、本開示の精神および範囲から逸脱することなく、多種多様な方式で本開示を変更または修正することができることが理解される。したがって、これらの修正および変形は、本開示の請求項およびそれらの均等物の範囲内であると考えられるべきである。

Claims (16)

1. サンプル画像インデックステーブルを作成するための方法であって、
   サンプル画像から領域特徴を抽出することと、
   前記サンプル画像の前記領域特徴を複数のノードにクラスタリングすることであって、それぞれのノードのそれぞれの領域特徴が、同じ類似度を有し、各ノードがそれぞれのノード識別に対応する、クラスタリングすることと、
   サンプル画像インデックステーブルを確立することであって、前記サンプル画像インデックステーブルが、前記複数のノードのうちの第１のノードの第１のノード識別と、前記サンプル画像の識別と、前記第１のノードの前記それぞれの領域特徴が前記サンプル画像に出現する回数との間の相関を記憶し、前記サンプル画像インデックステーブルが、前記サンプル画像の前記ノードのノード識別と、前記サンプル画像の中の前記ノードの数のカウントとをさらに記憶する、確立することと、を含む、方法。
2. 前記サンプル画像から前記領域特徴を抽出することは、スケール不変性を用いる抽出アルゴリズムを使用することによって、前記サンプル画像から前記領域特徴を抽出することを含む、請求項１に記載の方法。
3. 前記抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論に基づいた特徴検出器、またはＤａｖｉｄ Ｌｏｗｅのスケール不変特性変換（ＳＩＦＴ）様の高次元記述子アルゴリズムである、請求項２に記載の方法。
4. 前記領域特徴が領域特徴ベクトルであって、前記サンプル画像の前記領域特徴をクラスタリングすることは、
   定義されたクラスタリングアルゴリズムを使用して、前記サンプル画像の前記領域特徴ベクトルの間のそれぞれの距離を計算することと、
   前記サンプル画像の領域内にあり、かつ距離閾値よりも小さいそれぞれの距離を有する、前記領域特徴の数を同じノードに分類することと、を含む、請求項１に記載の方法。
5. 画像フィルタリングのための方法であって、
   サンプル画像インデックステーブルを確立することであって、前記サンプル画像インデックステーブルが、複数のノードのノード識別と、前記複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、前記ノードの各々のそれぞれの領域特徴が前記サンプル画像に出現する回数との間の相関を記憶し、前記サンプル画像インデックステーブルが、前記サンプル画像の前記ノードのノード識別と、前記サンプル画像の中の前記ノードの数のカウントとをさらに記憶する、確立することと、
   検索される画像から領域特徴を抽出することと、
   前記検索される画像の前記領域特徴を対応するノードにクラスタリングすることと、
   前記検索される画像の前記ノードのノード識別を使用して前記サンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得することと、
   前記検索される画像と、前記サンプル画像との間の重複ノードの数を判定することと、
   前記検索される画像のノードの数および前記サンプル画像の前記ノードの数に基づいて、前記検索される画像の類似度を取得することと、
   前記検索される画像と前記サンプル画像との間の類似度が類似性の閾値を超える場合に検索される前記画像をフィルタリング除去することと、を含む、方法。
   
6. 前記検索される画像の前記類似度の程度を取得することは、
   前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の小さい方の数を提供することと、
   前記検索される画像と前記サンプル画像との間の前記類似度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記小さい方の数との比率として取得することと、を含む、請求項５に記載の方法。
7. 前記検索される画像の類似度を取得することは、
   前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の大きい方の数を提供することと、
   前記検索される画像と前記サンプル画像との間の前記類似度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記大きい方の数との比率として取得することと、を含む、請求項５に記載の方法。
8. サンプル画像インデックステーブルを作成するための装置であって、
   サンプル画像から領域特徴を抽出する、特徴抽出ユニットと、
   前記サンプル画像の前記領域特徴を、各々が同じ類似度を有するそれぞれの数の領域特徴を有する複数のノードにクラスタリングする、クラスタリングユニットであって、各ノードが、それぞれのノード識別に対応する、クラスタリングユニットと、
   前記サンプル画像インデックステーブルを確立する記憶ユニットであって、前記サンプル画像インデックステーブルが、前記複数のノードのうちの第１のノードの第１のノード識別と、前記サンプル画像の識別と、前記第１のノードの前記それぞれの領域特徴が前記サンプル画像に出現する回数との間の相関を記憶し、前記サンプル画像インデックステーブルが、前記サンプル画像の前記ノードのノード識別と、前記サンプル画像の中の前記ノードの数のカウントとをさらに記憶する、記憶ユニットと、を備える、装置。
9. 前記特徴抽出ユニットが、スケール不変性を用いる抽出アルゴリズムを使用することによって、前記サンプル画像から前記領域特徴を抽出し、前記抽出アルゴリズムは、Ｌｉｎｄｅｒｂｅｒｇスケール不変性理論に基づいた特徴検出器、またはＤａｖｉｄ Ｌｏｗｅのスケール不変特性変換（ＳＩＦＴ）様の高次元記述子アルゴリズムである、請求項８に記載の装置。
10. 前記領域特徴が領域特徴ベクトルであり、前記クラスタリングユニットが定義されたクラスタリングアルゴリズムを使用して、前記サンプル画像の前記領域特徴ベクトルの間のそれぞれの距離を計算し、前記サンプル画像の領域内にあり、かつ距離閾値より小さいそれぞれの距離を有する前記領域特徴の数を同じノードに分類する、請求項８に記載の装置。
11. 画像フィルタリングのための装置であって、
    サンプル画像インデックステーブルを記憶する記憶ユニットであって、前記サンプル画像インデックステーブルが、複数のノードのノード識別と、前記複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、前記ノードの各々のそれぞれの領域特徴が前記サンプル画像に出現する回数との間の相関を記憶し、前記サンプル画像インデックステーブルは、前記サンプル画像の前記ノードのノード識別と、前記サンプル画像の中の前記ノードの数のカウントとをさらに記憶する、記憶ユニットと、
    検索される画像から領域特徴を抽出する、抽出ユニットと、
    前記検索される画像の前記領域特徴を対応するノードにクラスタリングする、ノード判定ユニットと、
    前記検索される画像の前記ノードのノード識別を使用して前記サンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得する、インデックスユニットと、
    前記検索される画像と、前記サンプル画像との間の重複ノードの数を計算する、計算ユニットと、
    前記検索される画像の前記ノードの数および前記サンプル画像の前記ノードの数に基づいて、前記検索される画像の類似度を取得する、類似度計算ユニットと、
    前記検索される画像と前記サンプル画像との間の前記類似度が類似性の閾値を超える場合に、前記検索される画像をフィルタリング除去する、出力フィルタリングユニットと、を備える、装置。
12. 前記類似度計算ユニットが、
    前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の小さい方の数を提供し、
    前記検索される画像と前記サンプル画像との間の前記類似度の程度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記小さい方の数との比率として取得するようにさらに構成される、請求項１１に記載の装置。
13. 前記類似度計算ユニットが、
    前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の大きい方の数を提供し、
    前記検索される画像と前記サンプル画像との間の前記類似度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記大きい方の数との比率として取得するようにさらに構成される、請求項１１に記載の装置。
14. 画像検索のための方法であって、
    サンプル画像インデックステーブルを確立することであって、前記サンプル画像インデックステーブルが、複数のノードのノード識別と、前記複数のノードにクラスタリングされる領域特徴を有するサンプル画像の識別と、前記ノードの各々のそれぞれの領域特徴が前記サンプル画像に出現する回数との間の相関を記憶し、前記サンプル画像インデックステーブルが、前記サンプル画像の前記ノードのノード識別と、前記サンプル画像の中の前記ノードの数のカウントとをさらに記憶する、確立することと、
    検索される画像から領域特徴を抽出することと、
    前記検索される画像の前記領域特徴を対応するノードにクラスタリングすることと、
    前記検索される画像の前記ノードのノード識別を使用して前記サンプル画像インデックステーブルをインデックスすることによって、対応するサンプル画像識別を取得することと、
    前記検索される画像と、前記サンプル画像との間の重複ノードの数を計算することと、
    前記検索される画像の前記ノードの数および前記サンプル画像の前記ノードの数に基づいて、前記検索される画像の類似度を取得することと、
    前記検索される画像と前記サンプル画像との間の前記類似度が類似性の閾値を超える場合、検索結果として前記サンプル画像を提供することと、を含む、方法。
15. 前記検索される画像の前記類似度を取得することは、
    前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の小さい方の数を提供することと、
    前記検索される画像と前記サンプル画像との間の前記類似度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記小さい方の数との比率として取得することと、を含む、請求項１４に記載の方法。
16. 前記検索される画像の前記類似度を取得することは、
    前記検索される画像の前記ノードの数、および前記サンプル画像の前記ノードの数を比較して、両者の間の大きい方の数を提供することと、
    前記検索される画像と前記サンプル画像との間の前記類似度を、前記検索される画像と前記サンプル画像との間の前記重複ノードの数と前記大きい方の数との比率として取得することと、を含む、請求項１４に記載の方法。

Images