JP2012530319A - 準複製画像検索のための方法およびシステム - Google Patents

準複製画像検索のための方法およびシステム Download PDF

Info

Publication number
JP2012530319A
JP2012530319A JP2012516057A JP2012516057A JP2012530319A JP 2012530319 A JP2012530319 A JP 2012530319A JP 2012516057 A JP2012516057 A JP 2012516057A JP 2012516057 A JP2012516057 A JP 2012516057A JP 2012530319 A JP2012530319 A JP 2012530319A
Authority
JP
Japan
Prior art keywords
image
images
group
predetermined
cfv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012516057A
Other languages
English (en)
Other versions
JP5463415B2 (ja
JP2012530319A5 (ja
Inventor
ジア・メングレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2012530319A publication Critical patent/JP2012530319A/ja
Publication of JP2012530319A5 publication Critical patent/JP2012530319A5/ja
Application granted granted Critical
Publication of JP5463415B2 publication Critical patent/JP5463415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【解決手段】本画像処理は、グループ分けされるべき複数の画像を受信し、複数の画像を複数のグループに分割し、同じグループ内の画像は同じ主要色を共有し、所定の画像を受信し所定の画像の主要色と同じ主要色を有する結果グループを、複数のグループから検索し、所定の画像と結果グループ内の画像との複数の画像特徴を抽出し、所定の画像の画像特徴を、結果グループ内の各画像の画像特徴と比較し、既定の準複製画像判定条件を満たす準複製画像を結果グループから特定すること、を備える。
【選択図】図1

Description

[他の出願の相互参照]
本願は、すべての目的のために参照により本明細書に組み込まれる、2009年6月16日出願の発明の名称を「METHOD AND APPARATUS OF SEARCHING FOR NEAR−DUPLICATED PICTURES USING COMPUTERS(コンピュータを用いる、準複製画像を検索するための方法および装置)」とする中国特許出願第200910146726.5号の優先権を主張する。
本発明は、デジタル画像処理の分野に関し、特に、準複製画像を検索するための方法およびシステムに関する。
情報技術の進歩により、画像検索への需要が高まっている。時に、準複製画像の検索が必要になる。準複製画像検出では、少し改変された画像をオリジナル画像にマッチングさせる必要がある。例えば、手動で導入された画像の小さい領域のサインまたは透かし、もしくは、画像ズームにより、ある画像が、オリジナル画像に対する準複製画像になりうる。
効果的な画像署名(image signature)および同様の指標を必要とする視覚的なアプリケーションに、多くの努力が傾けられてきた。従来、複製画像検出のための画像抽出方法は2つの工程を含む。最初に、2つの画像の特定の特徴が抽出され、それらの特徴は画像の「署名」と呼ばれる。次いで、2つの画像の署名が比較される。署名が互いに正確に一致する場合、2つの画像は同じ画像と判断される。これらの画像の特徴を表すために、画像の色ヒストグラムベクトルがしばしば用いられる。最初に、赤−緑−青(RGB)空間などの色空間を選択して適用し、その後、色ヒストグラムを形成するために画像の全体または一部の領域内で各色に対応するピクセル数を算出し、形成された色ヒストグラムすべてを画像の署名として用いてベクトルを構成することにより、ベクトルを抽出することができる。したがって、上記の画像抽出技術を用いて、複数の画像から特定の一画像を検索することができる。
所定の画像と同一の画像を複数の画像から見つけ出すために、しばしば、所定の画像を複数の画像の各々と比較する必要がある。比較処理に含まれる画像特徴抽出処理は複雑なので、検索効率は比較的低い。さらに、画像の特徴は、画像の一部の領域におけるわずかな色の変化によって変化しうるため、従来の画像特徴抽出方法は、一般に、2つの画像が準複製画像であるか否かを判定するために利用できない。例えば、画像に埋め込まれた透かしは、画像のごく一部に若干の色の変化を引き起こしうるが、画像の色ヒストグラムに大きい変化をもたらしうる。
したがって、効率的な準複製画像検索技術が求められている。
以下の詳細な説明と添付の図面に、本発明の様々な実施形態を開示する。
準複製画像検索方法の一実施形態を示すフローチャート。
準複製画像検索方法の別の実施形態を示すフローチャート。
図2の実施形態で確立された画像署名ツリーの構造を示す概略図。
準複製画像検索方法の別の実施形態を示すフローチャート。
準複製画像検索システムの一実施形態を示す概略図。
準複製画像検索システムの一実施形態を示すブロック図。
準複製画像検索システムの一実施形態を示す別のブロック図。
準複製画像検索システムの一実施形態を示す別のブロック図。
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサ(プロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ)を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、1または複数のデバイス、回路、および/または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
本願は、準複製画像を効率的に検索するための方法およびシステムを提供する。
図1は、準複製画像検索処理の一実施形態を示すフローチャートである。
工程110で、各グループの画像が同じ主要色を有するように、画像の主要色に従って、複数の画像が複数のグループに分割される。
本明細書では、色空間は、絶対的な色空間を指す。すなわち、色は一義的なものであり、空間における色の解釈は外的要因を参照することなく測色的に定義される。色モデルは、数字のタプルとして、通常3または4つの要素として、色を表現できる方法を記述する数理モデルである(例えば、RGBおよびCMYKは色モデルである)。色モデルと特定の基準色空間との間にマッピング関数を加えることで、基準色空間内での明確な「フットプリント」が得られる。三次元色空間では、三次元座標軸が3つの独立した色パラメータに対応し、その結果、各色は、対応する空間位置を有し、逆に、空間内の任意の点は特定の色を表す。例えば、コンピュータのモニタ上に色が表示される時、それらの色は、通常、RGB(赤、緑、青)色空間内に規定される。これは、ほぼ同じ色を作る別の方法であり(蛍光面(CRT)もしくはフィルタおよびバックライト(LCD)などの再生媒体によって限定される)、赤、緑、青は、X、Y、Z軸と見なされうる。同じ色を作る別の方法は、色相(X軸)、彩度(Y軸)、および、明度(Z軸)を使う方法である。これは、HSV色空間と呼ばれる。多くの色空間は、このように三次元(X、Y、Z)の値として表現されうる。
画像の主要色とは、この画像内の最も多いピクセルに対応する色のことである。いくつかの実施形態において、画像の主要色の決定は、以下の工程を含む。RGB色空間など色空間を選択する工程、色空間をM色に数値化する工程、画像内の各色に対応するピクセルの数を算出する工程、および、最大のピクセル数に対応する色を主要色として選択する工程。ここで、Mは、256、512、1024など、2以上の整数である。
工程120では、所定の画像と同じ主要色を有する結果グループが、複数のグループから検索される。
工程130では、所定の画像および結果グループ内の全画像の画像特徴が抽出される。
工程140では、所定の画像の画像特徴は、所定の画像の画像特徴として、結果グループ内の各画像の画像特徴と比較され、既定の準複製画像判定条件を満たす任意の画像が、所定の画像の準複製画像として特定される。
画像特徴は、画像内容の特徴を記述する情報を指す。画像は、例えば、主要色の割合(MCR)、色特徴ベクトルなど、2以上の画像特徴を有しうる。
画像のMCRは、まず、選択した色空間をM色に数値化し(ここで、Mは2以上の整数)、その後、画像内の各色に対応するピクセルの数を算出し、次に、最大のピクセル数を有する色を見つけ出し、最大ピクセル数をHとし、画像内の総ピクセル数をTとして算出し、HとTの比を算出することにより、決定できる。したがって、MCRは、H/Tに等しい。
色特徴ベクトル(CFV)は、画像の特徴を表すための別の方法である。CFVの各成分は、画像の色空間における1つの色に対応する。いくつかの実施形態において、画像のCFVは、まず画像をN個のブロックに分割し、ブロックごとに予め定められたセットの色の各々に対応するピクセルの数を算出し、次いで、予め定められたセットの色のピクセル数に対応する成分を有するベクトルを生成することによって決定できる。ここで、Nは、4、9、および、16など、2以上の整数である。色の予め定められたセットは、1以上であるが、前述のM以下である。例えば、赤、黄、および、青が、3色セットとして選択されてもよいし、前述のように得られたM色の任意のサブセットが選択されてもよい。
いくつかの別の実施形態において、画像のCFVは、画像において予め定められたセットの色の各々に対応するピクセルの数を直接算出し、次いで、予め定められたセットの色のピクセル数に対応する成分を有するベクトルを生成することによって決定できる。
いくつかの実施形態において、準複製画像判定条件は、以下のように設定される。(1)2つの画像のCFV間の距離が0であり、かつ(2)2つの画像のMCRの差が、既定の閾値(0から1の間の値など)より小さい。
いくつかの別の実施形態において、準複製画像判定条件は、以下のように設定される。(1)2つの画像のCFV間の距離が既定の閾値よりも小さく、かつ(2)2つの画像の第1の色のMCRの差が第1の既定の閾値よりも小さく、2つの画像の第2の色のMCRの差が第2の既定の閾値よりも小さい。いくつかの実施形態において、両方の閾値の値は0から1の間であり、第1の閾値の値は第2の閾値の値よりも大きい。
図2は、準複製画像検索処理の別の実施形態を示すフローチャートである。
工程210では、各グループの画像が同じ主要色を有するように、画像の主要色に従って、複数の画像が複数のグループに分割される。
工程220では、複数のグループの各画像のCFVが抽出され、署名ツリーを確立するために、複数のグループに含まれる画像のCFV間の距離に従ってクラスタリング技術を用いて、一グループの画像が複数のサブグループに再分割される。
いくつかの実施形態において、利用されるクラスタリング技術は、k平均クラスタリング法であり、各観察値が最も近い平均値を持つクラスタに属するようにN個の観察値をK個のクラスタに分割することを目的とするクラスタ分析方法である。すなわち、このクラスタリング技術は、同じタイプの複数の要素を複数のグループに分割するために用いられる。これは、混合ガウス分布のための期待値最大化技術と同様である。何故なら、いずれも、データにおいて、および、両方の技術によって用いられる反復改良法において、自然クラスタの中心を見つけようとするからである。この技術は、コンピュータビジョンにおいて画像セグメンテーションの形態で一般に用いられている。セグメンテーションの結果は、比較的広範囲の検出および物体認識を支援するために用いられる。ここで、NおよびKはいずれも正の整数である。例えば、画像グループはN個の画像を含み、初期基準に従ってK個のサブグループに分割されることができ、その際、各サブグループは少なくとも1つの画像を含み、各画像は1つのグループに属する。次いで、現行グループ分けの結果が以前のグループ分けの結果よりもよくなるように(すなわち、1つのグループ内の画像間の距離がますます短くなり、異なるグループの画像間の距離がますます長くなるように)、反復法を用いて以前のサブグループをさらに分割する。本願では、クラスタリング技術は、複数の画像のCFVを複数のグループに分割するために用いられる。例えば、A(a1,b1,c1)およびB(a2,b2,c2)が2つのCFVであり、DがベクトルAおよびBの間の距離であるとすると、D=sqrt((a1−a2)2+(b1−b2)2+(c1−c2)2)である。
k平均クラスタリング法は、署名ツリーを確立するために、以下の処理で実行されてよい。
第1に、あるグループ(グループA)が選択され、そのグループの主要色が署名ツリーのルートノードとして設定され、ルートノードはサブツリーの親ノードとして設定される。
第2に、グループAに含まれる画像のCFVが、画像のCFV間の距離に従ってクラスタリング技術を用いてK個のサブグループに分割される。ここで、Kは、2以上の整数である。K個のサブグループのいずれかが、予め定められたグループ分け停止条件を満たさない場合、このサブグループのそれぞれのCFVのクラスタリング中心が、現行親ノードの子ノードとして設定され、このサブグループが現行画像グループとして設定され、次いで、子ノードが現行親ノードとして設定される。この工程は、再帰的に実行される。
いくつかの実施形態において、グループのクラスタリング中心は、グループ内のすべてのCFVから決定されたCFV(CFV中心)である。サブグループ内のCFV中心および各CFVの間の距離は、他のサブグループ内の任意のCFVとこのサブグループ内の各CFVとの間の距離よりも短い。
複数のグループ分け停止条件が利用可能である。いくつかの実施形態において、グループ分け停止条件は、グループ内のCFVの総数が既定の閾値よりも少ないことを意味する。既定の閾値は、2以上の整数である。いくつかの別の実施形態において、グループ分け停止条件は、グループ内の各CFVとグループのCFVのクラスタリング中心との間の距離が、既定の閾値よりも小さいことを意味する。閾値は自然数である。他の実施形態において、グループ分け停止条件は、グループの分割回数が、2以上の整数である閾値を超える条件として設定されてもよい。グループの分割回数とは、最初の画像グループAからサブグループを取得するために実行された分割回数を指す。
第3に、K個のサブグループのいずれかが、予め定められたグループ分け停止条件を満たす場合、K個のサブグループ内のCFVの各々に対応する画像が、現行親ノードの子ノードとして設定され、この子ノードは、第2の工程のクラスタリング技術を用いてグループAの画像をK個のサブグループに再分割することから得られたグループである。
工程230では、所定の画像と同じ主要色を有し、所定の画像のCFVから最短距離のCFVを有する画像を含む結果サブグループが、複数のサブグループから検索される。
いくつかの実施形態において、検索は、以下のように実行される。(1)上記確立された画像署名ツリーにおいて、ルートノードが所定の画像の主要色であるサブツリーを検索し、このサブツリーのルートノードを現行親ノードとして設定する。(2)サブツリー内で現行親ノードの子ノードを検索し、見出された子ノードが中間ノードである場合、次の工程に進み、見出された子ノードがリーフノードである場合、次の工程を飛ばす。(3)中間ノードを現行親ノードとして設定し、中間ノードのCFVと所定の画像のCFVとの間の距離が既定の条件を満たす場合には工程(2)に戻り、そうでない場合には検索を停止する。(4)リーフノードによって表されるサブグループを、所定の画像と同じ主要色を有し、所定の画像のCFVから最短距離のCFVを有する画像を含むグループとして規定する。
いくつかの実施形態において、上述の既定の条件は以下を含む。(a)中間ノードのCFVと所定の画像のCFVとの間の距離が、自然数である既定の閾値よりも小さく、かつ(b)この中間ノードのCFVと所定の画像のCFVとの間の距離が、見出されたすべての中間ノードのCFVと所定の画像のCFVとの間の距離の最小値である。例えば、現行親ノードの中間ノードが4つあり、4つの中間ノードのCFVと所定の画像のCFVとの間の距離がそれぞれ1、2、3、および、4である場合、距離1に対応する中間ノードが、既定の条件を満たすノードとして決定される。
工程240では、所定の画像の画像特徴は、結果サブグループ内の各画像の画像特徴と比較され、既定の準複製画像判定条件を満たす複数の画像が、所定の画像の準複製画像として選択される。ここで、準複製画像判定条件は、図1のものと同じである。
図3は、図2の実施形態で確立された画像署名ツリーの構造を示す概略図である。この例において、画像グループは、10個の画像を含む。このグループの署名ツリーは、以下の処理で確立される。
1)署名ツリーのルートを設定する。
2)各グループが5個の画像を含むように、画像を2グループに分割する。第1のグループ(G1)内の画像の主要色は、赤であると決定され、第2のグループ(G2)内の画像の主要色は、青であると決定される。両グループの各画像のCFVが算出される。
3)第1のグループG1内の画像の主要色を署名ツリーの1つのサブツリー(サブツリー1)のルートノードとして設定し;次いで、サブツリー1のルートノードを現行親ノードとして設定し;画像間のCFV距離に従ってクラスタリング技術を用いてサブツリー1の画像を2つのサブグループ(G11およびG12)にさらに分割する。さらなる分割の結果として、第1のサブグループ(G11)は2個の画像のCFVを含み、第2のサブグループ(G12)は3個の画像のCFVを含む。
4)既定のグループ分け停止条件が満たされる、すなわち、グループ内のベクトルの数が3未満であるため、第1のグループ(G11)の2個の画像のMCRおよびCFVを現行親ノード(サブツリー1のルートノード)の子ノード(リーフノード1)として設定し、既定の停止グループ分け停止条件が満たされないため、第2のグループ(G12)の3つのCFVのクラスタリング中心を現行親ノード(サブツリー1のルートノード)の別の子ノード(中間ノード1)として設定し、次いで、中間ノード1を現行親ノードとして設定する。
5)分割後のG12の第1のサブグループ(G121)が、1個の画像のCFVを含み、分割後のG12の第2のサブグループ(G122)が2個の画像のCFVを含むように、G12内の画像のCFV間の距離に従ってクラスタリング技術を用いてG12の3個の画像のCFVを2つのサブグループにさらに分割する。
6)G121およびG122の両方が、既定のグループ分け停止条件を満たす、すなわち、各グループにおけるベクトル数が3未満であるため、G121の1個の画像のMRCおよびCFVを現行親ノード(中間ノード1)の子ノード(リーフノード2)として設定し、G122の2個の画像のMRCおよびCFVを現行親ノード(中間ノード1)の別の子ノード(リーフノード3)として設定する。
7)G2の画像の主要色を署名ツリーのサブツリー(サブツリー2)のルートノードとして設定し、次いで、サブツリー2のこのルートノードを現行親ノードとして設定し、画像間のCFV距離に従ってクラスタリング技術を用いてサブツリー1の画像を2つのサブグループ(G21およびG22)にさらに分割する。さらなる分割の結果として、第1のサブグループ(G21)は1個の画像のCFVを含み、第2のサブグループ(G22)は4個の画像のCFVを含む。
8)既定のグループ分け停止条件が満たされる、すなわち、グループ内のベクトルの数が3未満であるため、第1のグループ(G21)の1個の画像のMCRおよびCFVを現行親ノード(サブツリー2のルートノード)の子ノード(リーフノード4)として設定し、既定の停止グループ分け停止条件が満たされないため、第2のグループ(G22)の4つのCFVのクラスタリング中心を現行親ノード(サブツリー2のルートノード)の別の子ノード(中間ノード2)として設定し、次いで、中間ノード2を現行親ノードとして設定する。
9)分割後のG22の第1のサブグループ(G221)が、2個の画像のCFVを含み、分割後のG22の第2のサブグループ(G222)が別の2個の画像のCFVを含むように、G22内の画像のCFV間の距離に従ってクラスタリング技術を用いてグループG22の4個の画像のCFVを2つのサブグループにさらに分割する。
10)G221およびG222の両方が、既定のグループ分け停止条件を満たす、すなわち、各グループにおけるベクトル数が3未満であるため、G221の2個の画像のMRCおよびCFVを現行親ノード(中間ノード2)の子ノード(リーフノード5)として設定し、G222の2個の画像のMRCおよびCFVを現行親ノード(中間ノード2)の別の子ノード(リーフノード6)として設定する。
このように、10個の画像の画像署名ツリーが、図3に示すように確立される。画像署名ツリーは6個のリーフノードを含むので、10個の画像は、6つのグループに分割される。
図3に示すように画像署名ツリーが構築された後、以下の処理を用いて、「赤」を主要色とする所定の画像の準複製画像を検索することができる。
1)ルートノードが主要色「赤」を有するサブツリーを画像署名ツリーで検索し、このルートノードを、見出された「赤」サブツリーの現行親ノード(サブツリー1のルートノード)として設定する。
2)現行親ノード(サブツリー1のルートノード)の子ノードを検索する。2個の子ノード(リーフノード1および中間ノード1)が見出される。
3)リーフノード1の画像特徴を所定の画像の画像特徴と比較する。比較結果は、所定の画像のCFVとリーフノードのCFVとの間の距離が0であり、所定の画像のMCRとリーフノード1のMCRとの間の差が既定のMCR閾値よりも小さいことを示す。したがって、リーフノード1は、所定の画像の準複製画像として選択される。
4)中間ノード1のCFVと所定の画像のCFVとの間の距離を算出する。その結果は、距離が既定の閾値を超えており、既定の条件を満たさないことを示す。
図4は、準複製画像検索方法の別の実施形態を示すフローチャートである。
工程410では、複数の画像に含まれる各画像のCFVが決定される。
工程420では、複数の画像が、複数の画像のCFVの距離に従ってクラスタリング技術を用いて複数のグループに分割される。
いくつかの実施形態では、クラスタリング技術は、図2の工程220のk平均クラスタリング技術と同様の技術である。
工程430では、CFVのクラスタリング中心が所定の画像のCFVから最短距離を有する結果サブグループが、複数のサブグループから検索される。
いくつかの実施形態において、検索は、以下のように実行される。(1)上記構築された署名ツリーのルートノードを現行親ノードとして設定する。(2)現行親ノードの子ノードを画像署名ツリーで検索し、見出された子ノードが中間ノードである場合、次の工程に進み、見出された子ノードがリーフノードである場合、次の工程を飛ばす。(3)中間ノードを現行親ノードとして設定し、中間ノードのCFVと所定の画像のCFVとの間の距離が既定の条件を満たす場合、前の工程に戻り、そうでない場合、検索を停止する。(4)リーフノードによって表されたサブグループを、所定の画像のCFVから最短距離のCFVを有する画像を含むグループとして選択する。ここで、既定の条件は、図2のものと同じである。
工程440では、所定の画像の画像特徴が、結果サブグループ内の各画像の画像特徴と比較され、既定の準複製画像判定条件を満たす複数の画像が、所定の画像の準複製画像として選択される。ここで、既定の準複製画像判定条件は、図2のものと同じである。
準複製画像検索のためのシステムの実施形態の実装例について以下で説明する。いくつかのシステムは、複数のモジュールまたはユニットを備えるものとして記載される。モジュールまたはユニットは、1または複数のプロセッサ上で実行されるソフトウェアコンポーネントとして、特定の機能を実行するよう設計されたプログラム可能論理デバイスおよび/または特定用途向け集積回路などのハードウェアとして、もしくは、それらの組み合わせとして実装することができる。いくつかの実施形態において、モジュール/ユニット/サブユニットは、コンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワーク装置など)に本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体(光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなど)に格納することができるソフトウェア製品の形態で具現化されてよい。モジュールまたはユニットは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。モジュールまたはユニットの機能は、互いに統合されてもよいし、複数のサブモジュールまたはサブユニットにさらに分割されてもよい。
図5は、準複製画像検索システムの一実施形態を示す概略図である。図の例において、ユーザ510は、所定の画像を送信し、所定の画像は、ユーザによってインターネットを介して準複製画像検索サーバ520にアップロードされてよい。次いで、準複製画像検索サーバ520は、図1〜図4に示した実施形態に従って、ネットワーク530を通して画像データベース540を検索する。最後に、サーバ520は、ユーザ510に検索結果を戻す。いくつかの実施形態において、画像のCFVおよびMCRの算出および比較は、サーバ520のメモリで実行される。画像のCFVおよびMCRは、各画像に対して算出されると、画像データベース540のデータベーステーブル内に格納されてよい。上述の実施形態によって構築された署名ツリーも、データベース内に格納されてよい。
図6は、本発明の一実施形態に従って利用可能な準複製画像検索システムの一実施形態を示すブロック図である。図に示すように、いくつかの実施形態において、準複製画像検索サーバは、任意の1グループ内の画像が同じ主要色を共有するように複数の画像を複数のグループに分割するよう適合されたグループ分けモジュール610と、所定の画像と同じ主要色を持つ画像を含むグループを複数のグループから検索するよう適合された検索モジュール620と、検索モジュール620によって見出されたグループの画像の画像特徴を、所定の画像の画像特徴と比較し、比較結果に従って、既定の準複製画像判定条件を満たす画像を所定の画像の準複製画像として選択するよう適合されたマッチングモジュール630と、を備える。
図7は、本発明の一実施形態に従って利用可能な準複製画像検索システムの一実施形態を示すブロック図である。図に示すように、いくつかの実施形態において、準複製画像検索サーバは、任意の1グループ内の画像が同じ主要色を共有するように複数の画像を複数のグループに分割するよう適合された第1のグループ分けモジュール710と、複数のグループの各々に含まれる画像のCFVを決定するよう適合されたベクトル決定モジュール720と、複数のグループの各々に含まれる画像を、グループ内の画像のCFV間の距離に従ってクラスタリング技術を用いて、複数のサブグループに再分割するよう適合された第2のグループ分けモジュール730と、所定の画像と同じ主要色を有し、所定の画像のCFVから最短距離のCFVを有する画像を含むサブグループを、第2のグループ分けモジュールによる再分割で得られたサブグループから検索するよう適合された検索モジュール740と、検索モジュール740によって見出されたサブグループの画像の画像特徴を、所定の画像の画像特徴と比較し、比較結果に従って、既定の準複製画像判定条件を満たす画像を所定の画像の準複製画像として選択するよう適合されたマッチングモジュール750と、を備える。
第2のグループ分けモジュール730は、さらに以下を備える。複数のグループの各々を、現行画像グループとして、および、第1のサブグループとして設定し、現行画像グループの画像の主要色をサブツリーのルートノードとして設定し、次いで、このルートノードを現行親ノードとして設定するよう適合されたサブツリー確立ユニットであって、クラスタリンググループ分けユニットをトリガするサブツリー確立ユニット、現行画像グループの画像のCFV間の距離に従って、クラスタリング技術を用いて、現行画像グループの画像のCFVをK個のサブグループ(Kは自然数)に分割するよう適合されたクラスタリンググループ分けユニットであって、再帰確立ユニットをトリガするクラスタリンググループ分けユニット、K個のサブグループのメンバーが、所定のグループ分け停止条件を満たすか否かを判定するよう適合された再帰確立ユニットであって、所定のグループ分け停止条件を満たす場合、リーフノード確立ユニットをトリガし、満たさない場合、中間ノード確立ユニットをトリガする、再帰確立ユニット、サブグループのCFVのクラスタリング中心を現行親ノードの子ノードとして設定し、次いで、このサブグループを現行画像グループとして設定し、子ノードを現行親ノードとして設定するよう適合された中間ノード確立ユニットであって、クラスタリンググループ分けユニットをトリガする中間ノード確立ユニット、このサブグループにおいて所定のグループ分け停止条件を満たすCFVに対応する画像を現行親ノードの子ノードとして設定し、この子ノードに対応するサブグループを、第1のサブグループのCFV間の距離に従ってクラスタリング技術を用いて得られた複数のサブグループの内の1サブグループ(第1のサブグループ)として選択するよう適合されたリーフノード確立ユニット。ここでのグループ分け停止条件は、図2に関して説明した実施形態と同じものである。
検索ユニット740は、さらに以下を含む。ルートノードが所定の画像の主要色であるサブツリーを、画像署名ツリー内で検索し、このサブツリーのルートノードを現行親ノードとして設定するよう適合された第1の検索ユニット、現行親ノードの子ノードをサブツリー内で検索するよう適合された第2の検索ユニットであって、子ノードが中間ノードである場合、中間ノード処理ユニットをトリガし、子ノードがリーフノードである場合、リーフノード処理ユニットをトリガする、第2の検索ユニット、中間ノードのCFVの中心と所定の画像のCFVとの間の距離が既定の条件を満たすか否かを判定するよう適合された中間ノード処理ユニットであって、既定の条件を満たす場合、中間ノードを現行親ノードとして設定し、満たさない場合、検索を停止する、中間ノード処理ユニット、リーフノードの画像を含むサブグループを、画像の主要色が所定の画像の主要色と同じであり、それらのCFVが所定の画像のCFVからの最短距離を有するサブグループとして決定するよう適合されたリーフノード処理ユニット。ここで、既定の条件および準複製画像判定条件は、図2で述べたものと同じである。
図8は、本発明の一実施形態に従って利用可能な準複製画像検索システムの一実施形態を示す別のブロック図である。図に示すように、いくつかの実施形態において、準複製画像検索サーバは、グループ分けすべき複数の画像に含まれる各画像のCFVを決定するよう適合されたベクトル決定モジュール810と、複数の画像のCFV間の距離に従ってクラスタリング技術を用いて、複数の画像を複数のグループに分割するよう適合されたグループ分けモジュール820と、所定の画像のCFVから最短距離のCFVを有する複数の画像を含むグループを、複数のグループから検索するよう適合された検索モジュール830と、検索モジュール830によって見出されたグループの画像の画像特徴を、所定の画像の画像特徴と比較し、比較結果に従って、既定の準複製画像判定条件を満たす複数の画像を、所定の画像の準複製画像として選択するよう適合されたマッチングモジュール840と、を備える。
グループ分けモジュール820は、さらに以下を含む。画像署名ツリーのルートノードを設定するよう適合された初期化ユニットであって、さらに、ルートノードを現行親ノードとして設定し、複数の画像を含むグループを現行画像グループとして設定する、初期化ユニット、現行画像グループの画像のCFV間の距離に従って、クラスタリング技術を用いて、現行画像グループの画像のCFVをK個のサブグループ(Kは自然数)に分割するよう適合されたクラスタリンググループ分けユニット、K個のサブグループの各々が所定のグループ分け停止条件を満たすか否かを判定するよう適合された再帰確立ユニットであって、所定のグループ分け停止条件を満たす場合、リーフノード確立ユニットをトリガし、満たさない場合、中間ノード確立ユニットをトリガするよう適合される、再帰確立ユニット、サブグループのCFVのクラスタリング中心を現行親ノードの子ノードとして設定し、このグループを現行画像グループとして設定し、子ノードを現行親ノードとして設定するよう適合された中間ノード確立ユニットであって、さらに、クラスタリンググループ分けユニットをトリガするよう適合される、中間ノード確立ユニット、このサブグループにおいて所定のグループ分け停止条件を満たすCFVに対応する画像を現行親ノードの子ノードとして設定し、この子ノードに対応するサブグループを、グループ分けされる複数の画像のCFV間の距離に従ってクラスタリング技術を用いて得られた複数のサブグループの内の1サブグループ(第1のサブグループ)として選択するよう適合されたリーフノード確立ユニット。グループ分け停止条件の例は、図2に関連して上述した。
検索モジュール830は、さらに以下を含む。画像署名ツリーのルートノードを現行親ノードとして設定し、現行親ノードの子ノードを画像署名ツリー内で検索し、子ノードが中間ノードである場合に中間ノード処理ユニットをトリガし、子ノードがリーフノードである場合にリーフノード処理ユニットをトリガするよう適合された第1の検索ユニット、中間ノードのCFVと所定の画像のCFVとの間の距離が既定の条件を満たすか否かを判定し、満たす場合に、中間ノードを現行親ノードとして設定して、第1の検索ユニットをトリガし、満たさない場合に、検索を停止するよう適合された中間ノード処理ユニット、および、リーフノードの画像を含むサブグループを、画像のCFVが所定の画像のCFVからの最短距離を有するサブグループとして決定するよう適合されたリーフノード処理ユニット。
既定の条件および準複製画像判定条件の例は、図2に関連して説明した。
本発明の実施形態は、元の画像グループを多くの小規模なサブグループに分割するためにグループ分け技術を用いる。所定の画像の準複製画像を見つけるために大きいグループ内の全画像を比較する代わりに、既定の条件を満たすはるかに小規模なサブグループ内の画像だけを、所定の画像と比較すればよい。したがって、準複製画像の検索効率が、従来の検索方法と比較して大幅に改善される。
説明しやすいように、上記のシステムについては、機能に従って様々なモジュールに分けて、それぞれを説明している。ただし、本願の実施の際には、各モジュールの機能は、1または複数のソフトウェアおよび/またはハードウェアに実装されてよい。
当業者であれば、本願の実施形態は、方法、システム、または、コンピュータ製品として提供されうることを理解できる。したがって、本願は、完全にハードウェア的な実施形態、完全にソフトウェア的な実施形態、または、その組み合わせの形態を取りうる。さらに、本願は、コンピュータ利用可能なプログラムコードを含む1または複数のコンピュータ利用可能な記憶媒体(磁気ディスクストレージ、CD−ROM、フラッシュ、および、光学ストレージを含むが、これらに限定されない)に実装されたコンピュータプログラム製品の形態を取ってもよい。それらのプログラムコードは、上述の方法のすべてまたは一部の実施形態をコンピュータ装置に実行させるための命令を含む。
本願のそれぞれの実施形態は1つずつ記載され、実施形態の同一および同様の部分は、参照によって説明されており、各実施形態で他の実施形態との差異が強調されている。特に、システムの実施形態は、方法の実施形態と類似しているため簡潔に記載されており、システムの実施形態の関連モジュールについては、方法の実施形態が参照されている。
本願は、多くの汎用または専用コンピュータシステム環境または構成、例えば、パーソナルコンピュータ、サーバコンピュータ、ハンドセットまたは携帯型デバイス、フラットパネルデバイス、マルチプロセッサシステム、マイクロプロセッサを利用したシステム、セットトップボックス、プログラム可能な消費者向け電子デバイス、ネットワークPC、ミニコンピュータ、大規模コンピュータ、上記システムまたはデバイスのいずれかを含む分散型コンピュータシステムなど、に適用されてよい。
本願は、本願の実施形態に従った方法、システム、および、コンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明されている。フローチャートおよび/またはブロック図内の各フローおよび/またはブロック、ならびに、フローチャートおよび/またはブロック図内のフローおよび/またはブロックの組み合わせは、コンピュータプログラム命令で実現されうることを理解されたい。実際に、本願全体は、コンピュータによって実行されるコンピュータ実行可能な命令(例えば、プログラムモジュールなど)の一般的な文脈で説明できる。一般に、プログラムモジュールは、特定のタスクの実行または特定の抽象データ型の実施のためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを備える。あるいは、本発明は、分散型コンピュータ環境に実装されてよく、その場合、通信ネットワークを介して接続されたリモート処理デバイスがタスクを実行する。分散型コンピュータ環境において、プログラムモジュールは、ストレージデバイスを備えるローカルあるいはリモートの記憶媒体に格納されてよい。
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

Claims (26)

  1. 画像処理方法であって、
    グループ分けされるべき複数の画像を受信し、
    前記複数の画像を複数のグループに分割し、同じグループ内の画像は同じ主要色を共有することと、
    所定の画像を受信し、
    前記所定の画像の主要色と同じ主要色を有する結果グループを、前記複数のグループから検索し、
    前記所定の画像と前記結果グループ内の画像との複数の画像特徴を抽出し、
    前記所定の画像の前記画像特徴を、前記結果グループ内の画像の前記画像特徴と比較し、
    既定の準複製画像判定条件を満たす準複製画像を前記結果グループから特定すること、
    を備える、方法。
  2. 請求項1に記載の方法であって、前記複数の画像および前記複数のグループは、画像データベースに格納される、方法。
  3. 請求項1に記載の方法であって、前記画像特徴は、画像の主要色の割合(MCR)および色特徴ベクトル(CFV)を含む、方法。
  4. 請求項1に記載の方法であって、前記所定の画像は、ネットワークを介してユーザによって送信された画像である、方法。
  5. 請求項1に記載の方法であって、さらに、前記準複製画像をユーザに戻すことを備える、方法。
  6. 請求項1に記載の方法であって、前記準複製画像判定条件は、前記所定の画像のCFVと、あるグループの画像のCFVとの間の距離がゼロであり、前記所定の画像のMCRと、あるグループの画像のMCRとの間の差が、既定の閾値よりも小さいことを含む、方法。
  7. 請求項1に記載の方法であって、前記準複製画像判定条件は、前記所定の画像のCFVと、あるグループの画像のCFVとの間の距離が、第1の既定の閾値よりも小さく、前記所定の画像のMCRと、あるグループの画像のMCRが共に、第2の既定の閾値よりも小さく、前記所定の画像のMCRと、あるグループの画像のMCRとの差が、第3の既定の閾値よりも小さいことを含む、方法。
  8. 画像処理方法であって、
    複数の画像を複数のグループに分割し、同じグループ内の画像は同じ主要色を共有することと、
    前記複数のグループ内の各画像の色特徴ベクトル(CFV)を抽出し、
    画像署名ツリーを確立するために、前記複数のグループの各グループ内の画像を、前記各グループ内の前記画像の前記CFV間の距離に従って、クラスタリング技術を用いて、複数のサブグループに再分割し、
    所定の画像の前記主要色と同じ主要色を有し、前記所定の画像のCFVから最短距離のCFVを有する画像を含む結果サブグループを、前記複数のサブグループから検索し、
    前記所定の画像のCFVを前記結果グループ内のCFVと比較し、
    既定の準複製画像判定条件を満たす準複製画像を前記結果グループから特定すること、
    を備える、方法。
  9. 請求項8に記載の方法であって、さらに、グループ分けされるべき複数の画像を受信することを備える、方法。
  10. 請求項8に記載の方法であって、画像の前記色特徴ベクトルの抽出は、
    前記画像をN個のブロックに分割し、ここで、Nは2以上の整数である、
    前記N個のブロックの各々について、予め定められた数の色の各々に対応するピクセルの数を算出し、
    前記N個のブロックに対応する前記ピクセルの数をベクトルの成分とするベクトルを生成すること、
    を備える、方法。
  11. 請求項8に記載の方法であって、前記複数の画像、前記複数のグループ、および、前記画像ツリーは、画像データベースに格納される、方法。
  12. 請求項8に記載の方法であって、署名ツリーを確立するために複数の画像を複数のサブグループに再分割することは、
    前記複数のグループの内の第1のグループを現行画像グループとして設定し、
    前記現行画像グループ内の画像の主要色を前記画像署名ツリーのサブツリーのルートノードとして設定し、前記ルートノードを現行親ノードとして設定し、
    前記現行画像グループ内の前記画像の再帰分割を実行することと、
    を備え、
    前記現行画像グループ内の前記画像の再帰分割の実行は、
    前記現行画像グループ内の前記画像のCFV間の距離に従って、クラスタリング技術を用いて、前記現行画像グループ内の前記画像の前記CFVをK個のサブグループに分割し、ここで、Kは2以上の整数である、
    前記K個のサブグループの内の第1のサブグループのCFVのクラスタリング中心を前記現行親ノードの第1の子ノードとして設定し、前記第1のサブグループを前記現行画像グループとして設定し、前記第1のサブグループが予め定められたグループ分け停止条件を満たさない場合、前記第1の子ノードを前記現行親ノードとして設定し、
    前記K個のサブグループの内の第1のサブグループのCFVに対応する画像を前記現行親ノードの子ノードとして設定し、前記第1のサブグループが予め定められたグループ分け停止条件を満たす場合、前記画像の前記CFV間の距離に従って前記クラスタリング技術を用いて得られた画像を含む前記複数のサブグループの1つとして、前記第1のサブグループを選択すること、
    を備える、方法。
  13. 請求項8に記載の方法であって、結果サブグループの検索は、
    前記所定の画像の前記主要色をルートノードとするサブツリーを前記画像署名ツリーから検索し、前記検索されたサブツリーの前記ルートノードを前記現行親ノードとして設定し、
    前記サブツリー内で再帰的に検索することと、
    を備え、
    前記サブツリー内で再帰的に検索することは、
    前記現行親ノードの第1の子ノードを前記サブツリー内で検索し、前記第1の子ノードが中間ノードである場合、前記第1の子ノードのCFVの中心と、所定の画像のCFVとの間の距離が、既定の条件を満たすか否かを判定し、
    前記距離が既定の条件を満たす場合、中間ノードである前記第1の子ノードを前記現行親ノードとして設定し、
    前記第1の子ノードが中間ノードであり、前記距離が既定の条件を満たさない場合、前記署名ツリーでの検索を停止し、
    前記子ノードがリーフノードである場合、前記所定の画像と同じ主要色を有し、前記所定の画像のCFVから最短距離のCFVを有する複数の画像を含むサブグループとして、前記第1の子ノード内の前記グループを選択すること、
    を備える、方法。
  14. 請求項8に記載の方法であって、前記所定の画像は、ネットワークを介してユーザによって送信された画像である、方法。
  15. 請求項8に記載の方法であって、さらに、前記準複製画像をユーザに戻すことを備える、方法。
  16. 請求項12に記載の方法であって、前記グループ分け停止条件は、あるグループ内のCFVの数が既定の閾値よりも小さいことを含む、方法。
  17. 請求項12に記載の方法であって、前記グループ分け停止条件は、あるグループ内のCFVと、前記グループのCFVのクラスタリング中心との間の距離が、既定の閾値より小さいことを含む方法。
  18. 請求項12に記載の方法であって、前記グループ分け停止条件は、複数の画像からグループを得るために行われた分割の回数が既定の閾値を超えることを含む、方法。
  19. 画像処理方法であって、
    グループ分けされるべき複数の画像を受信し、
    前記複数の画像に対応する複数の色特徴ベクトル(CFV)を抽出し、
    画像署名ツリーを確立するために、前記複数の画像を、前記グループ内の前記画像の前記CFV間の距離に従って、クラスタリング技術を用いて、複数のグループに分割し、
    所定の画像を受信し、
    CFVのクラスタリング中心が前記所定の画像のCFVからの最短距離を有する結果グループを、前記複数のグループから検索し、
    前記所定の画像のCFVを前記結果グループ内のCFVと比較し、
    前記比較結果に従って、既定の準複製画像判定条件を満たす複数の画像を、前記所定の画像の前記準複製画像として選択すること、
    を備える、方法。
  20. 請求項19に記載の方法であって、署名ツリーを確立する複数の画像を複数のグループに分割することは、
    前記画像署名ツリーのルートノードを設定し、前記ルートノードを現行親ノードとして設定し、
    前記複数のグループの内の第1のグループを現行画像グループとして設定し、
    複数の画像を含むグループを前記現行画像グループとして設定し、
    前記現行画像グループ内の画像の主要色を前記画像署名ツリーのサブツリーのルートノードとして設定し、前記ルートノードを前記現行親ノードとして設定し、
    前記現行画像グループ内の前記画像の再帰分割を実行することと、
    を備え、
    前記現行画像グループ内の前記画像の再帰分割の実行は、
    前記現行画像グループ内の前記画像のCFV間の距離に従って、クラスタリング技術を用いて、前記現行画像グループ内の前記画像の前記CFVをK個のサブグループに分割し、ここで、Kは2以上の整数である、
    前記K個のサブグループの内の第1のサブグループのCFVのクラスタリング中心を前記現行親ノードの第1の子ノードとして設定し、前記第1のサブグループを前記現行画像グループとして設定し、前記第1のサブグループが予め定められたグループ分け停止条件を満たさない場合、前記第1の子ノードを前記現行親ノードとして設定し、
    前記K個のサブグループの内の第1のサブグループのCFVに対応する画像を前記現行親ノードの子ノードとして設定し、前記第1のサブグループが予め定められたグループ分け停止条件を満たす場合、前記画像の前記CFV間の距離に従って前記クラスタリング技術を用いて得られた画像を含む前記複数のサブグループの1つとして、前記第1のサブグループを選択すること、
    を備える、方法。
  21. 請求項19に記載の方法であって、結果サブグループの検索は、
    前記画像署名ツリーのルートノードを現行親ノードとして設定し、
    前記画像署名ツリー内で再帰的に検索することと、
    を備え、
    前記画像署名ツリー内で再帰的に検索することは、
    前記現行親ノードの子ノードを検索し、前記第1の子ノードが中間ノードである場合、前記第1の子ノードのCFVの中心と、所定の画像のCFVとの間の距離が、既定の条件を満たすか否かを判定し、
    前記距離が既定の条件を満たす場合、中間ノードである前記第1の子ノードを前記現行親ノードとして設定し、
    前記第1の子ノードが中間ノードであり、前記距離が既定の条件を満たさない場合、前記署名ツリーでの検索を停止し、
    前記第1のノードがリーフノードである場合、前記所定の画像のCFVから最短距離のCFVを有する複数の画像を含むサブグループとして、前記第1の子ノードの前記グループを選択すること、
    を備える、方法。
  22. 請求項19に記載の方法であって、前記複数の画像、前記複数のグループ、および、前記画像ツリーは、画像データベースに格納される、方法。
  23. 請求項19に記載の方法であって、前記複数の画像、前記複数のグループ、および、前記画像ツリーは、画像データベースに格納される、方法。
  24. 準複製画像検索システムであって、
    インターフェースに接続された1または複数のプロセッサであって、
    グループ分けされるべき複数の画像を受信し、
    前記複数の画像を複数のグループに分割し、同じグループ内の画像は同じ主要色を共有し、
    所定の画像を受信し、
    前記所定の画像の主要色と同じ主要色を有する結果グループを、前記複数のグループから検索し、
    前記所定の画像と前記結果グループ内の画像との複数の画像特徴を抽出し、
    前記所定の画像の前記画像特徴を、前記結果グループ内の画像の前記画像特徴と比較し、
    既定の準複製画像判定条件を満たす準複製画像を前記結果グループから特定すること、を実行するよう構成されている1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、前記プロセッサに命令を提供するよう構成されている1または複数のメモリと、
    を備える、システム。
  25. 準複製画像検索システムであって、
    インターフェースに接続された1または複数のプロセッサであって、
    複数の画像を複数のグループに分割し、同じグループ内の画像は同じ主要色を共有し、
    前記複数のグループ内の各画像の色特徴ベクトル(CFV)を抽出し、
    画像署名ツリーを確立するために、前記複数のグループの各グループ内の画像を、前記各グループ内の前記画像の前記CFV間の距離に従って、クラスタリング技術を用いて、複数のサブグループに再分割し、
    所定の画像の前記主要色と同じ主要色を有し、前記所定の画像のCFVから最短距離のCFVを有する画像を含む結果サブグループを、前記複数のサブグループから検索し、
    前記所定の画像のCFVを前記結果グループ内のCFVと比較し、
    既定の準複製画像判定条件を満たす準複製画像を前記結果グループから特定すること、を実行するよう構成されている1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、前記プロセッサに命令を提供するよう構成されている1または複数のメモリと、
    を備える、システム。
  26. 準複製画像検索システムであって、
    インターフェースに接続された1または複数のプロセッサであって、
    グループ分けされるべき複数の画像を受信し、
    前記複数の画像に対応する複数の色特徴ベクトル(CFV)を抽出し、
    画像署名ツリーを確立するために、前記複数の画像を、前記グループ内の前記画像の前記CFV間の距離に従って、クラスタリング技術を用いて、複数のグループに分割し、
    所定の画像を受信し、
    CFVのクラスタリング中心が前記所定の画像のCFVからの最短距離を有する結果グループを、前記複数のグループから検索し、
    前記所定の画像のCFVを前記結果グループ内のCFVと比較し、
    前記比較結果に従って、既定の準複製画像判定条件を満たす複数の画像を、前記所定の画像の前記準複製画像として選択すること、を実行するよう構成されている1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、前記プロセッサに命令を提供するよう構成されている1または複数のメモリと、
    を備える、システム。
JP2012516057A 2009-06-16 2010-06-15 準複製画像検索のための方法およびシステム Active JP5463415B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN200910146726.5 2009-06-16
CN2009101467265A CN101576932B (zh) 2009-06-16 2009-06-16 近重复图片的计算机查找方法和装置
US12/802,815 US8611649B2 (en) 2009-06-16 2010-06-14 Method and system for near-duplicate image searching
US12/802,815 2010-06-14
PCT/US2010/001719 WO2010147644A1 (en) 2009-06-16 2010-06-15 Method and system for near-duplicate image searching

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014007980A Division JP5797789B2 (ja) 2009-06-16 2014-01-20 準複製画像検索のための方法およびシステム

Publications (3)

Publication Number Publication Date
JP2012530319A true JP2012530319A (ja) 2012-11-29
JP2012530319A5 JP2012530319A5 (ja) 2014-01-16
JP5463415B2 JP5463415B2 (ja) 2014-04-09

Family

ID=41271866

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012516057A Active JP5463415B2 (ja) 2009-06-16 2010-06-15 準複製画像検索のための方法およびシステム
JP2014007980A Expired - Fee Related JP5797789B2 (ja) 2009-06-16 2014-01-20 準複製画像検索のための方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014007980A Expired - Fee Related JP5797789B2 (ja) 2009-06-16 2014-01-20 準複製画像検索のための方法およびシステム

Country Status (6)

Country Link
US (2) US8611649B2 (ja)
EP (1) EP2443589B1 (ja)
JP (2) JP5463415B2 (ja)
CN (1) CN101576932B (ja)
HK (1) HK1136892A1 (ja)
WO (1) WO2010147644A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582872B1 (en) * 2011-06-30 2013-11-12 Google Inc. Place holder image detection via image clustering
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
CN103207778B (zh) * 2012-01-13 2016-06-08 青岛海信移动通信技术股份有限公司 一种修饰图标的方法、装置和移动终端
US8995771B2 (en) * 2012-04-30 2015-03-31 Microsoft Technology Licensing, Llc Identification of duplicates within an image space
CN103390165B (zh) * 2012-05-10 2017-08-22 北京百度网讯科技有限公司 一种图片聚类的方法及装置
US9063954B2 (en) 2012-10-15 2015-06-23 Google Inc. Near duplicate images
CN103502957B (zh) * 2012-12-28 2016-07-06 华为技术有限公司 数据处理方法及装置
US9530072B2 (en) 2013-03-15 2016-12-27 Dropbox, Inc. Duplicate/near duplicate detection and image registration
CN104112284B (zh) * 2013-04-22 2017-10-13 阿里巴巴集团控股有限公司 一种图片的相似度检测方法和设备
CN104142946A (zh) * 2013-05-08 2014-11-12 阿里巴巴集团控股有限公司 一种同款业务对象聚合、搜索的方法和系统
US20150095305A1 (en) * 2013-09-30 2015-04-02 International Business Machines Corporation Detecting multistep operations when interacting with web applications
CN103677517B (zh) 2013-12-02 2016-06-29 三星电子(中国)研发中心 一种图片查找方法和装置
US9524447B2 (en) 2014-03-05 2016-12-20 Sizhe Tan Searching 2D image based on transformed 1D data matching
US20150254280A1 (en) * 2014-03-06 2015-09-10 Nec Laboratories America, Inc. Hybrid Indexing with Grouplets
US9558680B2 (en) * 2014-04-04 2017-01-31 Sizhe Tan Payload in picture encoding
CN103996217B (zh) * 2014-04-30 2017-01-04 王进 一种基于色彩聚类中心变换的场景主题优化与调色方法
CN104123736B (zh) * 2014-07-04 2017-02-15 北京思特奇信息技术股份有限公司 一种图片主色系获取方法及装置
JP6624062B2 (ja) * 2014-10-14 2019-12-25 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
US9430718B1 (en) 2015-02-09 2016-08-30 Sony Corporation Efficient local feature descriptor filtering
US9311342B1 (en) 2015-02-09 2016-04-12 Sony Corporation Tree based image storage system
CN104866755B (zh) * 2015-06-11 2018-03-30 北京金山安全软件有限公司 应用程序解锁界面背景图片的设置方法、装置及电子设备
CN104866323B (zh) * 2015-06-11 2018-03-30 北京金山安全软件有限公司 一种解锁界面的生成方法、装置及电子设备
US11030453B2 (en) 2015-12-16 2021-06-08 Assa Abloy Ab Optical authentication of objects based on latent structural characteristics
CN106960211B (zh) * 2016-01-11 2020-04-14 北京陌上花科技有限公司 关键帧获取方法及装置
CN105488820B (zh) * 2016-02-25 2018-04-06 曹溯 颜色比对方法及装置
CN105808645B (zh) * 2016-02-26 2019-05-10 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
CN107818341A (zh) * 2017-10-25 2018-03-20 天津大学 一种基于改进K‑means算法的颜色提取方法
CN110019007A (zh) * 2017-10-30 2019-07-16 北京金风科创风电设备有限公司 数据处理方法及装置
CN110019550B (zh) * 2017-12-15 2021-07-09 百度在线网络技术(北京)有限公司 数据仓库管理方法、装置及计算机设备
KR102424519B1 (ko) 2018-01-04 2022-07-26 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN108228844B (zh) * 2018-01-09 2020-10-27 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
CN109657083B (zh) * 2018-12-27 2020-07-14 广州华迅网络科技有限公司 纺织品图片特征库的建立方法和装置
CN110442738A (zh) * 2019-07-31 2019-11-12 北京明略软件系统有限公司 图片去重方法和装置,存储介质及电子装置
US11216505B2 (en) * 2019-09-05 2022-01-04 Adobe Inc. Multi-resolution color-based image search
CN111143581A (zh) * 2019-12-31 2020-05-12 汇医达(杭州)科技有限公司 一种用于期刊投稿、稿件筛选的数据箱系统
US11887217B2 (en) 2020-10-26 2024-01-30 Adobe Inc. Text editing of digital images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288657A (ja) * 2001-01-18 2002-10-04 Lg Electronics Inc 空間密集成分を利用した代表カラー設定方法
JP2003500712A (ja) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法
US20060253491A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling search and retrieval from image files based on recognized information
US20070239756A1 (en) * 2006-03-28 2007-10-11 Microsoft Corporation Detecting Duplicate Images Using Hash Code Grouping
WO2008117526A1 (ja) * 2007-03-27 2008-10-02 Panasonic Corporation 画像閲覧装置及び方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0461817A3 (en) * 1990-06-15 1993-11-18 American Telephone & Telegraph Image segmenting apparatus and methods
US5668897A (en) * 1994-03-15 1997-09-16 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases
EP1489833A1 (en) * 1997-06-17 2004-12-22 Seiko Epson Corporation Image processing apparatus, image processing method, color adjustment method, and color adjustment system
US5983224A (en) * 1997-10-31 1999-11-09 Hitachi America, Ltd. Method and apparatus for reducing the computational requirements of K-means data clustering
US6628824B1 (en) * 1998-03-20 2003-09-30 Ken Belanger Method and apparatus for image identification and comparison
KR100448111B1 (ko) * 1998-06-09 2004-09-10 마츠시타 덴끼 산교 가부시키가이샤 화상 부호화 장치, 화상 복호화 장치 및 데이터 기억 매체
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
JP2000090239A (ja) 1998-09-10 2000-03-31 Matsushita Electric Ind Co Ltd 画像検索装置
ATE489691T1 (de) * 1999-02-05 2010-12-15 Samsung Electronics Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JP4173246B2 (ja) 1999-04-28 2008-10-29 株式会社リコー 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
US7212667B1 (en) * 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
EP1089198A3 (en) 1999-09-30 2003-03-12 Hewlett-Packard Company, A Delaware Corporation Content-based image searching
US6961463B1 (en) * 2000-03-29 2005-11-01 Eastman Kodak Company Method of detecting duplicate pictures in an automatic albuming system
JP2002117037A (ja) * 2000-10-06 2002-04-19 Nec Corp 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体
US7046851B2 (en) * 2000-11-08 2006-05-16 California Institute Of Technology Image and video indexing scheme for content analysis
JP4889159B2 (ja) 2001-05-14 2012-03-07 富士通株式会社 データ検索システムおよびデータ検索方法
JP4374902B2 (ja) 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
US7634472B2 (en) * 2003-12-01 2009-12-15 Yahoo! Inc. Click-through re-ranking of images and other data
US7853582B2 (en) * 2004-08-31 2010-12-14 Gopalakrishnan Kumar C Method and system for providing information services related to multimodal inputs
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7860319B2 (en) * 2005-05-11 2010-12-28 Hewlett-Packard Development Company, L.P. Image management
JP4941299B2 (ja) 2005-06-30 2012-05-30 日本電気株式会社 画像識別システム及び方法
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US7860308B2 (en) * 2005-12-01 2010-12-28 Yahoo! Inc. Approach for near duplicate image detection
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
EP2053873A4 (en) 2006-08-16 2010-11-17 Huawei Tech Co Ltd EMERGENCY SERVICE TRANSMITTING / RECEIVING DEVICE METHOD
US7941442B2 (en) * 2007-04-18 2011-05-10 Microsoft Corporation Object similarity search in high-dimensional vector spaces
JP5176483B2 (ja) * 2007-10-30 2013-04-03 株式会社ニコン 画像認識装置、画像追尾装置および撮像装置
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8150170B2 (en) * 2008-05-30 2012-04-03 Microsoft Corporation Statistical approach to large-scale image annotation
CN101290634B (zh) * 2008-06-03 2010-07-28 北京搜狗科技发展有限公司 一种识别重复缩略图的方法、装置及在搜索引擎中的应用
CN101359366B (zh) * 2008-07-28 2011-11-16 同济大学 一种图形匹配识别系统及其实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500712A (ja) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド カラー映像処理方法
JP2002288657A (ja) * 2001-01-18 2002-10-04 Lg Electronics Inc 空間密集成分を利用した代表カラー設定方法
US20060253491A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling search and retrieval from image files based on recognized information
US20070239756A1 (en) * 2006-03-28 2007-10-11 Microsoft Corporation Detecting Duplicate Images Using Hash Code Grouping
WO2008117526A1 (ja) * 2007-03-27 2008-10-02 Panasonic Corporation 画像閲覧装置及び方法

Also Published As

Publication number Publication date
US9405993B2 (en) 2016-08-02
JP2014096175A (ja) 2014-05-22
EP2443589A4 (en) 2013-01-23
US8611649B2 (en) 2013-12-17
WO2010147644A1 (en) 2010-12-23
EP2443589A1 (en) 2012-04-25
JP5797789B2 (ja) 2015-10-21
JP5463415B2 (ja) 2014-04-09
US20100316290A1 (en) 2010-12-16
EP2443589B1 (en) 2018-08-01
CN101576932B (zh) 2012-07-04
US20140126813A1 (en) 2014-05-08
CN101576932A (zh) 2009-11-11
HK1136892A1 (en) 2010-07-09

Similar Documents

Publication Publication Date Title
JP5797789B2 (ja) 準複製画像検索のための方法およびシステム
US10803554B2 (en) Image processing method and device
JP5121972B2 (ja) カラー画像を表現する方法、カラー画像を表現する装置、カラー画像を表現するシステム、コンピュータによる実行可能命令からなるプログラム、及びコンピュータ読取り可能媒体
US10878280B2 (en) Video content indexing and searching
US20130301914A1 (en) Method and system for image feature extraction
CN109711399B (zh) 基于图像的店铺识别方法、装置,电子设备
JP2004361987A (ja) 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
JP2002319024A (ja) 色と質感との組み合わせに基づく映像検索方法
WO2013053320A1 (zh) 一种图像检索方法及装置
US11347792B2 (en) Video abstract generating method, apparatus, and storage medium
US8429163B1 (en) Content similarity pyramid
Finlayson et al. A curious problem with using the colour checker dataset for illuminant estimation
CN108550132A (zh) 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法
KR20030005908A (ko) 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
CN113850748A (zh) 点云质量的评估系统及方法
Konstantinidis et al. A center-surround histogram for content-based image retrieval
CN106469437B (zh) 图像处理方法和图像处理装置
JP2006221520A (ja) 画像特徴量抽出システムおよび方法
KR20060030085A (ko) 벡터 표현으로 변형된 도미넌트 컬러 기술자를 사용한멀티미디어 데이터베이스의 인덱싱 및 검색 방법
JPH08167028A (ja) 画像処理方法
CN113014831B (zh) 用于对体育视频进行场景获取的方法及装置、设备
TWI499921B (zh) Near duplicate images computer for a method and apparatus
JP2006221523A (ja) オブジェクト領域抽出システムおよび方法
Al-Oraiqat et al. A modified image comparison algorithm using histogram features
Raikwar et al. Content based Image Retrieval using Clustering

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131121

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20131121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20131209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R150 Certificate of patent or registration of utility model

Ref document number: 5463415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250