JP2018097853A

JP2018097853A - 画像比較装置、方法及び電子機器

Info

Publication number: JP2018097853A
Application number: JP2017204965A
Authority: JP
Inventors: ルゥ・ピンピン; Pinping Lu; 田中　宏; Hiroshi Tanaka; 宏田中; ファヌ・ウエイ; Wei Fan; 俊孫; Shun Son
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-12-16
Filing date: 2017-10-24
Publication date: 2018-06-21
Anticipated expiration: 2037-10-24
Also published as: CN108205810A; CN108205810B; JP7006127B2

Abstract

【課題】本発明の実施例は画像比較装置、方法及び電子機器を提供する。【解決手段】ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第１判定手法で判定を行うことで、大部分の同一画像を除去でき、第２判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。【選択図】図１

Description

本発明は、情報技術の分野に関し、特に画像比較装置、方法及び電子機器に関する。

情報技術の継続的な発展に伴い、画像処理も各分野にますます幅広く応用されている。多くの場合は、２つの画像を比較し、この２つの画像が同一の画像であるか否か、及び２つの画像間の相違度を決定する必要がある。

例えば、ネットワーク技術の発展に伴い、ウェブページは日常生活における主要な情報源の１つとなる。ウェブページのデザイナーにとって、信頼性のないクロスプラットフォームのウェブページのレンダリングは共通の問題の１つとなる。同一のウェブアドレスについて、タイプが異なるブラウザ又はタイプが同一であり、且つバージョンが異なるブラウザにより開いたウェブページは外観上の差異が多少存在する。現在、ウェブページの比較及び差異の検出は、一般的にソースファイルに基づくものであり、レイアウトの問題を検出できる。

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

上記従来のソースファイルに基づく検出方法は、異なるレンダリングエンジンによる細部の差異を無視し、且つ比較結果も直感的ではない。現在はウェブページに対して画像レベルの比較を行うことができる効果的な方法がまだ出現していない。

本発明の実施例は、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第１判定手法で判定を行うことで、大部分の同一画像を除去でき、第２判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である、画像比較装置、方法及び電子機器を提供する。

本発明の実施例の第１態様では、画像比較装置であって、第１判定手法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定する第１判定手段と、１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、２回目の第１判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第１判定手段に提供する第１補正手段と、２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、３回目の第１判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第１判定手段に提供する第２補正手段と、３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定手法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する第２判定手段と、を含む、装置を提供する。

本発明の実施例の第２態様では、本発明の実施例の第１態様に記載の装置を含む、電子機器を提供する。

本発明の実施例の第３態様では、画像比較方法であって、第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定するステップと、１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行うステップと、２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行うステップと、３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するステップと、を含む、方法を提供する。

本発明の実施例の効果としては、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第１判定手法で判定を行うことで、大部分の同一画像を除去でき、第２判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例１の画像比較装置を示す図である。本発明の実施例１の第２判定部１０４を示す図である。本発明の実施例１の第２判定手法を示す図である。本発明の実施例２の電子機器を示す図である。本発明の実施例２の電子機器のシステム構成を示すブロック図である。本発明の実施例３の画像比較方法を示す図である。本発明の実施例３の画像比較方法を示すもう１つの図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

＜実施例１＞
本発明の実施例１は画像比較装置を提供し、図１は本発明の実施例１の画像比較装置を示す図である。図１に示すように、画像比較装置１００は、第１判定部１０１、第１補正部１０２、第２補正部１０３及び第２判定部１０４を含む。

第１判定部１０１は、第１判定手法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定する。

第１補正部１０２は、１回目の第１判定が行われた後に所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、２回目の第１判定を行うために位置ずれ補正後の比較すべき画像ペアを第１判定部１０１に提供する。

第２補正部１０３は、２回目の第１判定が行われた後に所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、３回目の第１判定を行うためにスケール差分補正後の比較すべき画像ペアを第１判定部１０１に提供する。

第２判定部１０４は、３回目の第１判定が行われた後に所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定手法を用いて第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する。

上記実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第１判定手法で判定を行うことで、大部分の同一画像を除去でき、第２判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。

本実施例では、該比較すべき画像ペアは予め取得されたものであり、該比較すべき画像ペアにおける２つの画像は任意の形の画像であってもよい。例えば、該比較すべき画像ペアにおける２つの画像はウェブページ上の画像である。なお、本発明の実施例はウェブページ上の画像の比較に限定されない。

例えば、画像比較装置１００は画像ペア取得部１０５をさらに含んでもよい。画像ペア取得部１０５は、タイプが異なる２つのブラウザ、又はタイプが同一であり、且つバージョンが異なる２つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に基づいて、該比較すべき画像ペアを決定する。例えば、２つのウェブページにおける同一のＩＤを有する２つの画像要素を１つの比較すべき画像ペアとする。ウェブページファイルでは、全ての画像要素は基本的にＩＤを有し、ＩＤを有しない場合、画像要素の名称に基づいてＩＤを作成してもよい。

本実施例では、比較すべき画像ペアを決定する前に、スライド排除法を用いて、ウェブページにおける内容が経時的に変化する部分を除去してもよい。

本実施例では、第１判定部１０１により用いられる第１判定手法は最大画素計数法（ＭａｘｉｍｕｍＰｉｘｅｌｓＣｏｕｎｔｉｎｇ：ＭＰＣ）であり、所定条件は、最大画素計数法を用いて算出された値が第１閾値よりも大きいことである。ＭＰＣ法を用いて判定を行うことで、判定速度が比較的に速く、判定結果の信頼性が高いため、画像比較結果の正確性をさらに向上できる。

本実施例では、第１判定部１０１は他の判定手法、例えば相互相関法や最小二乗平均アルゴリズムなどを用いてもよい。

本実施例では、該第１閾値は実際の要求に応じて設定されてもよく、例えば該第１閾値を０．９９に設定してもよい。

本実施例では、１回目の第１判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける２つの画像が同一の画像であると決定し、１回目の第１判定が行われた後に該所定条件を満たしていない場合、該比較すべき画像ペアを第１補正部１０２に提供する。第１補正部１０２は、該比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、２回目の第１判定を行うために、位置ずれ補正後の比較すべき画像ペアを第１判定部１０１に提供する。

本実施例では、第１補正部１０２による推定及び該位置ずれの補正は従来技術、例えばフーリエ変換に基づく方法又はテンプレートマッチング方法を用いてもよい。

本実施例では、第１判定部１０１は位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行い、その判定手法は１回目の第１判定と同じであり、ここでその説明を省略する。２回目の第１判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける２つの画像が同一の画像であると決定し、２回目の第１判定が行われた後に該所定条件を依然として満たしていない場合、該比較すべき画像ペアを第２補正部１０３に提供する。第２補正部１０３は、該比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、３回目の第１判定を行うために、スケール差分補正後の比較すべき画像ペアを第１判定部１０１に提供する。

本実施例では、第２補正部１０３による推定及び該スケール差分の補正は従来技術、例えば加速ロバスト特徴（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ：ＳＵＲＦ）に基づく画像レジストレーション方法を用いてもよい。

本実施例では、第１判定部１０１はスケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行い、その判定手法は１回目の第１判定と同じであり、ここでその説明を省略する。３回目の第１判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける２つの画像が同一の画像であると決定し、３回目の第１判定が行われた後に該所定条件を依然として満たしていない場合、該比較すべき画像ペアを第２判定部１０４に提供する。第２判定部１０４は、該比較すべき画像ペアについて第２判定手法を用いて第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する。

例えば、第２判定部１０４により用いられる第２判定手法は反復的知覚ハッシュアルゴリズム（ＰｅｒｃｅｐｔｕａｌＨａｓｈＡｌｇｏｒｉｔｈｍ：ＰＨＡ）である。反復的知覚ハッシュアルゴリズムを用いることで、その判定速度が速く、例えば１つの比較すべき画像ペアについて、僅か０．０２秒の処理時間が必要である。よって、画像比較の速度をさらに向上できる。また、反復的知覚ハッシュアルゴリズムを用いて第２判定を行うことで、ブラウザエンジン又は画像取込プロセスの差異によるユーザの興味を持っていない画像差異を除去でき、ユーザの望ましい比較結果を取得できる。なお、本実施例の第２判定部１０４は他の第２判定手法を用いてもよい。

以下は、第２判定部１０４の構成及び第２判定手法の例を説明する。

図２は本発明の実施例１の第２判定部１０４を示す図である。図２に示すように、第２判定部１０４は、分割部２０１、算出部２０２、判断部２０３、調整部２０４及び決定部２０５を含む。

分割部２０１は、第１所定サイズに基づいて該比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得する。

算出部２０２は、分割後の画像ブロックについて変形指標を算出する。

判断部２０３は、今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断する。

調整部２０４は、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第２所定サイズ以上である場合、分割部２０１が調整後の第１所定サイズに基づいて２つの画像を分割し直すように、分割部２０１による分割を行うための第１所定サイズを調整する。

決定部２０５は、今回算出された変形指標がゼロよりも大きい場合、該比較すべき画像ペアにおける２つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第２所定サイズよりも小さい場合、該比較すべき画像ペアにおける２つの画像が同一の画像であると決定する。

図３は本発明の実施例１の第２判定手法を示す図である。図３に示すように、該方法は以下のステップを含む。

ステップ３０１：第１所定サイズに基づいて該比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得する。

ステップ３０２：分割後の画像ブロックについて変形指標を算出する。

ステップ３０３：今回算出された変形指標がゼロよりも大きいか否かを判断し、判断結果がＹＥＳの場合、ステップ３０４に進み、判断結果がＮＯの場合、ステップ３０５に進む。

ステップ３０４：該比較すべき画像ペアにおける２つの画像が異なる画像であると決定する。

ステップ３０５：今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断し、判断結果がＮＯの場合、ステップ３０６に進み、判断結果がＹＥＳの場合、ステップ３０７に進む。

ステップ３０６：ステップ３０１において調整後の第１所定サイズに基づいて該２つの画像を分割し直すように、分割を行うための第１所定サイズを調整する。

ステップ３０７：該比較すべき画像ペアにおける２つの画像が同一の画像であると決定する。

本実施例では、算出部２０２は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて該変形指標を算出してもよい。例えば、下記の式（１）に従って該変形指標を算出してもよい。

ここで、Ｎ_ｄｉｓは変形指標を表し、Ｎ_Ｓは全体的構造の差分を表し、Ｎ_Ｃは内容の差分を表す。該変形指標はゼロ以上の数値である。

本実施例では、全体的構造の差分Ｎ_Ｓはハッシュコードで表されてもよく、内容の差分Ｎ_Ｃは画像ブロックの平均絶対差分で表されてもよい。

本実施例では、該第１所定サイズ及び第２所定サイズは実際の状況に応じて設定されてもよく、例えば比較すべき画像ペアにおける２つの画像のサイズに基づいて決定されてもよい。例えば、第２所定サイズは１６個の画素である。

本実施例では、調整部２０４は、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第２所定サイズ以上である場合、画像のサイズに基づいて、分割部２０１による分割を行うための所定サイズを調整する。例えば、調整部２０４は、下記の式（２）に従って調整後の第１所定サイズを決定してもよい。

ここで、Ｓ_ｎはｎ回目の反復のための第１所定サイズを表し、Ｈ及びＷは比較すべき画像ペアの２つの画像の高さ及び幅をそれぞれ表し、その単位は画素の数であり、ｎは正整数である。

本実施例では、画像比較装置１００は相違度算出部１０６をさらに含んでもよい。相違度算出部１０６は、第２判定部１０４による第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける２つの画像の相違度を算出する。このように、構造の類似度及び色の類似度という２つの要素両方を考慮して２つの画像の相違度を算出することで、算出結果の相関性が良く、且つ信頼性が高い。

本実施例では、相違度算出部１０６は、顕著性情報及び位置情報を用いて構造の類似度と色の類似度を合成して、該比較すべき画像ペアにおける２つの画像の相違度を取得してもよい。例えば、相違度算出部１０６は、下記の式（３）に従って該相違度を算出してもよい。

ここで、ＳＣＳは該比較すべき画像ペアにおける２つの画像の相違度を表し、Ｓ_Ｃは色の類似度を表し、Ｓ_Ｓは構造の類似度を表し、Ｗ_Ｌは位置情報の重みを表し、Ｗ_Ｓは顕著性情報の重みを表す。

本実施例では、例えば色相−彩度−輝度（Ｈｕｅ，ＣｈｒｏｍａａｎｄＬｕｍｉｎａｎｃｅ：ＨＣＬ）の方法を用いて色の類似度を算出してもよく、ローカル・ステアリング・カーネル（ＬｏｃａｌＳｔｅｅｒｉｎｇＫｅｒｎｅｌ：ＬＳＫ）に基づく方法を用いて構造の類似度及び顕著性情報を表現する顕著性マップ（ｓａｌｉｅｎｃｙｍａｐ）を算出してもよい。

上記の実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第１判定手法で判定を行うことで、大部分の同一画像を除去でき、第２判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。

＜実施例２＞
本発明の実施例は電子機器をさらに提供し、図４は本発明の実施例２の電子機器を示す図である。図４に示すように、電子機器４００は画像比較装置４０１を含み、画像比較装置４０１の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。

図５は本発明の実施例２の電子機器のシステム構成を示すブロック図である。図５に示すように、電子機器５００は、中央処理装置（ＣＰＵ）５０１及び記憶装置５０２を含んでもよく、記憶装置５０２は中央処理装置５０１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。

図５に示すように、電子機器５００は、入力出力部５０３、ディスプレイ５０４及び電源５０５をさらに含んでもよい。

１つの態様では、実施例１の交差点の交通信号の制御装置の機能は中央処理装置５０１に統合されてもよい。ここで、中央処理装置５０１は、第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定し、１回目の第１判定が行われた後に該所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行い、２回目の第１判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行い、３回目の第１判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するように構成されてもよい。

ここで、該第１判定手法は最大画素計数法であり、該所定条件は、最大画素計数法を用いて算出された値が第１閾値よりも大きいことである。

ここで、該第２判定手法は反復的知覚ハッシュアルゴリズムである。

ここで、３回目の第１判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するステップは、第１所定サイズに基づいて該比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得するステップと、分割後の画像ブロックについて変形指標を算出するステップと、今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断するステップと、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第２所定サイズ以上である場合、調整後の第１所定サイズに基づいて該２つの画像を分割し直すように、分割を行うための第１所定サイズを調整するステップと、今回算出された変形指標がゼロよりも大きい場合、該比較すべき画像ペアにおける２つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第２所定サイズよりも小さい場合、該比較すべき画像ペアにおける２つの画像が同一の画像であると決定するステップと、を含む。

ここで、分割後の画像ブロックについて変形指標を算出するステップは、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて該変形指標を算出するステップを含む。

ここで、中央処理装置５０１は、第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける２つの画像の相違度を算出するように構成されてもよい。

ここで、第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける２つの画像の相違度を算出するステップは、第２判定により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて該構造の類似度と該色の類似度を合成して、該比較すべき画像ペアにおける２つの画像の相違度を取得するステップを含む。

ここで、中央処理装置５０１は、タイプが異なる２つのブラウザ、又はタイプが同一であり、且つバージョンが異なる２つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のＩＤに基づいて、該比較すべき画像ペアを決定するように構成されてもよい。

本実施例における電子機器５００は、図５に示されている全ての構成部を含まなくてもよい。

図５に示すように、中央処理装置５０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置５０１は入力を受信し、電子機器５００の各部の操作を制御する。

記憶装置５０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置５０１は、記憶装置５０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器５００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。

＜実施例３＞
本発明の実施例は、実施例１の画像比較装置に対応する画像比較方法をさらに提供する。図６は本発明の実施例３の画像比較方法を示す図である。図６に示すように、該方法は以下のステップを含む。

ステップ６０１：第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定する。

ステップ６０２：１回目の第１判定が行われた後に該所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行う。

ステップ６０３：２回目の第１判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行う。

ステップ６０４：３回目の第１判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する。

図７は本発明の実施例３の画像比較方法を示すもう１つの図である。図７に示すように、該方法は以下のステップを含む。

ステップ７０１：第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行う。

ステップ７０２：１回目の第１判定が行われた後に所定条件を満たすか否かを判断し、判断結果がＹＥＳの場合、ステップ７０３に進み、判断結果がＮＯの場合、ステップ７０４に進む。

ステップ７０３：該比較すべき画像ペアにおける２つの画像が同一の画像であると決定する。

ステップ７０４：該比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正する。

ステップ７０５：位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行う。

ステップ７０６：２回目の第１判定が行われた後に該所定条件を満たすか否かを判断し、判断結果がＹＥＳの場合、ステップ７０３に進み、判断結果がＮＯの場合、ステップ７０７に進む。

ステップ７０７：該比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正する。

ステップ７０８：スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行う。

ステップ７０９：３回目の第１判定が行われた後に該所定条件を満たすか否かを判断し、判断結果がＹＥＳの場合、ステップ７０３に進み、判断結果がＮＯの場合、ステップ７１０に進む。

ステップ７１０：第２判定方法を用いて該比較すべき画像ペアに対して第２判定を行い、該比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する。

ステップ７１１：第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける２つの画像の相違度を算出する。

本実施例では、上記の各ステップにおける具体的な方法は実施例１に記載されたものと同じであり、ここでその説明を省略する。

本発明の実施例は、画像比較装置又は電子機器においてプログラムを実行する際に、コンピュータに、該画像比較装置又は電子機器において上記実施例３に記載の画像比較方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例は、コンピュータに、画像比較装置又は電子機器において上記実施例３に記載の画像比較方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の実施例を参照しながら説明した画像比較装置又は電子機器において実行されている画像比較方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図６又は図７に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

図１に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図１に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。

また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
画像比較装置であって、
第１判定手法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定する第１判定手段と、
１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、２回目の第１判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第１判定手段に提供する第１補正手段と、
２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、３回目の第１判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第１判定手段に提供する第２補正手段と、
３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定手法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する第２判定手段と、を含む、装置。
（付記２）
前記第１判定手段により用いられる第１判定手法は最大画素計数法であり、
前記所定条件は、最大画素計数法を用いて算出された値が第１閾値よりも大きいことである、付記１に記載の装置。
（付記３）
前記第２判定手段により用いられる第２判定手法は反復的知覚ハッシュアルゴリズムである、付記１に記載の装置。
（付記４）
前記第２判定手段は、
第１所定サイズに基づいて前記比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得する分割手段と、
分割後の画像ブロックについて変形指標を算出する算出手段と、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断する判断手段と、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第２所定サイズ以上である場合、前記分割手段が調整後の第１所定サイズに基づいて前記２つの画像を分割し直すように、分割を行うための第１所定サイズを調整する調整手段と、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける２つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第２所定サイズよりも小さい場合、前記比較すべき画像ペアにおける２つの画像が同一の画像であると決定する決定手段と、を含む、付記３に記載の装置。
（付記５）
前記算出手段は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出する、付記４に記載の装置。
（付記６）
前記第２判定手段による第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける２つの画像の相違度を算出する相違度算出手段、をさらに含む、付記１に記載の装置。
（付記７）
前記相違度算出手段は、前記第２判定手段により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける２つの画像の相違度を取得する、付記６に記載の装置。
（付記８）
タイプが異なる２つのブラウザ、又はタイプが同一であり、且つバージョンが異なる２つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のＩＤに基づいて、前記比較すべき画像ペアを決定する画像ペア取得手段、をさらに含む、付記１に記載の装置。
（付記９）
付記１に記載の装置を含む、電子機器。
（付記１０）
画像比較方法であって、
第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定するステップと、
１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行うステップと、
２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行うステップと、
３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するステップと、を含む、方法。
（付記１１）
前記第１判定手法は最大画素計数法であり、
前記所定条件は、最大画素計数法を用いて算出された値が第１閾値よりも大きいことである、付記１０に記載の装置。
（付記１２）
前記第２判定手法は反復的知覚ハッシュアルゴリズムである、付記１０に記載の装置。
（付記１３）
前記３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するステップは、
第１所定サイズに基づいて前記比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得するステップと、
分割後の画像ブロックについて変形指標を算出するステップと、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断するステップと、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第２所定サイズ以上である場合、調整後の第１所定サイズに基づいて前記２つの画像を分割し直すように、分割を行うための第１所定サイズを調整するステップと、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける２つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第２所定サイズよりも小さい場合、前記比較すべき画像ペアにおける２つの画像が同一の画像であると決定するステップと、を含む、付記１２に記載の装置。
（付記１４）
前記分割後の画像ブロックについて変形指標を算出するステップは、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出するステップを含む、付記１３に記載の装置。
（付記１５）
第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける２つの画像の相違度を算出するステップ、をさらに含む、付記１０に記載の装置。
（付記１６）
前記第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける２つの画像の相違度を算出するステップは、
第２判定により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける２つの画像の相違度を取得する、付記１５に記載の装置。
（付記１７）
タイプが異なる２つのブラウザ、又はタイプが同一であり、且つバージョンが異なる２つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のＩＤに基づいて、前記比較すべき画像ペアを決定するステップ、をさらに含む、付記１０に記載の装置。

Claims

画像比較装置であって、
第１判定手法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定する第１判定手段と、
１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、２回目の第１判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第１判定手段に提供する第１補正手段と、
２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、３回目の第１判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第１判定手段に提供する第２補正手段と、
３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定手法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定する第２判定手段と、を含む、装置。
前記第１判定手段により用いられる第１判定手法は最大画素計数法であり、
前記所定条件は、最大画素計数法を用いて算出された値が第１閾値よりも大きいことである、請求項１に記載の装置。
前記第２判定手段により用いられる第２判定手法は反復的知覚ハッシュアルゴリズムである、請求項１に記載の装置。
前記第２判定手段は、
第１所定サイズに基づいて前記比較すべき画像ペアにおける２つの画像を分割し、分割後の画像ブロックを取得する分割手段と、
分割後の画像ブロックについて変形指標を算出する算出手段と、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第２所定サイズよりも小さいか否かを判断する判断手段と、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第２所定サイズ以上である場合、前記分割手段が調整後の第１所定サイズに基づいて前記２つの画像を分割し直すように、分割を行うための第１所定サイズを調整する調整手段と、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける２つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第２所定サイズよりも小さい場合、前記比較すべき画像ペアにおける２つの画像が同一の画像であると決定する決定手段と、を含む、請求項３に記載の装置。
前記算出手段は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出する、請求項４に記載の装置。
前記第２判定手段による第２判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける２つの画像の相違度を算出する相違度算出手段、をさらに含む、請求項１に記載の装置。
前記相違度算出手段は、前記第２判定手段により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける２つの画像の相違度を取得する、請求項６に記載の装置。
タイプが異なる２つのブラウザ、又はタイプが同一であり、且つバージョンが異なる２つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のＩＤに基づいて、前記比較すべき画像ペアを決定する画像ペア取得手段、をさらに含む、請求項１に記載の装置。
請求項１に記載の装置を含む、電子機器。
画像比較方法であって、
第１判定方法を用いて予め取得された比較すべき画像ペアに対して１回目の第１判定を行い、所定条件を満たしている比較すべき画像ペアにおける２つの画像が同一の画像であると決定するステップと、
１回目の第１判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して２回目の第１判定を行うステップと、
２回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける２つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して３回目の第１判定を行うステップと、
３回目の第１判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第２判定方法を用いて第２判定を行い、前記比較すべき画像ペアにおける２つの画像が同一であるか否かを決定するステップと、を含む、方法。