JP7006127B2 - Image comparison equipment, methods and electronic devices - Google Patents

Image comparison equipment, methods and electronic devices Download PDF

Info

Publication number
JP7006127B2
JP7006127B2 JP2017204965A JP2017204965A JP7006127B2 JP 7006127 B2 JP7006127 B2 JP 7006127B2 JP 2017204965 A JP2017204965 A JP 2017204965A JP 2017204965 A JP2017204965 A JP 2017204965A JP 7006127 B2 JP7006127 B2 JP 7006127B2
Authority
JP
Japan
Prior art keywords
compared
determination
image
image pair
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017204965A
Other languages
Japanese (ja)
Other versions
JP2018097853A (en
Inventor
ルゥ・ピンピン
宏 田中
ファヌ・ウエイ
俊 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2018097853A publication Critical patent/JP2018097853A/en
Application granted granted Critical
Publication of JP7006127B2 publication Critical patent/JP7006127B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報技術の分野に関し、特に画像比較装置、方法及び電子機器に関する。 The present invention relates to the field of information technology, in particular to image comparison devices, methods and electronic devices.

情報技術の継続的な発展に伴い、画像処理も各分野にますます幅広く応用されている。多くの場合は、2つの画像を比較し、この2つの画像が同一の画像であるか否か、及び2つの画像間の相違度を決定する必要がある。 With the continuous development of information technology, image processing is also being applied more and more widely in each field. In many cases, it is necessary to compare the two images and determine if the two images are the same and the degree of difference between the two images.

例えば、ネットワーク技術の発展に伴い、ウェブページは日常生活における主要な情報源の1つとなる。ウェブページのデザイナーにとって、信頼性のないクロスプラットフォームのウェブページのレンダリングは共通の問題の1つとなる。同一のウェブアドレスについて、タイプが異なるブラウザ又はタイプが同一であり、且つバージョンが異なるブラウザにより開いたウェブページは外観上の差異が多少存在する。現在、ウェブページの比較及び差異の検出は、一般的にソースファイルに基づくものであり、レイアウトの問題を検出できる。 For example, with the development of network technology, web pages have become one of the main sources of information in daily life. Unreliable cross-platform web page rendering is one of the common problems for web page designers. For the same web address, there are some differences in appearance between web pages opened by different types of browsers or browsers of the same type and different versions. Currently, web page comparisons and difference detection are generally based on source files and can detect layout issues.

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。 It should be noted that the above-mentioned explanation of the technical background is an explanation for making a person skilled in the art understand the technical proposal of the present invention clearly and completely. These technical proposals have been described merely as background technical parts of the present invention and are not well known to those skilled in the art.

上記従来のソースファイルに基づく検出方法は、異なるレンダリングエンジンによる細部の差異を無視し、且つ比較結果も直感的ではない。現在はウェブページに対して画像レベルの比較を行うことができる効果的な方法がまだ出現していない。 The conventional detection method based on the source file ignores the difference in details due to different rendering engines, and the comparison result is not intuitive. Currently, no effective way to make image-level comparisons for web pages has emerged.

本発明の実施例は、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である、画像比較装置、方法及び電子機器を提供する。 In the embodiment of the present invention, most of the same image can be removed by correcting the image deviation and scale according to the characteristics of the image of the web page and performing the judgment by the first judgment method in the correction processing, and the second judgment method. Further, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate, providing an image comparison device, a method, and an electronic device.

本発明の実施例の第1態様では、画像比較装置であって、第1判定手法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定する第1判定手段と、1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、2回目の第1判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第1判定手段に提供する第1補正手段と、2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、3回目の第1判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第1判定手段に提供する第2補正手段と、3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定手法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する第2判定手段と、を含む、装置を提供する。 In the first aspect of the embodiment of the present invention, in the image comparison device, the first determination is performed for the image pair to be compared acquired in advance by using the first determination method, and a predetermined condition is satisfied. A first determination means for determining that two images in an image pair to be compared are the same image, and an image pair to be compared that does not satisfy the predetermined conditions after the first determination is performed. The first image pair to be compared after the misalignment correction is used to estimate the misalignment between the two images in the image pair to be compared, correct the misalignment, and make the second first determination. A scale between two images in the image pair to be compared with respect to the first correction means provided to the determination means and the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made. A second correction means that estimates the difference, corrects the scale difference, and provides the first determination means with an image pair to be compared after the scale difference correction in order to perform the third first determination, and a third. After the first determination is made, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are the same. Provided is an apparatus including, and a second determination means for determining whether or not.

本発明の実施例の第2態様では、本発明の実施例の第1態様に記載の装置を含む、電子機器を提供する。 A second aspect of an embodiment of the present invention provides an electronic device comprising the apparatus according to the first aspect of the embodiment of the present invention.

本発明の実施例の第3態様では、画像比較方法であって、第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定するステップと、1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行うステップと、2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行うステップと、3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するステップと、を含む、方法を提供する。 In the third aspect of the embodiment of the present invention, in the image comparison method, the first determination is performed for the image pair to be compared obtained in advance by using the first determination method, and a predetermined condition is satisfied. The comparison of the image pair to be compared, which determines that the two images in the image pair to be compared are the same image, and the image pair to be compared, which does not satisfy the predetermined condition after the first first determination is made. The step of estimating the positional deviation between two images in the image pair to be corrected, correcting the positional deviation, and performing the second first determination for the image pair to be compared after the positional deviation correction, and the second time. For the image pair to be compared that still does not satisfy the predetermined condition after the first determination is made, the scale difference between the two images in the image pair to be compared is estimated, the scale difference is corrected, and the scale difference is corrected. The second step is to make a third first determination on the corrected image pair to be compared, and the second image pair to be compared which does not still satisfy the predetermined conditions after the third first determination is made. Provided is a method comprising a step of making a second determination using the determination method and determining whether or not the two images in the image pair to be compared are the same.

本発明の実施例の効果としては、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。 As an effect of the embodiment of the present invention, most of the same image can be removed by correcting the deviation and scale of the image according to the characteristics of the image of the web page and performing the judgment by the first judgment method in the correction processing. By further performing the determination by the two determination methods, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate.

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。 Specific embodiments of the present invention are disclosed in detail and show a method in which the principles of the present invention can be adopted, as shown in the description and drawings below. The embodiments of the present invention are not limited to the scope. Embodiments of the present invention include various modifications, modifications, and equivalents within the scope of the appended claims and content.

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。 The features described and / or shown in one embodiment may be used in one or many other embodiments in the same or similar manner, or may be combined with features in another embodiment. Features in other embodiments may be substituted.

なお、用語「包括/含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。 The term "comprehensive / including" means the existence of a feature, element, step or constituent when used in the text, and the existence or existence of one or more other features, elements, steps or constituents. It does not rule out additions.

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例1の画像比較装置を示す図である。 本発明の実施例1の第2判定部104を示す図である。 本発明の実施例1の第2判定手法を示す図である。 本発明の実施例2の電子機器を示す図である。 本発明の実施例2の電子機器のシステム構成を示すブロック図である。 本発明の実施例3の画像比較方法を示す図である。 本発明の実施例3の画像比較方法を示すもう1つの図である。
The drawings included herein are for understanding the embodiments of the present invention, constitute a part of the present specification, and exemplify the embodiments of the present invention, together with the description of the wording. The principle of the present invention will be described. It should be noted that the drawings described herein are merely for explaining the embodiments of the present invention, and those skilled in the art can easily obtain other drawings based on these drawings.
It is a figure which shows the image comparison apparatus of Example 1 of this invention. It is a figure which shows the 2nd determination part 104 of Example 1 of this invention. It is a figure which shows the 2nd determination method of Example 1 of this invention. It is a figure which shows the electronic device of Example 2 of this invention. It is a block diagram which shows the system structure of the electronic device of Example 2 of this invention. It is a figure which shows the image comparison method of Example 3 of this invention. It is another figure which shows the image comparison method of Example 3 of this invention.

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。 The above and other features of the invention can be understood from the drawings and the description below. The specification and drawings reveal specific embodiments of the invention, i.e., some embodiments according to the principles of the invention. It should be noted that the present invention is not limited to the embodiments described, and the present invention includes all modifications, modifications, and equivalents within the scope of the claims.

<実施例1>
本発明の実施例1は画像比較装置を提供し、図1は本発明の実施例1の画像比較装置を示す図である。図1に示すように、画像比較装置100は、第1判定部101、第1補正部102、第2補正部103及び第2判定部104を含む。
<Example 1>
Example 1 of the present invention provides an image comparison device, and FIG. 1 is a diagram showing an image comparison device of Example 1 of the present invention. As shown in FIG. 1, the image comparison device 100 includes a first determination unit 101, a first correction unit 102, a second correction unit 103, and a second determination unit 104.

第1判定部101は、第1判定手法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定する。 The first determination unit 101 makes the first determination for the image pair to be compared acquired in advance by using the first determination method, and two images in the image pair to be compared satisfying a predetermined condition. Is determined to be the same image.

第1補正部102は、1回目の第1判定が行われた後に所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、2回目の第1判定を行うために位置ずれ補正後の比較すべき画像ペアを第1判定部101に提供する。 The first correction unit 102 estimates the positional deviation between the two images in the image pair to be compared for the image pair to be compared that does not satisfy the predetermined conditions after the first determination is made, and said the image pair to be compared. The first determination unit 101 is provided with an image pair to be compared after the misalignment correction in order to correct the misalignment and perform the second first determination.

第2補正部103は、2回目の第1判定が行われた後に所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、3回目の第1判定を行うためにスケール差分補正後の比較すべき画像ペアを第1判定部101に提供する。 The second correction unit 103 estimates the scale difference between the two images in the image pair to be compared for the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made. The image pair to be compared after the scale difference correction is provided to the first determination unit 101 in order to correct the scale difference and perform the first determination for the third time.

第2判定部104は、3回目の第1判定が行われた後に所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定手法を用いて第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する。 The second determination unit 104 makes a second determination using the second determination method for the image pair to be compared that still does not satisfy the predetermined conditions after the third determination is made, and the image to be compared. Determine if the two images in the pair are identical.

上記実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。 According to the above embodiment, most of the same image can be removed by correcting the image deviation and scale according to the characteristics of the image of the web page and performing the judgment by the first judgment method in the correction processing, and the second judgment method. By further making the determination with, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate.

本実施例では、該比較すべき画像ペアは予め取得されたものであり、該比較すべき画像ペアにおける2つの画像は任意の形の画像であってもよい。例えば、該比較すべき画像ペアにおける2つの画像はウェブページ上の画像である。なお、本発明の実施例はウェブページ上の画像の比較に限定されない。 In this embodiment, the image pair to be compared is acquired in advance, and the two images in the image pair to be compared may be images of any shape. For example, the two images in the image pair to be compared are images on a web page. The embodiment of the present invention is not limited to the comparison of images on a web page.

例えば、画像比較装置100は画像ペア取得部105をさらに含んでもよい。画像ペア取得部105は、タイプが異なる2つのブラウザ、又はタイプが同一であり、且つバージョンが異なる2つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のID(Identification)に基づいて、該比較すべき画像ペアを決定する。例えば、2つのウェブページにおける同一のIDを有する2つの画像要素を1つの比較すべき画像ペアとする。ウェブページファイルでは、全ての画像要素は基本的にIDを有し、IDを有しない場合、画像要素の名称に基づいてIDを作成してもよい。 For example, the image comparison device 100 may further include an image pair acquisition unit 105. The image pair acquisition unit 105 sets the ID (Identification) of each image element in a web page of the same web address opened by using two browsers of different types or two browsers of the same type and different versions. Based on this, the image pair to be compared is determined. For example, two image elements having the same ID in two web pages are regarded as one image pair to be compared. In a web page file, all image elements basically have an ID, and if they do not have an ID, an ID may be created based on the name of the image element.

本実施例では、比較すべき画像ペアを決定する前に、スライド排除法を用いて、ウェブページにおける内容が経時的に変化する部分を除去してもよい。 In this example, slide exclusion methods may be used to remove parts of the web page that change over time before determining which image pairs to compare.

本実施例では、第1判定部101により用いられる第1判定手法は最大画素計数法(Maximum Pixels Counting:MPC)であり、所定条件は、最大画素計数法を用いて算出された値が第1閾値よりも大きいことである。MPC法を用いて判定を行うことで、判定速度が比較的に速く、判定結果の信頼性が高いため、画像比較結果の正確性をさらに向上できる。 In this embodiment, the first determination method used by the first determination unit 101 is the maximum pixel counting method (MPC), and the predetermined condition is that the value calculated by using the maximum pixel counting method is the first. It is larger than the threshold. By performing the determination using the MPC method, the determination speed is relatively high and the determination result is highly reliable, so that the accuracy of the image comparison result can be further improved.

本実施例では、第1判定部101は他の判定手法、例えば相互相関法や最小二乗平均アルゴリズムなどを用いてもよい。 In this embodiment, the first determination unit 101 may use another determination method, for example, a cross-correlation method, a least squares averaging algorithm, or the like.

本実施例では、該第1閾値は実際の要求に応じて設定されてもよく、例えば該第1閾値を0.99に設定してもよい。 In this embodiment, the first threshold value may be set according to an actual requirement, for example, the first threshold value may be set to 0.99.

本実施例では、1回目の第1判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける2つの画像が同一の画像であると決定し、1回目の第1判定が行われた後に該所定条件を満たしていない場合、該比較すべき画像ペアを第1補正部102に提供する。第1補正部102は、該比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、2回目の第1判定を行うために、位置ずれ補正後の比較すべき画像ペアを第1判定部101に提供する。 In this embodiment, if the predetermined conditions are satisfied after the first determination is made, it is determined that the two images in the image pair to be compared are the same image, and the first determination is made. If the predetermined condition is not satisfied after the image pair is performed, the image pair to be compared is provided to the first correction unit 102. The first correction unit 102 estimates the positional deviation between two images in the image pair to be compared, corrects the positional deviation, and makes a comparison after the positional deviation correction in order to make a second first determination. The power image pair is provided to the first determination unit 101.

本実施例では、第1補正部102による推定及び該位置ずれの補正は従来技術、例えばフーリエ変換に基づく方法又はテンプレートマッチング方法を用いてもよい。 In this embodiment, the estimation by the first correction unit 102 and the correction of the positional deviation may be performed by a conventional technique, for example, a method based on a Fourier transform or a template matching method.

本実施例では、第1判定部101は位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行い、その判定手法は1回目の第1判定と同じであり、ここでその説明を省略する。2回目の第1判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける2つの画像が同一の画像であると決定し、2回目の第1判定が行われた後に該所定条件を依然として満たしていない場合、該比較すべき画像ペアを第2補正部103に提供する。第2補正部103は、該比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、3回目の第1判定を行うために、スケール差分補正後の比較すべき画像ペアを第1判定部101に提供する。 In this embodiment, the first determination unit 101 makes a second first determination on the image pair to be compared after the positional deviation correction, and the determination method is the same as that of the first first determination. The explanation is omitted. If the predetermined conditions are satisfied after the second first determination is made, it is determined that the two images in the image pair to be compared are the same image, and after the second first determination is made, the said image. If the predetermined conditions are still not satisfied, the image pair to be compared is provided to the second correction unit 103. The second correction unit 103 estimates the scale difference between the two images in the image pair to be compared, corrects the scale difference, and makes a comparison after the scale difference correction in order to make the first determination for the third time. The power image pair is provided to the first determination unit 101.

本実施例では、第2補正部103による推定及び該スケール差分の補正は従来技術、例えば加速ロバスト特徴(Speeded Up Robust Features:SURF)に基づく画像レジストレーション方法を用いてもよい。 In this embodiment, the estimation by the second correction unit 103 and the correction of the scale difference may use a conventional technique, for example, an image registration method based on the accelerated robust features (SURF).

本実施例では、第1判定部101はスケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行い、その判定手法は1回目の第1判定と同じであり、ここでその説明を省略する。3回目の第1判定が行われた後に所定条件を満たしている場合、比較すべき画像ペアにおける2つの画像が同一の画像であると決定し、3回目の第1判定が行われた後に該所定条件を依然として満たしていない場合、該比較すべき画像ペアを第2判定部104に提供する。第2判定部104は、該比較すべき画像ペアについて第2判定手法を用いて第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する。 In this embodiment, the first determination unit 101 makes the first determination for the third time for the image pair to be compared after the scale difference correction, and the determination method is the same as the first determination for the first time. The explanation is omitted. If the predetermined conditions are satisfied after the third first determination is made, it is determined that the two images in the image pair to be compared are the same image, and after the third first determination is made, the said image. If the predetermined condition is still not satisfied, the image pair to be compared is provided to the second determination unit 104. The second determination unit 104 makes a second determination on the image pair to be compared by using the second determination method, and determines whether or not the two images in the image pair to be compared are the same.

例えば、第2判定部104により用いられる第2判定手法は反復的知覚ハッシュアルゴリズム(Perceptual Hash Algorithm:PHA)である。反復的知覚ハッシュアルゴリズムを用いることで、その判定速度が速く、例えば1つの比較すべき画像ペアについて、僅か0.02秒の処理時間が必要である。よって、画像比較の速度をさらに向上できる。また、反復的知覚ハッシュアルゴリズムを用いて第2判定を行うことで、ブラウザエンジン又は画像取込プロセスの差異によるユーザの興味を持っていない画像差異を除去でき、ユーザの望ましい比較結果を取得できる。なお、本実施例の第2判定部104は他の第2判定手法を用いてもよい。 For example, the second determination method used by the second determination unit 104 is a Perceptual Hash Algorithm (PHA). By using the iterative perceptual hash algorithm, the determination speed is high, for example, one processing time of only 0.02 seconds is required for one image pair to be compared. Therefore, the speed of image comparison can be further improved. Further, by performing the second determination using the iterative perceptual hash algorithm, it is possible to remove the image difference that is not of interest to the user due to the difference in the browser engine or the image acquisition process, and it is possible to obtain the desired comparison result of the user. The second determination unit 104 of this embodiment may use another second determination method.

以下は、第2判定部104の構成及び第2判定手法の例を説明する。 The configuration of the second determination unit 104 and an example of the second determination method will be described below.

図2は本発明の実施例1の第2判定部104を示す図である。図2に示すように、第2判定部104は、分割部201、算出部202、判断部203、調整部204及び決定部205を含む。 FIG. 2 is a diagram showing a second determination unit 104 of the first embodiment of the present invention. As shown in FIG. 2, the second determination unit 104 includes a division unit 201, a calculation unit 202, a determination unit 203, an adjustment unit 204, and a determination unit 205.

分割部201は、第1所定サイズに基づいて該比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得する。 The division unit 201 divides the two images in the image pair to be compared based on the first predetermined size, and acquires the image block after the division.

算出部202は、分割後の画像ブロックについて変形指標を算出する。 The calculation unit 202 calculates a deformation index for the image block after division.

判断部203は、今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断する。 The determination unit 203 determines whether or not the deformation index calculated this time is larger than zero, or whether or not the size of the image block after this division is smaller than the second predetermined size.

調整部204は、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第2所定サイズ以上である場合、分割部201が調整後の第1所定サイズに基づいて2つの画像を分割し直すように、分割部201による分割を行うための第1所定サイズを調整する。 When the deformation index calculated this time is equal to zero and the size of the image block after the division this time is equal to or larger than the second predetermined size, the adjustment unit 204 is based on the first predetermined size after the adjustment. The first predetermined size for performing the division by the division unit 201 is adjusted so as to re-divide the two images.

決定部205は、今回算出された変形指標がゼロよりも大きい場合、該比較すべき画像ペアにおける2つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第2所定サイズよりも小さい場合、該比較すべき画像ペアにおける2つの画像が同一の画像であると決定する。 When the deformation index calculated this time is larger than zero, the determination unit 205 determines that the two images in the image pair to be compared are different images, and the deformation index calculated this time is equal to zero and this time. When the size of the divided image block is smaller than the second predetermined size, it is determined that the two images in the image pair to be compared are the same image.

図3は本発明の実施例1の第2判定手法を示す図である。図3に示すように、該方法は以下のステップを含む。 FIG. 3 is a diagram showing a second determination method according to the first embodiment of the present invention. As shown in FIG. 3, the method comprises the following steps.

ステップ301:第1所定サイズに基づいて該比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得する。 Step 301: The two images in the image pair to be compared are divided based on the first predetermined size, and the divided image block is acquired.

ステップ302:分割後の画像ブロックについて変形指標を算出する。 Step 302: Calculate the deformation index for the image block after division.

ステップ303:今回算出された変形指標がゼロよりも大きいか否かを判断し、判断結果がYESの場合、ステップ304に進み、判断結果がNOの場合、ステップ305に進む。 Step 303: It is determined whether or not the deformation index calculated this time is larger than zero, and if the determination result is YES, the process proceeds to step 304, and if the determination result is NO, the process proceeds to step 305.

ステップ304:該比較すべき画像ペアにおける2つの画像が異なる画像であると決定する。 Step 304: It is determined that the two images in the image pair to be compared are different images.

ステップ305:今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断し、判断結果がNOの場合、ステップ306に進み、判断結果がYESの場合、ステップ307に進む。 Step 305: It is determined whether or not the size of the image block after this division is smaller than the second predetermined size, and if the determination result is NO, the process proceeds to step 306, and if the determination result is YES, the process proceeds to step 307.

ステップ306:ステップ301において調整後の第1所定サイズに基づいて該2つの画像を分割し直すように、分割を行うための第1所定サイズを調整する。 Step 306: The first predetermined size for performing the division is adjusted so as to re-divide the two images based on the adjusted first predetermined size in step 301.

ステップ307:該比較すべき画像ペアにおける2つの画像が同一の画像であると決定する。 Step 307: It is determined that the two images in the image pair to be compared are the same image.

本実施例では、算出部202は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて該変形指標を算出してもよい。例えば、下記の式(1)に従って該変形指標を算出してもよい。

Figure 0007006127000001
In this embodiment, the calculation unit 202 may calculate the deformation index of the divided image block based on the difference in the overall structure and the difference in the contents. For example, the deformation index may be calculated according to the following equation (1).
Figure 0007006127000001

ここで、Ndisは変形指標を表し、Nは全体的構造の差分を表し、Nは内容の差分を表す。該変形指標はゼロ以上の数値である。 Here, N dis represents a deformation index, NS represents a difference in the overall structure, and NC represents a difference in content. The deformation index is a numerical value of zero or more.

本実施例では、全体的構造の差分Nはハッシュコードで表されてもよく、内容の差分Nは画像ブロックの平均絶対差分で表されてもよい。 In this embodiment, the difference NS of the overall structure may be represented by a hash code, and the difference NC of the contents may be represented by the average absolute difference of the image blocks .

本実施例では、該第1所定サイズ及び第2所定サイズは実際の状況に応じて設定されてもよく、例えば比較すべき画像ペアにおける2つの画像のサイズに基づいて決定されてもよい。例えば、第2所定サイズは16個の画素である。 In this embodiment, the first predetermined size and the second predetermined size may be set according to an actual situation, and may be determined based on, for example, the sizes of two images in an image pair to be compared. For example, the second predetermined size is 16 pixels.

本実施例では、調整部204は、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第2所定サイズ以上である場合、画像のサイズに基づいて、分割部201による分割を行うための所定サイズを調整する。例えば、調整部204は、下記の式(2)に従って調整後の第1所定サイズを決定してもよい。

Figure 0007006127000002
In this embodiment, when the deformation index calculated this time is equal to zero and the size of the image block after this division is equal to or larger than the second predetermined size, the adjustment unit 204 is divided based on the size of the image. Adjust the predetermined size for dividing by 201. For example, the adjusting unit 204 may determine the first predetermined size after adjustment according to the following formula (2).
Figure 0007006127000002

ここで、Sはn回目の反復のための第1所定サイズを表し、H及びWは比較すべき画像ペアの2つの画像の高さ及び幅をそれぞれ表し、その単位は画素の数であり、nは正整数である。 Here, Sn represents the first predetermined size for the nth iteration, H and W represent the height and width of the two images of the image pair to be compared, respectively, and the unit is the number of pixels. , N is a positive integer.

本実施例では、画像比較装置100は相違度算出部106をさらに含んでもよい。相違度算出部106は、第2判定部104による第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける2つの画像の相違度を算出する。このように、構造の類似度及び色の類似度という2つの要素両方を考慮して2つの画像の相違度を算出することで、算出結果の相関性が良く、且つ信頼性が高い。 In this embodiment, the image comparison device 100 may further include a difference degree calculation unit 106. The difference degree calculation unit 106 is 2 in the image pair to be compared based on the structural similarity and the color similarity for the image pair to be compared determined as different images by the second determination by the second determination unit 104. Calculate the degree of difference between the two images. In this way, by calculating the degree of difference between the two images in consideration of both the two factors of the similarity of the structure and the similarity of the color, the correlation of the calculation results is good and the reliability is high.

本実施例では、相違度算出部106は、顕著性情報及び位置情報を用いて構造の類似度と色の類似度を合成して、該比較すべき画像ペアにおける2つの画像の相違度を取得してもよい。例えば、相違度算出部106は、下記の式(3)に従って該相違度を算出してもよい。

Figure 0007006127000003
In this embodiment, the difference calculation unit 106 synthesizes the structural similarity and the color similarity using the saliency information and the position information, and acquires the difference between the two images in the image pair to be compared. You may. For example, the difference degree calculation unit 106 may calculate the difference degree according to the following equation (3).
Figure 0007006127000003

ここで、SCSは該比較すべき画像ペアにおける2つの画像の相違度を表し、Sは色の類似度を表し、Sは構造の類似度を表し、Wは位置情報の重みを表し、Wは顕著性情報の重みを表す。 Here, SCS represents the difference between the two images in the image pair to be compared, SC represents the color similarity, SS represents the structural similarity , and WL represents the weight of the position information. , WS represent the weight of the saliency information.

本実施例では、例えば色相-彩度-輝度(Hue, Chroma and Luminance:HCL)の方法を用いて色の類似度を算出してもよく、ローカル・ステアリング・カーネル(Local Steering Kernel:LSK)に基づく方法を用いて構造の類似度及び顕著性情報を表現する顕著性マップ(saliency map)を算出してもよい。 In this embodiment, the color similarity may be calculated using, for example, the Hue, Chroma and Luminance (HCL) method, and the local steering kernel (LSK) may be used. A saliency map may be calculated that represents structural similarity and saliency information using a method based on the above.

上記の実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。 According to the above embodiment, most of the same image can be removed by correcting the image deviation and scale according to the characteristics of the image of the web page and making a judgment by the first judgment method in the correction processing, and the second judgment. By further making a determination by the method, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate.

<実施例2>
本発明の実施例は電子機器をさらに提供し、図4は本発明の実施例2の電子機器を示す図である。図4に示すように、電子機器400は画像比較装置401を含み、画像比較装置401の構成及び機能は実施例1に記載されたものと同じであり、ここでその説明を省略する。
<Example 2>
Examples of the present invention further provide an electronic device, and FIG. 4 is a diagram showing the electronic device of the second embodiment of the present invention. As shown in FIG. 4, the electronic device 400 includes an image comparison device 401, and the configuration and function of the image comparison device 401 are the same as those described in the first embodiment, and the description thereof will be omitted here.

図5は本発明の実施例2の電子機器のシステム構成を示すブロック図である。図5に示すように、電子機器500は、中央処理装置(CPU)501及び記憶装置502を含んでもよく、記憶装置502は中央処理装置501に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。 FIG. 5 is a block diagram showing a system configuration of the electronic device according to the second embodiment of the present invention. As shown in FIG. 5, the electronic device 500 may include a central processing unit (CPU) 501 and a storage device 502, and the storage device 502 is connected to the central processing unit 501. The figure is merely exemplary and may supplement or replace the configuration with other types of configurations to achieve telecommunications or other functions.

図5に示すように、電子機器500は、入力出力部503、ディスプレイ504及び電源505をさらに含んでもよい。 As shown in FIG. 5, the electronic device 500 may further include an input / output unit 503, a display 504, and a power supply 505.

1つの態様では、実施例1の交差点の交通信号の制御装置の機能は中央処理装置501に統合されてもよい。ここで、中央処理装置501は、第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定し、1回目の第1判定が行われた後に該所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行い、2回目の第1判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行い、3回目の第1判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するように構成されてもよい。 In one embodiment, the function of the traffic signal control device at the intersection of Example 1 may be integrated into the central processing unit 501. Here, the central processing apparatus 501 performs the first determination for the image pair to be compared acquired in advance by using the first determination method, and 2 in the image pair to be compared that satisfies the predetermined conditions. For a pair of images to be compared that do not meet the predetermined conditions after it is determined that the two images are the same image and the first determination is made, the position between the two images in the pair of images to be compared. The misalignment is estimated, the misalignment is corrected, the second first determination is made for the image pair to be compared after the misalignment correction, and the predetermined condition is still satisfied after the second first determination is made. For the image pair to be compared that does not meet, the scale difference between the two images in the image pair to be compared is estimated, the scale difference is corrected, and the third time for the image pair to be compared after the scale difference correction. The first determination is made, and after the third determination is made, the second determination is made using the second determination method for the image pair to be compared that still does not satisfy the predetermined condition, and the comparison should be made. It may be configured to determine if two images in an image pair are identical.

ここで、該第1判定手法は最大画素計数法であり、該所定条件は、最大画素計数法を用いて算出された値が第1閾値よりも大きいことである。 Here, the first determination method is the maximum pixel counting method, and the predetermined condition is that the value calculated by using the maximum pixel counting method is larger than the first threshold value.

ここで、該第2判定手法は反復的知覚ハッシュアルゴリズムである。 Here, the second determination method is an iterative perceptual hash algorithm.

ここで、3回目の第1判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するステップは、第1所定サイズに基づいて該比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得するステップと、分割後の画像ブロックについて変形指標を算出するステップと、今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断するステップと、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが該第2所定サイズ以上である場合、調整後の第1所定サイズに基づいて該2つの画像を分割し直すように、分割を行うための第1所定サイズを調整するステップと、今回算出された変形指標がゼロよりも大きい場合、該比較すべき画像ペアにおける2つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第2所定サイズよりも小さい場合、該比較すべき画像ペアにおける2つの画像が同一の画像であると決定するステップと、を含む。 Here, for the image pair to be compared that still does not satisfy the predetermined condition after the first determination is performed for the third time, the second determination is performed using the second determination method, and 2 in the image pair to be compared. The steps for determining whether or not two images are the same are a step of dividing two images in the image pair to be compared based on a first predetermined size and acquiring a divided image block, and a step after dividing. A step of calculating a deformation index for an image block and a step of determining whether or not the deformation index calculated this time is larger than zero, or whether the size of the image block after this division is smaller than the second predetermined size. When the deformation index calculated this time is equal to zero and the size of the image block after this division is equal to or larger than the second predetermined size, the two images are divided based on the adjusted first predetermined size. If the step of adjusting the first predetermined size for performing the division and the deformation index calculated this time are larger than zero, it is determined that the two images in the image pair to be compared are different images so as to be corrected. If the deformation index calculated this time is equal to zero and the size of the image block after this division is smaller than the second predetermined size, it is determined that the two images in the image pair to be compared are the same image. Including steps.

ここで、分割後の画像ブロックについて変形指標を算出するステップは、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて該変形指標を算出するステップを含む。 Here, the step of calculating the deformation index for the image block after division includes the step of calculating the deformation index for the image block after division based on the difference in the overall structure and the difference in the contents.

ここで、中央処理装置501は、第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける2つの画像の相違度を算出するように構成されてもよい。 Here, the central processing unit 501 has the difference between the two images in the image pair to be compared based on the similarity of the structure and the similarity of the color with respect to the image pair to be compared determined as different images by the second determination. It may be configured to calculate the degree.

ここで、第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける2つの画像の相違度を算出するステップは、第2判定により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて該構造の類似度と該色の類似度を合成して、該比較すべき画像ペアにおける2つの画像の相違度を取得するステップを含む。 Here, for the image pair to be compared determined as different images by the second determination, the step of calculating the difference between the two images in the image pair to be compared based on the similarity of the structure and the similarity of the color is For the image pair to be compared determined as different images by the second determination, the similarity of the structure and the similarity of the color are synthesized using the saliency information and the position information, and the image pair to be compared is used. Includes a step to obtain the degree of difference between the two images.

ここで、中央処理装置501は、タイプが異なる2つのブラウザ、又はタイプが同一であり、且つバージョンが異なる2つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のIDに基づいて、該比較すべき画像ペアを決定するように構成されてもよい。 Here, the central processing unit 501 is based on the ID of each image element in a web page of the same web address opened by two browsers of different types or two browsers of the same type and different versions. It may be configured to determine the image pair to be compared.

本実施例における電子機器500は、図5に示されている全ての構成部を含まなくてもよい。 The electronic device 500 in this embodiment does not have to include all the components shown in FIG.

図5に示すように、中央処理装置501は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び/又は論理装置を含んでもよく、中央処理装置501は入力を受信し、電子機器500の各部の操作を制御する。 As shown in FIG. 5, the central processing unit 501, also referred to as a controller or operation control unit, may include a microprocessor or other processing unit and / or a logical device, in which the central processing unit 501 receives an input and is electronic. It controls the operation of each part of the device 500.

記憶装置502は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の1つ又は複数であってもよい。また、中央処理装置501は、記憶装置502に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器500の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。 The storage device 502 may be, for example, one or more of a buffer, flash memory, hard disk, movable medium, volatile memory, non-volatile memory, or other suitable device. Further, the central processing unit 501 may execute the program stored in the storage device 502 to realize the storage or processing of information. Since the other members are similar to the prior art, their description is omitted here. Each part of the electronic device 500 may be realized by specific hardware, firmware, software or a combination thereof without departing from the scope of the present invention.

上記の実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。 According to the above embodiment, most of the same image can be removed by correcting the image deviation and scale according to the characteristics of the image of the web page and making a judgment by the first judgment method in the correction processing, and the second judgment. By further making a determination by the method, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate.

<実施例3>
本発明の実施例は、実施例1の画像比較装置に対応する画像比較方法をさらに提供する。図6は本発明の実施例3の画像比較方法を示す図である。図6に示すように、該方法は以下のステップを含む。
<Example 3>
The embodiments of the present invention further provide an image comparison method corresponding to the image comparison apparatus of the first embodiment. FIG. 6 is a diagram showing an image comparison method of Example 3 of the present invention. As shown in FIG. 6, the method comprises the following steps.

ステップ601:第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定する。 Step 601: The first determination is performed for the image pair to be compared acquired in advance using the first determination method, and the two images in the image pair to be compared satisfying the predetermined conditions are the same image. Determined to be.

ステップ602:1回目の第1判定が行われた後に該所定条件を満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行う。 Step 602: For an image pair to be compared that does not satisfy the predetermined condition after the first determination is made, the positional deviation between the two images in the image pair to be compared is estimated, and the positional deviation is determined. A second first determination is made for the image pair to be compared after the correction and the misalignment correction.

ステップ603:2回目の第1判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、該比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行う。 Step 603: For the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made, the scale difference between the two images in the image pair to be compared is estimated, and the scale difference is estimated. Is corrected, and the first judgment is performed for the third image pair to be compared after the scale difference correction.

ステップ604:3回目の第1判定が行われた後に該所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する。 Step 604: For the image pair to be compared that still does not satisfy the predetermined condition after the third determination is made, the second determination is made using the second determination method, and 2 in the image pair to be compared. Determine if the two images are the same.

図7は本発明の実施例3の画像比較方法を示すもう1つの図である。図7に示すように、該方法は以下のステップを含む。 FIG. 7 is another diagram showing the image comparison method of the third embodiment of the present invention. As shown in FIG. 7, the method comprises the following steps.

ステップ701:第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行う。 Step 701: The first determination is performed for the image pair to be compared acquired in advance using the first determination method.

ステップ702:1回目の第1判定が行われた後に所定条件を満たすか否かを判断し、判断結果がYESの場合、ステップ703に進み、判断結果がNOの場合、ステップ704に進む。 Step 702: After the first determination is made, it is determined whether or not the predetermined condition is satisfied. If the determination result is YES, the process proceeds to step 703, and if the determination result is NO, the process proceeds to step 704.

ステップ703:該比較すべき画像ペアにおける2つの画像が同一の画像であると決定する。 Step 703: It is determined that the two images in the image pair to be compared are the same image.

ステップ704:該比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正する。 Step 704: The misalignment between two images in the image pair to be compared is estimated and the misalignment is corrected.

ステップ705:位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行う。 Step 705: A second first determination is made for the image pair to be compared after the misalignment correction.

ステップ706:2回目の第1判定が行われた後に該所定条件を満たすか否かを判断し、判断結果がYESの場合、ステップ703に進み、判断結果がNOの場合、ステップ707に進む。 Step 706: After the second first determination is made, it is determined whether or not the predetermined condition is satisfied. If the determination result is YES, the process proceeds to step 703, and if the determination result is NO, the process proceeds to step 707.

ステップ707:該比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正する。 Step 707: Estimate the scale difference between two images in the image pair to be compared and correct the scale difference.

ステップ708:スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行う。 Step 708: A third first determination is made for the image pair to be compared after the scale difference correction.

ステップ709:3回目の第1判定が行われた後に該所定条件を満たすか否かを判断し、判断結果がYESの場合、ステップ703に進み、判断結果がNOの場合、ステップ710に進む。 Step 709: After the third determination is made, it is determined whether or not the predetermined condition is satisfied. If the determination result is YES, the process proceeds to step 703, and if the determination result is NO, the process proceeds to step 710.

ステップ710:第2判定方法を用いて該比較すべき画像ペアに対して第2判定を行い、該比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する。 Step 710: A second determination is made for the image pair to be compared using the second determination method, and it is determined whether or not the two images in the image pair to be compared are the same.

ステップ711:第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて該比較すべき画像ペアにおける2つの画像の相違度を算出する。 Step 711: For the image pairs to be compared determined as different images by the second determination, the degree of difference between the two images in the image pair to be compared is calculated based on the similarity of the structure and the similarity of the colors.

本実施例では、上記の各ステップにおける具体的な方法は実施例1に記載されたものと同じであり、ここでその説明を省略する。 In this embodiment, the specific method in each of the above steps is the same as that described in the first embodiment, and the description thereof will be omitted here.

上記の実施例によれば、ウェブページの画像の特性により画像のずれ及びスケールを補正して補正処理において第1判定手法で判定を行うことで、大部分の同一画像を除去でき、第2判定手法で判定をさらに行うことで、比較結果の正確性をさらに向上でき、比較速度がより速く、且つ比較結果が正確である。 According to the above embodiment, most of the same image can be removed by correcting the image deviation and scale according to the characteristics of the image of the web page and making a judgment by the first judgment method in the correction processing, and the second judgment. By further making a determination by the method, the accuracy of the comparison result can be further improved, the comparison speed is faster, and the comparison result is accurate.

本発明の実施例は、画像比較装置又は電子機器においてプログラムを実行する際に、コンピュータに、該画像比較装置又は電子機器において上記実施例3に記載の画像比較方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。 An embodiment of the present invention is computer readable, which causes a computer to execute the image comparison method according to the third embodiment in the image comparison device or electronic device when executing a program in the image comparison device or electronic device. Provide more programs.

本発明の実施例は、コンピュータに、画像比較装置又は電子機器において上記実施例3に記載の画像比較方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。 The embodiments of the present invention further provide a storage medium for storing a computer-readable program for causing a computer to perform the image comparison method according to the third embodiment in an image comparison device or an electronic device.

本発明の実施例を参照しながら説明した画像比較装置又は電子機器において実行されている画像比較方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図1に示す機能的ブロック図における1つ若しくは複数、又は機能的ブロック図の1つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図6又は図7に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ(FPGA)を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。 The image comparison method performed in the image comparison device or electronic device described with reference to the embodiments of the present invention may be carried out by hardware, a software module executed by a processor, or a combination thereof. For example, one or more of the functional block diagrams shown in FIG. 1, or one or more combinations of the functional block diagrams may correspond to each software module of the computer program flow, or to each hardware module. It may correspond. These software modules may correspond to each step shown in FIG. 6 or 7, respectively. These hardware modules may be realized by hardwareizing these software modules using, for example, a field programmable gate array (FPGA).

ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、モバイルハードディスク、CD-ROM又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はASICに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器(例えば移動端末)が比較的に大きい容量のMEGA-SIMカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該MEGA-SIMカード又は大容量のフラッシュメモリ装置に記憶されてもよい。 The software module may be located in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, mobile hard disk, CD-ROM or any other form of storage medium known to those of skill in the art. The storage medium may be connected to the processor so that the processor reads information from the storage medium or writes information to the storage medium, or the storage medium may be a component of the processor. The processor and storage medium are located in the ASIC. The software module may be stored in the memory of the mobile terminal or may be stored in the memory card inserted in the mobile terminal. For example, if the device (eg, a mobile terminal) uses a relatively large capacity MEGA-SIM card or large capacity flash memory device, the software module is stored in the MEGA-SIM card or large capacity flash memory device. May be good.

図1に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲートアレイ(FPGA)又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図1に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばDSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSP通信と組み合わせた1つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。 One or more functional blocks and / or one or more combinations of functional blocks described in FIG. 1 are general purpose processors, digital signal processors (DSPs), and application specific integrated circuits for performing the functions described in the present application. It may be implemented in an application specific integrated circuit (ASIC), field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component, or any suitable combination thereof. One or more functional blocks and / or one or more combinations of functional blocks described in FIG. 1 may be, for example, a combination of computing devices, such as a combination of DSP and microprocessor, a combination of multiple microprocessors, a DSP. It may be implemented with one or more microprocessors combined with communication or any other configuration.

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。 Although the present invention has been described above with reference to specific embodiments, the above description is merely exemplary and does not limit the scope of protection of the present invention. Various modifications and modifications may be made to the present invention as long as the gist and principle of the present invention are not deviated, and these modifications and modifications also belong to the scope of the present invention.

また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
画像比較装置であって、
第1判定手法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定する第1判定手段と、
1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、2回目の第1判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第1判定手段に提供する第1補正手段と、
2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、3回目の第1判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第1判定手段に提供する第2補正手段と、
3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定手法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する第2判定手段と、を含む、装置。
(付記2)
前記第1判定手段により用いられる第1判定手法は最大画素計数法であり、
前記所定条件は、最大画素計数法を用いて算出された値が第1閾値よりも大きいことである、付記1に記載の装置。
(付記3)
前記第2判定手段により用いられる第2判定手法は反復的知覚ハッシュアルゴリズムである、付記1に記載の装置。
(付記4)
前記第2判定手段は、
第1所定サイズに基づいて前記比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得する分割手段と、
分割後の画像ブロックについて変形指標を算出する算出手段と、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断する判断手段と、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第2所定サイズ以上である場合、前記分割手段が調整後の第1所定サイズに基づいて前記2つの画像を分割し直すように、分割を行うための第1所定サイズを調整する調整手段と、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける2つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第2所定サイズよりも小さい場合、前記比較すべき画像ペアにおける2つの画像が同一の画像であると決定する決定手段と、を含む、付記3に記載の装置。
(付記5)
前記算出手段は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出する、付記4に記載の装置。
(付記6)
前記第2判定手段による第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける2つの画像の相違度を算出する相違度算出手段、をさらに含む、付記1に記載の装置。
(付記7)
前記相違度算出手段は、前記第2判定手段により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける2つの画像の相違度を取得する、付記6に記載の装置。
(付記8)
タイプが異なる2つのブラウザ、又はタイプが同一であり、且つバージョンが異なる2つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のIDに基づいて、前記比較すべき画像ペアを決定する画像ペア取得手段、をさらに含む、付記1に記載の装置。
(付記9)
付記1に記載の装置を含む、電子機器。
(付記10)
画像比較方法であって、
第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定するステップと、
1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行うステップと、
2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行うステップと、
3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するステップと、を含む、方法。
(付記11)
前記第1判定手法は最大画素計数法であり、
前記所定条件は、最大画素計数法を用いて算出された値が第1閾値よりも大きいことである、付記10に記載の装置。
(付記12)
前記第2判定手法は反復的知覚ハッシュアルゴリズムである、付記10に記載の装置。
(付記13)
前記3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するステップは、
第1所定サイズに基づいて前記比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得するステップと、
分割後の画像ブロックについて変形指標を算出するステップと、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断するステップと、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第2所定サイズ以上である場合、調整後の第1所定サイズに基づいて前記2つの画像を分割し直すように、分割を行うための第1所定サイズを調整するステップと、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける2つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第2所定サイズよりも小さい場合、前記比較すべき画像ペアにおける2つの画像が同一の画像であると決定するステップと、を含む、付記12に記載の装置。
(付記14)
前記分割後の画像ブロックについて変形指標を算出するステップは、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出するステップを含む、付記13に記載の装置。
(付記15)
第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける2つの画像の相違度を算出するステップ、をさらに含む、付記10に記載の装置。
(付記16)
前記第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける2つの画像の相違度を算出するステップは、
第2判定により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける2つの画像の相違度を取得する、付記15に記載の装置。
(付記17)
タイプが異なる2つのブラウザ、又はタイプが同一であり、且つバージョンが異なる2つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のIDに基づいて、前記比較すべき画像ペアを決定するステップ、をさらに含む、付記10に記載の装置。
Further, the following additional notes will be disclosed with respect to the embodiment including the above-mentioned embodiment.
(Appendix 1)
It is an image comparison device
The first judgment is performed for the image pair to be compared obtained in advance using the first judgment method, and it is determined that the two images in the image pair to be compared satisfying the predetermined conditions are the same image. The first determination means to determine and
For the image pair to be compared that does not satisfy the predetermined condition after the first determination is performed, the positional deviation between the two images in the image pair to be compared is estimated, and the positional deviation is corrected. A first correction means that provides the first determination means with an image pair to be compared after the position shift correction in order to perform the second first determination.
For the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made, the scale difference between the two images in the image pair to be compared is estimated, and the scale difference is corrected. A second correction means that provides the first determination means with an image pair to be compared after the scale difference correction in order to perform the third first determination.
After the third determination is made, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are obtained. A device comprising a second determination means for determining whether or not they are the same.
(Appendix 2)
The first determination method used by the first determination means is the maximum pixel counting method.
The apparatus according to Appendix 1, wherein the predetermined condition is that the value calculated by using the maximum pixel counting method is larger than the first threshold value.
(Appendix 3)
The device according to Appendix 1, wherein the second determination method used by the second determination means is an iterative perceptual hash algorithm.
(Appendix 4)
The second determination means is
A dividing means for dividing two images in the image pair to be compared based on the first predetermined size and acquiring an image block after the division, and
A calculation means for calculating the deformation index for the image block after division,
A means for determining whether or not the deformation index calculated this time is larger than zero, or whether or not the size of the image block after this division is smaller than the second predetermined size.
When the deformation index calculated this time is equal to zero and the size of the image block after this division is equal to or larger than the second predetermined size, the division means obtains the two images based on the adjusted first predetermined size. An adjustment means for adjusting the first predetermined size for performing the division so as to re-divide,
When the deformation index calculated this time is larger than zero, it is determined that the two images in the image pair to be compared are different images, the deformation index calculated this time is equal to zero, and the image block after division this time. The apparatus according to Appendix 3, comprising: a determination means for determining that two images in the image pair to be compared are the same image when the size of is smaller than a second predetermined size.
(Appendix 5)
The apparatus according to Appendix 4, wherein the calculation means calculates the deformation index of the divided image block based on the difference in the overall structure and the difference in the contents.
(Appendix 6)
For the image pairs to be compared determined as different images by the second determination by the second determination means, the degree of difference between the two images in the image pair to be compared is calculated based on the similarity of the structure and the similarity of the colors. The apparatus according to Appendix 1, further comprising a means for calculating the degree of difference.
(Appendix 7)
The difference degree calculating means synthesizes the similarity degree of the structure and the similarity degree of the color with respect to the image pair to be compared determined as different images by the second determination means using the saliency information and the position information. The apparatus according to Appendix 6, wherein the degree of difference between the two images in the image pair to be compared is acquired.
(Appendix 8)
The image pair to be compared is based on the ID of each image element in a web page of the same web address opened using two browsers of different types, or two browsers of the same type and different versions. The apparatus according to Appendix 1, further comprising an image pair acquisition means for determining.
(Appendix 9)
An electronic device including the device according to Appendix 1.
(Appendix 10)
It ’s an image comparison method.
The first determination is performed for the image pair to be compared obtained in advance using the first determination method, and it is determined that the two images in the image pair to be compared satisfying the predetermined conditions are the same image. Steps to decide and
For the image pair to be compared that does not satisfy the predetermined condition after the first determination is performed, the positional deviation between the two images in the image pair to be compared is estimated, and the positional deviation is corrected. The step of performing the second first judgment for the image pair to be compared after the misalignment correction, and
For the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made, the scale difference between the two images in the image pair to be compared is estimated, and the scale difference is corrected. , The step of performing the first judgment for the third time for the image pair to be compared after the scale difference correction, and
After the first determination is performed for the third time, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are obtained. A method, including steps to determine if they are identical.
(Appendix 11)
The first determination method is the maximum pixel counting method.
The apparatus according to Appendix 10, wherein the predetermined condition is that the value calculated by using the maximum pixel counting method is larger than the first threshold value.
(Appendix 12)
The device according to Appendix 10, wherein the second determination method is an iterative perceptual hash algorithm.
(Appendix 13)
After the first determination is performed for the third time, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are performed. The steps to determine if are the same are
A step of dividing two images in the image pair to be compared based on the first predetermined size and acquiring an image block after the division, and
Steps to calculate the deformation index for the image block after division,
A step to determine whether the deformation index calculated this time is larger than zero, or whether the size of the image block after this division is smaller than the second predetermined size.
If the deformation index calculated this time is equal to zero and the size of the image block after this division is equal to or larger than the second predetermined size, the two images should be re-divided based on the adjusted first predetermined size. In addition, the step of adjusting the first predetermined size for performing the division,
When the deformation index calculated this time is larger than zero, it is determined that the two images in the image pair to be compared are different images, the deformation index calculated this time is equal to zero, and the image block after division this time. 12. The apparatus of Addendum 12, comprising the step of determining that two images in the image pair to be compared are the same image when the size of the second predetermined size is smaller than the second predetermined size.
(Appendix 14)
The apparatus according to Appendix 13, wherein the step of calculating the deformation index for the image block after division includes a step of calculating the deformation index for the image block after division based on the difference in the overall structure and the difference in the contents. ..
(Appendix 15)
For the image pair to be compared determined as different images by the second determination, the step of calculating the difference between the two images in the image pair to be compared based on the similarity of the structure and the similarity of the color is further included. , The apparatus according to Appendix 10.
(Appendix 16)
For the image pair to be compared determined as different images by the second determination, the step of calculating the difference between the two images in the image pair to be compared based on the similarity of structure and the similarity of color is
For the image pair to be compared determined as different images by the second determination, the similarity of the structure and the similarity of the color are combined using the saliency information and the position information, and the image pair to be compared is 2 in the image pair to be compared. The device according to Appendix 15, which acquires the degree of difference between two images.
(Appendix 17)
The image pair to be compared is based on the ID of each image element in a web page of the same web address opened using two browsers of different types, or two browsers of the same type and different versions. 10. The apparatus of Appendix 10, further comprising a step of determining.

Claims (10)

画像比較装置であって、
第1判定手法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定する第1判定手段と、
1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、2回目の第1判定を行うために位置ずれ補正後の比較すべき画像ペアを前記第1判定手段に提供する第1補正手段と、
2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、3回目の第1判定を行うためにスケール差分補正後の比較すべき画像ペアを前記第1判定手段に提供する第2補正手段と、
3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定手法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定する第2判定手段と、を含む、装置。
It is an image comparison device
The first judgment is performed for the image pair to be compared obtained in advance using the first judgment method, and it is determined that the two images in the image pair to be compared satisfying the predetermined conditions are the same image. The first determination means to determine and
For the image pair to be compared that does not satisfy the predetermined condition after the first determination is performed, the positional deviation between the two images in the image pair to be compared is estimated, and the positional deviation is corrected. A first correction means that provides the first determination means with an image pair to be compared after the position shift correction in order to perform the second first determination.
For the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made, the scale difference between the two images in the image pair to be compared is estimated, and the scale difference is corrected. A second correction means that provides the first determination means with an image pair to be compared after the scale difference correction in order to perform the third first determination.
After the third determination is made, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are obtained. A device comprising a second determination means for determining whether or not they are the same.
前記第1判定手段により用いられる第1判定手法はMPC(Maximum Pixels Counting)法であり、
前記所定条件は、前記MPC法を用いて算出された値が第1閾値よりも大きいことである、請求項1に記載の装置。
The first determination method used by the first determination means is the MPC (Maximum Pixels Counting) method .
The apparatus according to claim 1, wherein the predetermined condition is that the value calculated by using the MPC method is larger than the first threshold value.
前記第2判定手段により用いられる第2判定手法は反復的知覚ハッシュアルゴリズムである、請求項1に記載の装置。 The apparatus according to claim 1, wherein the second determination method used by the second determination means is an iterative perceptual hash algorithm. 前記第2判定手段は、
第1所定サイズに基づいて前記比較すべき画像ペアにおける2つの画像を分割し、分割後の画像ブロックを取得する分割手段と、
分割後の画像ブロックについて変形指標を算出する算出手段と、
今回算出された変形指標がゼロよりも大きいか否か、或いは今回分割後の画像ブロックのサイズが第2所定サイズよりも小さいか否かを判断する判断手段と、
今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが前記第2所定サイズ以上である場合、前記分割手段が調整後の第1所定サイズに基づいて前記2つの画像を分割し直すように、分割を行うための第1所定サイズを調整する調整手段と、
今回算出された変形指標がゼロよりも大きい場合、前記比較すべき画像ペアにおける2つの画像が異なる画像であると決定し、今回算出された変形指標がゼロに等しく、且つ今回分割後の画像ブロックのサイズが第2所定サイズよりも小さい場合、前記比較すべき画像ペアにおける2つの画像が同一の画像であると決定する決定手段と、を含む、請求項3に記載の装置。
The second determination means is
A dividing means for dividing two images in the image pair to be compared based on the first predetermined size and acquiring an image block after the division, and
A calculation means for calculating the deformation index for the image block after division,
A means for determining whether or not the deformation index calculated this time is larger than zero, or whether or not the size of the image block after this division is smaller than the second predetermined size.
When the deformation index calculated this time is equal to zero and the size of the image block after this division is equal to or larger than the second predetermined size, the division means obtains the two images based on the adjusted first predetermined size. An adjustment means for adjusting the first predetermined size for performing the division so as to re-divide,
When the deformation index calculated this time is larger than zero, it is determined that the two images in the image pair to be compared are different images, the deformation index calculated this time is equal to zero, and the image block after division this time. The apparatus according to claim 3, further comprising a determination means for determining that two images in the image pair to be compared are the same image when the size of the image is smaller than the second predetermined size.
前記算出手段は、分割後の画像ブロックについて、全体的構造の差分及び内容の差分に基づいて前記変形指標を算出する、請求項4に記載の装置。 The apparatus according to claim 4, wherein the calculation means calculates the deformation index of the image block after division based on the difference in the overall structure and the difference in the contents. 前記第2判定手段による第2判定により異なる画像として決定された比較すべき画像ペアについて、構造の類似度及び色の類似度に基づいて前記比較すべき画像ペアにおける2つの画像の相違度を算出する相違度算出手段、をさらに含む、請求項1に記載の装置。 For the image pairs to be compared determined as different images by the second determination by the second determination means, the degree of difference between the two images in the image pair to be compared is calculated based on the similarity of the structure and the similarity of the colors. The apparatus according to claim 1, further comprising a means for calculating the degree of difference. 前記相違度算出手段は、前記第2判定手段により異なる画像として決定された比較すべき画像ペアについて、顕著性情報及び位置情報を用いて前記構造の類似度と前記色の類似度を合成して、前記比較すべき画像ペアにおける2つの画像の相違度を取得する、請求項6に記載の装置。 The difference degree calculating means synthesizes the similarity degree of the structure and the similarity degree of the color with respect to the image pair to be compared determined as different images by the second determination means using the saliency information and the position information. 6. The apparatus according to claim 6, wherein the degree of difference between the two images in the image pair to be compared is acquired. タイプが異なる2つのブラウザ、又はタイプが同一であり、且つバージョンが異なる2つのブラウザを用いて開いた同一のウェブアドレスのウェブページにおける各画像要素のIDに基づいて、前記比較すべき画像ペアを決定する画像ペア取得手段、をさらに含む、請求項1に記載の装置。 The image pair to be compared is based on the ID of each image element in a web page of the same web address opened using two browsers of different types, or two browsers of the same type and different versions. The apparatus according to claim 1, further comprising an image pair acquisition means for determining. 請求項1に記載の装置を含む、電子機器。 An electronic device including the device according to claim 1. 画像比較方法であって、
画像比較装置が、
第1判定方法を用いて予め取得された比較すべき画像ペアに対して1回目の第1判定を行い、所定条件を満たしている比較すべき画像ペアにおける2つの画像が同一の画像であると決定するステップと、
1回目の第1判定が行われた後に前記所定条件を満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間の位置ずれを推定し、該位置ずれを補正し、位置ずれ補正後の比較すべき画像ペアに対して2回目の第1判定を行うステップと、
2回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、前記比較すべき画像ペアにおける2つの画像間のスケール差分を推定し、該スケール差分を補正し、スケール差分補正後の比較すべき画像ペアに対して3回目の第1判定を行うステップと、
3回目の第1判定が行われた後に前記所定条件を依然として満たしていない比較すべき画像ペアについて、第2判定方法を用いて第2判定を行い、前記比較すべき画像ペアにおける2つの画像が同一であるか否かを決定するステップと、を実行する、方法。
It ’s an image comparison method.
The image comparison device
The first determination is performed for the image pair to be compared obtained in advance using the first determination method, and it is determined that the two images in the image pair to be compared satisfying the predetermined conditions are the same image. Steps to decide and
For the image pair to be compared that does not satisfy the predetermined condition after the first determination is performed, the positional deviation between the two images in the image pair to be compared is estimated, and the positional deviation is corrected. The step of performing the second first judgment for the image pair to be compared after the misalignment correction, and
For the image pair to be compared that still does not satisfy the predetermined condition after the second first determination is made, the scale difference between the two images in the image pair to be compared is estimated, and the scale difference is corrected. , The step of performing the first judgment for the third time for the image pair to be compared after the scale difference correction, and
After the first determination is performed for the third time, the image pair to be compared that still does not satisfy the predetermined condition is subjected to the second determination using the second determination method, and the two images in the image pair to be compared are obtained. How to perform , with the steps to determine if they are the same.
JP2017204965A 2016-12-16 2017-10-24 Image comparison equipment, methods and electronic devices Active JP7006127B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611166879.2A CN108205810B (en) 2016-12-16 2016-12-16 Image comparison device and method and electronic equipment
CN201611166879.2 2016-12-16

Publications (2)

Publication Number Publication Date
JP2018097853A JP2018097853A (en) 2018-06-21
JP7006127B2 true JP7006127B2 (en) 2022-01-24

Family

ID=62602486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017204965A Active JP7006127B2 (en) 2016-12-16 2017-10-24 Image comparison equipment, methods and electronic devices

Country Status (2)

Country Link
JP (1) JP7006127B2 (en)
CN (1) CN108205810B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369599B (en) * 2018-12-25 2024-04-16 阿里巴巴集团控股有限公司 Image matching method, device, apparatus and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105199A (en) 1998-09-29 2000-04-11 Minolta Co Ltd Printing inspection method of cylindrical container
JP2000222587A (en) 1999-01-27 2000-08-11 Matsushita Electric Ind Co Ltd Motion estimation using orthogonal transformation/ domain block matching

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000004422A2 (en) * 1998-07-17 2000-01-27 Leighton F Thomson Method for image processing to facilitate copy protection
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
JP4636064B2 (en) * 2007-09-18 2011-02-23 ソニー株式会社 Image processing apparatus, image processing method, and program
US8401342B2 (en) * 2009-01-16 2013-03-19 A9.Com, Inc. System and method to match images using topologically equivalent correspondences
CN102087711A (en) * 2010-12-03 2011-06-08 黄晓峰 Loop-locked image comparing system
CN104252701B (en) * 2013-06-28 2017-08-29 株式会社理光 Correct the method and system of disparity map
CN103577537B (en) * 2013-09-24 2016-08-17 上海交通大学 Multiplex paring similarity towards images share website picture determines method
CN105630802A (en) * 2014-10-30 2016-06-01 阿里巴巴集团控股有限公司 Webpage duplication removal method and apparatus
CN106021383A (en) * 2016-05-11 2016-10-12 乐视控股(北京)有限公司 Method and device for computing similarity of webpages
CN110942064B (en) * 2019-11-25 2023-05-09 维沃移动通信有限公司 Image processing method and device and electronic equipment
CN112464803A (en) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 Image comparison method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105199A (en) 1998-09-29 2000-04-11 Minolta Co Ltd Printing inspection method of cylindrical container
JP2000222587A (en) 1999-01-27 2000-08-11 Matsushita Electric Ind Co Ltd Motion estimation using orthogonal transformation/ domain block matching

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
川田 正之,欠陥検査をスマートに行う画像処理手法,画像ラボ,日本工業出版株式会社,2009年10月10日,第20巻, 第10号,p.70-74
鹿毛 裕史,外3名,自己連想記憶を利用した顔認証方式の許容性拡大に関する検討,電子情報通信学会技術研究報告,社団法人電子情報通信学会,2005年12月02日,Vol.105, No.457,p.49-54

Also Published As

Publication number Publication date
CN108205810A (en) 2018-06-26
JP2018097853A (en) 2018-06-21
CN108205810B (en) 2021-08-10

Similar Documents

Publication Publication Date Title
US20110063420A1 (en) Image processing apparatus
US9330334B2 (en) Iterative saliency map estimation
CN109325907B (en) Image beautifying processing method, device and system
JP2018527687A5 (en)
WO2013145554A1 (en) Image processing apparatus and image processing method
US20130004079A1 (en) Image processing apparatus, image processing method, and program thereof
KR102268878B1 (en) Camera calibration
JP6833620B2 (en) Image analysis device, neural network device, learning device, image analysis method and program
US20110293175A1 (en) Image processing apparatus and method
CN112733767B (en) Human body key point detection method and device, storage medium and terminal equipment
JP7006127B2 (en) Image comparison equipment, methods and electronic devices
WO2022100028A1 (en) Interface traffic anomaly detection method and apparatus, terminal device, and storage medium
CN104036471A (en) Image noise estimation method and image noise estimation device
CN115937003A (en) Image processing method, image processing device, terminal equipment and readable storage medium
KR20180122382A (en) Mainly a detection method and mainly a detection device
JP6163868B2 (en) Image processing method, image processing apparatus, and image processing program
CN113255700B (en) Image feature map processing method and device, storage medium and terminal
CN109902695B (en) Line feature correction and purification method for image pair linear feature matching
JP6388507B2 (en) Image processing device
CN116818129A (en) Temperature estimation and thermal distortion correction method applied to structured light reconstruction
CN116977671A (en) Target tracking method, device, equipment and storage medium based on image space positioning
JP2021136555A5 (en)
JP2007316950A (en) Method, apparatus and program for processing image
US20140219518A1 (en) Estimating apparatus, method thereof, and computer program product therefor
CN109426775B (en) Method, device and equipment for detecting reticulate patterns in face image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150