JP2013254367A - Image retrieval device, image retrieval method, and image retrieval program - Google Patents
Image retrieval device, image retrieval method, and image retrieval program Download PDFInfo
- Publication number
- JP2013254367A JP2013254367A JP2012129769A JP2012129769A JP2013254367A JP 2013254367 A JP2013254367 A JP 2013254367A JP 2012129769 A JP2012129769 A JP 2012129769A JP 2012129769 A JP2012129769 A JP 2012129769A JP 2013254367 A JP2013254367 A JP 2013254367A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- similarity
- search
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像集合から任意のクエリ画像に類似した画像を検索する技術に関し、それぞれの画像をいくつかの領域に分割し、分割した領域間の対応関係に基づいてクエリ画像と画像集合に含まれる画像との類似度を評価する、画像検索装置、画像検索方法、及び画像検索プログラムに関する。 The present invention relates to a technique for retrieving an image similar to an arbitrary query image from an image set, and divides each image into several regions and includes them in the query image and the image set based on the correspondence between the divided regions. The present invention relates to an image search apparatus, an image search method, and an image search program for evaluating a similarity with an image to be read.
検索者に指定された画像であって検索の基準になる画像であるクエリ画像に類似する画像を、複数の画像を含む画像集合から検索する技術として、画像全体に関する画像特徴を用いる第１の手法と、画像内の一部の領域に着目して類似度を評価する第２の手法とがある。 As a technique for searching for an image designated by a searcher and similar to a query image, which is an image serving as a reference for search, from a set of images including a plurality of images, a first method using image features relating to the entire image And a second method for evaluating the similarity by focusing on a part of the region in the image.
第２の手法は、事前処理として、各画像において領域の抽出や、領域間の対応関係を推定する手間を必要とする一方で、注目物体に関する類似度を評価するので第１の手法に比べて人の感じる類似画像により近い結果を得ることができる。 The second method, as pre-processing, requires the effort of extracting regions in each image and estimating the correspondence between the regions, while evaluating the degree of similarity with respect to the object of interest, so compared to the first method It is possible to obtain a result closer to a similar image felt by a person.
しかし、クエリ画像からどの領域が人にとって注目物体なのかを検知することは難しく、想定外の検索結果が得られることも多い。非特許文献１には、人が検索結果を評価することで注目すべき評価基準を推定することにより、注目物体を検知する精度を改善している。 However, it is difficult to detect which region is a target object for a person from a query image, and unexpected search results are often obtained. Non-Patent Document 1 improves the accuracy of detecting an object of interest by estimating an evaluation criterion that should be noted by a person evaluating a search result.
また、第２の手法では、対応領域間の類似性だけでなく、画像内における複数の領域の配置関係も考慮することができる。画像内での物体の配置関係は、その画像の意味を示す重要な要因であり、配置関係の考慮によってより人の感覚に近い検索結果を得られることが期待できる。非特許文献２では、領域の配置関係を考慮した領域マッチングの手法が提案されている。 In the second method, not only the similarity between corresponding regions but also the arrangement relationship of a plurality of regions in an image can be considered. The arrangement relationship of objects in the image is an important factor indicating the meaning of the image, and it can be expected that a search result closer to the human sense can be obtained by considering the arrangement relationship. Non-Patent Document 2 proposes a region matching method that takes into account the arrangement relationship of regions.
しかしながら、上述したように、第２の手法では、画像において注目物体が含まれる領域である注目領域の検出が難しく、検索者が意図しない領域に対する類似性によって評価された結果が得られることがある。この場合、評価結果に基づいて画像集合から画像を検索すると、検索者が意図しない画像が検索結果となってしまう問題がある。 However, as described above, in the second method, it is difficult to detect a region of interest, which is a region including an object of interest in an image, and a result evaluated by similarity to a region not intended by the searcher may be obtained. . In this case, when an image is searched from the image set based on the evaluation result, there is a problem that an image unintended by the searcher becomes a search result.
本発明は、上記問題を解決すべくなされたもので、その目的は、検索者が指定したクエリ画像に類似する画像を画像集合から検索する精度を向上させることができる画像検索装置、画像検索方法、及び画像検索プログラムを提供することにある。 The present invention has been made to solve the above problem, and an object of the present invention is to provide an image search apparatus and an image search method capable of improving the accuracy of searching an image set for an image similar to a query image specified by a searcher. And providing an image search program.
上記問題を解決するために、本発明は、画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置であって、前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出部と、前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出部と、前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出部とを備えることを特徴とする画像検索装置である。 In order to solve the above problem, the present invention provides an image search apparatus for searching for an image similar to a query image from a plurality of search target images included in an image set, and a plurality of regions for dividing the search target image; For each combination with a plurality of regions that divide the query image, a region similarity calculation unit that calculates a region similarity indicating region similarity, and for each region in the query image, the region similarity corresponding to the region A region importance calculation unit that calculates the importance of the region based on the degree, and for each search target image, the region similarity corresponding to a combination of each region in the search target image and each region in the query image And an image similarity calculating unit that calculates an image similarity indicating similarity to the query image based on the degree and the importance.
また、上記問題を解決するために、本発明は、画像集合に含まれる複数の検索対象画像からクエリ画像に類似する画像を検索する画像検索装置が行う画像検索方法であって、前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出ステップと、前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出ステップと、前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出ステップとを有することを特徴とする画像検索方法である。 In order to solve the above problem, the present invention provides an image search method performed by an image search apparatus for searching for an image similar to a query image from a plurality of search target images included in an image set, wherein the search target image For each combination of a plurality of regions for dividing the query image and a plurality of regions for dividing the query image, a region similarity calculating step for calculating a region similarity indicating the similarity of the regions, and for each region in the query image, A region importance calculation step for calculating the importance of the region based on the region similarity corresponding to the region; and for each search target image, each region in the search target image and each region in the query image An image similarity calculating step for calculating an image similarity indicating similarity to the query image based on the region similarity and importance corresponding to a combination. It is an image retrieval method according to claim.
また、上記問題を解決するために、本発明は、上述の画像検索装置としてコンピュータを機能させるための画像検索プログラムである。 In order to solve the above problem, the present invention is an image search program for causing a computer to function as the above-described image search apparatus.
この発明によれば、検索対象画像における各領域とクエリ画像における各領域との全ての組み合わせに対して領域類似度を算出することにより網羅的に類似性を検討し、画像の検索において注目される領域を示す重要度を領域類似度に基づいて算出して、画像類似度に反映させる。このように、各領域の組み合わせに対する領域類似度を算出して比較する統計的手法を用いることにより、検索者が意図する領域に基づいた類似性の比較を行うことができ、クエリ画像に類似する画像の検索の精度を向上させることができる。 According to the present invention, the similarity is comprehensively examined by calculating the region similarity for all combinations of each region in the search target image and each region in the query image, and attention is paid to the image search. The importance indicating the region is calculated based on the region similarity and reflected in the image similarity. In this way, by using a statistical method for calculating and comparing the region similarity for each region combination, it is possible to perform similarity comparison based on the region intended by the searcher, which is similar to the query image. Image search accuracy can be improved.
以下、図面を参照して、本発明に係る一実施形態における画像検索装置、画像検索方法、及び画像検索プログラムを説明する。 Hereinafter, an image search apparatus, an image search method, and an image search program according to an embodiment of the present invention will be described with reference to the drawings.
図１は、本実施形態における画像検索装置１の構成を示す概略ブロック図である。画像検索装置１は、同図に示されるように、領域情報抽出部１１と、特徴付画像記憶部１２と、領域情報抽出部１３と、類似度評価部１４とを具備している。画像検索装置１は、検索者が指定するクエリ画像を受け付けて、画像記憶装置２に記憶されている複数の画像を含む画像集合からクエリ画像に類似する画像を検索し、検索結果を出力する装置である。 FIG. 1 is a schematic block diagram illustrating a configuration of an image search apparatus 1 according to the present embodiment. As shown in FIG. 1, the image search device 1 includes a region information extraction unit 11, a featured image storage unit 12, a region information extraction unit 13, and a similarity evaluation unit 14. The image search device 1 receives a query image designated by a searcher, searches for an image similar to the query image from an image set including a plurality of images stored in the image storage device 2, and outputs a search result It is.
領域情報抽出部１１は、画像領域分割部１１１と、特徴抽出部１１２とを備えている。画像領域分割部１１１は、画像記憶装置２に記憶されている各画像において、画像内の領域を当該画像に応じていくつかの領域に分割する。画像領域分割部１１１は、分割した領域を示す情報と、領域を分割した画像とを特徴抽出部１１２に出力する。画像領域分割部１１１は、公知の手法、例えばＭｅａｎＳｈｉｆｔ法などの事前知識を用いずに画像内の領域を分割する手法を用いて、画像内の領域を分割する。 The area information extraction unit 11 includes an image area division unit 111 and a feature extraction unit 112. The image area dividing unit 111 divides an area in the image into several areas according to the image in each image stored in the image storage device 2. The image area dividing unit 111 outputs information indicating the divided area and an image obtained by dividing the area to the feature extracting unit 112. The image region dividing unit 111 divides the region in the image using a known method, for example, a method for dividing the region in the image without using prior knowledge such as the MeanShift method.
図２は、画像領域分割部１１１による画像の領域分割の一例を示す図である。図２（Ａ）には領域分割の対象となる画像が示されている。図２（Ｂ）には図２（Ａ）に示された画像の領域分割の結果が示されている。 FIG. 2 is a diagram illustrating an example of image area division by the image area dividing unit 111. FIG. 2A shows an image to be subjected to region division. FIG. 2B shows the result of area division of the image shown in FIG.
図１に戻って画像検索装置１の構成について説明する。
特徴抽出部１１２は、画像領域分割部１１１が複数の領域に分割した画像の各領域について画像特徴を抽出する。ここで、画像特徴は、領域ごとの色、画像における位置、及び形と、領域間の配置関係とに基づく情報である。画像特徴における、色として領域内の平均輝度など、位置として正規化された領域の重心のＸＹ座標など、形として領域の離心率や、Ｘ方向の長さに対するＹ方向の長さの比などを用いることができる。画像特徴における配置関係として、２つの領域間の重心を結ぶベクトルや、一方の領域の中心点から見た他方の領域がしめる角度の範囲などを用いることができる。
Returning to FIG. 1, the configuration of the image search apparatus 1 will be described.
The feature extraction unit 112 extracts image features for each region of the image divided by the image region division unit 111 into a plurality of regions. Here, the image feature is information based on the color of each region, the position and shape in the image, and the arrangement relationship between the regions. In image features, the average luminance in the area as a color, the XY coordinates of the center of gravity of the area normalized as a position, the eccentricity of the area as a shape, the ratio of the length in the Y direction to the length in the X direction, etc. Can be used. As an arrangement relationship in the image feature, a vector that connects the centroids between the two regions, a range of angles that the other region indicates from the center point of one region, or the like can be used.
特徴抽出部１１２は、画像領域分割部１１１により分割された領域ごとに抽出した画像特徴を画像に付加し、画像特徴を付加した画像を特徴付画像記憶部１２に記憶させる。すなわち、領域情報抽出部１１は、画像記憶装置２に記憶されている各画像に対して、画像内を複数の領域に分割し、各領域の画像特徴を抽出し、抽出した画像特徴と各領域を示す情報とを画像に付加して特徴付画像記憶部１２に記憶させる。 The feature extraction unit 112 adds the image feature extracted for each region divided by the image region division unit 111 to the image, and causes the featured image storage unit 12 to store the image with the added image feature. That is, the region information extraction unit 11 divides the image into a plurality of regions for each image stored in the image storage device 2, extracts the image features of each region, and extracts the extracted image features and each region. Is added to the image and stored in the feature-added image storage unit 12.
特徴付画像記憶部１２は、画像記憶装置２に記憶されている画像であって、領域情報抽出部１１が抽出する画像特徴を付加された画像を記憶する。 The feature-added image storage unit 12 stores an image that is stored in the image storage device 2 and to which the image feature extracted by the region information extraction unit 11 is added.
領域情報抽出部１３は、画像領域分割部１３１と、特徴抽出部１３２とを備えている。画像領域分割部１３１は、領域情報抽出部１１に備えられている画像領域分割部１１１と同じ処理を行う。なお、画像領域分割部１３１は、検索者が指定するクエリ画像を処理の対象としている点が画像領域分割部１１１と異なる。画像領域分割部１３１は、分割した各領域を示す情報と、領域を分割した画像とを特徴抽出部１３２に出力する。 The area information extraction unit 13 includes an image area division unit 131 and a feature extraction unit 132. The image region dividing unit 131 performs the same processing as the image region dividing unit 111 provided in the region information extracting unit 11. The image area dividing unit 131 is different from the image area dividing unit 111 in that a query image designated by a searcher is a target of processing. The image area dividing unit 131 outputs information indicating each divided area and an image obtained by dividing the area to the feature extracting unit 132.
特徴抽出部１３２は、領域情報抽出部１１に備えられている特徴抽出部１１２と同じ処理を行う。なお、特徴抽出部１３２は、画像領域分割部１３１から入力される画像を処理の対象としている点が特徴抽出部１１２と異なる。特徴抽出部１１２は、抽出した画像特徴と各領域を示す情報とを画像に付加して類似度評価部１４に出力する。 The feature extraction unit 132 performs the same processing as the feature extraction unit 112 provided in the region information extraction unit 11. Note that the feature extraction unit 132 is different from the feature extraction unit 112 in that the image input from the image region division unit 131 is a processing target. The feature extraction unit 112 adds the extracted image feature and information indicating each region to the image and outputs the image to the similarity evaluation unit 14.
類似度評価部１４は、領域類似度算出部１４１と、領域重要度算出部１４２と、画像類似度算出部１４３とを備えている。領域類似度算出部１４１は、領域情報抽出部１３から入力されるクエリ画像及びクエリ画像の各領域の画像特徴に基づいて、特徴付画像記憶部１２に記憶されている各画像の領域との領域類似度を算出し、算出した領域類似度から対応確率を算出する。対応確率は、クエリ画像の領域と、特徴付画像記憶部１２に記憶されている画像（以下、検索対象画像という。）の領域とが対応する確率である。 The similarity evaluation unit 14 includes a region similarity calculation unit 141, a region importance calculation unit 142, and an image similarity calculation unit 143. The region similarity calculation unit 141 is based on the query image input from the region information extraction unit 13 and the image features of each region of the query image, and the region with each image region stored in the featured image storage unit 12. The similarity is calculated, and the correspondence probability is calculated from the calculated region similarity. The correspondence probability is a probability that a region of the query image corresponds to a region of an image (hereinafter referred to as a search target image) stored in the featured image storage unit 12.
領域類似度算出部１４１が領域類似度を算出する処理について具体的に説明する。領域類似度算出部１４１は、クエリ画像の各領域（ｒｉ；１≦ｉ≦Ｎ）と、検索対象画像の各領域（ｒ’ｋ；１≦ｋ≦Ｍ）との全ての組み合わせに対して領域間の領域類似度Ｓ１を、次式（１）を用いて算出する。なお、Ｎはクエリ画像における領域の数であり、Ｍは検索対象画像における領域の数である。 The process in which the region similarity calculation unit 141 calculates the region similarity will be specifically described. The region similarity calculation unit 141 performs the processing for all combinations of each region (r i ; 1 ≦ i ≦ N) of the query image and each region (r ′ k ; 1 ≦ k ≦ M) of the search target image. The area similarity S 1 between the areas is calculated using the following equation (1). N is the number of regions in the query image, and M is the number of regions in the search target image.
式（１）において、Ｓｃは色の類似度を示し、Ｓｅは形の類似度を示し、Ｓｐは位置の類似度を示す。ｗｃ、ｗｓ、ｗｐはそれぞれの重要度を調節するパラメータであり、その値は予め定められる。各類似度Ｓｃ、Ｓｅ、Ｓｐは、次式（２）〜式（４）により算出される。 In Equation (1), S c represents the color similarity, Se represents the shape similarity, and S p represents the position similarity. w c , w s , and w p are parameters for adjusting the respective importance levels, and their values are determined in advance. Each similarity S c , S e , S p is calculated by the following equations (2) to (4).
式（２）〜式（４）におけるベクトルｃｉ、ｅｉ、ｏｉは色、形状、位置の特徴ベクトルである。ベクトルｃｉ、ｅｉ、ｏｉは、特徴抽出部１１２及び特徴抽出部１３２において定められる。例えば、ベクトルｃｉは上述したように領域における色を表すパラメータを組み合わせて得られるベクトルである。また、ベクトルｅｉは領域の形状を表すパラメータを組み合わせて得られるベクトルである。同様に、ベクトルｏｉは領域の位置を表すパラメータを組み合わせて得られるベクトルである。また、σｃ、σｅ、σｐは特徴ベクトルの差分による類似度変化の度合いを調整するパラメータである。 The vectors c i , e i and o i in the equations (2) to (4) are feature vectors of color, shape and position. The vectors c i , e i and o i are determined by the feature extraction unit 112 and the feature extraction unit 132. For example, a vector obtained by combining the parameters representing the color of the region as the vector c i described above. A vector e i is a vector obtained by combining parameters representing the shape of the region. Similarly, the vector o i is a vector obtained by combining parameters representing the position of the region. Also, σ c , σ e , and σ p are parameters for adjusting the degree of similarity change due to feature vector differences.
次に、領域類似度算出部１４１は、クエリ画像における領域（ｒｉ，ｒｊ；１≦ｉ，ｊ≦Ｎ ただしｉ≠ｊ）間の配置関係と、検索対象画像における領域（ｒ’ｋ，ｒ’ｌ；１≦ｋ，ｌ≦Ｍ ただしｋ≠ｌ）の配置関係とに対する領域類似度Ｓ２を、次式（５）を用いて算出する。 Next, the region similarity calculation unit 141 calculates the arrangement relationship between the regions (r i , r j ; 1 ≦ i, j ≦ N where i ≠ j) in the query image and the region (r ′ k , The region similarity S 2 with respect to the arrangement relationship of r ′ l ; 1 ≦ k, l ≦ M where k ≠ l) is calculated using the following equation (5).
式（５）における、Ｓｏは２領域配置の類似度であり、Ｓｓは２領域のサイズ比の類似度である。また、ｗｏ、ｗｓはそれぞれの重要度を調節するパラメータであり、その値は予め定められる。各類似度Ｓｏ、Ｓｓは次式（６）及び式（７）により算出される。 In Expression (5), S o is the similarity of the two-region arrangement, and S s is the similarity of the size ratio of the two regions. Further, w o and w s are parameters for adjusting the respective importance levels, and their values are determined in advance. Each similarity S o and S s is calculated by the following equations (6) and (7).
式（７）におけるρｉ等は画像全体に対する領域ｒｉの面積比である。
領域類似度算出部１４１は、クエリ画像の全ての領域（ｒｉ；１≦ｉ≦Ｎ）と、検索対象画像の全ての領域（ｒ’ｋ；１≦ｋ≦Ｍ）とについて領域類似度Ｓ１（ｒｉ，ｒ’ｋ）を算出する。また、領域類似度算出部１４１は、クエリ画像の領域のペア（ｒｉ，ｒｊ；１≦ｉ，ｊ≦Ｎ ただしｉ≠ｊ）と、検索対象画像の領域のペア（ｒ’ｋ，ｒ’ｌ；１≦ｋ，ｌ≦Ｍ ただしｋ≠ｌ）についての領域類似度Ｓ２（ｒｉ，ｒｊ，ｒ’ｋ，ｒ’ｌ）を算出する。
In equation (7), ρ i and the like are the area ratio of the region r i to the entire image.
The region similarity calculation unit 141 includes a region similarity S for all regions (r i ; 1 ≦ i ≦ N) of the query image and all regions (r ′ k ; 1 ≦ k ≦ M) of the search target image. 1 (r i , r ′ k ) is calculated. The region similarity calculation unit 141 also includes a pair of query image regions (r i , r j ; 1 ≦ i, j ≦ N where i ≠ j) and a region pair of search target images (r ′ k , r The region similarity S 2 (r i , r j , r ′ k , r ′ l ) for 'l; 1 ≦ k, l ≦ M, where k ≠ l ) is calculated.
領域類似度算出部１４１は、算出した領域類似度Ｓ１と領域類似度Ｓ２とを用いて、各領域が対応している確率である対応確率ｐｉｋを推定する。対応確率ｐｉｋは、次式（８）及び式（９）を用いて算出される。 The region similarity calculation unit 141 uses the calculated region similarity S 1 and the region similarity S 2 to estimate a correspondence probability p ik that is a probability that each region corresponds. The correspondence probability p ik is calculated using the following equations (8) and (9).
領域類似度算出部１４１は、式（９）に示されるように、領域ｒｉそれぞれについて正規化した対応確率ｐｉｋを算出する。 The region similarity calculation unit 141 calculates the corresponding probability p ik normalized for each region r i as shown in Expression (9).
領域重要度算出部１４２は、領域類似度算出部１４１が算出した領域類似度Ｓ１及び領域類似度Ｓ２から、領域重要度ｇｉと配置重要度ｈｉ，ｊとを算出する。領域重要度算出部１４２は、検索対象画像ごとにＮ次元の類似ベクトルｘを設定する。類似ベクトルの要素ｘｉ（1≦ｉ≦Ｎ）は次式（１０）で定められる。 The region importance calculation unit 142 calculates the region importance g i and the arrangement importance h i, j from the region similarity S 1 and the region similarity S 2 calculated by the region similarity calculation unit 141. The region importance calculation unit 142 sets an N-dimensional similarity vector x for each search target image. The element x i (1 ≦ i ≦ N) of the similar vector is determined by the following equation (10).
領域重要度算出部１４２は、類似ベクトルｘの集合に対して次元削減の手法を適用し、判別能力の高い成分を求めることで、得られた成分ベクトルを各領域に対する領域重要度ｇｉとする。次元削減の手法には、公知の手法、例えば主成分分析や、局所性保存射影、１−Ｃｌａｓｓ ＳＶＭなどを適用することができる。 The region importance calculation unit 142 applies a dimension reduction method to the set of similar vectors x and obtains a component having high discrimination ability, and sets the obtained component vector as the region importance g i for each region. . Known techniques such as principal component analysis, locality preserving projection, 1-Class SVM, and the like can be applied to the dimension reduction technique.
また、領域重要度算出部１４２は、配置重要度ｈｉ，ｊについても、領域のペア（ｒｉ，ｒｊ）に関する類似ベクトルｙを設定し、次元削減を行うことで配置重要度ｈｉ，ｊを算出する。類似ベクトルｙは（Ｎ（Ｎ−１）／２）次元であり、その要素ｙ（ｉ，ｊ）（1≦ｉ，ｊ≦Ｎ ただしｉ≠ｊ）は次式（１１）で定められる。 The region importance calculation unit 142 also sets the similarity vector y related to the pair of regions (r i , r j ) for the placement importance h i, j and performs dimension reduction to reduce the placement importance h i, j is calculated. The similarity vector y has (N (N−1) / 2) dimensions, and its element y (i, j) (1 ≦ i, j ≦ N where i ≠ j) is defined by the following equation (11).
画像類似度算出部１４３は、領域類似度算出部１４１が算出した領域類似度Ｓ１、領域類似度Ｓ２及び対応確率ｐｉｋと、領域重要度算出部１４２が算出した領域重要度ｇｉ及び配置重要度ｈｉ，ｊとから、検索対象画像ごとに画像類似度（Similarity）を算出する。具体的には、画像類似度算出部１４３は、次式（１２）を用いて、画像類似度を算出する。 The image similarity calculation unit 143 includes the region similarity S 1 , the region similarity S 2 and the corresponding probability p ik calculated by the region similarity calculation unit 141, the region importance g i calculated by the region importance calculation unit 142, and An image similarity (Similarity) is calculated for each search target image from the arrangement importance degree hi , j . Specifically, the image similarity calculation unit 143 calculates the image similarity using the following equation (12).
画像類似度算出部１４３は、算出した画像類似度の高い順に検索対象画像を出力する。すなわち、画像類似度の高い順にソートされた検索対象画像が、検索結果として出力される。 The image similarity calculation unit 143 outputs search target images in descending order of the calculated image similarity. That is, search target images sorted in descending order of image similarity are output as search results.
図３は、本実施形態における画像検索装置１が行う画像検索処理を示すフローチャートである。なお、画像検索装置１は、画像記憶装置２に記憶されている各画像（検索対象画像）に対する領域の分割と画像特徴の抽出とを行い、画像特徴を付加した検索対象画像を特徴付画像記憶部１２に記憶させる事前処理を終えているものとする。 FIG. 3 is a flowchart showing image search processing performed by the image search apparatus 1 according to this embodiment. The image search device 1 divides a region for each image (search target image) stored in the image storage device 2 and extracts an image feature, and stores the search target image to which the image feature is added as a feature-added image storage. It is assumed that the preprocessing stored in the unit 12 has been completed.
画像検索装置１において、検索者の操作を受け付けてクエリ画像が入力されると（ステップＳ１０１）、画像領域分割部１３１がクエリ画像内を複数の領域に分割する（ステップＳ１０２）。
特徴抽出部１３２は、クエリ画像の各領域に対して画像特徴を抽出し、各領域を示す情報と、抽出した画像特徴とを類似度評価部１４に出力する（ステップＳ１０３）。
In the image search device 1, when a query image is input upon receiving a searcher's operation (step S101), the image area dividing unit 131 divides the query image into a plurality of areas (step S102).
The feature extraction unit 132 extracts image features for each region of the query image, and outputs information indicating each region and the extracted image features to the similarity evaluation unit 14 (step S103).
領域類似度算出部１４１は、クエリ画像における各領域の画像特徴と、特徴付画像記憶部１２に記憶されている検索対象画像における各領域の画像特徴とから、領域類似度Ｓ１及び領域類似度Ｓ２を算出する。続いて、領域類似度算出部１４１は、算出した領域類似度Ｓ１及び領域類似度Ｓ２から対応確率ｐｉｋを算出する（ステップＳ１０４）。 The region similarity calculation unit 141 calculates the region similarity S 1 and the region similarity from the image features of each region in the query image and the image features of each region in the search target image stored in the featured image storage unit 12. to calculate the S 2. Subsequently, the region similarity calculation unit 141 calculates a correspondence probability p ik from the calculated region similarity S 1 and region similarity S 2 (step S104).
領域重要度算出部１４２は、ステップＳ１０４において算出された領域類似度Ｓ１及び領域類似度Ｓ２に基づいて、領域重要度ｇｉと配置重要度ｈｉ，ｊとを算出する（ステップＳ１０５）。 The region importance calculation unit 142 calculates the region importance g i and the arrangement importance h i, j based on the region similarity S 1 and the region similarity S 2 calculated in step S104 (step S105). .
画像類似度算出部１４３は、ステップＳ１０４において算出された領域類似度Ｓ１及び領域類似度Ｓ２、並びに対応確率ｐｉｋと、ステップＳ１０６において算出された領域重要度ｇｉ及び配置重要度ｈｉ，ｊとに基づいて、検索対象画像ごとに画像類似度を算出する（ステップＳ１０６）。
画像類似度算出部１４３は、算出した画像類似度が予め定められた閾値以上の画像類似度に対応する検索対象画像を画像類似度の高い順にソートし、ソートされた検索対象画像を検索結果として出力し（ステップＳ１０７）、画像検索処理を終了する。
The image similarity calculation unit 143 includes the region similarity S 1 and the region similarity S 2 calculated in step S104, the corresponding probability p ik , the region importance g i and the arrangement importance h i calculated in step S106. , J and the image similarity is calculated for each search target image (step S106).
The image similarity calculation unit 143 sorts the search target images corresponding to the image similarities whose calculated image similarity is equal to or higher than a predetermined threshold in descending order of image similarity, and uses the sorted search target images as search results. In step S107, the image search process is terminated.
上述のように、画像検索装置１は、検索対象画像に対する事前処理と、クエリ画像が入力されてから行われる画像検索処理との２つの処理により、クエリ画像に類似する画像を検索する処理を実施する。画像検索装置１では、クエリ画像及び検索対象画像を複数の領域に分割し、各領域の画像特徴に基づいた領域の類似度と対応確率とを算出し、算出した領域の類似度と対応確率とに基づいて、検索対象画像からクエリ画像に類似する画像を検索する。このように、検索対象画像の各領域とクエリ画像の各領域との全ての組み合わせに対して領域類似度を算出することにより網羅的に類似性を検討する統計的手法を用いて対応する領域、すなわち着目する領域を推定することにより、クエリ画像に類似する画像の検索の精度を向上させることができる。 As described above, the image search device 1 performs a process of searching for an image similar to the query image by the two processes of the pre-processing for the search target image and the image search process performed after the query image is input. To do. The image search apparatus 1 divides the query image and the search target image into a plurality of regions, calculates the similarity and correspondence probability of the regions based on the image features of each region, and calculates the similarity and correspondence probability of the calculated regions. Based on the above, an image similar to the query image is searched from the search target image. Thus, the corresponding region using a statistical method for comprehensively examining the similarity by calculating the region similarity for each combination of each region of the search target image and each region of the query image, That is, by estimating the region of interest, it is possible to improve the accuracy of searching for an image similar to the query image.
また、画像検索装置１では、クエリ画像における各領域に対する領域重要度ｇｉと配置重要度ｈｉ，ｊとを領域重要度算出部１４２が算出して、画像類似度算出部１４３が画像類似度に反映させている。これにより、クエリ画像において特徴的な領域、及び領域間の特徴的な配置関係に対する重み（重要度）を高く設定することができるので、クエリ画像に類似する画像の検索の精度を向上させることができる。 Further, in the image search device 1, the region importance calculation unit 142 calculates the region importance g i and the arrangement importance h i, j for each region in the query image, and the image similarity calculation unit 143 calculates the image similarity. It is reflected in. This makes it possible to set a high weight (importance) for a characteristic region and a characteristic arrangement relationship between regions in the query image, thereby improving the accuracy of searching for an image similar to the query image. it can.
また、画像検索装置１は、クエリ画像に類似する画像の検索において、検索者等による検索結果に対する適合性についてフィードバックを受けずとも画像の検索の精度を向上させることができるため、検索者によるフィードバックのばらつきの影響を受けずに安定した検索結果を得ることができる。 Further, the image search apparatus 1 can improve the accuracy of image search without receiving feedback on the suitability of the searcher or the like for the search result in searching for an image similar to the query image. Stable search results can be obtained without being affected by variations in
なお、上述の実施形態においては、検索対象画像の画像特徴を算出する領域情報抽出部１１と、クエリ画像の画像特徴を算出する領域情報抽出部１３とを個別に画像検索装置１が具備する構成について説明した。しかし、これに限ることなく、領域情報抽出部１３を具備せずに領域情報抽出部１１がクエリ画像の画像特徴を算出するようにしてもよいし、逆に領域情報抽出部１１を具備せずに領域情報抽出部１３が検索対象画像の画像特徴を算出するようにしてもよい。 In the above-described embodiment, the image search device 1 includes the area information extraction unit 11 that calculates the image feature of the search target image and the area information extraction unit 13 that calculates the image feature of the query image. Explained. However, the present invention is not limited to this, and the region information extraction unit 11 may calculate the image feature of the query image without including the region information extraction unit 13, and conversely, the region information extraction unit 11 may not be provided. Alternatively, the area information extraction unit 13 may calculate the image feature of the search target image.
また、上述の実施形態においては、画像検索装置１が画像類似度の高い順にソートされた検索対象画像を出力する構成について説明したが、これに限ることなく、各検索対象画像の画像類似度を出力するようにしてもよいし、画像類似度が予め定められた閾値以上の検索対象画像を出力するようにしてもよい。 In the above-described embodiment, the configuration in which the image search apparatus 1 outputs the search target images sorted in descending order of the image similarity has been described. However, the present invention is not limited to this, and the image similarity of each search target image is determined. You may make it output, You may make it output the search object image whose image similarity is more than a predetermined threshold value.
また、上述の実施形態においては、画像検索装置１が各検索対象画像における領域の画像特徴を算出する構成を説明した。しかし、これに限ることなく、各領域の画像特徴を付加された検索対象画像が予め用意されている場合、画像検索装置１は、画像特徴を付加された検索対象画像とクエリ画像とを入力とし、領域情報抽出部１３と類似度評価部１４とを具備する構成としてもよい。更には、各領域の画像特徴を付加されたクエリ画像が予め用意されている場合、画像検索装置１は、画像特徴を付加された検索対象画像及びクエリ画像を入力とし、類似度評価部１４を具備する構成としてもよい。 In the above-described embodiment, the configuration in which the image search device 1 calculates the image feature of the area in each search target image has been described. However, the present invention is not limited to this, and when a search target image to which image features of each region are added is prepared in advance, the image search device 1 receives the search target image to which the image features are added and a query image as inputs. The region information extraction unit 13 and the similarity evaluation unit 14 may be provided. Furthermore, when a query image to which image features of each region are added is prepared in advance, the image search device 1 receives the search target image to which the image features are added and the query image as input, and the similarity evaluation unit 14 It is good also as a structure to comprise.
また、画像検索装置１は、領域類似度Ｓ１、Ｓ２を算出する際に用いる重み係数（ｗｃ，ｗｅ，ｗｐ，ｗｏ，ｗｓ）の組み合わせを複数記憶しておき、重み計数の組み合わせごとに検索結果を出力するようにしてもよい。例えば、領域類似度Ｓ１の算出において、領域の色に対する重みを高くした場合と、領域の形状に対する重みを高くした場合との２種類の検索結果を出力するようにしてもよい。重み係数の複数の組み合わせを用いた検索結果を検索者に提示することで、より検索の精度を向上させることができる。 Further, the image retrieval apparatus 1, the weighting coefficients used in calculating the area similarity S 1, S 2 (w c , w e, w p, w o, w s) previously stores a plurality of combinations of weights A search result may be output for each combination of counts. For example, in the calculation of the region similarity S 1 , two types of search results may be output when the weight for the region color is increased and when the weight for the shape of the region is increased. By presenting a search result using a plurality of combinations of weighting factors to the searcher, the accuracy of the search can be further improved.
また、画像記憶装置２に記憶させておく画像（検索対象画像）をキーワード検索などによって、特定のカテゴリに属する画像に絞り込んでおくようにしてもよい。予め特定のカテゴリに絞り込まれた画像を検索対象とすることにより、領域（注目物体）に関する類似性、及び注目物体の配置関係の類似性を高くすることができ、更に検索の精度を向上させることができる。 Further, the images (search target images) stored in the image storage device 2 may be narrowed down to images belonging to a specific category by keyword search or the like. By selecting images that have been narrowed down to a specific category in advance, the similarity with respect to the region (target object) and the similarity of the positional relationship of the target object can be increased, and the accuracy of the search can be further improved. Can do.
なお、本発明における画像検索装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像検索処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 The program for realizing the function of the image retrieval apparatus according to the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed to execute image retrieval processing. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
複数の画像からユーザの指定したクエリ画像に類似する画像を検索することが不可欠な用途に適用できる。 Searching for an image similar to a query image designated by the user from a plurality of images can be applied to an indispensable use.
１…画像検索装置
２…画像記憶装置
１１，１３…領域情報抽出部
１２…特徴付画像記憶部
１４…類似度評価部
１１１，１３１…画像領域分割部
１１２，１３２…特徴抽出部
１４１…領域類似度算出部
１４２…領域重要度算出部
１４３…画像類似度算出部
DESCRIPTION OF SYMBOLS 1 ... Image retrieval apparatus 2 ... Image storage apparatus 11, 13 ... Area information extraction part 12 ... Image storage part with characteristics 14 ... Similarity evaluation part 111, 131 ... Image area division part 112, 132 ... Feature extraction part 141 ... Area similarity Degree calculation unit 142 ... Area importance calculation unit 143 ... Image similarity calculation unit
Claims (3)
前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出部と、
前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出部と、
前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出部と
を備えることを特徴とする画像検索装置。 An image search device for searching for an image similar to a query image from a plurality of search target images included in an image set,
An area similarity calculation unit that calculates an area similarity indicating the similarity of areas for each combination of a plurality of areas that divide the search target image and a plurality of areas that divide the query image;
For each region in the query image, a region importance calculation unit that calculates the importance of the region based on the region similarity corresponding to the region;
Image similarity indicating similarity to the query image based on the region similarity and importance corresponding to a combination of each region in the search image and each region in the query image for each search target image An image search apparatus comprising: an image similarity calculation unit that calculates a degree.
前記検索対象画像を分割する複数の領域と前記クエリ画像を分割する複数の領域との組み合わせごとに、領域の類似性を示す領域類似度を算出する領域類似度算出ステップと、
前記クエリ画像における領域ごとに、該領域に対応する前記領域類似度に基づいて、該領域の重要度を算出する領域重要度算出ステップと、
前記検索対象画像ごとに、該検索対象画像における各領域と前記クエリ画像における各領域との組み合わせに対応する前記領域類似度及び前記重要度に基づいて、前記クエリ画像との類似性を示す画像類似度を算出する画像類似度算出ステップと
を有することを特徴とする画像検索方法。 An image search method performed by an image search device for searching for an image similar to a query image from a plurality of search target images included in an image set,
A region similarity calculation step for calculating a region similarity indicating a region similarity for each combination of a plurality of regions for dividing the search target image and a plurality of regions for dividing the query image;
For each region in the query image, a region importance calculation step for calculating the importance of the region based on the region similarity corresponding to the region;
Image similarity indicating similarity to the query image based on the region similarity and importance corresponding to a combination of each region in the search image and each region in the query image for each search target image An image search method comprising: an image similarity calculation step for calculating a degree.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012129769A JP5764094B2 (en) | 2012-06-07 | 2012-06-07 | Image search apparatus, image search method, and image search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012129769A JP5764094B2 (en) | 2012-06-07 | 2012-06-07 | Image search apparatus, image search method, and image search program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013254367A true JP2013254367A (en) | 2013-12-19 |
| JP5764094B2 JP5764094B2 (en) | 2015-08-12 |
Family
ID=49951818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012129769A Expired - Fee Related JP5764094B2 (en) | 2012-06-07 | 2012-06-07 | Image search apparatus, image search method, and image search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5764094B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049891A (en) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | Object region identification method, device and program |
| CN111291765A (en) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | Method and device for determining similar pictures |
| US11481431B2 (en) | 2019-10-18 | 2022-10-25 | Fujifilm Business Innovation Corp. | Search criterion determination system, search system, and computer readable medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11167642A (en) * | 1997-12-03 | 1999-06-22 | Omron Corp | Picture feature extraction method and device, and picture retrieval method and device |
| JP2004021430A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image searching device, image searching method, and image searching program |
| US20050002568A1 (en) * | 2003-07-01 | 2005-01-06 | Bertrand Chupeau | Method and device for measuring visual similarity |
| JP2007316950A (en) * | 2006-05-25 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for processing image |
-
2012
- 2012-06-07 JP JP2012129769A patent/JP5764094B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11167642A (en) * | 1997-12-03 | 1999-06-22 | Omron Corp | Picture feature extraction method and device, and picture retrieval method and device |
| JP2004021430A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image searching device, image searching method, and image searching program |
| US20050002568A1 (en) * | 2003-07-01 | 2005-01-06 | Bertrand Chupeau | Method and device for measuring visual similarity |
| JP2007316950A (en) * | 2006-05-25 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for processing image |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049891A (en) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | Object region identification method, device and program |
| CN111291765A (en) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | Method and device for determining similar pictures |
| US11481431B2 (en) | 2019-10-18 | 2022-10-25 | Fujifilm Business Innovation Corp. | Search criterion determination system, search system, and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5764094B2 (en) | 2015-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182422B2 (en) | Media unit retrieval and related processes | |
| US9436707B2 (en) | Content-based image ranking | |
| JP4813744B2 (en) | User profile classification method based on analysis of web usage | |
| JP6004016B2 (en) | Information conversion method, information conversion apparatus, and information conversion program | |
| US9063954B2 (en) | Near duplicate images | |
| CN108985190B (en) | Target identification method and device, electronic equipment and storage medium | |
| US9081822B2 (en) | Discriminative distance weighting for content-based retrieval of digital pathology images | |
| CN107590505B (en) | Learning method combining low-rank representation and sparse regression | |
| WO2020168992A1 (en) | Product recommendation method, apparatus, and device and storage medium | |
| US10346861B2 (en) | Adaptive sampling scheme for imbalanced large scale data | |
| JP5764094B2 (en) | Image search apparatus, image search method, and image search program | |
| JPWO2009060722A1 (en) | Similar image search device | |
| KR102170535B1 (en) | Apparatus and method for searching based on user preference using sentiment analysis | |
| CN112417845A (en) | Text evaluation method and device, electronic equipment and storage medium | |
| CN111597220B (en) | Data mining method and device | |
| JP2015130041A (en) | Image processing apparatus and image processing program | |
| Syafie et al. | Missing data handling using the naive bayes logarithm (NBL) formula | |
| EP3139284A1 (en) | Media unit retrieval and related processes | |
| EP3139282A1 (en) | Media unit retrieval and related processes | |
| EP3139281A1 (en) | Media unit retrieval and related processes | |
| EP3139279A1 (en) | Media unit retrieval and related processes | |
| JP4333902B2 (en) | Information search device, information search method, and information search program | |
| Oard et al. | Unsupervised System Combination for Set-Based Retrieval with Expectation Maximization | |
| Ye et al. | A local method for canonical correlation analysis | |
| CN117472266A (en) | Method, apparatus and computer program product for processing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5764094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |