JP2010204908A - Image retrieval system - Google Patents
Image retrieval system Download PDFInfo
- Publication number
- JP2010204908A JP2010204908A JP2009049158A JP2009049158A JP2010204908A JP 2010204908 A JP2010204908 A JP 2010204908A JP 2009049158 A JP2009049158 A JP 2009049158A JP 2009049158 A JP2009049158 A JP 2009049158A JP 2010204908 A JP2010204908 A JP 2010204908A
- Authority
- JP
- Japan
- Prior art keywords
- corresponding point
- image
- pair
- search target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像検索システムに係り、特に、クエリ画像に類似した画像を多数の検索対象画像の中から検索する際に、類似の比較が容易な領域を予め抽出し、当該領域を対象に検索を行う画像検索システムに関する。 The present invention relates to an image search system, and in particular, when searching for an image similar to a query image from a large number of search target images, a region that can be easily compared is extracted in advance, and the region is searched for. The present invention relates to an image search system for performing
建物など剛体の画像をロバストに検出する手法の一つとして、非特許文献１にSIFT(Scale Invariant Feature Transform)が開示されている。このSIFTでは、クエリ画像および検索対象画像の双方から予め局所特徴量が抽出され、各画像の局所特徴量間のユークリッド距離Lに基づいて最近傍探索が実行される。そして、距離の近い局所特徴量同士が対応点ペアとされ、最終的に対応点ペアの多い検索対象画像が検索結果とされる。このとき、最近傍の特徴点の対応点マッチング精度を高めるために、最も近い距離L1のみならず２番目に近い距離L2も求められ、両者の比(L1/L2：ratio of distances)が所定の閾値t以下であれば対応点とされるが、閾値tよりも大きければ対応点とされない。 Non-Patent Document 1 discloses SIFT (Scale Invariant Feature Transform) as one method for robustly detecting an image of a rigid body such as a building. In this SIFT, local feature amounts are extracted in advance from both the query image and the search target image, and the nearest neighbor search is executed based on the Euclidean distance L between the local feature amounts of each image. Then, local feature quantities having a short distance are used as corresponding point pairs, and finally, a search target image having many corresponding point pairs is used as a search result. At this time, not only the nearest distance L1 but also the second nearest distance L2 is obtained in order to improve the matching point matching accuracy of the nearest feature point, and the ratio (L1 / L2: ratio of distances) of both is predetermined. If it is less than or equal to the threshold value t, it is regarded as a corresponding point.
非特許文献１では、予備実験においてt=0.85で急激な誤対応点増加が確認されたことからt=0.8としている。しかしながら、閾値tを小さな値に設定すれば、対応点の精度は高くなる傾向を示すものの、対応点ペアが少なくなるので検索精度を高くできるとは限らない。すなわち、非特許文献１では閾値tを適正値に設定することが難しかった。 In Non-Patent Document 1, t = 0.8 because a rapid increase in false correspondence points was confirmed at t = 0.85 in a preliminary experiment. However, if the threshold value t is set to a small value, the accuracy of corresponding points tends to increase, but the number of corresponding point pairs decreases, so the search accuracy cannot always be increased. That is, in Non-Patent Document 1, it is difficult to set the threshold value t to an appropriate value.
このような技術課題に対して、特許文献１には、所定数の対応点ペアが得られるように、対応点ペアが少なければ閾値tを段階的に上げ、多ければ閾値tを段階的に下げるといったように、抽出される対応点ペアの個数に応じて閾値tを適応的に変更する技術が開示されている。 In response to such a technical problem, Patent Document 1 discloses that a threshold t is increased stepwise if there are few corresponding point pairs and a threshold t is decreased stepwise if there are many, so that a predetermined number of corresponding point pairs can be obtained. As described above, a technique for adaptively changing the threshold value t according to the number of corresponding point pairs to be extracted is disclosed.
上記の特許文献１では、所定の閾値tで得られる対応点ペアが少ないと、閾値tが適応的に上昇するので対応点ペアが増える。しかしながら、もともと同一物体が画像内に含まれていないために対応点ペアが少ないクエリ画像および検索対象画像のペアについても閾値tが上げられてしまうので、本来であれば対応点ペアとされない特徴点同士までもが対応点ペアとされてしまうという問題があった。 In the above-mentioned Patent Document 1, if the number of corresponding point pairs obtained with a predetermined threshold value t is small, the threshold value t increases adaptively, so the number of corresponding point pairs increases. However, since the same object is not originally included in the image, the threshold value t is also raised for a pair of query image and search target image with few corresponding point pairs. There was a problem that even a pair of points would be a corresponding point pair.
本発明の目的は、上記した従来技術の課題を解決し、精度の高い十分な個数の対応点ペアに基づいて、画像検索を高精度で行える画像検索システムを提供することにある。 An object of the present invention is to solve the above-described problems of the prior art and provide an image search system that can perform image search with high accuracy based on a sufficient number of corresponding point pairs with high accuracy.
上記の目的を達成するために、本発明は、クエリ画像に類似した画像を検索対象画像の集合から検索する画像検索システムにおいて、以下のような手段を講じた点に特徴がある。 In order to achieve the above object, the present invention is characterized in that the following measures are taken in an image search system that searches an image similar to a query image from a set of search target images.
(1)クエリ画像および各検索対象画像の各特徴点から局所特徴量を抽出する局所特徴量抽出手段と、クエリ画像および各検索対象画像の局所特徴量同士を比較し、類似度が所定の第１条件を満足する特徴点のペアを第１対応点ペアとして抽出する第１対応点ペア抽出手段と、クエリ画像および検索対象画像のペアごとに、前記対応点ペアに基づいて比較領域を限定する比較領域限定手段とを具備し、クエリ画像および検索対象画像のペアごとに、比較領域同士を比較することを特徴とする。 (1) A local feature amount extracting unit that extracts a local feature amount from each feature point of the query image and each search target image is compared with the local feature amount of the query image and each search target image, and the similarity is predetermined. A first corresponding point pair extracting unit that extracts a pair of feature points satisfying one condition as a first corresponding point pair, and a comparison region is limited based on the corresponding point pair for each pair of a query image and a search target image. A comparison area limiting unit, and the comparison areas are compared for each pair of a query image and a search target image.
(2)クエリ画像および検索対象画像のペアごとに、各比較領域の局所特徴量同士を比較し、類似度が所定の第２条件を満足する特徴点のペアを第２対応点ペアとして抽出する第２対応点ペア抽出手段と、第２対応点ペアの個数に基づいて検索結果を出力する検索結果出力手段とを具備し、第２条件が第１条件よりも緩いことを特徴とする。 (2) For each pair of query image and search target image, the local feature amounts of each comparison region are compared with each other, and a feature point pair whose similarity satisfies a predetermined second condition is extracted as a second corresponding point pair. A second corresponding point pair extracting unit; and a search result output unit for outputting a search result based on the number of second corresponding point pairs. The second condition is looser than the first condition.
本発明によれば、以下のような効果が達成される。
(1)クエリ画像および各検索対象画像内に、比較的厳しい条件を満足する対応点ペアに基づいて比較領域を設定すると共に、対応点ペアが得られない非類似の検索対象画像を予め排除したので、クエリ画像および各検索対象画像の類似度を、各比較領域内に比較的緩やかな条件で設定した対応点ペアの個数に基づいて判別すれば、精度の高い十分な個数の対応点ペアに基づいて画像検索を行えるようになる。
(2)クエリ画像および各検索対象画像内に、比較的厳しい条件を満足する対応点ペアに基づいて比較領域を設定すると共に、対応点ペアが得られない非類似の検索対象画像を予め排除し、クエリ画像および各検索対象画像の類似度を、各比較領域内に比較的緩やかな条件で設定した対応点ペアの個数に基づいて判別するので、精度の高い十分な個数の対応点ペアに基づいて画像検索を行えるようになる。
According to the present invention, the following effects are achieved.
(1) In the query image and each search target image, a comparison area is set based on corresponding point pairs that satisfy relatively strict conditions, and dissimilar search target images for which corresponding point pairs cannot be obtained are excluded in advance. Therefore, if the similarity between the query image and each search target image is determined based on the number of corresponding point pairs set in each comparison area under relatively loose conditions, a sufficient number of corresponding point pairs with high accuracy can be obtained. Image search can be performed based on this.
(2) In the query image and each search target image, a comparison area is set based on corresponding point pairs that satisfy relatively strict conditions, and dissimilar search target images for which no corresponding point pairs are obtained are excluded in advance. Since the similarity between the query image and each search target image is determined based on the number of corresponding point pairs set in each comparison area under relatively loose conditions, it is based on a sufficient number of corresponding point pairs with high accuracy. Image search.
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図１は、本発明の一実施形態に係る画像検索システムの主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。 Hereinafter, the best embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a main part of an image search system according to an embodiment of the present invention. Here, illustrations of components unnecessary for the description of the present invention are omitted.
局所特徴量抽出部１は、クエリ画像Iqおよび多数の検索対象画像Iw(k)の各特徴点を基準にして局所特徴量fq(i)，fw(k,j)を抽出する。符号kは検索対象画像の識別子である。局所領域の特定には、非特許文献１に開示されているDifference of Gaussian (DoG)によるスケールスペース内の極値に基づく特徴点抽出が用いられる。この特徴点抽出の結果、特徴点の位置およびその領域範囲(スケール)が算出される。特徴領域内の特徴記述子としては、輝度勾配の方向ヒストグラムが用いられる。 The local feature quantity extraction unit 1 extracts local feature quantities fq (i) and fw (k, j) with reference to each feature point of the query image Iq and a large number of search target images Iw (k). A symbol k is an identifier of the search target image. For specifying the local region, feature point extraction based on the extreme value in the scale space by Difference of Gaussian (DoG) disclosed in Non-Patent Document 1 is used. As a result of the feature point extraction, the position of the feature point and its region range (scale) are calculated. As a feature descriptor in the feature region, a luminance histogram direction histogram is used.
このような方向ヒストグラムは、特徴領域の各ピクセルの輝度勾配を算出し、それに重みを付けてヒストグラムを生成し、最も多いbin領域の方向を基準にして、その方向に特徴領域の回転を行い、再度輝度方向の方向ヒストグラムを作成し、さらに前記ヒストグラムをブロックに分割し、各ブロック内で方向ヒストグラムを算出し、これを正規化してベクトル化することにより得られる。本実施形態では、ブロック内の輝度方向を８方向、対象領域内を１６分割しているため、一つの特徴記述子は８＊１６＝１２８次元となる。 Such a direction histogram calculates the luminance gradient of each pixel in the feature area, weights it to generate a histogram, rotates the feature area in that direction with reference to the direction of the most bin area, It is obtained by creating a direction histogram in the luminance direction again, further dividing the histogram into blocks, calculating a direction histogram within each block, normalizing it, and vectorizing it. In this embodiment, since the luminance direction in the block is divided into 8 directions and the target area is divided into 16 areas, one feature descriptor has 8 * 16 = 128 dimensions.
これら特徴記述子の特徴として、局所領域の特徴を生成するのでオクルージョンに耐性があり、特徴点に対してスケールを決定するので画像サイズに不変であり、また輝度勾配に基づき画像平面内で回転を行うので画像平面に対する回転に不変であることなどが挙げられる。さらに、エッジ成分を利用しているので輝度変化に耐性がある。このような特徴点検出が画像の全てのピクセルに対して行われるが、ある特徴点が極値を取った場合でも特徴点として不適な場合は特徴領域から除外される。 As feature of these feature descriptors, the feature of local region is generated, so it is resistant to occlusion, the scale is determined for the feature point, the image size is not changed, and it is rotated in the image plane based on the luminance gradient. Since it is performed, it is invariable to rotation with respect to the image plane. Furthermore, since edge components are used, it is resistant to luminance changes. Such feature point detection is performed on all pixels of the image, but even if a certain feature point takes an extreme value, it is excluded from the feature region if it is inappropriate as a feature point.
本実施形態では、クエリ画像Iqの各局所特徴量fq(i)が次式(1)で表される。pq(i)は同次座標で表した特徴点の位置、σq(i)は特徴点が発見されたスケール、dq(i)は特徴記述子であり、符号iはクエリ画像Iqの特徴点識別子である。
In the present embodiment, each local feature quantity fq (i) of the query image Iq is expressed by the following equation (1). pq (i) is the position of the feature point expressed in homogeneous coordinates, σq (i) is the scale at which the feature point was found, dq (i) is the feature descriptor, and the symbol i is the feature point identifier of the query image Iq It is.
fq(i)＝｛pq(i)，σq(i)，dq(i)｝ ・・・(1)
fq (i) = {pq (i), σq (i), dq (i)} (1)
同様に、各検索対象画像Iw(k)の局所特徴量fw(k,j)は次式(2)で表される。pw(k,j)は同次座標で表した特徴点の位置、σw(k,j)は特徴点が発見されたスケール、dw(k,j)は特徴記述子であり、符号jは検索対象画像Iw(k)の特徴点識別子である。
Similarly, the local feature quantity fw (k, j) of each search target image Iw (k) is expressed by the following equation (2). pw (k, j) is the position of the feature point in homogeneous coordinates, σw (k, j) is the scale at which the feature point was found, dw (k, j) is the feature descriptor, and the symbol j is the search This is a feature point identifier of the target image Iw (k).
fw(k,j)＝｛pw(k,j)，σw(k,j)，dw(k,j)｝ ・・・(2)
fw (k, j) = {pw (k, j), σw (k, j), dw (k, j)} (2)
第１対応点ペア抽出部２は、仮登録部２１および本登録部２２を含み、クエリ画像Iqの各特徴点の局所特徴量と全ての検索対象画像Iw(k)の各特徴点の局所特徴量とを比較し、局所特徴量の類似度が高い特徴点のペアを対応点ペアとして登録する。 The first corresponding point pair extraction unit 2 includes a temporary registration unit 21 and a main registration unit 22, and includes local feature amounts of feature points of the query image Iq and local features of feature points of all search target images Iw (k). A pair of feature points having high local feature amount similarity is registered as a corresponding point pair.
前記仮登録部２１は、クエリ画像Iqの各特徴点について、全ての検索対象画像Iw(k)の各特徴点を対象に局所特徴量の最近傍探索を行い、検索対象画像ごとに、局所特徴量間の距離に基づいて類似度を算出する。 The temporary registration unit 21 performs a nearest neighbor search of local feature values for each feature point of all search target images Iw (k) for each feature point of the query image Iq, and local features for each search target image. The similarity is calculated based on the distance between the quantities.
本実施形態では、各特徴点の局所特徴量fq(i)，fw(k,j)間の類似度が、次式(3)で与えられる各特徴記述子dq(i)，dw(k,j)間のユークリッド距離Lで代表される。
In this embodiment, the similarity between the local feature quantities fq (i) and fw (k, j) of each feature point is represented by the feature descriptors dq (i), dw (k, represented by Euclidean distance L between j).
L＝|dq(i)−dw(k,j)| ・・・(3)
L = | dq (i) −dw (k, j) | (3)
そして、前記ユークリッド距離Lが最も近い距離L1となる特徴点および２番目に近い距離L2となる特徴点を各検索対象画像Iw(k)から探索し、更に各距離L1，L2が所定の第１条件を満足する場合のみ、前記距離L1を与える特徴点のペアを対応点ペアとして仮登録する。 Then, the feature point having the closest Euclidean distance L and the feature point having the second closest distance L2 are searched from each search target image Iw (k), and each of the distances L1 and L2 is a predetermined first. Only when the condition is satisfied, a pair of feature points giving the distance L1 is provisionally registered as a corresponding point pair.
図２は、対応点ペアの仮登録方法を示した図である。図示した例では、クエリ画像Iqと一の検索対象画像Iw(k)とのペアに着目しており、クエリ画像Iqの局所特徴量fq(1)と検索対象画像Iw(k)の局所特徴量fw(k,1)との距離がL1、局所特徴量fw(k,2)との距離がL2である。そして、距離L1が所定の基準距離Lref1以下であり、かつ距離比L1/L2が所定の基準比Rref1（例えば、０．８）以下なので、距離L1を与える特徴点のペアが対応点ペアとして仮登録されている。 FIG. 2 is a diagram illustrating a provisional registration method of corresponding point pairs. In the illustrated example, attention is paid to a pair of the query image Iq and one search target image Iw (k), and the local feature amount fq (1) of the query image Iq and the local feature amount of the search target image Iw (k). The distance from fw (k, 1) is L1, and the distance from the local feature quantity fw (k, 2) is L2. Since the distance L1 is equal to or smaller than the predetermined reference distance Lref1 and the distance ratio L1 / L2 is equal to or smaller than the predetermined reference ratio Rref1 (for example, 0.8), the pair of feature points that give the distance L1 is assumed as the corresponding point pair. It is registered.
これに対して、クエリ画像Iqの局所特徴量fq(2)と局所特徴量fw(k,3)との距離がL1、局所特徴量fw(k,4)との距離がL2であるが、距離L1が所定の基準距離Lref1よりも大きいか、あるいは距離比L1/L2が基準比Rref1（例えば、０．８）よりも大きいので、距離L1を与える特徴点のペアであっても対応点ペアとして仮登録されていない。 On the other hand, the distance between the local feature quantity fq (2) and the local feature quantity fw (k, 3) in the query image Iq is L1, and the distance between the local feature quantity fw (k, 4) is L2. Since the distance L1 is larger than the predetermined reference distance Lref1 or the distance ratio L1 / L2 is larger than the reference ratio Rref1 (for example, 0.8), even a pair of feature points that give the distance L1 is a corresponding point pair Is not provisionally registered.
図１へ戻り、前記本登録部２２は、仮登録された全ての対応点ペアの検索対象画像Iw(k)側の対応点について、クエリ画像Iqの各特徴点を対象に局所特徴量の最近傍探索を同様に行い、距離L1，L2が前記仮登録条件と同等の本登録条件を満足するクエリ画像Iqの特徴点が前記対応点ペアのクエリ画像Iq側の対応点と一致していれば、当該対応点ペアを本登録する。 Returning to FIG. 1, the main registration unit 22 determines the latest local feature amount for each feature point of the query image Iq for the corresponding points on the search target image Iw (k) side of all the temporarily registered corresponding point pairs. A side search is performed in the same manner, and the feature points of the query image Iq satisfying the main registration conditions equivalent to the distances L1 and L2 match the corresponding points on the query image Iq side of the corresponding point pairs. The corresponding point pair is fully registered.
図３は、対応点ペアの本登録方法を示した図である。図示した例では、クエリ画像Iqの局所特徴量fq(1)と検索対象画像Iw(k)の局所特徴量fw(k,1)、およびクエリ画像Iqの局所特徴量fq(2)と検索対象画像Iw(k)の局所特徴量fw(k,2)とが共に対応点ペアとして仮登録されている。そして、各対応点ペアの検索対象画像Iw(k)側の対応点の局所特徴量fw(k,1)，fw(k,2)とクエリ画像Iqの全ての特徴点の局所特徴量fq(i)との最近傍探索が行われた結果、局所特徴量fw(k,1)と対応点ペアの条件を満足するクエリ画像Iqの特徴点が当該対応点ペアのクエリ画像Iq側の対応点と一致しているので、当該対応点のペアは本登録されている。 FIG. 3 is a diagram illustrating a main registration method of corresponding point pairs. In the illustrated example, the local feature quantity fq (1) of the query image Iq and the local feature quantity fw (k, 1) of the search target image Iw (k), and the local feature quantity fq (2) of the query image Iq and the search target Both the local feature quantity fw (k, 2) of the image Iw (k) are provisionally registered as corresponding point pairs. Then, local feature values fw (k, 1), fw (k, 2) of corresponding points on the search target image Iw (k) side of each corresponding point pair and local feature values fq () of all feature points of the query image Iq As a result of the nearest neighbor search with i), the feature point of the query image Iq that satisfies the local feature quantity fw (k, 1) and the condition of the corresponding point pair is the corresponding point on the query image Iq side of the corresponding point pair. Therefore, the corresponding point pair is fully registered.
これに対して、局所特徴量fw(k,2)と対応点ペアの条件を満足するクエリ画像Iqの特徴点は当該対応点ペアのクエリ画像Iq側の対応点と一致していないので、当該対応点のペアは本登録されていない。 On the other hand, the feature point of the query image Iq that satisfies the condition of the local feature quantity fw (k, 2) and the corresponding point pair does not match the corresponding point on the query image Iq side of the corresponding point pair. The pair of corresponding points is not fully registered.
図１へ戻り、比較領域限定部３は、クエリ画像Iqと検索対象画像Iw(k)との組合せごとに、本登録された対応点ペアの対応点およびその局所特徴量に基づいて、画像の類似度を算出する際に比較対象となる領域を限定する。 Returning to FIG. 1, for each combination of the query image Iq and the search target image Iw (k), the comparison area limiting unit 3 determines the image based on the corresponding points of the registered corresponding point pairs and their local feature amounts. An area to be compared is limited when calculating the similarity.
図４、５は、クエリ画像Iqと一の検索対象画像Iw(k)との組合せについて、本登録された複数の対応点ペアに基づいて比較領域Aが限定される様子を模式的に示した図であり、図４に示したように、全ての対応点ペアの範囲を含む矩形あるいは楕円形の閉領域が、それぞれ比較領域Aq(k)，Aw(k)とされる。あるいは図５に示したように、対応点ペアの分布密度が高い矩形あるいは楕円形の閉領域が、それぞれ比較領域Aq(k)，Aw(k)とされても良い。なお、各検索対象画像Iw(k)において限定される比較領域Aw(k)は一つであるが、クエリ画像Iqでは検索対象画像Iw(k)ごとに比較領域Aq(k)が限定されることになる。 4 and 5 schematically show how the comparison region A is limited based on a plurality of registered pairs of corresponding points for the combination of the query image Iq and one search target image Iw (k). As shown in FIG. 4, rectangular or elliptical closed regions including the ranges of all corresponding point pairs are referred to as comparison regions Aq (k) and Aw (k), respectively. Alternatively, as shown in FIG. 5, rectangular or elliptical closed regions where the distribution density of corresponding point pairs is high may be set as comparison regions Aq (k) and Aw (k), respectively. Note that there is one comparison area Aw (k) limited in each search target image Iw (k), but in the query image Iq, the comparison area Aq (k) is limited for each search target image Iw (k). It will be.
図１へ戻り、第２対応点ペア抽出部４は、仮登録部４１および本登録部４２を含み、比較領域Aが限定されたクエリ画像Iqおよび検索対象画像Iw(k)の組合せごとに、クエリ画像Iqの比較領域Aq内の各特徴点の局所領域と各検索対象画像Iw(k)の比較領域Aw(k)内の各特徴点の局所特徴量とを比較し、前記第１対応点ペア抽出部２と同様の手順で対応点ペアを抽出する。 Returning to FIG. 1, the second corresponding point pair extraction unit 4 includes a temporary registration unit 41 and a main registration unit 42, and for each combination of the query image Iq and the search target image Iw (k) in which the comparison area A is limited, A local region of each feature point in the comparison region Aq of the query image Iq is compared with a local feature amount of each feature point in the comparison region Aw (k) of each search target image Iw (k), and the first corresponding point Corresponding point pairs are extracted in the same procedure as the pair extraction unit 2.
前記仮登録部４１は、クエリ画像Iqの比較領域Aq(k)内の各特徴点について、各検索対象画像Iw(k)の比較領域Aw(k)内の各特徴点を対象に局所特徴量の最近傍探索を同様に行い、検索対象画像Iw(k)ごとに、前記距離L1，L2が仮登録条件を満足する最近傍の特徴点を探索し、前記距離L1を与える特徴点のペアを対応点ペアとして仮登録する。なお、当該仮登録部４１における仮登録条件は前記仮登録部２１における仮登録条件よりも緩和されている。 The temporary registration unit 41 uses the local feature amount for each feature point in the comparison area Aw (k) of each search target image Iw (k) for each feature point in the comparison area Aq (k) of the query image Iq. In the same manner, for each search target image Iw (k), search for the nearest feature point where the distances L1 and L2 satisfy the provisional registration condition, and find a pair of feature points that give the distance L1. Temporarily register as a corresponding point pair. The temporary registration conditions in the temporary registration unit 41 are more relaxed than the temporary registration conditions in the temporary registration unit 21.
前記本登録部４２は、仮登録された全ての対応点ペアの検索対象画像Iw(k)側の対応点について、クエリ画像Iqの比較領域Aq(k)内の各対応点を対象に局所特徴量の最近傍探索を同様に行い、本登録条件を満足する最近傍の特徴点が前記対応点ペアのクエリ画像Iq側の対応点と一致していれば、当該対応点ペアを本登録する。なお、当該本登録部４２における本登録条件も前記本登録部２２における本登録条件より緩和されている。 The main registration unit 42 uses local features for each corresponding point in the comparison area Aq (k) of the query image Iq for the corresponding points on the search target image Iw (k) side of all the temporarily registered corresponding point pairs. The nearest neighbor search is performed in the same manner, and if the nearest feature point that satisfies the main registration condition matches the corresponding point on the query image Iq side of the corresponding point pair, the corresponding point pair is finally registered. Note that the main registration conditions in the main registration unit 42 are also relaxed from the main registration conditions in the main registration unit 22.
検索結果出力部５は、前記クエリ画像Iqの比較領域Aq(k)および検索対象画像Iw(k)の比較領域Aw(k)を対象とする対応点ペアの探索結果を参照し、対応点ペアが最多である唯一の検索対象画像、あるいは上位Nベストの複数の検索対象画像を検索結果として出力する。 The search result output unit 5 refers to the search result of the corresponding point pair for the comparison area Aq (k) of the query image Iq and the comparison area Aw (k) of the search target image Iw (k), and the corresponding point pair The single search target image with the largest number or the top N best search target images is output as a search result.
次いで、フローチャートを参照して本発明の一実施形態の動作を詳細に説明する。図６は、本発明の一実施形態の動作を示したメインフローである。 Next, the operation of the embodiment of the present invention will be described in detail with reference to a flowchart. FIG. 6 is a main flow showing the operation of one embodiment of the present invention.
ステップＳ１では、局所特徴量抽出部１において、クエリ画像Iqから各特徴点を基準にした局所領域の特徴量fq(i)が抽出され、さらに全ての検索対象画像Iw(k)から各特徴点を基準にした局所領域の特徴量fw(k,j)が抽出される。ステップＳ２では、検索対象画像Iw(k)の一つが今回の注目画像として選択される。ステップＳ３では、前記第１対応点ペア抽出部２の仮登録部２１において、クエリ画像Iqの各特徴点と局所特徴量が一致または類似する検索対象画像Iw(k)の特徴点とを対応点ペアとして仮登録する仮登録処理が実行される。 In step S1, the local feature quantity extraction unit 1 extracts a local area feature quantity fq (i) based on each feature point from the query image Iq, and further extracts each feature point from all search target images Iw (k). The feature quantity fw (k, j) of the local region with reference to is extracted. In step S2, one of the search target images Iw (k) is selected as the current attention image. In step S3, in the temporary registration unit 21 of the first corresponding point pair extraction unit 2, the feature points of the query image Iq and the feature points of the search target image Iw (k) whose local feature amounts match or are similar are used as the corresponding points. Temporary registration processing for temporary registration as a pair is executed.
図７は、前記仮登録処理の手順を示したフローチャートであり、ステップＳ１０１では、クエリ画像Iqから抽出された局所特徴量fq(i)の一つが選択される。ステップＳ１０２では、今回の検索対象画像Iw(k)の各局所特徴量fwt(j)とクエリ画像Iqの今回の注目特徴量fq(i)との類似度が、各特徴量間の距離（ユークリッド距離）Lとして算出される。ステップＳ１０３では、局所特徴量の距離Lが近い上位２つ（L1，L2）の特徴点ペアが抽出される。 FIG. 7 is a flowchart showing the procedure of the temporary registration process. In step S101, one of the local feature values fq (i) extracted from the query image Iq is selected. In step S102, the similarity between each local feature amount fft (j) of the current search target image Iw (k) and the current feature amount fq (i) of the query image Iq is determined by the distance between the feature amounts (Euclidean Calculated as distance) L. In step S103, the top two (L1, L2) feature point pairs with a short local feature distance L are extracted.
ステップＳ１０４では、距離L1が基準距離Lef1以下であり、かつ距離比(L1/L2)が基準比tref1以下であるか否かが判定される。これらの仮登録条件がいずれも満足されれば、両者の類似度が高いと判定されるのでステップＳ１０５へ進み、距離L1を与える特徴点ペアが対応点ペアとして仮登録される。 In step S104, it is determined whether or not the distance L1 is less than or equal to the reference distance Lef1 and the distance ratio (L1 / L2) is less than or equal to the reference ratio tref1. If both of these provisional registration conditions are satisfied, it is determined that the degree of similarity between the two is high, and thus the process proceeds to step S105, and the feature point pair giving the distance L1 is provisionally registered as a corresponding point pair.
ステップＳ１０６では、クエリ画像Iqの全ての局所特徴量fq(i)に関して上記の処理が完了したか否かが判定される。完了していなければステップ１０１へ戻り、クエリ画像Iqの局所特徴量fq(i)を切換ながら上記の各処理が繰り返される。これにより、今回注目した一の検索対象画像Iw(k)とクエリ画像Iqとの対応点ペアの仮登録が完了する。ここでは、図９に示したクエリ画像Iqおよび一の検索対象画像Iw(k)のペアについて、図１０に示したように、１１個の対応点ペアが仮登録されたものとして説明を続ける。 In step S106, it is determined whether or not the above processing has been completed for all local feature values fq (i) of the query image Iq. If not completed, the process returns to step 101, and the above processes are repeated while switching the local feature quantity fq (i) of the query image Iq. Thereby, provisional registration of the corresponding point pair of the one search target image Iw (k) and the query image Iq noticed this time is completed. Here, the description of the pair of the query image Iq and one search target image Iw (k) shown in FIG. 9 will be continued assuming that 11 corresponding point pairs are provisionally registered as shown in FIG.
図６のメインフローへ戻り、ステップＳ４では、前記第１対応点ペア抽出部２の本登録部２２において、前記ステップＳ３とは逆の視線で、各対応点ペアの検索対象画像Iw(k)側の対応点とクエリ画像Iqの特徴点との間で最近傍探索が行われる。そして、最も類似度の高いクエリ画像Iqの特徴点が、前記対応点ペアのクエリ画像Ip側の対応点と一致すれば、当該対応点ペアが本登録される。 Returning to the main flow of FIG. 6, in step S4, the main registration unit 22 of the first corresponding point pair extraction unit 2 uses a line of sight opposite to that in step S3 to search for the corresponding image Iw (k) of each corresponding point pair. The nearest neighbor search is performed between the corresponding point on the side and the feature point of the query image Iq. If the feature point of the query image Iq having the highest similarity matches the corresponding point on the query image Ip side of the corresponding point pair, the corresponding point pair is permanently registered.
図８は、上記本登録処理の手順を示したフローチャートであり、ステップＳ２０１では、仮登録されている対応点ペアの一つが選択される。ステップＳ２０２では、対応点ペアの一方である検索対象画像Iw(k)側の対応点とクエリ画像Iqの各特徴点とを対象に局所特徴量間の距離Lが算出される。ステップＳ２０３では、距離Lが近い上位２つ（L1，L2）の特徴点ペアが抽出される。 FIG. 8 is a flowchart showing the procedure of the main registration process. In step S201, one of the corresponding pair of provisionally registered points is selected. In step S202, the distance L between the local feature amounts is calculated for the corresponding point on the search target image Iw (k) side that is one of the corresponding point pairs and each feature point of the query image Iq. In step S203, the top two (L1, L2) feature point pairs with a short distance L are extracted.
ステップＳ２０４では、距離L1が基準距離Lef1以下であり、かつ距離比(L1/L2)が基準比tref1以下であるか否かが判定される。これらの本登録条件がいずれも満足されればステップＳ２０５へ進む。ステップＳ２０５では、前記距離L1を与えるクエリ画像Iqの特徴点が前記対応点ペアのクエリ画像Iq側の対応点と一致しているか否かが判定される。一致していればステップＳ２０６へ進み、前記仮登録されている今回の対応点ペアが本登録される。 In step S204, it is determined whether or not the distance L1 is less than or equal to the reference distance Lef1 and the distance ratio (L1 / L2) is less than or equal to the reference ratio tref1. If all of these main registration conditions are satisfied, the process proceeds to step S205. In step S205, it is determined whether or not the feature point of the query image Iq giving the distance L1 matches the corresponding point on the query image Iq side of the corresponding point pair. If they match, the process proceeds to step S206, and the temporarily registered corresponding point pair is temporarily registered.
ステップＳ２０７では、仮登録されている全ての対応点ペアに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ２０１へ戻り、残りの対応点ペアに関して上記の各処理が繰り返される。これにより、今回注目した一の検索対象画像Iw(k)とクエリ画像Iqとの対応点ペアの本登録が完了する。 In step S207, it is determined whether or not the above processing has been completed for all the corresponding point pairs temporarily registered. If not completed, the process returns to step S201, and the above processes are repeated for the remaining corresponding point pairs. Thereby, the main registration of the corresponding point pair of the one search target image Iw (k) and the query image Iq noticed this time is completed.
ここでは、図１１に示したように、クエリ画像Iqおよび一の検索対象画像Iw(k)のペアについて、前記仮登録された１１個の対応点ペアのうち、破線で示した４個の対応点は本登録されず、図１２に整理して示したように、７個の対応点ペアのみが本登録されたものとして説明を続ける。 Here, as shown in FIG. 11, with respect to the pair of the query image Iq and one search target image Iw (k), four correspondences indicated by broken lines among the 11 temporarily registered corresponding point pairs. The description will be continued assuming that the points are not registered and only seven corresponding point pairs are registered as shown in FIG.
図６のメインフローへ戻り、ステップＳ５では、今回注目した一の検索対象画像Iw(k)について、本登録された対応点ペアの有無が判定され、本登録された対応点ペアがあればステップＳ６へ進む。ステップＳ６では、クエリ画像Iqと今回注目の一の検索対象画像Iw(k)とのペアについて、本登録された対応点ペアに基づいて、両者の類似度を算出する際の比較対象となる領域を限定する「比較領域の限定処理」が、前記比較領域限定部３において実行され、クエリ画像Iqおよび検索対象画像Iw(k)のそれぞれに比較領域Aq(k)，Aw(k)が設定される。 Returning to the main flow of FIG. 6, in step S5, it is determined whether or not there is a correspondingly registered corresponding point pair for the one search target image Iw (k) focused on this time. Proceed to S6. In step S6, for the pair of the query image Iq and the one target search image Iw (k) of interest this time, based on the corresponding pair of registered points, an area to be compared when calculating the similarity between the two "Comparison region restriction process" is executed in the comparison region restriction unit 3, and comparison regions Aq (k) and Aw (k) are set in the query image Iq and the search target image Iw (k), respectively. The
図１３，１４は、前記比較領域の限定方法の一例を示した図であり、図１３に示したように７つの対応点ペアが本登録されていれば、図１４に示したように、これら７個の対応点ペアを包含する最小の矩形領域が比較領域Aq(k)，Aw(k)として設定される。 FIGS. 13 and 14 are diagrams showing an example of the method for limiting the comparison area. If seven corresponding point pairs are registered as shown in FIG. 13, these are shown in FIG. A minimum rectangular area including seven corresponding point pairs is set as comparison areas Aq (k) and Aw (k).
ステップＳ７では、全ての検索対象画像Iw(k)に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ２へ戻り、注目する一の検索対象画像Iw(k)を切り換えながら上記の各処理が繰り返され、対応点ペアが本登録されているクエリ画像Iqおよび検索対象画像Iw(k)の全ペアについて比較領域Aq(k)，Aw(k)が設定される。 In step S7, it is determined whether or not the above processing has been completed for all search target images Iw (k). If not completed, the process returns to step S2, and each of the above processes is repeated while switching the one search target image Iw (k) to be noticed, and the query image Iq and the search target image Iw ( Comparison areas Aq (k) and Aw (k) are set for all pairs of k).
このようにして比較領域Aq(k)，Aw(k)の設定が完了するとステップＳ８以降へ進み、クエリ画像Iqと各検索対象画像Iw(k)とを前記比較領域Aq(k)，Aw(k)で比較して検索結果を得る検索手順が実行される。 When the setting of the comparison areas Aq (k) and Aw (k) is completed in this way, the process proceeds to step S8 and subsequent steps, and the query image Iq and each search target image Iw (k) are converted into the comparison areas Aq (k), Aw ( A search procedure for obtaining a search result by comparison in k) is executed.
ステップＳ８では、前記比較領域Aw(k)の設定された検索対象画像Iw(k)の一つが、今回の注目画像として選択される。ステップＳ９では、前記第２対応点ペア抽出部４の仮登録部４１において、クエリ画像Iqの比較領域Aq(k)内の各特徴点と局所特徴量が一致または類似する検索対象画像Iw(k)の比較領域Aw(k)内の特徴点とを対応点ペアとして仮登録する仮登録処理が実行される。 In step S8, one of the search target images Iw (k) in which the comparison area Aw (k) is set is selected as the current attention image. In step S9, in the temporary registration unit 41 of the second corresponding point pair extraction unit 4, each of the feature points in the comparison area Aq (k) of the query image Iq matches or is similar to the search target image Iw (k ) Is temporarily registered as a corresponding point pair with the feature points in the comparison area Aw (k).
図１５は、前記仮登録処理の手順を示したフローチャートであり、ステップＳ３０１では、クエリ画像Iqの比較領域Aq(k)から局所特徴量fq(i)の一つが選択される。ステップＳ３０２では、今回の検索対象画像Iw(k)の比較領域Aw(k)内の各局所特徴量fwt(j)とクエリ画像Iqの今回の局所特徴量fq(i)との類似度が距離Lとして算出される。ステップＳ３０３では、距離Lが短い上位２つ（L1，L2）の特徴点ペアが抽出される。 FIG. 15 is a flowchart showing the procedure of the temporary registration process. In step S301, one of the local feature values fq (i) is selected from the comparison area Aq (k) of the query image Iq. In step S302, the similarity between each local feature value fft (j) in the comparison area Aw (k) of the current search target image Iw (k) and the current local feature value fq (i) of the query image Iq is a distance. Calculated as L. In step S303, the top two (L1, L2) feature point pairs with the short distance L are extracted.
ステップＳ３０４では、距離L1が基準距離Lef2以下であり、かつ距離比(L1/L2)が基準比tref2以下であるか否かが判定される。前記基準距離Lef2および基準比tref2は、前記第１対応点ペア抽出部２における基準距離Lef1および基準比tref2よりも緩和されている。すなわち、Lef1＜Lef2、tref1＜tref2である。これらの仮登録条件がいずれも満足されれば、両者の類似度が高いと判定されるのでステップＳ３０５へ進み、距離L1を与える特徴点のペアが対応点ペアとして仮登録される。 In step S304, it is determined whether or not the distance L1 is less than or equal to the reference distance Lef2 and the distance ratio (L1 / L2) is less than or equal to the reference ratio tref2. The reference distance Lef2 and the reference ratio tref2 are more relaxed than the reference distance Lef1 and the reference ratio tref2 in the first corresponding point pair extraction unit 2. That is, Lef1 <Lef2 and tref1 <tref2. If both of these provisional registration conditions are satisfied, it is determined that the degree of similarity between the two is high, and thus the process proceeds to step S305, and a pair of feature points giving the distance L1 is provisionally registered as a corresponding point pair.
ステップＳ３０６では、クエリ画像Iqの比較領域Aq(k)内の各局所特徴量fq(i)に関して上記の処理が完了したか否かが判定される。完了していなければステップ３０１へ戻り、クエリ画像Iqの局所特徴量fq(i)を切換ながら上記の各処理が繰り返される。 In step S306, it is determined whether or not the above processing has been completed for each local feature quantity fq (i) in the comparison area Aq (k) of the query image Iq. If not completed, the process returns to step 301, and the above processes are repeated while switching the local feature quantity fq (i) of the query image Iq.
図６のメインフローへ戻り、ステップＳ１０では、前記第２対応点ペア抽出部４の本登録部４２において、前記ステップＳ９とは逆の視線で、各対応点ペアの検索対象画像Iw(k)側の対応点とクエリ画像Iqの比較領域Aq(k)内の各特徴点との間で局所特徴量の類似度が算出される。そして、最も類似度の高い局所特徴量の特徴点が、前記対応点ペアのクエリ画像Ip側の対応点と一致すれば、当該対応点ペアが本登録される。 Returning to the main flow of FIG. 6, in step S10, in the main registration unit 42 of the second corresponding point pair extraction unit 4, the search target image Iw (k) of each corresponding point pair with a line of sight opposite to that in step S9. The similarity of the local feature amount is calculated between the corresponding point on the side and each feature point in the comparison area Aq (k) of the query image Iq. If the feature point of the local feature amount having the highest similarity matches the corresponding point on the query image Ip side of the corresponding point pair, the corresponding point pair is permanently registered.
図１６は、上記本登録処理の手順を示したフローチャートであり、ステップＳ４０１では、仮登録されている対応点ペアの一つが選択される。ステップＳ４０２では、対応点ペアの一方である検索対象画像Iw(k)側の対応点とクエリ画像Iqの比較領域Aq(k)内の各特徴点を対象に局所特徴量間の距離Lが算出される。ステップＳ４０３では、距離Lが近い上位２つ（L1，L2）の特徴点ペアが抽出される。 FIG. 16 is a flowchart showing the procedure of the main registration process. In step S401, one of the temporarily registered corresponding point pairs is selected. In step S402, the distance L between local feature amounts is calculated for each feature point in the comparison area Aq (k) of the query image Iq and the corresponding point on the search target image Iw (k) side that is one of the corresponding point pairs. Is done. In step S403, the top two (L1, L2) feature point pairs with a short distance L are extracted.
ステップＳ４０４では、距離L1が基準距離Lef2以下であり、かつ距離比(L1/L2)が基準比tref2以下であるか否かが判定される。これらの本登録条件がいずれも満足されればステップＳ４０５へ進む。ステップＳ４０５では、前記距離L1を与えるクエリ画像Iqの特徴点が前記対応点ペアのクエリ画像Iq側の対応点と一致しているか否かが判定される。一致していればステップＳ４０６へ進み、前記仮登録されている今回の対応点ペアが本登録される。 In step S404, it is determined whether or not the distance L1 is less than or equal to the reference distance Lef2 and the distance ratio (L1 / L2) is less than or equal to the reference ratio tref2. If all these registration conditions are satisfied, the process proceeds to step S405. In step S405, it is determined whether or not the feature point of the query image Iq giving the distance L1 matches the corresponding point on the query image Iq side of the corresponding point pair. If they match, the process proceeds to step S406, and the temporarily registered corresponding point pair is temporarily registered.
ステップＳ４０７では、仮登録されている全ての対応点ペアに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ４０１へ戻り、残りの対応点ペアに関して上記の各処理が繰り返される。これにより、今回注目した一の検索対象画像Iw(k)とクエリ画像Iqとの対応点ペアの本登録が完了する。 In step S407, it is determined whether or not the above processing has been completed for all the corresponding point pairs temporarily registered. If not completed, the process returns to step S401, and the above processes are repeated for the remaining corresponding point pairs. Thereby, the main registration of the corresponding point pair of the one search target image Iw (k) and the query image Iq noticed this time is completed.
図６のメインフローへ戻り、ステップＳ１１では、上記の処理が全ての検索対象画像Iw(k)に関して完了したか否かが判定される。完了していなければステップＳ８へ戻り、検索対象画像Iw(k)を切換ながら上記の各処理が繰り返される。ステップＳ１２では、検索対象画像Iw(k)が前記本登録された対応点ペアの個数でソートされ、対応点ペアが最多である唯一の検索対象画像、あるいは上位Nベストの複数の検索対象画像が検索結果として出力される。 Returning to the main flow of FIG. 6, in step S11, it is determined whether or not the above processing has been completed for all the search target images Iw (k). If not completed, the process returns to step S8, and the above processes are repeated while switching the search target image Iw (k). In step S12, the search target images Iw (k) are sorted by the number of the corresponding registered pair of corresponding points, and a single search target image having the largest number of corresponding point pairs or a plurality of top N best search target images. Output as search results.
１…局所特徴量抽出部，２…第１対応点ペア抽出部，３…比較領域限定部，４…第２対応点ペア抽出部，５…検索結果出力部，２１，４１…仮登録部，２２，４２…本登録部 DESCRIPTION OF SYMBOLS 1 ... Local feature-value extraction part, 2 ... 1st corresponding point pair extraction part, 3 ... Comparison area limitation part, 4 ... 2nd corresponding point pair extraction part, 5 ... Search result output part, 21, 41 ... Temporary registration part, 22, 42 ... this registration department
Claims (6)
クエリ画像および各検索対象画像の各特徴点から局所特徴量を抽出する局所特徴量抽出手段と、
クエリ画像および各検索対象画像の局所特徴量同士を比較し、類似度が所定の第１条件を満足する特徴点のペアを第１対応点ペアとして抽出する第１対応点ペア抽出手段と、
クエリ画像および検索対象画像のペアごとに、前記対応点ペアに基づいて比較領域を限定する比較領域限定手段とを具備し、
クエリ画像および検索対象画像のペアごとに、前記比較領域同士を比較することを特徴とする画像検索システム。 In an image search system that searches an image similar to a query image from a set of search target images,
A local feature amount extracting means for extracting a local feature amount from each feature point of the query image and each search target image;
A first corresponding point pair extracting unit that compares local feature amounts of the query image and each search target image and extracts a pair of feature points whose similarity satisfies a predetermined first condition as a first corresponding point pair;
For each pair of a query image and a search target image, comprising a comparison area limiting means for limiting a comparison area based on the corresponding point pair,
An image search system that compares the comparison areas for each pair of a query image and a search target image.
前記第２対応点ペアの個数に基づいて検索結果を出力する検索結果出力手段とを具備し、
前記第２条件が第１条件よりも緩いことを特徴とする請求項１に記載の画像検索システム。 For each pair of the query image and the search target image, a local feature amount in each comparison region is compared with each other, and a feature point pair whose similarity satisfies a predetermined second condition is extracted as a second corresponding point pair. Corresponding point pair extraction means;
Search result output means for outputting a search result based on the number of the second corresponding point pairs,
The image search system according to claim 1, wherein the second condition is looser than the first condition.
クエリ画像の各特徴点の局所特徴量と各検索対象画像の各特徴点の局所特徴量とを比較し、類似度が前記第１条件を満足する特徴点のペアを対応点ペアとして仮登録する仮登録手段と、
前記仮登録された各対応点ペアの検索対象画像側の対応点の局所特徴量とクエリ画像の各特徴点の局所特徴量とを比較し、類似度の高い特徴点が前記対応点ペアのクエリ画像側の対応点と一致していると、当該対応点ペアを本登録する本登録手段とを具備したことを特徴とする請求項１に記載の画像検索システム。 The first corresponding point pair extraction means includes:
The local feature amount of each feature point of the query image is compared with the local feature amount of each feature point of each search target image, and a pair of feature points whose similarity satisfies the first condition is temporarily registered as a corresponding point pair. Temporary registration means;
The local feature amount of the corresponding point on the search target image side of each temporarily registered corresponding point pair is compared with the local feature amount of each feature point of the query image, and the feature point having a high similarity is the query of the corresponding point pair The image search system according to claim 1, further comprising: a main registration unit that performs main registration of the corresponding point pair when the corresponding point on the image side coincides with the corresponding point.
クエリ画像の前記比較領域内の各特徴点の局所特徴量と各検索対象画像の前記比較領域内の各特徴点の局所特徴量とを比較し、類似度が前記第２条件を満足する特徴点のペアを対応点ペアとして仮登録する仮登録手段と、
前記仮登録された各対応点ペアの検索対象画像側の対応点の局所特徴量とクエリ画像の前記比較領域内の各特徴点の局所特徴量とを比較し、類似度の高い特徴点が前記対応点ペアのクエリ画像側の対応点と一致していると、当該対応点ペアを本登録する本登録手段とを具備したことを特徴とする請求項２に記載の画像検索システム。 The second corresponding point pair extraction means includes:
A feature point that compares the local feature amount of each feature point in the comparison region of the query image with the local feature amount of each feature point in the comparison region of each search target image, and the similarity satisfies the second condition Temporary registration means for temporarily registering a pair of as a corresponding point pair;
The local feature amount of the corresponding point on the search target image side of each temporarily registered corresponding point pair is compared with the local feature amount of each feature point in the comparison region of the query image. The image search system according to claim 2, further comprising: a main registration unit that performs main registration of the corresponding point pair when the corresponding point pair matches the corresponding point on the query image side.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009049158A JP5249088B2 (en) | 2009-03-03 | 2009-03-03 | Image search system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009049158A JP5249088B2 (en) | 2009-03-03 | 2009-03-03 | Image search system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010204908A true JP2010204908A (en) | 2010-09-16 |
| JP5249088B2 JP5249088B2 (en) | 2013-07-31 |
Family
ID=42966332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009049158A Expired - Fee Related JP5249088B2 (en) | 2009-03-03 | 2009-03-03 | Image search system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5249088B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013222406A (en) * | 2012-04-18 | 2013-10-28 | Setsuo Kimura | Image retrieval system, image retrieval device, and computer program |
| JP2014102772A (en) * | 2012-11-22 | 2014-06-05 | Kddi Corp | Program, device, and method for calculating similarity between contents represented by sets of feature vectors |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981746A (en) * | 1995-09-08 | 1997-03-28 | Sanyo Electric Co Ltd | Two-dimensional display image generating method |
| JP2004326693A (en) * | 2003-04-28 | 2004-11-18 | Sony Corp | Image recognition device and method as well as robot device |
| JP2006195573A (en) * | 2005-01-11 | 2006-07-27 | Canon Inc | Image processing unit and control method therefor, and program |
| JP2007286808A (en) * | 2006-04-14 | 2007-11-01 | Kddi Corp | Characteristic point extraction device |
| JP2008243175A (en) * | 2007-02-26 | 2008-10-09 | Sony Corp | Information processor, information processing method, and program |
| JP2008276668A (en) * | 2007-05-07 | 2008-11-13 | Sony Corp | Image-managing device, image-displaying device, image pickup device, processing method in these devices, and program which makes computer execute the processing method |
-
2009
- 2009-03-03 JP JP2009049158A patent/JP5249088B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981746A (en) * | 1995-09-08 | 1997-03-28 | Sanyo Electric Co Ltd | Two-dimensional display image generating method |
| JP2004326693A (en) * | 2003-04-28 | 2004-11-18 | Sony Corp | Image recognition device and method as well as robot device |
| JP2006195573A (en) * | 2005-01-11 | 2006-07-27 | Canon Inc | Image processing unit and control method therefor, and program |
| JP2007286808A (en) * | 2006-04-14 | 2007-11-01 | Kddi Corp | Characteristic point extraction device |
| JP2008243175A (en) * | 2007-02-26 | 2008-10-09 | Sony Corp | Information processor, information processing method, and program |
| JP2008276668A (en) * | 2007-05-07 | 2008-11-13 | Sony Corp | Image-managing device, image-displaying device, image pickup device, processing method in these devices, and program which makes computer execute the processing method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013222406A (en) * | 2012-04-18 | 2013-10-28 | Setsuo Kimura | Image retrieval system, image retrieval device, and computer program |
| JP2014102772A (en) * | 2012-11-22 | 2014-06-05 | Kddi Corp | Program, device, and method for calculating similarity between contents represented by sets of feature vectors |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5249088B2 (en) | 2013-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5164222B2 (en) | Image search method and system | |
| US10140529B2 (en) | Method, apparatus and device for detecting lane lines | |
| US9996764B2 (en) | Image matching method based on cascaded binary encoding | |
| JP6435048B2 (en) | Image collation apparatus, image collation method, and program | |
| US20140226906A1 (en) | Image matching method and apparatus | |
| US20140079286A1 (en) | Method and apparatus of object recognition | |
| JP2011113197A (en) | Method and system for image search | |
| CN108537832B (en) | Image registration method and image processing system based on local invariant gray feature | |
| US11023781B2 (en) | Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium | |
| US20130307936A1 (en) | Method of finding point correspondences, device for performing the method, and system including the device | |
| CN104992431B (en) | The method and device of multi-spectral image registration | |
| Jain et al. | A comparison paper on skew detection of scanned document images based on horizontal and vertical projection profile analysis | |
| JP2011039974A (en) | Image search method and system | |
| JP5249088B2 (en) | Image search system | |
| Satnik et al. | A comparison of key-point descriptors for the stereo matching algorithm | |
| JP2007066019A (en) | Method and apparatus for retrieving image | |
| JP2015007919A (en) | Program, apparatus, and method of realizing high accuracy geometric inspection for images different in point of view | |
| Haryono et al. | Oriented object detection in satellite images using convolutional neural network based on ResNeXt | |
| CN103700119A (en) | Local texture description method based on local grouping comparison mode column diagram | |
| JP2014225168A (en) | Program, device, and method for calculating similarity between images represented by feature point set | |
| JP6757203B2 (en) | Image detector, its control method, and program | |
| Mankowitz et al. | BRISK-based visual feature extraction for resource constrained robots | |
| KR100933483B1 (en) | Target recognition method in the image | |
| Ren et al. | SAR image matching method based on improved SIFT for navigation system | |
| Xu et al. | Enhanced real-time RGB-T tracking by complementary learners |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130411 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5249088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |