JP2017016501A - Similar image acquisition device, method, and program - Google Patents
Similar image acquisition device, method, and program Download PDFInfo
- Publication number
- JP2017016501A JP2017016501A JP2015134284A JP2015134284A JP2017016501A JP 2017016501 A JP2017016501 A JP 2017016501A JP 2015134284 A JP2015134284 A JP 2015134284A JP 2015134284 A JP2015134284 A JP 2015134284A JP 2017016501 A JP2017016501 A JP 2017016501A
- Authority
- JP
- Japan
- Prior art keywords
- image
- score
- candidate
- unit
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、類似画像取得装置、方法、及びプログラムに係り、特に、入力されたクエリ画像に写っている被写体と同一の被写体が写っている参照画像を取得するための類似画像取得装置、方法、及びプログラムに関する。 The present invention relates to a similar image acquisition device, method, and program, and in particular, a similar image acquisition device, method, and method for acquiring a reference image in which the same subject as that in the input query image is captured. And the program.
クエリとして与えられた画像中に写っている被写体と同一の被写体が写っている参照画像を見つけるための画像認識技術として、非特許文献１に示されているような、画像から抽出した局所特徴量のマッチングを行い、類似度の高い局所特徴量をより多く含む画像ほど、同一の被写体が写っている可能性が高いと判定する手法がある。 As an image recognition technique for finding a reference image in which the same subject as the subject in the image given as a query is found, a local feature amount extracted from the image as shown in Non-Patent Document 1 There is a technique for determining that an image including a larger amount of local feature with higher similarity is more likely to show the same subject.
また、他の画像認識技術として、非特許文献２に示されているような、参照画像から抽出した局所特徴量をクラスタリングすることによって量子化し、転置インデクスを作成しておくことによって、クエリ画像の局所特徴量と類似度の高い特徴量を持つ参照画像集合を高速に取得する手法がある。 Further, as another image recognition technique, as shown in Non-Patent Document 2, the local feature amount extracted from the reference image is quantized by clustering, and a transposed index is created to obtain a query image. There is a technique for acquiring a reference image set having a feature quantity having a high similarity with a local feature quantity at high speed.
非特許文献１に示した技術では、クエリ画像から抽出した局所特徴量に対し、参照画像１枚ごとから抽出された局所特徴量とのマッチングを行う。これにより、局所特徴量間の類似度を正確に算出することができるため高精度な認識を行うことができるが、参照画像枚数に比例する処理時間がかかるため、参照画像枚数が多い場合には時間がかかってしまう。 In the technique shown in Non-Patent Document 1, the local feature amount extracted from the query image is matched with the local feature amount extracted from each reference image. As a result, the similarity between the local feature amounts can be accurately calculated, so that highly accurate recognition can be performed. However, since the processing time is proportional to the number of reference images, the number of reference images is large. It takes time.
一方、非特許文献２に示した技術では、クエリ画像から抽出した局所特徴量と同じクラスタに属する参照画像を高速に絞り込むことができるという長所があるが、クラスタリングの際に生じる誤差により、局所特徴量間の類似度を正確に算出することができず、厳密なマッチングに比べて精度が低下してしまう。 On the other hand, the technique shown in Non-Patent Document 2 has the advantage that reference images belonging to the same cluster as the local feature amount extracted from the query image can be narrowed down at a high speed. The degree of similarity between quantities cannot be calculated accurately, and the accuracy is reduced compared to exact matching.
精度と速度を両立させるための方法として、高速な画像認識手法と高精度な認識手法を組み合わせ、２段階の認識を行うことが考えられる。例えば、１段階目の認識では、非特許文献２のような高速な画像認識手法を適用し、スコアの高い一部の参照画像に限定する。そして、２段階目の認識では、非特許文献１のような高精度な画像認識手法にて、１段階目の認識で限定した画像のみを対象として類似度の算出を行う。これにより、同一被写体が写っていない可能性の高い画像を高速に除外した上で、同一被写体が写っている可能性のある画像のみを対象に詳細に認識が行えるため、精度と速度を両立した画像認識を実現することができる。 As a method for achieving both accuracy and speed, it is conceivable to perform a two-stage recognition by combining a high-speed image recognition method and a high-precision recognition method. For example, in the first-stage recognition, a high-speed image recognition method such as that described in Non-Patent Document 2 is applied and limited to a part of reference images with high scores. In the second-stage recognition, the degree of similarity is calculated for only the image limited by the first-stage recognition using a high-accuracy image recognition technique as described in Non-Patent Document 1. This eliminates images that are likely not to show the same subject at high speed, and enables detailed recognition only for images that may show the same subject, thus achieving both accuracy and speed. Image recognition can be realized.
しかし、この方法では、候補画像選択部で算出されたスコアは候補画像の決定のためにしか用いられず、詳細スコア算出部において同一のスコアになってしまった場合、どちらをより上位に出力するべきかを判定できないため、精度低下の要因になるという課題があった。通常、候補画像選択部と詳細スコア算出部とで用いている認識技術が異なる場合には、候補画像スコアと詳細スコアとの値域に差があるため、単純にスコアを合計しても候補画像スコアもしくは詳細スコアの値が支配的になってしまうため、他方の結果が十分に考慮されない。 However, in this method, the score calculated by the candidate image selection unit is used only for determination of candidate images, and when the same score is obtained in the detailed score calculation unit, which is output higher. Since it was not possible to determine whether it should be, there was a problem that it would cause a decrease in accuracy. Normally, if the recognition techniques used by the candidate image selection unit and the detailed score calculation unit are different, there is a difference in the value range between the candidate image score and the detailed score. Or since the value of a detailed score becomes dominant, the other result is not fully considered.
本発明は、上記問題点を解決するために成されたものであり、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得できる類似画像取得装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and is a similar image acquisition device, method, and program capable of acquiring a similar image in which the same subject as the query image is captured at high speed with high accuracy. The purpose is to provide.
上記目的を達成するために、第１の発明に係る類似画像取得装置は、複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置であって、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出する特徴量抽出部と、予め抽出された前記複数の参照画像の各々の特徴量と、前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、前記複数の参照画像の各々と前記複数のクラスタとの対応関係とを格納するインデクス格納部と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、前記インデクス格納部に格納された前記クラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるクラスタ割当部と、前記インデクス格納部に格納された前記対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択する候補画像選択部と、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化する候補画像スコア正規化部と、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出する詳細スコア算出部と、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化する詳細スコア正規化部と、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する合計スコア算出部と、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力する参照画像情報出力部と、を含んで構成されている。 To achieve the above object, a similar image acquisition device according to a first aspect of the present invention is a similar image acquisition device that acquires, from a plurality of reference images, the reference image in which the same subject as the query image is captured, Based on the input query image, a feature amount extraction unit that extracts a feature amount of the query image, a feature amount of each of the plurality of reference images extracted in advance, and a feature amount of the plurality of reference images A cluster feature amount representing each of the clusters into which each of the feature amounts is classified by clustering, and an index storage unit that stores correspondences between each of the plurality of reference images and the plurality of clusters, About the feature amount of the query image extracted by the feature amount extraction unit, based on the feature amount of the query image and the cluster feature amount stored in the index storage unit, The cluster allocation unit that allocates the feature amount of the query image to any one of the plurality of clusters, and the correspondence stored in the index storage unit, and the cluster allocation unit uses the feature amount of the query image A candidate image selection unit that scores each of the reference images having a high candidate image score as a candidate image, and that is selected by the candidate image selection unit. A candidate image score normalization unit that normalizes each candidate image score of the candidate image; a feature amount of each of the reference images corresponding to each of the candidate images stored in the index storage unit; and the feature amount A detailed score is calculated for each of the candidate images based on the similarity with the feature amount of the query image extracted by the extraction unit. A detailed score calculation unit, a detailed score normalization unit that normalizes a detailed score calculated for each of the candidate images by the detailed score calculation unit, and a normalization by the detailed score normalization unit for each of the candidate images A total score calculation unit that calculates a total score obtained by weighting and summing the candidate image score of the candidate image and the detailed score of the candidate image normalized by the detailed score normalization unit, and the total score calculation A reference image information output unit that outputs the reference image showing the same subject as the query image based on the total score calculated for each of the candidate images by the unit.
また、第１の発明に係る類似画像取得装置において、前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化するようにしてもよい。 Further, in the similar image acquisition device according to the first invention, in the normalization in the candidate image score normalization unit or the normalization in the detailed score normalization unit, the square root of the number of feature points extracted from the query image, and You may make it normalize so that it may become a score in inverse proportion to the square root of the number of feature points extracted from the said reference image.
また、第１の発明に係る類似画像取得装置において、前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化するようにしてもよい。 Further, in the similar image acquisition device according to the first invention, in the normalization in the candidate image score normalization unit or the normalization in the detailed score normalization unit, the feature points extracted from the query image, and the Among the combinations with the feature points extracted from the reference image, the combination having a similarity equal to or higher than a predetermined threshold is set as a corresponding point candidate, and the score is inversely proportional to the number of the corresponding point candidates. It may be.
第２の発明に係る類似画像取得方法は、複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置における類似画像取得方法であって、特徴量抽出部が、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出するステップと、クラスタ割当部が、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、インデクス格納部に格納された前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるステップと、候補画像選択部が、前記インデクス格納部に格納された、前記複数の参照画像の各々と前記複数のクラスタとの対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択するステップと、候補画像スコア正規化部が、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化するステップと、詳細スコア算出部が、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出するステップと、詳細スコア正規化部が、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化するステップと、合計スコア算出部が、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出するステップと、参照画像情報出力部が、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力するステップと、を含んで実行することを特徴とする。 A similar image acquisition method according to a second invention is a similar image acquisition method in a similar image acquisition device that acquires the reference image in which the same subject as the query image is captured from a plurality of reference images, wherein the feature amount is extracted. A step of extracting a feature amount of the query image based on the input query image; and a cluster assigning unit for the feature amount of the query image extracted by the feature amount extraction unit. Based on the feature amount and a cluster feature amount representing each of the clusters into which the feature amounts are classified by performing clustering on the feature amounts of the plurality of reference images stored in the index storage unit, A feature amount of a query image is assigned to any one of the plurality of clusters, and a candidate image selection unit is stored in the index storage unit. , Referring to the correspondence between each of the plurality of reference images and the plurality of clusters, and scoring the reference image according to the cluster assigned to the feature amount of the query image by the cluster assigning unit. A step of selecting each of the reference images having a high candidate image score as a candidate image, and a step of normalizing a candidate image score of each of the candidate images selected by the candidate image selection unit And the detailed score calculation unit stores the feature amount of each of the reference images corresponding to each of the candidate images stored in the index storage unit, and the feature amount of the query image extracted by the feature amount extraction unit And calculating a detailed score for each of the candidate images based on the similarity to the image, and a detailed score normalizing unit Normalizing the detailed score calculated for each of the candidate images by the unit, and the total score calculating unit for each of the candidate images, the candidate image of the candidate image normalized by the detailed score normalizing unit A step of calculating a total score obtained by weighting and summing the score and the detailed score of the candidate image normalized by the detailed score normalization unit; and a reference image information output unit is configured to calculate the candidate by the total score calculation unit. And outputting the reference image showing the same subject as the query image based on the total score calculated for each of the images.
また、第２の発明に係る類似画像取得方法において、前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化するようにしてもよい。 In the similar image acquisition method according to the second invention, the number of feature points extracted from the query image in the normalizing step in the candidate image score normalizing unit or the normalizing step in the detailed score normalizing unit Normalization may be performed so that the score is inversely proportional to the square root of the number of feature points extracted from the reference image.
また、第２の発明に係る類似画像取得方法において、前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化するようにしてもよい。 Further, in the similar image acquisition method according to the second invention, in the step of normalizing in the candidate image score normalization unit or the step of normalizing in the detailed score normalization unit, feature points extracted from the query image And a combination of feature points extracted from the reference image, the combination having a similarity equal to or higher than a predetermined threshold is set as a corresponding point candidate, and the score is inversely proportional to the number of the corresponding point candidates. You may make it normalize.
第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る類似画像取得装置の各部として機能させるためのプログラムである。 A program according to a third invention is a program for causing a computer to function as each part of the similar image acquisition device according to the first invention.
本発明の類似画像取得装置、方法、及びプログラムによれば、抽出されたクエリ画像の特徴量について、クエリ画像の特徴量とクラスタ特徴量とに基づいて、クエリ画像の特徴量を、いずれかのクラスタに割り当て、クエリ画像の特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択し、選択された候補画像の各々の候補画像スコアを正規化し、候補画像の各々に対応する参照画像の各々の特徴量と、クエリ画像の特徴量との類似度に基づいて、詳細スコアを算出し、算出された詳細スコアを正規化し、候補画像の各々について、正規化された候補画像スコアと、正規化された詳細スコアとを重み付きで合計した合計スコアを算出し、クエリ画像と同一の被写体が写っている参照画像を出力することにより、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得できる、という効果が得られる。 According to the similar image acquisition device, method, and program of the present invention, the feature amount of the query image is determined based on the feature amount of the query image and the cluster feature amount, Assigning to the cluster, scoring the reference image according to the cluster assigned to the feature amount of the query image, selecting each of the reference images having a high candidate image score as a candidate image, and selecting each of the selected candidate images The candidate image score is normalized, the detailed score is calculated based on the similarity between the feature amount of each reference image corresponding to each candidate image and the feature amount of the query image, and the calculated detail score is normalized. For each of the candidate images, calculate a total score obtained by summing the normalized candidate image score and the normalized detail score with weights, and the same as the query image By outputting the reference image Utsushitai is captured, accurately, and can obtain a similar image which is reflected the query image and the same object at high speed, the effect is obtained that.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態に係る概要＞ <Outline according to Embodiment of the Present Invention>
まず、本発明の実施の形態における概要を説明する。本実施の形態では、高速な画像認識手法と高精度な認識手法を組み合わせた２段階の認識を行う際、候補画像選択部で算出された候補画像スコアと、詳細スコア算出部で算出された詳細スコアとについて、一定の基準でスコアの大小を判定できるよう正規化し、候補画像スコアと詳細スコアとを重み付きで合計する。 First, an outline of the embodiment of the present invention will be described. In this embodiment, when performing two-stage recognition combining a high-speed image recognition method and a high-accuracy recognition method, the candidate image score calculated by the candidate image selection unit and the detail calculated by the detailed score calculation unit The score is normalized so that the magnitude of the score can be determined according to a certain standard, and the candidate image score and the detailed score are summed with weights.
＜本発明の実施の形態に係る類似画像取得装置の構成＞ <Configuration of Similar Image Acquisition Device according to Embodiment of the Present Invention>
次に、本発明の実施の形態に係る類似画像取得装置の構成について説明する。図１に示すように、本発明の実施の形態に係る類似画像取得装置１００は、ＣＰＵと、ＲＡＭと、後述する類似画像取得処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この類似画像取得装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。 Next, the configuration of the similar image acquisition device according to the embodiment of the present invention will be described. As shown in FIG. 1, a similar image acquisition device 100 according to an embodiment of the present invention includes a CPU, a RAM, a ROM for storing a program and various data for executing a similar image acquisition processing routine described later, Can be configured with a computer including Functionally, the similar image acquisition apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 50 as shown in FIG.
入力部１０は、被写体が写ったクエリ画像を受け付ける。 The input unit 10 receives a query image showing a subject.
演算部２０は、インデクス格納部２８と、特徴量抽出部３０と、クラスタ割当部３２と、候補画像選択部３４と、候補画像スコア正規化部３６と、詳細スコア算出部３８と、詳細スコア正規化部４０と、合計スコア算出部４２と、参照画像情報出力部４４とを含んで構成されている。 The calculation unit 20 includes an index storage unit 28, a feature amount extraction unit 30, a cluster allocation unit 32, a candidate image selection unit 34, a candidate image score normalization unit 36, a detailed score calculation unit 38, and a detailed score normalization. And a total score calculation unit 42 and a reference image information output unit 44.
インデクス格納部２８には、予め抽出された複数の参照画像の各々の各特徴点周辺の特徴量と、複数の参照画像の特徴量に対してクラスタリングを行って特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、複数の参照画像の各々と複数のクラスタとの対応関係とが格納されている。図２は、インデクス格納部２８に格納されるテーブルの例である。図２に示すように、インデクス格納部２８は、例えば、参照画像ＩＤと、複数の参照画像の各々から抽出した特徴量との組み合わせからなるレコードを格納した参照画像特徴量管理テーブル、クラスタＩＤと、クラスタの各々を代表するクラスタ特徴量との組み合わせからなるレコードを格納したクラスタ管理テーブル、及び、クラスタＩＤと参照画像ＩＤとの対応関係を格納した参照画像‐クラスタ関係管理テーブルを記憶している。ここで、クラスタ特徴量は、複数の参照画像の各々から抽出した特徴量に対してクラスタリングを行って得られた、クラスタの各々についてのクラスタ中心をとった特徴量（セントロイドとも呼ぶ）である。また、１枚の参照画像からは複数の特徴量が抽出されてもよく、候補画像選択部３４や詳細スコア算出部３８で複数種類の特徴量を用いる場合には、参照画像特徴量管理テーブルが複数存在してもよい。なお、図２に示したインデクス格納部２８の各テーブルの列情報は一例であり、候補画像選択部３４や詳細スコア算出部３８でのスコア算出方法に応じて他の列が存在してもよい。 In the index storage unit 28, clustering is performed on the feature quantities around each feature point of each of the plurality of reference images extracted in advance and the feature quantities of the plurality of reference images, and each of the feature quantities is classified. Are stored in each of the plurality of reference images and the corresponding relationship between the plurality of clusters. FIG. 2 is an example of a table stored in the index storage unit 28. As shown in FIG. 2, the index storage unit 28 includes, for example, a reference image feature amount management table storing a record including a combination of a reference image ID and a feature amount extracted from each of a plurality of reference images, a cluster ID, , A cluster management table storing records composed of combinations of cluster feature values representing each of the clusters, and a reference image-cluster relationship management table storing the correspondence between the cluster ID and the reference image ID. . Here, the cluster feature amount is a feature amount (also referred to as a centroid) obtained by clustering the feature amounts extracted from each of the plurality of reference images and taking the cluster center for each of the clusters. . A plurality of feature amounts may be extracted from one reference image. When a plurality of types of feature amounts are used in the candidate image selection unit 34 and the detailed score calculation unit 38, a reference image feature amount management table is provided. There may be more than one. The column information in each table of the index storage unit 28 shown in FIG. 2 is an example, and other columns may exist depending on the score calculation method in the candidate image selection unit 34 and the detailed score calculation unit 38. .
特徴量抽出部３０は、入力部１０により受け付けたクエリ画像に基づいて、当該クエリ画像の特徴量を各々抽出する。特徴量としては、例えば、クエリ画像から抽出した各特徴点の局所特徴量を用いる。なお、他の特徴量を用いてもよく、例えば、クエリ画像の色情報をヒストグラム化したものを用いることができる。本実施の形態では、クラスタ割当部３２、候補画像選択部３４、及び詳細スコア算出部３８のそれぞれに入力する特徴量が共通しているため、共通した特徴量を一度に抽出できるよう、特徴量抽出部３０を集約する。これにより、同じ特徴量を複数回抽出しなくてよいため、処理時間を短縮することができる。 The feature amount extraction unit 30 extracts the feature amounts of the query image based on the query image received by the input unit 10. As the feature amount, for example, the local feature amount of each feature point extracted from the query image is used. Other feature amounts may be used. For example, a histogram of the color information of the query image can be used. In the present embodiment, since the feature quantities input to each of the cluster assignment unit 32, the candidate image selection unit 34, and the detailed score calculation unit 38 are common, the feature quantities are extracted so that the common feature quantities can be extracted at a time. The extraction unit 30 is aggregated. Thereby, since it is not necessary to extract the same feature amount a plurality of times, the processing time can be shortened.
クラスタ割当部３２は、特徴量抽出部３０によって抽出されたクエリ画像の特徴量の各々について、当該特徴量とインデクス格納部２８のクラスタ管理テーブルに格納されたクラスタごとのクラスタ特徴量とに基づいて、当該特徴量を、複数のクラスタのいずれかのクラスタに割り当てる。クラスタ割当部３２は、具体的には、インデクス格納部２８のクラスタ管理テーブルのクラスタごとのクラスタ特徴量を参照し、クエリ画像から抽出した特徴量を、クラスタ管理テーブルのいずれかのクラスタに割り当てる。クラスタへの割り当てには、例えば、複数の参照画像から抽出した特徴量をクラスタリングして作成したクラスタごとのクラスタ特徴量のうち、最も類似度の高いクラスタ特徴量を持つクラスタに割り当てることができる。 The cluster allocating unit 32, for each feature amount of the query image extracted by the feature amount extracting unit 30, based on the feature amount and the cluster feature amount for each cluster stored in the cluster management table of the index storage unit 28. The feature amount is assigned to any one of a plurality of clusters. Specifically, the cluster assigning unit 32 refers to the cluster feature amount for each cluster in the cluster management table of the index storage unit 28, and assigns the feature amount extracted from the query image to any cluster in the cluster management table. For assignment to clusters, for example, among cluster feature values for each cluster created by clustering feature values extracted from a plurality of reference images, assignment can be made to a cluster having the highest cluster feature value.
候補画像選択部３４は、インデクス格納部２８の参照画像‐クラスタ関係管理テーブルに格納された対応関係を参照し、クラスタ割当部３２によってクエリ画像の特徴量の各々に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択する。 The candidate image selection unit 34 refers to the correspondence stored in the reference image-cluster relationship management table of the index storage unit 28, and refers to it according to the cluster allocated to each of the feature amounts of the query image by the cluster allocation unit 32. The image is scored, and each reference image having a high candidate image score is selected as a candidate image.
候補画像選択部３４は、具体的には、クエリ画像から抽出した各特徴量に割り当てられたクラスタについて、インデクス格納部２８のクラスタ‐参照画像関係管理テーブルを参照し、当該クラスタに対応する参照画像ＩＤの集合を取得する。次に、取得した参照画像ＩＤに対して候補画像スコアを加算する。ここでは、上記非特許文献２の手法を用いて、各参照画像について、クエリ画像から抽出した特徴点に対して、当該参照画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアを加算する。そして、参照画像のうち候補画像スコアが予め定めた閾値以上のものを候補画像として選択する。また、参照画像のうち候補画像スコアが上位ｈ件のものを候補画像として選択するようにしてもよい。なお、加算する候補画像スコアは、クラスタや参照画像、特徴量によって異なっていてもよい。例えば、非特許文献２の技術を用いて特徴量を抽出した場合、参照画像から抽出した特徴量ごとに角度の情報を持っているため、クエリ画像から抽出した特徴量との角度の差分によって異なる候補画像スコアが加算されるようにしてもよい。 Specifically, the candidate image selection unit 34 refers to the cluster-reference image relationship management table of the index storage unit 28 for the cluster assigned to each feature amount extracted from the query image, and the reference image corresponding to the cluster. Get a set of IDs. Next, a candidate image score is added to the acquired reference image ID. Here, for each reference image using the technique of Non-Patent Document 2, a certain candidate image is obtained when the similarity between the feature point extracted from the query image and the feature point extracted from the reference image is high. Add scores. Then, a reference image having a candidate image score equal to or higher than a predetermined threshold is selected as a candidate image. Further, the reference image having the highest h candidate image score may be selected as a candidate image. The candidate image score to be added may be different depending on the cluster, the reference image, and the feature amount. For example, when the feature amount is extracted using the technique of Non-Patent Document 2, since the angle information is included for each feature amount extracted from the reference image, the angle differs from the feature amount extracted from the query image. Candidate image scores may be added.
候補画像スコア正規化部３６は、以下に説明するように、候補画像選択部３４によって選択された候補画像の各々の候補画像スコアを正規化する。 The candidate image score normalization unit 36 normalizes each candidate image score of the candidate images selected by the candidate image selection unit 34 as described below.
候補画像スコア正規化部３６は、具体的には、候補画像の各々について、クエリ画像から抽出される特徴点数の平方根、及び当該候補画像から抽出された特徴点数の平方根に反比例した候補画像スコアになるよう正規化する。これにより、特徴点数が多い画像と少ない画像において近い候補画像スコアが算出されるため、後述する合計スコア算出部４２で候補画像スコア及び詳細スコアを合計する際に一定の基準で重みを決定することができる。このように正規化を行う理由を以下に説明する。すなわち、本実施の形態では、候補画像スコア正規化部３６において候補画像スコアの正規化の対象となる候補画像は、候補画像選択部３４において、上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、当該候補画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアが加算されている。このとき、クエリ画像もしくは候補画像の特徴点数が多いほど候補画像スコアが高くなる傾向がある。そのため、クエリ画像の特徴点数および候補画像の特徴点数に反比例するようにスコアを正規化すると、今度は特徴点数の少ない画像への候補画像スコアの加算分が大きくなりすぎ、特徴点数が少ないほど候補画像スコアが高くなる傾向となるため、特徴点数の平方根に反比例したスコアになるように正規化を行う。 Specifically, the candidate image score normalization unit 36 calculates a candidate image score that is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the candidate image for each candidate image. Normalize to As a result, a candidate image score that is similar between an image with a large number of feature points and an image with a small number of feature points is calculated. Can do. The reason for performing normalization in this way will be described below. That is, in the present embodiment, candidate images that are candidates for candidate image score normalization in the candidate image score normalization unit 36 are converted into query images in the candidate image selection unit 34 using the technique of Non-Patent Document 2 described above. A certain candidate image score is added when the similarity between the feature point extracted from the feature point and the feature point extracted from the candidate image is high. At this time, the candidate image score tends to increase as the number of feature points of the query image or candidate image increases. Therefore, if the score is normalized so that it is inversely proportional to the number of feature points in the query image and the number of feature points in the candidate image, the candidate image score is added to the image with a small number of feature points, and the smaller the number of feature points, the more candidates Since the image score tends to increase, normalization is performed so that the score is inversely proportional to the square root of the number of feature points.
そして、候補画像スコア正規化部３６は、候補画像の各々の候補画像スコアの正規化が終わったのち、全ての候補画像、又は正規化した候補画像スコアの高い一部の候補画像を、候補画像として詳細スコア算出部３８に入力する。ここで、全ての候補画像を詳細スコア算出部３８に入力する場合には、候補画像スコア正規化部３６からではなく候補画像選択部３４から入力するようにしてもよい。また、候補画像スコアによる候補画像の選択には、例えば、正規化した候補画像スコアが閾値以上の候補を選択する方法や、正規化した候補画像スコアが高い順にソートした際の上位ｋ件を選択する方法を用いることもできる。 Then, the candidate image score normalization unit 36 selects all candidate images or some candidate images having a high candidate image score after normalization of the candidate image scores of the candidate images. Is input to the detailed score calculation unit 38. Here, when all candidate images are input to the detailed score calculation unit 38, they may be input from the candidate image selection unit 34 instead of from the candidate image score normalization unit 36. In addition, for selection of candidate images based on candidate image scores, for example, a method of selecting candidates whose normalized candidate image scores are equal to or greater than a threshold, or the top k items when sorted in descending order of normalized candidate image scores It is also possible to use a method of
このようにして候補画像スコア正規化部３６によって候補画像スコアを正規化することにより、詳細スコアに差が出なかった場合でも、候補画像スコアを併用することによって、クエリ画像と同一の被写体が写っている可能性の高い画像を優先して類似画像として出力することが可能になる。なお、候補画像スコアの正規化方法については、上述した参照画像から抽出された特徴点の数で割る方法の他、クエリ画像と参照画像との間で類似する特徴点の組み合わせの数で割るなどの方法があり、詳細スコアについても同様の方法を用いることが出来る。 By normalizing the candidate image score by the candidate image score normalization unit 36 in this way, even if there is no difference in the detailed score, by using the candidate image score together, the same subject as the query image is captured. It is possible to preferentially output an image that is likely to be a similar image. The candidate image score normalization method includes the above-described method of dividing by the number of feature points extracted from the reference image, and the number of combinations of feature points similar between the query image and the reference image. The same method can be used for the detailed score.
詳細スコア算出部３８は、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、候補画像の各々に対応する参照画像の各々の特徴量と、特徴量抽出部３０によって抽出されたクエリ画像の各特徴量との類似度に基づいて、候補画像の各々について、詳細スコアを算出する。 The detailed score calculation unit 38 stores each feature amount of the reference image corresponding to each candidate image stored in the reference image feature amount management table of the index storage unit 28 and the query image extracted by the feature amount extraction unit 30. A detailed score is calculated for each of the candidate images based on the degree of similarity to each feature amount.
詳細スコア算出部３８では、具体的には、上記非特許文献１の手法を用いて、候補画像の各々に対し、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、当該候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を、特徴量における角度情報などの付加情報を用いることにより検証する。そして、対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を、当該候補画像の詳細スコアにする。なお、加算する詳細スコアは、参照画像や特徴量によって異なっていてもよい。 Specifically, the detailed score calculation unit 38 uses the technique of Non-Patent Document 1 to calculate the candidate images stored in the reference image feature amount management table of the index storage unit 28 for each candidate image. Of the combinations of the feature points for the corresponding reference image ID and the feature points extracted from the query image, the similarity of the feature amounts at the two feature points of the combination is a similarity greater than or equal to a predetermined threshold. The combination is set as a corresponding point candidate, and the corresponding point candidate is verified by using additional information such as angle information in the feature amount. Then, by classifying the corresponding point candidates into correct correspondence and incorrect correspondence, the number of corresponding point candidates determined to be correct correspondence is made the detailed score of the candidate image. Note that the detailed score to be added may be different depending on the reference image and the feature amount.
詳細スコア正規化部４０は、以下に説明するように、詳細スコア算出部３８によって候補画像の各々について算出された詳細スコアを正規化する。 The detailed score normalization unit 40 normalizes the detailed score calculated for each of the candidate images by the detailed score calculation unit 38 as described below.
詳細スコア正規化部４０は、具体的には、候補画像の各々に対し、詳細スコア算出部３８で当該候補画像について得られた、類似する特徴点の組み合わせである対応点候補の数に反比例するように詳細スコアを正規化することにより、詳細スコアを０〜１の範囲に正規化する。これは、上記非特許文献１に記載されている、正対応と誤対応に分類する手法を用いる場合、正対応と判定された数を詳細スコアにすると、特徴点数が多いほど詳細スコアが高くなる傾向があるためである。 Specifically, the detailed score normalization unit 40 is inversely proportional to the number of corresponding point candidates that are combinations of similar feature points obtained for the candidate image by the detailed score calculation unit 38 for each candidate image. Thus, the detailed score is normalized to the range of 0 to 1 by normalizing the detailed score. This is because, when using the method classified into correct correspondence and incorrect correspondence described in Non-Patent Document 1, if the number determined to be correct correspondence is used as a detailed score, the more detailed score the higher the number of feature points This is because there is a tendency.
合計スコア算出部４２は、候補画像の各々について、候補画像スコア正規化部３６によって正規化された候補画像の候補画像スコアと、詳細スコア正規化部４０によって正規化された候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する。ここで、重み付けは任意の値でよく、例えば１／２等とすればよい。 The total score calculation unit 42, for each candidate image, the candidate image score of the candidate image normalized by the candidate image score normalization unit 36, and the detailed score of the candidate image normalized by the detailed score normalization unit 40 The total score is calculated by adding the weights. Here, the weight may be an arbitrary value, for example, 1/2 or the like.
参照画像情報出力部４４は、合計スコア算出部４２によって候補画像の各々について算出された合計スコアに基づいて、クエリ画像と同一の被写体が写っている参照画像を出力する。本実施の形態では合計スコアの高い参照画像を類似画像として類似画像リストに追加し、類似画像リストを出力する。例えば、合計スコアが閾値以上の参照画像を類似画像とする方法や、合計スコアが高い順にソートした際の上位ｌ件の参照画像を類似画像とする方法がある。 The reference image information output unit 44 outputs a reference image showing the same subject as the query image based on the total score calculated for each of the candidate images by the total score calculation unit 42. In this embodiment, a reference image with a high total score is added as a similar image to the similar image list, and the similar image list is output. For example, there are a method in which reference images having a total score equal to or higher than a threshold value are set as similar images, and a method in which the top l reference images when sorted in descending order of the total score are set as similar images.
＜本発明の実施の形態に係る類似画像取得装置の作用＞ <Operation of Similar Image Acquisition Device According to Embodiment of Present Invention>
次に、本発明の実施の形態に係る類似画像取得装置１００の作用について説明する。入力部１０においてクエリ画像を受け付けると、類似画像取得装置１００は、図３に示す類似画像取得処理ルーチンを実行する。 Next, the operation of the similar image acquisition device 100 according to the embodiment of the present invention will be described. When the query image is received at the input unit 10, the similar image acquisition device 100 executes a similar image acquisition processing routine shown in FIG.
まず、ステップＳ１００では、入力部１０において受け付けたクエリ画像に基づいて、当該クエリ画像の各特徴量を抽出する。 First, in step S100, based on the query image received by the input unit 10, each feature amount of the query image is extracted.
次に、ステップＳ１０２では、ステップＳ１００で抽出されたクエリ画像の各特徴量について、当該特徴量とインデクス格納部２８のクラスタ管理テーブルに格納されたクラスタごとのクラスタ特徴量とに基づいて、当該特徴量を、複数のクラスタのいずれかのクラスタに割り当てる。 Next, in step S102, for each feature quantity of the query image extracted in step S100, the feature quantity is based on the feature quantity and the cluster feature quantity for each cluster stored in the cluster management table of the index storage unit 28. Assign the amount to one of the clusters.
ステップＳ１０４では、インデクス格納部２８の参照画像‐クラスタ関係管理テーブルに格納された対応関係を参照し、ステップＳ１０２でクエリ画像の各特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択する。 In step S104, the correspondence stored in the reference image-cluster relationship management table of the index storage unit 28 is referred to, and the reference image is scored according to the cluster assigned to each feature amount of the query image in step S102. And each of the reference images having a high candidate image score is selected as a candidate image.
ステップＳ１０６では、ステップＳ１０４で選択された候補画像の各々について、クエリ画像の特徴点数と当該候補画像の特徴点数とに基づいて、当該候補画像の候補画像スコアを正規化する。 In step S106, for each candidate image selected in step S104, the candidate image score of the candidate image is normalized based on the number of feature points of the query image and the number of feature points of the candidate image.
ステップＳ１０８では、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、候補画像の各々に対応する参照画像の各々の特徴量と、ステップＳ１００で抽出されたクエリ画像の各特徴量との類似度に基づいて、候補画像の各々について、詳細スコアを算出する。 In step S108, the feature amount of each reference image corresponding to each candidate image stored in the reference image feature amount management table of the index storage unit 28, and each feature amount of the query image extracted in step S100. Based on the degree of similarity, a detailed score is calculated for each of the candidate images.
ステップＳ１１０では、候補画像の各々について、クエリ画像との間で類似する特徴点の組み合わせである対応点候補の数に基づいて、ステップＳ１０８で算出された詳細スコアを正規化する。 In step S110, for each candidate image, the detailed score calculated in step S108 is normalized based on the number of corresponding point candidates that are combinations of feature points similar to the query image.
ステップＳ１１２では、候補画像の各々について、ステップＳ１０６で正規化された候補画像の候補画像スコアと、ステップＳ１１０で正規化された候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する。 In step S112, for each candidate image, a total score obtained by summing the candidate image score of the candidate image normalized in step S106 and the detailed score of the candidate image normalized in step S110 with weight is calculated.
ステップＳ１１４では、ステップＳ１１２で候補画像の各々について算出された合計スコアに基づいて、合計スコアの高い参照画像を類似画像として追加した類似画像リストを出力部５０に出力し、類似画像取得処理ルーチンを終了する。 In step S114, based on the total score calculated for each of the candidate images in step S112, a similar image list in which a reference image having a high total score is added as a similar image is output to the output unit 50, and a similar image acquisition processing routine is executed. finish.
以上説明したように、本発明の実施の形態に係る類似画像取得装置によれば、抽出されたクエリ画像の特徴量について、クエリ画像の特徴量とクラスタ特徴量とに基づいて、クエリ画像の特徴量を、いずれかのクラスタに割り当て、クエリ画像の特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択し、選択された候補画像の各々の候補画像スコアを正規化し、候補画像の各々に対応する参照画像の各々の特徴量と、クエリ画像の特徴量との類似度に基づいて、詳細スコアを算出し、算出された詳細スコアを正規化し、候補画像の各々について、正規化された候補画像スコアと、正規化された詳細スコアとを重み付きで合計した合計スコアを算出し、クエリ画像と同一の被写体が写っている参照画像を出力することにより、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得することができる。 As described above, according to the similar image acquisition device according to the embodiment of the present invention, the feature amount of the query image is extracted based on the feature amount of the query image and the cluster feature amount. Assign a quantity to one of the clusters, score the reference image according to the cluster assigned to the feature quantity of the query image, select each reference image with a high candidate image score as a candidate image, and select The candidate image score of each of the candidate images is normalized, and a detailed score is calculated based on the similarity between the feature amount of each reference image corresponding to each of the candidate images and the feature amount of the query image. The obtained detailed score is normalized, and for each candidate image, a total score obtained by summing the normalized candidate image score and the normalized detailed score with a weight is calculated. By outputting the reference image by the image the same subject is photographed, high accuracy, and can obtain the similar image query image the same subject is reflected in the high speed.
また、候補画像選択部３４での高速な画像認識処理によって同一被写体が写っている可能性の高い画像を候補画像として選択し、それらの候補画像に対して詳細スコア算出部３８にて詳細な認識処理を実施することにより、高速かつ高精度に同一被写体の写っている可能性の高い類似画像を取得することが可能になる。そのとき、候補画像選択部３４で用いる特徴量と詳細スコア算出部３８で用いる特徴量のうち、共通しているものを特徴量抽出部にて一度の処理で抽出することにより、特徴量抽出にかかる時間を短縮できる。また、候補画像スコアと詳細スコアを正規化して重み付きで合計したスコアを算出することにより、詳細スコア算出部３８で詳細スコアの差が付かなかった場合にも、候補画像選択部の候補画像スコアの大小によって類似画像の順序付けができるようになるという効果がある。 Also, images that are likely to contain the same subject are selected as candidate images by high-speed image recognition processing in the candidate image selection unit 34, and detailed recognition is performed on the candidate images by the detailed score calculation unit 38. By performing the process, it is possible to acquire a similar image that is highly likely to show the same subject at high speed and with high accuracy. At that time, the feature quantity used by the candidate image selection unit 34 and the feature quantity used by the detailed score calculation unit 38 are extracted in common by extracting a common one from the feature quantity extraction unit. This time can be shortened. In addition, by calculating the score obtained by normalizing the candidate image score and the detailed score and adding the weighted sum, the candidate image score of the candidate image selecting unit can be obtained even when the detailed score calculating unit 38 finds no difference in the detailed score. There is an effect that similar images can be ordered according to the size of.
また、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点と類似度が高い場合に一定のスコアを加算すると、クエリ画像もしくは参照画像の特徴点数が多いほどスコアが高くなる傾向がある。そのため、クエリ画像の特徴点数および参照画像の特徴点数に反比例するようにスコアを正規化すると、今度は特徴点数の少ない画像へのスコアの加算分が大きくなりすぎ、特徴点数が少ないほどスコアが高くなる傾向になってしまう。クエリ画像から抽出された特徴点数の平方根および参照画像から抽出された特徴点数の平方根に反比例したスコアになるよう正規化することにより、特徴点数が多い画像と少ない画像において近いスコアが算出されるため、合計スコア算出部４２でスコアを合計する際に一定の基準で重みを決定することができるという効果がある。 In addition, when a certain score is added to a feature point extracted from a query image when the similarity with the feature point extracted from each reference image is high, the score increases as the number of feature points of the query image or the reference image increases. Tend. For this reason, if the score is normalized so that it is inversely proportional to the number of feature points in the query image and the number of feature points in the reference image, the score added to the image with a small number of feature points becomes too large. Will tend to be. By normalizing the score so that it is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the reference image, a score close to the image with a large number of feature points is calculated. When the total score calculation unit 42 sums up the scores, the weight can be determined based on a certain standard.
また、クエリ画像と参照画像から抽出した特徴量の組み合わせのうち、特徴量の類似度が高い組み合わせを対応点候補とし、さらに対応点候補を、角度情報などの付加情報を用いることにより検証し、正対応と誤対応とに分類する技術として、例えば非特許文献１がある。このような技術において、正対応と判定された数をスコアにすると、特徴点数が多いほどスコアが高くなる傾向がある。そこで、対応点候補数に反比例するようにスコアを正規化することにより、スコアを０〜１の範囲に正規化できるため、合計スコア算出部４２でスコアを合計する際に一定の基準で重みを決定することができるという効果がある。 Further, among the combinations of feature amounts extracted from the query image and the reference image, a combination having a high feature amount similarity is set as a corresponding point candidate, and the corresponding point candidate is verified by using additional information such as angle information, For example, Non-Patent Document 1 is a technique for classifying a correct response and an incorrect response. In such a technique, when the number determined to be correct correspondence is used as a score, the score tends to increase as the number of feature points increases. Therefore, by normalizing the score so as to be inversely proportional to the number of corresponding point candidates, the score can be normalized to a range of 0 to 1. Therefore, when the total score calculation unit 42 sums up the score, the weight is set based on a certain standard. The effect is that it can be determined.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、上述した実施の形態では、候補画像選択部３４において上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアを加算し、候補画像スコア正規化部３６においてクエリ画像から抽出される特徴点数の平方根、及び候補画像から抽出された特徴点数の平方根に反比例した候補画像スコアになるよう正規化する場合を例に説明したが、これに限定されるものではなく、候補画像選択部３４において上記非特許文献１の手法を用いて、候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を候補画像スコアにし、候補画像スコア正規化部３６において対応点候補の数に反比例するように候補画像スコアを正規化してもよい。 For example, in the above-described embodiment, the similarity between the feature point extracted from the query image and the feature point extracted from each reference image with respect to the feature point extracted from the query image by using the technique of Non-Patent Document 2 in the candidate image selection unit 34. If it is higher, a certain candidate image score is added, and the candidate image score normalization unit 36 obtains a candidate image score that is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the candidate image. However, the present invention is not limited to this, and the candidate image selection unit 34 uses the technique described in Non-Patent Document 1 to provide a feature point for the reference image ID corresponding to the candidate image. And the similarity between the feature points extracted from the query image and the feature amount similarity between the two feature points of the combination is equal to or higher than a predetermined threshold value. The corresponding point candidates are further classified into correct correspondence and incorrect correspondence, and the number of corresponding point candidates determined to be correct correspondence is set as a candidate image score. In the candidate image score normalization unit 36 The candidate image score may be normalized so as to be inversely proportional to the number of corresponding point candidates.
また、上述した実施の形態では、詳細スコア算出部３８において上記非特許文献１の手法を用いて、候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を詳細スコアにし、詳細スコア正規化部４０において対応点候補の数に反比例するように詳細スコアを正規化する場合を例に説明したが、これに限定されるものではなく、詳細スコア算出部３８において上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点との類似度が高い場合に一定の詳細スコアを加算し、詳細スコア正規化部４０においてクエリ画像から抽出される特徴点数の平方根、及び候補画像から抽出された特徴点数の平方根に反比例した詳細スコアになるように正規化してもよい。 In the above-described embodiment, the detailed score calculation unit 38 uses the technique of Non-Patent Document 1 to calculate the feature points for the reference image ID corresponding to the candidate image and the feature points extracted from the query image. Among the combinations, a combination in which the similarity of the feature quantities at the two feature points of the combination is a similarity equal to or higher than a predetermined threshold is set as a corresponding point candidate, and the corresponding point candidate is further classified into a correct response and an incorrect response. As a result, the number of corresponding point candidates determined to be correct correspondence is set as a detailed score, and the detailed score normalization unit 40 has been described as an example of normalizing the detailed score so as to be inversely proportional to the number of corresponding point candidates. The feature score extracted from the query image is extracted from each reference image by using the technique of Non-Patent Document 2 in the detailed score calculation unit 38. When the similarity with the feature points is high, a certain detailed score is added, and the detailed score normalization unit 40 is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the candidate image You may normalize so that it may become a detailed score.
１０ 入力部
２０ 演算部
２８ インデクス格納部
３０ 特徴量抽出部
３２ クラスタ割当部
３４ 候補画像選択部
３６ 候補画像スコア正規化部
３８ 詳細スコア算出部
４０ 詳細スコア正規化部
４２ 合計スコア算出部
４４ 参照画像情報出力部
５０ 出力部
１００ 類似画像取得装置
DESCRIPTION OF SYMBOLS 10 Input part 20 Calculation part 28 Index storage part 30 Feature-value extraction part 32 Cluster allocation part 34 Candidate image selection part 36 Candidate image score normalization part 38 Detailed score calculation part 40 Detailed score normalization part 42 Total score calculation part 44 Reference image Information output unit 50 Output unit 100 Similar image acquisition device
Claims (7)
入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出する特徴量抽出部と、
予め抽出された前記複数の参照画像の各々の特徴量と、前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、前記複数の参照画像の各々と前記複数のクラスタとの対応関係とを格納するインデクス格納部と、
前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、前記インデクス格納部に格納された前記クラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるクラスタ割当部と、
前記インデクス格納部に格納された前記対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択する候補画像選択部と、
前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化する候補画像スコア正規化部と、
前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出する詳細スコア算出部と、
前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化する詳細スコア正規化部と、
前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する合計スコア算出部と、
前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力する参照画像情報出力部と、
を含む類似画像取得装置。 A similar image acquisition device that acquires the reference image in which the same subject as the query image is captured from a plurality of reference images,
A feature amount extraction unit that extracts a feature amount of the query image based on the input query image;
A feature amount of each of the plurality of reference images extracted in advance, and a cluster feature amount representing each of the clusters into which the feature amounts are classified by performing clustering on the feature amounts of the plurality of reference images; An index storage unit that stores correspondences between each of the plurality of reference images and the plurality of clusters;
For the feature amount of the query image extracted by the feature amount extraction unit, the feature amount of the query image is calculated based on the feature amount of the query image and the cluster feature amount stored in the index storage unit. A cluster allocation unit that allocates to any one of the plurality of clusters;
Referencing the correspondence stored in the index storage unit, scoring the reference image according to the cluster allocated to the feature amount of the query image by the cluster allocation unit, the candidate image score is high A candidate image selection unit that selects each of the reference images as a candidate image;
A candidate image score normalization unit that normalizes each candidate image score of the candidate images selected by the candidate image selection unit;
Based on the similarity between each feature amount of the reference image corresponding to each of the candidate images stored in the index storage unit and the feature amount of the query image extracted by the feature amount extraction unit, For each of the candidate images, a detailed score calculation unit that calculates a detailed score;
A detailed score normalization unit that normalizes the detailed score calculated for each of the candidate images by the detailed score calculation unit;
For each of the candidate images, the candidate image score of the candidate image normalized by the detailed score normalization unit and the detailed score of the candidate image normalized by the detailed score normalization unit are summed with weights. A total score calculation unit for calculating the total score obtained,
A reference image information output unit that outputs the reference image showing the same subject as the query image, based on the total score calculated for each of the candidate images by the total score calculation unit;
A similar image acquisition device.
前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化する請求項１に記載の類似画像取得装置。 In normalization in the candidate image score normalization unit, or normalization in the detailed score normalization unit,
The similar image acquisition apparatus according to claim 1, wherein normalization is performed so that the score is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the reference image.
前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化する請求項１に記載の類似画像取得装置。 In normalization in the candidate image score normalization unit, or normalization in the detailed score normalization unit,
Among the combinations of the feature points extracted from the query image and the feature points extracted from the reference image, the combination having a similarity equal to or higher than a predetermined threshold is set as a corresponding point candidate, and the corresponding point candidate The similar image acquisition apparatus according to claim 1, wherein normalization is performed so that the score is inversely proportional to the number.
特徴量抽出部が、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出するステップと、
クラスタ割当部が、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、インデクス格納部に格納された前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるステップと、
候補画像選択部が、前記インデクス格納部に格納された、前記複数の参照画像の各々と前記複数のクラスタとの対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択するステップと、
候補画像スコア正規化部が、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化するステップと、
詳細スコア算出部が、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出するステップと、
詳細スコア正規化部が、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化するステップと、
合計スコア算出部が、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出するステップと、
参照画像情報出力部が、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力するステップと、
を含む類似画像取得方法。 A similar image acquisition method in a similar image acquisition device that acquires the reference image in which the same subject as the query image is captured from a plurality of reference images,
A step of extracting a feature amount of the query image based on the input query image;
The cluster allocating unit performs clustering on the feature amount of the query image extracted by the feature amount extraction unit and the feature amount of the query image and the feature amount of the plurality of reference images stored in the index storage unit. Assigning a feature quantity of the query image to any one of the plurality of clusters based on a cluster feature quantity representative of each of the clusters into which the feature quantities have been classified.
The candidate image selection unit refers to the correspondence relationship between each of the plurality of reference images and the plurality of clusters stored in the index storage unit, and is allocated to the feature amount of the query image by the cluster allocation unit. Scoring the reference image according to a cluster, and selecting each of the reference images having a high candidate image score as a candidate image;
A candidate image score normalization unit normalizing each candidate image score of the candidate images selected by the candidate image selection unit;
The detailed score calculation unit includes a feature amount of each of the reference images corresponding to each of the candidate images stored in the index storage unit, and a feature amount of the query image extracted by the feature amount extraction unit. Calculating a detailed score for each of the candidate images based on the similarity;
A detailed score normalization unit normalizing the detailed score calculated for each of the candidate images by the detailed score calculation unit;
For each of the candidate images, a total score calculation unit, the candidate image score of the candidate image normalized by the detailed score normalization unit, and the detailed score of the candidate image normalized by the detailed score normalization unit Calculating a total score obtained by weighting and
A reference image information output unit, based on the total score calculated for each of the candidate images by the total score calculation unit, outputting the reference image showing the same subject as the query image;
Similar image acquisition method including:
前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化する請求項４に記載の類似画像取得方法。 In the step of normalizing in the candidate image score normalization unit, or in the step of normalizing in the detailed score normalization unit,
The similar image acquisition method according to claim 4, wherein normalization is performed so that the score is inversely proportional to the square root of the number of feature points extracted from the query image and the square root of the number of feature points extracted from the reference image.
前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化する請求項４に記載の類似画像取得方法。 In the step of normalizing in the candidate image score normalization unit, or in the step of normalizing in the detailed score normalization unit,
Among the combinations of the feature points extracted from the query image and the feature points extracted from the reference image, the combination having a similarity equal to or higher than a predetermined threshold is set as a corresponding point candidate, and the corresponding point candidate The similar image acquisition method according to claim 4, wherein normalization is performed so that the score is inversely proportional to the number.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015134284A JP6012819B1 (en) | 2015-07-03 | 2015-07-03 | Similar image acquisition apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015134284A JP6012819B1 (en) | 2015-07-03 | 2015-07-03 | Similar image acquisition apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6012819B1 JP6012819B1 (en) | 2016-10-25 |
| JP2017016501A true JP2017016501A (en) | 2017-01-19 |
Family
ID=57145145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015134284A Active JP6012819B1 (en) | 2015-07-03 | 2015-07-03 | Similar image acquisition apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6012819B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11790635B2 (en) | 2019-06-17 | 2023-10-17 | Nippon Telegraph And Telephone Corporation | Learning device, search device, learning method, search method, learning program, and search program |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6310529B1 (en) * | 2016-11-01 | 2018-04-11 | ヤフー株式会社 | SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM |
| JP6668228B2 (en) * | 2016-12-26 | 2020-03-18 | 日本電信電話株式会社 | Subject identification device, method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101423A (en) * | 2011-11-07 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Image matching device and image matching program |
| WO2013147170A1 (en) * | 2012-03-29 | 2013-10-03 | 楽天株式会社 | Image search device, image search method, program, and computer-readable storage medium |
| JP2014041560A (en) * | 2012-08-23 | 2014-03-06 | Canon Inc | Image processing apparatus, and image processing method |
| JP2014071890A (en) * | 2012-09-29 | 2014-04-21 | Nec (China) Co Ltd | Object search method, search verification method, and apparatuses thereof |
| JP2014127094A (en) * | 2012-12-27 | 2014-07-07 | Yahoo Japan Corp | Vocabulary search device, vocabulary search method and vocabulary search program |
-
2015
- 2015-07-03 JP JP2015134284A patent/JP6012819B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101423A (en) * | 2011-11-07 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Image matching device and image matching program |
| WO2013147170A1 (en) * | 2012-03-29 | 2013-10-03 | 楽天株式会社 | Image search device, image search method, program, and computer-readable storage medium |
| JP2014041560A (en) * | 2012-08-23 | 2014-03-06 | Canon Inc | Image processing apparatus, and image processing method |
| JP2014071890A (en) * | 2012-09-29 | 2014-04-21 | Nec (China) Co Ltd | Object search method, search verification method, and apparatuses thereof |
| JP2014127094A (en) * | 2012-12-27 | 2014-07-07 | Yahoo Japan Corp | Vocabulary search device, vocabulary search method and vocabulary search program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11790635B2 (en) | 2019-06-17 | 2023-10-17 | Nippon Telegraph And Telephone Corporation | Learning device, search device, learning method, search method, learning program, and search program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6012819B1 (en) | 2016-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5673540B2 (en) | Object detection method | |
| KR101582108B1 (en) | Document classification system, document classification method, and document classification program | |
| US8719018B2 (en) | Biometric speaker identification | |
| US9298365B2 (en) | Storage medium, information processing apparatus and character recognition method | |
| JP6211407B2 (en) | Image search system, image search device, search server device, image search method, and image search program | |
| JP6012819B1 (en) | Similar image acquisition apparatus, method, and program | |
| JPWO2011136276A1 (en) | Method and apparatus for creating image database for 3D object recognition | |
| CN105069457B (en) | Image recognition method and device | |
| CN111523569A (en) | User identity determination method and device and electronic equipment | |
| JP5598925B2 (en) | Retrieval device and program for retrieving high-dimensional feature vectors with high accuracy | |
| US20160147867A1 (en) | Information matching apparatus, information matching method, and computer readable storage medium having stored information matching program | |
| JPWO2020050413A1 (en) | Face image candidate determination device for authentication, face image candidate determination method for authentication, program, and recording medium | |
| CN107346410B (en) | Picture processing method and device | |
| US10997281B2 (en) | Information processing device, biometric authentication method, and recording medium recording biometric authentication program | |
| JPWO2019234827A1 (en) | Information processing device, judgment method, and program | |
| JP5764094B2 (en) | Image search apparatus, image search method, and image search program | |
| JPWO2013145249A1 (en) | Biometric authentication device, biometric authentication method, and biometric authentication program | |
| CN111539576B (en) | Risk identification model optimization method and device | |
| JP6427480B2 (en) | IMAGE SEARCH DEVICE, METHOD, AND PROGRAM | |
| CN113434463A (en) | Method for classifying files according to two-dimensional codes | |
| JP2015207047A (en) | Similar feature extraction device, method, and program | |
| CN110516513A (en) | A kind of face identification method and device | |
| US20220067081A1 (en) | Training data acquisition apparatus, training apparatus, and training data acquiring method | |
| WO2018096052A1 (en) | A quick match algorithm for biometric data | |
| JP5188290B2 (en) | Annotation apparatus, annotation method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6012819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |