JP2017215784A - 物体検出装置、方法、及びプログラム - Google Patents

Abstract

【課題】クエリ画像に類似する参照画像を高速、かつ、高精度に求めることができる。【解決手段】クラスタ算出部１１が、参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出する。部分画像算出部１２が、クエリ画像から部分画像を各々算出する。分類部１３が、参照画像の各々、及び部分画像の各々を、複数のクラスタの何れかに分類する。特徴抽出部１４が、参照画像の各々、及び部分画像から特徴量を抽出する。画像認識部１０１が、部分画像の各々について、算出された部分画像の特徴量、及び分類された部分画像のクラスタを検索キーとして、部分画像のクラスタと同一のクラスタに分類された参照画像であって、部分画像と類似する参照画像を部分画像に類似する順にソートし、上位の参照画像を算出する。出力部１９が、上位の参照画像を検索ランキング結果として出力する。【選択図】図１

Description

本発明は、物体検出装置、方法、及びプログラムに係り、特に、クエリ画像と同一物体を含む参照画像を検索するための物体検出装置、方法、及びプログラムに関する。

小売店等における商品の売上げは、商品棚に陳列されている配置に大きく影響されるため、商品メーカー・店舗等にとって商品棚の商品・位置・数を把握することは重要である。従来、これらは人手により調査されてきたが、全ての店舗において、時々刻々と移り変わる商品棚の情報を把握することは相当のコストを伴う。よって、これらをより低コストに把握する技術が求められている。中でも、デジタルカメラ、スマートホン等の携帯撮影デバイスにより商品棚を撮影し、撮影した棚画像から、商品の名称やその位置を特定する画像認識技術の適用が有望である。

画像中の物体を認識する方法としては、従来種々の技術が発明・開示されている。例えば非特許文献１では、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量のマッチングに基づく方法が開示されている。これは、名称が既知の物体画像（以下、参照画像と記載する）によりあらかじめ参照画像データベースを構築し、これを用いて新たに入力された画像（以下クエリ画像と呼ぶ）に含まれる物体の名称を推定する。まずクエリ画像、及び参照画像のそれぞれの画像中から、特徴的であるような微小な領域として特徴点を検出し、特徴点毎にＳＩＦＴ特徴量を算出する。次に、クエリ画像と参照画像の間で、得られたそれぞれのＳＩＦＴ特徴量間の距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出する。このマッチング数が多いほど、クエリ画像に対応した参照画像である（類似度が高い）ことになる。こうして得られた類似度が高い参照画像に含まれる物体の名称を認識結果として出力する。

また、このような特徴量のマッチングに基づく方法をより効率的に行うべく、特許文献１では、特徴量をＶｉｓｕａｌ Ｗｏｒｄｓ（以下、ＶＷと記載する）と呼ばれる符号に量子化し、同一のＶＷに量子化された局所特徴量の数で類似度を算出する技術を開示している。この方法では、ＶＷをキーとして、これを保持するような参照画像を逆引きできるように設計された転置インデクスと呼ばれるデータ構造を利用する。これにより、クエリ画像と類似する参照画像の高速な特定が可能となる。

しかし、これらの従来技術はクエリ画像中に同一の物体が複数存在しないという前提のもと、最も類似度が大きい参照画像を特定する技術であり、図４に示す商品棚画像のようにクエリ画像中に同一の物体が複数存在する場合、マッチする特徴点が分散してしまい、認識に失敗してしまう。

この問題を解決するには、クエリ画像から部分画像を切り出す方法がある。単一の物体のみを含む部分画像を切り出すことができれば、各部分画像を入力とした前述の画像認識を行うことで、クエリ画像中の物体の名称とその位置を特定することができる。

クエリ画像から部分画像を切り出す技術については、従来いくつかの発明がなされ、開示されてきている。

非特許文献２に開示されているスライディングウィンドウでは、様々なスケール、アスペクト比の矩形でクエリ画像を走査し、部分画像を多量に切り出す。

非特許文献３に開示されているｏｂｊｅｃｔ ｐｒｏｐｏｓａｌという技術では、画像中の物体が存在しそうな領域を部分画像として複数切り出す。画像全体から部分画像を切り出すスライディングウィンドウに比べ、少ない部分画像枚数で物体を網羅することが可能である。

非特許文献４に開示されている技術では、参照画像からカテゴリ毎のモデルを学習し、モデルに基づいて各カテゴリの物体が画像中のどこにあるかを算出する。スライディングウィンドウ、ｏｂｊｅｃｔ ｐｒｏｐｏｓａｌと比べて精度良く物体のみを切り出すことが可能であるが、どの参照画像にどのカテゴリの物体が含まれているかという情報が必要となる。

特開２０１６−１８４４４号公報

D.G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004 Ferrari V., Fevrier L., Jurie F., Schmid C: Groups of Adjacent Contour Segments for Object Detection. PAMI, 2008 Alexe, B., Deselaers, T., Ferrari, V: Measuring the objectness of image windows. PAMI, 2012 Tomasz M., Abhinav G., Alexei A. Efros.: Ensemble of Exemplar-SVMs for Object Detection and Beyond. In ICCV, 2011

前述の通り、画像認識技術と部分画像の切り出し技術を組み合わせることで、図４に示すような商品棚を撮影した画像から商品の名称とその商品の位置を特定することが可能である。

しかし、図５に示すような、ある商品のパッケージに異なる商品の画像が印刷されている場合、商品を正確に特定することが困難となる。これは、ある商品が複数セットになったケース販売などでよくみられる。このような場合、例えば、商品４のみを含む部分画像を入力とした認識を行った場合であっても、商品１の参照画像とマッチしてしまい誤認識してしまう場合がある。

さらに、商品１と商品３のように、類似した見た目であり、かつ、異なるサイズの商品が存在する場合、例えば商品３のみを含む部分画像と商品１の参照画像とがマッチしてしまい、誤認識してしまう場合がある。

本発明は、上記事情を鑑みて成されたものであり、クエリ画像に類似する参照画像を高速、かつ、高精度に求めることができる物体検出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る物体検出装置は、参照画像からなる参照画像群から、クエリ画像と同一の物体を含む複数の参照画像を検索する物体検出装置であって、前記参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出するクラスタ算出部と、前記クエリ画像から部分画像を各々算出する部分画像算出部と、前記参照画像の各々、及び前記部分画像の各々を、前記複数のクラスタの何れかに分類する分類部と、前記参照画像の各々、及び前記部分画像から特徴量を抽出する特徴抽出部と、前記部分画像の各々について、前記算出された部分画像の特徴量、及び前記分類された部分画像のクラスタを検索キーとして、前記部分画像のクラスタと同一のクラスタに分類された前記参照画像であって、前記部分画像と類似する前記参照画像を前記部分画像に類似する順にソートし、上位の参照画像を算出する画像認識部と、前記部分画像の各々について算出された上位の参照画像を検索ランキング結果として統合して出力する出力部と、を含んで構成されている。

また、第１の発明に係る物体検出装置において、前記画像認識部は、前記参照画像の各々から抽出された一つ以上の特徴量に基づいて、前記特徴量からＶｉｓｕａｌ Ｗｏｒｄｓ（ＶＷ）への量子化を行うための量子化器を作成する量子化器作成部と、前記参照画像の各々、及び前記部分画像の各々について、前記作成された量子化器に基づいて、前記抽出された前記特徴量に対してＶＷを割り当てることにより量子化する量子化部と、前記ＶＷの各々について前記ＶＷを有する参照画像を表す転置インデクスを作成するインデクシング部と、前記部分画像の各々について、前記転置インデクスに基づいて、前記部分画像と同一のクラスタに分類された参照画像のうち前記部分画像と同一のＶＷを有する参照画像に投票し、上位の参照画像を算出する検索ランキング部と、を含むようにしてもよい。

また、第１の発明に係る物体検出装置において、前記クラスタ算出部は、前記参照画像群の画像サイズの縦の長さ、横の長さ、及び対角線の長さのうちの少なくとも１つに基づいて、前記複数のクラスタを算出するようにしてもよい。

また、第１の発明に係る物体検出装置において、前記クラスタ算出部は、前記参照画像群の画像サイズの縦の長さ、横の長さ、及び対角線の長さのうちのいずれか二つの比率に基づいて、前記複数のクラスタを算出するようにしてもよい。

第２の発明に係る物体検出方法は、参照画像からなる参照画像群から、クエリ画像と同一の物体を含む複数の参照画像を検索する物体検出装置における物体検出方法であって、クラスタ算出部が、前記参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出するステップと、分類部が、前記参照画像の各々を、前記複数のクラスタの何れかに分類するステップと、特徴抽出部が、前記参照画像の各々から特徴量を抽出するステップと、部分画像算出部が、前記クエリ画像から部分画像を各々算出するステップと、前記分類部が、前記部分画像の各々を、前記複数のクラスタの何れかに分類するステップと、前記特徴抽出部が、前記部分画像から特徴量を抽出するステップと、画像認識部が、前記部分画像の各々について、前記算出された部分画像の特徴量、及び前記分類された部分画像のクラスタを検索キーとして、前記部分画像のクラスタと同一のクラスタに分類された前記参照画像であって、前記部分画像と類似する前記参照画像を前記部分画像に類似する順にソートし、上位の参照画像を算出するステップと、出力部が、前記部分画像の各々について、前記算出された上位の参照画像を検索ランキング結果として統合して出力するステップと、を含んで実行することを特徴とする。

第３の発明に係るプログラムは、コンピュータを、第１の発明に係る物体検出装置の各部として機能させるためのプログラムである。

本発明の物体検出装置、方法、及びプログラムによれば、参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出し、クエリ画像から部分画像を各々算出し、参照画像の各々、及び部分画像の各々を、複数のクラスタの何れかに分類し、参照画像の各々、及び部分画像から特徴量を抽出し、部分画像の各々について、算出された部分画像の特徴量、及び分類された部分画像のクラスタを検索キーとして、部分画像のクラスタと同一のクラスタに分類された参照画像であって、部分画像と類似する参照画像を部分画像に類似する順にソートし、上位の参照画像を算出し、上位の参照画像を検索ランキング結果として統合して出力することにより、クエリ画像に類似する参照画像を高速、かつ、高精度に求めることができる、という効果が得られる。

本発明の実施の形態に係る物体検出装置の構成を示すブロック図である。 本発明の実施の形態に係る物体検出装置における参照画像学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る物体検出装置における物体検出処理ルーチンを示すフローチャートである。 クエリ画像中に同一の物体が複数存在する場合の一例を示す図である。 ある商品のパッケージに異なる商品の画像が印刷されている場合や、類似した見た目であり、かつ、異なるサイズの商品が存在する場合の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明の実施の形態に係る物体検出装置は、参照画像からなる参照画像群から、クエリ画像と同一の物体を含む複数の参照画像を検索する物体検出装置である。

＜本発明の実施の形態に係る物体検出装置の構成＞

まず、本発明の実施の形態に係る物体検出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る物体検出装置１は、ＣＰＵと、ＲＡＭと、後述する参照画像学習処理ルーチン、及び物体検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この物体検出装置１は、機能的には図１に示すようにクラスタ算出部１１と、部分画像算出部１２と、分類部１３と、特徴抽出部１４と、画像認識部１０１と、出力部１９と、クラスタ記憶部２１と、量子化器記憶部２２と、参照情報記憶部２３と、を備えている。

クラスタ算出部１１は、物体の名称が付与された参照画像からなる参照画像群の入力を受け付け、参照画像群の各参照画像の画像サイズに基づいて、画像を分類するための複数のクラスタを算出する。画像サイズとしては、例えば、縦の長さ、横の長さ、及び対角線の長さの三種の長さを用いることができる。具体的には、クラスタ算出部１１は、参照画像群の画像サイズの縦の長さ、横の長さ、及び対角線の長さのうちの少なくとも１つに基づいて、複数のクラスタを算出することができる。あるいは、三種のうちのいずれか二つの比率に基づいて、複数のクラスタを算出することができる。

以降では、本実施の形態のクラスタ算出部１１におけるクラスタ算出の例として、一般的にアスペクト比と呼ばれる、横の長さと縦の長さとの二つの比率に基づいて、複数のクラスタを算出する場合について説明する。ここでは、比率を、横を縦で割った値で表現する。例えば横１９２０ピクセル、縦１４４０ピクセルの画像の場合、約１．３３となる。クラスタは、数値を複数のグループに分類するような手続きであれば、いかなる公知のものを用いても構わない。例えば、仮に異なるアスペクト比の数がごく少数であるような場合には、同一のアスペクト比を持つものを同じグループに分類するクラスタとすればよい。あるいは、アスペクト比を１次元のベクトルとみなしｋ−ｍｅａｎｓクラスタリングなどの公知のクラスタリング手法により、Ｍ個のクラスタと、クラスタ各々についてのアスペクト比を当該クラスタの代表値として算出すればよい。この場合、クラスタ及び代表値を用いた画像の分類方法としては、画像のアスペクト比が最も近い代表値のクラスタへ分類すればよい。Ｍは２以上とし、入力される参照画像の枚数以下の自然数とする。あるいは、任意の実数Ｎを代表値として、アスペクト比がＮより大きい場合、Ｎ以下の場合という２個のクラスタへ分類する方法を採用してもよい。この場合、例えばＮを１とすると、画像の長辺が横の場合と縦の場合に分類することができる。

クラスタ記憶部２１には、クラスタ算出部１１で算出された複数のクラスタ、及びクラスタの各々に対応する画像サイズに関する代表値が記憶される。

部分画像算出部１２は、クエリ画像の入力を受け付け、クエリ画像から部分画像を各々算出する。クエリ画像からの部分画像の算出方法としては、任意の物体候補領域抽出技術を用いることができる。例えば、スライディングウィンドウ（上記非特許文献２）、ｏｂｊｅｃｔ ｐｒｏｐｏｓａｌ（上記非特許文献３）、物体検出（上記非特許文献４）などの方法を用いればよい。

また、部分画像の算出時に、クラスタ記憶部２１に記憶されるクラスタを用いることもできる。例えば上記の物体候補領域抽出技術では、複数のアスペクト比、スケールのウィンドウで部分画像を切り出すことが望ましいが、切り出す部分画像の数が多くなるほど非効率的になる。そのため、ウィンドウのアスペクト比として、クラスタ記憶部２１に記憶されるクラスタの代表値とされたアスペクト比のみを用いることで、効率的に部分画像を切り出すことができる。

分類部１３は、参照画像の各々、及び部分画像の各々を、クラスタ記憶部２１に記憶されているクラスタに従って、複数のクラスタの何れかに分類する。

特徴抽出部１４は、参照画像の各々、及び部分画像算出部１２で算出された部分画像から特徴量を抽出する。特徴量としては任意の公知のものを用いて構わないが、好ましくは局所特徴量を用いる。特徴量の抽出方法としては、例えばＳＩＦＴ（上記非特許文献１）、ＳＵＲＦ（非特許文献５：H. Bay, T. Tuytelaars and L.V. Gool: SURF: Speeded Up Robust Features. Lecture Notes in Computer Science, 2006）などの方法を用いればよい。

画像認識部１０１は、以下に説明する各部の処理によって、部分画像の各々について、特徴抽出部１４で算出された部分画像の特徴量、及び分類部１３で分類された部分画像のクラスタを検索キーとして、部分画像のクラスタと同一のクラスタに分類された参照画像であって、部分画像と類似する参照画像を部分画像に類似する順にソートし、上位の参照画像を算出する。

画像認識部１０１は、量子化器作成部１５と、量子化部１６と、インデクシング部１７と、検索ランキング部１８と、を備えている。

量子化器作成部１５は、参照画像の各々から抽出された一つ以上の特徴量に基づいて、特徴量からＶＷへの量子化を行うための量子化器を作成する。量子化器とは、特徴量を量子化するために、ＶＷに対応するＩＤ（＝１〜Ｋ）と、代表ベクトルとを対応付けたものである。量子化器の作成には、公知の方法を用いればよい。例えば、取得した一つ以上の特徴量に対してｋ−ｍｅａｎｓクラスタリング等のクラスタリングを適用することで、Ｋ個のクラスタ（Ｋ個のＶＷのＩＤ）と、クラスタの各々の代表ベクトルを算出できる。あるいは、全特徴量からランダムに選択したＫ個の特徴量をそのまま代表ベクトルとしてもよい。ＫはＶＷ（及び代表ベクトル）の数であり、任意の自然数である。例えば、Ｋ＝２５６，Ｋ＝２０４８，Ｋ＝６５５３６など、任意の値に設定してよい。

本実施の形態では、量子化器作成部１５は、上記量子化器を、参照画像群のクラスタ毎に作成する。例えば参照画像群が２個のクラスタに分類された場合、量子化器は２個作成される。

量子化器記憶部２２には、量子化器作成部１５で作成された分類毎の量子化器が記憶される。

量子化部１６は、参照画像の各々、及び部分画像の各々について、量子化器記憶部２２に記憶されている量子化器に基づいて、抽出された特徴量に対してＶＷを割り当てることにより量子化する。量子化方法は、例えば、入力された特徴量との距離が最も小さくなる一つ以上の代表ベクトルを算出し、そのＶＷを割り当てればよい。また、距離が一定値以下のいくつかの代表ベクトルに対応付くＶＷを割り当ててもよい。また、上記の量子化は、参照画像の各々、及び部分画像の各々のクラスタに対応した量子化器を用いてクラスタ毎に行う。

インデクシング部１７は、ＶＷの各々について、ＶＷを有する参照画像を表す転置インデクス及びＶＷ毎の重みを参照情報として作成する。転置インデクスとは、ＶＷの各々について、ＶＷに割り当てられた特徴量がどの参照画像から算出されたものかを保存するデータ構造である。転置インデクスは、クラスタ毎に作成され、当該クラスタの転置インデクスは、ＶＷの各々について、当該クラスタに分類され、かつ、ＶＷを有する参照画像を表す。また、参照情報として、ＶＷ毎の重みを含めても良い。重みの算出方法としては、例えばＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）など、公知の方法を用いればよい。また、上記のＶＷ毎の重みは、クラスタ毎に作成される。

検索ランキング部１８は、部分画像の各々について、クラスタ毎の転置インデクスに基づいて、部分画像と同一のクラスタに分類された参照画像のうち部分画像と同一のＶＷを有する参照画像に投票し、上位の参照画像を算出し、上位Ｘ枚の参照画像を部分画像の各々について出力する。

具体的には、まず、検索キー画像となる部分画像のクラスタを検索キーとして、参照情報記憶部２３に記憶されている転置インデクスのうち、部分画像のクラスタと同一のクラスタについて作成された転置インデクスを参照する。同一のクラスタについて作成された転置インデクスを参照することで、同一のクラスタの参照画像のみを用いて画像認識を行うことになる。そして、同一のクラスタの参照画像について、部分画像のＶＷ毎に、同一ＶＷを有する参照画像に投票し、参照画像毎に、部分画像と同じＶＷの個数をカウントする。

例えば、以下のように、部分画像がＩＤ１〜３のＶＷを持つ場合、各参照画像についての類似度を算出する。

以下に、「検索キー画像が持つＶＷ−＞当該ＶＷを持つ参照画像」として表す。

１−＞Ｉ２、Ｉ３
２−＞Ｉ２、Ｉ３、Ｉ４
３−＞Ｉ３、Ｉ４

ここで、仮に投票時の１票の重さを１とすると、参照画像毎の類似度は以下のように「参照画像−＞類似度」として表される。

Ｉ１−＞０
Ｉ２−＞１＋１＝２
Ｉ３−＞１＋１＋１＝３
Ｉ４−＞１＋１＝２

また、例えば、重みとして、ＩＤ１、２、３のＶＷにそれぞれ０．５、０．３、０．７という値が与えられており、重みを投票する場合は、参照画像毎の類似度は以下のように「参照画像−＞重要度に基づく類似度」として表される。

Ｉ１−＞０
Ｉ２−＞０．５＋０．３＝０．８
Ｉ３−＞０．５＋０．３＋０．７＝１．５
Ｉ４−＞０．３＋０．７＝１．０

そして、類似度が高い順に参照画像をソートし、上位Ｘ枚を検索ランキング結果とする。Ｘは１以上Ｎ以下の整数である。

また、Ｎ枚の参照画像のソートを行った後に、上位（類似度が高い）Ｙ枚の参照画像のみを対象に、さらなるソートを行ってもよい。ＹはＮ以下の自然数であり、Ｎ未満であることが好ましい。具体的には、まず、検索ランキング部１８は、検索キーとなる部分画像から抽出した特徴量と、参照画像から抽出した特徴量との間の距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出する。このマッチング数を類似度として、Ｙ枚の参照画像について、さらなるソートを行えばよい。類似度は、各々のマッチング数を、参照画像の各々の特徴量の数で割った値とすることもできる。さらに、幾何検証（非特許文献６: J. Shimamura, T. Yoshida, and Y. Taniguchi: Geometric Verification Method to Handle 3D Viewpoint Changes, In MIRU, 2014.）をマッチング結果に適用した上で類似度として用いてもよい。

出力部１９は、検索ランキング部１８で部分画像の各々について算出された上位の参照画像を検索ランキング結果として統合し、認識結果として出力する。統合の方法としては任意の方法を用いることができ、例えば、各部分画像のクエリ画像中の位置と、検索ランキングの類似度を用いたＮｏｎ Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎなどを適用できる。あるいは、類似度が任意の実数Ｔ以上の検索ランキング結果のみを出力するとしてもよい。あるいは、部分画像の位置が重複したものについて、より面積が大きなものを選択する、小さなものを選択する、等としてもよい。また統合を行わず、全検索ランキング結果を出力してもよい。また、検索ランキング結果に加え、各部分画像のクエリ画像中の位置を出力しても良い。

＜本発明の実施の形態に係る物体検出装置の作用＞

次に、本発明の実施の形態に係る物体検出装置１の作用について説明する。物体検出装置１は、図２に示す参照画像学習処理ルーチン、及び図３に示す物体検出処理ルーチンを実行する。

まず、参照画像学習処理ルーチンについて説明する。

ステップＳ１００では、クラスタ算出部１１は、物体の名称が付与された参照画像からなる参照画像群の入力を受け付け、参照画像群の各参照画像の画像サイズに基づいて、画像を分類するための複数のクラスタを算出する。

ステップＳ１０２では、ステップＳ１００で算出された複数のクラスタをクラスタ記憶部２１に記憶する。

ステップＳ１０４では、分類部１３は、参照画像の各々を、クラスタ記憶部２１に記憶されているクラスタに従って、複数のクラスタの何れかに分類する。

ステップＳ１０６では、特徴抽出部１４は、参照画像の各々から特徴量を抽出する。

ステップＳ１０８では、量子化器作成部１５は、ステップＳ１０６で参照画像の各々から抽出された一つ以上の特徴量に基づいて、クラスタ毎に、特徴量からＶＷへの量子化を行うための量子化器を作成する。

ステップＳ１１０では、ステップＳ１０８で作成されたクラスタ毎の量子化器を量子化器記憶部２２に記憶する。

ステップＳ１１２では、量子化部１６は、クラスタ毎に、参照画像の各々について、量子化器記憶部２２に記憶されている量子化器に基づいて、ステップＳ１０６で抽出された特徴量に対してＶＷを割り当てることにより量子化する。

ステップＳ１１４では、インデクシング部１７は、クラスタ毎に、ＶＷの各々について当該ＶＷを有する参照画像を表す転置インデクス及びＶＷ毎の重みを参照情報として作成する。

ステップＳ１１６では、ステップＳ１１４で作成されたクラスタ毎の参照情報を参照情報記憶部２３に記憶して処理を終了する。

次に、物体検出処理ルーチンについて説明する。

ステップＳ１１８では、部分画像算出部１２は、クエリ画像の入力を受け付け、クラスタ記憶部２１に記憶されるクラスタを用いて、クエリ画像から部分画像を各々算出する。

ステップＳ１２０では、分類部１３は、ステップＳ１１８で算出された部分画像の各々を、クラスタ記憶部２１に記憶されているクラスタに従って、複数のクラスタの何れかに分類する。

ステップＳ１２２では、特徴抽出部１４は、ステップＳ１１８で算出された部分画像から特徴量を抽出する。

ステップＳ１２４では、量子化部１６は、クラスタ毎に、当該クラスタに分類された部分画像の各々について、量子化器記憶部２２に記憶されている当該クラスタの量子化器に基づいて、抽出された特徴量に対してＶＷを割り当てることにより量子化する。

ステップＳ１２６では、検索ランキング部１８は、部分画像を選択し、当該部分画像が分類されたクラスタの転置インデクスに基づいて、部分画像と同一のクラスタに分類された参照画像のうち部分画像と同一のＶＷを有する参照画像に投票し、上位の参照画像を算出し、上位Ｘ枚の参照画像を出力部１９に出力する。

ステップＳ１２７では、全ての部分画像について上位の参照画像を算出したかを判定し、全ての部分画像について算出が終了していないと判定された場合には、ステップＳ１２６に戻って次の部分画像を選択して処理を繰り返し、全ての部分画像について算出が終了していると判定された場合には、ステップＳ１２８に移行する。

ステップＳ１２８では、出力部１９は、ステップＳ１２６で部分画像の各々について算出された上位の参照画像を検索ランキング結果として統合し、認識結果として出力して処理を終了する。

以上説明したように、本発明の実施の形態に係る物体検出装置によれば、参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出し、クエリ画像から部分画像を各々算出し、参照画像の各々、及び部分画像の各々を、複数のクラスタの何れかに分類し、参照画像の各々、及び部分画像から特徴量を抽出し、部分画像の各々について、算出された部分画像の特徴量、及び分類された部分画像のクラスタを検索キーとして、部分画像のクラスタと同一のクラスタに分類された参照画像であって、部分画像と類似する参照画像を部分画像に類似する順にソートし、上位の参照画像を算出し、上位の参照画像を検索ランキング結果として統合して出力することにより、クエリ画像に類似する参照画像を高速、かつ、高精度に求めることができる。

また、部分画像、及び参照画像をその画像サイズに従って分類し、同一の分類となった参照画像のみを用いて部分画像を認識することで、クエリ画像において、商品パッケージに異なる商品画像が印刷されている場合や、類似した見た目でサイズが異なる商品が存在する場合においても、クエリ画像に含まれる商品と同じ商品を写した参照画像を高速、かつ、高精度に求めることができる。

なお、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

例えば、本実施の形態の物体検出装置１では、参照画像のクラスタ毎に量子化器作成部１５で量子化器を作成し、量子化部１６で量子化を行い、インデクシング部１７で参照情報を作成し、検索ランキング部１８で検索ランキングを行う場合について説明した。しかしながら、クラスタに従った検索ランキング結果を得られれば本実施形態に限定されない。例えば、クラスタに従わず、量子化器作成部１５で単一の量子化器を作成し、量子化部１６で単一の量子化器に対して量子化を行い、インデクシング部１７で単一の参照情報を作成し、検索ランキング部１８で単一の参照情報に対する検索ランキングを実施した上で、検索ランキング結果から検索キーとした部分画像のクラスタとは異なる参照画像を除いた上位Ｘ枚を検索ランキング結果としてもよい。

また、画像認識部１０１として上記特許文献１に記載されるＶＷと転置インデクスを利用する場合について説明したが、クエリ画像に対する検索ランキング結果を得られれば本実施の形態に限定されない。例えば、非特許文献７(Tolias, G., Avrithis, Y., Jegou, H.: To aggregate or not to aggregate: selective match kernels for image search. In ICCV, 2013)に記載されるように、画像の特徴量をＶＷに量子化し、さらに各ＶＷを表す代表ベクトルと特徴量との残差ベクトルを用いて１画像を最大ＶＷ数分の残差ベクトルで表現し、その残差ベクトルに基づいてクエリ画像と参照画像間の類似度を算出し、類似度の高い順に参照画像をランキングしてもよい。

また、前述した本実施の形態における物体検出装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されるものであってもよい。

１ 物体検出装置
１１ クラスタ算出部
１２ 部分画像算出部
１３ 分類部
１４ 特徴抽出部
１５ 量子化器作成部
１６ 量子化部
１７ インデクシング部
１８ 検索ランキング部
１９ 出力部
２１ クラスタ記憶部
２２ 量子化器記憶部
２３ 参照情報記憶部
１０１ 画像認識部

Claims (6)

1. 参照画像からなる参照画像群から、クエリ画像と同一の物体を含む複数の参照画像を検索する物体検出装置であって、
   前記参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出するクラスタ算出部と、
   前記クエリ画像から部分画像を各々算出する部分画像算出部と、
   前記参照画像の各々、及び前記部分画像の各々を、前記複数のクラスタの何れかに分類する分類部と、
   前記参照画像の各々、及び前記部分画像から特徴量を抽出する特徴抽出部と、
   前記部分画像の各々について、前記算出された部分画像の特徴量、及び前記分類された部分画像のクラスタを検索キーとして、前記部分画像のクラスタと同一のクラスタに分類された前記参照画像であって、前記部分画像と類似する前記参照画像を前記部分画像に類似する順にソートし、上位の参照画像を算出する画像認識部と、
   前記部分画像の各々について算出された上位の参照画像を、検索ランキング結果として統合して出力する出力部と、
   を含む物体検出装置。
2. 前記画像認識部は、
   前記参照画像の各々から抽出された一つ以上の特徴量に基づいて、前記特徴量からＶｉｓｕａｌ Ｗｏｒｄｓ（ＶＷ）への量子化を行うための量子化器を作成する量子化器作成部と、
   前記参照画像の各々、及び前記部分画像の各々について、前記作成された量子化器に基づいて、前記抽出された前記特徴量に対してＶＷを割り当てることにより量子化する量子化部と、
   前記ＶＷの各々について前記ＶＷを有する参照画像を表す転置インデクスを作成するインデクシング部と、
   前記部分画像の各々について、前記転置インデクスに基づいて、前記部分画像と同一のクラスタに分類された参照画像のうち前記部分画像と同一のＶＷを有する参照画像に投票し、上位の参照画像を算出する検索ランキング部と、
   を含む請求項１に記載の物体検出装置。
3. 前記クラスタ算出部は、前記参照画像群の画像サイズの縦の長さ、横の長さ、及び対角線の長さのうちの少なくとも１つに基づいて、前記複数のクラスタを算出する請求項１又は請求項２に記載の物体検出装置。
4. 前記クラスタ算出部は、前記参照画像群の画像サイズの縦の長さ、横の長さ、及び対角線の長さのうちのいずれか二つの比率に基づいて、前記複数のクラスタを算出する請求項１〜請求項３のいずれか１項に記載の物体検出装置。
5. 参照画像からなる参照画像群から、クエリ画像と同一の物体を含む複数の参照画像を検索する物体検出装置における物体検出方法であって、
   クラスタ算出部が、前記参照画像群の画像サイズに基づいて、画像を分類するための複数のクラスタを算出するステップと、
   分類部が、前記参照画像の各々を、前記複数のクラスタの何れかに分類するステップと、
   特徴抽出部が、前記参照画像の各々から特徴量を抽出するステップと、
   部分画像算出部が、前記クエリ画像から部分画像を各々算出するステップと、
   前記分類部が、前記部分画像の各々を、前記複数のクラスタの何れかに分類するステップと、
   前記特徴抽出部が、前記部分画像から特徴量を抽出するステップと、
   画像認識部が、前記部分画像の各々について、前記算出された部分画像の特徴量、及び前記分類された部分画像のクラスタを検索キーとして、前記部分画像のクラスタと同一のクラスタに分類された前記参照画像であって、前記部分画像と類似する前記参照画像を前記部分画像に類似する順にソートし、上位の参照画像を算出するステップと、
   出力部が、前記部分画像の各々について算出された上位の参照画像を検索ランキング結果として統合して出力するステップと、
   を含む物体検出方法。
6. コンピュータを、請求項１〜請求項４のいずれか１項に記載の物体検出装置の各部として機能させるためのプログラム。