JP2013097467A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 撮影機能を持つ携帯デバイスが増えているが、それぞれが持つ演算能力や搭載メモリは異なり、局所特徴量の算出処理やその特徴量記述サイズはこれらの機器のリソースに応じたものが好ましい。他方、ＰＣやサーバーにおいては、携帯端末ほど局所特徴量の算出処理やその特徴量記述サイズの制約は受けない。この様な環境下において、検索精度を犠牲にすることなく、機器リソースに応じた特徴量記述サイズの制御が必要である。
【解決手段】 局所特徴点の個数が画像の局所特徴量記述サイズの支配的なファクターになると考え、局所特徴点および局所特徴量の再現性を評価し、再現性の高いものから順に局所特徴量記述サイズになるまで記述することで、局所特徴量記述サイズと検索精度の両立を図る。
【選択図】 図３

Description

本発明は画像の特徴量の抽出技術、特に、類似画像の比較のために利用する局所特徴点の検出並びにその特徴量の算出に係る技術に関するものである。

画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。また、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する技術も知られている（非特許文献２）。画像の検索は、局所特徴量同士のマッチングによって行う。

局所特徴量を利用する手法においては、局所特徴量を回転・拡縮不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。

回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。

また、特許文献１には、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、安定した特徴点に絞り込んでいる。

特開２０１１−４３９６９号公報

C.Harris and M.J. Stephens,"A combined corner and edge detector," In Alvey Vision Conference,pages 147-152, 1988. David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp.91-110.

携帯電話、スマートフォン、デジタルカメラ等、撮影機能を持つ携帯デバイスが増えているが、それぞれが持つ演算能力や搭載メモリは異なり、局所特徴量の算出処理やその特徴量記述サイズはこれらの機器のリソースに応じたものが好ましい。例えば、演算能力が高くなく、搭載メモリもそれほど多くないデジタルカメラでは局所特徴量抽出処理も簡素なもので且つ特徴量記述サイズが少ない事が好ましい。他方、ＰＣやサーバーにおいては、携帯端末ほど局所特徴量の算出処理やその特徴量記述サイズの制約は厳しくないし、演算能力も高いと言える。

この様に、各端末、ＰＣ／サーバーにおいて求められる局所特徴量の算出処理やその特徴量記述サイズが異なる事があり、この様な場合においても、支障をきたさないことが望まれる。

換言すれば、局所特徴量の算出処理やそのトータルの局所特徴量記述サイズ異なったとしても、類似比較処理における精度が低下しない事が好ましいと言える。そのためには、サーバー上などリッチな環境ではトータルサイズの大きな局所特徴量を、プアな端末機器ではトータルサイズの小さな局所特徴量の記述を行い、これらの局所特徴量が包含関係（部分一致関係）にある事が望まれる。

しかしながら、特許文献１では画像変動に対してロバストな安定した局所特徴点を絞り込む考えに留まっており、局所特徴点数を一回の処理で、スケーラブルに記述する事は出来ていない。

本発明は係る問題点に鑑みなされたものであり、信頼性の高い局所特徴点及び局所特徴量を得る技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
入力画像から当該入力画像を特定するための局所特徴点、並びに当該局所特徴点の特徴量である局所特徴量の組を複数を抽出する画像処理装置であって、
与えられた画像の局所特徴点と当該局所特徴点の局所特徴量とを抽出する局所特徴量抽出手段と、
前記入力画像に対して、予め設定した角度での回転処理を行なう回転処理手段と、
該回転処理手段による回転処理の前と後のそれぞれの画像に対して前記局所特徴量抽出手段を適用することで得られた局所特徴点及び特徴量の安定性を評価し、安定性の高い順に、予め設定された個数までの局所特徴点及び局所特徴量の組を、前記入力画像に対する有効な局所特徴点並びに局所特徴量として決定する決定手段とを有する。

本発明の態様によれば、本発明では、１枚の画像に対するトータルの局所特徴量サイズの支配的なファクターが局所特徴点の個数であると考え、包含関係という課題の解決を行う。即ち、局所特徴点の再現性を評価し、再現性の高いものから記述し局所特徴量の個数を制御することで、画像に対するトータルの局所特徴量のサイズ調整を行う。というのも、小さい記述サイズの局所特徴量の対象となる局所特徴点が、類似する画像の大きい記述サイズの局所特徴量の対象となる局所特徴点の一部であれば、局所特徴量記述サイズの大小にかかわらず安定した検索が可能となる。

そこで、第一の方法は、解析対象の画像を回転或いは縮小する等の画像処理を行う事による、局所特徴点の位置および局所特徴量の特徴間距離を求め、これを安定性の指標とする。局所特徴点の位置の変動が大きいと明らかに局所特徴量は変化してしまうため、まず、局所特徴点の位置が定められた閾値範囲内に収まる特徴点に絞る。そして、回転或いは縮小する等の画像処理の前後での局所特徴量の変化、即ち局所特徴量間距離を安定性の指標とする。そして、距離の小さな局所特徴点ほど安定性の高いものと見なし、これを距離の昇順でソートし、局所特徴量サイズが指定されたサイズに達するまで、安定度の高い局所特徴量を優先に記述してゆく。

第二の方法は、スケールの大きい（より縮小度の大きな）画像から抽出した局所特徴点を安定性の高い局所特徴量とするものである。即ち、局所特徴点を抽出したスケールを安定性の指標とする。スケールの大きい画像はローパスフィルタの掛かった画像で有り、低域周波数成分からなる画像である。この画像では、マクロなエッジコーナーが残り、このエッジコーナーでは安定した局所特徴点の抽出が可能となる。しかも、マクロなエッジコーナーであるため、スケールが仮に異なったとしても、局所特徴量の変化も少ない。従って、局所特徴量の記述は、低周波から高周波へソート或いは帯域ごとに管理して記述する。

第三の方法は、指定された局所特徴量の記述サイズを各スケール画像に対して配分し、各スケール画像に対し配分されたサイズ数の安定した局所特徴点の局所特徴量を記述する方法である。例えば、指定された局所特徴量の記述サイズをスケール画像の面積の比で分割し、各スケールでの予め決定した局所特徴量とすればよい。各スケール画像における、記述すべき局所特徴点およびその局所特徴量は、第一の方法に安定性の指標に基づくとよい。

以上の局所特徴記述に関して述べてきたが、比較処理に関しては、先行技術の様に記述されている局所特徴量同士を記述サイズを意識せずにマッチングする事が可能である。なぜならば、安定度の観点でソートされた局所特徴量が記述してあるため、理論的には、トータルの記述サイズの大きな局所特徴量は、同記述サイズの小さい局所特徴量を包含する関係にあるからである。

本発明によれば、信頼性の高い局所特徴点及び局所特徴量を得ることができる。

画像比較装置の構成例を示すブロック図。 局所特徴点／局所特徴量抽出部の構成例を示すブロック図。 画像の局所特徴点・局所特徴量抽出処理の手順を表すフローチャート。 縮小画像生成処理の一例を示す図。 回転変動を考慮し局所特徴量を安定したものからソートする処理のフローチャート。 回転処理した画像から得る局所特徴点の位置の変化を評価の概念図。 局所特徴点／局所特徴量比較処理の手順を表すフローチャート。 スケールを考慮した局所特徴量を安定したものからソートする処理のフローチャート。 局所特徴点の位置変化評価の概念図。 スケール画像の面積により記述する局所特徴点の数を決定する概念図。 第３の実施形態の画像の局所特徴点・局所特徴量抽出処理の手順を表すフローチャート。 局所特徴点及び局所特徴量のインデックステーブルの一例を示す図。 実施形態の処理を実行する装置構成を示す図。

以下、添付図面に従い本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
本第１の実施形態では、入力画像から局所特徴点を検出し、その特徴点の回転・拡縮不変の局所特徴量を抽出する局所特徴抽出を用いて説明を行う。

先ず、第１の実施形態の画像処理装置の構成を図１３に示す。この画像処理装置は、CPU（Central Processing Unit）1301、入力装置1302、出力装置1303、記憶装置1304、RAM（Random Access Memory）1305、ROM（Read Only Memory）1306、BUS1307からなる。これらの働きについて説明する。まずCPU1301は、各種データ処理のための論理演算、判断等を行い、またBUS 1307で接続されている各構成要素の制御を行う。次に入力装置1302は、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような、各種の機能キーを備えたキーボードが接続されている。また、画像の局所特徴量を算出する画像を入力するカメラ等の撮像素子、もしくは撮像素子によって記録した画像を保持し入力するためのHDD等のストレージも挙げられる。さらに、GUI（Graphical User Interface）上で画面の制御可能位置を指し示し、機能の選択指示などを行うポインティング機器、例えばマウスやスティックポインタ等も挙げられる。出力装置 1303は、液晶パネル等の各種表示装置である。記憶装置1304には、入出力データや処理プログラム等、各種情報が格納される。これらのデータ及びプログラムを格納する記憶媒体としては、ハードディスク、CD-ROM、DVD-ROM、フラッシュメモリ等を用いることができる。RAM1305は、各構成要素からの各種データを一時的に記憶する際に用いられる。ROM1306は、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。これら全ての構成要素はBUS1307で接続されている。

図１は、第１の実施形態における画像比較装置の構成例を示すブロック図である。図１に示すように、画像比較装置１００は、局所特徴点／局所特徴量抽出部１０２、局所特徴点座標／局所特徴量比較部１０４から構成される。そして、局所特徴点座標／局所特徴量比較部１０４から比較結果１０５を出力する。クエリ画像および比較先画像（データベースに登録しようとする画像）から、局所特徴点／局所特徴量抽出部１０２が局所特徴点／局所特徴量を抽出し、局所特徴点座標／局所特徴量比較部１０４がその比較結果１０５を出力する。

通常、検索処理装置では、比較対象画像の局所特徴点座標／局所特徴量を予め求めておき、登録画像と対応付けて画像特徴データベースに登録しておく。そして、検索時には、クエリ画像から局所特徴点座標／局所特徴量を抽出し、それと画像特徴データベース内の登録画像の局所特徴点座標／局所特徴量とを比し、類似度の降順にソートして検索結果を求める。本第１の実施形態では比較処理までの説明に留め、検索処理の説明は割愛する。

図２は、局所特徴点／局所特徴量抽出部１０２の内部の構成例を示すブロック図である。

処理対象画像２０１として、クエリ画像又は比較先画像が入力画像となる。縮小画像生成部２０３が画像入力部２０２に入力された処理対象画像２０１から縮小画像を生成し、局所特徴点抽出部２０４が縮小画像から局所特徴点を抽出する。そして、局所特徴量算出部２０５がその局所特徴点の局所特徴量を算出し、局所特徴量検定部２０６が局所特徴量を検定する。そして検定結果２０７は、処理対象画像がクエリ画像１０１の場合には、クエリ画像の局所特徴点座標／局所特徴量となり、処理対象画像が比較先画像１０３の場合には、比較対象画像の局所特徴点座標／局所特徴量となる。

［画像の局所特徴点座標／局所特徴量抽出処理］
まず、画像を登録する際に行う各部の動作について説明する。図３は、局所特徴点／局所特徴量抽出部１０２における、画像の登録処理の制御手順を表すフローチャートである。Ｓ３０１で、図２に示す画像入力部２０２が比較先画像１０３を読み込み、Ｓ３０２で、当該比較先画像１０３から輝度成分を抽出する。そして、抽出した輝度成分に基づき輝度成分画像を生成し、生成した輝度成分画像を縮小画像生成部２０３に渡す。

次に、Ｓ３０３では、縮小画像生成部２０３が画像入力部２０２から渡された当該輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてｎ枚の縮小画像を生成し、当該縮小画像を局所特徴点抽出部２０４に渡す。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。

図４は、縮小画像を生成する縮小画像生成部２０３の処理の一例を示す図である。図４に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐが必ずしも「２の−（１／４）乗」で無くとも良い。図４において、符号４０１は画像入力部２０２から渡された輝度成分画像である。符号４０２は当該輝度成分画像から倍率ｐに従って再帰的に４回の縮小処理を行って得られた縮小画像である。そして、符号４０３は当該輝度成分画像から倍率ｐに従って８回縮小された縮小画像である。

この例では、縮小画像４０２は画像入力部２０２から渡された輝度成分画像が１／２に縮小された画像となり、縮小画像４０３は画像入力部２０２から渡された輝度成分画像が１／４に縮小された画像となる。尚、画像を縮小する方法は何れの方法でも良く、第１の実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。

次に、Ｓ３０４では、局所特徴点抽出部２０４が、縮小画像生成部２０３から渡されたｎ枚の縮小画像の各々に画像の回転があってもロバスト（robust）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。抽出した局所特徴点は局所特徴量算出部２０５に渡される。この局所特徴点の抽出方法として、第１の実施形態ではHarris作用素を用いる（非特許文献１：C.Harris and M.J. Stephens, "A combined corner and edge detector," In Alvey Vision Conference, pages 147-152, 1988.参照）。

具体的には、Harris作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。

尚、局所特徴点を抽出可能な方法であれば、上述のHarris作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも局所特徴点抽出部２０４に適用可能である。

次に、Ｓ３０５で、局所特徴量算出部２０５が、局所特徴点抽出部２０４から渡された局所特徴点の各々に画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。ここで抽出された局所特徴量は局所特徴点座標と関連付けられた上で局所特徴量＋局所特徴点座標２０７として出力する。この局所特徴量の算出方法として、第１の実施形態ではLocal Jet及びそれらの導関数の組み合わせを用いる（J.J.Koenderink and A.J.van Doorn, "Representation of local geometry in the visual system," Riological Cybernetics, vol.55, pp.367-375, 1987.参照）。

具体的には、以下の式（１）により局所特徴量Ｖを算出する。

ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。

さて、第１の実施形態における検定はＳ３０６にて行うが、オリジナルの画像と、縮小画像に対し画像を４５°回転の画像処理を行った画像の局所特徴量を比較し、局所特徴量の安定性を評価する。というのも、原理的に回転不変の局所特徴量ではあるが、実際に回転処理や画像縮小処理を行った場合に、ある程度の局所特徴量が起きてしまう事は事実であり、この影響は無視できないからである。

本第１の実施形態では、画像の回転で行ったが、もちろん、拡大や縮小した画像を用いた検定を行っても良い。この場合、スケール画像の生成とは異なる率で拡大／縮小すると良い。

Ｓ３０６の処理の詳細フローを示すのが、図５のフローチャートである。Ｓ３０６で、局所特徴量検定部２０６が、局所特徴量算出部２０５から渡された各々の局所特徴量の変動を求め変動の少ないものからソートする。Ｓ３０３では、縮小画像生成部２０３が画像入力部２０２から渡された当該輝度成分画像を倍率ｐに従って順次縮小し、縮小画像をｎ枚生成したが、Ｓ５０１にてこの縮小画を読み込み、Ｓ５０２にて画像を４５度回転変換する。そして、Ｓ５０３にて、当該縮小画像を局所特徴点抽出部２０４に渡す。ただし、倍率ｐ及び縮小画像の枚数ｎは前述した回転していない処理で用いた値と同じ値にする。

次に、Ｓ５０４では、局所特徴点抽出部２０４が、縮小画像生成部２０３から渡されたｎ枚の縮小画像の各々に画像の回転があってもロバストに抽出されるような局所的な特徴点（局所特徴点）を抽出する。抽出した局所特徴点は局所特徴量算出部２０５に渡される。この局所特徴点の抽出方法として、回転していない処理と同様に、Harris作用素を用いる。

具体的には、Harris作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。

尚、局所特徴点を抽出可能な方法であれば、上述のHarris作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも局所特徴点抽出部２０４に適用可能である。

Ｓ５０４にて、回転前後で、局所特徴点座標の変化が許容範囲に無いものを破棄し、局所特徴点を絞り込む処理を行う。この概念を表したものが図６である。左側のスケール画像が回転前のものである。右側のスケール画像は特徴抽出のために回転したスケール画像をわかり易い様に回転を戻したものである。点Ｎ2は回転前後で座標か許容範囲以内、その他の点N3、N4に関しては回転前後で対応する局所特徴点の位置が許容範囲を超えた変動をしている事をあらわす。

次に、Ｓ５０５で、Local Jet及びそれらの導関数の組み合わせを用い、式（１）により局所特徴量を算出する。ここでは、回転変換した４５°縮小画像から、Ｓ３０５で局所特徴量算出部２０５が算出した同じ方法により局所特徴量（４５°）を算出する。ここで、これ以降の説明を簡略化するため、局所特徴量算出部２０５から渡された局所特徴量を「局所特徴量（０°）」と記載する。

そしてＳ５０６では、局所特徴量（０°）と局所特徴量（４５°）とのマハラノビス距離を比較し、着目する局所特徴点の局所特徴量（０°）とそのマハラノビス距離を対にして一時的に記憶する。尚、マハラノビス距離を計算するための分散共分散行列は、予め多くの局所特徴量から統計により求めたものを使用する。

特徴間距離としてマハラノビス距離を用いる理由は、特徴空間における分布を考慮する事により、局所特徴量の安定性の評価の精度を高めるためである。もちろん精度を犠牲にしてでも高速化を望むのであれば、ユークリッド距離を用いても構わない。そして、Ｓ５０４にて絞り込んだ局所特徴点全てに対して、４５度回転前後での局所特徴量変動をあらわすマハラノビス距離を求め、一次記憶する。

そして、Ｓ５０７にて全ての局所特徴点座標／局所特徴量（０°）をマハラノビス距離の昇順でソートする。これは即ち、４５°の回転があったとしても、局所特徴点の位置やその局所特徴量の変質に対する耐性の高い順番で局所特徴量を記憶している事に成る。

図３のフローに戻り説明を続ける。Ｓ３０７にて、１画像当たりの局所特徴量記述（局所特徴点座標+局所特徴量）サイズに制限を設ける場合に、上記ソートしてある局所特徴点と局所特徴量（０°）の対の累計サイズが特徴量記述サイズ（個数）の制限に達するまで記憶する。

上記処理により、画像データベース（不図示）への登録対象の画像から局所特徴点／局所特徴量が抽出でき、これらが画像検索の際のインデックステーブルに登録されることになる。図１２は、或る画像を画像データベースに登録する際に抽出された、その画像を特定するための局所特徴点／局所特徴量のインデックステーブルの一例を示している。図示の如く、画像データベースに登録する画像データへのポインタ（或いは、登録する画像が画像ファイルである場合には、その画像ファイルのパス付きファイル名でも良い）を格納するエリアと、スケール毎（縮小画像毎）のソートされた局所特徴点／局所特徴量のデータ列を格納するエリアで構成されている。実施形態ではｎ＝９の例を示しているので、スケールの種類は図示の如く、ＳＣ１乃至ＳＣ９の９種類である。そして、ｆi1乃至ｆiM(ｉはスケールを示し１乃至９の値、Ｍは予め設定された値）で示されるソート済みの局所特徴点／局所特徴量で構成される。

このように、第１の実施形態では、縮小画像を回転変換し局所特徴量の変動の程度を予め検定し、限られた局所特徴量のサイズ、より変動の少ない局所特徴量から順番に記憶する事が出来る。

尚、第１の実施形態では、検定時の回転角度を４５°として、４５°回転検定だけを実施する場合を説明したが、４５°回転検定だけでなく、例えば０°〜９０°までｔ°単位に回転検定を実施しても良い。ただし、ｔは予め定められた０＜ｔ＜９０を満たす値である。

［画像間の類似度演算の方法］
次に、図７のフローチャートを用いて類似指標算出方法として、局所特徴点座標／局所特徴量比較部１０４を説明する。

ここで、クエリ画像１０１の局所特徴量をＶｑ、局所特徴量に関連付けされている局所特徴点をＱ，座標をＱ（x’，y’）と表わす。また、比較先画像１０３に存在する局所特徴量をＶｓ、局所特徴量に関連付けされている局所特徴点をＳ、座標をＳ（x，y）とする。

まず、Ｓ７０１で、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する。次に、Ｓ７０２で、ＶｑとＶｓとの特徴量間距離を全ての組み合わせについて計算し、最短距離対応点リストを作成する。即ち、閾値Ｔｖを用い、計算した特徴量間の距離が閾値以下となり、かつ、最短距離となるようなＶｑとＶｓとの組み合わせ（対応点）を抽出し、最短距離対応点リストに登録する。

これ以降、最短距離対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴量をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と記載する。更にＶｑ（ｋ）とＶｓ（ｋ）に対応付けられている局所特徴点をそれぞれＱｋ、Ｓｋ、座標をＱｋ（x’ｋ，y’ｋ）、Ｓｋ（xｋ，yｋ）などと添え字を合わせて記載する。またＳ７０２で作成された最短距離対応点リストに登録された対応点の組数をｍ組とする。

次に、Ｓ７０３で、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。次に、Ｓ７０４で、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎを超えていないを判定する。ここで、超えている場合はＳ６１８へ進み、最終投票数ＶｏｔｅＭａｘを類似指標として出力し、この処理を終了する。

また、Ｓ７０４で、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎを超えていない場合はＳ７０５へ進み、投票数を表す変数Ｖｏｔｅを０に初期化する。次に、Ｓ７０６で、当該最短距離対応点リストから対応点の組の座標をランダムに２組抽出する。ここで、これらの座標をＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）と記載する。次に、Ｓ７０７で、抽出したＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）が式（８）に示す変換を満たしていると仮定し、式（８）中の変数ａ〜ｆを求める。

ただし、図６に示すＳ６０７では、変数ａ〜ｄで構成される行列をＭで示し、変数ｅ〜ｆで構成される行列をＴで示している。

ここで、第１の実施形態では、簡略化のため、相似変換だけを考える。このとき、上記式（８）は以下の式（９）のように書き換えられる。

このとき、変数ａ、ｂ、ｅ、ｆはｘ’１、ｙ’１、ｘ１、ｙ１、ｘ’２、ｙ’２、ｘ２、ｙ２を使って式（１０）から式（１３）で表される。

次に、Ｓ７０８で、上述のＳ７０５で当該最短距離対応点リストからランダムに抽出された２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する。そして、Ｓ７０９で、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えていないかを判定する。ここで、超えている場合はＳ７１５へ処理を移すが、これについては後述する。Ｓ７０９における判定で対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えていない場合はＳ７１０へ処理を移す。

このＳ７１０では、上述のＳ６０５で当該最短距離対応点リストからランダムに抽出した２組の点Ｓ１（ｘ１，ｙ１）及びＳ２（ｘ２，ｙ２）以外の点を当該最短距離対応点リストから抽出する。第１の実施形態では、抽出された点をＳｋ（ｘｋ，ｙｋ）と記載する。次に、Ｓ６１１で、Ｓｋ（ｘｋ，ｙｋ）が式（９）を使って移される座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）を求める。その後、Ｓ７１２では、座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離で計算し、当該ユークリッド距離がしきい値Ｔｄ以下であるか否かを判定する。当該ユークリッド距離がしきい値Ｔｄ以下の場合はＳ７１３へ進み、投票数Ｖｏｔｅをインクリメントし、Ｓ７１４へ処理を移す。また、当該ユークリッド距離がしきい値Ｔｄより大きい場合は、何もせずにＳ７１４へ処理を移す。

このＳ７１４では、対応点選択変数ｋをインクリメントし、Ｓ７０９に戻り、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。

次に、Ｓ７０９で、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えた場合の処理であるＳ６１５を説明する。Ｓ７１５では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合にはＳ６１６へ処理を移す。

このＳ７１６では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えた後、Ｓ７１７で反復カウント数Ｃｏｕｎｔをインクリメントし、上述のＳ７０４に処理を戻す。

また、Ｓ７１５で、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合にはＳ７１７へ処理を移し、反復カウント数Ｃｏｕｎｔをインクリメントし、上述のＳ７０４に処理を戻す。

尚、第１の実施形態における類似度の算出方法の説明では、相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、Ｓ７０７でそれぞれに応じた変換行列を求めることにより、対応可能である。例えば、アフィン変換の場合には、まずＳ７０６で、ランダムに選択する対応点の組の座標数を３とする。次に、Ｓ７０７で、式（９）ではなく式（８）を使うこととし、Ｓ７０６で選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めれば良い。

また、第１の実施形態における類似度の算出方法の説明では、Ｓ７１９で類似指標として最終投票数ＶｏｔｅＭａｘを出力する方法を説明したが、本発明はこれに限らず、他の類似指標を計算するようにしても良い。即ち、Ｓ７０３以降の処理を行わずに、Ｓ７０２で作成された最短距離対応点リストに登録された対応点の組数ｍを類似指標として出力するようにする。これにより、一定の検索精度を保ちつつ、検索速度を向上させることが可能になる。

以上のように、第１の実施形態の画像検索装置では、クエリ画像および登録画像から算出された局所特徴量の変動を検定し、変動の大きい局所特徴量を検索時に使わないように構成した。これにより、コンパクトな局所特徴量の記述で検索精度の低下を抑制することが可能になる。

尚、上記実施形態では、画像自身を回転させた後に局所特徴量を算出し、算出した当該局所特徴量を使って検定した。しかし、局所特徴量算出部２０５で局所特徴量算出に使ったフィルタを４５°回転させたフィルタ（４５°回転フィルタ）を予め準備しておき、当該４５°回転フィルタを使って検定を実施しても良い。ここで、フィルタを４５°回転させるとは、所定のフィルタ係数に対して幾何学的に回転変換を施すことを意味する。

また、類似度演算処理において、クエリ画像および登録画像の局所特徴量の記述サイズ、即ち記述する有効な局所特徴点の個数に関しては、異なる大きさでも良い。なぜならば、安定度の観点でソートされた局所特徴量が記述してあるため、理論的には、記述サイズの大きな特徴量は、記述サイズの小さい特徴量を包含する関係にあるからである。従って、本第１の実施形態では、記述する有効な局所特徴点の個数に違いが有っても、その全てを距離演算に用いて良い。

他方、高速に処理する場合には、クエリ画像と登録画像の記述特徴点のうち、局所特徴点の数の少ない方の画像の特徴点数Ｎを、特徴点の多い方の局所特徴点の距離演算の参照範囲個数とする方法もある。というのも、安定性の良いものからソートして記述しているので、対応する局所特徴点を比較する可能性が高く、参照個数を減らす事で高速化が図れるからである。

＜第２の実施形態＞
次に、図面を参照しながら本発明に係る第２の実施形態を説明する。

第２の実施形態では、安定した局所特徴点・局所特徴量の多くが低周波成分から得られる特徴があり、高周波成分は画像ノイズの影響が大きいという経験則を用いる。安定した局所特徴点を取りやすい低周波成分の画像、即ち縮小度合いの大きな画像から優先して採用する。というのも、縮小する（ぼかす）ほど、局所特徴点の数が減り、マクロな（骨太な）局所特徴点が残るからである。

図４に、局所特徴量を抽出する際の段階的な縮小画像であるスケール画像を示す。スケール番号が大きいほど縮小処理を行っている。そこで、縮小度合いの大きい画像から得られる局所特徴点ほど安定性が高いという経験則を用い、スケール番号の大きさを安定性の高さ指標として処理を行う。

即ち、第１の実施形態と同様、Harris作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。

局所特徴量の抽出に関する処理フローは第１の実施形態で用いた図３で同じであるが、Ｓ３０６およびＳ３０７の処理内容が異なる。本第２の実施形態のＳ３０６とＳ３０７を合わせた処理内容を図８のフローを元に処理の説明を行う。

Ｓ８０１にて、第１の実施形態の時と同様、座標位置変化の許容範囲の局所特徴点に絞り込む（図９参照）。Ｓ８０２にいて、スケール番号に相当するカウンタの初期値を８にセットする。図４でスケールを９個用いる例なので、局所特徴点の得られるスケール番号８から処理が開始するためである。Ｓ８０３では、初期化のため処理結果をクリアする。Ｓ８０４では、スケール番号１では局所特徴点がない為に、“Ｎ＜２”で処理を終了させる。他方、“Ｎ＜２”を満たさなければＳ８０５にて、スケール番号Nの局所特徴点数Ｍを求める。カウンタＫを０にリセットし、Ｓ８０７にて“Ｋ＜Ｍ”を満たすかどうか判断し、満たさない場合、即ち、スケール番号Ｎの局所特徴点数Ｍ分記述した場合にはＳ８０８にてＮをディクリメントし、再びＳ８０４に戻る。

Ｓ８０７にて、“Ｋ＜Ｍ”を満たす場合にはＳ８０９にて、次に記述した場合に許される記述サイズが超えるか判断し、超える場合には処理を終了する。他方、超えない場合には、Ｓ８１０にてスケールＮのｋ＋１番目の局所特徴量処理結果に追記する。

尚、スケールＮにおける局所特徴点の並び順番Ｋ＋１に関しては、なるべく画像に対して均等な分布になるようにランダムにすれば良い。そして、S８１１にてＫをインクリメントし、Ｓ８０７に戻る。

上記処理により、Ｓ３０６の処理結果は、スケール番号の大きな局所特徴点から順番に、局所特徴点座標／局所特徴量が記述する事になる。

この際に、画像特徴データベース１０７に登録する１画像のトータルの局所特徴量記述サイズに制限を設ける場合には、スケール番号の大きい局所特徴点から局所特徴点座標／局所特徴量の記述を行う。そして、累計サイズがトータルの局所特徴量記述サイズの制限に達するまで記憶し、画像の登録処理が終了する。尚、検索処理に関しては、第１の実施形態と同様に行う。

以上のように、本第２の実施形態によれば、画像の登録処理時に安定した局所特徴点を取りやすい低周波成分の画像、即ち縮小度合いの大きな画像から優先して登録するように構成したので、サイズ制限のある局所特徴量記述において、検索精度の低下を抑制することが可能になる。

＜第３の実施形態＞
局所特徴量の抽出に関する処理フローは第１の実施形態で用いた図３で同じであるが、Ｓ３０６およびＳ３０７の処理内容が異なる。本第３の実施形態のＳ３０６とＳ ３０７を合わせた処理内容を図１１のフローを元に処理の説明を行う。複数のスケール（帯域）において、採用する局所特徴点数をスケールに依存して配分し、そのスケール内での特徴の安定度の高いものから記述を行うものである。

本第３の実施形態では、面積比に応じて総局所特徴点数Ｓを割り振るが、もちろん固定数でも良い。総数Ｓ個の局所特徴量の記述をするにあたって、各スケールに対して総記述数をＳ、縮小比率をｒとした場合、図１０の様に、スケールが小さいほど少ない局所特徴点数Ｓを決定すれば良い。

Ｓ１１０１にて、第１の実施形態の時と同様、座標位置変化の許容範囲の局所特徴点に絞り込む。Ｓ１１０２にいて、スケール番号に相当するカウンタの初期値を８にセットする。図４で示すように実施形態ではスケールを９個用いる例を説明しており、局所特徴点の得られるスケール番号８から処理が開始するためである。Ｓ１１０３では、図１０に従って、各スケールに対する局所特徴記述を行う目標数Ｍ［８］を決定する。配列となっているのは、配列要素がスケールに対応しているからである。但し、Ｍ[１]、及び、Ｍ[８]の値は、局所特徴点が原理的に無いので、０である。

Ｓ１１０４にて初期化のため処理結果をクリアする。S１１０５では、スケール番号１では局所特徴点がない為に、N＜２で処理を終了させる。他方、Ｎ＜２を満たさなければＳ１１０６にて、スケールＮの局所特徴数Ａと、記述目標数数Ｍ[Ｎ]の小さいほうをＬＩＭへセットする。Ｓ１１０７にてカウンタＫを０にリセットし、Ｓ１１０８にてＫ＜ＬＩＭを満たすかどうか判断し、満たさない場合、即ち、スケール番号Ｎの局所特徴点数Ｍ記述した場合にはＳ１１０９にてＮをディクリメントし、再びＳ１１０５に戻る。

Ｓ１１０８にて、Ｋ＜ＬＩＭを満たす場合にはＳ１１１０にて、記述した場合に許される記述サイズを超えるか判断し、超える場合には処理を終了する。他方、超えない場合には、Ｓ１１１１にてスケールＮのＫ＋１番目に安定度が高い局所特徴量を追記する。この局所特徴量の安定性に関しては第１の実施形態１で述べた画像回転に対しても変動の少ない局所特徴点座標／局所特徴量を各スケール毎に管理し、そのスケール内でマハラノビスの距離の小さいものからソートして置けばよい。そして、Ｓ１１１２にてＫをインクリメントし、Ｓ１１０８に戻る。

この様に、第３の実施形態では、各スケール（帯域）に対し適切な局所特徴量サイズを分配し、各スケールにおいて回転させたフィルタを使用して局所特徴量の変動の程度を予め検定し、変動の少ないものから各スケールに割り振られたサイズの局所特徴量を記述する。これにより、安定した局所特徴点・局所特徴量の多くが、低域成分から得られる特徴で有るという経験則と、画像の変化に対する変動が少ないという両面から選ばれた局所特徴量を所定のサイズで記述する事が可能となる。もちろん、各スケール内の特徴点から無作為に選んだ場合でも、全スケールの局所特徴量から無作為にＳ個を選んだ場合よりも、安定性の高い局所特徴量の記述が可能である。尚、検索処理に関しては、第１の実施形態と同様に行う。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

もちろん、本発明はデジタルカメラなどの撮像デバイスにおいても、撮像した画像データに対し、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する事が可能である。

Claims (6)

1. 入力画像から当該入力画像を特定するための局所特徴点、並びに当該局所特徴点の特徴量である局所特徴量の組を複数を抽出する画像処理装置であって、
   与えられた画像の局所特徴点と当該局所特徴点の局所特徴量とを抽出する局所特徴量抽出手段と、
   前記入力画像に対して、予め設定した角度での回転処理を行なう回転処理手段と、
   該回転処理手段による回転処理の前と後のそれぞれの画像に対して前記局所特徴量抽出手段を適用することで得られた局所特徴点及び特徴量の安定性を評価し、安定性の高い順に、予め設定された個数までの局所特徴点及び局所特徴量の組を、前記入力画像に対する有効な局所特徴点並びに局所特徴量として決定する決定手段と
   を有することを特徴とする画像処理装置。
2. 前記入力画像に対し、予め設定された縮小率による縮小処理を再帰的に実行することで複数の段階の縮小画像を生成する縮小画像生成手段とを備え、
   前記回転手段は、各縮小画像について回転処理を行ない、
   前記決定手段は、各縮小画像毎に、有効な局所特徴点並びに局所特徴量を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段で決定する有効な局所特徴点並びに局所特徴量の個数は、各縮小画像のサイズに依存することを特徴とする請求項１に記載の画像処理装置。
4. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１の画像処理装置が有する各手段として機能させるためのプログラム。
5. 請求項４に記載のプログラムを格納したコンピュータが読み込み可能な記憶媒体。
6. 入力画像から当該入力画像を特定するための局所特徴点、並びに当該局所特徴点の特徴量である局所特徴量の組を複数を抽出する画像処理装置の制御方法であって、
   局所特徴量抽出手段が、与えられた画像の局所特徴点と当該局所特徴点の局所特徴量とを抽出する局所特徴量抽出工程と、
   回転処理手段が、前記入力画像に対して、予め設定した角度での回転処理を行なう回転処理工程と、
   決定手段が、該回転処理工程による回転処理の前と後のそれぞれの画像に対して前記局所特徴量抽出工程を適用することで得られた局所特徴点及び特徴量の安定性を評価し、安定性の高い順に、予め設定された個数までの局所特徴点及び局所特徴量の組を、前記入力画像に対する有効な局所特徴点並びに局所特徴量として決定する決定工程と
   を有することを特徴とする画像処理装置の制御方法。

Images