JP2011002966A - 画像検索装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】 画像全体の特徴を用いた検索方式（全体特徴方式）では画像の回転や切り取りに対応できない。一方、局所特徴を用いた検索方式（局所特徴方式）では、抽出された局所特徴点数が少ない場合又は多すぎる場合に検索精度が低下する場合がある。
【解決手段】 まず、局所特徴量を使って検索結果候補画像を絞り込む。次にクエリ画像と当該検索結果候補画像とについて、新たに複数の対応する局所領域を設定する。最後に当該局所領域ごとに適切な特徴量表現を自動的に判別し、当該特徴量表現を使ってさらに検索を実施して検索結果画像を確定する。
【選択図】 図１

Description

本発明は画像検索装置及びその制御方法並びにプログラムに関する。

類似画像を検索するための技術が多く提案されている。第一に、画像の全体的な特徴量（全体特徴量）を使って類似画像を検索する方法がある。例えば、画像を複数のブロックに分け、それぞれの代表色を用いてパターンマッチングを行うことで色の位置情報を利用して類似画像を検索する方法が提案されている（特許文献１）。あるいは、画像を複数のブロックに分割して各ブロックの特徴量を算出し、当該特徴量に応じたラベルを付与してラベル行列を生成して全体特徴量とし、当該全体特徴量を使って検索する方法もある（特許文献２）。

第二に、画像の局所的な特徴量（局所特徴量）を使って類似画像を検索する方法が提案されている。これらの方法では、まず画像から特徴的な点（局所特徴点）を抽出する。次に、局所特徴点とその近傍の画像情報とから、その局所特徴点に対する特徴量（局所特徴量）を計算する。画像の検索は、局所特徴量同士のマッチングによって行う。

上述のような局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される量として定義することで、画像を回転したり拡大・縮小したりした場合でも検索可能とする方法が提案されている（非特許文献１）。

特開平８−２４９３４９号公報 特開平１０−２６０９８３号公報

C. Schmid and R. Mohr, "Localgray value invariants for image retrieval," IEEE Trans. PAMI., Vol.19, No.5, pp530-534, 1997. C. Harris and M. J. Stephens," A combined corner and edge detector, " In Alvey Vision Conference, pages 147-152, 1988. Local Jet (J. J. Koenderink and A. J. van Doorn, "Representation of local geometry in the visual system," Riological Cybernetics, vol. 55, pp. 367-375, 1987.

しかしながら、特許文献１あるいは特許文献２に開示されているような、画像を分割したブロックごとに特徴を算出し、画像全体の特徴使って検索する方法（全体特徴方式）の場合、検索時にはクエリ画像の画像全体から特徴量を計算することになる。この方法では、例えば画像内の特定オブジェクトが切り取られたり、画像が任意の角度で回転したり、画像の背景色が変わったりした場合には全体特徴量が変化してしまうので、検索が困難になってしまうという問題があった。

また、局所特徴量を使って検索する方法（局所特徴方式）の場合、一般的には局所特徴間のマッチング数あるいはマッチング率に基づいて検索結果を出力する。そのため、抽出された局所特徴点数が適当ではないときに精度良く検索できないことがあるという問題があった。たとえば、局所特徴点数が少なすぎる場合には、１つの誤対応がマッチング率に大きく影響して検索精度に悪影響を与える場合がある。

一方、局所特徴点の数が多すぎる場合には、画像を少し回転したりや拡大・縮小するだけで消えてしまうような再現性が低い不安定な局所特徴点が多く含まれる可能性が高くなる。このような不安定な局所特徴点は、画像検索に利用できないだけではなく、ノイズとして作用してしまい、検索精度低下の原因になる。そのため、非特許文献１に開示された方法では、局所特徴点抽出時に利用する関数値の出力にしきい値を設け、しきい値以下となるような局所特徴点は廃棄することで、より安定した局所特徴点を取捨選択するようにしているが、十分ではない。

本発明の目的は、例えば、画像内の特定オブジェクトが切り取られたり、画像が任意の角度で回転したり、画像の背景色が変わったりした場合でも検索可能とし、局所特徴点数が適当ではないときの検索精度を向上させることである。

本発明の一側面によれば、入力画像から局所的な特徴量である局所特徴量を抽出する局所特徴抽出手段と、前記局所特徴量と画像特徴データベースに登録されている各画像の局所特徴量との類似度である局所特徴類似度を算出し、算出した局所特徴類似度に基づいて複数の候補画像を取得する取得手段と、前記入力画像と前記複数の候補画像とのそれぞれから追加的な特徴である追加特徴を抽出する追加特徴抽出手段と、前記複数の候補画像のそれぞれから抽出した追加特徴と前記入力画像から抽出した追加特徴との類似度である追加特徴類似度を算出する算出手段と、前記局所特徴類似度と前記追加特徴類似度とを用いて総合類似度を算出し、算出した総合類似度の順に、所定数の候補画像を検索結果として出力する出力手段とを有することを特徴とする画像検索装置が提供される。

本発明によれば、画像内の特定オブジェクトが切り取られたり、画像が任意の角度で回転したり、画像の背景色が変わったりした場合でも検索可能であるだけではなく、局所特徴点数が適当ではないときの検索精度の向上が期待できる。

画像登録装置及び画像検索装置の構成例を示すブロック図。 （ａ）は画像の登録処理の手順を表すフローチャート、（ｂ）は画像の検索処理の手順を表すフローチャート。 幾何変換パラメータの算出手順を表すフローチャート。 （ａ）は正規化検索結果候補画像における追加特徴抽出領域の決定方法例を示す図、（ｂ）はクエリ画像における追加特徴抽出領域の決定方法例を示す図。 第２の実施形態における追加特徴の抽出処理と追加特徴の照合処理の手順を表すフローチャート。 第３の実施形態における追加特徴の抽出処理と追加特徴の照合処理の手順を表すフローチャート。 第４の実施形態における追加特徴の抽出処理と追加特徴の照合処理の手順を表すフローチャート。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

本実施形態に係る画像検索装置は、全体特徴方式と局所特徴方式とが相互補完可能となるように構成される。すなわち、局所特徴方式を使って検索結果候補を得た後、当該検索結果候補画像について、すでにデータベースに登録されている全体特徴をさらに照合する。なお、当該全体特徴の照合位置は、局所特徴を使って推定する。かかる本発明の基本概念を実現する実施形態を以下詳しく説明する。

以下の実施形態の説明においては、特許文献１あるいは特許文献２に開示されているような画像全体の特徴を使って検索する方法で使用される特徴量を「全体特徴」と呼び、画像全体の特徴を使って検索する方法を「全体特徴方式」と呼ぶ。一方、画像の局所的な特徴を使って検索する方法で使用する特徴量を「局所特徴」と呼び、画像の局所的な特徴を使って検索する方法を「局所特徴方式」と呼ぶ。なお、実施形態では、説明を簡単にするため、算出されてデータベース（ＤＢ）に登録される全体特徴は、ブロックごとに算出される輝度平均値であるものとする。

＜第１の実施形態＞
図１（ａ）は、本実施形態における画像登録装置１００の構成例を示すブロック図である。１０１は登録画像であり、後述する画像特徴データベースに登録される画像である。１０７は画像特徴データベースであり、画像登録装置１００により登録画像１０１から抽出された画像特徴が登録される。

図１（ｂ）は、本実施形態における画像検索装置２００の構成例を示すブロック図である。２０１はクエリ画像（入力画像）であり、クエリ画像２０１と類似した画像が画像特徴データベース２２０から検索される。２１１は検索結果であり、画像検索装置２００が画像特徴データベース２２０を検索した結果として出力される画像と当該画像の関連情報を含む。以下、本実施形態に係る画像登録装置１００及び画像検索装置２００の動作例を以下に説明する。

［画像の登録処理］
図２（ａ）のフローチャートを参照して、画像の登録処理の手順を説明する。まず画像入力部１０２は、登録画像１０１を読み込み（Ｓ３０１）、その登録画像１０１から輝度成分を抽出して輝度成分画像を生成する（Ｓ３０２）。この輝度成分画像は、縮小画像生成部１０３及び特徴量登録部１０６に渡される。

次に、縮小画像生成部１０３は、画像入力部１０２から渡された輝度成分画像を倍率ｐに従って順次縮小し、縮小画像をｎ枚生成し、当該縮小画像を局所特徴点抽出部１０４に渡す（Ｓ３０３）。倍率ｐ及び縮小画像の枚数ｎは予め定めておく。縮小画像は、例えば、線形補間による縮小方法によって生成される。

次に、局所特徴点抽出部１０４は、縮小画像生成部１０３から渡されたｎ枚の縮小画像のそれぞれにつき、画像の回転があってもロバストに抽出されるような局所的な特徴点（局所特徴点）を抽出する（Ｓ３０４）。抽出した局所特徴点は局所特徴量算出部１０５に渡される。ここで本実施形態では、局所特徴点の抽出方法として、例えば、非特許文献２に記載されているようなHarris作用素を用いる。具体的には、Harris作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大（当該９画素の中で当該画素の画素値が最大になる）になる点を局所特徴点として抽出する。このとき、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。なお、局所特徴点を抽出可能な方法であれば、本実施形態で用いた特徴点抽出方法に限らず、どのような特徴点抽出方法でも局所特徴点抽出部１０４に適用可能である。

次に、局所特徴量算出部１０５は、局所特徴点抽出部１０４から渡された局所特徴点それぞれについて、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する（Ｓ３０５）。抽出した局所特徴量は座標情報と関連付けされた上で、特徴量登録部１０６に渡される。局所特徴量の算出方法は、例えば非特許文献３に記載の方法に従うものとし、また、それらの導関数の組合せを用いる。具体的には、式（１）に示す局所特徴量を算出する。

ただし、式（１）右辺で用いている記号は以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

なお、局所特徴量を算出可能な方法であれば、本実施形態で用いた特徴量算出方法に限らず、どのような特徴量算出方法でも局所特徴量算出部１０５に適用可能である。

次に、特徴量登録部１０６は、局所特徴量算出部１０５から渡された局所特徴量と画像入力部１０２から渡された登録画像１０１とを関連付け、画像特徴データベース１０７に登録する（Ｓ３０６）。以上で画像登録処理が終了する。

［画像の検索処理］
次に、図２（ｂ）のフローチャートを参照して、画像の検索処理について説明する。まず、画像入力部２０２はクエリ画像２０１を読み込む（Ｓ４０１）。局所特徴抽出部２０３は、画像の登録処理と同じ方法により、クエリ画像２０１から局所特徴点を抽出する（Ｓ４０２）。次に、ステップＳ４０２で抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する（Ｓ４０３）。なお、局所特徴点の抽出方法及び特徴量の算出方法については、非特許文献１を始めとして様々な方法が提案されており、これら既存の方法を利用可能である。

候補画像検索部２０４は、抽出した局所特徴量を使って画像特徴データベース２２０を検索して類似度を算出し、類似度順に検索結果の上位から予め定めた枚数の複数の検索結果候補画像を取得する（Ｓ４０４）。なお、本実施形態では、この類似度を「局所特徴類似度」と呼ぶ。局所特徴類似度は０〜１の範囲の実数で表されるものとする。検索結果候補画像は幾何変換パラメータ算出部２０５に渡され、局所特徴類似度は総合類似度算出部２０９に渡される。

幾何変換パラメータ算出部２０５は、クエリ画像２０１と各検索結果候補画像との間の幾何変換パラメータを算出する（Ｓ４０５）。幾何変換パラメータには、たとえば画像の回転角度や拡大・縮小率などがある。

幾何変換が相似変換の場合について、ステップＳ４０５における幾何変換パラメータの算出手順の一例を図３に示す。図３において、クエリ画像２０１から抽出された局所特徴量をＶｑ、局所特徴量に関連付けされている局所特徴点をＱ、局所特徴点の座標をＱ（x’，y’）とする。また、検索結果候補画像Ｒ上に存在する局所特徴量をＶｓ、局所特徴量に関連付けされている局所特徴点をＳ、座標をＳ（ｘ，ｙ）とする。

まず、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化し、最終変換行列Ｍｖ及びＴｖの全要素を０に設定する（Ｓ５０１）。次に、ＶｑとＶｓとの特徴量間距離をすべての組合せについて計算し、最短距離対応点リストを作成する（Ｓ５０２）。すなわち、計算した特徴量間距離が予め定めたしきい値以下となり、かつ、最短距離となるようなＶｑとＶｓとの組合せ（対応点）を抽出し、最短距離対応点リストに登録する。以後、本実施形態では、最短距離対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴量をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と記述し、Ｖｑ（ｋ）とＶｓ（ｋ）に対応付けられている局所特徴点をそれぞれＱ_ｋ、Ｓ_ｋ、座標をそれぞれＱ_ｋ（x’_ｋ、y’_ｋ）、Ｓ_ｋ（ｘ_ｋ、ｙ_ｋ）などと添え字をあわせて記述する。また、ステップＳ５０２で作成された最短距離対応点リストに登録された対応点の組数をｍ組とする。

次に、反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する（Ｓ５０３）。次に、反復カウント数Ｃｏｕｎｔが予め定めた最大反復処理回数Ｒｎを超えていないか判定する（Ｓ５０４）。超えている場合は最短距離対応点リスト及び最終変換行列Ｍｖ及びＴｖを出力して（Ｓ５１８）、処理を終了する。超えていない場合は、ステップＳ５０５に移る。

ステップＳ５０５では、投票数を表す変数Ｖｏｔｅを０に初期化する。次に、当該最短距離対応点リストから対応点の組の座標をランダムに２組抽出する（Ｓ５０６）。これらの座標をＱ_１（ｘ’_１、ｙ’_１）、Ｓ_１（ｘ_１、ｙ_１）及びＱ_２（ｘ’_２、ｙ’_２）、Ｓ_２（ｘ_２、ｙ_２）と表す。

次に、抽出したＱ_１（ｘ’_１、ｙ’_１）、Ｓ_１（ｘ_１、ｙ_１）及びＱ_２（ｘ’_２、ｙ’_２）、Ｓ_２（ｘ_２、ｙ_２）が式（１）に示す変換を満たしていると仮定し、式（８）中の変数ａ〜ｆを求める（Ｓ５０７）。ただし、図３におけるステップＳ５０７のブロック内では、変数ａ〜ｄで構成される行列をＭ、変数ｅ〜ｆで構成される行列をＴで示している。

ここで、本実施形態では、簡単のため相似変換だけを考える。このとき、式（８）は式（９）のように書き換えられる。

このとき、変数ａ、ｂ、ｅ、ｆはｘ’_１、ｙ’_１、ｘ_１、ｙ_１、ｘ’_２、ｙ’_２、ｘ_２、ｙ_２を使って式（１０）から式（１３）で表される。

次に、ステップＳ５０６において最短距離対応点リストからランダムに抽出された２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する（Ｓ５０８）。次に、対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組数ｍを超えていないか判定する（Ｓ５０９）。超えている場合はステップＳ５１５に処理を移すが、これについては後述する。ステップＳ５０９における判定で対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組数ｍを超えていない場合はステップＳ５１０に処理を移す。

ステップＳ５１０では、最短距離対応点リストからステップＳ５０６において最短距離対応点リストからランダムに抽出された２組の点Ｓ_１（ｘ_１、ｙ_１）及びＳ_２（ｘ_２、ｙ_２）以外の点を抽出する。ここでは、抽出された点をＳ_ｋ（ｘ_ｋ、ｙ_ｋ）と記述する。

次に、Ｓ_ｋ（ｘ_ｋ、ｙ_ｋ）が式（９）を使って移される座標Ｓ_ｋ’（ｘ’_ｋ、ｙ’_ｋ）を求める（Ｓ５１１）。

その後、座標Ｓ_ｋ’（ｘ’_ｋ、ｙ’_ｋ）と座標Ｑ_ｋ（ｘ’_ｋ、ｙ’_ｋ）との幾何学的距離をユークリッド距離で計算し、当該ユークリッド距離がしきい値Ｔｄ以下であるかどうかを判定する（Ｓ５１２）。当該ユークリッド距離がしきい値Ｔｄ以下の場合には、投票数Ｖｏｔｅをインクリメントし（Ｓ５１３））、その後ステップＳ５１４に処理を移す。当該ユークリッド距離がしきい値Ｔｄより大きい場合には、何もせずにステップＳ５１４に処理を移す。ステップＳ５１４では、対応点選択変数ｋをインクリメントし、ステップＳ５０９に戻る。

次に、ステップＳ５１５以降の処理を説明する。ステップＳ５１５以降の処理は、対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組数ｍを超えていたとステップＳ５０９で判断された場合の処理である。ステップＳ５１５では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合はステップＳ５１６の処理を実行する。ステップＳ５１６では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えた後、最終変換行列Ｍｖ及びＴｖをそれぞれステップＳ５０７で求めた変換行列Ｍ、Ｔに設定する。ステップＳ５１７で反復カウント数Ｃｏｕｎｔをインクリメントし、ステップＳ５０４に処理を戻す。投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合は、ステップＳ５１７で反復カウント数Ｃｏｕｎｔをインクリメントし、ステップＳ５０４に処理を戻す。

なお、類似度の算出方法については相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、ステップＳ５０７においてそれぞれに応じた変換行列を求めることにより、対応可能である。たとえば、アフィン変換の場合は、まず、ステップＳ５０６でランダムに選択する対応点の組の座標数を３とする。次に、ステップＳ５０７において式（９）ではなく式（８）を使うこととし、ステップＳ５０６で選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めればよい。

説明を図２（ｂ）のフローチャートに戻す。画像正規化部２０６は、幾何変換パラメータを使って検索結果候補画像をクエリ画像に合わせる形で正規化し、正規化検索結果候補画像を生成する（Ｓ４０６）。この画像正規化部２０６の処理によって、クエリ画像と正規化検索結果候補画像は、画像の方向及びスケールとが正規化された状態になる。ここで、正規化の方法として検索結果候補画像をクエリ画像に合わせる方法、クエリ画像を検索結果候補画像に合わせる方法、あるいはクエリ画像と検索結果候補画像とを予め定めた正規化画像に合わせるようにする方法などがある。本実施形態では、検索結果候補画像をクエリ画像に合わせる形で正規化することを前提に説明する。

追加特徴抽出部２０７は、クエリ画像２０１と正規化検索結果候補画像とのそれぞれから追加的な特徴である追加特徴を抽出する（Ｓ４０７）。本実施形態では追加特徴をＲ、Ｇ、Ｂ各要素の平均値として説明する。ただし、追加特徴はクエリ画像２０１と正規化検索結果候補画像との両方に存在する領域内から抽出するものとする。すなわち、クエリ画像と正規化検索結果候補画像とを位置を合わせて重ねたときにはみ出してしまう領域は追加特徴を抽出する領域から除外する。ここで、追加特徴であるＲ、Ｇ、Ｂ各要素平均値について、クエリ画像から抽出された追加特徴をＲｑ、Ｇｑ、Ｂｑとし、正規化検索結果候補画像から抽出された追加特徴をＲｓ、Ｇｓ、Ｂｓとする。

追加特徴照合部２０８は、正規化検索結果候補画像のそれぞれとクエリ画像とについて追加特徴を照合し、比較結果を数値化して追加特徴類似度を算出する（Ｓ４０８）。本実施形態では、追加特徴であるＲ、Ｇ、Ｂ各平均値の差分絶対値の平均を計算することで追加特徴類似度とする。すなわち、追加特徴類似度Ｅは式（１４）で求められる。

総合類似度算出部２０９は、候補画像検索部２０４から渡された局所特徴類似度とステップＳ４０８で算出した数値化比較結果とを用いて、総合類似度を算出する（Ｓ４０９）。本実施形態では、総合類似度を式（１５）で算出する。ただし、総合類似度をＳｔ、局所特徴類似度をＳｐ、数値化比較結果をＥとした。ここで総合類似度Ｓｔの範囲は、−１．０≦Ｓｐ≦２．０である。

検索結果出力部２１０は、総合類似度の順に、所定数の検索結果候補画像を検索結果２１１として出力する（Ｓ４１０）。

なお、追加特徴類似度Ｅを式（１４）、総合類似度を式（１５）で表されるものとして説明したが、これらの式に限定されない。追加特徴の比較結果が総合類似度に適切に反映されるような追加特徴類似度及び総合類似度の算出式であれば、他の式に置き換えることも可能である。

さらに、ステップＳ４０８での比較方法及び照合結果として、Ｒ、Ｇ、Ｂ各要素の平均値の差分絶対値を計算し、当該差分絶対値の平均を追加特徴類似度として計算する方法を示した。しかし、他の比較方法を使って追加特徴類似度を出力するように構成してもよい。たとえば、画素値の相関を調査し、相関係数を比較結果とするように構成してもよい。

以上の説明から明らかなように、本実施形態に係る画像検索装置では、局所特徴方式を使って検索結果候補画像を得た後、当該検索結果候補画像について追加特徴をさらに照合するようにした。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

＜第２の実施形態＞
上述した第１の実施形態では、追加特徴抽出部２０７において、追加特徴はクエリ画像２０１と正規化検索結果候補画像との両方に存在する領域内から抽出するように構成した。本実施形態では、追加特徴の抽出領域を決定するための追加特徴抽出領域を決定する処理を追加する。

正規化検索結果候補画像における追加特徴抽出領域の決定方法の一例を、図４（ａ）に示す。図４（ａ）において、６０１、６０２、６０３は幾何変換パラメータ算出部２０５において最終投票数が最大となった時の最短距離対応点からランダムに選択した３点の正規化検索結果候補画像上の点である。以後説明のために６０１、６０２、６０３をそれぞれ点Ｐ_１（ｘ_１、ｙ_１）、点Ｐ_２（ｘ_２、ｙ_２）、点Ｐ_３（ｘ_３、ｙ_３）と記述する。６０４は始点をＰ_１、終点をＰ_２とするベクトルａである。６０５は始点をＰ_１、終点をＰ_３とするベクトルｂである。６０６は点Ｐ_１、点Ｐ_２、点Ｐ_３から算出される重心Ｇ（ｘ_０、ｙ_０）である。６０７は重心Ｇとベクトルａとの距離ｒである。６０８は正規化検索結果候補画像における追加特徴抽出領域であり重心Ｇを中心とした半径ｒの円である。

次に、クエリ画像における追加特徴抽出領域の決定方法の一例を、図４（ｂ）に示す。図４（ｂ）において、７０１、７０２、７０３は幾何変換パラメータ算出部２０５において最終投票数が最大となった時の最短距離対応点からランダムに選択した３点のクエリ画像上の点である。以後説明のために７０１、７０２、７０３をそれぞれ点Ｐ’_１（ｘ’_１、ｙ’_１）、点Ｐ’_２（ｘ’_２、ｙ’_２）、点Ｐ’_３（ｘ’_３、ｙ’_３）と記述する。７０４は始点をＰ’_１、終点をＰ’_２とするベクトルａ’である。７０５は始点をＰ’_１、終点をＰ’_３とするベクトルｂ’である。７０６は点Ｐ’_１、点Ｐ’_２、点Ｐ’_３から算出される重心Ｇ’（ｘ’_０、ｙ’_０）である。７０７は重心Ｇ’とベクトルａ’との距離ｒ’である。７０８はクエリ画像における追加特徴抽出領域であり重心Ｇ’を中心とした半径ｒ’の円である。ここで、点Ｐ_１に対応する点をＰ’_１、点Ｐ_２に対応する点をＰ’_２、点Ｐ_３に対応する点をＰ’_３とした。

次に、本実施形態における追加特徴の抽出処理と追加特徴の照合処理を、図５のフローチャートを用いて説明する。図５において、Ｓ８０１が追加特徴の抽出ステップ、Ｓ８０２が追加特徴の照合ステップを表している。追加特徴の抽出ステップＳ８０１は、追加特徴抽出処理の反復回数制御ステップＳ８０３、最短距離対応点の選択ステップＳ８０４、追加特徴抽出領域の決定ステップＳ８０５、追加特徴の抽出ステップＳ８０６を含む。また、追加特徴の照合ステップＳ８０２は、追加特徴類似度要素の算出ステップＳ８０７、追加特徴類似度の算出ステップＳ８０８を含む。

本実施形態における画像検索装置は、第１の実施形態におけるステップＳ４０７及びＳ４０８をそれぞれステップＳ８０１及びＳ８０２に置き換えたものとなる。以下に置き換え部分の動作例を説明する。

図５のフローチャートでは、反復回数を変数ｉ、反復回数の上限をｃｏｕｎｔ＿ｍａｘで表している。ｃｏｕｎｔ＿ｍａｘは予め定めた値である。ステップＳ８０１では、ステップＳ８０３により追加特徴抽出処理の反復回数をチェックする。ステップＳ８０３では、その時点での反復回数ｉが反復回数の上限ｃｏｕｎｔ＿ｍａｘ未満の場合に処理をステップＳ８０４に移す。

ステップＳ８０４では、幾何変換パラメータ算出部２０５で実行されるステップＳ５１８で出力された最短距離対応点リストからランダムに３組の最短距離対応点を抽出する。ここでは抽出された最短距離対応点の組を図４の（ａ）及び（ｂ）の点Ｐ_１及びＰ’_１、点Ｐ_２及びＰ’_２、点Ｐ_３及びＰ’_３として説明する。

ステップＳ８０５では、正規化検索結果候補画像とクエリ画像とからそれぞれ追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉを抽出する。ここで、Ｒ_ｉは追加特徴領域６０８、Ｒ’_ｉは追加特徴領域７０８である。

次にステップＳ８０６では、追加特徴抽出領域Ｒ_ｉからＲ、Ｇ、Ｂ各要素の平均値を追加特徴Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）として抽出する。また、追加特徴抽出領域Ｒ’_ｉからＲ、Ｇ、Ｂ各要素の平均値を追加特徴Ｒ’（ｉ）、Ｇ’（ｉ）、Ｂ’（ｉ）として抽出する。

ステップＳ８０３において、その時点での反復回数ｉが反復回数の上限ｃｏｕｎｔ＿ｍａｘ以上となった場合は処理をステップＳ８０７に移す。ステップＳ８０７では、追加特徴抽出領域Ｒ_ｉから抽出した追加特徴Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）と追加特徴抽出領域Ｒ’_ｉから抽出した追加特徴Ｒ’（ｉ）、Ｇ’（ｉ）、Ｂ’（ｉ）とを使い、式（１６）により追加特徴類似度要素Ｅ_ｉを求める。

ステップＳ８０８では、式（１７）により追加特徴類似度Ｅを算出する。

なお、ステップＳ８０５では、追加特徴抽出領域として円形の領域を抽出するように説明したが、追加特徴抽出領域は円形に限らず、正規化検索結果候補画像とクエリ画像とで同一の形状であれば矩形やその他の形状を抽出するようにしてもよい。

以上のように、本実施形態では、追加特徴の抽出領域を決定するための追加特徴抽出領域を決定する処理を追加した。そのため、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

＜第３の実施形態＞
上述の第１及び第２の実施形態では、追加特徴として予め定められた特徴を抽出するようにしていた。本実施形態では、追加特徴を抽出する前に抽出すべき追加特徴の種類を判別する処理を追加する。また、追加特徴の種類に応じて追加特徴の照合処理を変更する。

図６は、本実施形態における追加特徴の抽出処理と追加特徴の照合処理の手順を表すフローチャートである。図６において、Ｓ９０１が追加特徴の抽出ステップ、Ｓ９０２が追加特徴の照合ステップを表している。追加特徴の抽出ステップＳ９０１において、Ｓ９０３は追加特徴抽出処理の反復回数制御ステップ、Ｓ９０４は最短距離対応点の選択ステップ、Ｓ９０５は追加特徴抽出領域の決定ステップである。Ｓ９０９は本実施形態で追加された追加特徴の判別ステップである。Ｓ９０６は追加特徴の抽出ステップである。追加特徴の照合ステップＳ９０２において、Ｓ９０７は追加特徴類似度要素の算出ステップ、Ｓ９０８は追加特徴類似度の算出ステップである。

本実施形態における画像検索装置は、第１の実施形態におけるステップＳ４０７及びＳ４０８をそれぞれステップＳ９０１及びＳ９０２に置き換えたものとなる。以下に置き換え部分の動作例を説明する。

図６のフローチャートでは、反復回数を変数ｉ、反復回数の上限をｃｏｕｎｔ＿ｍａｘで表している。ｃｏｕｎｔ＿ｍａｘは予め定めた値である。ステップＳ９０１では、ステップＳ９０３により追加特徴抽出処理の反復回数をチェックする。ステップＳ９０３では、その時点での反復回数ｉが反復回数の上限ｃｏｕｎｔ＿ｍａｘ未満の場合に処理をステップＳ９０４に移す。

ステップＳ９０４では、幾何変換パラメータ算出部２０５で実行されるステップＳ５１８で出力された最短距離対応点リストからランダムに３組の最短距離対応点を抽出する。ここでは抽出された最短距離対応点の組を図４の（ａ）及び（ｂ）の点Ｐ_１及びＰ’_１、点Ｐ_２及びＰ’_２、点Ｐ_３及びＰ’_３として説明する。

ステップＳ９０５では、正規化検索結果候補画像とクエリ画像とからそれぞれ追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉとを抽出する。ここで、Ｒ_ｉは追加特徴領域６０８、Ｒ’_ｉは追加特徴領域７０８である。

次にステップＳ９０９では、追加特徴抽出領域を調べ、追加特徴として抽出する特徴の判別を行う。本実施形態では、まず、追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉの内部に矩形領域を設定し、それぞれの矩形領域を周波数変換してスペクトル分布Ｓ_ｉ及びＳ’_ｉを得る。もしスペクトル分布Ｓ_ｉあるいはＳ’_ｉが一定間隔でピークを持つ場合、当該追加特徴抽出領域はテクスチャ領域であると判別する。そうではない場合、次にスペクトル分布Ｓ_ｉあるいはＳ’_ｉが低域成分に偏っているかどうかを調べる。当該スペクトル分布が低域成分に偏っている場合、当該追加特徴抽出領域は当該領域内で輝度変化が小さい低コントラスト領域であると判別する。スペクトル分布Ｓ_ｉ及びＳ’_ｉが低域成分に偏っていない場合は、非テクスチャ非低コントラスト領域と判別する。

次にステップＳ９０６では、ステップＳ９０９での判別結果を基に追加特徴を抽出する。すなわち、ステップＳ９０９において、追加特徴抽出領域をテクスチャ領域と判別した場合は、スペクトル分布を追加特徴として抽出する。追加特徴抽出領域を低コントラスト領域と判断した場合は、追加特徴抽出領域Ｒ_ｉからＲ、Ｇ、Ｂ各要素の平均値を追加特徴Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）として抽出する。また、追加特徴抽出領域Ｒ’_ｉからＲ、Ｇ、Ｂ各要素の平均値を追加特徴Ｒ’（ｉ）、Ｇ’（ｉ）、Ｂ’（ｉ）として抽出する。追加特徴抽出領域を非テクスチャ非低コントラスト領域と判別した場合は、追加特徴として追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉをそのまま保持する。

ステップＳ９０３において、その時点での反復回数ｉが反復回数の上限ｃｏｕｎｔ＿ｍａｘ以上となった場合は処理をステップＳ９０７に移す。ステップＳ９０７では、ステップＳ９０９での判別結果を基に追加特徴類似度要素Ｅ_ｉを求める。すなわち、ステップＳ９０９において、追加特徴抽出領域をテクスチャ領域と判別した場合は、スペクトル分布Ｓ_ｉ及びＳ’_ｉを使って相関係数を計算し、当該相関係数を追加特徴類似度要素Ｅ_ｉとする。追加特徴抽出領域を低コントラスト領域と判断した場合は、第２の実施形態での説明と同様、式（１６）での計算結果を追加特徴類似度要素Ｅ_ｉとする。追加特徴抽出領域を非テクスチャ非低コントラスト領域と判別した場合は、追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉの画素値を使って相関係数を計算し、当該相関係数を追加特徴類似度要素Ｅ_ｉとする。

ステップＳ９０８では、第２の実施形態での説明と同様、式（１７）により追加特徴類似度Ｅを算出する。

なお、ステップＳ９０９では、追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉの内部に矩形領域を設定し、それぞれの当該矩形領域を周波数変換してスペクトル分布Ｓ_ｉ及びＳ’_ｉを得るようにした。しかし、本発明はこれに限らず、周波数変換変換する領域が正規化検索結果候補画像とクエリ画像とで対応していればよい。たとえば追加特徴抽出領域Ｒ_ｉ及びＲ’_ｉの外接矩形を設定し、当該矩形領域を周波数変換するようにしてもよい。あるいは、追加特徴抽出領域を矩形として抽出して、当該追加特徴抽出領域で周波数変換を実施してもよい。

以上のように、本実施形態では、追加特徴を抽出する前に抽出すべき追加特徴の種類を判別する処理を追加した。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

＜第４の実施形態＞
上述の第１ないし第３の実施形態では、追加特徴抽出領域内でのエッジの有無に関わらず追加特徴を抽出するようにしていた。しかしエッジを含む領域は画像内のオブジェクトと背景との境界領域である可能性がある。追加特徴抽出領域の多くがオブジェクトと背景との境界領域であった場合、背景の変化によって追加特徴が変動するため、総合類似度算出時に追加特徴を考慮することで検索精度へ悪影響を与えてしまうおそれがある。本実施形態では、このような悪影響を排除するため、追加特徴抽出処理にエッジ抽出処理を追加し、追加特徴抽出領域内にエッジが含まれる場合に当該追加特徴抽出領域では追加特徴を抽出しないようにする。

図７は、本実施形態における追加特徴の抽出処理と追加特徴の照合処理の手順を表すフローチャートである。図７において、Ｓ１００１は追加特徴の抽出ステップ、Ｓ１００２は追加特徴の照合ステップである。Ｓ１０１０は画像全体からのエッジ抽出ステップ、Ｓ１００３は追加特徴抽出処理の反復回数制御ステップ、Ｓ１００４は最短距離対応点の選択ステップ、Ｓ１００５は追加特徴抽出領域の決定ステップである。Ｓ１００９は本実施例で追加された追加特徴の判別ステップである。Ｓ１００６は追加特徴の抽出ステップ、Ｓ１００７は追加特徴類似度要素の算出ステップ、Ｓ１００８は追加特徴類似度の算出ステップである。

本実施形態における画像検索装置は、第３の実施形態で説明した処理にエッジの抽出ステップＳ１０１０を加えたものである。さらに、追加特徴抽出領域内にエッジが含まれる場合には当該追加特徴抽出領域を除外して追加特徴の判別処理及び追加特徴の抽出処理をスキップできるようにしたものである。すなわち、追加特徴の判別ステップＳ９０９と追加特徴の抽出ステップＳ９０６とをそれぞれ追加特徴の判別ステップＳ１００９と追加特徴の抽出ステップＳ１００６とに置き換えて構成したものである。以下に、追加部分と置換え部分の動作例を説明する。

ステップＳ１０１０では、クエリ画像からエッジを抽出する。エッジの抽出ではＬＯＧ（Laplacian of Gaussian）の零交差点をエッジとして抽出する。

ステップＳ１００９では、まず、ステップＳ１００５で決定されたクエリ画像の追加特徴抽出領域Ｒ’_ｉ内にステップＳ１０１０で抽出されたエッジが含まれているかを検査する。もしエッジが含まれていた場合は当該追加特徴抽出領域Ｒ’_ｉを削除し、エッジを検出したことをステップＳ１００６に通知する。エッジが含まれていない場合には、ステップＳ９０９と同じ処理を実行する。

ステップＳ１００６では、もしステップＳ１００９からエッジ検出の通知があった場合には何もしない。そうでない場合には、ステップＳ９０６と同じ処理を実行する。

なお、上記実施形態ではエッジ抽出時にＬＯＧ（Laplacian of Gaussian）の零交差画素を利用したが、エッジが抽出できればこの方法に限定されない。たとえばＳｏｂｅｌフィルタを適用してエッジを抽出するなど、他のエッジ抽出方法を用いてもよい。

以上説明したように、本実施形態では、追加特徴抽出処理にエッジ抽出処理を追加し、追加特徴抽出領域内にエッジが含まれる場合に当該追加特徴抽出領域では追加特徴を抽出しない。そのため、追加特徴抽出領域の多くがオブジェクトと背景との境界領域であった場合、背景の変化による追加特徴の変動に起因した検索精度へ悪影響を回避することが可能になる。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

＜第５の実施形態＞
上述した第４の実施形態では、抽出されたエッジをすべて利用するようにした。しかし、画像によっては人間の目ではエッジと認識されない場所から多数のエッジがノイズエッジとして抽出されてしまうことがある。本実施形態では、ノイズエッジを削減するための処理を追加するように構成する。

すなわち、ステップＳ１０１０でエッジを抽出した後、当該エッジの輝度振幅値を求め、当該輝度エッジが予め定めたしきい値以上のものだけをエッジとして確定するように構成する。

あるいは、ステップＳ１０１０でエッジをエッジ候補として抽出した後、当該エッジ候補の輝度振幅値を求め、当該輝度振幅値の最大値を最大輝度振幅値とする。当該輝度振幅値と当該最大輝度振幅値との比が予め定めたしきい値以上のものだけをエッジとして確定するように構成する。

このように本実施形態では、ノイズエッジを削減するための処理を追加したので、人間の目ではエッジと認識されない場所から多数のエッジがノイズエッジとして抽出されてしまうことを避けることが可能になる。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

＜第６の実施形態＞
上述の第１ないし第５の実施形態では、追加特徴を必ず抽出するようにしていた。しかし、ステップＳ４０４で局所特徴類似度だけで十分信頼できる検索結果を出力可能な場合も多く存在する。本実施形態では、ステップＳ４０４において、局所特徴類似度に基づいて追加特徴の照合要否を判断するための判別処理を追加する。この判別処理の結果、追加特徴の照合が不要と判断された場合、追加特徴の抽出及び照合に係るステップであるステップＳ４０５からＳ４０８までの処理をスキップする。また、ステップＳ４０９では局所特徴類似度を総合類似度とし、ステップＳ４１０では検索結果候補画像を検索結果として出力するように構成する。

例えば、局所特徴類似度の最大値が予め定めたしきい値以上の場合に、追加特徴の照合が不要と判断する。あるいは、局所特徴類似度の最大値と第二位の値との比が予め定めたしきい値以上の場合に、追加特徴の照合が不要と判断するように構成してもよい。

このように、本実施形態では、局所特徴類似度に基づいて追加特徴の照合要否を判別する処理を追加した。また、追加特徴照合要否判別処理の結果、追加特徴の照合が不要と判断された場合、追加特徴の抽出と照合にかかるステップをスキップする。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。さらに、追加特徴の照合が不要と判断される画像については高速に処理することが可能になる。

＜第７の実施形態＞

第１の実施形態では、追加特徴照合部２０８では、ステップＳ４０８により、正規化検索結果候補画像のそれぞれとクエリ画像とについて追加特徴を照合し、比較結果を数値化し追加特徴類似度を算出するようにした。さらに、総合類似度算出部２０９では、ステップＳ４０９により、候補画像検索部２０４から渡された局所特徴類似度とステップ４０８で算出した数値化比較結果とを使い、総合類似度を算出するようにした。本実施形態は、総合類似度算出部２０９を設置せず、追加特徴照合部２０８で算出した追加特徴類似度を検索結果出力部２１０に入力する構成とする。さらに検索結果出力部２１０では、追加特徴照合部２０８から渡された追加特徴類似度を調べ、予め定めたしきい値以上の追加特徴類似度を持つ検索結果候補画像を追加特徴類似度順に検索結果２１１として出力するようにする。

なお、検索結果出力部２１０では、しきい値を用いて検索結果２１１として出力すべき検索結果候補画像を取捨選択するように構成した。しかし、追加特徴類似度を基準に検索結果２１１として出力すべき検索結果候補画像を取捨選択できればしきい値以外の基準を使うように構成してもよい。

また、検索結果出力部２１０では、検索結果候補画像を追加特徴類似度順に検索結果２１１として出力するようにしたが、検索結果２１１として出力すべき検索結果候補画像を取捨選択して出力するならば前記追加特徴類似度順に出力する必要はない。

また、総合類似度算出部２０９を設置しないように構成したが、追加特徴類似度を基準に検索結果２１１として出力すべき検索結果候補画像を取捨選択できれば総合類似度算出部２０９を設置したままにしてもよい。すなわち、総合類似度算出部２０９を設置するが総合類似度は算出しないように構成してもよい。あるいは、総合類似度算出部２０９で総合類似度を算出するが、検索結果出力部２１０では、追加特徴照合部２０８から渡された追加特徴類似度だけを調べ、検索結果２１１として出力すべき検索結果候補画像を取捨選択して出力するように構成してもよい。

このように、本実施形態では、検索結果２１１として出力すべき検索結果候補画像を、追加特徴類似度を基準に取捨選択して出力するようにした。そのため、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止することが可能となる。

（他の実施形態）
なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムを読み出して実行することによっても達成される。したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラム自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

Claims (9)

1. 入力画像から局所的な特徴量である局所特徴量を抽出する局所特徴抽出手段と、
   前記局所特徴量と画像特徴データベースに登録されている各画像の局所特徴量との類似度である局所特徴類似度を算出し、算出した局所特徴類似度に基づいて複数の候補画像を取得する取得手段と、
   前記入力画像と前記複数の候補画像とのそれぞれから追加的な特徴である追加特徴を抽出する追加特徴抽出手段と、
   前記複数の候補画像のそれぞれから抽出した追加特徴と前記入力画像から抽出した追加特徴との類似度である追加特徴類似度を算出する算出手段と、
   前記局所特徴類似度と前記追加特徴類似度とを用いて総合類似度を算出し、算出した総合類似度の順に、所定数の候補画像を検索結果として出力する出力手段と、
   を有することを特徴とする画像検索装置。
2. 前記取得手段により取得された前記複数の候補画像と前記入力画像とが方向及びスケールにおいて合うように正規化を行い、正規化された複数の候補画像を前記追加特徴抽出手段に出力する正規化手段を更に有することを特徴とする請求項１に記載の画像検索装置。
3. 前記正規化手段は、前記複数の候補画像及び前記入力画像の幾何変換パラメータを算出し、算出した前記幾何変換パラメータを用いて前記正規化を行うことを特徴とする請求項２に記載の画像検索装置。
4. 前記追加特徴抽出手段は、前記入力画像と前記候補画像との位置を合わせて重ねたときにはみ出た領域を、追加特徴を抽出する領域から除外することを特徴とする請求項１に記載の画像検索装置。
5. 前記追加特徴抽出手段は、追加特徴を抽出する領域のスペクトル分布に基づいて、当該領域から抽出すべき追加特徴の種類を判別する判別手段を含むことを特徴とする請求項１に記載の画像検索装置。
6. 前記追加特徴抽出手段は、追加特徴を抽出する領域におけるエッジを検出するエッジ検出手段を含み、当該領域にエッジが含まれる場合は当該領域を追加特徴を抽出する領域から除外することを特徴とする請求項１に記載の画像検索装置。
7. 前記局所特徴類似度が所定のしきい値以上の場合は、前記追加特徴抽出手段による処理を行わないことを特徴とする請求項１に記載の画像検索装置。
8. 画像検索装置の制御方法であって、
   局所特徴抽出手段が、入力画像から局所的な特徴量である局所特徴量を抽出する局所特徴抽出ステップと、
   取得手段が、前記局所特徴量と画像特徴データベースに登録されている各画像の局所特徴量との類似度である局所特徴類似度を算出し、算出した局所特徴類似度に基づいて複数の候補画像を取得する取得ステップと、
   追加特徴抽出手段が、前記入力画像と前記複数の候補画像とのそれぞれから追加的な特徴である追加特徴を抽出する追加特徴抽出ステップと、
   算出手段が、前記複数の候補画像のそれぞれから抽出した追加特徴と前記入力画像から抽出した追加特徴との類似度である追加特徴類似度を算出する算出ステップと、
   出力手段が、前記局所特徴類似度と前記追加特徴類似度とを用いて総合類似度を算出し、算出した総合類似度の順に、所定数の候補画像を検索結果として出力する出力ステップと、
   を有することを特徴とする画像検索装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の画像検索装置が有する各手段として機能させるためのプログラム。

Images