JP5436104B2 - 画像検索装置及び画像検索方法 - Google Patents

Description

本発明は、画像検索装置及び画像検索方法に関する。

類似画像を検索するための技術が多く提案されている。第一に、画像の全体的な特徴量（全体特徴量）を使って類似画像を検索する方法がある。例えば、画像を複数のブロックに分け、それぞれの代表色を用いてパターンマッチングを行うことで色の位置情報を利用して類似画像を検索する方法が提案されている（特許文献１）。或いは、画像を複数のブロックに分割して各ブロックの特徴量を算出し、特徴量に応じたラベルを付与してラベル行列を生成して全体特徴量とし、前記全体特徴量を使って検索する方法もある（特許文献２）。
第二に、画像の局所的な特徴量（局所特徴量）を使って類似画像を検索する方法が提案されている。これらの方法では、まず画像から特徴的な点（局所特徴点）を抽出する。次に、局所特徴点とその近傍の画像情報とから、その局所特徴点に対する特徴量（局所特徴量）を計算する。画像の検索は、局所特徴量同士のマッチングによって行う。
上述のような局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される量として定義することで、画像を回転したり、拡大・縮小したりした場合でも検索可能とする方法が提案されている（非特許文献１）。

特開平８−２４９３４９号公報 特開平１０−２６０９８３号公報

Ｃ． Ｓｃｈｍｉｄ ａｎｄ Ｒ． Ｍｏｈｒ， "Ｌｏｃａｌｇｒａｙ ｖａｌｕｅ ｉｎｖａｒｉａｎｔｓ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ，" ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ．， Ｖｏｌ．１９， Ｎｏ．５， ｐｐ５３０−５３４， １９９７．

局所特徴量を使った検索システムの多くは、ノイズ耐性を持たせるために、入力画像に対してぼかし処理などのフィルタ処理を施す。フィルタ処理は、一般に、フィルタウインドウと画像とのコンボリューション処理になる。このとき、画像の縁の部分ではフィルタウインドウが画像からはみ出してしまうため正確なフィルタ処理ができない。
また、画像の縁の部分では、局所特徴量の計算も困難である。局所特徴量の計算では、まず、局所特徴点を中心とした小サイズの領域（局所特徴量計算領域）を設定する。その後、局所特徴量計算領域内の画素パターンから局所特徴量を計算する。この場合も、画像の縁部分では局所特徴量計算領域が画像からはみ出してしまう。
このように、局所特徴量を使った検索システムでは局所特徴量の算出に関わる制約が存在する。しかしながら、従来のシステムでは本制約に関する知識に乏しいユーザへの配慮が不十分であり、局所特徴量が計算可能な領域を正確に考慮した検索条件を指定する手段を提供できていなかった。そのため、クエリとして選んだ検索領域が局所特徴量を正確に計算可能な領域から外れていることにユーザが気付かない場合、ユーザは意図に沿った検索結果を得られないという問題があった。

本発明はこのような問題点に鑑みなされたもので、ユーザの意図に沿った検索結果が得られるようにすることを目的とする。

そこで、本発明の画像検索装置は、ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、前記指定手段で指定されたクエリ領域の端から内側の所定幅の領域であって、局所特徴量を抽出するのが困難な領域を特徴抽出不可領域として表示する表示手段と、前記クエリ領域の内部の前記表示手段で前記特徴抽出不可領域として表示していない領域から抽出した局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、を有することを特徴とする。
また、本発明の画像検索装置は、ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な前記クエリ領域の端から内側の所定幅の領域とが重なっているか否かを判定する判定手段と、前記判定手段で、前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっていないと判定された場合、前記クエリ領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、を有することを特徴とする。
また、本発明の画像検索装置は、ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、前記指定手段で指定されたクエリ領域の全ての領域が局所特徴量を抽出するのが可能な抽出可能領域となるよう局所特徴量を抽出するのが困難な特徴抽出不可領域が拡大後において拡大前の前記指定されたクエリ領域の外の領域になるように前記クエリ領域を拡大する拡大手段と、前記指定手段で指定されたクエリ領域の全ての領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、を有することを特徴とする。

本発明によれば、ユーザの意図に沿った検索結果が得られるようにすることができる。

所特徴の抽出が可能な領域と困難な領域とを示す図である。 画像登録装置の機能構成の一例を示す図である。 画像の登録処理の一例を示すフローチャートである。 実施形態１の画像検索装置の機能構成を示す図（その１）である。 実施形態１の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャート（その１）である。 実施形態１の画像切出し時のインターフェイスの一例を示す図である。 実施形態１の画像検索装置の機能構成を示す図（その２）である。 実施形態１の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャート（その２）である。 画像登録装置及び画像検索装置等の画像処理装置（コンピュータ）のハードウェア構成の一例を示す図である。 実施形態２の画像検索装置の機能構成を示す図である。 実施形態２の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャートである。 実施形態３の画像切出し時のインターフェイスの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。
尚、以下に示す実施形態では、画像登録装置及び画像検索装置等の画像処理装置は、局所特徴量の計算時に、まず局所特徴点周辺の輝度勾配を調査して主方向を決定するものとする。画像処理装置は、主方向に応じて局所特徴点を中心に局所特徴量計算領域を回転させることで局所特徴量に画像の回転に対する不変性を持たせることができる。また、以下に示す実施形態では、画像処理装置は、主方向の決定方法として参考文献１に記載されている方法を利用するものとする。尚、主方向の決定方法は、ノイズの影響を受けにくい方法であれば参考文献１に記載の方法でなくてもよい。
また、以下に示す実施形態では、画像処理装置は、局所特徴量として参考文献２に記載されている方法を利用するものとする。局所特徴量についても、画像処理装置は、ノイズの影響を受けにくい局所特徴量であれば参考文献２に記載の方法以外の方法で算出してもよい。
参考文献１：Ｄａｖｉｄ Ｇ． Ｌｏｗｅ， “Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ６０， ２ （２００４）， ｐｐ．９１−１１０．
参考文献２：Ｙ． Ｋｅ ａｎｄ Ｒ． Ｓｕｋｔｈａｎｋａｒ， “ ＰＣＡ−ＳＩＦＴ： Ａ Ｍｏｒｅ Ｄｉｓｔｉｎｃｔｉｖｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｌｏｃａｌ Ｉｍａｇｅ Ｄｅｓｃｒｉｐｔｏｒｓ，” Ｐｒｏｃ． ＣＶＰＲ， ｐｐ．５０６−５１３， ２００４．

＜実施形態１＞
［画像の登録処理］
図１は、局所特徴の抽出が可能な領域と困難な領域とを示す図である。図１において、１０１は、フィルタ処理に起因する正確なフィルタ処理が困難な領域である。１０２は、局所特徴量計算領域に起因する正確な局所特徴量の計算が困難な領域である。１０３は、４５度回転した局所特徴量計算領域である。１０４は、特徴抽出可能領域であり、局所特徴はこの特徴抽出可能領域１０４上で抽出される。
図２は、画像登録装置の機能構成の一例を示す図である。画像特徴データベース２０６には、画像登録装置２００により登録画像２０１から抽出された画像特徴（画像の特徴量）が登録される。
図３のフローチャートを参照して、画像の登録処理を説明する。図３は、画像の登録処理の一例を示すフローチャートである。
画像入力部２０２は、登録画像２０１を読み込む（Ｓ３０１）。次に、局所特徴点抽出部２０３は、登録画像２０１から局所特徴点を抽出する（Ｓ３０２）。局所特徴点の抽出において局所特徴点抽出部２０３は、登録画像２０１から輝度成分を抽出して輝度成分画像を生成し、生成した輝度成分画像を段階的に縮小すると共に各縮小画像に対してぼかし処理を施す。局所特徴点抽出部２０３は、このように生成した各ぼかし画像から局所特徴点を抽出する。この局所特徴点の抽出方法として、本実施形態ではＨａｒｒｉｓ作用素を用いるものとする。詳細は、参考文献３を参照。
参考文献３：Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｊ． Ｓｔｅｐｈｅｎｓ， “Ａ Ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｉｎ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐａｇｅｓ １４７‐１５１， １９８８．
ここで、ぼかし処理は、画像とぼかしフィルタとのコンボリューション処理で実現されるので、ぼかしフィルタの大きさから図１で示した正確なフィルタ処理が困難な領域１０１が特定される。本実施形態では、ぼかしフィルタとしてガウスフィルタを採用し、パラメータとしてσ＝１．５として３σの範囲のフィルタを生成するものとする。即ち、ぼかしフィルタの大きさは１１画素×１１画素の大きさとなるので、正確なフィルタ処理が困難な領域１０１は画像の縁から５画素幅の領域となる。

正確なフィルタ処理が困難な領域１０１からは局所特徴量を計算することはできない。局所特徴点抽出部２０３は、特定した正確なフィルタ処理が困難な領域１０１の情報を局所特徴量算出部２０４に渡す。次に、局所特徴量算出部２０４は、局所特徴点抽出部２０３で抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する（Ｓ３０３）。尚、局所特徴点の抽出方法及び局所特徴量の算出方法については、特許文献２、非特許文献１、参考文献１をはじめとして様々な方法が提案されており、本実施形態ではこれら既存の方法を利用するものとする。
このとき局所特徴量計算領域のサイズは予め定められていること及び正確なフィルタ処理が困難な領域１０１が確定していることから、局所特徴点抽出部２０３は、図１で示した局所特徴量の計算が困難な領域１０２と特徴抽出可能領域１０４とを特定できる。本実施の形態では、局所特徴量を参考文献２の方法で算出しているので、局所特徴量計算領域のサイズは４１画素×４１画素となる。局所特徴量の計算が困難な領域１０２の幅が最大になるのは、局所特徴量計算領域を４５°回転させた場合であり、このときの幅は２９画素となる。以下の説明では、正確なフィルタ処理が困難な領域１０１と局所特徴量の計算が困難な領域１０２とを合わせて特徴抽出不可領域と記載することがある。本実施の形態では、特徴抽出不可領域は画像の縁から３４画素幅の範囲になる。また、クエリ画像のうち、前記特徴抽出不可領域以外の領域を特徴抽出可能領域と記載することがある。
局所特徴量の算出は特徴抽出可能領域１０４上で実施される。特徴登録部２０５は、Ｓ３０３で算出された局所特徴量を画像特徴データベース２０６に登録可能な特徴量表現形式に構成し、前記特徴量表現形式の局所特徴量を画像特徴として、登録画像と対応付けて画像特徴データとして画像特徴データベース２０６に登録する（Ｓ３０４）。

［画像の検索処理］
次に、図４及び図５を用いて画像の検索処理及び特徴抽出可能領域を視覚的に示す処理を説明する。
図４は、実施形態１の画像検索装置の機能構成を示す図（その１）である。図５は、実施形態１の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャート（その１）である。４００は、画像検索装置である。まず、画像入力部４０２は、クエリ画像４０１を読み込む（Ｓ５０１）。読み込んだクエリ画像４０１は、クエリ画像表示部４０５に渡される。次に、局所特徴点抽出部４０３は、クエリ画像４０１から局所特徴点を抽出する（Ｓ５０３）。局所特徴点の抽出にあたっては、局所特徴点抽出部４０３は、クエリ画像４０１から輝度成分を抽出して輝度成分画像を生成し、当該輝度成分画像を段階的に縮小すると共に各縮小画像に対してぼかし処理を施す。局所特徴点抽出部４０３は、このように生成した各ぼかし画像から局所特徴点を抽出する。
ここで、ぼかし処理は、画像とぼかしフィルタとのコンボリューション処理で実現されるので、局所特徴点抽出部４０３は、ぼかしフィルタの大きさから図１で示した正確なフィルタ処理が困難な領域１０１を特定することができる。正確なフィルタ処理が困難な領域１０１からは局所特徴量を計算することはできない。局所特徴点抽出部４０３は、特定した正確なフィルタ処理が困難な領域１０１の情報を局所特徴量算出部４０４に渡す。

次に、局所特徴量算出部４０４では抽出した特徴点ごとに周辺画素値を使って局所特徴量を算出する（Ｓ５０４）。尚、局所特徴点の抽出方法及び局所特徴量の算出方法については、特許文献２、非特許文献１、参考文献１をはじめとして様々な方法が提案されており、これら既存の方法を利用するものとする。局所特徴量算出部４０４は、局所特徴量計算領域のサイズは予め定められていること及び正確なフィルタ処理が困難な領域１０１が確定していることから、図１で示した局所特徴量の計算が困難な領域１０２と特徴抽出可能領域１０４とを特定することができる。即ち、局所特徴量の算出は特徴抽出可能領域１０４上で実施される。指定領域情報可視化部４０６は、まず、Ｓ５０４で算出された局所特徴量、正確なフィルタ処理が困難な領域１０１、局所特徴量の計算が困難な領域１０２、特徴抽出可能領域１０４を局所特徴量算出部４０４より受け取る。次に、指定領域情報可視化部４０６は、特徴抽出可能領域１０４をクエリ画像表示部４０５に渡す。クエリ画像表示部４０５は、先に渡されたクエリ画像のうち、特徴抽出可能領域１０４だけを表示する（Ｓ５０５）。
クエリ領域指定部４０７は、ユーザの指定操作に基づいて、クエリ画像からユーザが指定した検索に使う画像領域を局所特徴抽出範囲として指定する（Ｓ５０６）。クエリ領域指定部４０７は、前記局所特徴抽出範囲を、指定領域情報可視化部４０６に渡す。指定領域情報可視化部４０６は、ぼかしフィルタの大きさ及び局所特徴量計算領域のサイズから前記局所特徴抽出範囲における特徴抽出不可領域を特定し、前記特徴抽出不可領域情報をクエリ画像表示部４０５に渡す。クエリ画像表示部４０５は、前記特徴抽出不可領域を網掛け表示する（Ｓ５０７）。即ち、局所特徴抽出範囲の中で網掛け表示されていない領域が特徴抽出可能領域となる。
但し、本実施形態ではＳ５０４によって前記局所特徴抽出範囲内からも局所特徴量を算出済みなので、前記局所特徴抽出範囲内に特徴抽出不可領域は存在せず、前記局所特徴抽出範囲は全て特徴抽出可能領域となる。
その後、特徴比較部４０８は、特徴抽出可能領域に存在する局所特徴（画像特徴）だけを使って画像特徴データベース２０６を検索し（Ｓ５０８）、前記画像特徴に対応付けられた画像を検索結果画像４０９として出力する（Ｓ５０９）。

上述した処理の一部を、図６を用いて説明する。図６は、画像切出し時のインターフェイスの一例を示す図である。図６において、８００は、画像入力部４０２で読み込んだクエリ画像である。８１０は、特徴抽出不可領域が確定されたクエリ画像であり、８１１で示すグレー部分が特徴抽出不可領域を示す。８２０は、ステップＳ５０５で表示される特徴抽出可能領域だけが表示されたクエリ画像である。８３１は、ステップＳ５０６でユーザにより指定された局所特徴抽出範囲である。８４２は、ステップＳ５０７で網掛け表示された特徴抽出不可領域であり、８４１が特徴抽出可能領域となる。尚、８４２に示されるように、基本的にユーザが指定した領域の端から内側の一定幅の領域が特徴抽出不可領域となる。
即ち、検索は、特徴抽出可能領域８４１の内部に存在する局所特徴だけを使って実行される。但し、上述した説明ではＳ５０４によって前記局所特徴抽出範囲内からも局所特徴量を算出済みなので、網掛け表示された特徴抽出不可領域８４２は存在しない。また、上述した説明の場合、特徴抽出可能領域８４１は、ユーザにより指定された局所特徴抽出範囲８３１と一致する。
上述した説明では、ステップＳ５０６で局所特徴抽出範囲を指定し、ステップＳ５０７で局所特徴抽出不可領域を表示した後、ステップＳ５０８及びＳ５０９で特徴抽出可能領域に存在する局所特徴だけを使って検索が実行されるよう説明を行った。この構成ではユーザが誤って局所特徴抽出範囲を指定した場合に修正することができない。そのため、例えばクエリ画像表示部４０５は、ステップＳ５０７でユーザに局所特徴抽出範囲の修正要否を確認するようにしてもよい。局所特徴抽出範囲の修正が必要な場合、クエリ画像表示部４０５は、処理をステップＳ５０６に戻す。ここで、局所特徴抽出範囲の修正方法は、新たに局所特徴抽出範囲を指定するように構成してもよいし、指定済みの局所特徴抽出範囲に修正を加えるように構成してもよい。指定済みの局所特徴抽出範囲に修正を加える方法としては、平行移動や変形等がある。更に、指定済みの局所特徴抽出範囲に修正を加えた後でも、指定済みの局所特徴抽出範囲をキャンセル可能とし、キャンセルした場合には新たに局所特徴抽出範囲を指定するように構成してもよい。

上述した構成では画像入力部４０２においてクエリ画像４０１を読み込み（Ｓ５０１）、局所特徴点抽出部４０３と局所特徴量算出部４０４とでクエリ画像４０１から局所特徴点の抽出（Ｓ５０３）と局所特徴量の算出（Ｓ５０４）とを実施するよう構成した。しかしながら、局所特徴点の抽出処理と局所特徴量の算出処理とを局所特徴抽出範囲が確定してから前記局所特徴抽出範囲の内部だけで実施するように構成してもよい。この場合の構成例を図７の図と図８のフローチャートとを用いて説明する。
図７は、実施形態１の画像検索装置の機能構成を示す図（その２）である。図８は、実施形態１の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャート（その２）である。図７において６００は、画像検索装置である。本構成では、局所特徴点抽出部４０３における局所特徴点の抽出処理（Ｓ５０３）と局所特徴量算出部４０４における局所特徴量の算出処理（Ｓ５０４）とをクエリ領域指定部４０７における局所特徴抽出範囲の指定（Ｓ５０６）の後で実施するように構成する。
即ち、画像入力部４０２は、クエリ画像４０１を読み込む（Ｓ５０１）。読み込んだクエリ画像４０１は、クエリ画像表示部４０５に渡される。クエリ画像表示部４０５は、ぼかしフィルタの大きさ及び局所特徴量計算領域のサイズから前記局所特徴抽出範囲における特徴抽出不可領域を特定し、クエリ画像のうち、特徴抽出可能領域１０４だけを表示する（Ｓ５０５）。
クエリ領域指定部４０７は、ユーザの指定操作に基づいて、特徴抽出可能領域１０４からユーザが指定した検索に使う画像領域を局所特徴抽出範囲として指定する（Ｓ５０６）。
次に、局所特徴点抽出部４０３は、前記局所特徴抽出範囲から局所特徴点の抽出処理を実施する（Ｓ５０３）。その後、局所特徴量算出部４０４は、局所特徴量の算出処理を実施する（Ｓ５０４）。局所特徴量算出部４０４は、前記局所特徴抽出範囲を、指定領域情報可視化部４０６に渡す。指定領域情報可視化部４０６は、ぼかしフィルタの大きさ及び局所特徴量計算領域のサイズから前記局所特徴抽出範囲における特徴抽出不可領域を特定し、前記特徴抽出不可領域情報をクエリ画像表示部４０５に渡す。クエリ画像表示部４０５は、前記特徴抽出不可領域を網掛け表示する（Ｓ５０７）。即ち、局所特徴抽出範囲の中で網掛け表示されていない部分が特徴抽出可能領域となる。その後、特徴比較部４０８は、特徴抽出可能領域から抽出された局所特徴だけを使って検索を実行し（Ｓ５０８）、検索結果画像４０９を出力する（Ｓ５０９）。

上記の処理の一部を、図６を用いて説明する。図６において、８００は、画像入力部４０２で読み込んだクエリ画像である。８１０は、特徴抽出不可領域が確定されたクエリ画像であり、８１１で示すグレー部分が特徴抽出不可領域を示す。８２０は、ステップＳ５０５で表示される特徴抽出可能領域だけが表示されたクエリ画像である。８３１は、ステップＳ５０６でユーザにより指定された局所特徴抽出範囲である。８４２は、ステップＳ５０７で網掛け表示された特徴抽出不可領域であり、８４１が特徴抽出可能領域となる。即ち、検索は、特徴抽出可能領域８４１の内部に存在する局所特徴だけを使って実行される。
或いは、ステップＳ５０７でユーザに局所特徴抽出範囲の修正要否を確認するようにした場合は、局所特徴点の抽出処理（Ｓ５０３）と局所特徴量の算出処理（Ｓ５０４）とを画像特徴の比較処理（Ｓ５０８）の直前で実施するように構成してもよい。即ち、前記指定した局所特徴抽出範囲内からの局所特徴量算出処理を検索前に実施するように構成するようにしてもよい。
このように、局所特徴点抽出部４０３による局所特徴点の抽出処理（Ｓ５０３）と局所特徴量算出部４０４による局所特徴量の算出処理（Ｓ５０４）とのタイミングは自由に構成することができる。
また、クエリ画像表示部４０５において前記特徴抽出不可領域を網掛け表示する（Ｓ５０７）ように説明を行ったが、特徴抽出不可領域が明示できれば網掛け表示以外の表示方法でもよい。例えば、クエリ画像表示部４０５は、特徴抽出不可領域について、輝度レベルを下げる、色づけする、色を反転する、等の表示方法を行ってもよい。
また、上述した構成では、クエリ画像表示部４０５は、先に渡されたクエリ画像のうち、特徴抽出可能領域１０４だけを表示する（Ｓ５０５）ように構成したが、クエリ画像全体を表示した上で特徴抽出不可領域を明示するように構成してもよい。
また、上述した構成では、指定領域情報可視化部４０６で前記局所特徴抽出範囲における特徴抽出不可領域を特定し、クエリ画像表示部４０５で前記特徴抽出不可領域を網掛け表示する（Ｓ５０７）ようにした。しかし、画像検索装置が、画像特徴データベース２０６に登録済みの画像からクエリ画像を選んできた場合、前記クエリ画像は局所特徴量を算出済みのクエリ画像である。即ち、前記クエリ画像には、局所特徴抽出範囲に特徴抽出不可領域を設定する必要がない領域（特徴量抽出済み領域）が存在する場合がある。このような場合、クエリ画像表示部４０５は、特徴量抽出済み領域に網掛け表示をしないようにしてもよい。

以上の説明から明らかなように、本実施形態に係る画像検索装置では、ユーザがクエリ画像の一部を局所特徴抽出範囲として指定するとき、局所特徴抽出範囲内に存在する局所特徴を抽出できない領域をユーザに明示するように構成した。そのため、ユーザは実際に検索に利用可能な領域を容易に確認・認識可能となり、意図した検索ができなくなる可能性を低減させることができる。
更に、本実施形態に係る画像検索装置では、ユーザは実際に検索に利用可能な領域を容易に確認・認識した後に前記局所特徴抽出範囲を修正できるように構成したので、意図した検索ができなくなる可能性を低減させつつ、ユーザビリティを向上させることができる。
更に、本実施形態に係る画像検索装置では、クエリ領域指定部４０７においてユーザが指定した前記局所特徴抽出範囲の特徴抽出不可領域を指定領域情報可視化部４０６で特定し、前記特徴抽出不可領域情報をクエリ画像表示部４０５に渡すように構成した。そして、クエリ画像表示部４０５は、前記特徴抽出不可領域を網掛け表示するように構成した。しかし、画像検索装置は、ユーザが指定した前記局所特徴抽出範囲から抽出された特徴量の数に応じて、特徴抽出不可領域を網掛け表示するか否かを自動的に判断するようにしてもよい。
特徴抽出不可領域を網掛け表示するか否かを自動的に判断する処理を、図４を用いて説明する。指定領域情報可視化部４０６は、まず、局所特徴量算出部４０４からクエリ画像上で算出された局所特徴量の座標情報を受け取ると共に、ユーザが指定した前記局所特徴抽出範囲の情報をクエリ領域指定部４０７から受け取る。次に指定領域情報可視化部４０６は、前記局所特徴量の座標情報と前記局所特徴抽出範囲の情報とから、前記局所特徴抽出範囲内に存在する局所特徴量の個数をカウントする。そして、指定領域情報可視化部４０６は、カウントした前記局所特徴量の個数と予め定められた閾値とを比較し、前記特徴量の個数が前記閾値以下の場合にだけ、前記局所特徴抽出範囲における特徴抽出不可領域を特定する。そして、指定領域情報可視化部４０６は、特定した特徴抽出不可領域の情報をクエリ画像表示部４０５に渡す。

つまり、ユーザがクエリ画像の一部を局所特徴抽出範囲として指定するとき、前記局所特徴抽出範囲から十分な数の特徴量が抽出されない場合にだけ、局所特徴抽出範囲内の特徴抽出不可領域をユーザに明示するように構成するようにしてもよい。この構成により、前記局所特徴抽出範囲から十分な数の特徴量が抽出されユーザの意図した検索が可能な場合には、ユーザにとっての余計な手間を省くことが可能になる。その一方、前記局所特徴抽出範囲から十分な数の特徴量が抽出されずにユーザの意図した検索ができない可能性が高い場合、ユーザは実際に検索に利用可能な領域を容易に確認・認識可能となり、意図した検索ができなくなる可能性を低減させることができる。このように、特徴抽出不可領域のユーザへの明示を自動的に切り替えるように構成すると、システム全体としてユーザにとっての余計な手間を省きつつ、ユーザが意図した検索ができなくなる可能性を低減し、ユーザビリティを向上させることができる。
上記構成では、ユーザが選択した前記局所特徴抽出範囲を指定してからクエリ画像表示部４０５が前記局所特徴抽出範囲を表示するように構成した。しかし、ユーザが局所特徴抽出範囲を指定する前に、予め定められた初期位置に予め定められた最小サイズの局所特徴抽出範囲を表示しておく構成にしてもよい。ここで最小サイズの局所特徴抽出範囲とは、前記局所特徴抽出範囲内の特徴量個数が一定数以上になる可能性が高いサイズのことである。本実施形態では、事前の実験等により予め前記最小サイズを定めておくこととする。
初期位置の決定方法は、例えば局所特徴量の単位面積あたりの密度が最も高い位置を初期位置にするようにすればよい。或いは、クエリ領域指定部４０７において、ユーザが選択した局所特徴抽出範囲についての操作履歴を記録し、前記操作履歴の記録から統計量を算出し、前記統計量を基に初期位置を決定するように構成してもよい。前記統計量とは例えば前記局所特徴抽出範囲の、左上の点の平均座標位置が挙げられる。
このように、例えば、指定領域情報可視化部４０６は、ユーザが局所特徴抽出範囲を指定する前に、予め定められた初期位置に予め定められた最小サイズの局所特徴抽出範囲を表示しておく。このようにすることにより、ユーザは、局所特徴抽出範囲の目安のサイズを事前に把握できることで、意図した検索ができなくなる可能性を低減することができる。また、これらの初期位置の決定処理により、ユーザが局所特徴抽出範囲として選択する可能性が高い場所に最小サイズの局所特徴抽出範囲を提示することができる。

［装置構成］
図９は、画像登録装置及び画像検索装置等の画像処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
ＣＰＵ１４１０は、ＲＯＭ１４３０に記憶されているプログラムをＲＡＭ１４２０に読み出し、処理を実行することによって、上述したような機能及びフローチャートに係る処理を実現する。尚、バス１４５０は、ＲＯＭ１４３０、ＲＡＭ１４２０、ＣＰＵ１４１０及びＨＤＤ１４４０のデータをやりとりする。画像処理装置１４００は、ユーザインターフェース１４６０に接続されるキーボードやマウス等の入出力機器からの入力を受ける。また、画像処理装置１４００は、ネットワークインターフェース１４７０に対して入出力を行う。画像処理装置１４００のネットワークインターフェース１４７０は、ネットワーク１５００を介して、データベース（ＤＢ）１５１０、クライアント（ＣＬＩＥＮＴ）１５２０、プリンタ（ＰＲＩＮＴＥＲ）１５３０と通信可能である。
尚、複数のハードウェアとソフトウェアとの協同によって画像処理装置の機能を実現してもよい。例えば、図２や図４等で示す構成は、その構成の一部をハードウェア（ＩＣ等）で実現してもよいし、上述したようにソフトウェアとして実現してもよい。他にも、ネットワークで接続している複数の機器の協同によって実現してもよい。図１２を用いて例を挙げると、画像処理装置１４００がプリンタ１５３０やクライアント１５２０から画像を受付けて、画像処理装置１４００が図３のフローチャートの処理を行い、データベース１５１０に登録する形態が挙げられる。また、画像処理装置１４００がクライアント１５２０やプリンタ１５３０から検索依頼とクエリ画像とを受付けて、図５のフローチャートの処理を行い、データベース１５１０からクエリ画像に類似する画像を検索する形態も挙げられる。

＜実施形態２＞
実施形態１では、特徴抽出可能領域を視覚的に示す方法を説明したが、本実施形態２では、画像検索装置が、ユーザが指定した局所特徴抽出範囲の設定可否を判断し、設定不可の場合にユーザに通知を出す処理について説明する。以下、図１０及び図１１を用いて、前記処理について説明を行う。
図１０は、実施形態２の画像検索装置の機能構成を示す図である。図１１は、実施形態２の画像の検索処理と特徴抽出可能領域の視覚化処理との一例を示すフローチャートである。図１０において、９００は、画像検索装置である。まず、画像入力部４０２においてクエリ画像４０１を読み込む（Ｓ５０１）。読み込んだクエリ画像４０１は、クエリ画像表示部４０５に渡される。次に、局所特徴点抽出部４０３は、クエリ画像４０１から局所特徴点を抽出する（Ｓ５０３）。局所特徴点の抽出にあたっては、クエリ画像４０１から輝度成分を抽出して輝度成分画像を生成し、当該輝度成分画像を段階的に縮小すると共に各縮小画像に対してぼかし処理を施す。このように生成した各ぼかし画像から局所特徴点を抽出する。この局所特徴点の抽出方法として、本実施形態ではＨａｒｒｉｓ作用素を用いるものとする。
ここで、ぼかし処理は、画像とぼかしフィルタとのコンボリューション処理で実現されるので、ぼかしフィルタの大きさから図１で示した正確なフィルタ処理が困難な領域１０１を特定することができる。正確なフィルタ処理が困難な領域１０１からは局所特徴量を計算することはできない。局所特徴点抽出部４０３は、特定した正確なフィルタ処理が困難な領域１０１の情報を局所特徴量算出部４０４に渡す。
次に、局所特徴量算出部４０４では抽出した特徴点ごとに周辺画素値を使って局所特徴量を算出する（Ｓ５０４）。このとき、局所特徴量計算領域のサイズが予めわかっていること及び正確なフィルタ処理が困難な領域１０１が確定していることから、図１で示した局所特徴量の計算が困難な領域１０２と特徴抽出可能領域１０４とを特定することができる。即ち、局所特徴量の算出は特徴抽出可能領域１０４上で実施される。Ｓ５０４で算出された局所特徴量、正確なフィルタ処理が困難な領域１０１及び局所特徴量の計算が困難な領域１０２（特徴抽出不可領域）、特徴抽出可能領域１０４に関する情報は、選択可能領域制御部９０１を経由してクエリ画像表示部４０５に渡される。クエリ画像表示部４０５では、画像入力部４０２から渡されたクエリ画像４０１を表示する（Ｓ１００１）。

次に、クエリ領域指定部４０７は、ユーザの指定操作に基づいて、クエリ画像からユーザが指定した検索に使う画像領域を局所特徴抽出範囲として指定する（Ｓ５０６）。クエリ領域指定部４０７は、前記局所特徴抽出範囲を、選択可能領域制御部９０１に渡す。選択可能領域制御部９０１は、局所特徴量算出部４０４から渡された特徴抽出不可領域（１０１、１０２）と特徴抽出可能領域１０４とに関する情報を使い、前記局所特徴抽出範囲と前記特徴抽出不可領域とが重なっていないかどうかを判定する（Ｓ１００２）。前記局所特徴抽出範囲と前記特徴抽出不可領域とに重なりが生じていた場合、選択可能領域制御部９０１は、クエリ領域指定部４０７に対して前記局所特徴抽出範囲の指定が許可されない旨を通知し、前記局所特徴抽出範囲をキャンセルする。一方で、選択可能領域制御部９０１は、クエリ画像表示部４０５を通じ、ユーザに対し、ユーザが指定した局所特徴抽出範囲は許可されない旨に通知を出すと共に（Ｓ１００３）、再指定を促す。
前記局所特徴抽出範囲と前記特徴抽出不可領域とが重なっていなかった場合は、選択可能領域制御部９０１は、クエリ領域指定部４０７に対して特徴抽出可能領域１０４に関する情報を渡すと共に検索可能の通知をする。クエリ領域指定部４０７は、特徴比較部４０８に対して特徴抽出可能領域１０４に関する情報を渡すと共に検索の実行を指示する。特徴比較部４０８は、前記特徴抽出可能領域内に存在する局所特徴と画像特徴データベース２０６に登録された特徴とを比較することで検索を実行し（Ｓ５０８）、検索結果画像４０９を出力する（Ｓ５０９）。
上記の説明での通知は、ユーザが通知されていることを認識可能であればどのような方法であってもよい。例えば、選択可能領域制御部９０１は、警告音を発するようにしてもよいし、クエリ画像表示部４０５を通じ、前記特徴抽出不可領域と重なりが生じている前記局所特徴抽出範囲を点滅させてもよい。
また、上述した説明では、前記局所特徴抽出範囲と前記特徴抽出不可領域とに重なりが生じていた場合に前記局所特徴抽出範囲をキャンセルするように構成したが、キャンセルせずに前記局所特徴抽出範囲をユーザに修正させるようにしてもよい。この場合、選択可能領域制御部９０１は、前記局所特徴抽出範囲と前記特徴抽出不可領域とに重なりが生じている間は通知を解除せず、ユーザの修正によって重なりが解消されたときに通知を解除する。ここで、局所特徴抽出範囲の修正方法は、新たに局所特徴抽出範囲を指定するように構成してもよいし、指定済みの局所特徴抽出範囲に修正を加えるように構成してもよい。指定済みの局所特徴抽出範囲に修正を加える方法としては、平行移動や変形等がある。更に、指定済みの局所特徴抽出範囲に修正を加えた後でも、指定済みの局所特徴抽出範囲をキャンセル可能とし、キャンセルした場合には新たに局所特徴抽出範囲を指定するように構成してもよい。

また、クエリ画像表示部４０５は、指定領域情報可視化部４０６又は選択可能領域制御部９０１等の指示に基づきクエリ画像４０１の特徴抽出不可領域を表示するようにしてもよい。或いは、画像検索装置は、特徴抽出不可領域の表示と非表示とを設定可能にするよう構成してもよい。特徴抽出不可領域を表示する場合は、実施形態１と同様、特徴抽出不可領域が明示できればよく、明示方法として網掛け表示する、輝度レベルを下げる、色づけする、色を反転する、等の方法で明示可能である。
また、上述した構成では画像入力部４０２においてクエリ画像４０１を読み込み（Ｓ５０１）、局所特徴点抽出部４０３と局所特徴量算出部４０４とでクエリ画像４０１から局所特徴点の抽出（Ｓ５０３）と局所特徴量の算出（Ｓ５０４）とを実施した。しかしながら、実施形態１と同様、局所特徴点の抽出処理と局所特徴量の算出処理とを局所特徴抽出範囲が確定してから前記局所特徴抽出範囲の内部だけで実施するように構成してもよい。
以上本実施形態では、ユーザがクエリ画像の一部を局所特徴抽出範囲として指定し、前記局所特徴抽出範囲と前記特徴抽出不可領域とに重なりが生じていた場合、前記局所特徴抽出範囲の指定が許可されない旨をユーザに通知するように構成した。したがって、ユーザは実際に検索に利用可能な領域を容易に確認・認識可能となり、意図した検索ができなくなる可能性を低減することができる。
また、本実施形態に係る画像検索装置では、ユーザがクエリ画像の一部を局所特徴抽出範囲として指定するとき、前記局所特徴抽出範囲内に存在する局所特徴を抽出できない領域をユーザに明示するように構成した。そのため、ユーザは実際に検索に利用可能な領域を容易に確認・認識可能となり、意図した検索ができなくなる可能性を低減することができる。
更に、本実施形態に係る画像検索装置によれば、ユーザは実際に検索に利用可能な領域を容易に確認・認識した後に前記局所特徴抽出範囲を修正することができるので、意図した検索ができなくなる可能性を低減させつつ、ユーザビリティを向上させることができる。

＜実施形態３＞
実施形態１及び実施形態２では、ユーザが検索に使う画像領域を局所特徴抽出範囲として指定したとき、前記局所特徴抽出範囲における特徴抽出不可領域を特定するように構成した（図６）。しかし、この構成では、ユーザが指定した局所特徴抽出範囲８３１の内部に特徴抽出不可領域８４２が存在するため、実際に局所特徴が抽出される特徴抽出可能領域８４１はユーザが指定した局所特徴抽出範囲８３１よりも狭くなる。そこで、本実施形態では、ユーザが指定した局所特徴抽出範囲内のすべての領域が特徴抽出可能領域になるように画像検索装置等が前記局所特徴抽出範囲を自動的に拡大するように構成する。
本実施形態の説明は、実施形態１との差異を示す形で行う。図１２は、実施形態１の説明で使った図６に対応する図であり、画像切出し時のインターフェイス例である。図において、８００は、画像入力部４０２で読み込んだクエリ画像である。８１０は、特徴抽出不可領域が確定されたクエリ画像である。８１１は、グレー部分が特徴抽出不可領域である。８２０は、ステップＳ５０５で表示される特徴抽出可能領域だけが表示されたクエリ画像である。
１１０１は、ステップＳ５０６でユーザにより指定された局所特徴抽出範囲である。本実施形態では、画像検索装置等が、特徴抽出不可領域が前記局所特徴抽出範囲の外側に位置するように、前記局所特徴抽出範囲を自動拡大する。図１２において、１１０３は、自動拡大後の局所特徴抽出範囲である。１１０４は、特徴抽出不可領域である。その結果、本実施形態における特徴抽出可能領域は１１０２となる。
本実施形態に係る画像検索装置では、ユーザが指定した局所特徴抽出範囲内のすべての領域が特徴抽出可能領域になるように画像検索装置が前記局所特徴抽出範囲を自動的に拡大するように構成した。以上の説明から明らかなように、ユーザは実際に検索に利用可能な領域を容易に確認・認識可能となり、意図した検索ができなくなる可能性を低減させることができる。更に、ユーザが特徴抽出不可領域を意識する必要がなくなるので、ユーザビリティが向上する。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、実際に検索に利用可能な領域をユーザが容易に確認・認識できるようになるので、ユーザが意図した検索ができなくなる可能性を低減することができる。また、ユーザがクエリとして選んだ検索領域が局所特徴量を正確に計算可能な領域から外れている場合でも、それをリカバーするような検索領域の指定を行なうための重要な情報を提供することができる。
つまり、上述した各実施形態によれば、ユーザの意図に沿った検索結果が得られるようにすることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (15)

1. ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
   前記指定手段で指定されたクエリ領域の端から内側の所定幅の領域であって、局所特徴量を抽出するのが困難な領域を特徴抽出不可領域として表示する表示手段と、
   前記クエリ領域の内部の前記表示手段で前記特徴抽出不可領域として表示していない領域から抽出した局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、
   を有することを特徴とする画像検索装置。
2. 前記指定手段で指定されたクエリ領域から抽出された局所特徴量の数と閾値とを比較する比較手段を更に有し、
   前記表示手段は、前記比較手段での比較の結果、前記局所特徴量の数が閾値以下の場合、前記指定手段で指定されたクエリ領域のうち、局所特徴量を抽出するのが困難な領域を特徴抽出不可領域として表示することを特徴とする請求項１記載の画像検索装置。
3. 前記表示手段で前記特徴抽出不可領域が表示された後に、ユーザの指定操作に基づいて、前記指定手段で指定されたクエリ領域を修正する修正手段を更に有することを特徴とする請求項１記載の画像検索装置。
4. ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段を更に有し、
   前記表示手段は、前記指定手段で指定されたクエリ領域のうち、局所特徴量を抽出するのが困難な領域以外の領域を抽出可能領域として表示し、
   前記検索手段は前記クエリ領域のうち前記表示手段で表示された前記抽出可能領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索することを特徴とする請求項１記載の画像検索装置。
5. 前記指定手段で指定されたクエリ領域から抽出された局所特徴量の数と閾値とを比較する比較手段を更に有し、
   前記表示手段は、前記比較手段での比較の結果、前記局所特徴量の数が閾値以下の場合、前記指定手段で指定されたクエリ領域のうち、局所特徴量を抽出するのが困難な領域以外の領域を抽出可能領域として表示することを特徴とする請求項４記載の画像検索装置。
6. 前記表示手段で抽出可能領域が表示された後に、ユーザの指定操作に基づいて、前記指定手段で指定されたクエリ領域を修正する修正手段を更に有することを特徴とする請求項４記載の画像検索装置。
7. ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
   前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な前記クエリ領域の端から内側の所定幅の領域とが重なっているか否かを判定する判定手段と、
   前記判定手段で、前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっていないと判定された場合、前記クエリ領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、
   を有することを特徴とする画像検索装置。
8. 前記判定手段で、前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっていると判定された場合、前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっている旨を前記ユーザに通知する通知手段を更に有することを特徴とする請求項７記載の画像検索装置。
9. ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
   前記指定手段で指定されたクエリ領域の全ての領域が局所特徴量を抽出するのが可能な抽出可能領域となるよう局所特徴量を抽出するのが困難な特徴抽出不可領域が拡大後において拡大前の前記指定されたクエリ領域の外の領域になるように前記クエリ領域を拡大する拡大手段と、
   前記指定手段で指定されたクエリ領域の全ての領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、
   を有することを特徴とする画像検索装置。
10. 画像検索装置が実行する画像検索方法であって、
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定ステップと、
    前記指定ステップで指定されたクエリ領域の端から内側の所定幅の領域であって、局所特徴量を抽出するのが困難な領域を特徴抽出不可領域として表示する表示ステップと、
    前記クエリ領域の内部の前記表示ステップで前記特徴抽出不可領域として表示されていない領域を抽出可能領域とし、抽出可能領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索ステップと、
    を含むことを特徴とする画像検索方法。
11. 画像検索装置が実行する画像検索方法であって、
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定ステップと、
    前記指定ステップで指定されたクエリ領域と局所特徴量を抽出するのが困難な前記クエリ領域の端から内側の所定幅の領域とが重なっているか否かを判定する判定ステップと、
    前記判定ステップで、前記指定ステップで指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっていないと判定された場合、前記クエリ領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索ステップと、
    を含むことを特徴とする画像検索方法。
12. 画像検索装置が実行する画像検索方法であって、
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定ステップと、
    前記指定ステップで指定されたクエリ領域の全ての領域が局所特徴量を抽出するのが可能な抽出可能領域となるよう局所特徴量を抽出するのが困難な特徴抽出不可領域が拡大後において拡大前の前記指定されたクエリ領域の外の領域になるように前記クエリ領域を拡大する拡大ステップと、
    前記指定ステップで指定されたクエリ領域の全ての領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索ステップと、
    を含むことを特徴とする画像検索方法。
13. コンピューターを、
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
    前記指定手段で指定されたクエリ領域の端から内側の所定幅の領域であって、局所特徴量を抽出するのが困難な領域を特徴抽出不可領域として表示する表示手段と、
    前記クエリ領域の内部の前記表示手段で前記特徴抽出不可領域として表示されていない領域を抽出可能領域とし、抽出可能領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、として機能させるためのプログラム。
14. コンピューターを
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
    前記指定手段で指定されたクエリ領域と局所特徴量を抽出するのが困難な前記クエリ領域の端から内側の所定幅の領域とが重なっているか否かを判定する判定手段と、
    指定されたクエリ領域と局所特徴量を抽出するのが困難な領域とが重なっていないと判定された場合、前記クエリ領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、として機能させるためのプログラム。
15. コンピューターを、
    ユーザの指定操作に基づいて、画像のクエリ領域を指定する指定手段と、
    指定されたクエリ領域の全ての領域が局所特徴量を抽出するのが可能な抽出可能領域となるよう局所特徴量を抽出するのが困難な特徴抽出不可領域が拡大後において拡大前の前記指定されたクエリ領域の外の領域になるように前記クエリ領域を拡大する拡大手段と、
    指定されたクエリ領域の全ての領域から抽出された局所特徴量に基づいて、記憶装置に記憶されている局所特徴量と画像とが対応付けられた画像特徴データを検索する検索手段と、として機能させるためのプログラム。