JP2006338313A - 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 - Google Patents

Abstract

【課題】 部分画像同士の類似性・重要度による検索照合を簡易な構成で行い、利用者の検索意図を反映した類似画像検索が高速に行える部分画像検索方法を提供する。
【解決手段】 本発明の類似画像検索方は、目的画像に類似する部分画像を含む蓄積画像の検索方法であり、蓄積画像から蓄積特徴を抽出する蓄積特徴抽出過程と、蓄積特徴から所定の位置における蓄積重要度を算出する蓄積重要度計算過程と、蓄積重要度に基づいた索引を蓄積特徴に付与する索引付与過程と、目的画像から目的特徴を抽出する目的特徴抽出過程と、索引を用いて、目的特徴の集合に類似する蓄積特徴である検索候補特徴を重要度に基づき抽出する索引検索過程と、目的特徴と検索候補特徴との部分類似値を蓄積重要度から求める一次照合と、目的画像と蓄積画像上の部分領域との全体類似値を部分類似度と蓄積重要度に基づき求める二次照合とからなる特徴照合過程とを有する。
【選択図】 図１

Description

本発明は、入力される画像（以下、目的画像）に類似の画像を、予め複数の画像が蓄積されているデータベースから検出する技術に係わり、特に、上記目的画像がデータベースに蓄積されている画像と一部分が類似する部分画像である場合、すなわち、目的画像の少なくとも一部が類似している画像をデータベースから検索する場合に好適な類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体に関する。

ディジタルカメラの普及、記録媒体の大容量化、低価格化、大容量ネットワークの普及により、多様な画像をデータベースに蓄積して、検索・利用する技術が必要となってきている。
中でも、類似画像検索技術は、言葉では表現しにくい色・形状・構図・模様などの情報の有する対象から、全体として類似した画像を高速に引き出してくる技術であり、ショッピングサイトや画像ライブラリなどにおいて広く利用されている。
これらの技術は、色ヒストグラムやウェーブレット変換などを用いて画像の特徴抽出を行うことにより、曖昧さを含んだ利用者のニーズに対応できるとしている。

上記類似画像検索技術における一つの方法として、画像全体での照合では成し得なかった目的画像と蓄積画像との部分的な類似性に注目する方法が知られている。
すなわち、特許文献１及び非特許文献１に開示された方法は、検索対象となる入力された画像（目的画像）を、予め設定した数の複数の部分画像として分割し、この分割された部分画像を検索鍵として用い、この検索鍵と、データベースに蓄積された画像（蓄積画像）のインデックスを付与された部分画像との比較、すなわち、目的画像、蓄積画像共に部分画像同士の類似度に基づいて、検索候補画像を絞り込んでいる。

そして、特許文献１及び非特許文献１に開示された方法Ａは、この絞り込まれた画像と、検索鍵との類似度を評価することで類似する画像を選択する、すなわち、インデックスを用いた検索候補の絞込みと、絞り込まれた画像の中から類似画像を選択する２段階検索により類似画像の検索を行っている。
ここで、非特許文献１には、類似度評価（距離計算）を行なう際に、ベクトル量子化符号を用い高速化を図る方法が開示されている。

一方、特許文献２及び非特許文献２には、目的画像からコントラストやエッジなどの特徴を抽出し、人間の初期視覚特性を模擬することによって、目的画像における各画素の重要度を算出し、その重要度に基づいて、データベースの蓄積画像から、目的画像に類似した蓄積画像をオブジェクトとして抽出する方法Ｂが記載されている。
USP 6751363 "Method of imaging based on wavelet retrieval of scenes" USP Application 20020154833 “Computation of intrinsic perceptual saliency in visual environments, and applications" 木村他："ＳＰＩＲＥ：総当り照合と同一の精度を保証する類似部分画像検索"、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）予稿集、Ｖｏｌ．２， ｐｐ．４００−４０４， ２００４年７月 Ｅ．Ｌｏｕｐｉａｓ， Ｎ．Ｓｅｂｅ： "Ｗａｖｅｌｅｔ−ｂａｓｅｄ ｓａｌｉｅｎｔ ｐｏｉｎｔｓ： ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ"， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ２０００．

しかしながら、従来の方法Ａにおいては、目的画像及び蓄積画像各々の各部分画像が画一的に取り扱われ、部分画像の有する重要度は考慮されていない。
すなわち、従来の方法Ａにおいては、分割画像において最も特徴を有する重要度の高い部分画像も、その他の部分画像と同様に取り扱われるため、目的画像に類似した蓄積画像の検索精度が低くなる。
また、従来の方法Ａにおいては、全ての部分画像で同様の処理を行うため、蓄積画像から目的画像に類似した画像を検索する際に、無駄な検索処理を行うことになり、例えば、焦点があっていない背景画像部分を分割し検索してしまうなど、類似させる必要のない部分の検索を行うため、検索速度を向上させることができないという欠点がある。

また、従来の方法Ｂにおいては、画像の重要度が考慮されているものの、画像中のオブジェクトを抽出して検索精度を向上することにのみ重点が置かれており、高速化に対してはほとんど寄与していなかった。
特に、従来の方法Ｂにおいては、大量の蓄積画像から、所望の目的画像に類似した画像を、正確かつ高速に検索することが困難である。
また、方法Ａに方法Ｂを単純に適用するだけでは、検索照合処理が複雑になり、検索速度が低下するという問題がある。

本発明は、このような事情に鑑みてなされたものであり、蓄積画像及び目的画像各々を分割した部分画像同士の類似性及び重要度による検索照合処理を簡易な構成とし、利用者の検索意図を十分に反映した類似画像検索を高速に行うことを可能とする部分画像検索装置，部分画像検索方法，部分画像検索プログラム及び記録媒体を提供する。

本発明の類似画像検索方法は、目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムにおける類似画像検索を行う方法であり、前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出過程と、前記蓄積特徴から前記蓄積画像の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算過程と、前記蓄積特徴に、前記蓄積重要度に基づいた索引を付与する索引付与過程と、前記目的画像から目的特徴を抽出する目的特徴抽出過程と、前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索過程と、前記目的特徴と前記検索候補特徴との類似値である部分類似値を、前記蓄積重要度から計算する一次照合段階と、前記目的画像と前記蓄積画像上の部分領域との類似値である全体類似値を前記部分類似度と前記蓄積重要度に基づいて計算する二次照合段階とからなる特徴照合過程と、前記特徴照合過程において類似性が確認された蓄積画像を出力する検出結果出力過程とを有することを特徴とする。

本発明の類似画像検索方法は、目的画像に類似する蓄積画像を検索する類似画像検索システムにおける類似画像検索を行う方法であり、前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出過程と、前記蓄積特徴から前記蓄積画像中の位置における重要度である蓄積重要度を算出する蓄積重要度計算過程と、前記蓄積特徴に、前記重要度に基づいて索引を付与する索引付与過程と、前記目的画像から目的特徴を抽出する目的特徴抽出過程と、前記目的特徴から前記目的画像中の所定の位置における重要度である目的重要度を算出する目的重要度計算過程と、前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索過程と、前記目的特徴と前記蓄積特徴との類似値である部分類似値を前記蓄積重要度に基づいて計算する一次照合段階と、前記目的画像と前記蓄積画像との類似値である全体類似値を前記部分類似値と前記蓄積重要度とに基づいて計算する二次照合段階とからなる特徴照合過程と、前記特徴照合過程において類似性が確認された蓄積画像、及びその全体類似値を出力する検出結果出力過程とを有することを特徴とする。

本発明の類似画像検索方法は、前記蓄積特徴に、注目窓を複数設定し、該注目窓における蓄積部分領域特徴を取り出す蓄積部分領域特徴抽出過程と、前記目的特徴に、注目窓を複数設定し、該注目窓における目的部分領域特徴を取り出す目的部分領域特徴抽出過程とをさらに有し、前記索引付与過程、前記索引検索過程及び前記特徴照合過程一次照合段階において、蓄積特徴あるいは目的特徴として、蓄積部分領域特徴あるいは目的部分領域特徴を用いることを特徴とする。

本発明の類似画像検索方法は、前記索引付与過程において、前記重要度に基づいて前記蓄積特徴あるいは前記蓄積部分領域特徴を分類して得られる蓄積特徴集合各々に、個別に索引を付与することを特徴とする。

本発明の類似画像検索方法は、前記索引検索過程において、前記重要度の値が大きい前記蓄積特徴の集合から優先的に蓄積特徴を抽出し、該蓄積特徴の集合に対する部分類似値の上限値が所定の閾値である探索閾値より低いことが検出された場合、該蓄積特徴の集合の要素を検索候補特徴として抽出しないことを特徴とする。

本発明の類似画像検索方法は、前記検索結果に対し検索者が検索評価が入力される検索結果評価過程と、前記検索評価に基づいて前記重要度が修正される重要度修正過程とをさらに有することを特徴とする。

本発明の類似画像検索システムは、目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムにおいて、前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出部と、前記蓄積特徴から前記蓄積画像の所定の位置における重要度を算出する蓄積重要度計算部と、前記蓄積特徴に、前記蓄積重要度に基づいた索引を付与する索引付与部と、前記目的画像から目的特徴を抽出する目的特徴抽出部と、前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記重要度に基づいて抽出する索引検索部と、前記目的特徴と前記検索候補特徴との類似値である部分類似値を、前記重要度から計算する一次照合段階と、前記目的画像と前記蓄積画像上の部分領域との類似値である全体類似値を前記部分類似度と前記重要度に基づいて計算する二次照合段階とからなる特徴照合部と、前記特徴照合部において類似性が確認された蓄積画像、該蓄積画像中の類似部分画像の検出位置、及びその全体類似値を出力する検出結果出力部とを有することを特徴とする。

本発明の類似画像検索システムは、目的画像に類似する蓄積画像を検索する類似画像検索システムにおいて、前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出部と、前記蓄積特徴から前記蓄積画像中の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算部と、前記蓄積特徴に、前記蓄積重要度に基づいて索引を付与する索引付与部と、
前記目的画像から目的特徴を抽出する目的特徴抽出過程と、前記目的特徴から前記目的画像中の所定の位置における重要度である目的重要度を算出する目的重要度計算部と、前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索部と、前記目的特徴と前記蓄積特徴との類似値である部分類似値を前記蓄積重要度に基づいて計算する一次照合段階と、前記目的画像と前記蓄積画像との類似値である全体類似値を前記部分類似値と前記蓄積重要度とに基づいて計算する二次照合段階とからなる特徴照合部と、前記特徴照合過程において類似性が検出された蓄積画像を出力する検出結果出力部とを有することを特徴とする。

本発明のプログラムは、目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムに対し、上記記載のいずれかの類似画像検索方法に従い、類似画像検索の処理を行わせる、コンピュータが実行可能なプログラムである。

本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。

以上説明したように、本発明によれば、重要度計算過程により、蓄積画像の特徴にのみ、または蓄積画像及び目的画像の各々の特徴に対して重み付けがされているため、部分領域間の類似性だけでなく、画像全体における部分領域の重要性を加えた検索が可能となるため、利用者が検索結果を見て、特に類似性を判定する特徴部分を中心に検索されることとなり、検索が高速化され、かつ検索の精度も向上する。
また、本発明によれば、索引付与過程において、部分領域の重要度に基づいて、部分領域を分類し、索引の階層化を行うことにより、索引検索過程において重要性の高い部分領域を優先的に検出することができ、検索効率が向上し、かつ検索の精度を向上させることができる。

以下、本発明の一実施形態による類似画像検索システムを図面を参照して説明する。
＜第１の実施形態＞
図１は第１の実施形態の構成例を示すブロック図である。この図１に示す第１の実施形態による類似画像検索システムは、複数の蓄積画像をデータベースに登録しており、この蓄積画像に比して小さな目的画像を入力し、上記データベースに蓄積されている蓄積画像の集合の中から、上記目的画像と類似する部分画像を含む蓄積画像を出力するものである。
また、上記蓄積画像の集合が動画像（映像）のフレームの集合であり、目的画像を入力することにより、該蓄積映像から該目的画像に類似する映像フレーム、あるいはその部分画像を検出することもできる。

この図１において、類似画像検索システムは、目的特徴抽出部１，目的部分領域特徴抽出部２，蓄積画像データベース４，蓄積特徴抽出部５，蓄積部分領域特徴抽出部６，蓄積重要度計算部７，索引付与部８，索引検索部９，特徴複合部１０，検出結果出力部１３及び検索結果評価部１５から構成されている。ここで、特徴抽出部１０は、一次照合部１１及び二次照合部１２から構成されている。

また、図２は図１における蓄積特徴抽出部５，蓄積部分領域特徴抽出部６，蓄積重要度計算部７及び索引付与部８（蓄積画像の特徴抽出から索引付与までの処理を行う構成）の構成例を示したブロック図である。この図において、重要度計算用蓄積特徴抽出部５１、検索用蓄積特徴抽出部５２を有し、さらに必要に応じて蓄積特徴量子化部５３が付加される構成となっている。また、蓄積部分領域特徴抽出部６は、注目窓設定部６１及び部分領域特徴抽出部６２を有している。さらに、蓄積重要度計算部７は、蓄積画像重要度計算部７１及び蓄積部分領域重要度計算部７２を有している。また、索引付与部８は、重要度索引付与部８１及び類似度索引付与部８２を有している。

以下、図１及び図２を参照して、類似画像検索システムの各部の説明を行う。
蓄積特徴抽出部５は、データベース４に蓄積されている蓄積画像を読み込み、入力した蓄積画像から蓄積特徴の抽出を行う。ここで、蓄積特徴抽出部５における特徴抽出の手法は特に限定されるものではないが、本明においては、重要度計算用蓄積特徴抽出部５１と検索用蓄積特徴抽出部５２とにより、以下のように特徴抽出を行う。
重要度計算用蓄積特徴抽出部５１は、後に詳述する蓄積重要度計算部７において利用する重要度計算用蓄積特徴を抽出する。

上記重要度計算用蓄積特徴抽出部５１は、例えば、特許文献２に記載の特徴抽出処理により、すなわち、蓄積画像の各ピクセルにおける、輝度成分Ｉ（σ，ｘ，ｙ）、色相成分Ｒ（σ，ｘ，ｙ）、Ｇ（σ，ｘ，ｙ）、Ｂ（σ，ｘ，ｙ）、Ｙ（σ，ｘ，ｙ）及び方向成分Ｏ（σ，φ，ｘ，ｙ）の各成分を、蓄積画像のスケールを所定の割合にて順次変化させながら、「ｎ_１＋１」通りを抽出する。
また、上記特徴処理において、σ＝０，１，…，ｎ_１であり、φ＝０，１，…，（２π×ｋ／ｎ_２），…，（２π×（ｎ_２−１）／ｎ_２）である。ここで、σは画像のスケール値であり、２^−σ倍の縮小画像に対しての成分であることを示している。

上記輝度成分Ｉ（σ，ｘ，ｙ）は、蓄積画像の画素位置（ｘ，ｙ）毎に対応し、各画素のＲＧＢ値ｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）の平均値として以下のように求められる。（以下、位置を示す符号（ｘ，ｙ）は説明に必要とされる場合を除き省略する。）
Ｉ（σ）＝（ｒ＋ｇ＋ｂ）／３
また、色相成分Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）は、上記輝度成分Ｉ（σ）で正規化したＲＧＢ値ｒ，ｇ，ｂより、以下のように計算することができる。
Ｒ（σ）＝（ｒ−（ｇ＋ｂ）／２）／Ｉ（σ）
Ｇ（σ）＝（ｇ−（ｒ＋ｂ）／２）／Ｉ（σ）
Ｂ（σ）＝（ｂ−（ｒ＋ｇ）／２）／Ｉ（σ）
Ｙ（σ）＝（（ｒ＋ｇ）／２−|ｒ＋ｇ|／２−ｂ）／Ｉ（σ）
ただし、色相成分Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）各々の計算において、０未満の数値が算出された場合、該当する色相成分の数値を０に置換する。

また、方向成分Ｏ（σ，φ，ｘ，ｙ）は、上記輝度成分Ｉ（σ，ｘ，ｙ）に対して、ガボールフィルタを作用させることにより、以下の式のように求められる。ここで、φはガボールフィルタの回転角であり、２πをｎ_２通りに分割した数値をとる。また、ｕ及びαはガボールフィルタのパラメータである。（以下、位置を示す符号（ｘ，ｙ）は説明に必要とされる場合を除き省略する。）

検索用蓄積特徴抽出部５２は、後に示す索引付与部８や特徴照合部１０において利用する検索用蓄積特徴の抽出を行う。ここで、検索用蓄積特徴抽出部５２は、例えば、横ｂ_ｘピクセル及び縦ｂ_ｙピクセルの大きさの各小領域に対して、ＤＣＴ（離散コサイン変換）処理を行い、得られる係数ベクトルを検索用蓄積特徴用として用いる。上記小領域は、蓄積画像上において、縦方向及び横方向に対して所定のピクセル単位、例えば、縦方向及び横方向ともに１ピクセルずらして設定される。
また、検索用蓄積特徴抽出部５２の後段に、検索用蓄積特徴量子化部５３を接続することにより、上述の方法により得られた検索用蓄積特徴の各要素（係数ベクトル）に対して量子化により符号とし、検索用蓄積特徴を符号の集合として出力してもよい。

蓄積部分領域特徴抽出部６は、蓄積特徴抽出部５から出力される検索用蓄積特徴に対し、注目窓を複数設定し、注目窓内の特徴である蓄積部分領域特徴を抽出する。
上記注目窓は、横ω_ｘピクセル×縦ω_ｙピクセルとし、例えば、図３に示されるように、各蓄積画像において、縦及び横方向に所定の間隔により配置する。ここで、この所定の間隔は、各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にｍ_ｘピクセル、縦方向にｍ_ｙピクセルとする。この注目窓の配置間隔を本実施形態においてはマージンと定義する。
また、蓄積部分領域特徴抽出部６は、上記注目窓内に重複も隙間もなく、小領域を配置して、この小領域における特徴の抽出を行い、抽出された小領域毎の特徴を、抽出順に並べた特徴の列集合として蓄積部分領域特徴を出力する。

蓄積重要度計算部７は、蓄積特徴抽出部５から入力される蓄積部分領域特徴を用いて、この蓄積部分領域特徴に対応させ、蓄積画像における蓄積部分領域の位置毎の重要度（蓄積重要度）の計算を、すでに述べた蓄積画素重要度計算部７１と蓄積部分領域重要度計算部７２により行う。
蓄積画素重要度計算部７１は、蓄積特徴抽出部５において抽出された蓄積部分領域特徴を用いて、蓄積画像中の各画素位置における蓄積画素重要度を計算する。本実施形態において、本蓄積画素重要度計算部７１は、具体的な画素重要度計算方法として、例えば、特許文献２に記載の方法を用いる。

すなわち、蓄積画素重要度計算部７１は、上記蓄積特徴抽出部５により抽出された重要度計算用蓄積特徴である、輝度成分Ｉ（σ）と、色相成分Ｒ（σ），Ｇ（σ），Ｂ（σ），Ｙ（σ）と、方向成分Ｏ（σ，φ）とが用いられる。
そして、蓄積画素重要度計算部７１は、上記各成分におけるスケール間差分を計算する。 輝度成分におけるスケール間差分及び方向成分におけるスケール間差分は、以下の式により求める（但し、ｃ，ｓ∈σ、ｃ＜ｓである）。

ここで、

は異なるスケールの蓄積画像間において、対応する画素同士の差分を定義する演算子であり、スケール値の大きな画像（より縮小された画像、つまり、ここではＩ（ｓ）に対応）を、スケール値の小さい画像（より縮小されていない画像、つまり、ここではＩ（ｃ）に対応）の画素数に合わせて拡大補完した上で差分画像を計算する。
例えば、

のように用いる。

また、蓄積画素重要度計算部７１は、色相成分Ｒ（σ）及びＧ（σ）の差分ＲＧ（σ）と、色相成分Ｂ（σ）及びＹ（σ）の差分ＢＹ（σ）との各々において、下記に示す式により、異なるスケールのスケール間差分を演算する。

また、蓄積画素重要度計算部７１は、各スケール間差分の正規化を行う。ここで、蓄積画素重要度計算部７１は、上記正規化の演算を、以下の手順にて処理する。
１． 各要素からその最大値Ｍ及び最大値の平均ｍを計算する。
２． 各要素に対して（Ｍ−ｍ）^２を乗算する。
そして、蓄積画素重要度計算部７１は、成分毎に、各スケール間差分を統合し、最終的な蓄積画素重要度Ｊを、以下に示す式により計算して出力する。

ここで、

は、異なるスケールの蓄積画像間において、対応する画素同士の加算を定義する演算子である。また、ｗ_Ｉ，ｗ_Ｃ及びｗ_Ｏは、輝度，色相及び方向の各成分の重み係数であり、ｗ_Ｉ＋ｗ_Ｃ＋ｗ_Ｏ＝１となるように設定される。例えば、全て同様の１／３として設定する。
また、後に説明する第３の実施形態に示すように、重要度修正部１４（後述）にで修正された重み係数を用いる方法もある。
上述した説明が、特許文献２に記載されている方法による蓄積画素重要度Ｊの計算方法である。

蓄積部分領域重要度計算部７２は、上記蓄積画素重要度計算部７１から出力された蓄積画素重要度Ｊを用い、蓄積画像中の照合窓Ｗ（ω_ｘ×ω_ｙ）から切り出された上記部分領域Ｄ_ｉ ^（Ｗ）（ｘ_Ｄｉ，ｙ_Ｄｉ）における重要度である部分領域重要度Ｊ_Ｄ ^（Ｗ）（ｘ_Ｄｉ，ｙ_Ｄｉ）の計算を行う。ここで、（ｘ_Ｄｉ，ｙ_Ｄｉ）は、上記部分領域Ｄ_ｉ ^（Ｗ）（ｘ_Ｄｉ，ｙ_Ｄｉ）の左上端の座標である。また、部分領域重要度は、例えば、蓄積部分領域特徴を構成する各小領域の重要度である小領域重要度の和などを用いることが可能である。この小領域重要度は、上記小領域内の画素重要度の平均値などを用いる。

索引付与部８は、蓄積部分領域特徴抽出部６から出力された蓄積部分領域特徴に対し、検索を高速に処理する索引の付与を行う。本実施形態においては、索引付与部８は、例えば、重要度索引付与部８１と類似度索引付与部８２とにより、蓄積部分領域特徴に対して索引の付与を行う。
ここで、重要度索引付与部８１は、蓄積部分領域特徴に対して、これに対応する部分領域重要度を基準として重要度索引の付与を行う。この重要度索引付与部８１は、例えば、以下に説明する蓄積特徴分類処理、分類重要度計算処理、及び分類選択処理の各処理を行う。

上記蓄積特徴分類処理は、蓄積画像における各蓄積部分領域を、この蓄積部分領域に対応する部分領域重要度の値により分類する。
この具体的な分類方法としては、例えば、ランダムにａ_ｊ個の蓄積部分領域特徴を選択し、それぞれをクラスタＣ_１，Ｃ_２，…，Ｃ_ａｊに対応させ、残りの蓄積部分領域を、選択した蓄積部分領域特徴の中で、対応する部分領域重要度が最も近い値のものに割り当てる。
別の分類方法として、部分領域重要度がガウス分布に基づいて生起されていると仮定し、部分領域重要度の平均と分散から分布を推定し、生起確率が等しくなるように、部分領域重要度をａ_ｊ個の区間に分割し、それぞれクラスタＣ_１，Ｃ_２，…，Ｃ_ａｊに割り当てる方法もある。以下、索引付与部９にて作成された部分領域重要度を基準とするクラスタＣ_１，Ｃ_２，…，Ｃ_ａｊを重要度クラスタとする。

分類重要度計算処理は、各重要度クラスタについて、部分領域重要度の最大値である最大部分領域重要度

と、最小値である最小部分領域重要度

とを計算する（ｊ＝１，２，…，ａ_ｊ）。

また、分類選択処理は、最大部分領域重要度があらかじめ定められた閾値である索引付与閾値を上回る重要度クラスタのみを選択し、後に記載する類似度索引付与部８２の処理に基づいて類似度索引を付与する。一方、索引付与閾値を下回った重要度クラスタに対しては、類似度索引を付与せず検索対象から除外される。ここで、索引付与閾値を、最大部分領域重要度がとり得る重要度の値の最小値に設定すれば、全ての重要度クラスタに対して索引を付与することになる。

類似度索引付与部８２は、上記重要度索引付与部８１により重要度索引が付与された蓄積部分領域特徴に対し、後述する特徴照合部１０において使用する類似度に基づき、類似度索引を付与する。この類似度は、後述する索引検索部９の説明において定義する。
類似度索引付与部８２は、例えば、選択された各重要度クラスタについて、個別に類似度索引の付与を行う。
類似度索引の付与方法は、すでに述べた蓄積特徴抽出部５において用いられる手法により多様であるが、一つの実施形態として、各蓄積部分領域特徴をベクトル量子化し、得られた符号語を索引とする方法がある（特許第３５７４０７５号）。

また、Ｒ^＊−Ｔｒｅｅ（“The R^*-Tree: an efficient and robust access method for points and rectangles", N. Beckman 他一名, Proc. ACM SIGMOD Conference, pp.322-331, 1990）やＳＲ−Ｔｒｅｅ（”SR-Tree： 高次元データに対する最近接探索のためのインデックス構造の提案“，片山紀生 他一名，電子情報通信学会論文誌 D-I, Vol. J80-D-I, No.8, pp.703-717, 1997 Aug）など、特徴の存在する多次元空間内において、特徴を包含する領域を階層的に作成し、最下層の領域と特徴とを対応づけることにより索引を付与する、多次元インデックス手法と総称される手法を用いることもできる。ここで、特徴を包含する領域は、Ｒ^＊−Ｔｒｅｅであれば３次元空間における直方体に相当する超直方体、ＳＲ−Ｔｒｅｅであれば３次元空間における球に相当する超球と超直方体との重なりとなる。

また、蓄積特徴抽出部５において、各特徴量が量子化により符号の集合として抽出される場合においては、蓄積部分領域特徴を構成する符号列に対して、索引を直接付与することも可能である。この場合、例えば、予め用意された基準となる複数のテンプレートに比較して、これらの距離が最も小さくなるテンプレートに対応する符号を、索引とすることが出来る。他にも、Ｍ−Ｔｒｅｅ（“M-Tree: an efficient access method for similarity search in metric spaces”, P. Ciaccia 他二名, Proc. VLDB Conference, pp.426-435, 1997）等、符号列の間に定義された任意の距離関数を用いて符号列に直接索引を付与することができる。

索引付与部８は、索引（重要度索引及び類似度索引）を、索引検索部９に対して直接送信するか、または一旦、図示しない索引格納部への登録のいずれかの処理を行う。
ここで、類似画像検索システムが、目的画像、及び蓄積画像を同時に読み込み、リアルタイムで検索を行う場合、索引付与部８は上記索引を索引検索部９へ直接に出力し、それ以外の場合、索引付与部８は上記索引格納部へ、蓄積画像毎に対応させて、索引の登録処理を行う。

目的特徴抽出部１は、検索鍵（データベース４から蓄積画像を抽出する際に用いる）となる小さなイメージ画像、すなわち目的画像を入力し、目的特徴を抽出する。ここで、目的画像から目的特徴を抽出する手法は、蓄積特徴抽出部４と同様な手法を用いる。ただし、小さな目的画像に類似する部分画像を含む蓄積画像を検索する本発明の第１の実施形態においては、重要度計算用蓄積特徴抽出部５１における処理を実行する必要がなく、検索用蓄積特徴抽出部５２の処理のみ（必要に応じてさらに蓄積特徴量子化部５３の処理）を実行する。

目的部分領域特徴抽出部２は、目的特徴抽出部１より入力した目的特徴に対し、蓄積部分領域特徴抽出部６で用いた注目窓と同じ大きさの注目窓を複数設定し、注目窓内における特徴を目的部分領域特徴として抽出する。
目的部分領域特徴抽出部２における注目窓の設定方法は、蓄積部分領域特徴抽出部６と異なり、注目窓を目的画像内に重複することもなく、かつ隙間もない状態に設定し、それらを１ピクセルずらしながら、各位置において目的部分領域特徴の抽出を行う。このとき注目窓は、蓄積部分領域特徴抽出部６で用いたマージンの分（すなわち、横ｍ_ｘピクセル、縦ｍ_ｙピクセル）だけずらせば、検索漏れを生じさせることがない。

そして、目的部分領域特徴抽出部２は、上記注目窓内に重複も隙間もなく小領域を配置し、この小領域に対応する特徴の抽出を行う。この処理は蓄積部分領域特徴抽出部６の処理と同様であり、蓄積部分領域特徴抽出部６において他の特徴抽出手段を用いる場合には、目的部分領域特徴抽出部２は、これに準じて同様な特徴抽出手段を採用する。
また、目的部分領域特徴抽出部２は、目的部分領域特徴の集合を索引検索部９へ出力する。

以下、索引検索部９から検出結果出力部１３における処理の動作説明を、図４のフローチャートに従い説明する。図４において、ＤＰＦは蓄積部分領域特徴であり、ＤＦは蓄積特徴であり、ＱＰＦは参照部分領域特徴である（後述する図７においても同様）。
索引検索部９は、上記索引付与部８から出力された索引（重要度索引及び類似度索引）を用い、目的部分領域特徴抽出部２から出力された各目的部分領域特徴に類似する蓄積部分領域特徴である検索候補特徴の抽出を行う。
本実施形態において、索引検索部９は、例えば、重要度索引検索部９１と類似度索引検索部９２とで構成されている。
上記重要度索引検索部９１は、重要度索引付与部８１から出力された重要度索引を用い、後に記述する類似度索引検索部９２にて索引検索を行うべき類似度索引の選択を行う。

まず、重要度索引検索部９１は、重要度索引付与部８１から出力された重要度クラスタを入力し、最大部分領域重要度が大きい順に並べ、この大きい順に取り出す。
次に、重要度索引検索部９１は、取り出した重要度クラスタに対応する類似度索引を実際に検索するかどうかを、以下に示す処理により、部分領域重要度を用いて判断する（索引検索の処理）。すなわち、照合窓から切り出した部分領域（Ｄ^（ＷＤ），Ｑ^（ＷＱ））を照合領域とし、各照合領域に対応する照合特徴（ｆ_Ｄ ^（ＷＤ），ｆ_Ｑ ^（ＷＱ））を抽出する。これにより、例えば、検索候補特徴ｆ_Ｄ ^（ＷＤ）と、目的部分領域特徴ｆ_Ｑ ^（ＷＱ）との類似値である部分類似値Ｓ（Ｄ^（ＷＤ），Ｑ^（ＷＱ））として、部分領域内の小領域特徴同士の類似値の重み付き線形和を用いて、以下の（１）式に示す様に定義すると、

最大部分領域重要度である

が以下の（２）式に示す条件を満たす重要度クラスタＣ_ｊに付いては類似度索引を検索する必要がないことが検出される。

ここで、θ_２は類似度索引の最低値を示す閾値であり、あらかじめ設定された選択閾値である。また、検索候補及び目的部分領域内の小領域特徴同士の類似度として、例えば正規化相互相関を用いることができ、以下の（３），（４）及び（５）式により定義される。（４）及び（５）式の「（）」の上付文字「Ｔ」は転置行列であることを示す符号である。

また、重要度索引検索部９１は、検索候補及び目的部分領域内の小領域特徴同士の類似度を算出して類似性を判定する際に、類似度Ｓ（ｆ_Ｄ，ｆ_Ｑ）に変えて、距離ｄ（ｆ_Ｄ，ｆ_Ｑ）、例えばユークリッド距離などを用いることも可能である。このとき、以下の（６）及び（７）式を用いて、距離ｄ（ｆ_Ｄ，ｆ_Ｑ）を類似度Ｓ（ｆ_Ｄ，ｆ_Ｑ）に変換して用いる。以下の式で用いているθ_ｄは予め設定されている定数である。

ここで、上記（２）式を満たす場合、重要度クラスタＣ_ｊに所属する全ての蓄積部分領域特徴について、（１）式で計算される部分類似度が、必ず設定された閾値θ_２を下回る、すなわち閾値以下となる。
したがって、重要度索引検索部９１は、上記（２）式を満たすことを検出した際、現在対象となっている重要度クラスタＣ_ｊを選択せず、次の重要度クラスタＣ_ｊ＋１へ処理を進める。
そして、重要度索引検索部９１は、索引処理の結果において、（２）式を満たさない場合、重要度クラスタＣ_ｊを選択して、類似度索引検索部９２へ出力する。

類似度索引検索部９２は、重要度索引検索部９１から順次入力される各重要度クラスタＣ_ｊについて、最大部分領域重要度が大きい順に、対応する類似度索引を用いることにより、索引検索の実行を行う。
このとき、類似度索引検索部９２は、例えば、重要度クラスタごとに類似度索引検索と後述する特徴照合とを実行し、入力される重要度クラスタＣ_ｊについて、１つずつ特徴照合の処理を行い、特徴照合の処理を一旦終了する。

そして、類似度索引検索部９２は、上記重要度クラスタＣ_ｊに対する特徴照合が終了した後、連続して入力される最大部分領域重要度が次に大きい重要度クラスタＣ_ｊ＋１について索引検索と特徴照合とを同様にして実行する。
また、別の実施形態として、類似度索引検索部９２は、重要度索引検索部９１から入力される全ての重要度クラスタに対し、一括して索引検索を実行、すなわち一旦、全ての重要度クラスを入力して蓄積し、蓄積した全重要クラスタを検索候補特徴として特徴照合を実行することも可能である。

ここで用いられる索引検索の具体的な方法は、上記索引付与部８において付与された索引の種類毎によって異なるが、それぞれ公知の技術を用いることで索引検索処理を行えばよい。
このとき、類似度索引検索部９２は、類似度索引から以下の（８）式に示す条件を満たす蓄積部分領域特徴を検索候補特徴ｆ_Ｄ ^（Ｗ）として抽出し、一方、（８）式に示す条件を満たさない蓄積部分領域特徴を検索候補特徴ｆ_Ｄ ^（Ｗ）として抽出しない。
ここで、類似画像検索システムの動作を示す図４のフローチャートにおいて、索引検索の処理が終了し、一次照合の処理に遷移する。

特徴照合部１０は、すでに述べた様に、上記索引検索部９から入力される検索候補特徴ｆ_Ｄ ^（Ｗ）と目的部分領域特徴ｆ_Q ^（Ｗ）との類似値である部分類似値を計算する一次照合部１１と、一次照合部１１において類似性が確認された検索候補特徴が帰属する蓄積特徴に照合窓を設定し、目的特徴と照合窓内の蓄積特徴との類似値である全体類似値を計算する二次照合部１２とからなる。

一次照合部１１は、検索候補特徴と目的部分領域特徴との類似値である部分類似値を計算する。ここで用いられる類似尺度は、上述した（１）式で定義した通りである。
そして、一次照合部１１は、図４のフローチャートにおける二次照合処理において、部分類似値が前述の選択閾値θ_２を上回るとき、該検索候補特徴と該目的部分領域特徴との間に類似性があると検出し、それらを順次出力して検索候補特徴の集合φとする。
なお、本発明の実施形態は、最初の段階において、まずある検索候補特徴（候補となった蓄積部分領域特徴）を選択し、これと目的部分領域特徴を逐次照合し、互いに類似する部分領域特徴を検出するように構成した説明を行っているが、照合の対象を逆に設定し、先に目的部分領域特徴を選択してこれと検索候補特徴の集合を照合させる構成とすることも可能である。

二次照合部１２は、目的画像の目的特徴と、蓄積画像中に設定された照合窓内の蓄積特徴との類似値である全体類似値を計算する。
すなわち、二次照合部１２は、目的部分領域特徴に対して、これに類似すると判断された検索候補特徴の集合φについて、これらが帰属する蓄積特徴の集合を呼び出し、この集合に含まれる各蓄積画像毎に、目的特徴と同じ大きさの照合窓を設定する。そして、二次照合部１２は、上記各蓄積画像毎に目的特徴と、照合窓内の蓄積特徴との類似度である全体類似度を求める。

次に、二次照合部１２は、上記照合窓を、図５の概念図に示すように、目的画像の大きさと同一のサイズに設定する。
そして、二次照合部１２は、照合窓内の配置箇所における蓄積部分領域の相対的な位置が、目的画像のフレームにおける目的部分領域の相対的な位置と同一になるように、つまり、照合窓における蓄積部分領域と、フレーム上の目的部分領域が重なる位置に、目的画像と同一の大きさの照合窓を配置する。

ここで、二次照合部１２は、全体類似度は、一次照合部１１と同様に、照合窓内の小領域特徴（蓄積部分領域及び目的部分領域の特徴）の類似値の重み付線形和で求めることができる。
そして、二次照合部１２は、最終的に全体類似度が検索閾値θ以上である場合に、目的画像に類似する部分領域が、蓄積画像中のこの照合窓の位置に存在すると判定し、照合窓の位置及び類似度を、検出結果出力部１３へ出力する。
（８）式等における選択閾値θ_２は、上記検索閾値θから自動的に決定される値であり、以下の（９）式を用いて設定すると検出漏れを生じることがない。

上記（９）式において、Ｎは、注目窓を重複も隙間もなく蓄積画像中に配置したと仮定したとき、任意位置に配置された照合窓に含まれる注目窓の最小数であり、以下の（１０），（１１）及び（１２）式により求められる。

ここで、（１１）式におけるＮ_ｘは照合窓内の横方向の注目窓の数であり、（１２）におけるＮ_ｙは照合窓内の縦方向の注目窓の数である。ただし、ceil(x)はx以上の整数で最小のものを示す。
また、ある目的特徴に類似する箇所を、一枚の蓄積画像から複数検出した場合、ユーザの意思により検索条件（類似パターンの反復数）が任意に設定できる。
すなわち、目的画像中のあるオブジェクトに注目し、これに類似する画像を検索したい場合において、蓄積画像中に類似オブジェクトが一つ存在するものを類似性有りと判断するのか、一方、ある数まで繰返しを許容するのかはユーザによる類似の観点から条件付けされるものである。

次に、検索結果出力部１３は、検索結果出力の処理において、特徴照合部１０から、逐次検出される検出候補特徴を一旦登録し、すべての照合が終了した時点において、検出結果を表示画面に対して、一括表示して、ユーザに通知する。
ここで、検索結果出力部１３は、上記表示部等への表示出力件数を、ユーザにより特に設定されない限り、初期値として上位κ箇所を出力するように設定する。
そして、検索結果出力部１３は、すべての照合が終了した場合に、検出された類似する蓄積画像及びその蓄積画像中における類似部分画像の検出位置、ならびにその類似度（全体類似値）を、表示部へ表示する。
上述した処理により、本発明の類似画像検索システムは、目的画像に対して、蓄積画像からの類似画像の検索処理を終了する。

＜第２の実施形態＞
次に、図１を用いて本発明の第２の実施形態による類似画像検索システムの説明を行う。この図１は第２の実施形態による類似画像検索システムの構成例を示すブロック図である。図１において、類似画像検索システムは、目的特徴抽出部１，目的部分領域特徴抽出部２，蓄積画像データベース４，蓄積特徴抽出部５，蓄積部分領域特徴抽出部６，蓄積重要度計算部７，索引付与部８，索引検索部９，特徴複合部１０，検出結果出力部１３及び検索結果評価部１５から構成されている。ここで、特徴抽出部１０は、一次照合部１１及び二次照合部１２から構成されている。
上述した第１の実施形態の図１の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。

第２の実施形態による類似画像検索システムは上記図１に示す構成であり、検索したい小さな目的画像を入力し、すでに登録されている蓄積画像の集合の中から、目的画像と類似する部分画像を含む蓄積画像を出力するものである。
本第２の実施形態の一部は、すでに述べた第１の実施形態と共通な処理部分があり、以下、第１の実施形態と異なる処理についてのみ記述する。

蓄積特徴抽出部５は、データベース４に登録されている蓄積画像を読み込み、この入力される蓄積画像各々から蓄積特徴の抽出を行う。
この蓄積特徴抽出部５における特徴抽出の手法は、第１の実施形態と同様であるが、他の実施形態として、例えば、検索用蓄積特徴抽出部５２の蓄積特徴抽出の処理を、蓄積特徴点抽出処理と蓄積局所特徴抽出処理との機能から構成することも可能である。
ここで、上記蓄積特徴点抽出処理においては、画像中からある種の変動に対して頑健な点である特徴点を抽出する。

上述した特徴点抽出の方法について、以下にその概要を説明する。特徴点抽出の方法として、本発明においては、Mikolajczykらの手法（"Scale & Affine invariant interest point detectors", K.Mikolajczyk 他１名, International Journal of Computer Vision, Vol.60, No.1, pp.63-86, 2004）を用いる。以下において、この手法の概要について述べる。
まず、元の画像からスケールスペースを作成し、各スケールから特徴点の候補を抽出する。この特徴点候補の抽出には、以下の（１３）式で定義される正規化Harris operator ｈ（ｘ、ｙ、σ）を用いる。

ただし、Ｌ_ａ（ａ＝ｘ，ｙ）はａ方向の微分操作であり、δは定数である。各スケールにおけるHarris operatorの極大点を特徴点の候補とする。
次に、抽出された候補点について、抽出されたスケール及びその前後で以下の（１４）式で定義される正規化Laplacian operator Ｌ_ＯＧ（ｘ，ｙ，σ）を計算する。

ただし、Ｌ_ａａ（ａ＝ｘ，ｙ）はａ方向の２回微分操作である。スケール方向において、候補点でのLaplacianの値が極大となっているときに、この候補点を特徴点として採用する。特徴点は画像中の位置とスケールとによって構成される。スケールスペース画像を適切に作成することにより、スケール変化に対して頑健な特徴点を抽出することができる。
また、スケール変化や見えの違いなどの幾何学変動に対して頑健な手法において、他の方法として、例えば、「“Distinctive image features from scale-invariant keypoints", D.G.Lowe, International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004」に記載の方法も用いることができる。

次に、蓄積局所特徴抽出処理においては、上記蓄積特徴点抽出処理により抽出した特徴点について、特徴点周辺の局所領域で特徴を抽出し、これを蓄積特徴とする。
例えば、特徴点の勾配（gradient）、特徴点周辺の局所領域で計算したgradientのヒストグラム、ガウシアンフィルタ係数の高次微分を係数とするフィルタの出力、あるいは以下の（１５）式の特徴関数などを用いることができる。

蓄積重要度計算部７は、第１の実施形態とほぼ同様であるが、本第２の実施形態においては、部分領域を抽出しないため、蓄積部分領域重要度計算部７２が不要のために設けられていない。

索引付与部１０も、第１の実施形態とほぼ同様であるが、蓄積部分領域特徴の代わりに、上記蓄積特徴抽出部５により抽出された蓄積特徴について索引を付与し、部分領域重要度の代わりに、上記蓄積特徴に対応する特徴点の画素重要度、あるいは特徴点周辺の局所領域での画素重要度の平均値を用いる。
また、索引検索部９は、上記索引付与部８から出力される索引を用い、目的特徴抽出部１から抽出される各目的特徴に類似する蓄積特徴である検索候補特徴の抽出を行う。
ここで、索引検索部９は、例えば、第１の実施形態と同様に、重要度索引検索部９１と類似度索引検索部９２とを有している。

重要度索引検索部９１においては、各重要度クラスタに対応する類似度索引を、実際に検索するか否かの判定を行う。
例えば、重要度索引検索部９１は、検索候補特徴ｆ_Ｄ（ｘ_Ｄ，ｙ_Ｄ）と目的特徴ｆ_Ｑ（ｘ_Ｑ，ｙ_Ｑ）との類似値である部分類似値Ｓ_Ｊ（ｆ_Ｄ（ｘ_Ｄ，ｙ_Ｄ），ｆ_Ｑ（ｘ_Ｑ，ｙ_Ｑ））を、以下の（１６）式として算出する。

上記（１６）式において、以下の（１７）式における条件を満たす重要度クラスタＣｊについては、索引を検索する必要がない。

上記（１７）式において、

は、重要度クラスタＣ_ｊの最大重要度、またθ_２は選択閾値である。
また、類似度索引検索部９２は、第１の実施形態とほぼ同様であるが、類似度索引からの索引検索において、以下の（１８）式の条件を満たす蓄積特徴のみを抽出し、これを検索候補特徴とする。

上記（１８）式を満たさない場合、（１６）式により計算される部分類似値が、必ず選択閾値θ_２を下回ることとなり、照合処理自体を省略できる。
索引検索の方法は、第１の実施形態と同様に、上記類似度索引付与部９２において付与された索引の種類によって異なる。

次に、特徴照合部１０は、上記索引検索部９から入力される検索候補特徴と目的特徴との類似値である部分類似値を計算する一次照合部１１と、該部分類似値を用いて蓄積画像と目的画像との類似値である全体類似値を計算する二次照合部１２とを有している。
ここで、一次照合部１１は、検索候補特徴と目的特徴との類似値である部分類似値を、上記（１６）式によって計算する。
そして、一次照合部１１は、該部分類似値が前述の選択閾値θ_２以上であることを検出すると、検索候補特徴と該目的特徴との類似性があると判定する。

また、二次照合部１２は、蓄積画像Ｄと目的画像Ｑとの類似値である全体類似値Ｓ（Ｄ，Ｑ）の計算を、以下の（１９）式により行う。

上記（１９）式は、目的画像Ｑにおける各目的特徴ｆ_Ｑに対して、最も部分類似値が大きい蓄積特徴を取り出し、取り出した蓄積特徴各々の部分類似値を加算することにより、全体類似値Ｓ（Ｄ，Ｑ）を求めることを示している。
ただし、二次照合部１２は、部分類似値が選択閾値以上の蓄積特徴が、処理対象の蓄積画像中に１つも存在しない（全くない）場合、その目的特徴に対しては部分類似値の加算処理を行わない。

そして、二次照合部１２は、最終的に、全体類似値Ｓ（Ｄ，Ｑ）が検索閾値θ以上である場合、目的画像に類似する部分領域が、処理対象の蓄積画像中に存在すると判定する。
ここで、蓄積画像中の部分領域は、例えば、各目的特徴との部分類似値が最も大きな蓄積特徴について、この部分類似値が最も大きな蓄積特徴に対応する蓄積画像中において、画素全てを含む最小の方形とする。
また、第１の実施形態とは異なり、本第２の実施形態において、選択閾値θ_２と検索閾値θは独立に決定される値である。

＜第３の実施形態＞
次に、図６を用いて本発明の第３の実施形態による類似画像検索システムの説明を行う。この図６は第３の実施形態による類似画像検索システムの構成例を示すブロック図である。図６において、類似画像検索システムは、目的特徴抽出部１，目的部分領域特徴抽出部２，目的重要度計算部３，蓄積画像データベース４，蓄積特徴抽出部５，蓄積部分領域特徴抽出部６，蓄積重要度計算部７，索引付与部８，索引検索部９，特徴複合部１０，検出結果出力部１３及び検索結果評価部１５から構成されている。ここで、特徴抽出部１０は、一次照合部１１及び二次照合部１２から構成されている。
上述した第１及び第２の実施形態の図１の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。

第３の実施形態による類似画像検索システムは図６に示す構成であり、検索したい目的画像を入力し、すでに登録されている蓄積画像の集合の中から、目的画像と類似する蓄積画像を出力するものである。
本第３の実施形態は、上述した第２の実施形態に対し、目的重要度計算部３が新たに設けられたものであり、一部がすでに述べた第１及び第２の実施形態と共通な処理部分があり、以下、第２の実施形態と異なる処理についてのみ記述する。
ここで、目的重要度計算部３が設けられているため、目的画像の重要度を類似画像検索に用い、検索に反映させることにより、高い精度の検索を行うことが可能となる。

次に、第３の実施形態による類似画像検索システムの動作の説明を図７用いて行う。図７は、第３の実施形態による類似画像検索システムの動作例を示すフローチャートである。ここで、図７における蓄積画像に対する処理については、蓄積特徴抽出から索引付与まで第２の実施形態における図４と全く同様であるため、説明を省略する。
本第３の実施形態における目的特徴抽出部１は、第２の実施形態と異なり、重要度計算用目的特徴抽出部と検索用目的特徴抽出部とで構成される。重要度計算用目的特徴抽出部は第１の実施形態の機能と、検索用目的特徴抽出部は第２の実施形態の機能と同様、すなわち、第３の実施形態の目的特徴抽出部１は、第１及び第２の目的特徴抽出部１の機能を併せ持つ構成となっている。

目的重要度計算部３は、目的特徴抽出部１の上記重要度計算用目的特徴抽出部により抽出された重要度計算用目的特徴を入力し、この重要度計算用目的特徴を用い、目的画像中の各所定の位置における重要度の計算を行う。
ここで、目的重要度計算部３は、第１の実施形態における蓄積重要度計算部７における蓄積画素重要度計算部７１と同様の機能を有する目的画素重要度計算部３１を有している。この目的画素重要度計算部３１は、重要度の具体的な計算方法として、例えば、第１の実施形態における蓄積画素重要度計算部７１の計算と同様の方法を用いる。

また、目的画素重要度計算部３１の別の実施形態として、検索者が検索開始時に予め指定した目的画像中のある領域の重要度を、指定されなかった領域の重要度に対して、より大きく設定する方式として、検索者の検索意図を反映させる構成としても良い。
例えば、検索者が予め目的画像中において指定した領域の重要度を全て「１」とし、その他の領域の重要度を全て「０」としたり、指定された領域または指定されなかった領域に所定の係数を乗算する処理を行う。
さらに、先に第１の実施形態と同様の方法で重要度を計算し、検索者が指定しなかった領域の重要度を０と評価する方式としても良い。

そして、索引検索部９は、索引付与部８から出力された索引を用い、目的特徴抽出部１から出力された各目的特徴に類似する蓄積特徴である検索候補特徴の抽出を行う。
本第３の実施形態における索引検索部９における索引検索処理以降の動作の流れを、図７のフローチャートにて、第１及び第２の実施形態と異なる点のみを説明する。索引検索部９は、第１及び第２の実施形態と同様に、重要度索引検索部９１と類似度索引検索部９２とを有している。

第３の実施形態における重要度索引検索部９１も、具体的な索引検索方法は第２の実施形態とほぼ同様の方法を用いることができる。しかしながら、索引検索の条件において、第２の実施形態に対して、さらに目的重要度を考慮することも可能である。例えば、取り出した重要度クラスタに対応する類似度索引を実際に検索するかどうかを判断する条件は、以下の（２０）式の関係を満足するか否かにより決定するようにしても良い。
ただし、以下の（２０）式において、Ｊ_Ｑは該目的特徴に対応した重要度である。

特徴照合部１０は、第１及び第２の実施形態と同様に、一次照合部１１と二次照合部１２とを有している。
上記一次照合部１１は、第１及び第２の実施形態と同様の機能であるが、類似尺度は、例えば以下の（２１）式に示すように定義する。

次に、二次照合部１２は、一次照合部１１で類似性が検出された目的特徴と蓄積特徴とを用い、目的画像と蓄積画像との類似値である全体類似値の計算を行う。
そして、上記二次照合部１２は、この全体類似値を、例えば第２の実施形態と同様に定義し、最終的に、全体類似値が検索閾値θ以上である場合、対象となる蓄積画像が目標画像に類似することを検出する。

＜第４の実施形態＞
次に、図８を用いて本発明の第４の実施形態による類似画像検索システムの説明を行う。この図８は第４の実施形態による類似画像検索システムの構成例を示すブロック図である。図８において、類似画像検索システムは、目的特徴抽出部１，目的部分領域特徴抽出部２，目的重要度計算部３，蓄積画像データベース４，蓄積特徴抽出部５，蓄積部分領域特徴抽出部６，蓄積重要度計算部７，索引付与部８，索引検索部９，特徴複合部１０，検出結果出力部１３，重要度修正部１４及び検索結果評価部１５から構成されている。ここで、特徴抽出部１０は、一次照合部１１及び二次照合部１２から構成されている。
上述した第１及び第２の実施形態の図１、または第３の実施形態の図６の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。

すなわち、本第４の実施形態に示す類似画像検索システムは、第１〜第３の実施形態のいずれかの構成に対し、さらに重要度修正部１４及び検索結果評価部１５を有している。
このため、第４の実施形態による類似画像検索システムは、検索結果を一度検索者に表示し、検索者自らがこれを評価できる構成となっている。
また、重要度修正部１４を設けたことにより、検索結果をフィードバックし、目的部分領域重要度（あるいは目的重要度）を、重要度修正部１４により修正することができる。
これにより、第３の実施形態による類似画像検索システムは、検索者の意図をより的確に反映した類似画像検索が可能となる。

次に、検索結果評価部１５は、検索結果出力部１３が表示部等に出力した検索結果に対し、検索者が評価した検索結果の評価を、所定の入力装置から入力する。例えば、検索者は、出力された検索結果が自身にとって望ましいものであるか否かにおいて、望ましいと感じた場合に「はい」を入力し、望ましくないと感じた場合に「いいえ」を入力する。これにより、検索者の検索意図を反映させることができる。
そして、重要度修正部１４は、検索結果評価部１５から入力される検索結果評価に基づいて、目標画像の重要度を修正する。
例えば、特許文献２に記載の方法で重要度を抽出した場合、輝度・色相・方向の各成分の重みを、検索結果評価に基づいて修正する実施形態が考えられる。

上記具体的な修正方法は、例えば、以下の通りである。
まず、重要度修正部１４は、各検索結果について、特徴照合部１０において類似性が検出された蓄積画像中の領域を取り出す。
次に、重要度修正部１４は、該領域における各成分の最大値Ｉ_ｍａｘ ^（ｉｎ），Ｃ_ｍａｘ ^（ｉｎ），Ｏ_ｍａｘ ^（ｉｎ）及び該領域を除く他の領域での各成分の最大値Ｉ_ｍａｘ ^{（ｏｕｔ）}，Ｃ_ｍａｘ ^{（ｏｕｔ）}，Ｏ_ｍａｘ ^{（ｏｕｔ）}を計算する。
そして、重要度修正部１４は、各成分の重み係数を以下の（２２）式で修正し、「ｗ_Ｉ＋ｗ_Ｃ＋ｗ_Ｏ＝１」の関係を満たすように正規化する。

上述した処理がが本第４の実施形態における具体的な重要度の修正方法である。
また、上記重要度修正部１４と検索結果評価部１５とを用い、目的（部分領域）重要度だけでなく、蓄積（部分領域）重要度を修正するようにしてもよい。このとき、重要度修正部１４の後段に、蓄積重要度再計算部と索引再構築部とを接続する。
上記蓄積重要度再計算部は、重要度修正部１４によって修正された重要度を用い、蓄積画像の重要度の再計算を行う。蓄積重要度再計算部による重要度の計算方法は、例えば、蓄積重要度計算部７と同様の処理を行う。
また、上記索引再構築部は、上記蓄積重要度再計算部により再計算され、更新された重要度を用いて索引の再構築を行う。索引再構築部による索引の再構築は、例えば、索引付与部８と同様の処理を行う。

なお、図１，図６及び図８における類似画像検索システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより類似画像の検索処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の第１及び第２の実施形態による類似画像検索システムの構成例を示すブロック図である。 図１の類似画像検索システムにおける蓄積画像の特徴抽出から索引付与までの処理を具体的に示したブロック図である。 蓄積画像において注目窓を設定する際に、配置のマージンについて説明する概念図である。 第１及び第２の実施形態による類似画像検索システムにおける索引検索部９，特徴照合部１０及び検出結果出力部１３の動作例（類似値による類似性の判定）を示すフローチャートである。 蓄積画像における照合窓の設定について説明する概念図である。 第３の実施例である類似画像検索システムの構成例を示すブロック図である。 第３の実施例による類似画像検索システムにおける索引検索部９，特徴照合部１０及び検出結果出力部１３の動作例（類似値による類似性の判定）を示すフローチャートである。 第４の実施形態である類似画像検索システムの構成例を示すブロック図である。

符号の説明

１…目的特徴抽出部 ２…目的部分領域特徴抽出部
３…目的重要度計算部 ４…データベース
５…蓄積特徴抽出部 ６…蓄積部分領域特徴抽出部
７…蓄積重要度計算部 ８…索引付与部
９…索引検索部 １０…特徴抽出部
１１…一次照合部 １２…二次照合部
１３…検出結果出力部 １４…重要度修正部
１５…検索結果評価部 ５１…重要度計算用蓄積特徴抽出部
５２…検索用蓄積特徴抽出部 ５３…蓄積特徴量子化部
６１…注目窓設定部 ６２…部分領域特徴抽出部
７１…蓄積画素重要度計算部 ７２…蓄積部分領域重要度計算部
８１…重要度索引付与部 ８２…類似度索引付与部

Claims (10)

1. 目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムにおける類似画像検索を行う方法であり、
   前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出過程と、
   前記蓄積特徴から前記蓄積画像の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算過程と、
   前記蓄積特徴に、前記蓄積重要度に基づいた索引を付与する索引付与過程と、
   前記目的画像から目的特徴を抽出する目的特徴抽出過程と、
   前記索引を用いて、前記目的特徴に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索過程と、
   前記目的特徴と前記検索候補特徴との類似値である部分類似値を、前記蓄積重要度から計算する一次照合段階と、前記目的画像と前記蓄積画像上の部分領域との類似値である全体類似値を前記部分類似度と前記蓄積重要度に基づいて計算する二次照合段階とからなる特徴照合過程と、
   前記特徴照合過程において類似性が検出された蓄積画像を出力する検出結果出力過程と
   を有することを特徴とする類似画像検索方法。
2. 目的画像に類似する蓄積画像を検索する類似画像検索システムにおける類似画像検索を行う方法であり、
   前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出過程と、
   前記蓄積特徴から前記蓄積画像中の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算過程と、
   前記蓄積特徴に、前記蓄積重要度に基づいて索引を付与する索引付与過程と、
   前記目的画像から目的特徴を抽出する目的特徴抽出過程と、
   前記目的特徴から前記目的画像中の所定の位置における重要度である目的重要度を算出する目的重要度計算過程と、
   前記索引を用いて、前記目的特徴に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索過程と、
   前記目的特徴と前記蓄積特徴との類似値である部分類似値を前記蓄積重要度に基づいて計算する一次照合段階と、前記目的画像と前記蓄積画像との類似値である全体類似値を前記部分類似値と前記蓄積重要度とに基づいて計算する二次照合段階とからなる特徴照合過程と、
   前記特徴照合過程において類似性が検出された蓄積画像を出力する検出結果出力過程と
   を有することを特徴とする類似画像検索方法。
3. 前記蓄積特徴に、注目窓を複数設定し、該注目窓における蓄積部分領域特徴を取り出す蓄積部分領域特徴抽出過程と、
   前記目的特徴に、注目窓を複数設定し、該注目窓における目的部分領域特徴を取り出す目的部分領域特徴抽出過程と、
   をさらに有し、
   前記索引付与過程、前記索引検索過程及び前記特徴照合過程一次照合段階において、蓄積特徴あるいは目的特徴として、蓄積部分領域特徴あるいは目的部分領域特徴を用いる
   ことを特徴とする請求項１または２に記載の類似画像検索方法。
4. 前記索引付与過程において、前記重要度に基づいて前記蓄積特徴あるいは前記蓄積部分領域特徴を分類して得られる蓄積特徴集合各々に、個別に索引を付与することを特徴とする、請求項１から３のいずれかに記載の類似画像検索方法。
5. 前記索引検索過程において、前記重要度の値が大きい前記蓄積特徴の集合から優先的に蓄積特徴を抽出し、該蓄積特徴の集合に対する部分類似値の上限値が所定の閾値である探索閾値より低いことが検出された場合、該蓄積特徴の集合の要素を検索候補特徴として抽出しないことを特徴とする請求項４に記載の類似画像検索方法。
6. 前記検索結果に対し検索者が検索評価が入力される検索結果評価過程と、
   前記検索評価に基づいて前記重要度が修正される重要度修正過程と、
   をさらに有することを特徴とする請求項１から請求項５のいずれかに記載の類似画像検索方法。
7. 目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムにおいて、
   前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出部と、
   前記蓄積特徴から前記蓄積画像の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算部と、
   前記蓄積特徴に、前記蓄積重要度に基づいた索引を付与する索引付与部と、
   前記目的画像から目的特徴を抽出する目的特徴抽出部と、
   前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記重要度に基づいて抽出する索引検索部と、
   前記目的特徴と前記検索候補特徴との類似値である部分類似値を、前記蓄積重要度から計算する一次照合段階と、前記目的画像と前記蓄積画像上の部分領域との類似値である全体類似値を前記部分類似度と前記蓄積重要度に基づいて計算する二次照合段階とからなる特徴照合部と、
   前記特徴照合部において類似性が検出された蓄積画像を出力する検出結果出力部と
   を有することを特徴とする類似画像検索システム。
8. 目的画像に類似する蓄積画像を検索する類似画像検索システムにおける類似画像検索を行う方法であり、
   前記蓄積画像から蓄積特徴を抽出する蓄積特徴抽出部と、
   前記蓄積特徴から前記蓄積画像中の所定の位置における重要度である蓄積重要度を算出する蓄積重要度計算部と、
   前記蓄積特徴に、前記蓄積重要度に基づいて索引を付与する索引付与部と、
   前記目的画像から目的特徴を抽出する目的特徴抽出過程と、
   前記目的特徴から前記目的画像中の所定の位置における重要度である目的重要度を算出する目的重要度計算部と、
   前記索引を用いて、前記目的特徴の集合に類似する蓄積特徴である検索候補特徴を前記蓄積重要度に基づいて抽出する索引検索部と、
   前記目的特徴と前記蓄積特徴との類似値である部分類似値を前記蓄積重要度に基づいて計算する一次照合段階と、前記目的画像と前記蓄積画像との類似値である全体類似値を前記部分類似値と前記蓄積重要度とに基づいて計算する二次照合段階とからなる特徴照合部と、
   前記特徴照合過程において類似性が検出された蓄積画像を出力する検出結果出力部と
   を有することを特徴とする類似画像検索システム。
9. 目的画像に類似する部分画像を含む蓄積画像を検索する類似画像検索システムに対し、前記請求項１から請求項７のいずれかに記載の類似画像検索の処理を行わせる、コンピュータが実行可能なプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images