JP2011002965A

JP2011002965A - 画像検索方法および装置

Info

Publication number: JP2011002965A
Application number: JP2009144640A
Authority: JP
Inventors: Bokuryo Kaku; 睦凌郭; Koichi Umakai; 浩一馬養
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-17
Filing date: 2009-06-17
Publication date: 2011-01-06

Abstract

【課題】オブジェクトの背景の変化に左右されずに高精度な画像検索を実現する。
【解決手段】クエリ画像のオブジェクトと背景領域とを分離する輪郭線を指定する。クエリ画像の複数の局所特徴量を抽出し、オブジェクト領域のみの局所特徴量を用いてデータベースを検索し、複数の候補画像を取得する。その後、クエリ画像について、要素特徴量を部分領域ごとに計算し、クエリ画像に対し、輪郭線を含む各部分領域の要素特徴量を、部分領域の周辺の部分領域の要素特徴量を用いて再計算し、更に、オブジェクト領域のみについて、再計算されたクエリ画像の各部分領域の要素特徴量と各候補画像のデータベースに登録されている要素特徴量とを比較してクエリ画像に対する各候補画像の類似度を算出し、その類似度の高い画像を検索結果として選択し出力する。
【選択図】図２

Description

本発明は、類似画像を検索する画像検索方法および装置に関する。

類似画像を検索するための技術が多く提案されている。第１に、画像の全体特徴量を使って類似画像を検索する方法がある。例えば、画像を複数のブロックに分け、それぞれの代表色を用いてパターンマッチングを行うことで色の位置情報を利用して類似画像を検索する方法が提案されている（特許文献１）。また、画像を複数のブロックに分割して各ブロックの特徴量を算出し、当該特徴量に応じたラベルを付与してラベル行列を生成して全体特徴量とし、当該全体特徴量を使って検索する方法もある（特許文献２）。ここで、以後の説明のために、特許文献１の代表色や特許文献２の各ブロックの特徴量など、全体特徴量の生成要素となっている特徴量を「全体特徴生成要素特徴量」あるいは略して「要素特徴量」と呼ぶ。

第２に、画像の局所特徴量を使って類似画像を検索する方法が提案されている。これらの方法では、まず画像から局所特徴点を抽出する。次に、局所特徴点とその近傍の画像情報とから、その局所特徴点に対する局所特徴量を計算する。画像の検索は、局所特徴量同士のマッチングによって行う。

局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される量として定義することにより、画像を回転したり拡大・縮小したりした場合でも検索可能とする方法が提案されている（非特許文献１）。

一方、局所特徴量を使って検索する局所特徴方式では局所特徴点の数が少なすぎる場合又は多すぎる場合に検索精度が低下するという問題点に対して、全体特徴方式と局所特徴方式を利用して相互補完可能となるように構成された画像検索方法が提案されている。この方法では、まず、局所特徴方式を利用してデータベースを検索し、検索結果となりうる候補画像を取得する。次に、候補画像と入力されたクエリ画像の幾何変換パラメータを算出する（非特許文献２）。算出された幾何変換パラメータを使ってクエリ画像の要素特徴量を計算し、候補画像の要素特徴量とさらに照合する方法である。

特開平８−２４９３４９号公報特開平１０−２６０９８３号公報 C. Schmid and R. Mohr, "Localgray value invariants for image retrieval," IEEE Trans. PAMI., Vol.19, No.5, pp530-534, 1997. M. A. Fischler, R. C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM, Vol 24, pp 381-395, 1981.

しかしながら、上述の先行技術文献に開示された画像検索方法においては、クエリ画像の背景とオブジェクト両方の局所特徴量および要素特徴量を検索に用いるため、背景が変化すると、オブジェクトの検索精度が低下する。特許文献１又は２に開示された要素特徴量を用いて、結果画像を検索する方法においては、オブジェクトの輪郭線を跨る要素特徴量を計算する際、背景の変化により、特徴量が大きく変わるため、これらの特徴量はオブジェクトの検索精度低下の原因となる。特に、上述のような場合、オブジェクトは殆ど輪郭線を跨る要素特徴量の計算領域から構成される場合、背景の影響が大きいという問題があった。

本発明は、オブジェクトの背景の変化に左右されずに高精度な画像検索を行うことのできる画像検索装置及び方法を提供することを目的とする。

本発明の一側面によれば、検索対象の画像と、その画像の局所的な特徴量である局所特徴量と、画像全体の特徴を使って検索する方法で使用される全体特徴量とを相互に関連付けて登録しているデータベースから、クエリ画像に類似する画像を検索する画像検索装置であって、クエリ画像のオブジェクト領域と背景領域とを分離する輪郭線を指定する指定手段と、前記クエリ画像の複数の局所特徴量を抽出する抽出手段と、前記抽出手段により抽出された前記複数の局所特徴量のうち前記オブジェクト領域のみの局所特徴量を用いて前記データベースを検索し、複数の候補画像を取得する取得手段と、前記クエリ画像について、前記各候補画像の部分領域に対応する前記クエリ画像の部分領域ごとに前記全体特徴量の要素となる要素特徴量を計算する計算手段と、前記クエリ画像に輪郭線を含む各部分領域の要素特徴量を、当該部分領域に対応する前記候補画像の部分領域の周辺の部分領域の要素特徴量を用いて再計算する再計算手段と、前記オブジェクト領域のみについて、前記再計算手段により再計算された前記クエリ画像の各部分領域の要素特徴量と各候補画像の前記データベースに登録されている要素特徴量とを比較して前記クエリ画像に対する各候補画像の類似度を算出する算出手段と、前記複数の候補画像から、前記算出手段により算出された類似度に基づいて画像を検索結果として選択し出力する出力手段とを有することを特徴とする画像検索装置が提供される。

本発明によれば、オブジェクトの輪郭線を設定することによりオブジェクトと背景を分離することができ、背景の局所特徴量および要素特徴量を除外して、類似する候補画像の検索ができる。これにより、背景の変化によるオブジェクトの検索精度の低下を防ぐことができる。

画像登録装置の構成例を示すブロック図。実施形態における画像検索装置の構成例を示すブロック図。画像登録処理の手順を表すフローチャート。画像検索処理の手順を表すフローチャート。実施形態における輪郭線設定方法及び区分線により背景の局所特徴点を除外する方法を説明する図。画像のブロック分割例を示す図。幾何変換パラメータを算出した後のクエリ画像要素特徴量計算領域を示す図。輪郭線近傍計算領域の要素特徴量の再計算方法を説明する図。実施形態における輪郭線指定方法を説明する図。エッジ検出オペレータの例を示す図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

実施の形態での説明では、特許文献１あるいは特許文献２に開示されているような、画像全体の特徴を使って検索する方法で使用される特徴量を「全体特徴量」と呼び、画像全体の特徴を使って検索する方法を「全体特徴方式」と呼ぶ。また、背景技術の項で述べたように、全体特徴量の生成要素となっている特徴量を「全体特徴生成要素特徴量」あるいは略して「要素特徴量」と呼ぶことにする。

一方、非特許文献１に記載されているような回転不変、拡大・縮小不変となる複数の要素で構成される特徴を使って検索する方法で使用する特徴量を「局所特徴量」と呼び、画像の局所的な特徴を使って検索する方法を「局所特徴方式」と呼ぶ。

なお、本実施の形態での説明では、説明を簡単にするため、算出されてデータベース（ＤＢ）に登録される要素特徴量は、ブロックごとに算出されるＲ、Ｇ、Ｂ各要素の平均値であるものとする。ただし、要素特徴量が計算される領域である要素特徴量計算領域がブロックに限定されるものではない。ブロックは領域分割結果の一例であり、その範囲は任意の形状で構わない。また、要素特徴量はＲ、Ｇ、Ｂ各要素の平均値に限定されるものではなく、要素特徴量計算領域内の情報を使って計算可能な値であればどのような値でもよい。

＜第１の実施形態＞
図１は第１の実施形態に係る画像登録装置１００の構成例を示すブロック図である。画像登録装置１００は、画像入力部１０２、局所特徴抽出部１０３、全体特徴抽出部１０４、特徴量登録部１０５から構成される。１０６は検索対象の画像を記憶する画像特徴データベースであり、画像登録装置１００により登録画像１０１から抽出された画像特徴が登録される。

図２は本実施形態における画像検索装置の構成例を示すブロック図である。画像検索装置２００は、クエリ画像２０１を入力し、クエリ画像２０１と類似した画像を画像特徴データベース２１３から検索する。画像検索装置２００は、画像特徴データベース２１３を検索して得られた画像及びその画像の関連情報を、検索結果２１２として出力する。画像検索装置２００を構成する各部の機能は、以下の画像検索装置の動作例において説明する。

［画像の登録処理］
まず、画像登録の際に行う画像登録装置１００の各部の動作について図３のフローチャートを用いて説明する。まず、画像入力部１０２は登録画像１０１を読み込む（ステップＳ３０１）。次に、局所特徴抽出部１０３は、まず、登録画像１０１から局所特徴点を抽出する（Ｓ３０２）。次に、Ｓ３０２で抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する（Ｓ３０３）。なお、局所特徴点の抽出方法および特徴量の算出方法については、非特許文献１を始めとして様々な方法が提案されており、これら公知の方法を利用可能である。

一方、全体特徴抽出部１０４は、登録画像１０１をブロック分割する（Ｓ３０４）。図６に画像のブロック分割例を示す。本実施形態では、図６に示すように登録画像１０１を１２×８の小ブロックに分割することを前提に説明する。図６において、７０１は登録画像であり、７０２は登録画像７０１をブロック分割した様子を示した分割後登録画像である。さらに、説明のため分割後のブロック位置を特定することを目的に、分割後登録画像の各ブロックについて縦方向と横方向に番号を付ける。たとえば、ブロック７０３の位置は（６，５）と表現する。

その後、分割により得られたブロックごとにブロック内の画素値を使ってＲ、Ｇ、Ｂ各要素の平均値Ｒｓ、Ｇｓ、Ｂｓを計算してこれらを要素特徴量とする（Ｓ３０５）。次に、ブロックごとに算出した要素特徴量をまとめて、全体特徴量を算出する（Ｓ３０６）。ここで、全体特徴量は、要素特徴量及びその位置を参照できるような構成にする。たとえば、単純にＲ，Ｇ，Ｂ平均値を特定の順番に並べたものでもよいし、特許文献２にあるように、さらにラベル行列を生成して当該ラベル行列も含むようにしてもよい。特徴量登録部１０５は、登録画像１０１とＳ３０３で算出した局所特徴量とＳ３０６で算出した全体特徴量とを相互に関連付けて、画像特徴データベース１０６に登録可能な形式に構成して、画像特徴データベース１０６に登録する（Ｓ３０７）。

［画像の検索処理］
次に、画像検索の際に行う画像検索装置２００の各部の動作について、図４のフローチャートを用いて説明する。まず、画像入力部２０２は、入力されたクエリ画像２０１をメモリに読み込む（Ｓ４０１）。次に、輪郭線指定部２０８は、読み込んだクエリ画像２０１に対して、オブジェクト領域と背景領域とを分離する輪郭線を指定する（Ｓ４０２）。このときユーザはユーザインタフェース（ＵＩ）を介してその指定を行うことができる。例えば、図５（ａ）に示すように、オブジェクト輪郭線上重要な輪郭点をマウスやキーボードなどの外部デバイスを用いて入力し、連続して入力した２つの重要点の間に直線で繋ぐ。なお、２つの重要点間の輪郭線補間方法は、直線に限らず、公知のCubic SplineやB-splineなどを利用可能である。

局所特徴点抽出部２０３は、画像の登録処理と同じ方法により、クエリ画像２０１から局所特徴点を抽出する（Ｓ４０３）。ここでは例えば、抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する。なお、局所特徴点の抽出方法および特徴量の算出方法については、非特許文献１を始めとして様々な方法が提案されており、これら公知の方法を利用可能である。

次に、局所特徴点除外部２０４は、Ｓ４０２で指定されたオブジェクトの輪郭線に基づいて、画像の背景領域、すなわち、輪郭線外側部分の局所特徴点をマークして、それらに対応する局所特徴量を候補画像の検索に利用しないようにする。なお、輪郭線で局所特徴点を区分するかわりに、図５（ｂ）に示すように、輪郭線から外側または内側の所定距離のところに区分線を設け、区分線内側の局所特徴点のみをマークすることも可能である。

次に、候補画像検索部２０５は、Ｓ４０４で除外した背景領域の局所特徴点以外の局所特徴点の局所特徴量を用いて画像特徴データベース２１３を検索し、類似度順に検索結果の上位から所定枚数を検索結果となりうる候補画像として取得する（Ｓ４０５）。

次に、幾何変換パラメータ算出部２０６は、クエリ画像２０１と各候補画像との間の幾何変換パラメータを算出する（Ｓ４０６）。式（1）は幾何変換であるAffine変換を示す。幾何変換パラメータ算出部２０６は、６つの係数［a, b, c, d, e, f］を計算する。計算方法はRANSAC法などがあるが、詳細な説明は非特許文献２を参照されたい。幾何変換を行う前のデータベース画像の要素特徴量計算領域を図６に示し、幾何変換を行った後のクエリ画像の要素特徴量計算領域を図７に示す。

クエリ画像要素特徴量計算部２０９は、クエリ画像２０１の要素特徴量計算領域ごとに、登録時と同じ、要素特徴量を算出する（Ｓ４０７）。上述した画像登録処理では、要素特徴量を領域内画素値のＲ、Ｇ、Ｂ各要素の平均値としたので、Ｓ４０７でもクエリ画像２０１の要素特徴量計算領域内の画素値からＲ、Ｇ、Ｂ各要素の平均値Ｒｑ、Ｇｑ、Ｂｑを算出する。なお、本実施形態では、要素特徴量計算領域の一部がクエリ画像２０１からはみ出ている場合には当該領域の要素特徴量を計算しないこととし、当該領域が画像からはみ出ていることがわかるように記録しておくことにする。

次に、背景領域要素特徴量除外部２１０は、Ｓ４０２で指定した輪郭線に基づいて、クエリ画像に対し、背景領域に属す要素特徴量計算領域をマークし、これらの計算領域の特徴量はクエリ画像と候補画像の比較に使わないようにする（Ｓ４０８）。

次に、要素特徴量再計算部２１１は、Ｓ４０９で以下の処理を行う。すなわち、Ｓ４０２で指定した輪郭線に基づいて、クエリ画像に対し、輪郭線を含む部分領域（計算領域）について、該計算領域の背景部分の特徴量を、候補画像の周辺計算領域の要素特徴量で置き換えて再計算する。図８に示すように、クエリ画像の輪郭線を跨るクエリ画像計算領域８０３は、候補画像計算領域７０３と対応している。この場合、クエリ画像計算領域８０３の背景部分の特徴量V_bは、候補画像計算領域７０３の周辺８つの計算領域の特徴量V_b1〜V_b8で置き換える。そして、式（２）よりクエリ画像計算領域８０３の要素特徴量を再計算する。

ただし、V_qkはクエリ画像計算領域８０３の再計算したk番目の要素特徴量、V_bkは候補画像計算領域７０３周辺の計算領域の要素特徴量である。V_oはクエリ画像計算領域８０３のオブジェクト領域の要素特徴量である。また、Sはクエリ画像計算領域８０３の面積、S_bはクエリ画像計算領域８０３の背景領域の面積、S_oはクエリ画像計算領域８０３のオブジェクト領域の面積である。

再計算されたV_qkは、クエリ画像計算領域８０３の元の要素特徴量V_q0と共に、候補画像計算領域７０３の要素特徴量V_bと比較される。そして、数式（３）で示すように、距離の最も小さいV_qkを選択し、クエリ画像計算領域８０３の要素特徴量V_qとする。

要素特徴量比較部２０７は、前記再計算後の、クエリ画像輪郭線内部のＲ、Ｇ、Ｂ各要素の平均値と、候補画像の対応する計算領域のＲ、Ｇ、Ｂ各要素の平均値とを比較する。ここでは、Ｓ４０８でマークした背景領域の要素特徴量が除外されていることに留意されたい。比較結果は数値化されて数値化比較結果が生成される。本実施形態では、要素特徴量計算領域ごとにＲ、Ｇ、Ｂ各要素の平均値の差分絶対値を計算し、差分絶対値の平均を数値化比較結果とする。差分絶対値は類似度とし、所定閾値以上の場合、検索結果画像とする。最後に、Ｓ４１１において、検索結果画像を記憶領域または表示デバイスなどに出力する。

なお、上述の実施形態では、画像特徴データベース１０６に登録される要素特徴量は、ブロックごとに算出されるＲ、Ｇ、Ｂ各要素の平均値とした。しかし、要素特徴量が計算される領域である要素特徴量計算領域は、ブロックに限定されるものではなく、当該範囲は任意の形状で構わない。すなわち、部分領域に分割され当該部分領域ごとに情報を保持・参照できるならばブロックである必要はなく、ブロックの代わりに円領域や楕円領域など任意の領域を構成するようにしてもよい。また、要素特徴量はＲ、Ｇ、Ｂ各要素の平均値に限定されるものではなく、要素特徴量計算領域内の情報を使って計算可能な値であればどのような値でもよい。たとえば、画素値の分散などの統計情報などを持たせるように構成するようにしてもよい。

さらに、上述の実施形態では、Ｓ４１０において、クエリ画像と候補画像の要素特徴量を比較して、検索結果画像を決定するように構成した。このかわりに、Ｓ４０５で計算した局所特徴量類似度とＳ４１０で計算した要素特徴量類似度を所定比率で統合して、検索結果画像を決定してもよい。

また、上述の実施形態では、背景の局所特徴点を除外して、オブジェクト内部の局所特徴点のみを利用して候補画像を検索するようにした。しかし、オブジェクト輪郭線近傍の局所特徴点の特徴量は背景領域の情報を利用して計算することがありうる。そこで、輪郭線との距離、あるいは、局所特徴点の特徴量の計算領域に対するオブジェクト領域の割合でもって、局所特徴点に重みを付けを行い、候補画像を検索してもよい。

また、上述の実施形態では、要素特徴量を利用して、候補画像をクエリ画像とさらに照合する際、オブジェクト内部と輪郭線上の要素特徴量とは同様に扱うとした。しかし、輪郭線上の要素特徴量については、計算領域に対するオブジェクト領域の割合でもって、要素特徴量に重みを付けを行い、候補画像を照合してもよい。

また、上述の実施形態では、局所特徴量に基づいて、RANSAC法を用いてクエリ画像２０１と各候補画像との間の幾何変換パラメータを算出した。ただし、あらかじめ、クエリ画像２０１と各候補画像との間に回転、拡大、縮小、遷移などがない場合、該ステップを省略してもよい。

以上の説明から明らかなように、本実施形態に係る画像検索装置では、背景領域の局所的な特徴を除外して候補画像を検索することにより、異なる背景の候補画像が検索結果から漏れることを防ぐことができる。また、輪郭線近傍の計算領域について、候補画像の背景要素特徴量を利用して再計算し、オブジェクト内部の要素特徴量と共に、検索結果画像を決定することにより、異なる背景のオブジェクトの検索精度を向上させることができる。

＜第２の実施形態＞
第１の実施形態では、輪郭線指定部２０８において、オブジェクト輪郭線上重要な輪郭点をマウスやキーボードなどの外部デバイスを用いて入力し、連続して入力した２つの重要点の間を直線で繋ぐようにした。本実施形態では、輪郭線指定部２０８において、ユーザがマウスなどの外部デバイスを用いてオブジェクトの輪郭に沿って輪郭線を入力し、輪郭線の近傍においてエッジ検出オペレータで検出したエッジ画素で輪郭線を自動的に修正するように構成する。

図９（ａ）において、１００１は入力したクエリ画像の例である。図１０に示すようなSobelなどのエッジ検出オペレータを利用して、クエリ画像１００１の勾配を計算する。計算した勾配が所定の閾値以上の場合は１、閾値未満の場合は０とするように画素値を二値化してエッジ画素画像を作成する。図９（ｂ）にエッジ画素画像１００２の例を示す。

次に、図９（ｃ）に示すように、ユーザは、マウスなどの外部デバイスを用いて、オブジェクトの輪郭に沿って輪郭線１００３を入力することができる。マウスが指す位置に所定範囲１００４内のエッジ点を利用して、マウスが指す位置と平均位置（または重み付け平均位置）を計算し、入力した輪郭線を自動修正する。輪郭線を修正する際、マウスが指す位置とエッジ点位置の平均位置を計算するかわりに、これらの位置の水平垂直座標をそれぞれmedianフィルタで中間位置を選択してもよい。あるいは、クラスタリング手法を利用して、これらの位置をクラスタリングし、点数の最も多いクラスタの重心を現在位置としてもよい。

＜第３の実施形態＞
本実施形態では、輪郭線指定部２０８において、ユーザがマウスなどの外部デバイスを用いてオブジェクトの輪郭として重要な輪郭点（代表点）を複数入力し、所定のエッジ検出オペレータで検出したエッジ画素で補間を行い、代表点を繋ぐように構成する。

図９（ｄ）において、１２０１はユーザがマウスなどの外部デバイスを用いてオブジェクトの輪郭に沿って入力した輪郭線の代表点を示している。連続して入力された２つの代表点を結ぶ直線近傍の領域１２０２内のエッジ画素を用いて、（重み付け）最小自乗誤差法により所定次数の多項式の係数を推定する。ここで、入力された２つの代表点をそれぞれ (a₁, b₁), (a₂, b₂) とし、その両点を結ぶ直線近傍の領域１２０２内のエッジ画像を (x_k, y_k) k∈[1, n] とする。この場合、｜a₁-a₂｜と｜b₁-b₂｜を比較し、｜a₁-a₂｜が大きい場合は、ｘ軸に沿って、式(４)に示す多項式の係数を推定する。そうでなければ、ｙ軸を沿って、式(５)に示す多項式の係数を推定する。

本実施形態において、x軸に沿って多項式係数の推定を例として説明する。多項式係数の推定係数を推定するために、式(６)に示すように多項式で計算したx_k位置の値y'_kは、エッジ画素の位置y_kの自乗誤差が最小になるように多項式の係数を計算する。

自乗誤差が最小になるために、式(７)に従って多項式の係数を計算する。

隣接する２つの多項式線は代表点の近くに、図９の１２０３に示すように代表点を中心とした所定範囲内において両端の多項式線を直線で結ぶ。多項式の最大次数はあらかじめ設定してあり、ユーザが選択できるようにすることにする。

また、本実施形態において、連続して入力された２つの代表点の間に多項式の係数を推定する際、エッジ画素が殆どない場合を考慮して、２つの代表点を結ぶ直線上の点も多項式の係数の推定に用いてもよい。また、本実施形態において、連続して入力した２つの重要点の間にエッジ画素を利用して固定次数の多項式補間で繋ぐようにしたが、固定次数の多項式でなくてもよい。例えば、設定された最大次数まで、各次数のおけるエッジ画素と多項式補間点の自乗誤差z_Nを計算し、自乗誤差z_Nが最小になるように多項式の次数Nを自動的に決定してもよい。さらに、代表点の近傍で両端の多項式を結ぶ方法については、直線ではなく、代表点で繋ぐ折れ線など他の連結方法で結んでもよい。なお、本実施形態において、代表点は輪郭線と離れて設定して、Active Contour Model(Snake)方法で、代表点を繰り返し拘束し、輪郭に絞り込む方法を用いてもよい。

＜第４の実施形態＞
本実施形態では、輪郭線指定部２０８において、オブジェクトの特徴を利用して、オブジェクトの輪郭線を自動設定するように構成する。オブジェクトの特徴としては、例えば、オブジェクト画素の輝度、オブジェクトの色ヒストグラム、オブジェクトの分散などが利用できる。これらの特徴が背景の特徴と異なる場合、特徴量を所定の閾値と比較することにより、オブジェクトを抽出できる。閾値の設定は、モード法、p-タイル法などがある。

＜他の実施形態＞
なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムを読み出して実行することによっても達成される。したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラム自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

Claims

検索対象の画像と、その画像の局所的な特徴量である局所特徴量と、画像全体の特徴を使って検索する方法で使用される全体特徴量とを相互に関連付けて登録しているデータベースから、クエリ画像に類似する画像を検索する画像検索装置であって、
クエリ画像のオブジェクト領域と背景領域とを分離する輪郭線を指定する指定手段と、
前記クエリ画像の複数の局所特徴量を抽出する抽出手段と、
前記抽出手段により抽出された前記複数の局所特徴量のうち前記オブジェクト領域のみの局所特徴量を用いて前記データベースを検索し、複数の候補画像を取得する取得手段と、
前記クエリ画像について、前記各候補画像の部分領域に対応する前記クエリ画像の部分領域ごとに前記全体特徴量の要素となる要素特徴量を計算する計算手段と、
前記クエリ画像に輪郭線を含む各部分領域の要素特徴量を、当該部分領域に対応する前記候補画像の部分領域の周辺の部分領域の要素特徴量を用いて再計算する再計算手段と、
前記オブジェクト領域のみについて、前記再計算手段により再計算された前記クエリ画像の各部分領域の要素特徴量と各候補画像の前記データベースに登録されている要素特徴量とを比較して前記クエリ画像に対する各候補画像の類似度を算出する算出手段と、
前記複数の候補画像から、前記算出手段により算出された類似度に基づいて画像を検索結果として選択し出力する出力手段と、
を有することを特徴とする画像検索装置。
前記要素特徴量は、当該部分領域におけるＲ，Ｇ，Ｂ各要素の平均値であることを特徴とする請求項１に記載の画像検索装置。
前記指定手段により指定された輪郭線を、所定のエッジ検出オペレータを用いて自動修正する修正手段を更に有することを特徴とする請求項１又は２に記載の画像検索装置。
前記指定手段で指定された複数の輪郭点に対して輪郭点を補間する手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像検索装置。
検索対象の画像と、その画像の局所的な特徴量である局所特徴量と、画像全体の特徴を使って検索する方法で使用される全体特徴量とを相互に関連付けて登録しているデータベースから、クエリ画像に類似する画像を検索する画像検索装置によって実行される画像検索方法であって、
指定手段が、クエリ画像のオブジェクト領域と背景領域とを分離する輪郭線を指定する指定ステップと、
抽出手段が、前記クエリ画像の複数の局所特徴量を抽出する抽出ステップと、
取得手段が、前記抽出ステップで抽出された前記複数の局所特徴量のうち前記オブジェクト領域のみの局所特徴量を用いて前記データベースを検索し、複数の候補画像を取得する取得ステップと、
計算手段が、前記クエリ画像について、前記各候補画像の部分領域に対応する前記クエリ画像の部分領域ごとに前記全体特徴量の要素となる要素特徴量を計算する計算ステップと、
再計算手段が、前記クエリ画像に輪郭線を含む各部分領域の要素特徴量を、当該部分領域に対応する各候補画像の部分領域の周辺の部分領域の要素特徴量を用いて再計算する再計算ステップと、
算出手段が、前記オブジェクト領域のみについて、前記再計算ステップで再計算された前記クエリ画像の各部分領域の要素特徴量と各候補画像の前記データベースに登録されている要素特徴量とを比較して前記クエリ画像に対する各候補画像の類似度を算出する算出ステップと、
出力手段が、前記複数の候補画像から、前記算出ステップで算出された類似度に基づいて画像を検索結果として選択し出力する出力ステップと、
を有することを特徴とする画像検索方法。