JP2017201454A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を行う。
【解決手段】画像処理装置１の被写体矩形領域設定部１４は、画像Ｉの顕著性マップを用いて画像Ｉの被写体矩形領域を設定する。被写体領域設定部１５は、被写体矩形領域の矩形枠上にＮ_c個の制御点を設定し、Ｎ_c個の制御点を直線で結んだ輪郭を動的輪郭モデルの初期輪郭として設定する。被写体領域設定部１５は、輪郭全体の弧長に関するエネルギーＥ_LEN、各制御点における曲率に関するエネルギーＥ_CRV、及び各制御点における画像に関するエネルギーＥ_IMGを加算したエネルギーＥを求め、エネルギーＥが最小となる位置で各制御点を停止させ、その位置で被写体輪郭を設定し、被写体輪郭内の領域を被写体領域として設定する。被写体特徴算出部１６は、画像Ｉ内の被写体領域の画像特徴量を被写体特徴ベクトルＶ_OIとして算出する。
【選択図】図１

Description

本発明は、画像の特徴量を算出する画像処理装置及びプログラムに関する。

従来、被写体を含む画像を検索する手法が知られている。例えば、画像上の色、模様等の配置（以下「レイアウト」という。）を考慮した画像検索を行う場合、画像を格子状に分割した各ブロック領域から特徴量を算出し、位置が対応するブロック領域同士で特徴量を比較する手法が一般的に用いられる（例えば、特許文献１，２を参照）。

しかしながら、この手法を用いると、検索結果は、背景の類似性の影響を受けてしまい、被写体の類似性がさほど反映されることはない。このため、この手法では、利用者の意図する検索結果が得られない場合がある。

この問題を解決するために、画像の中央部のブロック領域を被写体領域上へ移動させた後、そのブロック領域について類似度を算出する際に、被写体領域に対して高い重み係数を掛ける手法が提案されている（例えば、特許文献３を参照）。

ここで、画像の中央部のブロック領域を被写体領域上へ移動させた後のブロック領域を「被写体ブロック領域」という。この手法では、被写体の類似性に重きを置いた検索結果を得ることができる。

特開平１０−２６０９８３号公報 特開２００１−３１９２３２号公報 特開２０１３−２２５１８０号公報

図１２は、被写体ブロック領域内に被写体以外の背景が含まれる画像例を示す図である。図１２において、四角の枠で囲まれた領域が被写体ブロック領域である。これらの被写体ブロック領域には、被写体である船とは別に背景（矢印の箇所）が含まれる。この背景は、被写体自体の画像特徴量を算出する観点からすると、余分な領域であるため、被写体ブロック領域には、被写体以外の余分な領域が含まれているといえる。

このように、被写体ブロック領域内には背景が含まれるため、前述の特許文献３による手法では、背景の影響を受けた検索結果を算出してしまい、結果として検索精度を向上させることができないという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を可能とする画像処理装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の画像処理装置は、被写体を含む画像の特徴量を算出する画像処理装置において、前記画像に含まれる前記被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する被写体矩形領域設定部と、前記被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルのエネルギーを算出し、前記エネルギーに基づいて、前記被写体の輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する被写体領域設定部と、前記被写体領域設定部により設定された前記被写体領域の画像特徴量を算出する被写体特徴算出部と、を備えたことを特徴とする。

また、請求項２の画像処理装置は、請求項１に記載の画像処理装置において、前記画像から格子状の複数のブロック領域を設定するブロック設定部と、前記ブロック設定部により設定された複数のブロック領域のそれぞれについての特徴量を、全体の画像特徴量をして算出するブロック特徴算出部と、を備え、前記被写体特徴算出部により算出された前記被写体領域の画像特徴量、及び、前記ブロック特徴算出部により算出された前記全体の画像特徴量を出力する、ことを特徴とする。

また、請求項３の画像処理装置は、請求項１または２に記載の画像処理装置において、前記被写体領域設定部が、前記被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する、ことを特徴とする。

また、請求項４の画像処理装置は、複数の検索対象画像から要求画像に類似する画像を検索する画像処理装置において、前記複数の検索対象画像のそれぞれについて、画像特徴量を算出する前処理部と、前記要求画像について、画像特徴量を算出する特徴算出部と、前記前処理部により算出された前記複数の検索対象画像のそれぞれについての画像特徴量、及び前記特徴算出部により算出された前記要求画像の画像特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する類似度算出部と、前記類似度算出部により算出された前記類似度に基づいて、前記複数の検索対象画像から前記要求画像に類似する画像を選択する類似画像選択部と、を備え、前記前処理部が、前記複数の検索対象画像のそれぞれについて、格子状の複数のブロック領域を設定する第１のブロック設定部と、前記複数の検索対象画像のそれぞれについて、前記第１のブロック設定部により設定された複数のブロック領域の特徴量を、全体特徴量をして算出する第１のブロック特徴算出部と、前記複数の検索対象画像のそれぞれについて、当該検索対象画像に含まれる被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する第１の被写体矩形領域設定部と、前記複数の検索対象画像のそれぞれについて、前記第１の被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する第１の被写体領域設定部と、前記複数の検索対象画像のそれぞれについて、前記第１の被写体領域設定部により設定された前記被写体領域の画像特徴量を、被写体特徴量として算出する第１の被写体特徴算出部と、を備え、前記特徴算出部が、前記要求画像について、格子状の複数のブロック領域を設定する第２のブロック設定部と、前記第２のブロック設定部により設定された複数のブロック領域の特徴量を、全体特徴量をして算出する第２のブロック特徴算出部と、前記要求画像に含まれる被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する第２の被写体矩形領域設定部と、前記第２の被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する第２の被写体領域設定部と、前記第２の被写体領域設定部により設定された前記被写体領域の画像特徴量を、被写体特徴量として算出する第２の被写体特徴算出部と、を備え、前記類似度算出部が、前記前処理部の前記第１のブロック特徴算出部により算出された前記複数の検索対象画像のそれぞれについての全体特徴量、及び前記特徴算出部の前記第２のブロック特徴算出部により算出された前記要求画像の全体特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の全体類似度を算出し、前記前処理部の前記第１の被写体特徴算出部により算出された前記複数の検索対象画像のそれぞれについての被写体特徴量、及び前記特徴算出部の前記第２の被写体特徴算出部により算出された前記要求画像の被写体特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の被写体類似度を算出し、前記全体類似度及び前記被写体類似度に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する、ことを特徴とする。

また、請求項５の画像処理装置は、請求項４に記載の画像処理装置において、前記特徴算出部が、さらに、前記顕著性マップを用いて、前記第２の被写体領域設定部により設定された前記被写体輪郭の全制御点の顕著性値を平均化し、平均値に基づいて、前記被写体領域の重み係数を算出する重み係数算出部を備え、前記類似度算出部が、前記特徴算出部の前記重み係数算出部により算出された前記重み係数、前記全体類似度及び前記被写体類似度に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する、ことを特徴とする。

また、請求項６の画像処理装置は、請求項３から５までのいずれか一項に記載の画像処理装置において、前記動的輪郭モデルの画像の勾配に関するエネルギーを、前記顕著性マップに表された顕著性値から得られる前記制御点の画素位置の勾配値とする、ことを特徴とする。

さらに、請求項７のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載の画像処理装置として機能させることを特徴とする。

以上のように、本発明によれば、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を実現することができる。

実施例１の画像処理装置の構成例を示すブロック図である。 被写体特徴処理部の処理例を示すフローチャートである。 実施例２の画像処理装置の構成例を示すブロック図である。 前処理部の処理例を示すフローチャートである。 検索処理部の処理例を示すフローチャートである。 Ｍ＝４，Ｎ＝４の場合のブロック領域毎の画像例を示す図である。 画像Ｉの顕著性マップ及び被写体矩形領域の例を示す図である。 動的輪郭モデルの初期輪郭及び制御点の例を示す図である。 画像Ｉの顕著性マップにおいて、エネルギーＥが最小のときの被写体の輪郭の例を示す図である。 画像Ｉにおいて、エネルギーＥが最小のときの被写体の輪郭の例を示す図である。 画像特徴ベクトルＶ_Iの例を示す図である。 被写体ブロック領域内に被写体以外の背景が含まれる画像例を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、画像に対し、顕著性マップを用いて被写体を含む矩形の被写体矩形領域を設定し、動的輪郭モデルのエネルギーが最小となるように被写体矩形領域から被写体領域を抽出し、被写体領域の画像特徴量を算出することを特徴とする。

また、本発明は、ブロック領域の画像特徴量及び被写体領域の画像特徴量を用いて、複数の検索対象画像のそれぞれと要求画像との間の類似度を算出し、複数の検索対象画像から類似度の高い画像を選択することを特徴とする。

これにより、被写体領域は、被写体矩形領域に比べ、背景が含まれる度合いが低くなるから、被写体領域の画像特徴量は、被写体自体の特徴が反映された値となる。したがって、被写体領域の画像特徴量を画像検索に用いることで、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を実現することができる。

〔実施例１〕
まず、実施例１について説明する。実施例１は、従来のブロック領域毎の画像特徴量を算出すると共に、画像から背景を除外した被写体領域を設定し、被写体領域の画像特徴量を算出する例である。

図１は、実施例１の画像処理装置の構成例を示すブロック図である。この画像処理装置１は、ブロック設定部１０、ブロック特徴算出部１１、被写体特徴処理部１２及び画像特徴ベクトル生成部１３を備えている。

画像処理装置１は、１枚の画像Ｉを入力し、ブロック領域毎の画像特徴量からなる画像全体特徴ベクトルＶ_GIを算出すると共に、被写体領域の画像特徴量である被写体特徴ベクトルＶ_OI及び被写体領域の重み係数Ｗ_Iを算出する。そして、画像処理装置１は、画像Ｉの画像特徴ベクトルＶ_I＝｛Ｖ_GI, Ｖ_OI｝及び被写体領域の重み係数Ｗ_Iを出力する。

ここで、画像全体特徴ベクトルＶ_GIは、画像Ｉのブロック分割に基づいた画像全体の特徴量を示し、被写体特徴ベクトルＶ_OIは、被写体の特徴量を示す。被写体領域の重み係数Ｗ_Iは、画像Ｉ内で被写体が目立つ程度を示し、被写体を含む画像間の類似度を算出する際に用いられる。

ブロック設定部１０は、画像Ｉを入力し、画像Ｉに対して格子状にＭ１×Ｍ２個のブロック領域を設定し、ブロック領域毎の画像を切り出す。Ｍ１，Ｍ２は正の整数である。そして、ブロック設定部１０は、ブロック領域毎の画像をブロック特徴算出部１１に出力する。

図６は、Ｍ１＝４，Ｍ２＝４の場合のブロック領域毎の画像例を示す図である。図６に示すように、画像Ｉからブロック領域（ｍ１，ｍ２）毎の１６枚の画像が切り出される。ｍ１＝１，・・・，４、ｍ２＝１，・・・，４である。

図１に戻って、ブロック特徴算出部１１は、ブロック設定部１０からブロック領域毎の画像を入力し、ブロック領域（ｍ１，ｍ２）毎に画像特徴量Ｖ_GI（ｍ１，ｍ２）を算出し、ブロック領域（ｍ１，ｍ２）毎の画像特徴量Ｖ_GI（ｍ１，ｍ２）からなる画像全体特徴ベクトルＶ_GIを生成する。そして、ブロック特徴算出部１１は、画像全体特徴ベクトルＶ_GIを画像特徴ベクトル生成部１３に出力する。

ｍ１＝１，・・・，Ｍ１、ｍ２＝１，・・・，Ｍ２とすると、画像全体特徴ベクトルＶ_GIは、以下の式で表される。
［数１］
Ｖ_GI＝｛Ｖ_GI（１，１），・・・，Ｖ_GI（Ｍ１，Ｍ２）｝ ・・・（１）

被写体特徴処理部１２は、画像Ｉを入力し、画像Ｉから被写体領域を設定し、被写体特徴ベクトルＶ_OI及び重み係数Ｗ_Iを算出し、被写体特徴ベクトルＶ_OIを画像特徴ベクトル生成部１３に出力し、重み係数Ｗ_Iを外部へ出力する。

被写体特徴処理部１２は、被写体矩形領域設定部１４、被写体領域設定部１５、被写体特徴算出部１６及び重み係数算出部１７を備えている。図２は、被写体特徴処理部１２の処理例を示すフローチャートである。

被写体矩形領域設定部１４は、画像Ｉを入力し（ステップＳ２０１）、画像Ｉの顕著性マップを生成し、画像Ｉの顕著性マップを用いて、被写体を含む矩形の被写体矩形領域を設定する（ステップＳ２０２）。そして、被写体矩形領域設定部１４は、画像Ｉ及び被写体矩形領域を特定するための情報を被写体領域設定部１５に出力する。

顕著性マップを生成する処理及び被写体矩形領域を設定する処理は既知であり、詳細については前述の特許文献３を参照されたい。

画像の顕著性マップは、色、輝度、方向等を考慮し、画像中の物体（被写体）が存在する視覚的注意が導かれる領域を可視化したマップであり、画素毎にその位置の顕著性値で表される。画像の顕著性マップは既知であり、詳細については以下の文献を参照されたい。
［非特許文献］ L.Itti, C.Koch, and E.Niebur：“A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, VOl.20, No11, 1998年11月
［特許文献］ 特表２００７−５１５００９号公報

図７は、画像Ｉの顕著性マップ及び被写体矩形領域の例を示す図である。図７に示すとおり、画像Ｉの顕著性マップは、各画素の位置の顕著性値で表され、顕著性値が輝度の高さで表されている。また、四角で囲んだ領域が被写体矩形領域である。

図１及び図２に戻って、被写体領域設定部１５は、被写体矩形領域設定部１４から画像Ｉ及び被写体矩形領域を特定するための情報を入力する。そして、被写体領域設定部１５は、被写体矩形領域の矩形枠上に、Ｎ_c個の制御点｛ＣＰ（１），・・・，ＣＰ（Ｎ_c）｝を任意に設定する。被写体領域設定部１５は、Ｎ_c個の制御点｛ＣＰ（１），・・・，ＣＰ（Ｎ_c）｝を直線で結んだ輪郭を、これらの制御点を持つ動的輪郭モデルの初期輪郭として設定する（ステップＳ２０３）。Ｎ_cは、予め設定される。

図８は、動的輪郭モデルの初期輪郭及び制御点の例を示す図である。図８において、丸印が制御点を示し、制御点を直線で結んだ輪郭が動的輪郭モデルの初期輪郭である。

図１及び図２に戻って、被写体領域設定部１５は、以下に示す動的輪郭モデルの全制御点のエネルギーＥを算出し、エネルギーＥが最小となる方向へ制御点を移動させ、エネルギーＥが最小となる位置で各制御点を停止させる。

尚、動的輪郭モデルのエネルギーを最小にする手法は、例えばスネーク法が用いられる。詳細については、以下の非特許文献を参照されたい。
［非特許文献］ M.Kass, A.Witkin, and D.Terzopoulos：“Snakes：Active contour models,” International Journal of Computer Vision, 1(4)：321-331, 1998年1月

具体的には、被写体領域設定部１５は、動的輪郭モデルのエネルギーＥを算出し（ステップＳ２０４）、エネルギーＥが最小であるか否かを判定する（ステップＳ２０５）。

被写体領域設定部１５は、ステップＳ２０５において、エネルギーＥが最小でないと判定した場合（ステップＳ２０５：Ｎ）、動的輪郭モデルの面積が小さくなるように、その輪郭を収縮させる方向に、任意の制御点を任意に移動させる（ステップＳ２０６）。そして、ステップＳ２０４〜ステップＳ２０６の処理を繰り返す。被写体領域設定部１５は、ステップＳ２０５において、エネルギーＥが最小であると判定した場合（ステップＳ２０５：Ｙ）、ステップＳ２０７へ移行する。

尚、被写体領域設定部１５は、ステップＳ２０５におけるエネルギーＥの最小の判定を、ステップＳ２０４及びステップＳ２０６の処理を所定回数行った後に行うようにしてもよい。また、被写体領域設定部１５は、エネルギーＥの極小点を検出した場合に、当該極小点がエネルギーＥの最小点であると判定するようにしてもよい。

ステップＳ２０４において、動的輪郭モデルのエネルギーＥは、以下の式にて算出される。
［数２］
Ｅ＝Ｅ_LEN＋Ｅ_CRV＋Ｅ_IMG ・・・（２）

動的輪郭モデルのエネルギーＥは、輪郭全体の弧長に関するエネルギーＥ_LEN、各制御点における曲率（輪郭全体の曲率）に関するエネルギーＥ_CRV、及び各制御点における画像の勾配に関するエネルギーＥ_IMGを加算することで求められる。

エネルギーＥ_LENが小さい場合は、輪郭全体の弧長が短いことを示しており、各制御点の曲率に関するエネルギーＥ_CRVが小さい場合は、輪郭の曲がり具合がきつくない（小さい、滑らかである）ことを示している。また、各制御点における画像の勾配に関するエネルギーＥ_IMGが小さい場合は、各制御点が被写体と背景との間の境界に存在する割合が高いことを示している。したがって、動的輪郭モデルのエネルギーＥが最小の場合とは、総合的に、輪郭全体の弧長が短く、各制御点の曲がり具合がきつくなく（小さく、滑らかであり）、かつ、各制御点が被写体と背景との間の境界に存在する割合が高いことを示している。

ここで、制御点ＣＰ（ｉ）（ｉ＝１，・・・，Ｎ_c）において、制御点ＣＰ（ｉ）のｘ座標をｘ_i、制御点ＣＰ（ｉ）のｙ座標をｙ_iとする。また、ｘ₀＝ｘ_Ncとする。輪郭全体の弧長に関するエネルギーＥ_LENは、以下の式にて算出される。
［数３］

各制御点における曲率に関するエネルギーＥ_CRVは、以下の式にて算出される。
［数４］

各制御点における画像に関するエネルギーＥ_IMGは、以下の式にて算出される。
［数５］
Ｉ’（ｉ）としては、制御点ＣＰ（ｉ）における画像エネルギーであり、画像Ｉにおける制御点の画素位置の画素値から得られる勾配（エッジ）情報（勾配値）が用いられる。

ここで、背景が複雑なテクスチャを持つ場合、エネルギーＥが最小となる方向へ制御点を移動させる過程で、制御点が被写体と背景との間のエッジではなく、背景内のエッジで停止してしまうことがあり得る。これでは、後述するステップＳ２０７において、本来の被写体の輪郭とは大きく異なる被写体輪郭が設定されてしまう可能性がある。

そこで、被写体領域設定部１５は、各制御点における画像に関するエネルギーＥ_IMGを算出する際の画像エネルギーＩ’（ｉ）として、ステップＳ２０２にて生成した画像Ｉの顕著性マップを利用する。すなわち、被写体領域設定部１５は、画像エネルギーＩ’（ｉ）として、画像Ｉの顕著性マップにおける顕著性値から得られる制御点の画素位置の勾配値を用いる。

画像Ｉの顕著性マップは、画像Ｉにおいて視覚的注意が導かれる被写体が存在する領域（画像Ｉ全体の中で目立つ領域）を可視化した顕著性値により構成されている。したがって、この顕著性マップを用いることで、後述するステップＳ２０７において、本来の被写体の輪郭に近い被写体輪郭を設定し、精度の高い被写体領域を設定することができる。この場合、背景と被写体との間の境界が曖昧な場合であっても、大まかな被写体領域を設定することができる。

被写体領域設定部１５は、ステップＳ２０５から移行して、エネルギーＥが最小のときの全制御点を直線で結んだ輪郭を、被写体の輪郭（被写体輪郭）として設定し、被写体輪郭内の領域を被写体領域として設定する（ステップＳ２０７）。そして、被写体領域設定部１５は、画像Ｉ及び被写体領域を特定するための情報を被写体特徴算出部１６及び重み係数算出部１７に出力する。

図９は、画像Ｉの顕著性マップにおいて、エネルギーＥが最小のときの被写体の輪郭の例を示す図であり、図１０は、画像Ｉにおいて、エネルギーＥが最小のときの被写体の輪郭の例を示す図である。図９及び図１０に示すように、エネルギーＥが最小のときの全制御点を直線で結ぶことで、被写体輪郭が設定される。

図９及び図１０から、被写体輪郭は、図８に示した動的輪郭モデルの初期輪郭に比べ、被写体の形状に近い輪郭となっていることがわかる。つまり、図９及び図１０の被写体輪郭内の領域である被写体領域は、図７に示した被写体矩形領域（従来の被写体ブロック領域）よりも、被写体以外の背景が存在する領域（背景領域）の面積が狭くなっている。

図１及び図２に戻って、被写体特徴算出部１６は、被写体領域設定部１５から画像Ｉ及び被写体領域を特定するための情報を入力する。そして、被写体特徴算出部１６は、画像Ｉ内の被写体領域の画素のみから画像特徴量を算出し、これを被写体特徴ベクトルＶ_OIとして画像特徴ベクトル生成部１３に出力する（ステップＳ２０８）。

重み係数算出部１７は、被写体領域設定部１５から画像Ｉ及び被写体領域を特定するための情報を入力する。そして、重み係数算出部１７は、画像Ｉの顕著性マップを用いて、ステップＳ２０７にて被写体領域設定部１５により設定された被写体輪郭の全制御点の顕著性値を平均化する。重み係数算出部１７は、以下の式にて、平均値Ｋ_aveを所定値（２５５）で除算することで、被写体領域の重み係数Ｗ_Iを求め、重み係数Ｗ_Iを外部へ出力する（ステップＳ２０９）。
［数６］
Ｗ_I＝Ｋ_ave／２５５ ・・・（６）

画像特徴ベクトル生成部１３は、ブロック特徴算出部１１から画像全体特徴ベクトルＶ_GIを入力すると共に、被写体特徴処理部１２の被写体特徴算出部１６から被写体特徴ベクトルＶ_OIを入力する。そして、画像特徴ベクトル生成部１３は、画像全体特徴ベクトルＶ_GI及び被写体特徴ベクトルＶ_OIからなる画像Ｉの画像特徴ベクトルＶ_I＝｛Ｖ_GI, Ｖ_OI｝を生成し、画像Ｉの画像特徴ベクトルＶ_I＝｛Ｖ_GI, Ｖ_OI｝を外部へ出力する。

図１１は、画像特徴ベクトルＶ_Iの例示す図である。図１１に示すように、画像Ｉの画像特徴ベクトルＶ_I＝｛Ｖ_GI, Ｖ_OI｝は、ブロック領域（ｍ１，ｍ２）毎の画像特徴量Ｖ_GI（ｍ１，ｍ２）からなる画像全体特徴ベクトルＶ_GIと、被写体領域の画像特徴量である被写体特徴ベクトルＶ_OIとから構成される。

以上のように、実施例１の画像処理装置１によれば、被写体特徴処理部１２の被写体矩形領域設定部１４は、画像Ｉの顕著性マップを用いて画像Ｉの被写体矩形領域を設定する。そして、被写体領域設定部１５は、被写体矩形領域の矩形枠上にＮ_c個の制御点を設定し、Ｎ_c個の制御点を直線で結んだ輪郭を動的輪郭モデルの初期輪郭として設定する。そして、被写体領域設定部１５は、動的輪郭モデルについて、輪郭全体の弧長に関するエネルギーＥ_LEN、各制御点における曲率に関するエネルギーＥ_CRV、及び各制御点における画像に関するエネルギーＥ_IMGを加算したエネルギーＥを求める。

被写体領域設定部１５は、エネルギーＥが最小となる方向へ制御点を移動させ、エネルギーＥが最小となる位置で各制御点を停止させ、その位置で被写体輪郭を設定し、被写体輪郭内の領域を被写体領域として設定する。

被写体特徴算出部１６は、画像Ｉ内の被写体領域の画像特徴量を被写体特徴ベクトルＶ_OIとして算出する。

これにより、被写体領域は、被写体矩形領域に比べ、背景が含まれる度合いが低いから、被写体特徴ベクトルＶ_OIは、背景の特徴がさほど反映されず、被写体自体の特徴が反映された画像特徴量となる。

したがって、被写体特徴ベクトルＶ_OIを画像検索に用いることで、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を実現することができる。また、被写体特徴ベクトルＶ_OIを、大量の画像を分類する処理に用いることも可能であり、被写体の類似性に重きを置いた高精度の画像分類処理を実現することができる。

さらに、被写体特徴ベクトルＶ_OIに加え、従来のブロック領域毎の画像特徴量からなる画像全体特徴ベクトルＶ_GIを用いることで、画像Ｉにおける色、模様等のレイアウトの類似性を保持しながら、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を実現することができる。また、被写体特徴ベクトルＶ_OI及び画像全体特徴ベクトルＶ_GIを、大量の画像を分類する処理に用いることも可能である。例えば、画像全体で分類した後、被写体の類似性に重きを置いた高精度の画像分類処理を実現することができる。

〔実施例２〕
次に、実施例２について説明する。実施例２は、実施例１にて算出したブロック領域毎の画像特徴量及び被写体領域の画像特徴量を用いて、複数の検索対象画像から要求画像に類似する画像を選択する例である。実施例２では、複数の検索対象画像のそれぞれと要求画像との間で、ブロック領域毎の画像特徴量及び被写体領域の画像特徴量を反映した類似度を算出し、複数の検索対象画像から類似度の高い画像を選択する。

図３は、実施例２の画像処理装置の構成例を示すブロック図である。この画像処理装置２は、検索対象画像ＤＢ（データベース）２０、前処理部２１、画像特徴ベクトルＤＢ２２及び検索処理部２３を備えている。

画像処理装置２は、要求画像Ｑに類似する画像を、複数の検索対象画像Ｉ［１］，・・・，Ｉ［N_D］の中から選択して出力する。具体的には、画像処理装置２は、複数の検索対象画像Ｉ［１］，・・・，Ｉ［N_D］の画像特徴ベクトルＶ_I［１］，・・・，Ｖ_I［Ｎ_D］を算出し、１枚の要求画像Ｑを入力して要求画像Ｑの画像特徴ベクトルＶ_Q及び重み係数Ｗ_Qを算出する。そして、画像処理装置２は、要求画像Ｑと複数の検索対象画像Ｉ［１］，・・・，Ｉ［N_D］との間の類似度Ｓ（１），・・・Ｓ（N_D）をそれぞれ算出する。画像処理装置２は、複数の検索対象画像Ｉ［１］，・・・，Ｉ［N_D］のうち類似度Ｓの高い所定数の画像を選択して出力する。

検索対象画像ＤＢ２０には、Ｎ_D枚の検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］が格納されている。Ｎ_Dは検索対象画像数であり、２以上の整数である。

前処理部２１は、図１に示した画像処理装置１と同様の処理を行う。まず、前処理部２１は、検索対象画像ＤＢ２０から検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］を順番に読み出す。そして、前処理部２１は、検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］のそれぞれについて、画像特徴ベクトルＶ_I［１］，・・・，Ｖ_I［Ｎ_D］を算出し、これらを画像特徴ベクトルＤＢ２２に格納する。画像特徴ベクトルは、Ｖ_I［１］＝｛Ｖ_GＩ［１］，Ｖ_OI［１］｝，・・・，Ｖ_I［Ｎ_D］＝｛Ｖ_GＩ［Ｎ_D］，Ｖ_OI［Ｎ_D］｝である。

ｎ＝１，・・・，Ｎ_Dとして、画像Ｉ［ｎ］の画像特徴ベクトルＶ_I［ｎ］は、ブロック領域（ｍ１，ｍ２）毎の画像特徴量Ｖ_GI（ｍ１，ｍ２）からなる画像全体特徴ベクトルＶ_GI［ｎ］と、被写体領域の画像特徴量である被写体特徴ベクトルＶ_OI［ｎ］とから構成される。

画像特徴ベクトルＤＢ２２には、Ｎ_D枚の検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］の画像特徴ベクトルＶ_I［１］＝｛Ｖ_GＩ［１］，Ｖ_OI［１］｝，・・・，Ｖ_I［Ｎ_D］＝｛Ｖ_GＩ［Ｎ_D］，Ｖ_OI［Ｎ_D］｝が格納されている。

図４は、前処理部２１の処理例を示すフローチャートである。前処理部２１は、パラメータｎ＝１を設定し（ステップＳ４０１）、検索対象画像ＤＢ２０から検索対象画像Ｉ［ｎ］を読み出す（ステップＳ４０２）。

前処理部２１は、検索対象画像Ｉ［ｎ］について、画像全体特徴ベクトルＶ_GI［ｎ］及び被写体特徴ベクトルＶ_OI［ｎ］からなる画像特徴ベクトルＶ_I［ｎ］を算出し、これを画像特徴ベクトルＤＢ２２に格納する（ステップＳ４０３）。画像特徴ベクトルＶ_I［ｎ］の算出手法は、図１に示した画像処理装置１の処理と同様である。

前処理部２１は、パラメータｎに１を加算し（ステップＳ４０４）、パラメータｎが所定の検索対象画像数Ｎ_Dよりも大きいか否かを判定する（ステップＳ４０５）。前処理部２１は、ステップＳ４０５において、パラメータｎが検索対象画像数Ｎ_Dよりも大きくないと判定した場合（ステップＳ４０５：Ｎ）、ステップＳ４０２へ移行する。一方、前処理部２１は、ステップＳ４０５において、パラメータｎが検索対象画像数Ｎ_Dよりも大きいと判定した場合（ステップＳ４０５：Ｙ）、処理を終了する。

これにより、画像特徴ベクトルＤＢ２２には、検索対象画像Ｉ［ｎ］の画像特徴ベクトルＶ_I［ｎ］＝｛Ｖ_GＩ［ｎ］，Ｖ_OI［ｎ］｝が格納される（ｎ＝１，・・・，Ｎ_D）。

図３に戻って、検索処理部２３は、要求画像Ｑを入力し、要求画像Ｑの画像特徴ベクトルＶ_Q及び重み係数Ｗ_Qを算出し、画像特徴ベクトルＤＢ２２から画像特徴ベクトルＶ_I［１］，・・・，Ｖ_I［Ｎ_D］を読み出す。そして、検索処理部２３は、重み係数Ｗ_Qを用いて、要求画像Ｑと検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］との間の類似度Ｓ（１），・・・，Ｓ（Ｎ_D）を算出し、類似度の高いＲ枚の画像Ｉ［ｎ₁］，・・・，Ｉ［ｎ_R］を検索結果として出力する。

検索処理部２３は、特徴算出部２４、類似度算出部２５及び類似画像選択部２６を備えている。図５は、検索処理部２３の処理例を示すフローチャートである。検索処理部２３の特徴算出部２４は、図１に示した画像処理装置１と同様の処理を行う。特徴算出部２４は、要求画像Ｑを入力し（ステップＳ５０１）、画像全体特徴ベクトルＶ_GQ及び被写体特徴ベクトルＶ_OQからなる画像特徴ベクトルＶ_Q＝｛Ｖ_GQ，Ｖ_OQ｝を算出すると共に、重み係数Ｗ_Qを算出する（ステップＳ５０２）。そして、特徴算出部２４は、要求画像Ｑの画像特徴ベクトルＶ_Q＝｛Ｖ_GQ，Ｖ_OQ｝及び重み係数Ｗ_Qを類似度算出部２５に出力する。

類似度算出部２５は、特徴算出部２４から要求画像Ｑの画像特徴ベクトルＶ_Q＝｛Ｖ_GQ，Ｖ_OQ｝及び重み係数Ｗ_Qを入力する。そして、類似度算出部２５は、パラメータｎ＝１を設定し（ステップＳ５０３）、画像特徴ベクトルＤＢ２２から検索対象画像Ｉ［ｎ］の画像特徴ベクトルＶ_I［ｎ］＝｛Ｖ_GＩ［ｎ］，Ｖ_OI［ｎ］｝を読み出す（ステップＳ５０４）。

類似度算出部２５は、要求画像Ｑの画像全体特徴ベクトルＶ_GQと検索対象画像Ｉ［ｎ］の画像全体特徴ベクトルＶ_GＩ［ｎ］との間の画像全体の類似度Ｓ_G（ｎ）を算出すると共に、要求画像Ｑの被写体特徴ベクトルＶ_OQと検索対象画像Ｉ［ｎ］の被写体特徴ベクトルＶ_OI［ｎ］との間の被写体の類似度Ｓ_O（ｎ）を算出する。これらの類似度は、ベクトル同士を内積して求めたり、ユークリッド距離を０〜１に正規化したり等、一般的な算出手法にて求められる。

類似度算出部２５は、画像全体の類似度Ｓ_G（ｎ）、被写体の類似度Ｓ_O（ｎ）及び要求画像Ｑの重み係数Ｗ_Qを用いて、以下の式にて、要求画像Ｑと検索対象画像Ｉ［ｎ］との間の総合的な類似度Ｓ（ｎ）を算出する（ステップＳ５０５）。そして、類似度算出部２５は、類似度Ｓ（ｎ）を類似画像選択部２６に出力する。
［数７］
Ｓ（ｎ）＝（Ｓ_G（ｎ）＋Ｗ_QＳ_O（ｎ））／（１＋Ｗ_Q） ・・・（７）

前記式（７）において、被写体が目立っている場合（重み係数Ｗ_Qが大きい場合）、類似度Ｓ（ｎ）へ反映される被写体の類似度Ｓ_O（ｎ）の割合は高い。逆に、被写体が目立たない場合（重み係数Ｗ_Qが小さい場合）、類似度Ｓ（ｎ）へ反映される被写体の類似度Ｓ_O（ｎ）の割合が低い。これにより、被写体の目立ち度合いに応じた類似度Ｓ（ｎ）を得ることができる。

尚、類似度算出部２５は、重み係数Ｗ_Qを用いることなく、類似度Ｓ_G（ｎ），Ｓ_O（ｎ）を加算することで、類似度Ｓ（ｎ）を求めるようにしてもよい。

類似度算出部２５は、パラメータｎに１を加算し（ステップＳ５０６）、パラメータｎが所定の検索対象画像数Ｎ_Dよりも大きいか否かを判定する（ステップＳ５０７）。類似度算出部２５は、ステップＳ５０７において、パラメータｎが検索対象画像数Ｎ_Dよりも大きくないと判定した場合（ステップＳ５０７：Ｎ）、ステップＳ５０４へ移行する。

一方、類似度算出部２５は、ステップＳ５０７において、パラメータｎが検索対象画像数Ｎ_Dよりも大きいと判定した場合（ステップＳ５０７：Ｙ）、ステップＳ５０８へ移行する。

これにより、類似度算出部２５において、要求画像Ｑと全ての検索対象画像Ｉ［ｎ］との間の類似度Ｓ（ｎ）が得られる（ｎ＝１，・・・，Ｎ_D）。

類似画像選択部２６は、類似度算出部２５から全ての類似度Ｓ（ｎ）を入力し、検索対象画像ＤＢ２０に格納されたＮ_D枚の検索対象画像Ｉ［１］，・・・，Ｉ［Ｎ_D］から、類似度Ｓ（ｎ）の値の高い上位Ｒ枚の画像Ｉ［ｎ₁］，・・・，Ｉ［ｎ_R］を選択する。Ｒは、１以上の整数である。そして、類似画像選択部２６は、選択したＲ枚の画像Ｉ［ｎ₁］，・・・，Ｉ［ｎ_R］またはこれらの画像を特定するための情報を検索結果として出力する（ステップＳ５０８）。

以上のように、実施例２の画像処理装置２によれば、前処理部２１は、実施例１の画像処理装置１と同様の処理にて、Ｎ_D枚（ｎ＝１，・・・，Ｎ_D）の検索対象画像Ｉ［ｎ］のそれぞれについて、画像全体特徴ベクトルＶ_GI［ｎ］及び被写体特徴ベクトルＶ_OI［ｎ］からなる画像特徴ベクトルＶ_I［ｎ］＝｛Ｖ_GI［ｎ］，Ｖ_OI［ｎ］｝を算出する。

検索処理部２３の特徴算出部２４は、要求画像Ｑについて、画像全体特徴ベクトルＶ_GQ及び被写体特徴ベクトルＶ_OQからなる画像特徴ベクトルＶ_Q＝｛Ｖ_GQ，Ｖ_OQ｝を算出すると共に、重み係数Ｗ_Qを算出する。

類似度算出部２５は、画像全体特徴ベクトルＶ_GQと画像全体特徴ベクトルＶ_GＩ［ｎ］との間の類似度Ｓ_G（ｎ）を算出し、被写体特徴ベクトルＶ_OQと被写体特徴ベクトルＶ_OI［ｎ］との間の類似度Ｓ_O（ｎ）を算出し、類似度Ｓ_G（ｎ），Ｓ_O（ｎ）及び重み係数Ｗ_Qを用いて、要求画像Ｑと検索対象画像Ｉ［ｎ］との間の類似度Ｓ（ｎ）を算出する。

類似画像選択部２６は、類似度Ｓ（ｎ）の値の高い上位Ｒ枚の画像Ｉ［ｎ₁］，・・・，Ｉ［ｎ_R］を選択し、これを検索結果として出力する。

これにより、画像における色、模様等のレイアウトの類似性を保持しながら、背景の影響をさほど受けることなく、被写体の類似性に重きを置いた高精度の画像検索を実現することができる。

尚、本発明の実施例１，２による画像処理装置１，２のハードウェア構成としては、通常のコンピュータを使用することができる。画像処理装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

画像処理装置１に備えたブロック設定部１０、ブロック特徴算出部１１、被写体特徴処理部１２及び画像特徴ベクトル生成部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、画像処理装置２に備えた前処理部２１及び検索処理部２３の各機能もこれらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，２ 画像処理装置
１０ ブロック設定部
１１ ブロック特徴算出部
１２ 被写体特徴処理部
１３ 画像特徴ベクトル生成部
１４ 被写体矩形領域設定部
１５ 被写体領域設定部
１６ 被写体特徴算出部
１７ 重み係数算出部
２０ 検索対象画像ＤＢ
２１ 前処理部
２２ 画像特徴ベクトルＤＢ
２３ 検索処理部
２４ 特徴算出部
２５ 類似度算出部
２６ 類似画像選択部

Claims (7)

1. 被写体を含む画像の特徴量を算出する画像処理装置において、
   前記画像に含まれる前記被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する被写体矩形領域設定部と、
   前記被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、
   前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルのエネルギーを算出し、
   前記エネルギーに基づいて、前記被写体の輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する被写体領域設定部と、
   前記被写体領域設定部により設定された前記被写体領域の画像特徴量を算出する被写体特徴算出部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像から格子状の複数のブロック領域を設定するブロック設定部と、
   前記ブロック設定部により設定された複数のブロック領域のそれぞれについての特徴量を、全体の画像特徴量をして算出するブロック特徴算出部と、を備え、
   前記被写体特徴算出部により算出された前記被写体領域の画像特徴量、及び、前記ブロック特徴算出部により算出された前記全体の画像特徴量を出力する、ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記被写体領域設定部は、
   前記被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、
   前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、
   前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する、ことを特徴とする画像処理装置。
4. 複数の検索対象画像から要求画像に類似する画像を検索する画像処理装置において、
   前記複数の検索対象画像のそれぞれについて、画像特徴量を算出する前処理部と、
   前記要求画像について、画像特徴量を算出する特徴算出部と、
   前記前処理部により算出された前記複数の検索対象画像のそれぞれについての画像特徴量、及び前記特徴算出部により算出された前記要求画像の画像特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する類似度算出部と、
   前記類似度算出部により算出された前記類似度に基づいて、前記複数の検索対象画像から前記要求画像に類似する画像を選択する類似画像選択部と、を備え、
   前記前処理部は、
   前記複数の検索対象画像のそれぞれについて、格子状の複数のブロック領域を設定する第１のブロック設定部と、
   前記複数の検索対象画像のそれぞれについて、前記第１のブロック設定部により設定された複数のブロック領域の特徴量を、全体特徴量をして算出する第１のブロック特徴算出部と、
   前記複数の検索対象画像のそれぞれについて、当該検索対象画像に含まれる被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する第１の被写体矩形領域設定部と、
   前記複数の検索対象画像のそれぞれについて、前記第１の被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、
   前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、
   前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する第１の被写体領域設定部と、
   前記複数の検索対象画像のそれぞれについて、前記第１の被写体領域設定部により設定された前記被写体領域の画像特徴量を、被写体特徴量として算出する第１の被写体特徴算出部と、を備え、
   前記特徴算出部は、
   前記要求画像について、格子状の複数のブロック領域を設定する第２のブロック設定部と、
   前記第２のブロック設定部により設定された複数のブロック領域の特徴量を、全体特徴量をして算出する第２のブロック特徴算出部と、
   前記要求画像に含まれる被写体が存在する視覚的注意が導かれる領域を可視化するための顕著性値を画素毎に表した顕著性マップを用いて、前記被写体を含む矩形の被写体矩形領域を設定する第２の被写体矩形領域設定部と、
   前記第２の被写体矩形領域設定部により設定された前記被写体矩形領域の前記矩形の枠上に、所定数の制御点を設定し、前記所定数の制御点を直線で結んだ輪郭の動的輪郭モデルを設定し、
   前記所定数の制御点の位置をそれぞれ移動させる毎に、前記動的輪郭モデルの輪郭の弧長に関するエネルギー、前記動的輪郭モデルの曲率に関するエネルギー、及び前記動的輪郭モデルの画像の勾配に関するエネルギーの加算値を、前記動的輪郭モデルのエネルギーとして算出し、
   前記エネルギーが最小のときの前記所定数の制御点を結んだ輪郭を被写体輪郭として設定し、前記被写体輪郭内の領域を被写体領域として設定する第２の被写体領域設定部と、
   前記第２の被写体領域設定部により設定された前記被写体領域の画像特徴量を、被写体特徴量として算出する第２の被写体特徴算出部と、を備え、
   前記類似度算出部は、
   前記前処理部の前記第１のブロック特徴算出部により算出された前記複数の検索対象画像のそれぞれについての全体特徴量、及び前記特徴算出部の前記第２のブロック特徴算出部により算出された前記要求画像の全体特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の全体類似度を算出し、
   前記前処理部の前記第１の被写体特徴算出部により算出された前記複数の検索対象画像のそれぞれについての被写体特徴量、及び前記特徴算出部の前記第２の被写体特徴算出部により算出された前記要求画像の被写体特徴量に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の被写体類似度を算出し、
   前記全体類似度及び前記被写体類似度に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する、ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記特徴算出部は、さらに、
   前記顕著性マップを用いて、前記第２の被写体領域設定部により設定された前記被写体輪郭の全制御点の顕著性値を平均化し、平均値に基づいて、前記被写体領域の重み係数を算出する重み係数算出部を備え、
   前記類似度算出部は、
   前記特徴算出部の前記重み係数算出部により算出された前記重み係数、前記全体類似度及び前記被写体類似度に基づいて、前記複数の検索対象画像のそれぞれと前記要求画像との間の類似度を算出する、ことを特徴とする画像処理装置。
6. 請求項３から５までのいずれか一項に記載の画像処理装置において、
   前記動的輪郭モデルの画像の勾配に関するエネルギーを、前記顕著性マップに表された顕著性値から得られる前記制御点の画素位置の勾配値とする、ことを特徴とする画像処理装置。
7. コンピュータを、請求項１から６までのいずれか一項に記載の画像処理装置として機能させるためのプログラム。