JP2010211484A - 存在確率による位置重みを考慮した類似画像検索装置、存在確率による位置重みを考慮した類似画像検索方法、存在確率による位置重みを考慮した類似画像検索プログラム - Google Patents

Abstract

【課題】検索者の検索意図を反映した検索が実現できる存在確率による位置重みを考慮した類似画像検索装置を提供する。
【解決手段】入力部１０２から入力した画像の領域を、設定した分割数で分割し（領域分割部１０３）、分割した各画像領域内に検索対象の画像内容が存在する確率を、主観評価を用いて求め（存在確率計算部１０４）、前記存在確率に応じて位置重みを設定し（重み設定部１０５）、検索キーに対応する検索キー画像および画像データベース内の画像から分割領域毎の画像特徴を抽出し、画像特徴量を計算し（特徴抽出部１０６、特徴量計算部１０７）、前記両者の画像特徴量を比較し、前記設定された位置重みを乗算して類似度を計算し（類似度計算部１０８）、前記類似度を比較し、キー画像と最も近い類似度の画像から類似度順に並べて表示する（類似度比較部１０９、画像ソート部１１０、表示部１１２）。
【選択図】図１

Description

本発明は、画像処理技術を使って、検索キー画像と類似している画像を画像データベース中から検索する技術に関し、存在確率による位置重みを考慮した類似画像検索装置、検索方法ならびに検索プログラムに関するものである。

従来技術としては、画像の中から特定の人の顔や建物などが撮影されている画像を検出するためや、そのような画像が含まれているホームページを検索するための画像処理技術がある。画像を小領域に分割し、抽出した特徴をベクトル量子化する。予め画像特徴の典型的なパターンである見本特徴の集合を準備し、この見本特徴それぞれの間の距離を予め計算しておき、蓄積画像に対応する見本特徴を選択しておく事で、検索キー画像に対応する見本特徴との距離を計算し、照合時の時間を節約する方法である（例えば、特許文献１参照）。

特開２００６−０１１６２２号公報

前記従来技術では、予め画像の特徴の典型的なパターンである見本特徴のセットを用意している。検索対象となる画像の種類が予め分かっている場合には、その画像を特徴づけられるパターンを用意しておき、同じ種類の画像を検索する。しかしながら、画像内に映っている対象物に関する情報を考慮せずに画像から得られた物理特徴だけを用いるために、必ずしも人間の感覚を反映した画像特徴とはなっていなかった。

本発明は上記の事情に鑑みてなされたものであり、その目的は、検索者の検索意図を反映した検索が実現できる存在確率による位置重みを考慮した類似画像検索装置、検索方法ならびに検索プログラムを提供することにある。

本発明は、検索対象となる画像の種類が決まっていて、例えば、空と山を含む画像、夕焼けの画像、中央に目的とする画像（商品など）が写っている画像など画像のレイアウト（構図）が類似していて、画像自体も類似している画像を探したい場合に、画像中の対象となる画像内容が画像中に映っている領域の重要度を重みの値として大きく設定することにより、対象となる画像内容が映っている画像を検索しやすくしたものであり、検索者の検索意図を反映した検索を実現した。

前提条件としては、画像データベース中の画像も同様に画像のレイアウト（構図）が類似した画像が格納されているとする。例えば、商品カタログなど中央に対象物が写っている場合には、中央の位置の重みを大きく（高く）する。また、夕焼けなど空の写っている写真を探す場合には、上部の位置の重みを大きくする。逆に言えば、同じ夕焼けの画像でも、構図の異なる画像は検索されにくくなる。

この際、画像を複数に分割した部分領域毎に領域の重要度を決める手法をとることにより、人間の感覚を反映する検索の実現を目指す。具体的には、領域の重要度を、画像全体を見たときに着目する対象物が当該領域に存在するか否かを主観評価し、特定色やパターンの有無等により求め、存在確率として定義し、位置に依存した重み付けを行うことにより、同様の構図を持つ画像を検索することが可能となる手法である。

例えば、探したい画像の正解となるサンプル画像群を、Ａ＝Ｎ×Ｍに分割（Ｎ，Ｍは自然数）し、各部分領域毎に探したい対象物を含んでいるかを調べ、その存在確率Ｐａ（ａ＝１，…，Ａ）を求める。存在確率Ｐａに比例するように位置重みをαからβまでの整数（数字が大きいほうが重みは大きいｅｘ．α＝０，β＝９）で表現する。この例では、重みを整数値で表しているが、存在確率自体は有理数であり、本来は整数値である必要はない。この場合、システム利用上の処理のし易さから、整数に扱っているに過ぎず、存在確率を用いても良い。

整数化関数としてｆ（Ｐａ）を用いる。次のようにして、存在確率から整数値を作成することを考える。

ｆ（Ｐａ）＝ｉｎｔ（ｋ×Ｐａ）…（１）
ただし、ｋは定数。

例えば、存在確率は０≦Ｐａ≦１であるので、ｋ＝１０を掛けて、小数点を切り捨てる処理を行うことで、０から１０までの整数で表すことが可能となる。

この時、部分領域に対して重みを決定する際、人が何も指標のない状態から直接重みの値を入力することを考えると、どの大きさの値を入力したら良いかわからず、絶対値を直接入力することは難しい。これに対し本発明の存在確率を利用することで、人が付ける重みのばらつきを抑えられる効果がある。

しかしながら、この存在確率を利用して決定された初期としての重み値Ｗ_NMａは、検索者が検索画像に相応しい重みを決定するための参考となる値を例示しているに過ぎないことになる。なぜなら、図２に示す、部分画像領域の位置重みの初期値を存在確率から決定するフローチャートにより決定された初期重み値Ｗ_NMａは、後から人手により変更されてしまうからである。けれども、この初期値がなければ、人が検索画像に対して直に重み値を付けることは難しい。

人が直接つける重みには、定量的な根拠がなく、システムとして実現するには信頼性に難がある。そこで、根拠となる重みの初期値を決定するために、対象物の存在確率を基に決定する手法をとることとした。この初期値を拠り所にして、容易かつ簡便に確からしい相対的な重み値を設定できる効果があるといえる。

従って、この初期値を決定するための重みは、画像データベース全体である必要はなく、相対的に確からしい値を算出できる学習画像から決定したものを、検索システムに用いることとする。もちろん、画像データベース全体から算出しても良い。

システム設計の際には、予め、分割する縦横の値、Ｎ，Ｍの最大の整数値を決めておき、その整数値で作成できる分割数の組み合わせの場合だけ、画像データベース中の各画像に対して分割を行い、各分割領域画像Ｋ_NMａ毎に特徴量を抽出しておけば、検索時に特徴量抽出を行う必要がないため、検索時間を短縮することができる効果がある。すなわち、分割パターンは、例えば、２×２、２×３、３×３などの有限個となるため、画像データベース中の画像を、予め決められたパターンで分割して、各分割領域画像Ｋ_NMａから特徴を抽出しておくことが出来るメリットがある。

本発明の存在確率による位置重みを考慮した類似画像検索方法は、画像を入力する入力部と、領域を分割する領域分割部と、重みを設定する重み設定部と、画像から特徴を抽出する特徴抽出部と、抽出された特徴から特徴量を計算する特徴量計算部と、複数画像間の特徴量から各画像間の類似度を計算する類似度計算部と、計算された類似度を比較する類似度比較部と、検索キー画像から取得した特徴量と他のデータベース中の画像から取得した特徴量との類似度を計算し、それらの類似度の大きさの順にデータベース中の画像をソートして並べる画像ソート部と、画像および画像から取得した特徴量、類似度等の各種データを蓄積するデータ蓄積部と、検索キー画像と類似している順にソートして並べられた画像一覧を表示する表示部と、システムを制御する制御部とを備えた存在確率による位置重みを考慮した類似画像検索装置における検索方法であって、
画像領域の分割数Ｎ×ＭのＮ，Ｍの値を設定するステップと、
学習対象となる画像データベースの各画像をＡ＝Ｎ×Ｍ分割するステップと、
Ａ＝Ｎ×Ｍに分割された各画像領域内に、意図する対象物が有るか無いかの割合を、主観評価を用いて、Ｅａ（ａ＝１，…，Ａ）で表しＬ人の平均をとり存在確率Ｐａを求めるステップと、
処理対象画像全て処理したか否かを判断するステップと、
画像データベースの全画像において、分割領域毎に対象が存在するか否かの存在確率の平均を求めるステップと、
求めた存在確率をαからβまでの整数（数字が大きい方が重みは大きいｅｘ．α＝０，β＝９）に変換し、各領域の位置重みＷａとするステップと、
Ｎ×Ｍの各重みＷａを各領域に対応させて一覧で表示し、全体のバランスを見て人間の感覚と相対的に相違のあると考える箇所について人手により相対的な重みの微調整（修正）を行い、重みＷａを決定するステップと、
「分割数Ａ（＝Ｎ×Ｍ）のＮとＭの値を他の値に変更するか？」を判断するステップと、
分割数Ａ（＝Ｎ×Ｍ）のＮとＭ、重みＷａの組をデータ蓄積部に格納するステップと、
画像の分割数Ａ＝Ｎ×Ｍと位置重みＷ_NMａ（ａ＝１，…，Ａ）を組みとしてシステムに設定するステップ（Ｗ_NMａは初期重み値として用いる）と、
検索キー画像Ｋを選択し、各分割領域Ｋ_NMａの重みＷ_NMａの値を表示するステップと、
「各分割領域Ｋ_NMａの重みＷ_NMａを変更するか？」を判断するステップと、
検索キー画像上にＷ_NMａを表示し、検索キー画像中に含まれる対象物の状況に応じて検索者の感覚で初期値の重みから相対的な重みの微調整を行い、人間の感覚に合う位置重みＷ_NMａをシステムに設定し直すステップ（変更したい重みだけを変更し、他の重みは初期値を用いる）と、
「変更したい各分割領域Ｋａの重みＷ_NMａを再設定したか？」を判断する過程と、
検索キー画像中の各分割領域画像ｋ_NMａから色、テクスチャ、モーメント等の画像特徴を抽出し、特徴量を計算するステップと、
画像データベース中の各画像において、前記設定された分割数と同じ分割数で分割した各分割領域Ｇ_NMａから前記と同様の画像特徴を抽出し、特徴量を計算するステップと、
検索キー画像Ｋ_NMａとデータベース中の画像Ｇ_NMａ間で、分割領域毎に抽出し計算した特徴量を比較し求めた類似度σ_NMａに重みＧ_NMａを乗算し、全領域の値を加重平均して類似度σを計算するステップと、
類似度を比較し、キー画像と最も近い類似度の画像から類似度順に並べて表示するステップと、を備えている。

（１）請求項１〜６に記載の発明によれば、画像の中に指定されている部分領域の重みを考慮し、部分領域から得られた特徴の重要度を加味することで、ユーザの検索意図を反映した類似画像検索の実現が可能となる。領域の重み指定は、例えば０からＰまでの整数値で指定し、数字が大きい程、重みが大きい。画像中に位置情報を反映した特徴の重み付けにより、重視したい領域の特徴を考慮した、画像の構図に対応した検索が可能となる。重みの決定方法に、領域内における対象物の存在確率を使うことにより、検索者の意図を取り入れた画像検索が可能となる。
（２）本発明では、構図の類似した画像データベースから検索画像と同じ画像を見つける類似画像検索において、検索画像をＮ×Ｍに分割し、検索者が検索したい対象が写っている領域の位置の重みを高く設定することにより、類似の構図と対象物が写っている類似した画像を検索する。この時、部分領域に対して重みを決定する際、人が何も指標のない状態から直接重みの値を入力することは難しい。そこで、予め標本画像で対象物の存在確率を求めておき、検索者のその存在確率を基にした重みの値を提示する。検索者は、この提示された値を利用することで、相対的に検索者が感じている感覚に重みを修正することができるため、人が付ける重みのばらつきを抑えられる効果がある。

もしこの初期値がなければ、人が検索画像に対して直に値を付けることが難しい。人が直接つける重みには定量的な根拠がなく、システムとして実現するには信頼性に難がある。しかし本発明による対象物の存在確率を使うことで重みの値の拠り所となり、容易かつ簡便に確からしい相対的な重み値を設定できる効果がある。
（３）また、請求項２、４に記載の発明によれば、検索の際に、検索者が関心、意図のある対象物を含む部分領域の位置重みを、修正、追加指定することにより、検索キー画像中の位置重みで強調した画像特徴を用いた検索が可能となり、検索者の検索意図をより反映した類似画像検索を実現することができる効果がある。
（４）また、請求項５に記載の発明によれば、システム設計の際に、予め、分割する縦横の値、Ｎ，Ｍの最大の整数値を決めておき、その整数値で作成できる分割数の組み合わせの場合だけ、画像データベース中の各画像に対して分割を行い、各分割領域画像Ｋ_NMａ毎に特徴量を抽出しておけば、検索時に特徴量抽出を行う必要がないため、検索時間を短縮することができる効果がある。すなわち、分割パターンは、例えば、２×２、２×３、３×３などの有限個となるため、画像データベース中の画像を、予め決められたパターンで分割して、各分割領域画像Ｋ_NMａから特徴を抽出しておくことが出来るメリットがある。

本発明の存在確率による位置重みを考慮した類似画像検索装置の実施形態例を示す構成図。 本発明の存在確率による位置重みを考慮した類似画像検索方法の実施形態例における、部分画像領域の位置重みの初期値を存在確率から決定するフローチャート。 本発明の存在確率による位置重みを考慮した類似画像検索方法の実施形態例のフローチャート。 本発明の実施形態例における位置重みの指定例を示す説明図。 本発明の存在確率による位置重みを用いた２枚の画像同士の領域比較アルゴリズムによる類似度計算例を示す説明図。 従来方式と本発明による検索結果比較例を示す説明図。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の存在確率による位置重みを考慮した類似画像検索装置の実施形態例を示す構成図である。

図１において、１０１は、学習対象となる画像データベースと検索対象の画像データベースに各々格納された入力画像を示している。

１０２は入力画像１０１を入力する画像入力手段としての入力部である。

１０３は、前記入力部１０２によって入力された画像の領域を、設定した分割数Ｎ×Ｍにより分割する領域分割手段としての領域分割部である。

１０４は、前記入力部１０２により入力された学習画像を前記領域分割部１０３により分割した各画像領域内に、検索対象の画像内容が存在する確率を主観評価を用いて求める存在確率計算手段としての存在確率計算部である。

１０５は、前記存在確率計算部１０４により求められた存在確率に応じて位置重みを設定する重み設定手段としての重み設定部である。

１０６は、前記入力部１０２によって入力された検索キーに対応する検索キー画像、および検索対象の画像データベース内の画像から、前記設定された分割数と同じ分割数で分割した分割領域毎の画像特徴を抽出する特徴抽出手段としての特徴抽出部である。

１０７は、前記特徴抽出部１０６により抽出された画像特徴の特徴量を計算する特徴量計算手段としての特徴量計算部である。

１０８は、前記特徴量計算部１０７によって計算された、検索キー画像の分割領域における画像特徴量と、画像データベース内の画像の分割領域における画像特徴量とを比較し、該比較結果に前記重み設定部１０５により設定された位置重みを乗算して類似度を計算する類似度計算手段としての類似度計算部である。

１０９は、前記類似度計算部１０８により計算された類似度を比較する類似度比較部である。

１１０は、前記類似度比較部１０９で比較された画像を、前記検索キー画像と最も近い類似度の画像から順に、すなわち類似度の高い順に画像をソーティングして画像検索結果一覧を作成する画像ソート部である。

１１１は、前記設定された画像領域の分割数Ｎ×Ｍと、重み設定部１０５によって設定された各領域の位置重みＷａの組などのデータを格納しておくデータ蓄積部である。

１１２は、前記入力部１０２により入力された画像、領域分割部１０３により分割された画像、重み設定部１０５により設定された位置重み、および画像ソート部１１０により作成された画像検索結果一覧などを表示する表示手段としての表示部である。

１１３は、前記各部１０２〜１１２の動作を制御する制御手段としての制御部である。

前記各部１０２〜１１３の機能は例えばコンピュータによって達成される。

尚図１において、検索者が、画像領域の分割数Ｎ×Ｍの決定、位置重みの微調整、検索キー画像の選択などを行うためのユーザインタフェースは図示省略している。

次に図１の装置の動作を図２、図３のフローチャートとともに説明する。最初に検索に用いる位置重みＷや分割数（Ａ＝Ｎ×Ｍ）などのパラメータを予め決定する処理を、図２に示すステップＳ１０１（スタート）からステップＳ１１１（エンド）までの一連のステップに沿って実行する。

先ず、画像領域の分割数Ａ＝Ｎ×ＭのＮ，Ｍの値を決める処理（ステップＳ１０２）を実行するために、サンプル画像を入力画像１０１として、入力部１０２により入力し、表示部１１２に表示する。前記Ｎ，Ｍの値を変えながら、Ｎ×Ｍの領域を入力画像１０１上にオーバーラップして表示させ、検索者は画像のレイアウトにあった分割数の値を決定する。

例えば、図４（ａ）に示すように商品画像（図示では車）などでは、中央部に対象物が存在する画像の場合は、３×３に分割することにより、真ん中の領域が構成でき、注視領域として設定できる。図４（ａ）の場合は車のボディが存在する領域の位置重みを高く設定することが可能となる。

また、空を含む風景画像の場合には、図４（ｂ）のように３×３なら上部の３つの領域、図４（ｃ）のように２×２なら上部２つ領域というように上方にある領域を注視領域として設定できるような分割数を設定する。

次にＮ，Ｍの値が決定されたら、制御部１１３は、領域分割部１０３に対して、学習対象となる画像データベースの各画像をＡ＝Ｎ×Ｍ分割する処理（ステップＳ１０３）を実行するように指示する。

次に存在確率計算部１０４は、ステップＳ１０４において、Ａ＝Ｎ×Ｍに分割された各画像領域内に、意図する対象物が有るか無いかの割合をＬ人の主観評価を用いて、Ｅａ（ａ＝１，…，Ａ）で表し（例えば、対象物有りを１、無しを０で表してＬ人の平均を求める、または対象領域内に対象物が占める面積の割合を１０段階で表してＬ人の平均を求める等）、領域毎の存在確率Ｐ_a（式（２））を求める処理を行う。

次にステップＳ１０５において、学習対象とするサンプル画像群に対して全て処理したかを確認し、処理対象画像を全て処理するまでステップＳ１０４を実行する。

次に、標本として選択した画像群もしくは対象となる画像データベースの全画像の存在確率の平均を求める処理（ステップＳ１０６）、求めた存在確率をαからβまでの整数（数字が大きい方が重みは大きいｅｘ．α＝０，β＝９）に変換し、各領域の位置重みＷａとする処理（ステップＳ１０７）および、Ｎ×Ｍの各重みＷａを各領域に対応させて表示部１１２に一覧で表示し、全体のバランスを見て人間の感覚と相対的に相違のあると考える箇所について、人手により相対的な重みの調整（修正）を行い、重みＷａを決定する処理（ステップＳ１０８）を重み設定部１０５にて順次行う。

次にステップＳ１０９において、検索者が、「分割数Ａ（＝Ｎ×Ｍ）のＮとＭの値を他の値に変更するか？」を判断し、変更する場合はステップＳ１０２に戻り、変更しない場合は制御部１１３が、分割数Ａ（＝Ｎ×Ｍ）のＮおよびＭと、位置重みデータＷａ（ａ＝１，…，Ａ）の組を、データ蓄積部１１１に蓄積する。

次に、検索を行う処理を図３に示すステップＳ２０１（スタート）からステップＳ２１１（エンド）までの一連のステップに沿って実行する。まず制御部１１３は、図２で求めた画像の分割数Ａ＝Ｎ×Ｍと位置重みＷ_NMａ（ａ＝１，…，Ａ）を組みとしてシステムに設定する処理（ステップＳ２０２）を実行する。Ｗ_NMａは初期重み値として用いる。

次にステップＳ２０３において、制御部１１３は、入力部１０２から入力画像１０１として検索キー画像Ｋを入力して表示部１１２に表示させ、検索者が選択した検索キー画像Ｋと、各分割領域Ｋ_NMａの重みＷ_NMａの値を表示させる。

次に検索者はステップＳ２０４において、設定されている各分割領域Ｋ_NMａの重みＷ_NMａを変更するか否かを判断し、変更する場合には、表示部１１２に表示されている検索キー画像上にＷ_NMａを表示し、検索キー画像中に含まれる対象物の状況に応じて検索者の感覚で初期値の重みから相対的な重みの微調整を行い、人間の感覚に合う位置重みＷ_NMａをシステムに設定し直す処理（ステップＳ２０５）を実行後、重み設定部１０５で再設定する。このとき、全てのＷ_NMａを変更しなくても良く、部分的に変更したい位置重みだけを変更することで良い。

次にステップＳ２０６において、検索者が、「変更したい各分割領域Ｋ_NMａの重みＷ_NMａを再設定したか？」を判断する処理を行い、変更したい各分割領域Ｋ_NMａの重みＷ_NMａを全て再設定した後、ステップＳ２０７において、特徴抽出部１０６が、検索キー画像中の各分割領域画像Ｋａから色、テクスチャ、モーメント等の画像特徴を抽出し、特徴量計算部１０７がその特徴量を計算する。

次にステップＳ２０８において、特徴抽出部１０６が、画像データベース中の各画像において、前記ステップＳ２０２と同じ分割数で分割した各分割領域Ｇ_NMａから、前記ステップＳ２０７と同様に画像特徴を抽出し、特徴量計算部１０７がその特徴量を計算する。

次にステップＳ２０９において、類似度計算部１０８が、検索キー画像Ｋ_NMａとデータベース中の画像Ｇ_NMａ間で、分割領域毎に抽出し計算（ステップＳ２０７、Ｓ２０８）された特徴量を比較し求めた類似度σ_NMａに重みＷ_NMａを乗算し、全領域の値を加重平均して類似度σを計算する。

図５は、画像の分割数を２×２としたときの、本発明による位置重みを用いた類似度計算例を示している。図５では、右下部の領域を注視領域として位置重みを高く（「３」に）設定しており、画像データベース中の画像Ａ，Ｂと検索キー画像（クエリイメージ）との比較において、この右下部の領域の類似度σ_NMａが高い（７８％）画像Ａの方が、画像Ｂよりも、全領域の値を加重平均した類似度σが高くなっている（７５．７１％）。

次にステップＳ２１０において、類似度比較部１０９が前記類似度σを比較し、画像ソート部１１０がキー画像と最も近い類似度の画像から類似度順に並べて検索結果一覧を作成し、それを表示部１１２に表示する。

以上のように、予め対象とする画像内の対象物の存在確率により、位置重みを設定しておくことにより、対象物が存在する位置の特徴量を強調して類似度計算が行えるため、当該位置に特徴が優先された検索が実行できるため、検索者所望の検索結果を得られる可能性が高くなるという特徴がある。この場合は、扱っている画像データベース中の画像レイアウトが均質なほど、良い結果が得られる可能性が高まる。また、検索キー画像のレイアウトを重視した検索を実行したい場合には、検索キー画像上の部分領域の位置重みを変えることにより、位置重みで強調した位置に存在する部分画像と類似した画像を同じ位置に含む画像を画像データベース中から検索することが可能となり、より検索キー画像中で注視した部分領域と類似した画像を見つけることが可能となる。

例えば図６は、前記図４（ａ）で述べた「車」を従来方式と本発明の方式によって検索した結果例を示しているが、本発明の方式によって、図４（ａ）で述べたように注視領域として設定した車のボディが存在する領域の位置重みを高く設定して検索した図６（ｂ）の方が、従来方式によって検索した図６（ａ）よりも、注視した部分領域と類似した画像を見つけ出すことができている。

尚図１のシステムの設計の際に、予め、画像を分割する縦横の値、Ｎ，Ｍの最大の整数値を決めておき、その整数値で作成できる分割数の組み合わせの場合だけ、画像データベース中の各画像に対して領域分割部１０３によって分割を行い、各分割領域画像Ｋ_NMａ毎に特徴量を抽出し、例えばデータ蓄積部１１１に格納しておけば、検索時（図３のフローチャート実行時）に特徴量抽出を行う必要はない。

すなわち、検索時には図３のステップＳ２０８を省略し、ステップＳ２０９では、ステップＳ２０７で計算した検索キー画像の分割領域における画像特徴量と、前記データ蓄積部１１１に格納された画像データベース中の画像の分割領域における画像特徴量とを比較するものである。

このようにすることで、分割パターンは、例えば、２×２、２×３、３×３などの有限個となるため、画像データベース中の画像を、予め決められたパターンで分割して、各分割領域画像Ｋ_NMａから特徴を抽出しておくことが出来るメリットがあり、したがって検索時間を短縮することができる効果がある
また、本実施形態の存在確率による位置重みを考慮した類似画像検索装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の存在確率による位置重みを考慮した類似画像検索方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

１０１…入力画像
１０２…入力部
１０３…領域分割部
１０４…存在確率計算部
１０５…重み設定部
１０６…特徴抽出部
１０７…特徴量計算部
１０８…類似度計算部
１０９…類似度比較部
１１０…画像ソート部
１１１…データ蓄積部
１１２…表示部

Claims (6)

1. 画像を入力する画像入力手段と、
   前記画像入力手段によって入力された画像の領域を、設定した分割数により分割する領域分割手段と、
   前記画像入力手段により入力された学習画像を前記領域分割手段により分割した各画像領域内に、検索対象の画像内容が存在する確率を主観評価を用いて求める存在確率計算手段と、
   前記存在確率計算手段により求められた存在確率に応じて位置重みを設定する重み設定手段と、
   前記画像入力手段によって入力された検索キーに対応する検索キー画像、および検索対象の画像データベース内の画像から、前記設定された分割数と同じ分割数で分割した分割領域毎の画像特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された画像特徴の特徴量を計算する特徴量計算手段と、
   前記特徴量計算手段によって計算された、検索キー画像の分割領域における画像特徴量と、画像データベース内の画像の分割領域における画像特徴量とを比較し、該比較結果に前記重み設定手段により設定された位置重みを乗算して類似度を計算する類似度計算手段と、
   前記類似度計算手段により計算された類似度を比較し前記検索キー画像と最も近い類似度の画像から類似度順に画像を並べて画像検索結果一覧を作成し表示する手段と、
   を備えたことを特徴とする存在確率による位置重みを考慮した類似画像検索装置。
2. 前記重み設定手段は、前記設定された位置重みを、前記学習画像を分割した各領域に対応して表示手段に表示させた位置重みに基づいて検索者が指定した位置重みとなるように修正し、前記設定又は修正された位置重みを、表示手段により検索キー画像上に表示した位置重みに基づいて検索者が指定した位置重みとなるように変更することを特徴とする請求項１に記載の存在確率による位置重みを考慮した類似画像検索装置。
3. 領域分割手段が、画像入力手段によって入力された画像の領域を、検索者が設定した分割数により分割する領域分割ステップと、
   存在確率計算手段が、前記領域分割手段により分割され、表示手段に表示された各画像領域内に、検索対象の画像内容が存在する確率を、複数の人間が下した主観評価を用いて求める存在確率計算ステップと、
   重み設定手段が、前記存在確率計算手段により求められた存在確率に応じて位置重みを設定する重み設定ステップと、
   特徴抽出手段が、画像入力手段によって入力された検索キーに対応する検索キー画像、および検索対象の画像データベース内の画像から、前記設定された分割数と同じ分割数で分割した分割領域毎の画像特徴を抽出する特徴抽出ステップと、
   特徴量計算手段が、前記特徴抽出手段により抽出された画像特徴の特徴量を計算する特徴量計算ステップと、
   類似度計算手段が、前記特徴量計算手段によって計算された、検索キー画像の分割領域における画像特徴量と、画像データベース内の画像の分割領域における画像特徴量とを比較し、該比較結果に前記重み設定手段により設定された位置重みを乗算して類似度を計算する類似度計算ステップと、
   類似度比較手段が、前記類似度計算手段により計算された類似度を比較する類似度比較ステップと、
   画像ソート手段が、前記類似度比較手段の比較結果に基づいて前記検索キー画像と最も近い類似度の画像から類似度順に画像を並べて画像検索結果一覧を作成するステップと、
   制御手段が、前記画像ソート手段により作成された画像検索結果一覧を表示手段に表示させるステップと、
   を備えたことを特徴とする存在確率による位置重みを考慮した類似画像検索方法。
4. 前記重み設定ステップは、
   標本として選択した画像群もしくは対象となる画像データベース中の全画像の存在確率の平均を求め、該求められた存在確率に基づいて、前記学習画像を分割した各領域の位置重みを設定し、前記各領域に対応して表示手段に一覧表示させた前記位置重みに基づいて検索者が指定した位置重みとなるように、前記設定された位置重みを修正し、
   画像入力手段によって入力された画像から検索者が選択した検索キー画像上に、前記設定又は修正された位置重みを表示し、該表示された位置重みに基づいて検索者が指定した位置重みとなるように前記設定又は修正された位置重みを変更する、
   ことを特徴とする請求項３に記載の存在確率による位置重みを考慮した類似画像検索方法。
5. 前記特徴抽出ステップは、設定された最大領域分割数内の分割数で、前記画像データベース内の画像を分割し、該分割領域毎の画像特徴を予め抽出しておき、
   前記類似度計算ステップは、前記検索キー画像の分割領域における画像特徴量と、前記予め抽出された画像特徴の画像特徴量とを比較する、
   ことを特徴とする請求項３又は４に記載の存在確率による位置重みを考慮した類似画像検索方法。
6. コンピュータに請求項３ないし５のいずれか１項に記載の各手順を実行させる存在確率による位置重みを考慮した類似画像検索プログラム。