JP2012018479A - 画像検索装置、画像検索方法、および、画像検索プログラム - Google Patents

Abstract

【課題】検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、検索対象画像内でテンプレート画像と類似している画像領域を高速に検索することができる画像検索装置を提供する。
【解決手段】画像検索装置が、テンプレート画像の各画素に対して複雑さを示す指標値を算出する指標値算出部と、テンプレート画像を複数の画像領域に分割した場合に、当該分割された複数の画像領域における指標値の合計値がそれぞれ等しくなるように、算出された指標値に基づいてテンプレート画像を複数の画像領域に分割する画像分割部と、画像分割部で分割したテンプレート画像の複数の画像領域と当該複数の画像領域それぞれに対応する検索対象画像内の画像領域とに基づいた類似尺度により、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索部と、を備えている。
【選択図】図１

Description

本発明は、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置、画像検索方法、および、画像検索プログラムに関する。

検索対象画像内でテンプレート画像と類似している画像領域を高速に検索する画像処理技術として、フルサーチ法が最も使用されている。このフルサーチ法では、検索対象画像上でテンプレート画像を１ピクセル間隔にシフトし、各位置で検索対象画像とテンプレート画像間の類似尺度として、例えば絶対差分値和Sum of Absolute Differences (SAD)を用いて計算し、最小のSADを与える検索画像内のテンプレート画像の位置を見つけるものである。

テンプレート画像Aにおける位置(i,j)での画素値をa(i,j) (1≦i≦N, 1≦j≦M)、検索対象画像Bにおける位置(i,j)での画素値をb(i,j) (1≦i≦X, 1≦j≦Y, N≦X, M≦Y)、検索位置としてテンプレート画像の座標(1,1)と同じ位置の検索対象画像の座標値を(c,d) (1≦c≦X-N, 1≦d≦Y-M,)とすると、検索位置(c,d)でのSADは以下の式１で求められる。

フルサーチ法における計算時間を削減する手法の一つとして、Coarse-to-fine法が提案されている。該手法はテンプレート画像を１画素間隔でシフトしてSADを計算するフルサーチ法とは異なり、まず粗い画素間隔で検索対象画像全体を探索して、最小のSADを与える位置を粗く推定し、その後左記探索で得られた位置の周囲をより細かい画素間隔で探索して最適位置を推定するという、coarse-to-fineの探索戦略に基づいて最小のSADを与える検索画像内のテンプレート画像の位置を見つけるものである。

また、フルサーチ法より高速な検索をするための手法として、Successive Elimination Algorithm(SEA法)が提案されている（非特許文献１参照）。SEA法は、三角不等式|a+b| ≦ |a|+|b|を用いて、各検索位置においてSADを計算する必要があるか否かを判定することによりSADを計算する回数を削減して、検索処理を高速化する手法である。SEA法の処理フローを図８に示す。図８に示されるように、SEA法においては、各検索位置においてsea距離であるsea(c,d)を、以下の式２により計算する。

ついで、該sea距離がそれまでの検索で得られた最小のSAD値であるSADminより大きいか否かを判定し、sea(c,d) ≧ SADminであれば検索位置(c,d)をスキップし、次の検索位置に移る。sea(c,d) < SADminであれば（sea(c,d) ≧ SADminでなければ）、該検索位置でSAD(c,d)を計算し、該SAD(c,d)のSADminに対する大小を判定する。SAD(c,d) ≧SADminの場合、次の検索位置に移る。SAD(c,d) < SADminの場合（SAD(c,d) ≧SADminでない場合）は、SADminを該SAD(c,d)を用いて更新し、該検索位置を記録する。左記処理を全ての検索位置で実施し、最後の検索位置まで検索が終了した後、SADminが得られた検索位置(c,d)及びSADminを検索結果として出力する。

また、画像を複数の矩形に複数の階層で等分割し、閾値を超えるようになるまでより深い階層の矩形毎にsea距離及びmsea距離を計算するMultilevel Successive Elimination Algorithm (MSEA法)が提案されている（非特許文献２参照）。MSEA法の処理フローを図９に示す。図９に示されるように、MSEA法においては、SEA法と同様に、各検索位置においてsea距離であるsea(c,d)を計算する。ついで、該sea距離がそれまでの検索で得られた最小のSAD値であるSADminより大きいか否かを判定し、sea(c,d) ≧ SADminであれば検索位置(c,d)をスキップし、次の検索位置に移る。sea(c,d) < SADminの場合（sea(c,d) ≧ SADminでない場合）、該検索位置で第一段階のmsea距離であるmsea(c,d)を、以下の式３と式４とにより計算する。

ここで、P1(1)＝0, P1(2)=N/2, P1(3)=N, Q1(1)=0, Q1(2)=N/2, Q1(3)=Mである。msea距離は、テンプレート画像を分割した矩形領域内で個別に計算したsea距離であるpsea距離を総計した値である。MSEA法では、矩形領域はテンプレート画像をx軸方向及びy軸方向ごとに等分割することにより得られる。ついで、該msea距離がSADminより大きいか否かを判定し、msea(c,d) ≧ SADminであれば検索位置(c,d)をスキップし、次の検索位置に移る。msea(c,d) < SADminの場合（msea(c,d) ≧ SADminでない場合）、該検索位置で次の段階のmsea距離を、以下の式５と式６とを用いて計算する。

ここで、P2(1)＝0, P2(2)=N/4, P2(3)=2×N/4, P2(4)=3×N/4, P2(5)=N, Q2(1)＝0, Q2(2)=N/4, Q2(3)=2×N/4, Q2(4)=3×N/4, Q2(5)=Mである。第2段階目のmsea距離は、第1段階目の各矩形領域を更に等分割して得られる矩形領域を用いて計算される。ついで上記と同様に、該msea距離とSADminとの大小関係により、検索をスキップするか、次の段階のmsea距離を計算するかを判定する。事前に設定した全ての段階まで、上記矩形分割及びmsea距離算出を繰り返し、最後の段階において得られたmsea距離がmsea(c,d) < SADminの場合、該検索位置でSAD(c,d)を計算し、該SAD(c,d)のSADminに対する大小を判定する。SAD(c,d) ≧SADminの場合、次の検索位置に移る。

SAD(c,d)<SADminの場合は、SADminを該SAD(c,d)を用いて更新し、該検索位置を記録する。左記処理を全ての検索位置で実施し、最後の検索位置まで検索が終了した後、SADminが得られた検索位置(c,d)及びSADminを検索結果として出力する。

またMSEA法に対し、テンプレート画像の矩形領域内のGradient Magnitudeや分散の大きさを元に、矩形領域に分割する順序、及び、計算の順序を決定するPredictive Fine Granularity Successive Elimination (FGSE法)が提案されている（非特許文献３参照）。

W. Li and E. Salari著 「Successive Elimination Algorithm for Motion Estimation」IEEE Transactions on Image Processing, vol. 4, no.1, pp. 105-107, January 1995 X.Q. Gao, C.J. Duanmu, and C.R. Zou著「A Multilevel Successive Elimination Algorithm for Block Matching Motion Estimation」IEEE Transactions on Image Processing, vol.9, no. 3, pp. 501-504, March 2000 C. Zhu, W.S. Qi, and W. Ser著「Predictive Fine Granularity Successive Elimination for Fast Optimal Block-Matching Motion Estimation」IEEE Transactions on Image Processing, vol.14, no.2, pp.213-221, February 2005

しかしながら、フルサーチ法では、必ず検索対象画像内で最小のSAD及び最適な位置が得られるが、SADの計算処理に時間が掛かるという問題がある。また、Coarse-to-fine法では、フルサーチ法より高速に検索処理が実施できるが、粗い画素間隔で探索する為に、必ずしも最適な位置が得られる保証がないという問題がある。

また、SEA法ではフルサーチ法に比べ、より少ない計算処理で最適な類似位置の検索が可能となるが、sea距離は同じ検索位置で得られるSADとの差が大きいため、SADmin以下になる回数が少ない。その為、SADの計算をスキップ出来る回数が少ないという問題点がある。

また、MSEA法およびFGSE法では、SEA法で得られるsea距離よりも、より同じ検索位置で得られるSADに近いmsea距離が得られ、SADmin以下になる回数が増えることにより、SADの計算をスキップ出来る回数が多くなり、より高速な検索が可能となる。しかし、該両手法共にpsea距離を計算する矩形領域は画像を段階ごとに等分割して得ることを前提としているため、psea距離を計算する矩形領域の大きさや位置及び計算順序が、必ずしも十分に少ない計算処理で得られる最適な設定になっているわけではないという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、検索対象画像内でテンプレート画像と類似している画像領域を高速に検索することができる画像検索装置、画像検索方法、および、画像検索プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、請求項１に記載の発明は、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置であって、前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出部と、前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割部と、前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索部と、を備えていることを特徴とする画像検索装置である。

請求項２に記載の発明は、前記画像分割部は、前記算出された指標値を、前記テンプレート画像に対して複数の走査方向毎に射影して、前記指標値の分布を前記複数の走査方向毎に求め、前記複数の走査方向毎に求められた前記指標値の分布を前記複数の走査方向毎に分割した場合に、当該分割された前記指標値の分布における前記指標値の分布の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記複数の走査方向毎に求められた前記指標値の分布を前記複数の走査方向毎に分割し、前記分割された前記複数の走査方向に基づいて、前記テンプレート画像を複数の前記画像領域に分割する、ことを特徴とする請求項１に記載の画像検索装置である。

請求項３に記載の発明は、前記画像分割部は、所定の段階数に到達するまで、前記複数の画像領域それぞれを再帰的に複数の画像領域に分割し、前記画像検索部は、前記検索対象画像内において、前記テンプレート画像との類似尺度が最も高い検索位置を検索する場合に、前記検索対象画像に対しての積分画像と前記テンプレート画像とに対しての積分画像とをそれぞれ生成し、前記画像分割部で分割した最も粗い段階から前記所定の段階数に対応する段階までの段階の順に、前記最も粗い段階から前記所定の段階数に対応する段階までのうちの第１の段階における複数の画像領域を用いて、前記生成した前記検索対象画像に対しての積分画像と前記複数の前記画像領域に対応する積分画像とから前記第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記第１の段階に対して次の段階である第２の段階における複数の画像領域を用いて、前記第２の類似尺度を計算する、ことを特徴とする請求項１または請求項２に記載の画像検索装置である。

請求項４に記載の発明は、前記画像検索部は、前記テンプレート画像の前記複数の画像領域と前記複数の画像領域に対応する前記検索対象画像内の画像領域との間のsea距離またはmsea距離を足し合わせた値を前記第１の類似尺度とし、前記sea距離またはmsea距離を足し合わせた値が小さいほど前記第１の類似尺度が高いと判定する、ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置である。

請求項５に記載の発明は、前記画像検索部は、前記テンプレート画像の前記複数の画像領域と前記複数の画像領域に対応する前記検索対象画像内の画像領域との間のmnccを前記第１の類似尺度とし、前記mnccの値が大きいほど前記第１の類似尺度が高いと判定する、ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置である。

請求項６に記載の発明は、前記指標値算出部は、前記テンプレート画像の各画素に対してのグラディエント、エッジ、または、分散を、前記複雑さを示す指標値として算出する、ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像検索装置である。

請求項７に記載の発明は、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置において用いられる画像検索方法であって、前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出手順と、前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割手順と、前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索手順と、を備えていることを特徴とする画像検索方法である。

請求項８に記載の発明は、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置としてのコンピュータに、検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置であって、前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出手順と、前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割手順と、前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索手順と、を実行させるための画像検索プログラムである。

この発明によれば、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、テンプレート画像を分割した際に得られる各検索位置におけるmsea距離が少ない分割数でより効率的に増加するように分割を行うことにより、より少ない階層及び処理回数において検索位置でSAD距離を計算するかスキップするかの判定を可能とする。
これにより、テンプレート画像を分割した際に得られる各検索位置におけるmsea距離を少ない分割数でより効率的に増加させることができ、テンプレートが画像を分割する分割数および距離計算回数を低減させることができる。
そのため、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、より少ない階層及び処理回数でSAD距離を計算するか該検索位置をスキップするか否かの判定ができ、検索対象画像内でテンプレート画像と類似している画像領域を高速に検索することができる。

この発明の一実施形態による画像検索装置の構成を示すブロック図である。 本実施形態による画像検索装置の動作を示すフローチャートである。 図２のステップS2における処理を詳細に説明するフローチャートである。 各軸方向別に指標値の分布を作成した一例を示す説明図である。 テンプレート画像を分割する例を示す説明図である。 図２のステップS4における処理を詳細に説明するフローチャートである。 一例としての検索対象画像とテンプレート画像とを示す画像である。 従来技術による画像検索の方法（SEA法）を示すフローチャートである。 従来技術による画像検索の方法（MSEA法）を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による画像検索装置１００の構成を示す概略ブロック図である。

本実施形態による画像検索装置１００は、検索対象画像内でテンプレート画像と類似している画像領域を検索する。この画像検索装置１００は、入力部１０と、指標値算出部２０と、画像分割部３０と、画像検索部４０と、出力部５０とを備えている。

入力部１０には、テンプレート画像が入力される。また、この入力部１０には、検索対象画像が入力される。

指標値算出部２０は、入力部１０に入力されたテンプレート画像の各画素に対して、複雑さを示す指標値を算出する。たとえば、指標値算出部２０は、テンプレート画像の各画素に対してのグラディエント、エッジ、または、分散を、複雑さを示す指標値として算出する。

画像分割部３０は、入力部１０に入力されたテンプレート画像を複数の画像領域に分割した場合に、当該分割された複数の画像領域における指標値の合計値がそれぞれ等しくなるように、指標値算出部２０により算出された指標値に基づいて、テンプレート画像を複数の画像領域に分割する。これを、各分割された領域について段階的に繰り返し、所定の段階数まで画像領域を段階的に分割する。この複数の画像領域の形状は、たとえば、それぞれが矩形である。

一例としては、画像分割部３０は、次のようにして、テンプレート画像を複数の画像領域に分割する。まず、画像分割部３０は、指標値算出部２０により算出された指標値を、テンプレート画像に対して複数の走査方向毎に射影して、指標値の分布を複数の走査方向毎に求める。次に、画像分割部３０は、複数の走査方向毎に求められた指標値の分布を複数の走査方向毎に分割した場合に、各走査方向において当該分割された領域内の指標値の分布の合計値がそれぞれ等しくなるように、算出された指標値に基づいて、複数の走査方向毎に求められた指標値の分布を複数の走査方向毎に分割する。そして、画像分割部３０は、分割された指標値の領域に基づいて、テンプレート画像を複数の画像領域に分割する。この複数の走査方向とは、たとえば、互いに直交しているＸ軸とＹ軸である。

画像検索部４０は、入力部１０に入力された検索対象画像からテンプレート画像と同じ大きさの画像領域を切り出し、当該切り出した画像領域（検索位置）において、画像分割部３０で求めたテンプレート画像の分割を用いて、テンプレート画像と検索位置との各分割段階での類似尺度を計算し、求めた類似尺度とこれまでの検索で得られた最も類似尺度が高い値とを比較することにより、当該検索対象画像の検索位置についてテンプレート画像との詳細な類似尺度を計算するか否かを決定する。このとき、画像検索部４０は、各検索位置において、最終段階での類似尺度がこれまでの検索で得られた最も高い類似尺度よりも高い場合、詳細な類似尺度を計算し、該詳細な類似尺度がこれまでの検索で得られた最も高い類似尺度よりも高い場合のみ、最も高い類似尺度の値を該詳細な類似尺度を用いて更新する。この処理を検索対象画像上で検索位置をずらしながら繰り返し、テンプレート画像との類似尺度が最も高い検索位置を、検索対象画像内でテンプレート画像と類似している画像領域として検索する。

このように、画像検索部４０は、検索対象画像内のテンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、画像分割部３０で分割したテンプレート画像の複数の画像領域と当該複数の画像領域それぞれに対応する検索対象画像内の画像領域との間の距離に基づいて、テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度（粗い類似尺度）を計算する。そして、画像検索部４０は、第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度（詳細な類似尺度）を計算する。そして、画像検索部４０は、この計算した第２の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、最大の類似尺度の値を計算した第２の類似尺度の値に更新し、テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、検索対象画像内でテンプレート画像と類似している画像領域として検索する。なお、上記の第２の類似尺度とは、第１の類似度よりも詳細な第２の類似度である。

画像検索部４０は、まず、画像分割部３０により分割された最も粗い分割（第０段階の分割）を用いて、テンプレート画像における各分割とそれに対応する検索位置における分割との類似尺度を計算し、各分割における類似尺度の総和を求める。この類似尺度の総和が、これまでの検索で得られた最大の類似尺度よりも高い場合のみ、次の段階の分割における照合（類似尺度の計算）を行う。最終段階の分割まで計算を終え、最終段階の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合、該検索位置の詳細な類似尺度を求める。該詳細な類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合、最大の類似尺度を当該詳細な類似尺度によって更新したうえで、検索位置をずらして、次の検索対象画像中の画像領域について照合を行う。

このようにして、粗い分割で計算した類似尺度を用いて、より詳細な分割を用いて詳細な類似尺度を計算するか否かを決定し、必要な画像領域についてのみ詳細な類似尺度の計算を繰り返す。ここで、粗い分割における類似尺度とは、たとえば、sea距離またはmsea距離のことである（分割０の場合がsea距離である）。最終段階の分割で用いる詳細な類似尺度とは、たとえば、SAD距離である。なお、類似尺度が最も高い画像領域とは、テンプレート画像とのsea距離（またはmsea距離やSAD距離）が最小となる画像領域を意味する。

なお、画像検索部４０は、検索対象画像内の検索位置との類似尺度を計算する場合に、検索対象画像に対しての積分画像とテンプレート画像とに対しての積分画像とをそれぞれ生成する。そして、画像検索部４０は、生成した検索位置に対しての積分画像とテンプレート画像に対しての積分画像とを用いて、類似尺度を計算してもよい。

たとえば、画像分割部３０は、所定の段階数に到達するまで、複数の画像領域それぞれを再帰的に複数の画像領域に分割する。そして、画像検索部４０は、検索対象画像内において、テンプレート画像との類似尺度が最も高い検索位置を検索する場合に、検索対象画像に対しての積分画像とテンプレート画像とに対しての積分画像とをそれぞれ生成する。さらに、画像検索部４０は、画像分割部３０で分割した最も粗い段階から所定の段階数に対応する段階までの段階の順に、最も粗い段階から所定の段階数に対応する段階までのうちの第１の段階における複数の画像領域を用いて、生成した検索対象画像に対しての積分画像と複数の画像領域に対応する積分画像とから第１の類似尺度を計算し、第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、第１の段階に対して次の段階である第２の段階における複数の画像領域を用いて、第２の類似尺度を計算する。

なお、画像検索部４０は、テンプレート画像の複数の画像領域と複数の画像領域に対応する検索対象画像内の画像領域とのsea距離またはmsea距離を足し合わせた値がこれまでに検索した最大の類似尺度よりも小さい場合に、テンプレート画像の複数の画像領域と当該当該テンプレート画像の各画像領域に対応する検索位置内の画像領域との類似尺度がこれまでの検索で得られた最大の類似尺度よりも高いと判定する。

出力部５０は、画像検索部４０により検索された結果を出力する。すなわち、出力部５０は、検索対象画像内でテンプレート画像と類似している画像領域を示す情報を出力する。なお、この画像領域を示す情報とは、検索対象画像内でテンプレート画像と類似している画像領域の、検索対象画像内における位置を示す情報であってもよい。

上記に説明したように、本実施形態によれば、画像分割部３０で「当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように」かつ「再帰的に」テンプレート画像を分割する。
そして、画像検索部４０は、まず画像分割部における粗い分割を用いて、粗い類似尺度でテンプレート画像と検索対象画像とを照合し、その値がこれまでに得られた最大の類似尺度よりも高い場合のみ、画像分割部における細かい（詳細な）分割を用いて、詳細な類似尺度でテンプレート画像と検索対象画像とを照合する。

次に図２の処理フローを用いて、画像検索装置１００の動作について説明する。ここでは、類似尺度としてSADを用い、画像検索装置１００には、入力部１０を介して検索対象画像が予め入力されている場合について説明する。

まず、入力部１０に、検索クエリーであるテンプレート画像が入力される（ステップS1）。次に、指標値算出部２０は、入力部１０に入力されたテンプレート画像の各画素に対して、複雑さを示す指標値を算出する。次に、画像分割部３０は、算出された指標値に基づいて、msea距離を計算する際に用いる矩形領域分割処理を行う（ステップS2）。

次に、画像検索部４０は、msea距離を高速に求める為に用いる、テンプレート画像及び検索対象画像の積分画像を作成する（ステップS3）。次に、画像検索部４０は、該矩形領域情報と該積分画像を用いて画像検索処理を行う（ステップS4）。次に、出力部５０は、検索結果（ステップS5）を出力する。
これにより、画像検索装置１００は、検索対象画像内でテンプレート画像と類似している画像領域を検索することができる。

次に、図２の各ステップにおける処理内容について詳細に説明する。まず、図３を用いて、図２のステップS2における指標値算出部２０と画像分割部３０とによる処理について詳細に説明する。なお、この図２は、本発明の画像検索方法におけるsea値を計算する為の、矩形領域設定方法を説明する処理フロー図である。

先ず、ステップS2-1において、指標値算出部２０は、テンプレート画像の各画素の位置で画像の複雑さを表現する指標値を計算する。この指標値としては、例えば画像の微分値（グラディエント（Gradient））である次式７や、この次式７の計算を省略して近似した次式８、または、次式９などが利用可能である。

次に、ステップS2-2において、画像分割部３０は、各画素で求められた該指標値を、x軸方向及びy軸方向に射影し、各軸方向別に該指標値の分布を作成する処理を行う。この指標値の分布は、画像が複雑であれば高い値をとり、単純であれば低い値をとる。図４に、各方向に指標値を射影して分布が作成された場合の例を示す。

次に、画像分割部３０は、ステップS2-3及びステップS2-4において、ステップS2-2によって得られた分布をもとに、msea距離を算出するための適切な矩形領域にテンプレート画像を分割する。分割方法としては、例えば各軸向において矩形領域の領域内の分布量の総和が、分割前の等分になるように矩形領域を設定する。これにより、テンプレート画像は、複雑な領域はより小さい矩形領域に分割され、変化が少なく複雑でない領域は大きい矩形領域に分割される。

ここでは図５を用いて、画像分割部３０が、指標値の分布に応じて適応的に2段階目まで矩形領域を設定して分割した例について説明する。
例えば、画像分割部３０は、複数段階でmsea距離を計算する為に矩形分割する場合は、1段階目の分割は分布量の総和が分割前の1/2になるように矩形領域の長さを設定する。画像分割部３０は、このような処理をx軸方向及びy軸方向別にそれぞれ実行し、x軸方向の分割位置U1(2)、および、y軸方向の分割位置V1(2)を設定する（図５（ａ）と（ｂ）とを参照）。なお、MSEA法と同様にU1(1)=V1(1)=0、U1(3)=N、U1(3)=Mである。このようにして、1段階目の分割により、テンプレート画像は４つの画像領域に分割される（図５（ｃ）を参照）。

また画像分割部３０は、2段階目の分割では、1段階目の分割時に得られた矩形領域内の指標値の分布量を1/2にする長さに設定するような分割位置を算出する。例えば、画像分割部３０は、x軸方向において、U1(1)とU1(2)との間を分割する位置をU2(2)とし、U1(2)とU1(3)との間を分割する位置をU2(4)とする（図５（ｄ）を参照）。なお、MSEA法と同様にU2(1)=U1(1), U2(3)=U1(2), U2(5)=U1(3)である。画像分割部３０は、x軸方向の場合と同様に、y軸方向もV1(1)とV1(2)との間を分割する位置をV2(2)とし、V1(2)とV1(3)との間を分割する位置をV2(4)とする（図５（ｅ）を参照）。なお、V2(1)=V1(1), V2(3)=V1(2), V2(5)=V1(3)である。このようにして、2段階目の分割により、テンプレート画像は１６の画像領域に分割される（図５（ｆ）を参照）。

画像分割部３０は、このような分割処理を、事前に指定した階層、すなわち、ｎ段階目（ｎは任意の自然数）まで繰り返す。最後に、画像分割部３０は、ステップS2-5で得られた分割位置を結果として、画像検索部４０に出力する。

上述した分割方法により、各段階の各矩形領域はまんべんなく複雑な画像領域を含んでいる。そのため、分割のどの段階でも矩形領域は常に適切に複雑さを含んでいる。よって、本実施形態による画像検索装置１００は、等分割を前提としているMSEA法やFGSE法より少ない分割段階で、より大きなpsea距離及びmsea距離を得るような計算処理が可能となる。

次に、図２のステップS3における画像検索部４０による処理について詳細に説明する。ここでは、上記に図５を用いて説明したように、画像分割部３０が、指標値の分布に応じて適応的に2段階目まで矩形領域を設定して分割した場合を例として、図２のステップS3における画像検索部４０による処理について詳細に説明する。

またここでは、画像検索部４０は、図２のステップS3において、msea距離を算出する際に画素値の積分値を高速に求めるため、テンプレート画像及び検索対象画像から各々に対応する積分画像を作成する。たとえば、テンプレート画像aに対する積分画像aiの座標(i,j)における積分値ai(i,j)は、以下の式１０により算出される。

但し、a(0,0) = a(0,1) = a(1,0) = 0である。
同様に、検索対象画像bに対する積分画像biの座標 (i,j)における積分値bi(i,j)は、以下の式１１により算出される。

但し、b(0,0) = b(0,1) = b(1,0) = 0である。

次に、図６を用いて、図２のステップS4における画像検索部４０による処理、すなわち、本発明の矩形分割を用いて、msea値に基づいたMSEA法による画像検索処理のフローについて説明する。この図６は、本発明における画像検索処理フロー図である。

まず、画像検索部４０は、ステップS4-1で、検索対象画像の検索位置(c,d)においてsea距離であるsea(c,d)を計算する。ついで、画像検索部４０は、ステップS4-2で、該sea距離がそれまでの検索で得られた最小のSAD値であるSADminより大きいか否かを判定する。

ステップS4-2で判定した結果が、sea(c,d) ≧ SADminであれば、画像検索部４０は、検索位置(c,d)をスキップし、全ての位置での検索が終了しているか否かを判定する（ステップS4-3）。ステップS4-3で判定した結果が、全ての位置での検索が終了していない場合、画像検索部４０は、次の検索位置に移る（ステップS4-4とステップS4-1）。

一方、ステップS4-2で判定した結果が、sea(c,d) ≧ SADminでない場合、画像検索部４０は、該検索位置で第一段階のmsea距離であるmsea(c,d)を計算する（ステップS4-5）。画像検索部４０は、この計算を、以下の式１２により計算する（ステップS4-5）。

ここで、画像検索部４０は、各psea距離を高速に算出するために、図２のステップS3で作成した積分画像ai及びbiを用いる。ここで、U1(k)<x≦U1(k+1)及びV1(k)<y≦V1(k+1)のpsea距離は、以下の式１３、式１４、および、式１５により算出される。

このU1(1),…,U2(3) は、図２のステップS2において算出した第1段階におけるx軸方向の分割位置の各座標である。また、V1(1),…,V1(3) も、U1(1),…,U2(3)と同様に、図２のステップS2において算出した第1段階におけるy軸方向の分割位置の座標である。

また、画像検索部４０は、該psea距離を計算する際、図２のステップS3において作成した積分画像を用いる。これにより、画像検索部４０は、U1(k)及びU1(k)がテンプレート画像を等分割する位置でなく任意の位置であっても、MSEA法から計算コストを増やすことなく、該msea距離を高速に計算することができる。

ついで、画像検索部４０は、該msea距離がSADminより大きいか否かを判定する（ステップS4-6）。ステップS4-6で判定した結果がmsea(c,d) ≧ SADminの場合、画像検索部４０は、検索位置(c,d)をスキップし、次の検索位置に移る（ステップS4-3及びステップS4-4）。一方、ステップS4-6で判定した結果がmsea(c,d) ≧ SADminでない場合（msea(c,d) ＜ SADminの場合）、画像検索部４０は、事前に設定した全ての段階まで上記ステップS4-5とステップS4-6との処理を実行したか否かを判定する（ステップS4-7）。

このステップS4-7の判定した結果が、事前に設定した全ての段階まで上記ステップS4-5とステップS4-6との処理を実行していない場合、画像検索部４０は、該検索位置で次の段階のmsea距離を、以下の式１６から式１９を用いて計算する（ステップS4-5）。

このU2(1),…,U2(5) は、ステップS2において算出した第2段階におけるx軸方向の分割位置の各座標である。また、V2(1),…,V2(5) も、U2(1),…,U2(5)と同様にステップS2において算出した第2段階におけるy軸方向の分割位置の座標である。

次に、画像検索部４０は、上記に説明したステップS4-6の動作と同様に、該msea距離とSADminとの大小関係により、検索をスキップするか、次の段階のmsea距離を計算するかを判定する（ステップS4-6）。このようにして、画像検索部４０は、事前に設定した全ての段階まで上記処理を繰り返し（ステップS4-7を参照）、最後の段階においてステップS4-6で得られるmsea距離がmsea(c,d) ≧ SADminでない場合（msea(c,d) ＜ SADminの場合）、該検索位置でSAD(c,d)を計算する(ステップS4-8)。

次に、画像検索部４０は、該SAD(c,d)のSADminに対する大小を判定する（ステップS4-9）。SAD(c,d)≧SADminの場合、画像検索部４０は、検索位置を次の検索位置に移す（ステップS4-4）。SAD(c,d)＜SADminの場合（SAD(c,d)≧SADminでない場合）、画像検索部４０は、SADminを該SAD(c,d)を用いて検索位置を更新し、該検索位置(c,d)を記録する（ステップS4-10）。

画像検索部４０は、このような処理を検索対象画像における全ての検索位置で実行する（ステップS4-3参照）。このようにして、検索対象画像における最後の検索位置まで検索が終了する。その後、画像検索部４０は、SADminが得られた検索位置(c,d)及びSADminを検索結果として、出力部５０を介して出力する（ステップS4-11）。

なお、この図６を用いた説明においては、画像検索装置１００の画像検索部４０が、MSEA法により画像検索処理を実行する場合について説明したが、画像検索装置１００の画像検索部４０は、SEA法（図８を参照）により画像検索処理を実行してもよい。すなわち、画像検索装置１００の画像検索部４０は、sea距離またはmsea距離に基づいて、画像検索処理を実行してもよい。

上記に説明したように本発明による画像検索装置１００は、指標値算出部２０が、テンプレート画像の各画素に対して、複雑さを示す指標値を算出する。次に、画像分割部３０が、テンプレート画像を複数の画像領域に分割した場合に、当該分割された複数の画像領域における指標値の合計値がそれぞれ等しくなるように、算出された指標値に基づいて、テンプレート画像を複数の画像領域に分割する。そして、画像検索部４０は、検索対象画像内において、複数の画像領域との類似尺度が最も高い画像領域を、検索対象画像内でテンプレート画像と類似している画像領域として検索する。

これにより、本発明による画像検索装置１００は、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、より少ない階層及び処理回数でSAD距離を計算するか該検索位置をスキップするか否かの判定を可能とし、検索対象画像内でテンプレート画像と類似している画像領域を高速に検索することができる。

また、従来の固定された矩形領域の設定方法に基づくsea距離若しくはmsea距離の計算処理では、検索対象画像の中でテンプレート画像に最も一致する位置を検索する画像処理において、必ずしも適切な矩形領域の分割が出来なかった。これに対して、本発明による画像検索装置１００は、上記のような構成とその動作により、適切な矩形領域の分割が出来る。そのため、本発明による画像検索装置１００は、従来の方法に対比して、同じ分割回数でよりSADに近い値のmsea距離が計算可能となるよう矩形領域の位置及び大きさを簡易且つ自動的に決定することができる。よって、より少ない分割回数及び計算処理でSADに近いmsea距離が得られる。

また、矩形領域内の画素値の積算値を、積分画像を用いて計算する事により、従来の固定された矩形領域での計算と比較し、計算コストを増やすことなくmsea距離の計算が可能である。

これらにより、従来手法より早い分割段階でSAD距離に近い値のmsea距離を得る事により、SADの計算を省略する回数が増加し、より高速な画像検索処理が可能となる。またCoarse-to-fine法と異なり、必ず最適な結果を得る事が可能である。

また、本発明による画像検索装置１００は、画像検索のみならず、ブロックマッチング動き予測法の手法として、ビデオシーケンスの圧縮処理において、２つの隣り合う時間軸の画面上で現在処理中のブロックに最も近いブロックをサーチする目的にも利用可能である。

なお、上記説明では、画像の複雑さを表す指標値としてグラディエントの計算例を挙げたが、各局所領域での複雑さを表現するのに適する手法であれば、当然ながら別の計算手法であってもよい。たとえば、画像の複雑さを表す指標値として、エッジ検出手法により検出される画素のエッジや、画素値間の分散なども使用可能である。

また、上記説明では、画素値の積分値を算出する際に積分画像を用いたが、当然ながら処理時間は増えるものの、都度画素値の加算処理を実行する手法も使用可能である。

また、上記説明では、矩形領域の分割手法として、横方向若しくは縦方向の矩形領域内の分布量の総和が分割前の等分になる分割方法を用いたが、横方向若しくは縦方向の矩形領域の長さとその矩形領域内の分布量の総和との積が一定になるように画像領域を設定することも使用可能である。

また、上記説明では、より詳細に分割段階を進めた際のmsea距離の計算において、同時にx軸方向及びy軸方向に2倍の矩形領域数になるように分割及びmsea距離の計算を実施しているが、当然ながらFGSE法と同様に画像の複雑さが大きい矩形順に領域の分割及びpsea距離及びmsea距離を算出することも可能である。

また、上記説明では、画像間の類似性を判定する尺度としてSADを用い、また、三角不等式|a+b| ≦ |a|+|b|を用いて各検索位置でSADを計算する必要があるか否かの判定を実施しているが、違う類似尺度や判定基準を用いることも可能である。例えば、SADの代わりに正規化相関（NCC）を、三角不等式の代わりにコーシー・シュワルツの不等式を用いることができる。
SADを用いた場合、第一段階のmsea距離（式（３））に三角不等式|a+b| ≦ |a|+|b|を適用すると、

となる。ここで、上式の右辺はsea距離となっている。このことから、下記式が成り立つことが分かる。

したがって、

ならば、

となるので、第0段階(sea距離)から順に計算をしていき、SADminよりもsea距離(またはmsea距離)が大きな値となったときは、それ以上の段階のmesa距離およびSAD距離は必ずSADminよりも大きいことがいえる。そのため、検索位置(c,d)でのそれ以上の段階のmesa距離の計算およびSADの計算を省略することができる。

NCCとコーシー・シュワルツの不等式を用いる場合も、上述の原理と同様の考え方ができる。NCCは下記式で与えられる。

ここで、

である。ここで、‖Ａ‖は最初に一度計算、‖Ｂ（ｃ，ｄ）‖は各検索箇所で１度計算すれば、以後の計算は不要である。
コーシー・シュワルツの不等式は、下記式で与えられる。

この場合、φ（ｃ，ｄ）にコーシー・シュワルツの不等式を適用すると、

となる。第ｑ段目に分割された状態から得られる値をmcc_levelqとすると、

となるので、MSEAの場合と同様に、

の関係が得られる。上記値に、‖Ａ‖と‖Ｂ（ｃ，ｄ）‖を用いて、検索位置のmncc(c,d)を以下で定める式により計算する。

したがって、MSEAの場合と同様に、mnccを第０段目から順番に計算していき、それまでに得られている最小のNCCであるNCCmin以下になった時点で（SADとは大小関係が逆である事に注意）、NCC(c,d)≦NCCminとなるため、該検索位置をスキップできる。

また、SADの時に事前に積分画像を作成しておく事で、各矩形領域内の値の加算（＝積分）を高速に計算可能な事と同様に、事前に2乗値の積分画像を作成しておけば、容易に各矩形領域内の2乗値の加算（＝積分）を計算可能となる。具体的には、テンプレート画像aに対する2乗値積分画像ai2の座標(i,j)における積分値ai2(i,j)は、以下の式により算出される。

ただし、ai2(0,0)=ai2(1,0)=ai2(0,1)=0である。同様に、検索対象画像bに対する積分画像bi2の座標 (i,j)における積分値bi2(i,j)は、以下の式により算出される。

ただし、bi2(0,0)=bi2(1,0)=bi2(0,1)=0である。各座標値に囲まれた2乗積分値もSADを用いた場合の積分画像の例と同様の方法で求められる。

また、本発明の実施形態による効果を第１表に示す。第１表は、本発明の手法及び従来手法としてフルサーチ法、SEA法、MSEA法を、類似性は判定する尺度としてSADを用い、図９に示される検索対象画像（図９（ａ）を参照）及びその中の一部を抜き出し30dBのガウシアンノイズを人工的に付加して作成したテンプレート画像2種（図９（ｂ）と（ｃ）とを参照）を用いて、検索を実行した結果である。各数値は検索の実行時間[ms]を表す。

この表より、フルサーチ法に対して、従来のSEA法及びMSEA法も検索処理の高速化が実現出来ているが、本発明手法によりさらに高速な検索が実現出来ており、本発明手法の有効性が分かる。

以上説明したように、本実施形態による画像検索装置１００は、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、テンプレート画像を分割した際に得られる各検索位置におけるmsea距離が少ない分割数でより効率的に増加するように分割を行うことにより、より少ない階層及び処理回数において検索位置でSAD距離を計算するかスキップするかの判定を可能とする。
これにより、テンプレート画像を分割した際に得られる各検索位置におけるmsea距離を少ない分割数でより効率的に増加させることができ、テンプレートが画像を分割する分割数および距離計算回数を低減させることができる。
そのため、検索対象画像内でテンプレート画像と類似している画像領域を検索する場合に、より少ない階層及び処理回数でSAD距離を計算するか該検索位置をスキップするか否かの判定ができ、検索対象画像内でテンプレート画像と類似している画像領域を高速に検索することができる。

なお、図１における画像検索装置１００が備えている入力部１０、指標値算出部２０、画像分割部３０、画像検索部４０、または、出力部５０という各構成は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、この各構成は、メモリおよびＣＰＵ（中央演算装置）により構成され、各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、この各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各構成による処理が実行されてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…入力部、２０…指標値算出部、３０…画像分割部、４０…画像検索部、５０…出力部、１００…画像検索装置

Claims (8)

1. 検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置であって、
   前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出部と、
   前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割部と、
   前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索部と、
   を備えていることを特徴とする画像検索装置。
2. 前記画像分割部は、
   前記算出された指標値を、前記テンプレート画像に対して複数の走査方向毎に射影して、前記指標値の分布を前記複数の走査方向毎に求め、
   前記複数の走査方向毎に求められた前記指標値の分布を前記複数の走査方向毎に分割した場合に、当該分割された前記指標値の分布における前記指標値の分布の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記複数の走査方向毎に求められた前記指標値の分布を前記複数の走査方向毎に分割し、
   前記分割された前記複数の走査方向に基づいて、前記テンプレート画像を複数の前記画像領域に分割する、
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記画像分割部は、
   所定の段階数に到達するまで、前記複数の画像領域それぞれを再帰的に複数の画像領域に分割し、
   前記画像検索部は、
   前記検索対象画像内において、前記テンプレート画像との類似尺度が最も高い検索位置を検索する場合に、
   前記検索対象画像に対しての積分画像と前記テンプレート画像とに対しての積分画像とをそれぞれ生成し、
   前記画像分割部で分割した最も粗い段階から前記所定の段階数に対応する段階までの段階の順に、前記最も粗い段階から前記所定の段階数に対応する段階までのうちの第１の段階における複数の画像領域を用いて、前記生成した前記検索対象画像に対しての積分画像と前記複数の前記画像領域に対応する積分画像とから前記第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記第１の段階に対して次の段階である第２の段階における複数の画像領域を用いて、前記第２の類似尺度を計算する、
   ことを特徴とする請求項１または請求項２に記載の画像検索装置。
4. 前記画像検索部は、
   前記テンプレート画像の前記複数の画像領域と前記複数の画像領域に対応する前記検索対象画像内の画像領域との間のsea距離またはmsea距離を足し合わせた値を前記第１の類似尺度とし、前記sea距離またはmsea距離を足し合わせた値が小さいほど前記第１の類似尺度が高いと判定する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置。
5. 前記画像検索部は、
   前記テンプレート画像の前記複数の画像領域と前記複数の画像領域に対応する前記検索対象画像内の画像領域との間のmnccを前記第１の類似尺度とし、前記mnccの値が大きいほど前記第１の類似尺度が高いと判定する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置。
6. 前記指標値算出部は、
   前記テンプレート画像の各画素に対してのグラディエント、エッジ、または、分散を、前記複雑さを示す指標値として算出する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像検索装置。
7. 検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置において用いられる画像検索方法であって、
   前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出手順と、
   前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割手順と、
   前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索手順と、
   を備えていることを特徴とする画像検索方法。
8. 検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置としてのコンピュータに、
   検索対象画像内でテンプレート画像と類似している画像領域を検索する画像検索装置であって、
   前記テンプレート画像の各画素に対して、複雑さを示す指標値を算出する指標値算出手順と、
   前記テンプレート画像を複数の前記画像領域に分割した場合に、当該分割された複数の前記画像領域における前記指標値の合計値がそれぞれ等しくなるように、前記算出された指標値に基づいて、前記テンプレート画像を複数の前記画像領域に分割する画像分割手順と、
   前記検索対象画像内の前記テンプレート画像と同じ大きさの画像領域の異なる検索位置毎に、前記画像分割部で分割したテンプレート画像の前記複数の前記画像領域と当該複数の画像領域それぞれに対応する前記検索対象画像内の画像領域とに基づいて、前記テンプレート画像と当該検索位置に対応する画像領域との第１の類似尺度を計算し、前記第１の類似尺度がこれまでの検索で得られた最大の類似尺度よりも高い場合のみ、前記テンプレート画像と当該検索位置に対応する画像領域との第２の類似尺度であって、前記第１の類似尺度よりも詳細な第２の類似尺度を計算し、当該計算した第２の類似尺度が前記最大の類似尺度よりも高い場合のみ前記最大の類似尺度の値を前記計算した第２の類似尺度の値に更新し、前記テンプレート画像との類似尺度が最も高い検索位置に対応する画像領域を、前記検索対象画像内で前記テンプレート画像と類似している画像領域として検索する画像検索手順と、
   を実行させるための画像検索プログラム。

Images