JP2008234327A - 画像検索装置及び画像検索方法 - Google Patents

Abstract

【課題】 色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法を提供する。
【解決手段】 対象画像入力部１１から入力される対象画像と、比較画像データベース１２に格納されている比較画像とについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像をそれぞれ用意し、対象色度画像と比較色度画像とが並置された検索画像を用いて、光相関演算装置３０においてＪＴＣ法による光学的な相関演算を行って、相関データを取得する。そして、画像検索処理部１５において、得られた相関データから画像の類似性を判断することで画像検索処理を行う。
【選択図】 図１

Description

本発明は、色情報に着目して画像を検索する画像検索装置、及び画像検索方法に関するものである。

画像技術や通信技術が著しく発達した現代社会では、遠隔医療・診断、電子商取引、色を取り入れた各種デザインなど、厳格な色管理が必要な分野が成長している。また、このような分野において、複数の比較画像をデータベース化し、検索しようとする対象画像と複数の比較画像のそれぞれとを比較して画像検索を行うことで、対象画像についての情報を得る方法が検討されている。

対象画像と比較画像とを比較してその類似性等を判断する処理手法として、従来、残差逐次検定法（ＳＳＤＡ法）、あるいは粗密探索法（ピラミッド法）などの方法が知られている。これらの方法では、コンピュータを用いて画像データに対して直接的に演算処理を行うことによって、画像比較が行われる。
特開２００１−２４３４７４号公報

上記したＳＳＤＡ法、ピラミッド法などの直接的な演算処理を利用した方法に対して、光学的な演算処理を利用した画像の類似性の判断手法として、対象画像と比較画像とが並置された検索画像を利用する結合変換相関法（ＪＴＣ：Joint Transform Correlation）が知られている。このような方法では、光相関演算によって高速で画像比較、及びそれを用いた画像検索を実行することが可能である（例えば、特許文献１参照）。

しかしながら、上記したＪＴＣ法では、対象画像と比較画像との間で形状等の類似性を判断することが可能であるが、色情報に着目して画像を検索したい場合には、それに適した画像比較方法にはなっていないという問題がある。

本発明は、以上の問題点を解決するためになされたものであり、色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法を提供することを目的とする。

このような目的を達成するために、本発明による画像検索装置は、（１）画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力手段と、（２）比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースと、（３）対象色度画像と比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段と、（４）対象色度画像と比較色度画像との間で光学的な相関演算を行って、得られた相関データを画像検索処理手段へと出力する光相関演算手段とを備え、光相関演算手段は、（５）対象色度画像と比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力手段と、（６）検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第１フーリエ変換手段と、（７）結合フーリエ変換光像に基づく第２検索光像を生成する光像生成手段と、（８）第２検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第２フーリエ変換手段と、（９）相関光像を検出して相関データを取得する相関データ取得手段とを有することを特徴とする。

また、本発明による画像検索方法は、（ａ）画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力ステップと、（ｂ）比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースを用い、対象色度画像と比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理ステップと、（ｃ）対象色度画像と比較色度画像との間で光学的な相関演算を行って、得られた相関データを出力する光相関演算ステップとを備え、光相関演算ステップは、（ｄ）対象色度画像と比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力ステップと、（ｅ）検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第１フーリエ変換ステップと、（ｆ）結合フーリエ変換光像に基づく第２検索光像を生成する光像生成ステップと、（ｇ）第２検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第２フーリエ変換ステップと、（ｈ）相関光像を検出して相関データを取得する相関データ取得ステップとを有することを特徴とする。

上記した画像検索装置、及び画像検索方法においては、画像検索対象の対象画像、及び比較・検索対象の比較画像のそれぞれについて、画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である対象色度画像、比較色度画像を用意する。そして、これらの対象色度画像及び比較色度画像について、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って、得られた相関データから画像の類似性を判断している。このような構成によれば、色情報に着目した画像検索を、充分な精度で、かつ高速に実行することが可能となる。

ここで、画像検索装置は、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する対象色度画像または比較色度画像を生成する色度画像生成手段を備えることが好ましい。同様に、画像検索方法は、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する対象色度画像または比較色度画像を生成する色度画像生成ステップを備えることが好ましい。

このように、元画像から色度画像を生成することにより、上記した対象色度画像及び比較色度画像を用いた画像検索を好適に実行することが可能となる。なお、色度画像として用いられる色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での強度分布（濃淡）で表した２次元画像等を用いることができる。また、対象画像については、対象画像に代えて対象色度画像を直接に入力する構成としても良い。同様に、比較画像についても、比較画像に代えて比較色度画像を直接にデータベース化しておく構成としても良い。

また、画像検索装置は、相関データ取得手段が、相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することが好ましい。同様に、画像検索方法は、相関データ取得ステップにおいて、相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することが好ましい。

この場合、画像検索装置では、画像検索処理手段が、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断する構成を用いることができる。

同様に、画像検索方法では、画像検索処理ステップにおいて、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断する構成を用いることができる。

このように、光相関演算によって取得された相関画像に対して所定の検索領域を適用して、対象色度画像と比較色度画像との相関度についての情報を取得することにより、色度画像の相関データを用いた画像検索を、高精度で確実に実行することが可能となる。

また、このような検索領域については、画像検索装置は、光相関演算手段において対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、検索領域をあらかじめ設定する検索領域設定手段を備えることとしても良い。同様に、画像検索方法は、対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、検索領域をあらかじめ設定する検索領域設定ステップを備えることとしても良い。

また、光相関演算手段の具体的な構成については、画像検索装置は、第２検索光像を生成する光像生成手段が、結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された第２検索光像を読み出し側から出力する空間光変調器であることが好ましい。同様に、画像検索方法は、光像生成ステップにおいて、結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された第２検索光像を読み出し側から出力する空間光変調器を用いることが好ましい。これにより、対象色度画像と比較色度画像とについての光相関演算を好適に実行することができる。

本発明の画像検索装置及び画像検索方法によれば、対象画像及び比較画像のそれぞれについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像を用意し、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って得られた相関データから画像の類似性を判断して、画像検索処理を行うことにより、色情報に着目した画像検索を、充分な精度で、かつ高速に実行することが可能となる。

以下、図面とともに本発明による画像検索装置、及び画像検索方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。

図１は、本発明による画像検索装置の一実施形態の構成を概略的に示すブロック図である。本実施形態による画像検索装置１Ａは、画像検索制御装置１０と、光相関演算装置３０とを備えて構成された画像検索システムであり、対象画像と比較画像との間で色情報に着目した画像検索を行うことが可能に構成されている。

画像検索制御装置１０は、対象画像入力部１１と、比較画像データベース１２と、色度画像生成部１３と、検索領域設定部１４と、画像検索処理部１５とを有して構成されている。対象画像入力部１１は、画像検索の対象となる対象画像、またはそれに対応する対象色度画像を入力する対象画像入力手段である。また、比較画像データベース１２は、対象画像に対する比較対象となる比較画像、またはそれに対応する比較色度画像を複数、データベース化して記憶する記憶手段である。

また、これらの対象画像入力部１１及び比較画像データベース１２に対して、色度画像生成部１３が設けられている。この色度画像生成部１３は、対象画像入力部１１から入力された対象画像、または比較画像データベース１２から読み出された比較画像について所定のデータ処理を行って、対応する対象色度画像、または比較色度画像を生成する色度画像生成手段である。

画像検索に用いられる対象色度画像は、元画像である対象画像内での色度分布（色度値の分布）を図２に示す色度図（ｘｙ色度図）上でヒストグラム化した色度値ヒストグラム画像である。すなわち、色度画像とは、ｘ，ｙ色度値を色度座標上にマッピングし、そのカウントを積み重ねてヒストグラム化した画像をいう。ここで、色度図におけるｘ、ｙ色度値については、ＣＩＥ−ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚから、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）によって求めることができる。

また、図２のｘｙ色度図において、実線で示した馬蹄形の曲線の内側の領域が、人間の可視領域となる。なお、以下に示す色度画像においては、参考のため、この可視領域を示す馬蹄形の曲線を破線によって示すが、実際に画像検索に用いる色度画像においては、このような曲線は画像中に示さなくても良い。また、本発明において色度画像に用いられる色度図については、上記したｘｙ色度図に限らず、例えばＵＣＳ色度図、ＣＩＥ−ＬＡＢ表色系での色度図など、他の色度空間での色度図を用いても同様の処理が可能である。

このような色度画像である色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での強度分布（濃淡）で表した２次元画像等を用いることができる。また、その他の方法で色度分布を示した２次元画像を色度画像としても良い。図３は、対象画像（ａ）、及びそれに対応する対象色度画像（ｂ）の一例を模式的に示す図である。ここでは、対象画像（ａ）の一例として花の画像を示している。また、対象色度画像（ｂ）においては、色度値データがある程度の強度で分布している領域を斜線を付して模式的に示している。このように、対象色度画像は、対象画像の色情報、すなわち画像内での各色成分の分布量等を反映した強度分布画像となる。

対象色度画像としては、対象画像入力部１１において対象色度画像が入力された場合には、それがそのまま画像検索に用いられる。また、対象画像入力部１１において元画像である対象画像が入力された場合には、色度画像生成部１３において、対象画像について色度分布の色度図上でのヒストグラム化が行われ、対応する対象色度画像が生成される。

また、対象色度画像と比較される比較色度画像は、対象色度画像と同様に、元画像である比較画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である。比較色度画像としては、比較画像データベース１２において比較色度画像が格納されている場合には、それがそのまま読み出されて画像検索に用いられる。また、データベース１２において元画像である比較画像が格納されている場合には、色度画像生成部１３において、比較画像について色度分布の色度図上でのヒストグラム化が行われ、対応する比較色度画像が生成される。

画像検索処理部１５は、対象色度画像と比較色度画像とを用意し、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段である。具体的には、画像検索処理部１５は、対象画像入力部１１から入力された対象画像または対象色度画像の画像データ、及び比較画像データベース１２から読み出された比較画像または比較色度画像の画像データに基づき、必要に応じて色度画像生成部１３において色度画像生成処理を行って、画像検索に用いられる対象色度画像と比較色度画像とを用意する。そして、光相関演算装置３０を用いて対象色度画像と比較色度画像との相関データを取得し、得られた相関データから画像の類似性を判断することで画像検索処理を行う。

また、検索領域設定部１４は、画像検索処理部１５で実行される画像検索において相関データである相関画像に対して検索領域を適用する方法が用いられる場合に、検索領域をあらかじめ設定するための検索領域設定手段である。この検索領域等については、具体的な画像検索方法とともに後述する。

画像検索制御装置１０には、画像検索処理部１５に対して、検索画像出力部１６、及び相関データ入力部１７が設けられている。検索画像出力部１６は、画像検索処理部１５からの指示により、対象色度画像と比較色度画像とが並置された画像である検索画像を生成し、光相関演算装置３０へと出力する。また、相関データ入力部１７は、光相関演算装置３０において取得された対象色度画像と比較色度画像との相関データを入力し、画像検索処理部１５へと送出する。

画像検索制御装置１０は、具体的には、例えば、画像検索処理等の各種の処理を実行するＣＰＵと、処理動作に必要な各ソフトウェアプログラム等が記憶されるＲＯＭと、比較画像データベース１２に用いられる内部メモリまたは外部記憶装置などの記憶装置とを有して構成される。また、図１に示した構成では、画像検索制御装置１０に対して、入力装置２１、表示装置２２、及び外部Ｉ／Ｆ２３が接続されている。

入力装置２１は、画像検索装置１Ａにおける画像検索処理等の処理動作に必要な情報、指示の入力に用いられる入力手段である。このような入力装置２１としては、例えばキーボード、マウス、あるいは各種のボタン、スイッチなどが挙げられる。表示装置２２は、例えば液晶ディスプレイ等によって構成され、必要に応じて、画像検索処理に必要なデータや情報の表示、及び得られた画像検索結果の表示などに用いられる。

また、外部Ｉ／Ｆ２３は、画像検索制御装置１０に対して他の記憶装置、処理装置などの外部装置を接続する際に用いられる。なお、これらの入力装置２１、表示装置２２、外部Ｉ／Ｆ２３については、必要に応じて設ければ良い。また、対象画像入力部１１による対象画像または対象色度画像の入力については、例えば、上記構成において入力装置２１または外部Ｉ／Ｆ２３を介して画像データを入力する構成を用いることができる。

光相関演算装置３０は、液晶表示装置３１と、第１フーリエ変換レンズ３２と、空間光変調器３３と、読み出し光供給部３４と、ハーフミラー３５と、第２フーリエ変換レンズ３６と、相関データ取得装置３７とを有して構成されている。

液晶表示装置３１は、検索画像出力部１６から入力された、対象色度画像と比較色度画像とが並置された検索画像を表示し、検索画像に基づく検索光像を出力する検索光像出力手段である。また、第１フーリエ変換レンズ３２は、検索光像をフーリエ変換して、対象色度画像と比較色度画像とについての結合フーリエ変換光像を形成する第１フーリエ変換手段である。

空間光変調器３３は、結合フーリエ変換光像に基づく第２検索光像を生成して出力する光像生成手段である。また、第２フーリエ変換レンズ３６は、第２検索光像をフーリエ変換して、対象色度画像と比較色度画像との間の相関度を示す相関光像を形成する第２フーリエ変換手段である。また、相関データ取得装置３７は、相関光像を検出して相関データを取得し、画像検索制御装置１０の相関データ入力部１７へと出力する相関データ取得手段である。

このような構成において、液晶表示装置３１から対象色度画像と比較色度画像とが並置された検索画像によって生成された検索光像が出力されると（検索光像出力ステップ）、この検索光像はレンズ３２によってフーリエ変換されて、結合フーリエ変換光像が生成される（第１フーリエ変換ステップ）。このレンズ３２によって形成された結合フーリエ変換パターンは、空間光変調器３３に対して書き込み部３３ａ側から入力され、結合フーリエ変換光像の情報が空間光変調器３３に書き込まれる。

一方、空間光変調器３３の読み出し部３３ｂには、空間光変調器３３とレンズ３６との間に斜めに配置されたハーフミラー３５を介して、読み出し光供給部３４からの読み出し光が入力されている。そして、この読み出し光によって結合フーリエ変換パターンに対応して生成された光像が、第２検索光像として読み出し部３３ｂから出力される（光像生成ステップ）。

ここで、読み出し光供給部３４については、例えばレーザ光源などの読み出し光源と、読み出し光源から供給された読み出し光をハーフミラー３５へと導く導光光学系とによって構成することができる。また、第２検索光像を生成する空間光変調器３３としては、例えば光アドレス型のＰＡＬ−ＳＬＭを用いることができる。このように、空間光変調器を用いて光相関演算装置３０を構成することにより、対象色度画像と比較色度画像とについての光相関演算を好適に実行することができる。

空間光変調器３３から出力された第２検索光像は、ハーフミラー３５を通過し、レンズ３６によってフーリエ変換される（第２フーリエ変換ステップ）。これにより、対象色度画像と比較色度画像との間の相関度についての情報を含む相関光像が形成され、相関データ取得装置３７において相関光像が検出されて、結合変換相関法（ＪＴＣ法）による相関データが取得される（相関データ取得ステップ）。

上記実施形態による画像検索装置、及び画像検索装置を用いて実行される画像検索方法の効果について説明する。

図１に示した画像検索装置１Ａ、及び画像検索方法においては、画像検索対象の対象画像、及び比較対象の比較画像のそれぞれ（図３の画像（ａ）参照）について、画像検索処理部１５において、画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である対象色度画像、比較色度画像を用意する（図３の画像（ｂ）参照）。そして、これらの対象色度画像及び比較色度画像について、光相関演算装置３０において、対象色度画像と比較色度画像とが並置された検索画像を用いた光学的な相関演算を行って、得られた相関データから画像の類似性を判断している。

このように、元画像をそのまま用いるのではなく、それに対応する色度値ヒストグラム画像を用いて画像を比較するとともに、ＪＴＣ法による光相関演算を利用して色度画像の相関度を計測して画像検索を行う構成によれば、色情報に着目した画像検索を、充分な精度で、かつ光演算によって高速に実行することが可能となる。

このような画像検索の応用の一例として、図３に示した花の画像の検索が挙げられる。例えば、対象画像入力部１１から入力された検索対象の花の画像を、比較画像データベース１２に登録された全国の産地の花の画像のそれぞれと、対応する色度画像によって比較する。そして、データベース１２に登録された産地のうち、最も類似度が高いと判断された産地を選択するという画像検索方法が考えられる。

あるいは、画像検索の応用の他の例として、人肌の画像の検索が挙げられる。このような人肌の画像の検索は、例えば皮膚病の診断、化粧品についてのアドバイスなどの分野において有効であると考えられる。また、比較画像データベース１２に登録された人肌の画像に診断内容、化粧品番号などの情報を付加しておけば、画像検索の結果に基づいて、それらの付加情報を有効に利用することが可能となる。

ここで、図１に示した画像検索装置１Ａでは、画像検索制御装置１０において、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対象色度画像または比較色度画像を生成する色度画像生成部１３を設けている。このように、画像検索装置１Ａ内において、元画像から色度画像を生成することが可能な構成とすることにより、上記した対象色度画像及び比較色度画像を用いた画像検索を好適に実行することが可能となる。

なお、対象画像については、上記したように、対象画像入力部１１において、対象画像に代えて対象色度画像を直接入力する構成としても良い。同様に、比較画像についても、比較画像データベース１２において、比較画像に代えて比較色度画像を直接データベース化しておく構成としても良い。このような場合、色度画像生成部１３については、不要であれば設けなくても良い。

さらに、色度画像生成部１３において、元画像（対象画像、比較画像）からの色度画像（対象色度画像、比較色度画像）の生成について、元画像にマスク処理を施し、元画像内の必要な画像部分について色度画像を作成することが可能な構成としても良い。そのようなマスク処理の一例としては、例えば、図４に示すように、花の画像に対して、対象物を囲むマスク線（図４中の破線）を作成し、マスク線の外側部分（図４中で斜線を付した部分）を色度画像の生成対象から外して、マスク線の内側の画像部分のみについてヒストグラム化による色度画像の生成を行う方法がある。このように、元画像に対して必要なマスク処理を行った上で生成された色度画像を画像検索に用いることにより、花などの対象物に関する画像検索の精度を向上することができる。

また、光相関演算装置３０に用いられる相関データ取得装置３７については、対象色度画像と比較色度画像との相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得する相関画像取得装置を用いることが好ましい。このように、対象色度画像と比較色度画像との間の相関度についての情報を含む相関画像を取得し、画像検索処理部１５において相関画像を用いて画像の類似性の判断、及びそれに基づく画像検索処理を行うことにより、色度画像を用いた画像検索を精度良く実行することが可能となる。このような相関画像取得装置としては、例えばＣＣＤなどの撮像素子を用いることができる。

また、このように光相関演算装置３０において相関画像が取得される場合、画像検索処理部１５においては、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断することが好ましい。このように、光相関演算によって取得された相関画像に対して所定の検索領域を適用して、対象色度画像と比較色度画像との相関度についての情報を取得することにより、色度画像の相関データを用いた画像検索を確実に実行することが可能となる。

また、このような検索領域について、図１に示す構成では、画像検索制御装置１０において、検索領域を設定するための検索領域設定部１４を設けている。この場合の検索領域の設定方法としては、例えば、あらかじめ光相関演算装置３０において対象色度画像同士の間で光学的な相関演算を行い、得られた相関画像を参照して検索領域を設定する方法が挙げられる。このような方法によれば、相関画像に対する検索領域を、相互相関ピークの位置に確実に対応するように設定することが可能である。

図１に示した画像検索装置１Ａを用いた画像検索方法について、図５及び図６を参照してさらに具体的に説明する。図５及び図６は、それぞれ色度画像を用いた画像検索方法について模式的に示す図である。なお、以下においては、画像検索に用いる画像として、元画像ではなく、対象色度画像、及び比較色度画像が用意されている場合について説明し、元画像からの色度画像の生成（図３参照）については、説明を省略する。

本実施形態の画像検索方法においては、まず、図１の画像検索装置１Ａにおいて、画像検索制御装置１０の対象画像入力部１１から画像検索の対象となる対象色度画像Ｐ１を入力する（対象画像入力ステップ）。この対象色度画像Ｐ１には、図５の色度画像（ａ）に模式的に示すように、色度値データがある程度の強度で分布しているデータ領域Ａ１が１または複数存在している。

このような対象色度画像Ｐ１に対し、検索領域設定部１４において、相関画像に対する検索領域を設定するための処理を行う（検索領域設定ステップ）。具体的には、図５の検索画像（ｂ）に示すように、同一の対象色度画像Ｐ１が２つ並置された画像を検索領域設定用の検索画像として生成する。ここでは、対象色度画像Ｐ１の幅を２ｈとし、対象色度画像Ｐ１を＋ｈだけ移動させた画像Ｐ１ａと、−ｈだけ移動させた画像Ｐ１ｂとを並置して検索画像としている。また、これらの画像Ｐ１ａ、Ｐ１ｂには、それぞれ対象色度画像Ｐ１でのデータ領域Ａ１に対応する領域Ａ１ａ、Ａ１ｂが含まれている。

このような検索画像を検索画像出力部１６から光相関演算装置３０へと出力し、光相関演算装置３０において並置された対象色度画像同士の間で光学的な相関演算を行って、図５の画像（ｃ）に示すような相関画像を取得する。この相関画像（ｃ）には、自己相関ピークＢ１と、ピークＢ１から±方向にそれぞれ２ｈだけ離れた２つの相互相関ピークＣ１ａ、Ｃ１ｂとが現れる。検索領域設定部１４では、この相関画像（ｃ）を参照し、相互相関ピークＣ１ａ、Ｃ１ｂの位置、及び範囲等に基づいて検索領域が設定される。

ここで、ＪＴＣ法を用いた光相関演算によって得られる相関画像について、簡単に説明しておく。比較対象として検索画像において並置される２つの画像をａ（ｘ）、ｂ（ｘ）とし、これらの画像をそれぞれ＋ｈ、−ｈだけ離して並置した画像を検索画像ｃ（ｘ）とすると、この検索画像ｃ（ｘ）は、下記の式（１）

によって表される。また、画像ｃ（ｘ）をフーリエ変換した関数をＣ（ｋ）とすれば、このＣ（ｋ）は下記の式（２）

によって求められる。

この関数Ｃ（ｋ）に対して、複素共役の関数をＣ^†（ｋ）として

と｜Ｃ（ｋ）｜^２をとり、さらに、これを実空間上のパワースペクトルに変換すると、以下の式（４）が得られる。

ここで、式（４）において、記号＊はコンボリューションを表す。

また、この式（４）の右辺において、第１項、及び第２項は、図５（ｃ）に示す相関画像における自己相関ピークＢ１に対応している。また、第３項、及び第４項は、自己相関ピークから±２ｈ離れた相互相関ピークＣ１ａ、Ｃ１ｂにそれぞれ対応している。

ここで、上記したように対象色度画像同士の間で光学的な相関演算を行った場合には、ｂ（ｘ）＝ａ（ｘ）であるので、２つの相互相関ピークＣ１ａ、Ｃ１ｂのピーク強度（相関強度）は互いに等しくなる。また、このような対象色度画像同士についての相関画像を参照し、相関画像に現れる２つの相互相関ピークＣ１ａ、Ｃ１ｂに基づいて検索領域を設定することにより、その対象色度画像に対する画像検索処理を精度良く実行することが可能となる。

対象色度画像同士についての相関画像を参照しての検索領域の具体的な設定方法については、例えば、表示装置２２に表示された相関画像を参照して、操作者が入力装置２１を構成するマウスの操作等によって手動で検索領域を設定する方法を用いることができる。あるいは、相関画像に対してピーク識別のための閾値等をあらかじめ設定しておき、それらの設定条件に基づいて自動で検索領域を設定する方法を用いても良い。また、検索領域の形状については、例えば矩形状、円形状等の領域を用いることができる。

次に、上記のように設定された検索領域を用い、対象色度画像Ｐ１についての画像検索を実行する。比較画像データベース１２に格納された複数の比較色度画像のうちで比較対象とする比較色度画像Ｐ２を選択して読み出して、対象色度画像Ｐ１と比較色度画像Ｐ２とを用意する。そして、図６の検索画像（ａ）に示すように、対象色度画像Ｐ１と比較色度画像Ｐ２とが並置された検索画像を生成する。この画像（ａ）の例では、検索画像中の左側に対象色度画像Ｐ１が、また、右側に比較色度画像Ｐ２が配置されている。また、これらの画像Ｐ１、Ｐ２では、色度値データがある程度の強度で分布しているデータ領域Ａ１、Ａ２の位置、範囲等が互いに異なる。

このような検索画像を検索画像出力部１６から光相関演算装置３０へと出力し、光相関演算装置３０において並置された対象色度画像と比較色度画像との間で光学的な相関演算を行って、図６の画像（ｂ）に示すような相関画像を取得する。画像検索処理部１５は、このようにして得られた相関画像から画像の類似性を判断することで、画像検索処理を行う（画像検索処理ステップ、光相関演算ステップ）。

具体的には、図６の相関画像（ｂ）には、自己相関ピークＢ２が現れる。また、自己相関ピークＢ２から±方向にそれぞれ２ｈだけ離れた２つの相互相関ピークＣ２ａ、Ｃ２ｂが、対象色度画像と比較色度画像との間の相関度に応じた強度で現れる。これに対して、上記したように図５の相関画像（ｃ）に基づいて設定された矩形状の検索領域Ｒａ、Ｒｂを適用する。そして、画像検索処理部１５において、検索領域Ｒａ、Ｒｂ内で取得された相関強度を参照して、対象色度画像と比較色度画像との類似性が判断される。

このような対象色度画像と比較色度画像との画像比較処理、及び類似性の判断処理を、比較画像データベース１２に格納された複数の比較色度画像のそれぞれについて順次実行する。これにより、例えば複数の比較画像のうちで対象画像と色情報に関して最も類似度が高い画像を抽出するなどの画像検索が可能となる。

ここで、上記したように相関画像に対して検索領域を適用し、検索領域内で取得された相関強度を参照して画像検索を行う構成では、相関画像から取得される相関強度は、対象色度画像と比較色度画像との類似性の定量的な指標となる。すなわち、上記方法では、対象色度画像と比較色度画像とで色度分布がある程度異なっていた場合、相互相関ピークは現れるが、その強度が同一の色度分布の場合よりも小さくなる。したがって、相関画像から取得される相関強度の値を参照することにより、例えば、複数の比較画像を対象画像との類似度が高い順に並べるなど、画像検索を利用した様々な情報の取得が可能となる。

本発明による画像検索装置、及び画像検索方法は、上記した実施形態及び実施例に限られるものではなく、様々な変形が可能である。例えば、上記実施形態では、光相関演算装置３０の相関データ取得装置３７として、ＣＣＤなどの画像取得装置を用いる例を説明したが、例えば相互相関ピークを選択的に検出するように配置された光検出器など、他の構成の光検出装置を用いても良い。

本発明は、色情報に着目した画像検索を好適に実行することが可能な画像検索装置、及び画像検索方法として利用可能である。

画像検索装置の一実施形態の構成を概略的に示すブロック図である。 色度画像に用いられるｘｙ色度図を示す図である。 対象画像（ａ）、及びそれに対応する対象色度画像（ｂ）の一例を模式的に示す図である。 元画像からの色度画像の生成方法の一例を示す図である。 色度画像を用いた画像検索方法について模式的に示す図である。 色度画像を用いた画像検索方法について模式的に示す図である。

符号の説明

１Ａ…画像検索装置、１０…画像検索制御装置、１１…対象画像入力部、１２…比較画像データベース、１３…色度画像生成部、１４…検索領域設定部、１５…画像検索処理部、１６…検索画像出力部、１７…相関データ入力部、２１…入力装置、２２…表示装置、２３…外部Ｉ／Ｆ、
３０…光相関演算装置、３１…液晶表示装置、３２…第１フーリエ変換レンズ、３３…空間光変調器、３３ａ…書き込み部、３３ｂ…読み出し部、３４…読み出し光供給部、３５…ハーフミラー、３６…第２フーリエ変換レンズ、３７…相関データ取得装置。

Claims (12)

1. 画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力手段と、
   比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースと、
   前記対象色度画像と前記比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理手段と、
   前記対象色度画像と前記比較色度画像との間で光学的な相関演算を行って、得られた前記相関データを前記画像検索処理手段へと出力する光相関演算手段とを備え、
   前記光相関演算手段は、
   前記対象色度画像と前記比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力手段と、
   前記検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像とについての結合フーリエ変換光像を形成する第１フーリエ変換手段と、
   前記結合フーリエ変換光像に基づく第２検索光像を生成する光像生成手段と、
   前記第２検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像との間の相関度を示す相関光像を形成する第２フーリエ変換手段と、
   前記相関光像を検出して前記相関データを取得する相関データ取得手段と
   を有することを特徴とする画像検索装置。
2. 前記対象画像または前記比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する前記対象色度画像または前記比較色度画像を生成する色度画像生成手段を備えることを特徴とする請求項１記載の画像検索装置。
3. 前記相関データ取得手段は、前記相関データとして、前記対象色度画像と前記比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することを特徴とする請求項１または２記載の画像検索装置。
4. 前記画像検索処理手段は、前記相関画像に対して、前記相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、前記検索領域内で取得された相関強度を参照して前記対象色度画像と前記比較色度画像との類似性を判断することを特徴とする請求項３記載の画像検索装置。
5. 前記光相関演算手段において前記対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、前記検索領域をあらかじめ設定する検索領域設定手段を備えることを特徴とする請求項４記載の画像検索装置。
6. 前記光像生成手段は、前記結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された前記第２検索光像を読み出し側から出力する空間光変調器であることを特徴とする請求項１〜５のいずれか一項記載の画像検索装置。
7. 画像検索の対象となる対象画像、または対象画像内での色度分布を色度図上でヒストグラム化した対象色度画像を入力する対象画像入力ステップと、
   比較画像、または比較画像内での色度分布を色度図上でヒストグラム化した比較色度画像を複数、データベース化して記憶する比較画像データベースを用い、前記対象色度画像と前記比較色度画像とを用意して、それらの相関データから類似性を判断することで画像検索処理を行う画像検索処理ステップと、
   前記対象色度画像と前記比較色度画像との間で光学的な相関演算を行って、得られた前記相関データを出力する光相関演算ステップとを備え、
   前記光相関演算ステップは、
   前記対象色度画像と前記比較色度画像とが並置された検索画像に基づく検索光像を出力する検索光像出力ステップと、
   前記検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像とについての結合フーリエ変換光像を形成する第１フーリエ変換ステップと、
   前記結合フーリエ変換光像に基づく第２検索光像を生成する光像生成ステップと、
   前記第２検索光像をフーリエ変換して、前記対象色度画像と前記比較色度画像との間の相関度を示す相関光像を形成する第２フーリエ変換ステップと、
   前記相関光像を検出して前記相関データを取得する相関データ取得ステップと
   を有することを特徴とする画像検索方法。
8. 前記対象画像または前記比較画像について色度分布の色度図上でのヒストグラム化を行って、対応する前記対象色度画像または前記比較色度画像を生成する色度画像生成ステップを備えることを特徴とする請求項７記載の画像検索方法。
9. 前記相関データ取得ステップにおいて、前記相関データとして、前記対象色度画像と前記比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関画像を取得することを特徴とする請求項７または８記載の画像検索方法。
10. 前記画像検索処理ステップにおいて、前記相関画像に対して、前記相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、前記検索領域内で取得された相関強度を参照して前記対象色度画像と前記比較色度画像との類似性を判断することを特徴とする請求項９記載の画像検索方法。
11. 前記対象色度画像同士の間で光学的な相関演算を行って得られた相関画像を参照して、前記検索領域をあらかじめ設定する検索領域設定ステップを備えることを特徴とする請求項１０記載の画像検索方法。
12. 前記光像生成ステップにおいて、前記結合フーリエ変換光像を書き込み側から入力し、読み込み光によって生成された前記第２検索光像を読み出し側から出力する空間光変調器を用いることを特徴とする請求項７〜１１のいずれか一項記載の画像検索方法。

Images