JP2004164654A - 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 - Google Patents

Abstract

【課題】 検索性能を損なうことなくシステム構成を簡易にし、かつ高速な画像検索装置を提供する。
【解決手段】 画像データベースに蓄積された画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する計数変換部１１と、問い合わせ画像の画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する計数変換部１３と、計数変換部１１にて生成された画像データごとの第２の画像特徴量群と係数変換部１３にて変換された問い合わせ画像に関する第２の画像特徴量とを比較して類似度を算出する類似度算出部１４とを備える。
【選択図】 図１

Description

本発明は、画像データベースに蓄積された画像の中から問い合わせ画像に類似する画像を検索する画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体に関する。

画像データを蓄積して管理する画像データベースにおいて、蓄積されている画像データの中から所定の画像（以下、問い合わせ画像と称す）と類似する画像データを検索する画像検索が行われる場合がある。この種の類似画像検索技術は従来から数多く提案されている。

従来、この種の従来の類似画像検索技術は、主として、色情報を画像特徴量として用いるものである。また、その中のほとんどが色情報についてのヒストグラムを計算し、その類似性を用いた検索方法を採用している。しかし、この手法には、画像の持つ色構造が反映されないという欠点があった。

そこで、画像の色構造を反映させた精度の良い検索を行う類似画像検索技術が提案されている。この種の従来技術として、例えば特開平８−２４９３４９号公報に開示された技術がある。同公報に記載された画像データベース装置は、画像を複数のブロックに分割し、各ブロックについての代表色を画像特徴量として求め、パターンマッチングを行う。これにより、色構造を反映した精度よい検索を行うことができる。しかし、同公報に開示された従来技術の場合、各ブロックについて代表色を求めるため特徴量サイズが大きくなってしまうため、検索速度が遅くなってしまう。また、処理に必要なハードウェアの規模が大きくなる。

さらに、この問題を解決すべく、画像を直交変換することにより画像特徴量を効率的に表現する方法が考えられる。図４は変換係数を利用した画像検索装置の主要部分の構成を示すブロック図である。図４に示すように、画像特徴量記憶部４１は、種々の画像データに対する変換係数（４０１）を記憶する。類似度算出部４２は、問い合わせ画像データに対する変換係数（４０３）と画像特徴量記憶部４１に蓄積された特徴量（４０２）との類似度を算出し、その類似度（４０４）を算出し出力する。画像を直交変換し、一部の係数を画像特徴量として利用することにより、画像特徴量サイズを小さくできる。このため、検索処理を高速化することができ、またハードウェア規模を小さくできる。

さらにまた、検索精度を向上させるため、変換係数を復号する方法が考えられる。図５は変換係数の復号を行う画像検索装置の構成を示すブロック図である。図５に示すように、画像検索装置は、画像特徴量記憶部５１と、逆直交変換手段５２と、色空間変換手段５３と類似度算出部５４とを備える。

画像特徴量記憶部５１は、画像データの変換係数（５０１）を画像特徴量として予め保存しておく。逆直交変換手段５２は、画像特徴量記憶部５１に蓄積された画像特徴量（５０２）を逆直交変換し、変換後の画像データ（５０３）を出力する。色空間変換手段５３は、逆直交変換手段５２から出力された画像データ（５０４）の色空間を均等色色空間などに変換して画像データ（５０４）を出力する。また、問い合わせ画像データ（５０５）は、色空間変換手段５５により色空間変換された画像データ（５０６）として類似度算出部５４に入力される。そして、類似度算出部５４は、入力した画像データ（５０６）と色空間変換手段５３から取得した画像データ（５０４）との類似度（５０７）を算出し出力する。
特開平８−２４９３４９号

しかしながら、上述した従来の類似画像検索技術には、次のような欠点があった。

画像を直交変換することにより画像特徴量を効率的に表現する従来技術は、検索処理を高速化でき、またハードウェア規模を小さくできるが、必ずしも視覚的に類似する画像を検出できない、または視覚的に類似しない画像が検出される場合があるという欠点があった。これは、変換係数間の距離と画像間の視覚上の類似度とが合わないため、十分な検索精度が得られないためである。

また、直交変換された係数を復号して画像を再構築したうえで、ＨＳＶ等の色空間にマッピングした画像と、問い合わせ画像とをマッチングする従来技術は、良好な検索精度を得られるが、非常に検索コストがかかり、検索速度も低下するという欠点があった。これは、検索を行う際に、蓄積された画像の特徴量全てに対して１つ１つ復号処理、色空間変換処理を行わなければならないためである。

本発明の目的は、上記従来の欠点を解決し、検索性能を損なうことなくシステム構成を簡易にした画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体を提供することにある。

本発明のさらに他の目的は、簡単な計算で検索できる高速な画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体を提供することにある。

上記の目的を達成する本発明は、画像データベースに蓄積された画像の中から所定の問い合わせ画像に類似する画像を検索する画像検索装置において、前記画像データベースに蓄積された画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する第１の係数変換手段と、前記問い合わせ画像の画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する第２の係数変換手段と、前記第１の係数変換手段にて生成された画像データごとの前記第２の画像特徴量群と前記第２の係数変換手段にて変換された前記第２の画像特徴量とを比較して類似度を算出する類似度算出手段とを備えることを特徴とする。

このような構成を採用し、係数変換手段を設けることにより、検索性能を向上させ、また係数変換で得られた第２の画像特徴量群をそのまま類似度の計算に利用することにより、システム構成を簡易にし、高速な検索を実現するという本発明の目的を達成することができる。

本発明の画像検索装置によれば、予め画像データから抽出される第１の画像特徴量を変換して類似度の算出に用いる第２の画像特徴量を取得しておき、当該第２の画像特徴量を直接利用して類似度の計算を行うため、類似画像の検索の際に画像特徴量の復号処理を行ってパターンマッチング処理を行う必要がない。このため、簡単な計算で検索処理を行うことができ、システム構成を簡易にすることができるという効果がある。

また、第１の画像特徴量を第２の画像特徴量に変換するに当たり、当該第２の画像特徴量群の間の距離が、当該画像間の視覚上の類似度を近似するように変換するため、検索性能を向上させることができるという効果がある。

したがって、本発明によれば、検索性能を損なうことなくシステム構成を簡易にし、かつ高速な画像検索を実現する画像検索装置を提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本発明の一実施の形態による画像検索装置の構成を示すブロック図である。図１を参照すると、本実施の形態による画像検索装置は、画像特徴量の変換を行う係数変換部１１、１３と、係数変換部１１により変換された画像データの画像特徴量を蓄積する画像特徴量記憶部１２と、係数変換部１３により変換された問い合わせ画像の画像特徴量と画像特徴量記憶部１２に蓄積された画像データの画像特徴量とを比較して類似度を算出する類似度算出部１４とを備える。

なお、本実施の形態において、係数変換部１１、１３と類似度算出部１４とは、例えばパーソナルコンピュータやワークステーション、その他のコンピュータシステムにおけるプログラム制御されたＣＰＵとＲＡＭその他の内部メモリとで実現される。また、画像特徴量記憶部１２は、例えば磁気ディスクその他の外部記憶装置で実現される。画像データを外部記憶装置に格納しておき、類似画像の検索を行うたびに問い合わせ画像と比較する画像データの画像特徴量を取り出して変換するならば、画像特徴量記憶部１２を内部メモリで実現することもできる。係数変換部１１、１３及び類似度算出部１４の機能を実現するコンピュータプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の一般的な記憶媒体に格納して提供される。

係数変換部１１、１３は、画像データから抽出される第１の画像特徴量群の各要素を、類似度算出部１４による類似度の算出に用いる第２の画像特徴量群の各要素に変換する。本実施の形態では、画像特徴量として変換係数を用いる。変換係数とは画像データに対して離散コサイン変換（ＤＣＴ）、ウェーブレット変換、アダマール変換などの変換処理を行うことにより得られる係数である。画像特徴量の各係数に対して個別の変換方法を適用して変換することも、複数の係数に対して共通の変換方法を適用することも可能である。

なお、上述のように、係数変換部１１は、画像データベースに蓄積されている画像データから第１の画像特徴量（１０１）を抽出して変換し、変換後の第２の画像特徴量（１０２）を画像特徴量記憶部１２に格納する。また、係数変換部１３は、問い合わせ画像の画像データから第１の画像特徴量（１０３）を抽出して変換し、変換後の第２の画像特徴量（１０４）を類似度算出部１４に送る。

係数変換部１１、１３にて実行される変換方法は、第２の画像特徴量群間の距離が画像間の視覚上の類似度を近似するように係数の変換を行う。すなわち、視覚的に類似する画像においては、両画像における第２の画像特徴量群間の距離が小さくなり、反対に視覚的に類似しない画像においては、両画像における第２の画像特徴量群間の距離が大きくなるように係数の変換を行う。変換の手法としては、このような結果を得られる変換であれば、特にその種類は限定されないが、一例として変換テーブルを用いた手法を挙げることができる。この変換テーブルの選択による係数変換の例については後述する。

なお、本実施の形態では、画像データベースに格納されている画像データから抽出された第１の画像特徴量（１０１）を第２の画像特徴量（１０２）に変換する係数変換部１１と、問い合わせ画像の画像データから抽出された第１の画像特徴量（１０３）を第２の画像特徴量（１０４）に変換する係数変換部１３とを別個に示しているが、実際の装置においてはこれらを同一の処理手段として実現し、入力データが画像データベース中の画像データであるか問い合わせ画像の画像データであるかを識別して生成された第２の画像特徴量の転送先を決定するようにしても良い。

画像特徴量記憶部１２は、係数変換部１１により変換された、画像データベースに格納されている画像データに関する第２の画像特徴量（１０２）を記憶する。そして、類似度算出部１４からの要求に応じて、記憶している第２の画像特徴量を類似度算出部１４に送る（１０５）。

類似度算出部１４は、係数変換部１３から受け取った問い合わせ画像に関する第２の画像特徴量（１０４）と、画像特徴量記憶部１２から受け取った第２の画像特徴量（１０５）とを比較して、類似度を算出する。すなわち、二つの第２の画像特徴量（１０４）（１０５）の間の距離を算出する。そして、画像特徴量記憶部１２から受け取った第２の画像特徴量（１０５）のうちで、類似度の高い、すなわち問い合わせ画像から得られた第２の画像特徴量（１０４）との間の距離が近いものを選択し、当該第２の画像特徴量（１０５）に対応する画像データベース中の画像を問い合わせ画像の類似画像として検出する（１０６）。なお、類似、非類似の判定は、適当なしきい値を設定しておいて、二つの第２の画像特徴量（１０４）（１０５）の間の距離が当該しきい値よりも大きいか小さいかを判断することにより判定することができる。

上記のように類似度算出部１４は、問い合わせ画像から得られた第２の画像特徴量（１０４）と画像特徴量記憶部１２に記憶されている第２の画像特徴量（１０４）を用いて類似度計算を行う。したがって、類似画像の検索の際に画像特徴量の復号処理を行う必要がない。このため、システム構成を簡易にすることができる。また、事前に蓄積されている第２の画像特徴量を直接利用して類似度の計算を行うため、簡単な計算で検索処理を行うことができる。

次に、係数変換部１１、１３における画像特徴量の変換処理に変換テーブルを用いる場合において、変換処理に使用する変換テーブルを選択する方法について説明する。図２は変換テーブルの選択手順を説明するフローチャートである。

図２を参照すると、まず、初期設定として、画像データおよび画像データに対応する変換係数を用意する。また、変換係数に対する変換テーブルを用意する（ステップ２０１）。ここで、変換係数としては上述のように種々の変換方法を用いることができ、これに応じて変換テーブルの種類も選択されることとなる。また、各変換係数の振幅の小さい部分に対して細かく範囲を区切って値を割り当てる（量子化する）ように係数変換を行うテーブルを用意し、振幅が大きい部分に対して粗く範囲を区切って値を割り当てる（量子化する）ように係数変換を行うテーブルを用意する必要がある。さらに、複数の変換係数に着目すれば、相対的にパワーの小さい係数に対しては細かく範囲を区切って値を割り当てる（量子化する）ように係数変換を行うテーブルを用意し、パワーの大きい係数に対しては粗く範囲を区切って値を割り当てる（量子化する）ように係数変換を行うテーブルを用意する必要がある。そこで、少しずつ区切る範囲の異なる複数のテーブルを用意する。さらに、変換テーブルは、各係数毎に個別の基準で変換するテーブル、複数の係数を同一の基準により変換するテーブルのいずれを用いることも可能である。

次に、問い合わせ画像と、画像データベースに蓄積されている画像であって問い合わせ画像に対して視覚的に類似している画像とを設定する（ステップ２０２）。当該問い合わせ画像に対して視覚的に類似している画像を正解画像と呼ぶ。ここで、検索精度を高めるために、問い合わせ画像とそれに対応する正解画像とは複数設定され、それぞれについて以下の処理が行われるものとする。なお、問い合わせ画像に対してどのような画像が視覚的に類似しているかについては、最終的には正解画像を選択するオペレータの主観による。

次に、係数変換部１１、１３が用意された変換テーブルを読みこみ、かつ画像データの変換係数を取得して、読み込んだ変換テーブルを用いて係数変換を行う（ステップ２０３）。ここで、係数変換部１１は、画像データベースに蓄積されている画像データごとに、対応する変換係数を取得して変換を行い、係数変換部１３は、問い合わせ画像の画像データに関して変換係数を取得して変換を行う。また、係数変換部１１にて変換された係数は、画像特徴量記憶部１２に格納される。

次に、問い合わせ画像の変換後の係数（第２の画像特徴量）と、画像特徴量記憶部１２に記憶された変換後の係数（第２の画像特徴量）とを比較して類似度を算出する（ステップ２０４）。そして、画像データベース中の各画像を、算出された類似度の高い順に並べ替え（ステップ２０５）、さらに、正解画像が検出される順位の平均値を求める（ステップ２０６）。

全ての問い合わせ画像に対して、ステップ２０４からステップ２０６の手順で、正解画像が検出される順位の平均値をそれぞれ求め（ステップ２０７）、算出された全ての問い合わせ画像における平均順位の平均値（以下、検出平均順位と呼ぶ）を求める（ステップ２０８）。

次に、ステップ２０８で求められた検索平均順位と、変換テーブルとを係数変換部１１、１３に登録する。既に他の変換テーブル及び検索平均順位が登録されている場合は、新しく求められた検索平均順位と既に登録されている検索平均順位とを比較する。そして、新しく求められた検索平均順位の方が大きければ、登録されている変換テーブル及び検索平均順位をそのまま維持し、新しく求められた検索平均順位の方が小さければ、登録されている変換テーブル及び検索平均順位を、当該新しい変換テーブル及び検索平均順位に置き換える（ステップ２０９、２１０）。

用意されている複数の変換テーブルについて順次同様の処理を行い、当該変換テーブルにおける検索平均順位を求める。そして、検索平均順位の値の小さい変換テーブル及び検索平均順位を残していく。用意されている全てのテーブルについて検索平均順位を算出し終えたならば、記憶されている変換テーブル、すなわち最小の検索平均順位を得られる変換テーブルを、最適な変換テーブルとして出力し、処理を終了する（ステップ２１１）。

なお、以上の動作例では、正解画像が検索される順位の平均値を評価値として用いているが、正解画像が検索された場合の類似度の平均値を評価値として、問い合わせ画像に対する類似度平均値の合計を最大にするようなテーブルを選定してもよい。

次に、実際に類似画像の検索を実施した結果を示す。

はじめに画像２０４５枚を含む画像データベースを用いて実験を行うことにより係数変換テーブルを作成する。２６種類の問い合わせ画像に対してオペレータの主観的な評価により類似している画像（正解画像）を予め選定しておく。また、変換された係数毎の２乗誤差を重みづけ加算したものを画像間の距離とし、距離が短い順番に並べ替えて、正解の順位の平均（検索平均順位）を評価値とする。そして、複数の変換係数テーブル及び重みづけ係数を適用して評価を行い、最も検索平均順位が低くなる変換係数テーブルを算出しておく。

画像特徴量の生成方法は、以下のように行った。まず、静止画像を８×８ブロックに分割し、各ブロックの平均色を算出し、固定サイズ（８画素×８画素）の縮小画像を生成する。次に、縮小画像に対してＤＣＴ変換を行い、得られる係数のうち輝度・色差信号の低次係数列を抽出する。さらに、得られるＤＣＴ係数を、変換テーブルを利用して変換し、画像特徴量とした。

画像５４６６枚を含む画像データベースを用い、上記の条件で決定算出された最適なテーブルを利用して類似画像の検索実験を行った。

予め、５０種類の問い合わせ画像に対して、それぞれ主観評価により類似している画像を事前に選定し、正解として定めておく。そして、問い合わせ画像とデータベースに含まれる画像の特徴量間の重みつき差分二乗和を近い順に並べ替えて、上位ｎ位以内に含まれる正解画像の数を検索正解率として評価する。なお、検索正解率＝上位ｎ位以内に検出された正解数／全正解数、また、ｎ＝事前に選定された正解画像数の４倍と定義する。

図３は、同様の画像データベース及び問い合わせ画像に対して、ＤＣＴ係数そのものを利用して類似画像を検索する従来技術と、変換したＤＣＴ係数を利用して類似画像を検索する本実施の形態と、ＤＣＴ変換した後に画像を復号しパターンマッチングを行って類似画像を検索する従来技術とを用いて、検索正解率を求めた結果を示す図である。

図３を参照すると、変換テーブルを導入した本実施の形態の手法によれば、大幅に性能が向上していることがわかる。また、８×８の画像を復号してパターンマッチングを行う場合とほぼ同程度の性能が、遥かに少ない係数の数により出ている。

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではない。本発明の要旨を逸脱しない範囲内において種々の変形が可能であることは言うまでもない。

本発明の一実施の形態による画像検索装置の構成を示すブロック図である。 本実施の形態に用いられる変換テーブルの選択手順を説明するフローチャートである。 ＤＣＴ係数そのものを利用する方法と、変換したＤＣＴ係数を利用する方法と、画像復号を利用する方法においての、同じ画像データベース及び問い合わせに対する画像検索正解率を示す図である。 従来の画像検索装置の構成を示すブロック図である。 従来の他の画像検索装置の構成を示すブロック図である。

符号の説明

１１、１３ 係数変換部
１２ 画像特徴量記憶部
１４ 類似度算出部
１０１、１０３ 第１の画像特徴量
１０２、１０４、１０５ 第２の画像特徴量
１０６ 検索結果

Claims (1)

1. 画像データベースに蓄積された画像の中から所定の問い合わせ画像に類似する画像を検索する画像検索装置において、
   前記画像データベースに蓄積された画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する第１の係数変換手段と、
   前記問い合わせ画像の画像データから抽出される第１の画像特徴量群を変換して類似度の算出に用いる第２の画像特徴量群を生成する第２の係数変換手段と、
   前記第１の係数変換手段にて生成された画像データごとの前記第２の画像特徴量群と前記第２の係数変換手段にて変換された前記第２の画像特徴量とを比較して類似度を算出する類似度算出手段と
   を備えることを特徴とする画像検索装置。

Images