JP2011113130A - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents

Abstract

【課題】キーワードの入力だけで精度良好に画像検索を可能とする画像検索装置を得る。
【解決手段】キーワードを指定することでHTML内の画像を検索し、テキスト解析に基づいてキーワードとの関連度を算出し、関連度により順位が付与された複数の検索画像を入力するWeb画像入力部１０と、前記検索画像から画像信号値を測定して画像特徴量として出力する特徴量変換部１と、前記特徴量変換部で出力された画像特徴量を一時的に保管する蓄積部３と、前記関連度が大きい検索画像の上位から信頼件数分を適合画像として判定し前記適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像についてしきい値に基づいて再度の適合画像を探索する探索制御部４と、前記蓄積部３から各検索画像の画像特徴量を読み込み前記各検索画像の画像特徴量に対する前記適合画像の画像特徴量の相違度を測定する相違度測定部５を備えて構成する。
【選択図】図１

Description

本発明は、膨大な数の画像が関連するキーワードを含むテキストと共に蓄積されているデータベース、特にWorld Wide Webに対してキーワードを指定することで、所望の画像検索を可能とする画像検索装置、画像検索方法及び画像検索プログラムに関する。

Web上の大部分の画像は、その画像を参照しているHTML文章と共に存在する。統計的に見ると、HTML文章内の画像へのリンクタグ（IMG SRC）周辺には画像に関連するテキストが多く含まれている。例えば、「ライオン」の画像が含まれるページは、画像へのリンクタグ周辺に「ライオン」という単語が含まれていることが多く、また、含まれていない場合でも動物に関連する話題が記述されている。

そこで、Webに蓄積された膨大な数の画像から所望の画像を効率良く検索するに際して、所望の画像を的確に表現するキーワードを入力し、キーワードとテキスト情報とを比較することで画像検索を行う方法が既にいくつか提案されている。
例えば、非特許文献１及び非特許文献２に示された装置は、画像へのリンクタグ周辺のテキストに指定されたキーワードが含まれているHTMLを特定し、そのHTML内でリンクされた画像を検索する。その際、検索された画像には、キーワードとの関連度合いの高い順に検索順位を付けることが行われる。
また、非特許文献２で示された装置では、キーワードにより検索された複数画像を表示し、その中から所望の画像に近い画像をユーザが選択することで、更に画像を絞り込んで検索することが行われている。

検索された画像とキーワードとの関連度合いは、画像へのリンクタグ周辺のテキスト内に含まれるキーワードの状態（数、位置、フォントサイズ、タグの使用等）から推定する。
また、Google（Google Inc.の商標名）のホームページにおいて既に運用されている実際の検索システムでは、その画像に対する評価結果（閲覧回数、そのページへの被参照リンク数等）も使って、検索された画像とキーワードとの関連度合いを複合的に推定することが行われている。

上記非特許文献１で示された装置は、HTML内のテキストのみを解析して画像を検索するものであり、また、非特許文献２で示された装置は、テキストだけでなく画像の内容にまで及んだ解析により画像を検索するものである。
すなわち、非特許文献２の装置によれば、キーワードを指定して検索された画像の中からユーザが指定した画像と色の分布特徴が似ている画像を絞り込み画像を検索する。具体的には、各画像から抽出されるヒストグラムの類似性を考慮することにより実現するものである。

Charles F., Michael J. S., and Vassilis Athitsos, "WebSeer: An Image Search Engine for the World Wide Web," Technical Report 96-14 of The University of Chicago, August 1, 1996. John R. Smith, Shih-Fu Chang, "Visually Searching the Web for Content," IEEE MultiMedia, vol. 4, no. 3, pp. 12-20, July-September, 1997.

しかしながら、HTML内の画像へのリンクタグ周辺のテキストには、画像とは無関係の単語も含まれるため、HTML内のテキストのみを解析する非特許文献１に示された画像検索装置及びGoogle（Google Inc.の商標名）の検索システムによれば、指定したキーワードとは全く無関係の画像が検索される可能性があった。

また、非特許文献２で示された画像検索装置によれば、画像の絞り込みのため、検索途中でユーザが所望する画像を選択する必要があり、ユーザはキーワードを指定する以外にもインタラクション（人手による画像絞り込み操作）の手間を要していた。

本発明は上記実情に鑑みて提案されたものであり、所望の画像について、キーワードの入力だけで精度良好に画像検索を可能とする画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。

上記目的を達成するため本発明は、HTML内のテキストのみを解析して画像を検索する従来の画像検索装置等によりキーワードを指定して検索された画像の中から、キーワードとの関連度が高い検索上位の画像と画像特徴量が類似している画像を検索結果として提示することによって、より誤差の少ない検索結果に補正するものである。

すなわち、本発明の請求項１の画像検索装置は、ネットワークを介してHTMLページに接続可能としたシステムにおいて、次の構成を含むことを特徴としている。
キーワードを指定することでHTML内の画像を検索し、前記画像に付与されたテキスト情報に対するテキスト解析に基づいて前記キーワードとの関連度を算出し、該関連度により順位が付与された複数の検索画像をWebから入力するWeb画像入力部。
前記Web画像入力部から収集した検索画像から色，形，模様といった低次元の画像信号値を測定して画像特徴量として出力する特徴量変換部。
前記特徴量変換部で出力された画像特徴量を一時的に保管する蓄積部。
前記関連度が大きい検索画像の上位から予め与えられた信頼件数の画像数を適合画像として判定し、前記適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像について与えられたしきい値に基づいて再度の適合画像を探索する探索制御部。
前記探索制御部による適合画像の探索結果に基づいて、前記蓄積部から各検索画像の画像特徴量を読み込み、前記各検索画像の画像特徴量に対する前記適合画像の画像特徴量との相違度を測定する相違度測定部。

請求項２は、請求項１の画像検索装置において、
前記特徴量変換部は、
画像から色，形，模様といった低次元の画像信号値を測定する信号測定部と、
前記信号測定部で測定された画像信号値の出現頻度の分布を計測し画像特徴量として出力する分布測定部と
を備えたことを特徴としている。

請求項３は、請求項２の画像検索装置において、
前記特徴量変換部は、
予め前記信号測定部に入力された様々な画像から測定された画像信号値の集合を、指定されたクラスタ数でクラスタリングし、各クラスタの代表ベクトルを算出するクラスタリング部と、
前記クラスタリング部で算出された代表ベクトルをCodebookとし、前記信号測定部で測定された前記検索画像の画像信号値を最近傍の代表ベクトルへと量子化するベクトル量子化部とを備え、
前記分布測定部は、前記ベクトル量子化部にて量子化された画像信号値の出現頻度の分布を計測して画像特徴量として出力することを特徴としている。

請求項４は、請求項１乃至請求項３のいずれかの画像検索装置において、
前記特徴量変換部から出力される画像特徴量の大きさを一定に正規化する正規化部を具備して成ることを特徴としている。

請求項５の画像検索方法は、ネットワークを介してHTMLページに接続可能としたシステムにおいて、次に示す各ステップを含むことを特徴としている。
キーワードを指定することでHTML内の画像を検索し、前記画像に付与されたテキスト情報に対するテキスト解析に基づいて前記キーワードとの関連度を算出し、該関連度により順位が付与された複数の検索画像を取得する検索画像取得ステップ。
前記各検索画像から色，形，模様といった低次元の画像信号値を測定して画像特徴量として出力する特徴量取得ステップ。
前記関連度が大きい検索画像の上位から予め与えられた信頼件数の画像数を適合画像として判定する適合画像判定ステップ。
前記各検索画像の画像特徴量に対する前記各適合画像の画像特徴量との相違度を測定する相違度測定ステップ。
前記適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像について与えられたしきい値に基づいて再度の適合画像を探索する探索ステップ。
前記適合画像及び再度の適合画像を検索結果として出力する出力ステップ。

請求項６は、請求項５の画像検索方法において、前記相違度測定ステップ及び探索ステップは、新たな適合画像が探索されなくなるまで、複数回繰り返して行うことを特徴としている。

請求項７は、請求項６の画像検索方法において、前記探索ステップを繰り返して行うに際して、前記しきい値を順次小さく設定することを特徴としている。

請求項８は、請求項５に記載した各ステップをコンピュータに実行させる画像検索プログラムであることを特徴としている。

請求項１の画像検索装置によれば、HTML内のテキストのみを解析することでキーワードを指定して検索された検索画像の中から、キーワードとの関連度が大きい検索画像の上位から予め与えられた信頼件数の画像数を適合画像として判定し、適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像について与えられたしきい値に基づいて再度の適合画像を探索制御部で探索するに際して、キーワード指定による検索画像には、統計的に検索上位の画像には下位よりも適合画像が多く含まれる特性を有しているので、探索制御部における適合画像の探索において、検索画像の中から画像特徴量が類似している適合画像を効率良く検索することができ、画像検索結果について誤差の少ない画像検索装置とすることができる。

請求項２の画像検索装置によれば、色，形，模様といった低次元の画像信号値を測定する信号測定部と、画像信号値の出現頻度の分布を計測する分布測定部により、検索画像に対して画像信号値の出現頻度の分布を画像特徴量として出力することができる。

請求項３の画像検索装置によれば、ベクトル量子化により雑音の影響による僅かな画像特徴量の変動であれば許容し、雑音の影響に耐性を持たせ、かつ画像の種類により明確な差がはっきりと識別されるようにした画像特徴量に変換することができる。

請求項４の画像検索装置によれば、正規化された画像特徴量を扱うことにより画像特徴量間の相違度に対する判定を常に一定の尺度で行うことができる。

請求項５の画像検索方法によれば、キーワードを指定することでHTML内のテキストのみを解析して得た検索画像の中から、キーワードとの関連度が上位の検索画像と画像特徴量が類似している画像を適合画像とすることによって、検索システムにおいてより誤差の少ない検索結果を得ることができる。

請求項６の画像検索方法によれば、相違度測定ステップ及び探索ステップを繰り返して行うことで、複数の検索画像からキーワードに合った多くの適合画像を得ることができる。

請求項７の画像検索方法によれば、繰り返し探索の回数に応じて繰り返し探索に使用するしきい値を小さく設定することにより、繰り返し探索により探索の範囲が広がって不適切な画像が適合画像と判定されることを抑制することができる。

請求項８の画像検索プログラムによれば、請求項５に記載した各ステップをコンピュータに実行させることで、画像検索結果について誤差の少ない画像検索方法を実施することができる。

本発明に係る画像検索装置の実施形態の一例を示すブロック図である。 画像検索装置の信号測定部で行われる画像信号値の算出（SIFT）についての説明図である。 画像検索装置のWeb画像入力部で収集した様々な収集画像について、信号測定部で行われる画像信号値の算出についての説明図である。 画像検索装置のWeb画像入力部で検索した検索画像（１個）について、信号測定部で行われる画像信号値の算出についての説明図である。 （ａ）〜（ｃ）は、画像検索装置のクラスタリング部で行うクラスタリング、ベクトル量子化部で行うベクトル量子化、分布測定部で行われるヒストグラム化についての説明図である。 画像検索装置の探索制御部で行われる初期信頼画像数（信頼件数）に応じた適合画像の抽出についての説明図である。 画像検索装置の探索制御部で行われるしきい値に応じた適合画像の抽出（探索１回目）についての説明図である。 画像検索装置の探索制御部で行われるしきい値に応じた適合画像の抽出（探索２回目）についての説明図である。 画像検索装置の探索制御部で行われるしきい値に応じた適合画像の抽出（探索３回目）についての説明図である。 画像検索装置の探索制御部で探索回数に応じて探索範囲を狭くして適合画像を抽出（探索１回目）する場合の説明図である。 画像検索装置の探索制御部で探索回数に応じて探索範囲を狭くして適合画像を抽出（探索２回目）する場合の説明図である。 本発明の画像検索方法の手順を示すフロチャート図である。 本発明に係る画像検索装置の実施形態の他の例を示すブロック図である。

本発明の画像検索装置の実施形態の一例について、図面を参照しながら説明する。
本発明の画像検索装置は、ネットワークを介してHTMLページに接続可能とすることで、HTMLファイルの内容を手掛かりとして、Web上から所望の画像を得るものである。
Web上のサーバには多数のHTMLファイルが蓄積されており、それらはネットワークを介して接続されている。HTMLはテキストと画像から構成され、同じHTML内のテキストの中に、画像の内容を的確に表すキーワードが含まれている場合が多い。
本発明は、キーワードを指定することでWeb上から所望の画像を検索するに際して、HTML内のテキストのみを解析して画像を検索する従来の画像検索方法に付加的に作用する画像検索方法を新たに提供することで、誤差の少ない検索結果となるように補正する。

本発明の画像検索装置は、Web上のテキスト情報及び画像にアクセスするための送受信部と、ユーザによるキーワードの入力を行う入力部と、処理中の画像データ等を記憶する主記憶部と、プログラムを格納する記録部と、プログラムに基づいて計算および各種処理を制御する中央演算部と、処理結果を表示する表示部とを備えたパーソナルコンピュータ（PC）に画像検索プログラムをインストールすることで構築されている。

すなわち、本発明の画像検索装置は、図１に示すように、入力部から入力されるキーワードに対してネットワークに接続してHTMLページから複数（検索総数）の画像を得るWeb画像入力部１０と、各検索画像についての画像特徴量を出力する特徴量変換部１と、特徴量変換部１で出力された画像特徴量の大きさを一定に正規化する正規化部２と、正規化部２で出力された画像特徴量を一時保管する蓄積部３と、検索画像から適合画像を探索する探索制御部４と、検索画像の画像特徴量間の相違度を測定する相違度測定部５とから構成される。

Web画像入力部１０では、ユーザがPCの入力部より入力したキーワードに関して、ネットワークに接続してリンクタグ周辺のテキストに指定されたキーワードが含まれているHTMLを特定し、そのHTML内でリンクされた画像を検索し、検索画像として取り込むことが行われる。その際、検索画像には、従来例として説明した画像検索方法と同様に、テキスト内に含まれるキーワードの状態（数、位置、フォントサイズ、タグの使用等）を判断することで、キーワードとの関連度合いの高い順に検索順位を付けることが行われる。
また、Web画像入力部１０では、後述する画像信号値の量子化のため、ユーザによるキーワードの入力に伴う画像入力とは別に、Web画像もしくは別途撮影された画像から予め様々な種類の画像を収集画像として画像特徴部変換部１に取り込むことが行われる。

特徴量変換部１は、画像から色，形，模様といった低次元の画像信号値を測定する信号測定部１１と、Web画像入力部１０で取得した収集画像についてのクラスタリングを行うクラスタリング部１２と、クラスタリング部１２で算出したセントロイド（代表ベクトル）を記録する記録部１３と、信号測定部１１で測定された画像信号値についてセントロイド（代表ベクトル）へと量子化するベクトル量子化部１４と、ベクトル量子化部１４にて量子化された画像信号値の出現頻度の分布を計測する分布測定部１５とから構成され、分布測定部１５により計測された画像信号値の出現頻度の分布を画像特徴量として出力する。
また、予め取り込む収集画像は、Web画像入力部１０によりWebから取り込むのではなく、例えば記録媒体等に記録された多数のサンプル画像を呼び出し、画像特徴部変換部１の信号測定部１１に直接入力するような構成であってもよい。

信号測定部１１は、図２に示すように、画像からエッジや凹凸等の信号変化の大きい点をキーポイントとして複数抽出し、各キーポイント付近の色，形，模様等から算出される画像信号値（特徴点）を出力する。図２の犬の画像においては、目，鼻，輪郭等がキーポイントとして複数個抽出された画像信号値が出力される。
この信号測定部１１で行われる画像信号値の算出は、公知の技術で実現される。具体的な実現手段としては、例えば、Loweらによって提案されたSIFT（Scale-Invariant Feature Transform, Lowe, D. "Distinctive Image Features from scale-invariant keypoints," International journal of Computer Vision, Vol.60, No.2, pp. 91-110, 2004）を用いることができる。この場合、図２のSIFT特徴量に示されるように、画像信号値は128次元のベクトルとして出力される。

画像信号値の算出に際して上述したSIFTを使用することにより、回転や大きさ等について見え方の異なる画像でも、同一被写体および同じ内容の画像であれば、同じキーポイントが抽出され、同じ特徴ベクトルが抽出される。SIFTは、以下の流れで（Ａ）キーポイントの検出と、（Ｂ）特徴ベクトルの抽出の各処理が行われる。
（Ａ）キーポイントの検出
（ａ）キーポイント候補点の検出
（ｂ）キーポイントのローカライズ
（Ｂ）特徴ベクトルの抽出
（ｃ）オリエンテーションの算出
（ｄ）特徴量の抽出

（ａ）のキーポイント候補点の検出では、DoG（Difference-of-Gaussian）処理により画像からエッジや凹凸等の信号変化の大きい点をキーポイント候補点として複数検出する。ガウス関数のスケールを数段階に変化させ、ガウス関数と入力画像を畳み込んだ平滑化画像を複数作成し、それらの平滑化画像の差分画像（DoG画像）内で極値となる点をキーポイント候補点として検出する。

（ｂ）のキーポイントのローカライズでは、（ａ）で検出されたキーポイント候補点から安定して抽出できるキーポイントを絞り込む。すなわち、コントラストの小さい点、主曲率の大きな点を、ノイズの影響を受けた点、安定的な抽出には向かない点として、キーポイントの候補点からそれぞれ削除する。

（ｃ）のオリエンテーションの算出では、同じキーポイントであれば画像が回転しても同じ特徴ベクトルが抽出できるようにするため、平滑化画像内の各点の勾配から、各キーポイントを特徴付ける方向を算出する。具体的には、キーポイント周辺の矩形領域から勾配方向と勾配強度に関するヒストグラムを測定する。先ず、勾配方向に関して36に量子化された階級で分類する。次に、分類された階級に勾配強度を加算し、ヒストグラム内で最頻を示した階級の方向をオリエンテーションとして算出する。

（ｄ）の特徴量の抽出では、（ｃ）で求めたオリエンテーションに基づいて、各キーポイントにおける特徴ベクトルの抽出対象領域を正規化し、正規化して切り出されたキーポイント周辺の特徴ベクトルの抽出対象領域から特徴ベクトルを算出する。

クラスタリング部１２は、Web画像入力部１０に画像信号値の量子化のために入力された様々な種類の収集画像に対するクラスタリングを行うものである。すなわち、クラスタリング部１２では、信号測定部１１で様々な収集画像から測定された画像信号値の集合を、指定されたクラスタ数でクラスタリングし、各クラスタのセントロイド（代表ベクトル）を算出する。
記録部１３は、クラスタリング部１２で算出されたセントロイド（代表ベクトル）をCodebookとして記憶するものである。

ベクトル量子化部１４では、クラスタリング部１２で算出し記録部１３に記憶されたCodebookにより、信号測定部１１で測定された画像信号値を最近傍のセントロイド（代表ベクトル）へと量子化する。

次に、クラスタリング部１２によるセントロイド（代表ベクトル）の抽出及びベクトル量子化部１４による量子化された画像信号値（画像特徴量）の具体的な算出手順について、図３〜図５を参照しながら説明する。

クラスタリング部１２は、信号測定部１１により様々に異なる多種多様の収集画像（図３）から抽出された画像信号値について、図５（ａ）に示すように、画像信号値空間上にプロットし（各×点が画像信号値である）、画像信号値集合の空間上での分布特性を測定し、距離の近い画像信号値同士で空間をクラスタリングして、各クラスタのセントロイド（図５（ａ）における○×点が特徴ベクトル）を後段のベクトル量子化部１４のためのCodebookとして出力する。

クラスタリングの具体的な実現手段としては、公知技術であるk-meansを用いることができる。k-means によるクラスタリングは、以下の（１）〜（４）の手順により行われる。
（１）データを指定された任意の数であるk個のクラスタに分割する。
（２）各クラスタについて重心を計算する。
（３）全てのデータについて、重心との距離を最小にするクラスタを求め、各データを最小のクラスタに割り当てる。
（４）前回のクラスタから変化がなければ終了する。変化がある場合は、（２）に戻る。

この場合、分割クラスタ数ｋを任意に設定でき、生成される画像特徴量はｋ次元となる。ベクトル量子化でCodebookとなる各クラスタのセントロイド（代表ベクトル）は、Web画像入力部１０で取得した様々に異なる多種多様の収集画像を信号測定部１１に予め入力することで、クラスタリング部１２により生成され、算出されたセントロイド（代表ベクトル）がCodebookとして記録部１３に記録される。

ベクトル量子化部１４は、キーワード入力によりWeb画像入力部１０で検索された検索画像に対して信号測定部１１により抽出された画像信号値を、Codebookの中で最も近いセントロイド（代表ベクトル）へとベクトル量子化する（図５（ｂ））。
例えば、Web画像入力部１０で検索された複数（検索総数）の検索画像の一つが図４のような画像であった場合、信号測定部１１で特徴点を抽出して画像信号値を算出し、この画像信号値が図５（ｂ）に示されるように量子化される。
この際、様々な収集画像から抽出された画像信号値を用いることにより、自然画像として出現しうる画像信号値の分布を求め、その中から代表的な画像信号値を各クラスタのセントロイド（代表ベクトル）として抽出することになる。

分布測定部１５は、各セントロイドへと量子化された画像信号値の出現頻度の分布を計測し、これを画像特徴量として出力する（図５（ｃ））。したがって、分布測定部１５で算出される画像特徴量は、ｋ次元のヒストグラムで作成される。この画像特徴量（ｋ次元のヒストグラム）は、Web画像入力部１０で検索された複数（検索総数）の検索画像分だけそれぞれ作成される。
ベクトル量子化部１４において、信号測定部１１で算出した検索画像の画像信号値をベクトル量子化することにより、分布測定部１５で得られる画像特徴量について、雑音の影響による僅かな画像特徴量の変動であれば許容し、雑音の影響に耐性を持たせ、かつ画像の種類により明確な差がはっきりと識別されるようにした画像特徴量に変換することが可能となる。

正規化部２は、特徴量変換部１の分布測定部１５で出力された画像特徴量の大きさを一定に正規化する。画像特徴量ｘをｋ次元のベクトルと考え、それぞれの要素ｘi（i=1, 2, …., k）とすると、正規化後の画像特徴量ｘ´は次式で定義される。

蓄積部３は、正規化部２で出力された複数（検索総数）の各検索画像の画像特徴量について、Web画像入力部１０で付与された検索順位と関連付けて一時的に保管する。

探索制御部４は、キーワードの入力によりWeb画像入力部１０で検索した複数（検索総数）の検索画像から適合画像を探索するものであり、テキスト解析に基づいて検索された検索画像の中から適合していると考えられる適合画像を抽出し、検索結果として提示する。
適合画像の抽出処理は、次のようにして行われる。
Web画像入力部１０において、テキスト解析に基づいて検索された検索画像の中の検索上位の画像には、統計的に下位よりも指定されたキーワードに適合している画像が多く含まれる。蓄積部３に蓄積されたキーワードとの関連度が上位の検索画像と画像特徴量が類似している画像についても、指定されたキーワードに適合している画像であると考えられる。そこで、テキスト解析に基づいて検索された検索画像の中からこれらの画像だけを検索結果として提示することによって、より誤りの少ない結果に補正できると考えられる。

上記処理を実現するためには、検索総数ｎ，初期信頼画像数（信頼件数）ｍ，しきい値ｔの各値をパラメータとして予め指定し、探索制御部４に与えておく必要がある。
検索総数ｎは、キーワード入力によるテキスト解析に基づいて検索され、画像特徴量変換部１により画像特徴量を算出し、蓄積部３に一時的に蓄積された検索画像の総数である。
初期信頼画像数（信頼件数）ｍは、テキスト解析に基づいて検索された検索画像の関連度の上位から指定されたキーワードに適合していると判定する検索画像の数である。
しきい値ｔは、キーワードに適合していると判定された検索画像以外の検索画像の中から、適合画像（適合していると判定された画像）の画像特徴量との相違度が小さい画像を探索する場合における指標であり、画像同士の画像特徴量の相違度がしきい値ｔより小さい場合に、両者の画像が似ていると判断する。

すなわち、探索制御部４では、蓄積部３に蓄積された検索総数ｎの検索画像の画像特徴量を読み込むことで比較対象となる検索画像を特定する。
相違度算出の信号を出力するテキスト解析に基づいて検索された検索画像の関連度の上位から与えられた初期信頼画像数（信頼件数ｍ）の分だけを適合画像と判定する。
初期信頼画像数（信頼件数ｍ）による適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい画像を、与えられたしきい値ｔに基づいて探索する各処理が行われる。

相違度測定部５は、探索制御部４で適合画像を抽出した場合に、相違度を算出する対象となる適合画像と検索画像を指定する制御信号を受けることで、探索制御部４による適合画像の探索結果に基づいて、蓄積部３から該当する検索画像の画像特徴量を読み込み、画像特徴量間の相違度を測定し、探索制御部４へ出力する。相違度を測定する画像特徴量が蓄積部３で蓄積されたｋ次元のベクトルである画像特徴量ｘ及び画像特徴量ｙである場合、相違度Diff（ｘ，ｙ）は、図５（ｃ）のヒストグラム（ｋ個）に対応する正規化された要素（i=1〜k）の差の二乗の和の平方根となり、次式のように定義される。

上述の画像検索装置の場合、正規化された画像特徴量を扱っているため、相違度は０≦Diff≦２の値を取る（正規化されたベクトルである画像特徴量の大きさは１．０となり、k次元の空間上で考えると、「k次元の特徴ベクトルは必ず原点０を中心とした半径１．０の球面上にある」ことになる。そのため、相違度の最大値は、ベクトル間の距離が最大となるベクトルが真逆に向いたときであり、「２．０」となる。）。相違度は「０」に近いほど画像特徴が互いに似ていることを示す。
また、各検索画像に対する画像特徴量は正規化部２で正規化されているので、画像特徴量間の相違度に対する判定を常に一定の尺度で行うことができる。

探索制御部４及び相違度検出部５で行われる処理の一例を、検索総数ｎ＝１０、初期信頼画像数（信頼件数）ｍ＝３、しきい値ｔ＝０．１０と設定された場合について、図６〜図１１を参照しながら説明する。
図６における×印は画像特徴量を示し、関連度の順位を示す数字を合わせて記述している。初期信頼画像数（信頼件数）ｍ＝３であることから、上位１〜３の数字は指定されたキーワードに適合した適合画像とし、○で印した。

図７に示された空間において、適合画像と判断された１〜３の検索画像のそれぞれを中心として、それ以外の検索画像から適合画像に類似している画像を探索する。
すなわち、適合画像と判断された１〜３の検索画像のそれぞれを中心として、適合画像の球体に対して一定範囲（半径がしきい値ｔ＝０．１０）内に存在する検索画像を新たな適合画像として抽出する。
図７中、円弧は探索範囲の球体を示し、円弧の半径はしきい値ｔ＝０．１０の長さを有している。相違度測定部５では、図７中の表に示されるように、適合画像１〜３に対する各検索画像１〜１０の相違度がそれぞれ算出される。
例えば、適合画像１と検索画像４の画像特徴量の相違度は０．３９であることを示している。なお、表内で（）で示される相違度は、既にそれまでに算出済みであるため、新たに算出する必要はない。

この１回目の探索により、しきい値ｔ＝０．１０を下回る相違度を持ち、適合画像１と類似している検索画像７および適合画像２と類似している検索画像５が新たに発見され、検索画像７及び検索画像５は適合画像と判定し○を印した。このとき、適合画像３との相違度がしきい値を下回る画像がなかったため、適合画像３の周辺には類似している検索画像はなかったことを示している。

同様に、図６において、適合画像と判断された検索画像７及び検索画像５の画像のそれぞれを中心として、それ以外の画像から適合画像に類似している検索画像１〜１０を探索する。この２回目の探索により、しきい値ｔ＝０．１０を下回る相違度を持ち、適合画像７と類似している検索画像９が新たに発見され、検索画像９を適合画像と判定し○を印した。適合画像５との相違度がしきい値を下回る画像がなかったため、適合画像５の周辺には類似している検索画像はなかったことを示している。

同様に、図７において、適合画像と判断された検索画像９の画像を中心として、それ以外の画像から適合画像に類似している検索画像１〜１０を探索する。この３回目の探索により、しきい値ｔ＝０．１０を下回る相違度を持つ検索画像は新たに発見されなかったため、これで探索を打ち切り、終了とする。
探索制御部４からは、適合画像と判定された検索画像１，２，３，５，７，９が検索結果として提示（出力）される。

一方、上述の方法では、初期信頼画像として設定した元々の適合画像１〜３から見ると、探索を繰り返すたびに探索の領域が広がって行き、指定されたキーワードに一致していない画像が適合画像と判定されてしまう懸念がある。そこで、しきい値ｔの代わりに、探索回数Cntに応じて探索範囲が狭くなるように、しきい値ｔ´を設定してもよい。

例えば、図８および図９に示した通り、しきい値ｔ´を、
ｔ´＝ｔ／Cnt
と設定することにより（Cntは探索回数）、探索が進むほど探索範囲は狭くなり、指定されたキーワードに一致していない画像が適合画像と判定されるのを防止することができる。この例では、Cntを探索回数（整数）としたが、探索回数に比例する数であればよく、整数でなくともよい。

続いて、上述した画像検索装置を用いて画像検索を行う手順について、図１２のフロチャート図を参照しながら説明する。
画像検索装置は、ネットワークを介してHTML内の画像にアクセス可能なパーソナルコンピュータ（PC）に画像検索プログラムがインストールされることで構築されている。

画像検索装置の初期値として、クラスタリング部１２に対する指定クラスタ数、探索制御部４に対する検索総数ｎ、初期指定信頼画素数ｍ、指定しきい値ｔを設定しておく。

また、初期設定として、予めWeb画像入力部１０により、様々な種類の画像を収集画像として取り込む（収集画像取込ステップ）。
取り込んだ複数の収集画像について、指定クラスタ数が入力されたクラスタリング部１２で指定クラスタ数に応じた複数のセントロイド（代表ベクトル）を算出し、それぞれCodebookとして記録部１３に記録する。

ユーザがPCの入力部よりキーワードを入力し（キーワード入力ステップ１０１）、このキーワードによりHTML内の画像を検索し、画像に付与されたテキスト情報に対するテキスト解析に基づいてキーワードとの関連度を算出し、関連度により順位が付与された検索総数ｎに等しい複数の検索画像を取得する（検索画像取得ステップ１０２）。

検索総数ｎに等しい複数の検索画像について、色，形，模様といった低次元の画像信号値を測定し（画像信号値算出ステップ１０３）、この画像信号値をベクトル量子化部１４で量子化し（量子化ステップ１０４）、ベクトル量子化部１４にて量子化された画像信号値の出現頻度の分布を分布測定部１５で計測し、計測された画像信号値の出現頻度の分布をそれぞれ画像特徴量として出力する（特徴量算出ステップ１０５）。

画像特徴量変換部１から出力された画像特徴量は、Web画像入力部１０で算出した関連度の情報を付加したまま蓄積部３に一時的に蓄積される（特徴量蓄積ステップ１０６）。

検索総数ｎの検索画像の全てについての画像特徴量を蓄積部３に蓄積したかどうかを判断し（検索総数終了ステップ１０７）、全ての検索画像について終了していない場合は、例えば関連度の検索順位に沿って次の検索画像についての画像信号値の算出を行う（画像信号値算出ステップ１０３）。

検索画像の全て（検索総数ｎ）の各画像特徴量の蓄積部３への蓄積が終了した場合、探索制御部４において、関連度が大きい検索画像の上位から予め与えられた信頼件数（初期指定信頼画素数ｍ）の画像数を適合画像として判定する（適合画像判定ステップ１０８）。

相違度測定部５において、信頼件数（初期指定信頼画素数）の最上位の適合画像の画像特徴量と、初期指定信頼画素数ｍに対応する適合画像以外の画像特徴量との各相違度を測定する（相違度測定ステップ１０９）。

探索制御部５において各画像特徴量の相違度としきい値との比較が行われ、相違度が指定しきい値ｔより小さい場合（適合判定ステップ１１０）、画像同士が似ていると判断し新たな適合画像として抽出する（探索ステップ１１１）。

続いて（適合判定ステップ１１０における相違度が指定しきい値ｔより大きい場合も）、しきい値ｔによる適合画像の探索を実行していない適合画像が未だ存在するかどうかを判断し（未探索適合画像判定ステップ１１２）、存在する場合は適合画像（この例の場合、適合画像判定ステップ１０８における信頼件数の２，３位…ｍの適合画像、又は、適合判定ステップ１１０及び探索ステップ１１１でしきい値ｔにより抽出した適合画像）について、相違度測定ステップ１０９を繰り返し行う（しきい値に基づく再度の適合画像の探索）。適合画像の具体的な抽出の仕方は、上述した図７〜図９の手順で行われる。

すなわち、相違度測定ステップ１０９〜探索ステップ１１１は、新たな適合画像が探索されなくなるまで、複数回繰り返して行われる。探索ステップを繰り返して行うに際して、上述したように、しきい値ｔ´を探索回数に比例する数Cntに応じて順次小さく（ｔ´＝ｔ／Cnt）設定してもよい。

新たな適合画像の抽出がない（探索ステップを実行していない適合画像が存在しない）場合は探索処理を終了し（未探索適合画像判定ステップ１１２）、探索制御部４から全適合画像（適合画像及び再度の適合画像）を検索結果として出力する（出力ステップ１１３）。

図１３は、画像検索装置の他の形態を示すもので、図１と同様の構成を取る部分については同一符号を付している。
図１３の画像検索装置では、クラスタリング部１２，記録部１３及びベクトル量子化部１４を省略した構成となっている。
この例によれば、画像信号値についてのベクトル量子化を行わないため、Web画像入力部１０により、様々な種類の画像を収集画像として取り込むこと（収集画像取込ステップ）も不要となる。

図１３の画像検索装置によれば、キーワードを入力することでWeb画像入力部１０において取得した複数の検索画像について、色，形，模様といった低次元の画像信号値を測定し、この画像信号値について量子化することなく出現頻度の分布を分布測定部１５で計測し、計測された画像信号値の出現頻度の分布をそれぞれ画像特徴量として出力する。

図１３の画像検索装置の場合、画像信号値についての量子化を行っていないため画像特徴量の出力分布（図５（ｃ））は連続的となるが、相違度の算出に際しては、空間をｋ個に等分割して決めたセントロイド（代表ベクトル）で行うことで、上述した数２を使用して計算することができる。
その後の正規化部２による正規化、蓄積部３への検索画像の各画像特徴量の一時的な蓄積、探索制御部４による適合画像の抽出、相違度測定部５における相違度の算出については、図１の画像検索装置と同様の処理が行われる。

本発明の画像検索装置を使用することにより、高精度なWeb画像検索サービスを提供することが可能となる。
すなわち本発明によれば、HTML内のテキストのみを解析して画像を検索する従来の画像検索装置等によりキーワードを指定して検索された画像の中から、キーワードとの関連度が高い検索上位の画像と画像特徴量が類似している画像を検索結果として提示することにより、誤差の少ない検索結果に補正することができ、キーワードの入力だけで精度良好に画像検索を行うことが可能となる。

また、画像検索装置の出力結果を応用することにより、Web上の画像に対して画像の内容に適したキーワードをメタ情報として付与することができるようになる。これにより、表示した画像と類似するWeb上の画像の提示が可能となり、例えば、通販やオークションで関連画像を提示することによるリコメンドサービスを提供できる。

１…画像特徴量変換部、 ２…正規化部、 ３…蓄積部、 ４…探索制御部、 ５…相違度測定部、 １０…Web画像入力部、 １１…信号測定部、 １２…クラスタリング部、 １３…記録部、 １４…ベクトル量子化部、 １５…分布測定部。

Claims (8)

1. ネットワークを介してHTMLページに接続可能としたシステムにおいて、
   キーワードを指定することでHTML内の画像を検索し、前記画像に付与されたテキスト情報に対するテキスト解析に基づいて前記キーワードとの関連度を算出し、該関連度により順位が付与された複数の検索画像をWebから入力するWeb画像入力部と、
   前記Web画像入力部から収集した検索画像から色，形，模様といった低次元の画像信号値を測定して画像特徴量として出力する特徴量変換部と、
   前記特徴量変換部で出力された画像特徴量を一時的に保管する蓄積部と、
   前記関連度が大きい検索画像の上位から予め与えられた信頼件数の画像数を適合画像として判定し、前記適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像について与えられたしきい値に基づいて再度の適合画像を探索する探索制御部と、
   前記探索制御部による適合画像の探索結果に基づいて、前記蓄積部から各検索画像の画像特徴量を読み込み、前記各検索画像の画像特徴量に対する前記適合画像の画像特徴量との相違度を測定する相違度測定部と
   を具備することを特徴とする画像検索装置。
2. 前記特徴量変換部は、
   画像から色，形，模様といった低次元の画像信号値を測定する信号測定部と、
   前記信号測定部で測定された画像信号値の出現頻度の分布を計測し画像特徴量として出力する分布測定部と
   を備えた請求項１に記載の画像検索装置。
3. 前記特徴量変換部は、
   予め前記信号測定部に入力された様々な収集画像から測定された画像信号値の集合を、指定されたクラスタ数でクラスタリングし、各クラスタの代表ベクトルを算出するクラスタリング部と、
   前記クラスタリング部で算出された代表ベクトルをCodebookとし、前記信号測定部で測定された前記検索画像の画像信号値を最近傍の代表ベクトルへと量子化するベクトル量子化部とを備え、
   前記分布測定部は、前記ベクトル量子化部にて量子化された画像信号値の出現頻度の分布を計測して画像特徴量として出力する
   請求項２に記載の画像検索装置。
4. 前記特徴量変換部から出力される画像特徴量の大きさを一定に正規化する正規化部を具備して成る請求項１乃至請求項３のいずれかに記載の画像検索装置。
5. ネットワークを介してHTMLページに接続可能としたシステムにおいて、
   キーワードを指定することでHTML内の画像を検索し、前記画像に付与されたテキスト情報に対するテキスト解析に基づいて前記キーワードとの関連度を算出し、該関連度により順位が付与された複数の検索画像を取得する検索画像取得ステップと、
   前記各検索画像から色，形，模様といった低次元の画像信号値を測定して画像特徴量として出力する特徴量取得ステップと、
   前記関連度が大きい検索画像の上位から予め与えられた信頼件数の画像数を適合画像として判定する適合画像判定ステップと、
   前記各検索画像の画像特徴量に対する前記各適合画像の画像特徴量の相違度を測定する相違度測定ステップと、
   前記適合画像以外の検索画像の中から適合画像の画像特徴量との相違度が小さい検索画像について与えられたしきい値に基づいて再度の適合画像を探索する探索ステップと、
   前記適合画像及び再度の適合画像を検索結果として出力する出力ステップと
   を具備することを特徴とする画像検索方法。
6. 前記相違度測定ステップ及び探索ステップは、新たな適合画像が探索されなくなるまで、複数回繰り返して行う請求項５に記載の画像検索方法。
7. 前記探索ステップを繰り返して行うに際して、前記しきい値を順次小さく設定する請求項６に記載の画像検索方法。
8. 請求項５に記載した各ステップをコンピュータに実行させる画像検索プログラム。