JP2010218181A - 画像検索装置 - Google Patents

Abstract

【課題】テキストクエリを用いた画像検索において、ユーザの検索意図に近い画像を適切にユーザに返すことが可能な検索装置又は検索方法を提供する。
【解決手段】画像検索部２１は、入力されたテキストクエリに基づいて画像を検索する。クラスタリング部２２は、テキストクエリに基づいて検索された画像の特徴量に基づいて、画像のクラスタリングを行うことによって、画像のクラスタを生成する。確信度算出部２３は、画像毎のクリックログに基づいて、クラスタについてのクラスタ確信度を算出する。代表画像決定部２４は、クラスタに属する画像の中から、クラスタの特徴を表す、一枚又は複数枚の代表画像を決定する。出力部２５は、一枚又は複数枚の代表画像がクラスタ確信度の高い順序で一覧表示される出力用文書を生成する。
【選択図】図１

Description

本発明は、テキストクエリに基づいて画像を検索する装置及び方法に関するものである。

テキストクエリを用いた従来の画像検索手法を、Web上での画像検索を例として説明する。この手法では、Webページに埋め込まれた画像を、そのページのＨＴＭＬ文書に記述されているテキストに関係付けて、データベースに保存する。検索時には、ユーザにより指定された検索語（いわゆるテキストクエリ）を用いて、データベース中のテキストを検索する。そして、検索されたテキストに関連付けられた画像を、検索結果としてユーザに返す。このようにして検索された画像は、テキストクエリに対して、意味的に関連する可能性が高い。ユーザは、例えばユーザ端末上のブラウザを用いて、検索結果としての画像を見ることができる。

ところで、テキストクエリを用いた画像検索においては、前記したとおり、一般には、画像自体のデータは利用されない。すると、データベース上での画像とテキストとの関係づけが不適切であった場合には、テキストクエリに対して関連性の低い画像を検索する可能性がある。

一方、クエリとして画像を用いる技術も存在する。この場合、データベース中の画像とクエリ画像とからそれぞれ抽出された特徴量を比較することで、類似画像を検索できる。しかしながら、この技術では、特徴量を抽出及び比較するための計算量が多い。このため、Web上に存在する画像データのように、画像数が大量となる場合には、ユーザの待ち時間が長くなりがちであるという問題がある。また、画像の特徴量を用いた検索技術では、画像的に類似する画像を検索することはできるが、この技術は、意味的に（例えば「ヨーロッパの町並み」など）関連する画像を検索することは不得意である。

下記特許文献１には、検索された画像を分類して表示するための技術が記載されている。この技術では、文字列をキーとして画像インデックスＤＢを検索し、この文字列を含む画像を取得する。ついで、画像をカテゴリに分類し、分類された各画像の画像特徴量を用いて画像をグループ化する。そして、クライアント装置側に、グループ毎に画像を出力する。また、この技術では、グループ化された画像群を、グループに属する画像の数が多い順番で提示する。

ところで、画像の数が少ないグループにも、ユーザの検索意図に近い画像が含まれている場合がある。このような場合でも、特許文献１の技術では、そのグループは上位には表示されない。すると、クラスタ数が多い場合、検索意図に近い検索結果（画像）をユーザが実質的には閲覧できない場合がありうるという問題がある。

特開２００６−３５０６５５号公報（００４０〜００４３段落）

本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、テキストクエリを用いた画像検索において、ユーザの検索意図に近い画像を適切にユーザに返すことが可能な検索装置又は検索方法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
本発明の画像検索装置は、入力されたテキストクエリに基づいて画像を検索するためのものである。この画像検索装置は、画像検索部と、クラスタリング部と、確信度算出部と、代表画像決定部と、出力部とを備えている。

前記画像検索部は、前記テキストクエリに基づいて画像を検索する構成となっている。前記クラスタリング部は、前記テキストクエリに基づいて検索された画像の特徴量に基づいて、前記画像のクラスタリングを行うことによって、画像のクラスタを生成する構成となっている。前記確信度算出部は、前記画像毎のクリックログに基づいて、前記クラスタについてのクラスタ確信度を算出する構成となっている。前記代表画像決定部は、前記クラスタに属する画像の中から、前記クラスタの特徴を表す、一枚又は複数枚の代表画像を決定する構成となっている。前記出力部は、前記一枚又は複数枚の代表画像が前記クラスタ確信度の高い順序で一覧表示される出力用文書を生成する構成となっている。

本発明においては、クラスタを代表する画像の表示順序を、画像のクリックログに基づいて制御することができる。このため、ユーザに頻繁に閲覧されている画像を含むクラスタを上位に表示することが可能になる。

（項目２）
前記クラスタ確信度は、さらに特徴確信度及び／又はテキスト確信度に基づいて算出されており、
前記特徴確信度は、前記クラスタに属する画像の数に基づいて算出されており、
前記テキスト確信度は、前記テキストクエリに基づく前記画像の検索結果におけるランキングに基づいて算出されている
項目１に記載の画像検索装置。

前記したクリックログに加えて、特徴確信度及びテキスト確信度のいずれかまたは両方にさらに基づいてクラスタ確信度を算出することにより、クラスタ確信度の信頼性を向上させることができる。

（項目３）
前記特徴確信度の算出においては、前記クラスタに属する前記画像の数に対して、前記クラスタの中心から前記画像までの距離に応じた重み付けがなされている
項目２に記載の画像検索装置。

クラスタの中心に近い特徴量については画像の重みを増し、クラスタから離れた特徴量については画像の重みを減らすことにより、特徴確信度の信頼性を高めることができる。

（項目４）
前記画像のクラスタリングによって生成される前記画像のクラスタの数は、前記出力用文書がユーザ端末で表示された状態における１ページで表示されるクラスタの数とされている、
項目１〜３のいずれか１項に記載の画像検索装置。

生成するクラスタの数を制限することにより、ユーザの待ち時間を短縮することが可能になる。

（項目５）
前記出力用文書は、
前記クラスタに属する前記代表画像が選択されたときに、前記クラスタに属する他の画像を一覧表示するための他の文書をユーザ端末上で表示させるように構成されている
項目１〜４のいずれか１項に記載の画像検索装置。

（項目６）
さらに、代表画像についての選択情報を、前記出力用文書が表示されたユーザ端末から受け取る選択情報受付部を備えており、
前記出力用文書は、
前記クラスタに属する前記代表画像が選択されたことを、前記ユーザ端末を介して、前記選択情報受付部に通知する構成となっており、
前記選択情報受付部は、前記選択された代表画像が属するクラスタ中の全画像を、前記クラスタリング部に送る構成となっており、
前記クラスタリング部は、前記クラスタ中の全画像を、前記したテキストクエリに基づいて検索された画像に代えて処理することによって、前記クラスタ内に、さらに画像のサブクラスタを生成する構成となっており、
前記確信度算出部は、前記クラスタに属する画像毎のクリックログに基づいて、前記サブクラスタについての確信度を算出する構成となっており、
前記代表画像決定部は、前記サブクラスタに属する画像の中から、前記サブクラスタの特徴を表す、サブクラスタ用の代表画像を決定する構成となっており、
前記出力部は、前記各サブクラスタ用の代表画像が前記サブクラスタについての確信度の高い順序で一覧表示される、他の出力用文書を生成する構成となっている
項目１〜５のいずれか１項に記載の画像検索装置。

（項目７）
入力されたテキストクエリを用いて画像を検索するための画像検索方法であって、
前記テキストクエリに基づいて画像を検索するステップと、
前記テキストクエリに基づいて検索された画像の特徴量に基づいて、前記画像のクラスタリングを行うことによって、画像のクラスタを生成するステップと、
前記画像毎のクリックログに基づいて、前記クラスタについてのクラスタ確信度を算出するステップと、
前記クラスタに属する画像の中から、前記クラスタの特徴を表す、一枚又は複数枚の代表画像を決定するステップと、
前記一枚又は複数枚の代表画像が前記クラスタ確信度の高い順序で一覧表示される出力用文書を生成するステップと
を備えることを特徴とする画像検索方法。

（項目８）
項目７に記載の各ステップをコンピュータ上で実行させるためのコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、テキストクエリを用いた画像検索において、ユーザの検索意図に近い画像を適切にユーザに返すことが可能な検索装置又は検索方法を提供することが可能になる。

本発明の第１実施形態に係る検索装置を用いた検索システムの概略を示すブロック図である。 画像ＤＢに格納される画像データ用のデータ構造の一例を示す説明図である。 第１実施形態の検索装置を用いた検索方法の概略を示すフローチャートである。 第１実施形態の検索装置を用いた検索方法を説明するための説明図である。図（ａ）は、テキストクエリで検索された画像のランキングの一例を示す。図（ｂ）は、画像に対するクラスタリングの一例を示す。図（ｃ）は、代表画像を含む出力用文書の一例を示す。 本発明の第２実施形態に係る検索装置を用いた検索システムの概略を示すブロック図である。 第２実施形態の検索装置を用いた検索方法の概略を示すフローチャートである。 本発明の第３実施形態における出力用文書の例を示す説明図である。

（第１実施形態の構成）
本発明の第１実施形態に係る検索装置を用いた検索システムを、図１に基づいて説明する。この検索システムは、ユーザ端末１と、検索装置２と、画像ＤＢ３と、インターネット４とを主要な要素として備えている。

（ユーザ端末）
ユーザ端末１は、端末本体１１と、出力装置１２と、入力装置１３とを備えている。端末本体１１は、ＣＰＵ（図示せず）を備えており、ユーザ端末１の動作に必要な計算処理を行うようになっている。出力装置１２は、ユーザに対して情報を提示するものである。出力装置としては、例えばＬＣＤやＣＲＴなどのディスプレイを用いることができる。本実施形態の出力装置１２は、検索装置２で生成した出力用文書を表示するようになっている。入力装置１３は、ユーザからの指令を受け取るためのものである。入力装置１３としては、例えばキーボードやマウスやトラックボールのような装置を用いることができる。

（検索装置）
検索装置２は、画像検索部２１と、クラスタリング部２２と、確信度算出部２３と、代表画像決定部２４と、出力部２５とを備えている。検索装置２は、いわゆる検索サーバとして実装されている。

画像検索部２１は、ユーザ端末１で入力されたテキストクエリに基づいて、画像ＤＢ３に格納された画像を検索する構成となっている。画像検索部２１は、例えばＷｅｂ検索エンジンを用いて実装することができる。

クラスタリング部２２は、テキストクエリに基づいて検索された画像の特徴量に基づいて、画像のクラスタリングを行うことによって、画像のクラスタを生成する構成となっている（詳細は後述）。

確信度算出部２３は、画像毎のクリックログに基づいて、クラスタについてのクラスタ確信度を算出する構成となっている（詳細は後述）。

代表画像決定部２４は、クラスタに属する画像の中から、クラスタの特徴を表す、一枚又は複数枚の代表画像を決定する構成となっている（詳細は後述）。

出力部２５は、一枚又は複数枚の代表画像がクラスタ確信度の高い順序で一覧表示される出力用文書を生成する構成となっている（詳細は後述）。

（画像ＤＢ）
画像ＤＢ３は、画像検索用の画像を蓄積するものである。画像ＤＢ３は、検索装置２からのアクセスを、ネットワーク経由で、又は直接に受け付けるように構成されている。

画像ＤＢ３に蓄積される画像データのデータ構造の一例を図２に示す。この図に示されるように、画像データは、画像ＩＤと、タグと、画像特徴量と、クリック頻度とを備えている。画像ＩＤは、画像を特定するための記号列である。タグは、画像を検索するためのテキスト情報である。タグとしては、例えば、「花」、「風景」、「建物」のように、画像の意味と関係するテキスト情報を用いることが通常である。画像特徴量は、当該画像の特徴を表すベクトルデータである。画像特徴量としては、例えば、画像中の「色」、「形状」、「テクスチャ」などの特徴をスカラ値で表したものを用いることができる。つまり、これらのスカラ値の組み合わせによって、画像の特徴を表すベクトルを生成することができる。

画像データ中のクリック頻度は、当該画像が今までの検索においてクリックされた回数を表す。画像検索においては、一般に、検索結果としての画像がユーザ端末上で表示される。ユーザは、表示された画像か、又は、それに関連付けられたテキストをクリックすることにより、関連するＵＲＬにアクセスし、そこから詳しい情報を取得することができる。検索サーバは、このような、表示画像に関係して行われたクリックの回数を記録し、表示画像毎に画像ＤＢに記録しておく。表示画像に関係して行われたクリックの回数は、当該画像の重要性を表していると推定できる。つまり、クリックの回数が多い画像は、ユーザにとって重要性の高いものであるという推定が可能である。

すなわち、入力されたテキストクエリに対応して、テキストクエリに類似するタグを持つ画像を検索し、検索結果（サムネール画像や画像のタイトルなど）をユーザに呈示する画像検索が従来から存在する。このタイプの画像検索では、一般に、検索結果としての項目をクリックすることで、検索された画像が拡大表示される。したがって、検索サーバは、テキストクエリに対してどの画像が何回クリックされたかを記録（ログ）に残すことが可能である。これをクリックログと呼ぶ。本実施形態においても、最終的に表示された検索結果に含まれる画像へのクリック回数をクリックログとして記録し、次回の検索時に利用することが可能である。また、本実施形態のテキストクエリに対応する検索結果をそのまま（クラスタリングせずに）一覧表示し、それに対するクリックログを収集して利用することも可能である。

（インターネット）
インターネット４は、ユーザ端末１と検索装置２とを接続して、相互間でデータの送受信を行うためのネットワークである。ただし、ネットワークとしては、インターネットである必要はなく、イントラネットや他の種類のネットワークを用いることは可能である。

（第１実施形態の動作）
つぎに、本実施形態における画像検索方法を、図３及び図４をさらに参照しながら説明する。

（図３のステップＳＡ−１）
まず、ユーザは、ユーザ端末１の入力装置１３を用いて、検索のためのテキストクエリを入力する。具体的には、例えば、ユーザは、ブラウザを用いて表示された、クエリ入力欄（空欄）に、クエリを入力した後、検索ボタンをクリックする。ただし、テキストクエリの入力方法は、特に制約されない。例えば、ユーザは、ブラウザ上に一覧表示されたクエリ群の中から、適宜なクエリを選択する（例えばクリックする）ことにより、クエリをユーザ端末１に入力することができる。

ユーザ端末１に入力されたクエリは、インターネット４を介して、検索装置２の画像検索部２１に送られる。

（図３のステップＳＡ−２）
画像検索部２１は、テキストクエリを用いて、画像ＤＢ３に格納されている画像を検索する。具体的には、テキストクエリと同じか、又は意味的に近いタグを検索し、このタグに関連付けられた画像を特定する。クエリとタグとの類似性を判定する場合は、例えば類義語を格納した辞書ＤＢ（図示せず）を用いることができる。

テキストクエリに基づく検索結果の例を図４（ａ）に示す。ここでは、テキストクエリとして「花」が用いられている。また、検索された画像は、クエリとタグとの類似度に対応して、ランク付けされているものとする。さらに、図４（ａ）は、画像毎のクリックログ回数を注意的に表示している。

（図３のステップＳＡ−３）
ついで、クラスタリング部２２は、テキストクエリにより検索された画像群をクラスタリングする。本実施形態では、画像の特徴量を用いてクラスタリングを行う。生成されたクラスタの例を図４（ｂ）に示す。この図では、各クラスタが破線で表されている。また、各クラスタに属する画像が矩形で表されている。なお、これらの図はあくまで説明用の例示である。また、クラスタ中の画像の記載は適宜省略されている。

クラスタリング手法の一例を以下に説明する。
1)検索結果のランキング中から、最上位の画像を取得する。
2)取得した画像から画像特徴量ｆを抽出する。
3)既存クラスタがある場合は、すべての既存クラスタの中心特徴量と画像特徴量fとの距離dをそれぞれ算出する。
4) 距離ｄが閾値Ｄより大きい場合には新たなクラスタを生成し、その画像の画像特徴量ｆをクラスタに加え、クラスタの中心特徴量をｆとする。既存クラスタがない場合も同様とする。
5) 距離ｄが閾値Ｄ以下の場合には、距離ｄが最も小さいクラスタＡに画像特徴量ｆを加え、クラスタＡの中心特徴量を再計算する。
6)ランキング中の画像データが存在しないなら処理を終了する。
7)検索結果のランキングにおける次順位の画像を最上位と見なして、前記１）に戻る。

次に、クラスタの中心特徴量の算出方法の一例を説明する。

クラスタが線形であれば、クラスタを構成するすべての特徴量に対して特徴量の多次元ベクトルデータの各次元を単純に平均する。クラスタが線形ではない場合には、クラスタから任意の特徴量を選択し、その特徴量から他のすべての特徴量との距離を算出し、合計する。これをクラスタのすべての特徴量に対して行い、最も距離の合計が小さいものを中心特徴量とすることができる。

（図３のステップＳＡ−４）
つぎに、確信度算出部２３は、クラスタ毎の確信度（クラスタ確信度）を算出し、確信度の順でクラスタをソートする。この実施形態では、クラスタ確信度を、以下に説明するクリックログ確信度、テキスト確信度及び特徴確信度に基づいて算出している。ただし、クリックログ確信度のみからクラスタ確信度を算出することは可能である。

（クリックログ確信度）
クラスタ毎のクリックログ確信度の算出においては、はじめに、画像毎のクリックログ確信度を算出する。

まず、画像毎のクリック数に基づいて、画像をランキングする。すると、画像毎のクリックログ確信度は、以下の式により求めることができる。

画像毎のクリックログ確信度＝１／クリック数に基づくランキング。

なお、クリックログデータがない画像に関してはクリック数を０として扱う。したがって、その画像については、ランキングは最大値となり、クリックログ確信度は最小値となる。ただし、前記計算はあくまで一例であり、例えば、以下の式でクリックログ確信度を算出することもできる。

画像毎のクリックログ確信度＝当該画像についてのクリック数／全画像についてのクリック数。

クラスタ毎のクリックログ確信度は、そのクラスタに属する画像のクリックログ確信度の平均として算出することができる。クリックログが高い画像は、クエリを入力したユーザが必要とする画像である可能性が高い。

（テキスト確信度）
次に、テキスト確信度の算出方法を説明する。

既に説明したとおり、テキストクエリに基づく画像の検索結果は、テキストに基づく類似度順でランキングされている。ランキング（１位から始まる整数値）を、以下の式により、画像毎のテキスト確信度に変換することができる。

画像毎のテキスト確信度＝１／テキストクエリに基づくランキング。

これにより、画像毎のテキスト確信度は、最大１となり、ランクが下の画像ほど０に近づくことになる。クラスタ毎のテキスト確信度は、そのクラスタに属する画像のテキスト確信度の平均値として算出することができる。

（特徴確信度）
特徴確信度は、クラスタ毎に算出される。すなわち、属する画像数が多い順に、クラスタをランキングする。クラスタ毎の特徴確信度は、以下の式により求めることができる。

特徴確信度＝１／クラスタの画像数に基づくランキング。

なお、クラスタ中心からの距離により重み付けされた、画像毎の特徴確信度を求めることも可能である。この場合、画像毎の特徴確信度は以下のように求められる。

画像毎の特徴確信度＝１／クラスタランキング×(１．０−α・ｄ／ｄ_max）。

ここで、d：クラスタ中心と、当該画像の特徴量との距離、
d_max：クラスタ中心から最遠の特徴量までの距離、
0≦α≦1.0：重み係数
である。

この場合、クラスタ毎の特徴確信度は、クラスタに属する全画像の特徴確信度の平均として求めることができる。このような重み付け処理は、「特徴確信度の算出において、クラスタに属する画像の数に対して、クラスタの中心から画像までの距離に応じた重み付けを行う」ことの一例に対応している。クラスタの中心に近い画像の特徴確信度の重みを増し、クラスタから離れた画像の特徴確信度の重みを減らすことにより、クラスタについての特徴確信度の信頼性を高めることができる。

（最終的なクラスタ確信度）
最終的なクラスタ確信度は、クリックログ確信度とテキスト確信度と特徴確信度の平均として求めることができる。

あるいは、クリックログ確信度とテキスト確信度と特徴確信度とに対して、０から１までの値ｋ、ｐ、ｑ（ただしｋ＋ｐ＋ｑ＝１）による重み付けを以下のように行っても良い。

クラスタ確信度＝（ｋ×クリックログ確信度＋ｐ×テキスト確信度＋ｑ×特徴確信度）／３。

（図３のステップＳＡ−５）
ついで、クラスタ確信度が高い順で、クラスタをソートする。すなわち、クラスタ確信度が高いクラスタが、高い順位となるように、ソートを行う。

（図３のステップＳＡ−６）
ついで、代表画像決定部２４は、クラスタの特徴を表す代表画像を決定する。代表画像としては、例えば、クラスタの中心特徴量に最も近い画像を用いることができる。代表画像として複数枚の画像を選択することも可能である。例えば、中心特徴量から近い順に、既定枚数の画像を選択し、これらを代表画像とすることができる。あるいは、中心特徴量から既定の距離にある全ての画像を代表画像とすることもできる。

（図３のステップＳＡ−７）
ついで、出力部２５は、出力用文書を生成する。出力用文書は、前記した代表画像が、算出されたクラスタ確信度の高い順序で一覧表示されているものである。出力用文書の一例を図４（ｃ）に示す。この文書は、９個の代表画像を含んでいる。これらの代表画像は、クラスタ確信度が高い順に並べられている。図４（ｃ）における各画像の左側の数字（１〜９）は、代表画像の表示順位を示している。

また、出力部２５は、この出力用文書に表示された代表画像に対応するクラスタ内の他の画像を一覧表示するための他の文書（図示せず）も作成する。

そして、出力用文書における各代表画像には、対応するクラスタの画像を一覧表示する文書へのリンクが付されている。

出力部２５は、前記のように生成された出力用文書を、ユーザ端末１に送る。

ただし、出力部２５は、出力用文書において代表画像が選択された場合に、その代表画像に対応するクラスタ内の画像を一覧表示するための他の文書（図示せず）を生成しても良い。このような生成手法は、代表画像の選択に対応した動的な生成ということができる。

（図３のステップＳＡ−８）
ついで、ユーザ端末１は、検索結果としての出力用文書（図４（ｃ）参照）を、出力装置１２を用いて表示する。

本実施形態では、クリックログに基づいて、代表画像の表示順位を決定しているので、テキストクエリに対する関連性が高い代表画像を上位に表示することが可能になる。したがって、本実施形態によれば、テキストクエリに基づいて、的確な画像検索を実現することができるという利点がある。

（図３のステップＳＡ−９及びＳＡ−１０）
ついで、ユーザは、ユーザ端末１で表示された代表画像のうち、興味があるものをクリックする。すると、出力部２５は、当該クラスタに属する他の画像を含む他の文書（図示せず）をユーザ端末１に送る。これにより、ユーザは、代表画像以外の画像も閲覧することができる。クリックにより表示される他の文書には、代表画像を含むことができる。あるいは、出力部２５は、代表画像の選択に対応して、他の文書を動的に生成して、ユーザ端末１に送ることも可能である。

一般に、画像の特徴として類似する二つの画像がある場合において、ユーザの嗜好の差により、クリック頻度が著しくことなることがありうる。しかしながら、本実施形態においては、クリック頻度が少ない画像であっても、これに類似する画像のクリック頻度が高ければ、これらの画像を含むクラスタを代表する画像は、上位に表示され易くなる。そして、代表画像が選択されることにより、クリック頻度が低い画像もユーザに呈示することができる。したがって、本実施形態においては、ユーザの嗜好の差に基づくクリック頻度の偏りがあっても、それによる検索結果への影響を低減することができるという利点がある。

（第２実施形態の画像検索装置）
次に、図５及び図６を用いて、第２実施形態に係る画像検索装置及び画像検索方法を説明する。この第２実施形態の説明においては、前記した第１実施形態と基本的に共通する要素又はステップについては、同一符号を付することにより、説明を簡略化する。

本実施形態の検索装置２は、選択情報受付部２６をさらに備えている。選択情報受付部２６は、代表画像についての選択情報を、出力用文書が表示されたユーザ端末１から受け取るものである。

また、本実施形態における出力用文書は、「クラスタに属する代表画像が選択されたことを、ユーザ端末１を介して、選択情報受付部２６に通知する」という構成になっている。具体的には、この実施形態では、出力用文書の代表画像に対して、その代表画像が属するクラスタＩＤ（クラスタを特定する番号）が関連付けられている。そして、代表画像が選択されると、その代表画像に関連付けられたクラスタＩＤが選択情報受付部２６に通知されるようになっている。

第２実施形態における画像検索方法を、図６を参照しながら説明する。この実施形態では、出力用文書を表示する処理（ステップＳＡ−８）までは、第１実施形態とほぼ同様である。ただし、出力用文書の内容は、前記したとおり、第１実施形態とは異なっている。

（図６のステップＳＢ−１）
ついで、第２実施形態においては、ユーザが、いずれかの代表画像を選択する。もちろん、複数の代表画像を選択することは可能である。すると、選択情報受付部２６は、選択された代表画像についての情報を、ユーザ端末１を介して受け取る。

ついで、選択情報受付部２６は、選択された代表画像が属するクラスタ中の全画像を、クラスタリング部２２に送る。以降の処理は、第１実施形態におけるステップＳＡ−３かＳＡ−８の処理を再帰的に行っていることに相当する。

（図６のステップＳＢ−２）
クラスタリング部２２は、選択された代表画像が属するクラスタ中の全画像を、第１実施形態における「テキストクエリに基づいて検索された画像」に代えて処理する。これによって、クラスタリング部２２は、クラスタ内に、さらに画像のサブクラスタを生成する。ここで、クラスタリングの方法は前記同様に実施すれば良いが、前記した閾値Ｄを適宜小さくする必要がある。また、先のクラスタリングで用いた特徴量とは異なる種類の特徴量を抽出し直してクラスタリングすることも可能である。例えば、初回のクラスタリングでは色に基づく特徴量を用い、サブクラスタを生成するクラスタリングではテクスチャに基づく特徴量を用いるといった処理も可能である。

（図６のステップＳＢ−３）
確信度算出部２３は、クラスタに属する画像毎のクリックログに基づいて、サブクラスタについての確信度を算出する。この処理は、第１実施形態と基本的に同様である。

（図６のステップＳＢ−４）
さらに、確信度算出部２３は、確信度が高い順で、サブクラスタをソートする。

（図６のステップＳＢ−５）
代表画像決定部２４は、サブクラスタに属する画像の中から、サブクラスタの特徴を表す、サブクラスタ用の代表画像を決定する。

（図６のステップＳＢ−６）
出力部２５は、各サブクラスタ用の代表画像が、サブクラスタについての確信度の高い順序で一覧表示される、他の出力用文書を生成する。結果的に生成される出力用文書の形態は、図４（ｃ）に示された例と実質的に同様である。

（図６のステップＳＢ−７）
生成された他の出力用文書は、第１実施形態と同様にして、ユーザ端末１の出力装置１２上に表示される。

（図６のステップＳＢ−８）
ついで、ユーザは、サブクラスタにおける代表画像のいずれかを選択することができる。すると、本実施形態の検索装置は、サブクラスタの内容を、さらに下位のクラスタに更新して、前記と同様の処理を行う。このように、処理を再帰的に行うことで、クラスタの内部を、必要に応じて細分化して表示することができる。

第２実施形態における他の構成及び利点は、前記した第１実施形態と基本的に共通なので、これ以上詳しい説明は省略する。

（第３実施形態）
つぎに、本発明の第３実施形態に係る検索装置を、図７を参照しながら説明する。この実施形態の説明においては、前記した第１実施形態と共通する構成及び処理については、同一符号を用いることにより、説明を簡略化する。

この第３実施形態においては、画像のクラスタリングによって生成される画像のクラスタの数が制限される。具体的には、出力用文書がユーザ端末で表示された状態における１ページで表示されるクラスタの数を、クラスタリングによって生成する。

実際上は、テキストクエリによって検索された画像の数が膨大になる場合がある。そのような場合に、全ての画像に対してクラスタリングすることは、現実的ではない。そこでこの第３実施形態では、出力用文書の１ページに表示できる代表画像の数、あるいはクラスタの数までクラスタが生成されたら、その段階で、出力用文書を生成する。このようにすると、検索装置での処理時間を短縮することができ、その結果、ユーザの待ち時間も短縮することができる。出力用文書に、「次の２０件」のようなボタンを表示しておき、それが選択されたときに、クラスタリングを続行して、必要数のクラスタを生成することもできる。

さらには、表示する全クラスタを生成する前に、生成されたクラスタを漸次表示することも可能である。具体的には、例えば、次のような処理が可能である。
1)画像検索結果のランキングから、最上位の画像を取得する。
2)当該画像から画像特徴量ｆを抽出する。
3)すべてのクラスタの中心特徴量と、画像特徴量ｆとの距離ｄを算出する
4) 距離ｄが閾値Ｄより大きい場合には新たなクラスタを生成し、画像特徴量ｆを当該クラスタに加え、クラスタの中心特徴量をｆとする。
5) 距離ｄが閾値Ｄ以下の場合には、画像特徴量ｆとの距離が最も小さいクラスタＡに画像特徴量ｆを加え、クラスタＡの中心特徴量を再計算する。
6)この時点でのクラスタを用いて出力用文書を作成し、ユーザ端末１に送る（すなわち画面を更新する）。
7)画像検索結果のランキング中に残りの画像が存在しないなら、処理を終了する。
8)前記の１）に戻る。

このようにすると、一つの画像についての特徴量を処理するごとに、ユーザに呈示される画面を更新することができる。これにより、ユーザは、暫時更新されていく画像を見ることができ、心理的には、待ち時間が短いと感じることになる。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

１ ユーザ端末
１１ 端末本体
１２ 出力装置
１３ 入力装置
２ 検索装置
２１ 画像検索部
２２ クラスタリング部
２３ 確信度算出部
２４ 代表画像決定部
２５ 出力部
２６ 選択情報受付部
３ 画像ＤＢ
４ インターネット

Claims (8)

1. 入力されたテキストクエリを用いて画像を検索するための画像検索装置であって、
   前記テキストクエリに基づいて画像を検索する画像検索部と、
   前記テキストクエリに基づいて検索された画像の特徴量に基づいて、前記画像のクラスタリングを行うことによって、画像のクラスタを生成するクラスタリング部と、
   前記画像毎のクリックログに基づいて、前記クラスタについてのクラスタ確信度を算出する確信度算出部と、
   前記クラスタに属する画像の中から、前記クラスタの特徴を表す一枚又は複数枚の代表画像を決定する前記代表画像決定部と、
   前記一枚又は複数枚の代表画像が前記クラスタ確信度の高い順序で一覧表示される出力用文書を生成する出力部とを備える
   ことを特徴とする画像検索装置。
2. 前記確信度算出部は、
   前記クラスタ確信度を、さらに特徴確信度及び／又はテキスト確信度に基づいて算出する構成となっており、
   前記特徴確信度は、前記クラスタに属する画像の数に基づいて算出されており、
   前記テキスト確信度は、前記テキストクエリに基づく前記画像の検索結果におけるランキングに基づいて算出されている
   請求項１に記載の画像検索装置。
3. 前記確信度算出部は、前記特徴確信度の算出において、前記クラスタに属する前記画像の数に対して、前記クラスタの中心から前記画像までの距離に応じた重み付けを行う構成となっている
   請求項２に記載の画像検索装置。
4. 前記クラスタリング部は、前記画像のクラスタリングによって生成される前記画像のクラスタの数を、前記出力用文書がユーザ端末で表示された状態における１ページで表示されるクラスタの数とする構成となっている、
   請求項１〜３のいずれか１項に記載の画像検索装置。
5. 前記出力部で生成される前記出力用文書は、
   前記クラスタに属する前記代表画像が選択されたときに、前記クラスタに属する他の画像を一覧表示するための他の文書をユーザ端末上で表示させるように構成されている
   請求項１〜４のいずれか１項に記載の画像検索装置。
6. さらに、代表画像についての選択情報を、前記出力用文書が表示されたユーザ端末から受け取る選択情報受付部を備えており、
   前記出力用文書は、
   前記クラスタに属する前記代表画像が選択されたことを、前記ユーザ端末を介して、前記選択情報受付部に通知する構成となっており、
   前記選択情報受付部は、前記選択された代表画像が属するクラスタ中の全画像を、前記クラスタリング部に送る構成となっており、
   前記クラスタリング部は、前記クラスタ中の全画像を、前記したテキストクエリに基づいて検索された画像に代えて処理することによって、前記クラスタ内に、さらに画像のサブクラスタを生成する構成となっており、
   前記確信度算出部は、前記クラスタに属する画像毎のクリックログに基づいて、前記サブクラスタについての確信度を算出する構成となっており、
   前記代表画像決定部は、前記サブクラスタに属する画像の中から、前記サブクラスタの特徴を表す、サブクラスタ用の代表画像を決定する構成となっており、
   前記出力部は、前記各サブクラスタ用の代表画像が前記サブクラスタについての確信度の高い順序で一覧表示される、他の出力用文書を生成する構成となっている
   請求項１〜５のいずれか１項に記載の画像検索装置。
7. 入力されたテキストクエリを用いて画像を検索するための画像検索方法であって、
   前記テキストクエリに基づいて画像を検索するステップと、
   前記テキストクエリに基づいて検索された画像の特徴量に基づいて、前記画像のクラスタリングを行うことによって、画像のクラスタを生成するステップと、
   前記画像毎のクリックログに基づいて、前記クラスタについてのクラスタ確信度を算出するステップと、
   前記クラスタに属する画像の中から、前記クラスタの特徴を表す、一枚又は複数枚の代表画像を決定するステップと、
   前記一枚又は複数枚の代表画像が前記クラスタ確信度の高い順序で一覧表示される出力用文書を生成するステップと
   を備えることを特徴とする画像検索方法。
8. 請求項７に記載の各ステップをコンピュータ上で実行させるためのコンピュータプログラム。

Images