JP2014211730A - 画像検索システム、画像検索装置および画像検索方法 - Google Patents

Abstract

【課題】
ユーザが検索したい対象の特徴を表すキーワードを入力して、該当する画像を検索する。
【解決手段】
ユーザによって指定されたキーワードを表す画像を検索する画像検索システムであって、辞書画像から抽出した辞書画像特徴量と辞書画像を表す文字情報を保持した辞書データベースと、検索対象画像から抽出した検索対象画像特徴量を保持した検索データベースを備え、ユーザがキーワードを入力すると、辞書データベースから文字情報に基づいた検索を行って該当する辞書画像特徴量を取得し、前記辞書画像特徴量を分類してグループを作成し、前記グループの代表値を計算し、前記代表値を検索クエリとして検索データベースを対象に類似画像検索を行う。
【選択図】 図４

Description

本発明は、画像検索システムに関し、特に計算機上での情報検索に関する。

近年、凶悪犯罪の増加やセキュリティ意識の向上に伴い、店舗や空港、道路などの人が集まる場所に、多くの監視カメラが設置されつつある。これらの監視カメラで撮影された映像は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。しかしながら、ＩＰカメラの普及によってネットワーク経由で多数のカメラが接続可能になり、また蓄積装置の大容量化が進んだことも相まって、膨大な量の映像が蓄積されつつある。したがって、従来のように目視で全映像データを確認することは非常に困難になっている。

そこで、大量の映像データの中から、特定の人物や物体が映っている場面を検索して提示するために、様々な類似検索技術が提案されている。ここで、類似検索技術とは、ユーザが指定した検索クエリと類似したデータを対象データ内から探して、その結果を提示する技術を指す。特に、類似画像検索技術とは、画像自体から抽出される色合いや形状、構図等の特徴量を用いて、類似度が大きいデータを検索する技術である。例えば、人物を検索する際には、顔画像や服の色などを検索クエリとして用いることができる。

しかしながら，クエリとなる画像をユーザが用意するのは困難な場合が多い。そこで、ユーザが検索したい対象の特徴を表すキーワードを入力して、画像を検索可能なシステムが考えられる。例えば、車両を検索する際には、セダンや軽自動車といった車種や、白や赤といった車色をキーワードとして入力することになる。

特許文献１では、ユーザがキーワードを入力すると、画像に付与されている文字情報に基づいた検索を行い（一次検索）、検索結果画像の部分領域から画像特徴量を抽出して、それを検索クエリとして類似画像検索を行う（二次検索）ことが可能なシステムが開示されている。一次検索結果の確からしさは、検索対象データである文字情報内のキーワード出現位置などにより判断している。

特許文献２では、辞書内で知りたい項目に関しユーザが複数のキーワードを入力すると、全項目の見出し語および説明情報を対象に全文検索が実行される（一次検索）と共に、各キーワードの項目内出現位置および相対位置に基づいて各項目の評価を行い、最高評価の項目画像のうち、検索キーワードに対応する部分画像から抽出した画像特徴量を検索クエリとして、類似画像検索を行う（二次検索）ことが可能な装置が開示されている。

特開２０１０−４９３００号公報 特開２０１２−２３０５４４号公報

このようにユーザがキーワードを入力して、所望の物体や人物の画像を探すことを目的とする従来の画像検索システムには、以下に示す問題点が存在している。

特許文献１では、ユーザがキーワードを入力して文字情報に基づく一次検索を行った結果として大量の画像が得られた場合に対する処理についての記載がなく、全ての画像から画像特徴量を抽出して検索クエリとした場合、検索クエリの数が多いため二次検索を何度も繰り返すことになり、処理時間が増大するといった問題が存在する。

特許文献２では、最高評価の項目画像のみから画像特徴量を抽出しているため、二次検索の処理時間は増大しない。しかしながら、最高評価以外の画像から抽出した画像特徴量をクエリにすることはできないため、二次検索結果の多様性が失われ、高精度な画像検索ができないといった問題が存在する。

そこで本発明は、一次検索で得られた大量の画像に基づいて、二次検索に使用するための適切な検索クエリを生成する検索システムを提供することを目的とする。本方式は、物体検索のみならず人物検索にも有効である。

本発明の代表的な一例を示せば以下のとおりである。すなわち、画像検索システムであって、入力された文字に対応する画像特徴量を取得する特徴量取得部と、複数の画像特徴量を分類してグループを作成する分類部と、グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索部と、を有することを特徴とする。

または、コンピュータ読み取り可能な記録媒体であって、コンピュータに、入力された文字に対応する画像特徴量を取得する特徴量取得ステップと、複数の画像特徴量を分類してグループを作成する分類ステップと、グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索ステップと、を実行させるためのプログラムを記録していることを特徴とする。

本発明によれば、ユーザが所望する物体や人物を効率的に検索することができる。

第１の実施形態の画像検索システムの構成を示すブロック図である。 第１の実施形態のキーワード管理情報を示す説明図である。 第１の実施形態の特徴量管理情報を示す説明図である。 第１の実施形態の検索処理を示すブロック図である。 第１の実施形態のクエリ画像特徴量分類処理と代表値計算処理の概念を示す説明図である。 第１の実施形態のクエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、検索クエリ生成部４０４の処理内容を示すフローチャートである。 第１の実施形態において、サーバ計算機１１０が辞書データベース１４０と検索データベース１５０を備える場合のデータの流れを示す説明図である。 第１の実施形態において、サーバ計算機１１０が検索データベース１５０を備え、クライアント計算機１３０が辞書データベース１４０を備える場合のデータの流れを示す説明図である。 第１の実施形態において、サーバ計算機１１０が辞書データベース１４０を備え、クライアント計算機１３０が検索データベース１５０を備える場合のデータの流れを示す説明図である。 第２の実施形態の画像検索システムの構成を示すブロック図である。 第２の実施形態の代表値管理情報を示す説明図である。 第２の実施形態の中間データベース作成処理を示すブロック図である。 第２の実施形態の画像特徴量分類処理と代表値計算処理の概念を示す説明図である。 第２の実施形態の画像特徴量取得部８０２、画像特徴量分類部８０３、代表特徴量生成部８０４の処理内容を示すフローチャートである。 第２の実施形態の検索処理を示すブロック図である。

以下、本発明の実施形態を、図面を参照して説明する。

（実施例１）
以下、本発明の第１の実施形態の画像検索システムについて、図面に従って説明する。

図１は、第１の実施形態の画像検索システムの構成を示すブロック図である。

第１の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、辞書データベース１４０、及び検索データベース１５０を備える。各装置は、通信基盤１２０によって相互に接続される。

サーバ計算機１１０は、外部インタフェース１１１、中央処理演算装置（ＣＰＵ）１１２、メモリ１１３及び大容量外部記憶装置（ＨＤ）１１４を備える。サーバ計算機１１０は、検索エンジンが稼動する計算機であり、通信基盤１２０を経由し、クライアント計算機１３０に検索のサービスを提供する。

外部インタフェース１１１は、サーバ計算機１１０を通信基盤１２０に接続するためのインタフェース（Ｉ／Ｆ）である。ＣＰＵ１１２は、サーバ計算機の処理を制御するプロセッサである。メモリ１１３は、ＣＰＵ１１２によって実行される制御処理のための作業領域であり、各種データ、及び、ＨＤ１１４からロードされたプログラムを格納する。ＨＤ１１４は、ハードディスクなどの大容量記憶装置であり、ＣＰＵ１１２によって実行されるプログラム、データなどを格納する。
クライアント計算機１３０は、通信基盤１２０に接続される計算機である。図１には２つのクライアント計算機１３０を示すが、任意の数のクライアント計算機１３０を備えてもよい。尚、クライアント計算機１３０と同等の機能をサーバ計算機１１０が備えている場合、全ての処理をサーバ計算機で行っても良い。

クライアント計算機１３０は、いかなる構成の計算機であってもよい。図１には、典型的なクライアント計算機１３０の構成を示す。すなわち、図１のクライアント計算機１３０は、ＣＰＵ１３１、メモリ１３２、Ｉ／Ｆ１３３、入力装置１３４及び出力装置１３５を備える。

ＣＰＵ１３１は、メモリ１３２に格納されたプログラムを実行するプロセッサである。メモリ１３２は、ＣＰＵ１３１によって実行されるプログラム等を格納する記憶装置である。Ｉ／Ｆ１３３は、通信基盤１２０に接続され、クライアント計算機１３０とサーバ計算機１１０との間の通信に使用されるインタフェースである。入力装置１３４は、クライアント計算機１３０のユーザから入力を受け付ける装置である。入力装置１３４は、例えば、キーボード又はマウス等である。出力装置１３５は、クライアント計算機１３０のユーザに情報を表示する装置である。例えばＣＲＴ又は液晶ディスプレイのような画像表示装置である。

なお、本実施形態の画像検索システムは、ネットワークを介して接続されたサーバ計算機１１０とクライアント計算機１３０とがサービスを提供する構成であるが、一般的なパーソナルコンピュータが画像検索のアプリケーションによって検索のサービスを提供する構成であってもよい。

辞書データベース１４０は、キーワードと検索クエリ用の画像特徴量又は画像を格納するためのデータベースであり、例えば、キーワード管理情報２００（図２参照）を格納する。また、検索データベース１５０は、検索対象とする画像から抽出された画像特徴量を格納するためのデータベースであり、例えば、特徴量管理情報３００（図３参照）を格納する。辞書データベース１４０と検索データベース１５０は、クライアント計算機１３０内に格納されていても良い。

図２は、第１の実施形態のキーワード管理情報２００を示す説明図である。

キーワード管理情報２００は、キーワード２０１Ａからキーワード２０１Ｎ、及びクエリ画像特徴量２０２を含む。以下、キーワード２０１Ａから２０１Ｎのいずれにも共通する説明をする場合、その説明において、キーワード２０１Ａから２０１Ｎを総称してキーワード２０１と記載する。また、各レコードのキーワードの数は異なっても良い。

キーワード２０１は、クエリ画像特徴量２０２が抽出された画像の特徴を表すキーワードである。例えば、車両画像の場合は、車種、車名、及び車色の３つのキーワードをキーワード２０１に格納する。

クエリ画像特徴量２０２は、画像から抽出された特徴量ベクトルである。特徴量ベクトルとは、色ヒストグラムやエッジパターンに基づいて作成される多次元ベクトルである。

図３は、第１の実施形態の特徴量管理情報３００を示す説明図である。

特徴量管理情報３００は、検索データＩＤ３０１、及び検索対象画像特徴量３０２を含む。検索データＩＤ３０１は、特徴量を識別するための識別子である。検索対象画像特徴量３０２は、画像から抽出された特徴量ベクトルである。

なお、辞書データベース１４０及び検索データベース１５０は、サーバ計算機１１０が備えるＨＤ１１４に格納されてもよいし、ＨＤ１１４とは異なる他のハードディスクに格納されてもよい。

以下に、検索処理について説明する。

図４は、第１の実施形態の検索処理を示すブロック図である。

本実施形態の画像検索システムは、キーワード入力部４０１、クエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、検索クエリ生成部４０４、類似画像検索部４０５、及び検索結果出力部４０６によって、画像検索処理を実行する。さらに、検索クエリを生成するためのクエリ画像特徴量２０２とキーワード２０１からなるキーワード管理情報２００を辞書データベース１４０に格納し、検索データＩＤ３０１と検索対象となる検索対象画像特徴量３０２からなる特徴量管理情報３００を検索データベース１５０に格納する。なお、図１に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、キーワード入力部４０１、クエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、検索クエリ生成部４０４、類似画像検索部４０５、及び検索結果出力部４０６の処理を実現する。

まず、キーワード入力部４０１は、ユーザによって入力されたキーワードを取得する。入力されるキーワードは複数でも良い。

次に、クエリ画像特徴量取得部４０２では、入力されたキーワードを用いて、辞書データベース１４０に格納されているキーワード２０１を対象としたテキスト検索を行い、合致するキーワードに紐付いているクエリ画像特徴量２０２を取得する。入力されたキーワードが複数存在する場合は、全てのキーワードに合致するクエリ画像特徴量２０２を取得する。

次に、クエリ画像特徴量分類部４０３では、取得したクエリ画像特徴量２０２に対してクラスタリング処理を行い、複数のグループに分類する。クラスタリング処理として、例えばＫ−ｍｅａｎｓ法やＫ−ｍｅｄｉａｎｓ法を用いることができる。

次に、検索クエリ生成部４０４では、作成した各グループの代表値を計算し、検索クエリとする。例えば、各グループに含まれるクエリ画像特徴量の平均値や中央値を代表値として用いることができる。平均値を使用する場合は，クエリ画像特徴量の次元ごとに平均値を計算し，それらを並べたベクトルデータを代表値とする。中央値を使用する場合は，クエリ画像特徴量の次元ごとに中央値を計算し，それらを並べたベクトルデータを代表値とする。

次に、類似画像検索部４０５では、計算した代表値をクエリとして、検索データベース１５０に格納されている検索対象画像特徴量３０２を対象とした類似画像検索を行い、検索データＩＤ３０１を検索結果として取得する。

最後に、検索結果出力部４０６は、検索結果として検索データＩＤ３０１を出力する。なお、検索データＩＤ３０１に画像データが紐付いている場合は、画像データを検索結果として出力しても良い。

図５は、本実施例におけるクエリ画像特徴量分類処理と検索クエリ生成処理の概念を示す説明図であり、図６は、本実施例におけるクエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、検索クエリ生成部４０４の処理内容を示すフローチャートである。以下、図５と図６を使用して、クエリ画像特徴量分類処理と検索クエリ生成処理について詳細に説明する。

まず、クエリ画像特徴量取得部４０２において、キーワード入力部４０１でユーザが入力した文字列に合致する画像特徴量を辞書データベース１４０から取得する（Ｓ１０１）。図５の白丸印は、取得したクエリ画像特徴量２０２を模擬的に２次元のベクトル空間上にマッピングした状態を表している。また、キーワード入力部４０１で入力されたキーワードと合致しなかったレコードを白三角印で示している。

次に、クエリ画像特徴量分類部４０３において、取得したクエリ画像特徴量を対象にクラスタリング処理を実行する（Ｓ１０２）。本クラスタリング処理で生成されたクラスタを図５の破線の楕円で示す。

最後に、検索クエリ生成部４０４において、各クラスタの代表値を計算し、検索クエリとする。図５の黒星印が各クラスタの平均値を示している。

図７は、サーバ計算機１１０が辞書データベース１４０と検索データベース１５０を備える場合のデータの流れを示す説明図である。
ユーザがクライアント計算機１３０にキーワードを入力すると、クライアント計算機１３０はサーバ計算機１１０にキーワードを送信する。次に、サーバ計算機は図４の検索処理に従って４０１から４０６の全ての処理を行い、検索データＩＤをクライアント計算機１３０に返す。クライアント計算機１３０は検索結果をユーザに表示する。
また、検索結果として画像データを返したい場合は、クライアント計算機１３０が画像データベース５１０を備えていても良い。この画像データベース５１０は検索データベース１５０の検索データＩＤ３０１と画像データの組合せを保持している。また、サーバ計算機１１０が画像データベース５１０を備えても良い。その場合は、サーバ計算機１１０は検索処理後に画像データベース５１０から画像データを取得し、画像データをクライアント計算機１１０に返すことになる。また、サーバ計算機１１０はクラウド上に設置されていても良い。
図８は、サーバ計算機１１０が検索データベース１５０を備え、クライアント計算機１３０が辞書データベース１４０を備える場合のデータの流れを示す説明図である。
ユーザがクライアント計算機１３０にキーワードを入力すると、クライアント計算機１３０は、図４の処理の内、キーワード入力部４０１、クエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、代表値計算部４０４の処理を行い、サーバ計算機１１０に代表値を送信する。次に、サーバ計算機１１０は、残りの類似画像検索部４０５、検索結果出力部４０６の処理を行い、検索データＩＤをクライアント計算機１３０に返す。

このような構成の利点として、ユーザが辞書データベース１４０へのデータ追加や削除といったメンテナンスを行いやすいことが挙げられる。また、検索対象が膨大な場合は検索処理が非常に重くなるため、高価なサーバを用意する必要がある。その場合に、クラウド上にサーバ計算機を用意して検索処理を行えば、ユーザ側の負担が軽くなることも利点である。
図９は、サーバ計算機１１０が辞書データベース１４０を備え、クライアント計算機１３０が検索データベース１５０を備える場合のデータの流れを示す説明図である。

サーバ計算機１１０が辞書データベース１４０を備え、クライアント計算機１３０が検索データベース１５０を備える場合のデータの流れを示す説明図である。

ユーザがクライアント計算機１３０にキーワードを入力すると、クライアント計算機１３０はサーバ計算機１１０にキーワードを送信する。次に、サーバ計算機は図４の検索処理の内、キーワード入力部４０１、クエリ画像特徴量取得部４０２、クエリ画像特徴量分類部４０３、検索クエリ生成部４０４の処理を行い、クライアント計算機１３０に代表値を返す。次に、クライアント計算機１３０は、残りの類似画像検索部４０５、検索結果出力部４０６の処理を行い、検索結果をユーザに返す。

このような構成の利点として、サーバ計算機１１０にある辞書データベース１４０を複数のユーザで共有できる点が挙げられる。また、サーバ計算機１１０がクラウド上にある場合は、ユーザではなく別事業者が辞書データベース１４０のメンテナンスを行うサービスを実施することも可能である。また、検索データベース１５０をクライアント計算機１３０が保持することによって、ユーザのデータを外部に出さないといったセキュリティ面での利点も存在する。 以上を踏まえ、本実施例に記載の画像検索システムは、入力された文字に対応する画像特徴量を取得する特徴量取得部と、複数の画像特徴量を分類してグループを作成する分類部と、グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索部と、を有することを特徴とする。

かかる特徴によりユーザが入力したキーワードが表す画像を高速に検索することができる。

（実施例２）
以下、本発明の第２の実施形態の画像検索システムについて、図面に従って説明する。

図１０は、第２の実施形態の画像検索システムの構成を示すブロック図である。

第２の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、中間データベース６１０、及び検索データベース１５０を備える。各装置は、通信基盤１２０によって相互に接続される。サーバ計算機１１０、クライアント計算機１３０、検索データベース１５０、及び通信基盤１２０は第１の実施形態と同一である。

中間データベース６１０は、キーワードと検索クエリ用の代表特徴量を格納するためのデータベースであり、例えば、代表特徴量管理情報７００（図１１参照）を格納する。

図１１は、第２の実施形態の代表特徴量管理情報７００を示す説明図である。

代表特徴量管理情報７００は、キーワード７０１Ａからキーワード７０１Ｎ、及び代表特徴量７０２を含む。以下、キーワード７０１Ａから７０１Ｎのいずれにも共通する説明をする場合、その説明において、キーワード７０１Ａから７０１Ｎを総称してキーワード７０１と記載する。また、各レコードのキーワードの数は異なっても良い。

キーワード７０１は、画像の特徴を表すキーワードである。例えば、車両画像の場合は、車種、車名、及び車色の３つのキーワードをキーワード７０１に格納する。

代表特徴量７０２は、画像から抽出された特徴量ベクトルである。例えば、色ヒストグラムやエッジパターンに基づいて作成される多次元ベクトルである。

図１２は、第２の実施形態の中間データベース作成処理を示すブロック図である。
本実施形態の代表特徴量生成システムは、キーワード入力部８０１、画像特徴量取得部８０２、画像特徴量分類部８０３、及び代表特徴量生成部８０４によって、画像検索用の検索クエリとなる代表特徴量７０２を生成する。検索クエリを生成するためのクエリ画像特徴量２０２とキーワード２０１からなるキーワード管理情報２００を辞書データベース１４０に格納し、生成した代表特徴量７０２とキーワード７０１からなる代表特徴量管理情報７００を中間データベース６１０に格納する。なお、図１０に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、キーワード入力部８０１、画像特徴量取得部８０２、画像特徴量分類部８０３、及び代表特徴量生成部８０４の処理を実現する。

まず、キーワード入力部８０１は、ユーザによって入力されたキーワードを取得する。入力されるキーワードは複数でも良い。また、ユーザがキーワードを入力するのではなく、辞書データベース１４０に格納されているキーワード２０１を参照し、全てのキーワードや一部のキーワードに対して画像特徴量取得部８０２以降の処理を行っても良い。

次に、画像特徴量取得部８０２では、入力されたキーワードを用いて、辞書データベース１４０に格納されているキーワード２０１を対象としたテキスト検索を行い、合致するキーワードに紐付いているクエリ画像特徴量２０２を取得する。入力されたキーワードが複数存在する場合は、全てのキーワードに合致するクエリ画像特徴量２０２を取得する。

次に、画像特徴量分類部８０３では、取得したクエリ画像特徴量２０２に対してクラスタリング処理を行い、複数のグループに分類する。クラスタリング処理として、例えばＫ−ｍｅａｎｓ法を用いることができる。

このとき、クラスタリング処理を行う対象となるクエリ画像特徴量２０２を限定しても良い。クエリ画像特徴量202を限定する処理の詳細は図１3の説明と合わせて後述する。

次に、代表特徴量生成部８０４では、作成した各グループの代表値を計算して代表特徴量７０２とし、中間データベース６１０にキーワード７０１と代表特徴量７０２を格納する。例えば、各グループに含まれるクエリ画像特徴量の平均値を計算し、中間データベース６１０に格納することができる
このとき、代表特徴量生成部８０４において、計算したグループの代表値の全てを代表特徴量としなくても良い。例えば、計算したグループの代表値（以後、評価対象代表値と呼ぶ）について、クエリ画像特徴量２０２とのベクトル間距離を計算する。次に、一定のベクトル間距離以内に含まれるクエリ画像特徴量２０２に紐付いているキーワード２０１を辞書データベース１４０から取得し、ユーザ入力に合致しているかどうかを判定する。最後に、ユーザ入力に合致していないデータ数が一定以上の場合、評価対象代表値を検索クエリから除外する。以上の処理を行うことにより、ノイズや外れ値を除去することが可能になり、検索精度の向上を図ることができる。

中間データベース６１０は、サーバ計算機６１０で作成しても良いし、クライアント計算機１３０で作成してサーバ計算機６１０に置いても良い。また、顧客の別計算機でも良い。

図１３は、本実施例におけるクエリ画像特徴量分類処理と検索クエリ生成処理の概念を示す説明図である。

図１４は、本実施例における画像特徴量取得部８０２、画像特徴量分類部８０３、代表特徴量生成部８０４の処理内容を示すフローチャートである。

以下、図１３と図１４を使用して、本実施例における画像特徴量分類処理と代表特徴量生成処理について詳細に説明する。

まず、画像特徴量取得部８０２において、キーワード入力部８０１でユーザが入力した文字列を取得し（Ｓ２０１）、それに合致する画像特徴量を辞書データベース１４０から取得する（Ｓ２０２）。図１３の白丸印は、取得したクエリ画像特徴量２０２を模擬的に２次元のベクトル空間上にマッピングした状態を表している。また、キーワード入力部８０１で入力されたキーワードと合致しなかった画像特徴量レコードを白三角印で示している。図１３（ａ）は、画像特徴量取得部８０２の処理が終わった状態を表している。

次に、画像特徴量分類部８０３において、図１３中の白丸印のひとつ（評価対象画像特徴量）について、評価対象画像特徴量の周囲に一定数以上の白丸印が存在するか、つまり、評価対象画像特徴量に類似する画像特徴量のうち、キーワードに合致する画像特徴量がどの程度あるかを判断する。その後のクラスタリング処理で用いる評価対象画像特徴量(白丸印)には、キーワードに合致する画像特徴量（白丸印）の数が閾値を超える評価対象画像特徴量を選択する（Ｓ２０３）。逆に、キーワードに合致する画像特徴量の数が少ない場合には、その評価対象画像特徴量はクラスタリング処理の対象としては選択されない。図１３（ｂ）において、選択されなかった評価対象画像特徴量(白丸印)を点線で示している。この選択処理(S203)を、キーワードに合致したすべての画像特徴量（白丸）に対して行う。

次に、選択した評価対象画像特徴量(白丸印)のみを対象にクラスタリング処理を実行する（Ｓ２０４）。本クラスタリング処理で生成されたクラスタを図１３（ｃ）の破線の楕円で示す。また、黒星印が各クラスタの代表値を示している。本実施例では代表値は平均値として計算している。ここまでの処理で生成されたクラスタの代表値で類似画像検索を行っても良いし、さらに精度を向上させたければ、以下のように、生成したクラスタを限定して検索に用いても良い。

図１３(c)に示されたクラスタに対し、代表特徴量生成部８０４において、各クラスタの代表値を計算する。クラスタ代表値の周囲に存在する三角の数が閾値を超えないクラスタのみを選択し、画像検索に用いる。図１３（ｄ）の破線で示すのが、選択されたクラスタである（Ｓ２０５）。

最後に、これらのクラスタの代表値を中間データベースに格納する（Ｓ２０６）。

図１５は、検索処理を示すブロック図である。
本実施形態の画像検索システムは、キーワード入力部９０１、代表特徴量取得部９０２、類似画像検索部９０３、及び検索結果出力部９０４によって、画像検索処理を実行する。また、中間データベース６１０と検索データベース１５０を備える。検索データベース１５０は実施例１と同一である。

まず、キーワード入力部９０１は、ユーザによって入力されたキーワードを取得する。入力されるキーワードは複数でも良い。

次に、代表特徴量取得部９０２では、入力されたキーワードを用いて、中間データベース６１０に格納されているキーワード７０１を対象としたテキスト検索を行い、合致するキーワードに紐付いている代表画像特徴量７０２を取得する。入力されたキーワードが複数存在する場合は、全てのキーワードに合致する代表特徴量７０２を取得する。

次に、類似画像検索部９０３では、取得した代表値特徴量７０２をクエリとして、検索データベース１５０に格納されている検索対象画像特徴量３０２を対象とした類似画像検索を行い、検索データＩＤ３０１を検索結果として取得する。

最後に、検索結果出力部９０４は、検索結果として検索データＩＤ３０１を出力する。なお、検索データＩＤ３０１に画像データが紐付いている場合は、画像データを検索結果として出力しても良い。

以上のように、本実施例は、実施例１の構成に加え、クラスタリング処理を行う際に、クエリ画像特徴量２０２の選別を行い、代表値を中間データベース６１０に登録する構成を採用している。

かかる特徴により、実施例１の効果に加え、検索精度の向上と、処理の高速化を実現できる。

１１０：サーバ計算機、
１１１：外部インタフェース、
１１２：中央処理演算装置、
１１３：主記憶装置、
１１４：大容量外部記憶装置、
１２０：通信基盤、
１３０：クライアント計算機、
１３１：中央処理演算装置、
１３２：主記憶装置、
１３３：外部インタフェース、
１３４：入力装置、
１３５：出力装置、
１４０：辞書データベース、
１５０：検索データベース、
２００：キーワード管理情報、
２０１Ａ〜２０１Ｎ：キーワード、
２０２：クエリ画像特徴量、
３００：特徴量管理情報、
３０１：検索データＩＤ、
３０２：検索対象画像特徴量、
４０１：キーワード入力部、
４０２：クエリ画像特徴量取得部、
４０３：クエリ画像特徴量分類部、
４０４：検索クエリ生成部、
４０５：類似画像検索部、
４０６：検索結果出力部、
５１０：画像データベース、
６１０：中間データベース
７００：代表特徴量管理情報、
７０１Ａ〜７０１Ｎ：キーワード、
７０２：代表特徴量、
８０１：キーワード入力部、
８０２：画像特徴量取得部、
８０３：画像特徴量分類部、
８０４：代表特徴量生成部、
９０１：キーワード入力部、
９０２：代表特徴量取得部、
９０３：類似画像検索部、
９０４：検索結果出力部。

Claims (15)

1. 入力された文字に対応する画像特徴量を取得する特徴量取得部と、
   複数の前記画像特徴量を分類してグループを作成する分類部と、
   前記グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索部と、を有することを特徴とする画像検索システム。
2. 請求項１記載の画像検索システムであって、
   前記グループの代表値を計算する代表特徴量生成部、をさらに有することを特徴とする画像検索システム。
3. 請求項２記載の画像検索システムであって、
   複数のテンプレート画像と前記テンプレート画像の画像特徴量と前記テンプレート画像に対応した文字と、が蓄積された記憶部、をさらに有し、
   前記特徴量取得部は、入力された文字と一致する文字に対応するテンプレート画像の画像特徴量を取得することを特徴とする画像検索システム。
4. 請求項３に記載の画像検索システムであって、
   前記分類部は、前記特徴量取得部で取得された画像特徴量に類似する画像特徴量のうち、前記入力された文字と一致する文字に対応する画像特徴量の数が閾値を超える場合には、前記画像特徴量を用いてグループ作成を行い、前記入力された文字と一致する文字に対応するテンプレート画像の画像特徴量の数が閾値を超えない場合には、前記画像特徴量を用いずにグループ作成を行うことを特徴とする画像検索システム。
5. 請求項４に記載の画像検索システムであって、
   前記検索部は、前記代表値に類似する画像特徴量のうち、前記入力された文字と一致しない文字に対応する画像特徴量の数が閾値未満の場合には、前記代表値を用いて検索を行い、前記入力された文字と一致しない文字に対応するテンプレート画像の画像特徴量の割合が閾値を超える場合には、前記代表値を検索に用いないことを特徴とする画像検索システム。
6. ネットワークを介して接続された端末からの入力を受け付ける入力部と、
   入力された文字に対応する画像特徴量を取得する特徴量取得部と、
   複数の前記画像特徴量を分類してグループを作成する分類部と、
   前記グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索部と、
   前記画像検索部が検索した結果を前記端末に出力する出力部と、を有することを特徴とする画像検索装置。
7. 請求項６記載の画像検索装置であって、
   前記グループの代表値を計算する代表特徴量生成部、をさらに有することを特徴とする画像検索装置。
8. 請求項７記載の画像検索装置であって、
   複数のテンプレート画像と前記テンプレート画像の画像特徴量と前記テンプレート画像に対応した文字列と、が蓄積された記憶部、をさらに有し、
   前記特徴量取得部は、入力された文字と一致する文字列に対応するテンプレート画像の画像特徴量を取得することを特徴とする画像検索装置。
9. 請求項８に記載の画像検索装置であって、
   前記分類部は、前記特徴量取得部で取得された画像特徴量に類似する画像特徴量のうち、前記入力された文字と一致する文字に対応する画像特徴量の数が閾値を超える場合には、前記の画像特徴量を用いてグループ作成を行い、前記入力された文字と一致する文字に対応するテンプレート画像の画像特徴量の数が閾値を超えない場合には、前記画像特徴量を用いずにグループ作成を行うことを特徴とする画像検索装置。
10. 請求項９に記載の画像検索装置であって、
    前記検索部は、前記代表値に類似する画像特徴量のうち、前記入力された文字と一致しない文字に対応する画像特徴量の数が閾値を超えない場合には、前記代表値を用いて検索を行い、前記入力された文字と一致しない文字に対応するテンプレート画像の画像特徴量の数が閾値を超える場合には、前記代表値を検索に用いないことを特徴とする画像検索装置。
11. コンピュータに、
    入力された文字に対応する画像特徴量を取得する特徴量取得ステップと、
    複数の前記画像特徴量を分類してグループを作成する分類ステップと、
    前記グループの代表値と類似する画像特徴量を持つ画像を検索する画像検索ステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
12. 請求項１１記載の記録媒体であって、
    前記グループの代表値を計算する代表特徴量生成ステップ、をさらに有することを特徴とするコンピュータ読み取り可能な記録媒体。
13. 請求項１２記載の記録媒体であって、
    複数のテンプレート画像と前記テンプレート画像の画像特徴量と前記テンプレート画像に対応した文字列と、が蓄積された記憶ステップ、をさらに有し、
    前記特徴量取得ステップは、入力された文字と一致する文字列に対応するテンプレート画像の画像特徴量を取得することを特徴とするコンピュータ読み取り可能な記録媒体。
14. 請求項１３に記載の記録媒体であって、
    前記分類ステップは、前記特徴量取得ステップで取得された画像特徴量に類似する画像特徴量のうち、前記入力された文字と一致する文字に対応する画像特徴量の数が閾値を超える場合には、前記の画像特徴量を用いてグループ作成を行い、前記入力された文字と一致する文字に対応するテンプレート画像の画像特徴量の数が閾値を超えない場合には、前記画像特徴量を用いずにグループ作成を行うことを特徴とする記録媒体。
15. 請求項１４に記載の記録媒体であって、
    前記検索ステップは、前記代表値に類似する画像特徴量のうち、前記入力された文字と一致しない文字に対応する画像特徴量の数が閾値を超えない場合には、前記代表値を用いて検索を行い、前記入力された文字と一致しない文字に対応するテンプレート画像の画像特徴量の数が閾値を超える場合には、前記代表値を検索に用いないことを特徴とする記録媒体。

Images