JP2010113569A - 画像検索装置、画像検索方法及びプログラム - Google Patents

Abstract

【課題】インターネット上で公開されている画像を検索するときのユーザの操作性が容易化されるとともに、ユーザが所望する画像を効率よく取得することができる技術を提供する。
【解決手段】画像検索装置は、インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成する代表部分画像生成手段と、代表部分画像をインデックスワードごとに登録する代表部分画像データベース登録手段と、代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類する分類手段と、を備える。
また、検索要求に応答して、インデックスワードに対応付けられた代表部分画像を検索して提示する代表部分画像提示手段と、提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって分類されている画像を検索して提示する検索結果提示手段と、を備える。
【選択図】図１０

Description

本発明は、インターネット上で公開されている画像を検索するための画像検索装置、画像検索方法及びプログラムに関する。

従来、インターネット上で公開されている画像を検索するための画像検索サービスでは、クライアント端末においてユーザがキーワード（クエリ）を入力すると、このキーワードがタグとして付与されている画像が検索されるようになっている。ここで、タグとは画像に付与された被写体や撮影時の状況を示すキーワードであり、画像提供者によって付与されるものである。タグの代わりに、又はタグと併用して、画像のファイル名や画像の周辺に配置されている文字列が利用されることもある。
そして、検索結果として得られた画像群を絞り込みたい場合には、さらにキーワードを追加して再検索を行うこととなる。

しかしながら、従来の画像検索では、画像に関連するタグ等のキーワード又はユーザが入力したキーワードによって検索結果が変わってくるため、ユーザが入力したキーワードにより所望する画像を精度よく検索できるとは限らない。
例えば、検索スキルの低いユーザにとっては、画像に含まれる被写体をキーワードにより的確に表現することが困難な場合など、所望する画像を検索するために適切なキーワードを指定できない場合がある。
また、インターネット上で提供（販売）されている商品を検索する場合には、商品カテゴリをキーワードとして指定することは容易であるが、さらに商品を絞り込むためにキーワードを指定することは容易ではない。例えば、ネクタイやスーツ等、色や模様、形状の特徴が商品選びの基準となるものについて、これらをキーワードとして表現することが困難なことがある。

そこで、近年では、画像を検索キーとして入力し、画像の特徴量（配色、テクスチャ、形状等の画像の特徴を数値化して表現したもの）を比較することにより、検索キーである画像に類似する画像を検索する技術が提案されている（例えば、特許文献１）。
具体的に説明すると、特許文献１では、画像処理サーバにおいて、ユーザ端末から検索キーとして送信された画像と、予め用意されている商品の標準画像（標準パターン）を比較して、パターンマッチング処理を行うことにより商品を特定し、特定された商品の商品認識情報（商品の特徴を示すキーワード）を販売店サーバに問い合わせることで所望の情報を取得する。
また、特許文献１には、検索結果を絞り込む際に、商品の部分的特徴を示す部分画像（自動車のエンブレムやヘッドライト等）をユーザ端末からさらに取得し、この部分画像についてパターンマッチング処理を行うことが開示されている。
特開２００６−３１２００号公報

上述した特許文献１に記載の技術では、ユーザ端末から送信された画像（部分画像を含む）を検索キーとして検索する際に、この画像についてのパターンマッチング処理を行うので、商品の標準画像を画像処理サーバ側で予め用意しておく。そのため、画像処理サーバのシステム提供者によって標準画像を適宜撮影・加工等して作成するという煩雑な作業が必要となる。
また、ユーザ端末から商品の画像を画像処理サーバに送信しても、画像処理サーバ側でこの画像に対応する標準画像が用意されていなければ、適切な検索結果を得ることはできない。
さらに、部分画像により検索結果を絞り込む場合には、ユーザ端末においてカメラで撮影するなどして部分画像を取得する作業が必要となるため、検索結果の絞り込みを迅速に行うことは困難となる。

本発明は、インターネット上で公開されている画像を検索するための画像検索装置、画像検索方法及びプログラムであって、画像検索に係るユーザの操作性が容易化されるとともに、ユーザが所望する画像を効率よく取得することができる技術を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、キーワードによる検索要求に応答して画像を検索する画像検索装置であって、
インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成する代表部分画像生成手段と、
前記代表部分画像生成手段によって生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録する代表部分画像データベース登録手段と、
前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類する分類手段と、
前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示する代表部分画像提示手段と、
前記代表部分画像提示手段により提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示する検索結果提示手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像検索装置において、前記代表部分画像生成手段は、前記インデックスワードごとに関連付けられた画像を、それぞれ所定のブロックに分割し、分割された個々の部分画像を、その特徴量に基づいてクラスタリングし、各クラスタに属する部分画像の中から前記代表部分画像を選定することを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像検索装置において、前記分類手段は、前記代表部分画像を選定したクラスタに属する部分画像の分割元となる画像を、当該代表部分画像ごとに分類することを特徴とする。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像検索装置において、前記代表部分画像提示手段は、前記インデックスワードによる検索要求に応答して、このインデックスワードに対応付けられた画像を前記代表部分画像とともに提示することを特徴とする。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像検索装置において、前記代表部分画像生成手段は、前記インデックスワードごとに関連付けられた画像から背景と区別されるオブジェクトを検出可能に構成され、前記画像からオブジェクトが検出された場合に、このオブジェクトの特徴を示す画像を代表部分画像とすることを特徴とする。

請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像検索装置において、前記検索結果提示手段は、前記インデックスワードに対応付けられた画像の中から、前記選択された代表部分画像に関連する画像を検索して提示することを特徴とする。

請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像検索装置において、前記検索結果提示手段は、複数の代表部分画像を選択可能とし、その選択された代表部分画像すべてに関連する画像を検索することを特徴とする。

請求項８に記載の発明は、請求項１から７のいずれか一項に記載の画像検索装置において、インターネット上に公開されている画像と、この画像に関連するインデックスワードとを取得する取得手段をさらに備え、
前記代表部分画像生成手段は、前記取得手段により取得された画像に基づいて前記代表部分画像を生成することを特徴とする。

請求項９に記載の発明は、キーワードによる検索要求に応答して画像を検索する方法であって、
インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成するステップと、
前記生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録するステップと、
前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類するステップと、
前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示するステップと、
前記提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示するステップと、
を備えることを特徴とする。

請求項１０に記載の発明は、コンピュータに、
インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成するステップと、
前記生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録するステップと、
前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類するステップと、
前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示するステップと、
前記提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示するステップと、
を実現させるためのプログラムである。

本発明によれば、キーワードを検索キーとする画像検索が行われたときに、このキーワードに関連する代表部分画像を提示し、これを検索キーとして利用できるので、ユーザは直接的かつ感覚的に画像検索を実行することができる。したがって、画像検索に係るユーザの操作性が容易化される。
また、キーワードと代表部分画像の両方を検索キーとする画像検索となるので、所望する画像を効率よく検索することができる。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の画像検索装置を適用したネットワーク構成について示す概略図である。図１では、ウェブサーバ１からクライアント端末２に、通信ネットワークＮを介してコンテンツ（例えば、画像検索サービス）を提供し、クライアント端末２においてコンテンツを利用する場合について示している。

図１に示すように、ウェブサーバ１には、クライアント端末２が通信ネットワークＮを介して接続され、互いにデータ通信可能となっている。通信ネットワークＮは、インターネットや電気通信事業者等の電話回線網、携帯電話通信網等である。

ウェブサーバ１は、インターネット上で公開されている画像をキーワードにより検索する画像検索サービスをクライアント端末２に対して提供する。
クライアント端末２は、例えば、パーソナルコンピュータ２ａや、携帯電話機等の携帯端末２ｂである。ウェブサーバ１により提供される画像検索サービスにおいて、クライアント端末２から検索キーとしてキーワードが送信されると、このキーワードに基づいて画像検索が行われる。

すなわち、本実施形態において、ウェブサーバ１は、ユーザ操作を受け付けるクライアント端末２に通信ネットワークＮを介して接続され、このクライアント端末２からのキーワードによる検索要求に応答してインターネット上で公開されている画像を検索する画像検索装置となる。

図２は、ウェブサーバ１のハードウェア構成の概略を示すブロック図である。
図２に示すように、ウェブサーバ１は、制御部１１、記憶部（補助記憶）１２、入出力部１３、通信部１４、画像データベース１５、代表部分画像データベース１７等を備えた一般的なコンピュータである。各ブロックはバスライン１６により電気的に接続されている。

制御部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１１１、主記憶装置としてのＲＡＭ（Random Access Memory）１１２及びＲＯＭ（Read Only Memory）１１３で構成される。
ＲＯＭ１１３には、ＢＩＯＳ（Basic Input Output System）と呼ばれるプログラムや基本的な設定データが記憶されている。ＲＡＭ１１２には、記憶部１２から読み出されたＯＳや各種アプリケーションなどのプログラムが展開される。
ＣＰＵ１１１は、ＲＡＭ１１２に展開されたプログラムに従って各種処理を実行し、各ブロックを制御する。

記憶部１２は、例えばハードディスク等で構成され、ＯＳ、各種アプリケーションプログラム（例えば、サーバ用プログラムやウェブアプリケーションプログラム）、及び各種データ等が記憶されている。
入出力部１３は、ウェブサーバ１の管理者が利用するためのユーザインターフェースを構成する。
通信部１４は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してクライアント端末２とデータの送受信を行う。

画像データベース１５は、キーワードによる検索要求に応答して画像を検索するときに参照されるもので、画像に関連するキーワードごとに画像が格納されている。ここで、画像に関連するキーワードとは、画像に付与されたタグや、画像のファイル名、画像の周辺に配置されている文字列等である。この画像データベース１５及び後述する代表画像データベース１７にインデックスとして登録されているキーワードのことを“インデックスワード”と称することもある。
また、画像データベース１５には、キーワードによる検索結果を後述する代表部分画像により絞り込むことを可能とするために、代表部分画像ごとに画像が格納されている。

図４は、画像データベース１５のデータ構成の一例を示す説明図である。
図４に示すように、画像データベース１５は、インデックス部ＩＤＸ１ａ、インデックス部ＩＤＸ１ｂ、データベース部ＤＢ１で構成されている。

インデックス部ＩＤＸ１ａには、検索キーとなるインデックスワードごとに画像ＩＤが登録されている。図４（ａ）では、例えば、インデックスワード「桜」に対して画像ＩＤ“＃１，＃２，・・”が登録され、インデックスワード「ネクタイ」に対して画像ＩＤ“＃１１，＃１２，・・”が登録されていることを示している。

インデックス部ＩＤＸ１ｂには、検索キーとなる代表部分画像ごとに画像ＩＤが登録されている。図４（ｂ）では、例えば、代表部分画像Ｒ１（例えば、桜の花びらを示す画像）に対して画像ＩＤ“＃１，＃２，・・”が登録され、代表部分画像Ｒ２（例えば、空を示す画像）に対して画像ＩＤ“＃１，・・”が登録されていることを示している。また、代表部分画像Ｒ１１（例えば、水玉柄を示す画像）に対して画像ＩＤ“＃１１，・・”が登録され、代表部分画像Ｒ１２（例えば、ストライプ柄を示す画像）に対して画像ＩＤ“＃１２，・・”が登録されていることを示している。
ここで、代表部分画像＊＊（例えば、代表部分画像Ｒ１）は、後述する代表部分画像ＩＤが“＊＊”の代表部分画像であることを示す。また、データベース部ＤＢ１に記述されている画像＊＊（例えば、画像＃１）は、画像ＩＤが“＊＊”の画像であることを示す。

データベース部ＤＢ１には、画像ＩＤごとに、例えば、画像の実データ、この画像に付けられたタイトル、この画像を公開しているウェブページのＵＲＬが登録されている。なお、データベース部ＤＢ１に含まれるデータはこれに限定されず、検索結果としてクライアント端末２に対して提示する内容が適宜登録される。図４（ｃ）では、例えば、画像ＩＤ“＃１”の内容として、被写体として桜が撮影された画像の実データ（画像＃１）と、「桜のある風景」というタイトルと、ＵＲＬが登録されていることを示している。

図４（ａ）に示すインデックス部ＩＤＸ１ａ及び図４（ｃ）に示すデータベース部ＤＢ１は、従来のウェブサーバ（検索サーバ）が有するデータベースと同様の構成であり、図４（ｂ）に示すインデックス部ＩＤＸ１ｂが本実施形態に特有の構成である。このインデックス部ＩＤＸ１ｂを備えることにより、代表部分画像を検索キーとする画像検索が実現される。

図２において、代表部分画像データベース１７は、クライアント端末２からキーワードによる検索要求があったときに、このキーワードに関連する代表部分画像をクライアント端末２に対して提示するために参照されるもので、キーワード（インデックスワード）ごとに代表部分画像が格納されている。

図５は、代表部分画像データベース１７のデータ構成の一例を示す説明図である。
図５に示すように、代表部分画像データベース１７は、インデックス部ＩＤＸ２、データベース部ＤＢ２で構成されている。
インデックス部ＩＤＸ２には、インデックスワードごとに代表部分画像ＩＤが登録されている。図５（ａ）では、例えば、インデックスワード「桜」に対して代表部分画像ＩＤ“Ｒ１，Ｒ２，・・”が登録され、インデックスワード「ネクタイ」に対して代表部分画像ＩＤ“Ｒ１１，Ｒ１２，・・”が登録されていることを示している。
データベース部ＤＢ２には、代表部分画像ＩＤごとに画像が登録されている。図５（ｂ）では、例えば、代表部分画像Ｒ１（代表部分画像ＩＤが“Ｒ１”の画像）は桜の花びらを示す画像で、代表部分画像Ｒ２は空を示す画像で、代表部分画像Ｒ１１は水玉柄を示す画像で、代表部分画像Ｒ１２はストライプ柄を示す画像であることを示している。

ウェブサーバ１のＣＰＵ１１１は、サーバ用ソフトウェア及びウェブアプリケーションを実行することにより、クライアント端末２におけるユーザ操作に応じた処理を行う。
例えば、クライアント端末２におけるユーザ操作によりキーワードによる検索要求がなされると、画像データベース１５を参照し、このキーワードに適合する検索結果をクライアント端末２に対して提示する。このとき、代表部分画像データベース１７を参照し、検索要求に係るキーワードに関連する代表部分画像をクライアント端末２に対して提示する。
そして、クライアント端末２において、提示された代表部分画像の中から１又は複数の代表部分画像が選択されると、選択された代表部分画像を検索キーとして検索結果を絞り込み、その結果をクライアント端末２に対して提示する。

図３は、クライアント端末２のハードウェア構成の概略を示すブロック図である。
図３に示すように、クライアント端末２は、制御部２１、記憶部２２、入力部２３、表示部２４、通信部２５等を備えた一般的なパーソナルコンピュータである。各部はバスライン２６により電気的に接続されている。

制御部２１の構成はウェブサーバ１の制御部１１の構成と同様である。
記憶部２２は、例えばハードディスクで構成され、ＯＳ、各種アプリケーションプログラム（例えば、ウェブブラウザプログラム）、及び各種データ等を記憶する。
入力部２３は、例えば、キーボード及びマウスで構成され、ユーザが情報を入力する際に使用される。
表示部２４は、例えば、液晶ディスプレイ等で構成され、制御部２１からの表示制御指令に基づいて所定の画面を表示する。表示部２４には、例えば、ウェブブラウザのＧＵＩ（Graphical User Interface）が表示される。
通信部２５は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してウェブサーバ１とデータの送受信を行う。

クライアント端末２のＣＰＵ２１１は、例えば、起動したウェブブラウザ上において、ユーザが入力部２３により画像検索サービスのＵＲＬを入力すると、このＵＲＬで指定されるウェブページをウェブサーバ１に要求する。そして、ウェブサーバ１から送信されたＨＴＭＬファイル（例えば、画像検索サービス画面）を解析して、ウェブブラウザ上にウェブページを表示する。
また、画像検索サービス画面において、ユーザ操作によりキーワード等の検索キー（クエリ）が入力されると、この検索キーによる検索要求をウェブサーバ１に対して行う。そして、ウェブサーバ１により検索結果が提示されると、この検索結果を含む検索結果画面を表示する。

図６は、ウェブサーバ１におけるデータベース登録処理の一例について示すフローチャートである。このデータベース登録処理は、検索プログラムにより常時実行されている。したがって、インターネット上で公開されている画像が更新（増減）されると、それに伴い画像データベース１５及び代表部分画像データベース１７の内容は更新される。

ステップＳ１０１では、インターネット上で公開されている画像を収集する（クローラ）。このとき、画像に関連するインデックスワード（例えば、画像に付与されているタグ、画像のファイル名、画像の周辺に配置されている文字列など）も画像と一緒に収集される。

ステップＳ１０２では、収集された画像を、この画像に関連するインデックスワードごとに画像データベース１５に登録する（キーワードに対する画像のインデクシング）。この処理により、図４（ａ）に示すインデックス部ＩＤＸ１ａとデータベース部ＤＢ１にデータが登録される。

ステップＳ１０３では、インデックスワードごとに登録された画像を、それぞれ所定の大きさのブロックに分割する。以下において、分割された個々のブロックの画像を部分画像と称する。この処理により、１つのキーワードに対して複数の部分画像が生成される。

ここで、画像を分割する手法としては、例えば、予め定めたＭ×Ｎブロックに分割したり、分割後のブロックの大きさが予め定めたｍ×ｎ画素となるように分割したりする手法がある。例えば、画像を１０×１０のブロックに分割する場合、画像の大きさが６４０×４８０画素であれば、１ブロックの大きさは６４×４８画素となる。
また、商品画像のように被写体となるオブジェクトと背景を明確に区別できる場合は、オブジェクトの特徴（商品の色や模様）を示す部分画像が得られるように、分割するブロックを設定するようにしてもよい。この場合、オブジェクトの大きさに応じてブロックの大きさを決定するのが望ましい。商品画像から背景と区別されるオブジェクト（商品）を検出可能に構成することで実現できる。

ステップＳ１０４では、ステップＳ１０３で分割した部分画像をインデックスワードごとに収集し、そのインデックスワードごとの部分画像を特徴量に基づいてクラスタに分類する（クラスタリング）。すなわち、類似する特徴量を有する部分画像は同じクラスタに属することとなる。ここで、特徴量とは、画像の配色、テクスチャ、形状等の画像の特徴を数値化して表現したものである。
例えば、図７に示すように、画像の特徴（例えば、配色とテクスチャ）をＸＹ軸とした特徴量空間にすべての部分画像を配置して、部分画像の総数に対して所定割合以上の部分画像の集合が得られた領域をクラスタとみなすようにすればよい。

ステップＳ１０５では、インデックスワードごとの各クラスタに属する部分画像の中から代表部分画像を選定する。例えば、図７に示す特徴量空間においてクラスタの中心に位置する部分画像、すなわち、クラスタの特徴を最も的確に表現している部分画像を代表部分画像として選定する。

ステップＳ１０６では、代表部分画像データベース１７において、インデックスワードごとに、選定された１又は複数の代表部分画像を対応付けて登録する（インデックスワードに対する代表部分画像のインデクシング）。また、画像データベース１５において、選定された代表部分画像ごとに、この代表部分画像が属するクラスタに分類されている部分画像の元となる画像を登録する（代表部分画像に対する画像のインデクシング）。

図６に示すデータベース登録処理により、図４に示す画像データベース１５及び図５に示す代表部分画像データベースに各種データが登録される。
すなわち、ステップＳ１０１により「桜」というタグが付与された画像＃１が収集されると、図４に示すように、データベース部ＤＢ１において画像ＩＤ“＃１”に対応して画像の実データ（画像＃１）、タイトル、ＵＲＬが登録され、インデックス部ＩＤＸ１ａにおいてインデックスワード「桜」に対応して画像ＩＤ“＃１”が登録される（ステップＳ１０２）。

また、ステップＳ１０３〜Ｓ１０５により、桜の花びらを示す部分画像の集合からなるクラスタ（桜の花びらの特徴を示すクラスタ）について代表部分画像Ｒ１が選定されると、図５に示すように、代表部分画像データベース１７のデータベース部ＤＢ２において代表部分画像ＩＤ“Ｒ１”に対応して代表部分画像の実データ（代表部分画像Ｒ１）が登録され、インデックス部ＩＤＸ２においてインデックスワード「桜」に対応して代表部分画像ＩＤ“Ｒ１”が登録される（ステップＳ１０６）。
また、画像＃１，＃２が、代表部分画像Ｒ１が属するクラスタ（桜の花びらの特徴を示すクラスタ）に分類されている部分画像の元となっているので、画像データベース１５のインデックス部ＩＤＸ１ｂにおいて代表部分画像Ｒ１に対応して画像ＩＤ“＃１，＃２”が登録される。

図８，９は、代表部分画像を選定する際のアルゴリズムを視覚的に示す説明図である。図８，９では、説明を簡単にするため、画像が４×３のブロックに分割されたとき、類似する特徴量を有する部分画像に同じパターンを付して模式的に示している。
図８において、画像Ａは、「山」、「海」という２つのタグが付与されている画像で、パターンＰ１（山に対応する要素）、パターンＰ２（砂浜に対応する要素）、パターンＰ３（海に対応する要素）で構成されているものとする。
画像Ｂは、「山」、「森」という２つのタグが付与されている画像で、パターンＰ１、パターンＰ４（木の幹に対応する要素）、パターンＰ５（木の葉に対応する要素）、パターンＰ６（土に対応する要素）で構成されているものとする。
したがって、インデックスワード「海」に対しては画像Ａが登録され、インデックスワード「森」に対しては画像Ｂが登録され、インデックスワード「山」に対しては画像Ａ，Ｂが登録される。

図９に示すように、インデックスワード「海」に対して登録された画像Ａは、図６のステップＳ１０３に示す処理により、４×３のブロックに分割され、部分画像Ａ１〜Ａ１２が生成される。
次いで、図６のステップＳ１０４に示す処理により、山に対応する部分画像Ａ２〜Ａ４，Ａ７，Ａ８，Ａ１２がクラスタ１に分類され、砂浜に対応する部分画像Ａ１，Ａ６，Ａ１１がクラスタ２に分類され、海に対応する部分画像Ａ５，Ａ９，Ａ１０がクラスタ３に分類される。なお、図９では、クラスタリングされた各部分画像は、特徴量に基づいて配列されているものとする。つまり、配列の中心に位置する部分画像の特徴量を基準として、配列の端に位置する画像ほど特徴量の差が大きくなる。
そして、図６のステップＳ１０５に示す処理により、クラスタ１の中心に位置する部分画像Ａ４が山を示す代表部分画像として選定され、クラスタ２の中心に位置する部分画像Ａ６が砂浜を示す代表部分画像として選定され、クラスタ３の中心に位置する部分画像Ａ９が海を示す代表部分画像として選定される。

同様に、インデックスワード「森」に対して登録された画像Ｂは、図６のステップＳ１０３に示す処理により、４×３のブロックに分割され、部分画像Ｂ１〜Ｂ１２が生成される。
次いで、図６のステップＳ１０４に示す処理により、木の幹に対応する部分画像Ｂ１，Ｂ５，Ｂ９がクラスタ４に分類され、山に対応する部分画像Ｂ２，Ｂ３がクラスタ１に分類され、木の葉に対応する部分画像Ｂ６，Ｂ１０，Ｂ１１がクラスタ５に分類され、土に対応する部分画像Ｂ４，Ｂ７，Ｂ８，Ｂ１２がクラスタ６に分類される。
そして、図６のステップＳ１０５に示す処理により、クラスタ４の中心に位置する部分画像Ｂ５が木の幹を示す代表部分画像として選定され、クラスタ１の中心に位置する部分画像Ｂ２が山を示す代表部分画像として選定され、クラスタ５の中心に位置する部分画像Ｂ１０が木の葉を示す代表部分画像として選定され、クラスタ６の中心に位置する部分画像Ｂ７が土を示す代表部分画像として選定される。

また、インデックスワード「山」に対しては画像Ａ，Ｂが登録されているので、インデックスワード「海」、「森」についてなされた処理の組合せとなる。この場合、山の特徴を示すクラスタ１に属する部分画像は、部分画像Ａ２〜Ａ４，Ａ７，Ａ８，Ａ１２、及び部分画像Ｂ２，Ｂ３となるので、中心となる部分画像Ａ８が代表部分画像として選定されることとなる。他のクラスタ２〜６については、インデックスワード「海」又は「森」について選定されたのと同じ代表部分画像となる。

このように、画像検索装置としてのウェブサーバ１は、インデックスワードごとに関連付けられた画像に基づいて、このインデックスワードに対応する代表的な部分画像（代表部分画像）を生成する代表部分画像生成手段（図６のステップＳ１０３〜Ｓ１０５）と、生成された代表部分画像をインデックスワードごとに代表部分画像データベース１７に登録する代表部分画像データベース登録手段（図６のステップＳ１０６）と、代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類する分類手段（図６のステップＳ１０６）と、を備えている。
さらに、インターネット上で公開されている画像と、この画像に関連するインデックスワードとを取得する取得手段（図６のステップＳ１０１）を備えている。

具体的には、代表部分画像生成手段は、インデックスワードごとに関連付けられた画像を、それぞれ所定のブロックに分割し（図６のステップＳ１０３）、分割された個々の部分画像を、その特徴量に基づいてクラスタリングし（図６のステップＳ１０４）、各クラスタに属する部分画像の中から代表部分画像を選定する（図６のステップＳ１０５）。
また、分類手段は、代表部分画像を選定したクラスタに属する部分画像の分割元となる画像を、当該代表部分画像ごとに分類し、画像データベース１５に登録する。
これにより、ウェブサーバ１においては、システム提供者によって代表部分画像を適宜撮影・加工等して作成するという煩雑な作業を要することなく、収集された画像に基づいて自動的に代表部分画像が生成される。

また、ウェブサーバ１は、取得された画像を、この画像に関連するインデックスワードごとに画像データベース１５に登録する画像データベース登録手段（図６のステップＳ１０２）を備えている。これにより、キーワードを検索キーとした画像検索と、代表部分画像を検索キーとした画像検索を容易に実現可能となる。

さらに、代表部分画像生成手段は、インデックスワードごとに登録された画像から背景と区別されるオブジェクトを検出可能に構成され、画像からオブジェクトが検出された場合に、このオブジェクトの特徴（色や模様）を示す画像を代表部分画像とする。
これにより、例えば、ネクタイやスーツ等、色や模様、形状の特徴が商品選びの基準となるものについて、これらをキーワードとして表現することが困難な場合であっても、代表部分画像により効率よく所望の画像を検索することができる。

図１０は、クライアント端末２において画像検索を行うときのウェブサーバ１及びクライアント端末２における処理手順について示すフローチャートである。
図１０に示す処理手順は、例えば、クライアント端末２においてウェブブラウザが起動され、ウェブサーバ１が提供する画像検索サービスにアクセスされたときに開始される。
なお、以下の説明において、ウェブサーバ１の画像データベース１５は図４に示すデータ構成を有し、代表部分画像データベース１７は図５に示すデータ構成を有しているものとする。

ステップＳ２０１では、ウェブサーバ１から画像検索サービス画面のＨＴＭＬファイルが送信される。このＨＴＭＬファイル及び後述する検索結果画面のＨＴＭＬファイルには、ユーザ操作に基づいてキーワードや代表部分画像を検索キーとして送信するための制御プログラム（例えば、ＪＡＶＡ（登録商標）プログラム）が埋め込まれている。

ステップＳ２０２では、クライアント端末２のウェブブラウザが画像検索サービス画面のＨＴＭＬファイルを解析することにより、表示部２４に画像検索サービス画面が表示される。ユーザは、この画像検索サービス画面内に配置された検索窓にキーワードを入力し、検索を指示することで、所望する画像に関する情報（画像、タイトル、ＵＲＬ等を含む）を入手することができる。
例えば、「桜」が被写体となっている画像を検索したい場合には、検索窓に「桜」と入力して検索指示を行えばよいし、「ネクタイ」が被写体となっている画像を検索したい場合（オンラインショップにおいて商品検索をする場合等）には、検索窓に「ネクタイ」と入力して検索指示を行えばよい。

ステップＳ２０３では、画像検索サービス画面において、ユーザ操作によりキーワードが入力され検索要求が指示されると、このキーワードを検索キーとする検索要求がウェブサーバ１に対して送信される。
例えば、ユーザによりキーワード「桜」が入力され検索指示が行われると、キーワード「桜」を検索キーとする検索要求がなされ、キーワード「ネクタイ」が入力され検索指示が行われると、キーワード「ネクタイ」を検索キーとする検索要求がなされる。

ステップＳ２０４では、ウェブサーバ１において、画像データベース１５を参照し、検索キーとされたキーワードと画像データベース１５に登録されているインデックスワードを比較することにより、キーワードによる画像検索が実行される。
例えば、キーワード「桜」による検索要求の場合、画像＃１（桜のある風景），画像＃２（桜の花びら），・・が検索キーに適合する画像として特定されることとなる。また、キーワード「ネクタイ」による検索要求の場合、画像＃１１（水玉模様のネクタイ），画像＃１２（ストライプのネクタイ），・・が検索キーに適合する画像として特定されることとなる。

ステップＳ２０５では、代表部分画像データベース１７を参照し、検索キーとされたキーワードと代表部分画像データベース１７に登録されているインデックスワードを比較することにより、キーワード（インデックスワード）に対応する代表部分画像が抽出される。
例えば、キーワード「桜」による検索要求の場合、代表部分画像Ｒ１（桜の花びら），代表部分画像Ｒ２（空），・・が抽出されることとなる。また、キーワード「ネクタイ」による検索要求の場合、代表部分画像Ｒ１１（水玉柄），代表部分画像Ｒ１２（ストライプ柄），・・が抽出されることとなる。

ステップＳ２０６では、検索キーとされたキーワードに適合する画像に関する情報が検索結果としてウェブサーバ１に対して送信される。このとき、検索結果とともに、ステップＳ２０５で抽出された代表部分画像が提示される。すなわち、検索キーとされたキーワードによる検索結果と、このキーワードに基づいて抽出された代表部分画像とを含む検索結果画面のＨＴＭＬファイルが生成され、クライアント端末２に対して送信される。
例えば、キーワード「桜」による検索要求の場合、検索結果画面には、画像＃１，＃２，・・及びこれらに付随する情報（タイトルやＵＲＬ等）からなる検索結果と、代表部分画像Ｒ１，Ｒ２，・・からなる代表部分画像群が含まれることとなる。また、キーワード「ネクタイ」による検索要求の場合、検索結果画面には、画像＃１１，＃１２，・・及びこれらに付随する情報（タイトルやＵＲＬ等）からなる検索結果と、代表部分画像Ｒ１１，Ｒ１２，・・からなる代表部分画像群が含まれることとなる。

このとき、複数の代表部分画像を提示する場合には、代表部分画像が属するクラスタに分類されている部分画像が多い順に配列して提示するのが望ましい。例えば、図９に示すように部分画像がクラスタリングされた場合、インデックスワード「山」に対する代表部分画像は、クラスタ１に分類されている部分画像が１番多いので、クラスタ１の代表部分画像Ａ８が最初に配列されるようにする。
または、代表部分画像が属するクラスタに分類されている部分画像の元となる画像が多い順に配列して提示するようにしてもよい。例えば、図８に示すように部分画像がクラスタリングされた場合、インデックスワード「山」に対する代表部分画像は、クラスタ１に分類されている部分画像の元となる画像は画像Ａ，Ｂの２つで、他のクラスタに分類されている部分画像の元となる画像は画像Ａ又は画像Ｂの何れか一方となっているので、クラスタ１の代表部分画像Ａ８が最初に配列されるようにする。
このように、ユーザが代表部分画像により検索結果の絞り込みを行う際に利用する可能性が高いと考えられる順に代表部分画像を提示することで、ＧＵＩの利便性を高めることができる。

ステップＳ２０７では、クライアント端末２において、ウェブサーバ１から送信された検索結果画面のＨＴＭＬファイルが解析され、表示部２４に検索結果画面が表示される。
ユーザは、代表部分画像が提示されている検索結果画面において、１又は複数の代表部分画像を選択し、検索を指示することで、検索結果を代表部分画像により絞り込むことができる。
例えば、キーワード「桜」による検索結果画面において、「桜の花びら」が被写体として含まれる画像に絞り込みたい場合には、代表部分画像Ｒ１を選択して検索指示を行えばよいし、「空」が被写体として含まれる画像（桜のある風景画像等）に絞り込みたい場合には、代表部分画像Ｒ２を選択して検索指示を行えばよい。また、キーワード「ネクタイ」による検索結果画面において、ネクタイの柄が「水玉模様」である画像に絞り込みたい場合には、代表部分画像Ｒ１１を選択して検索指示を行えばよいし、ネクタイの柄が「ストライプ」である画像に絞り込みたい場合には、代表部分画像Ｒ１２を選択して検索指示を行えばよい。

ステップＳ２０８では、代表部分画像が提示されている検索結果画面において、ユーザ操作により１又は複数の代表部分画像が選択され検索指示が行われると、選択された代表部分画像を検索キーとする検索要求がウェブサーバ１に対して送信される。
例えば、キーワード「桜」による検索結果画面において、ユーザにより代表部分画像Ｒ２が選択され検索指示が行われると、代表部分画像Ｒ２を検索キーとする検索要求がなされる。また、キーワード「ネクタイ」による検索結果画面において、ユーザにより代表部分画像Ｒ１１が選択され検索指示が行われると、代表部分画像Ｒ１１を検索キーとする検索要求がなされる。

ステップＳ２０９では、ウェブサーバ１において、画像データベース１５を参照することにより、検索キーとされた代表部分画像による画像検索が実行される。
例えば、キーワード「桜」による検索結果画面における代表部分画像Ｒ２による検索要求の場合、画像＃１（桜のある風景），・・が検索キーに適合する画像として特定されることとなる。つまり、画像＃２は、代表部分画像Ｒ２の属するクラスタ（空の特徴を示すクラスタ）に分類されている部分画像を有していないので、除外されることとなる。
また、キーワード「ネクタイ」による検索結果画面における代表部分画像Ｒ１１により検索要求の場合、画像＃１１（水玉模様のネクタイ），・・が検索キーに適合する画像として特定されることとなる。つまり、画像＃１２は、代表部分画像Ｒ１１の属するクラスタ（水玉模様の特徴を示すクラスタ）に分類されている部分画像を有していないので、除外されることとなる。

ステップＳ２１０では、検索キーとされた代表部分画像により絞り込まれた検索結果を含む検索結果画面（絞り込み結果画面）のＨＴＭＬファイルが生成され、クライアント端末２に対して送信される。
例えば、キーワード「桜」による検索結果画面における代表部分画像Ｒ２による検索要求の場合、絞り込み結果画面には、画像＃１，・・及びこれらに付随する情報（タイトルやＵＲＬ等）からなる検索結果が含まれることとなる。また、キーワード「ネクタイ」による検索結果画面における代表部分画像Ｒ１１による検索要求の場合、絞り込み結果画面には、画像＃１１，・・及びこれらに付随する情報（タイトルやＵＲＬ等）からなる検索結果が含まれることとなる。

ステップＳ２１１では、クライアント端末２において、ウェブサーバ１から送信された検索結果画面のＨＴＭＬファイルが解析され、表示部２４に検索結果画面（絞り込み結果画面）が表示される。

図１１は、キーワード「スーツ」による検索結果画面の一例について示す説明図である。
図１１に示す検索結果画面Ｄにおいて、ウィンドウ上部には、ユーザがキーワードを入力するための検索窓ＳＷと、検索を指示する検索ボタンＳＢが配置されている。これらは、初期の画像検索サービス画面でも配置される。画像検索サービス画面において入力されたキーワード（例えば、スーツ）は、検索結果画面Ｄでもそのまま検索窓ＳＷに表示される。

図１１に示すように、例えば、キーワード「スーツ」による検索要求がなされると、キーワード「スーツ」に適合する画像及びこれらに付随する情報からなる検索結果ＳＲと、キーワード「スーツ」で抽出された代表部分画像ＲＰが、検索結果画面Ｄに提示される。
なお、図１１において表示されている検索結果ＳＲ及び代表部分画像ＲＰは、キーワード「スーツ」による検索要求により得られた結果の一部であり、ウェブブラウザのスクロールバーを操作したり、ページ遷移操作したりすることにより、結果の全部を閲覧できるようになっている。

図１１では、キーワード「スーツ」に対応する代表部分画像ＲＰとして、スーツの生地（柄）を示す代表部分画像が提示されている。したがって、ユーザは所望する生地の代表部分画像を選択することで、選択した生地のスーツが被写体となっている画像に絞り込んだ検索結果を得ることができる。
例えば、ユーザが縦縞の代表部分画像ＲＰ１を選択して検索指示を行うと、画像ＳＲ１のように縦縞のスーツが被写体となっている画像（図１１に示すウィンドウ上には表示されていない画像を含む）が絞り込み結果として提示されることとなる。
このように、色や模様などで特徴付けられた商品を検索する場合、ユーザは視覚的に検索キー（代表部分画像）を指定できるので、非常に便利である。

ここで、代表部分画像による検索指示を実現する手法としては、例えば、代表部分画像ＲＰを構成する個々の代表部分画像に、その代表部分画像を検索キーとする検索を指示するためのボタンとしての機能を付加すればよい。すなわち、ユーザが１つの代表部分画像にマウスカーソルを合わせてクリック操作を行うと、その代表部分画像が選択されるとともに、検索指示がなされるようにする。
また、個々の代表部分画像に隣接してラジオボタンを設け、ラジオボタンにより代表部分画像が選択された状態で検索ボタンＳＢのクリック操作が行われることで、代表部分画像による検索指示を実現するようにしてもよい。この場合、複数の代表部分画像による絞り検索が可能となる。複数の代表部分画像による検索指示が行われた場合は、予め設定されたＡＮＤ検索又はＯＲ検索により画像検索が行われるようにする。ＡＮＤ検索の場合は、選択された代表部分画像すべてに関連する画像が検索されることとなる。

上述したように、画像検索装置としてのウェブサーバ１は、クライアント端末２からのキーワードによる検索要求に応答して、このキーワード（インデックスワード）に対応付けられた代表部分画像を提示する代表部分画像提示手段（図１０のステップＳ２０５，Ｓ２０６）と、提示された代表部分画像のうち、クライアント端末２におけるユーザ操作により選択された代表部分画像に関連する画像を検索結果として提示する検索結果提示手段（図１０のステップＳ２０９，Ｓ２１０）と、を備えている。

ウェブサーバ１によれば、キーワードを検索キーとする画像検索が行われたときに、このキーワードに関連する代表部分画像を提示し、これを検索キーとして利用できるので、ユーザは直接的かつ感覚的に画像検索を実行することができる。したがって、画像検索に係るユーザの操作性が容易化される。

また、代表部分画像提示手段は、クライアント端末２からのキーワードによる検索要求に応答して、このキーワード（インデックスワード）に対応付けられた画像を代表部分画像とともに提示する（図９のステップＳ２０４，Ｓ２０６）。
これにより、キーワードによる画像検索の結果を知得できるので、その結果に応じて代表部分画像を検索キーとして利用するか否かを決定できることとなり、画像検索に係る自由度が高くなる。

また、検索結果提示手段は、インデックスワードに対応付けられた画像（キーワードにより検索された画像）の中から、選択された代表部分画像に関連する画像を検索（抽出）して提示する。
これにより、キーワードと、当該キーワードに応じた代表部分画像の両方を検索キーとする画像検索となるので、所望する画像を効率よく検索することができる。

以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態では、クライアント端末２からのキーワードによる検索要求に応答して、キーワードによる検索結果とともに代表部分画像を提示するようにしているが、代表部分画像だけを提示するようにしてもよい。
これにより、クライアント端末２において、代表部分画像を提示するための表示領域を大きくできるので、代表部分画像を検索キーとする際の選択操作が容易になる。代表部分画像により画像検索することを前提としている場合、つまり、キーワードだけによる検索結果を必要としない場合に有効である。

また、上記実施形態では、画像データベース１５に代表部分画像と画像を対応付けて登録することにより代表部分画像による画像検索を実現しているが、代表部分画像の特徴量に基づいて類似画像検索を行うようにしてもよい。すなわち、選択された代表部分画像に関連する画像を、画像同士の類似度に基づいて検索するようにしてもよい。
この場合、画像データベース１５におけるインデックス部ＩＤＸ１ｂは必要なく、その代わりに、画像データベース１５のデータベース部ＤＢ１に各画像の特徴量を記憶するとともに、特徴量の比較処理を実行可能な構成とする。

本発明は、キーワードによる検索要求に応答して画像を検索する画像検索装置に関する発明であるが、画像を検索キーとする検索要求に応答して画像を検索する場合（いわゆる類似画像検索）にも適用できる可能性がある。
この場合、画像を検索キーとする類似画像検索により検索結果を提示するとともに、検索キーとされた画像に類似する代表部分画像を提示することとなる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施形態に係る商品検索システムのネットワーク構成について示す概略図である。 ウェブサーバのハードウェア構成の概略を示すブロック図である。 クライアント端末のハードウェア構成の概略を示すブロック図である。 画像データベースのデータ構成の一例を示す説明図である。 代表部分画像データベースのデータ構成の一例を示す説明図である。 ウェブサーバにおけるデータベース登録処理の一例について示すフローチャートである。 インデックスワード「桜」に関連付けられた画像の部分画像をクラスタリングするための特徴量空間を示す説明図である。 代表部分画像を選定する際のアルゴリズムを視覚的に示す説明図である。 代表部分画像を選定する際のアルゴリズムを視覚的に示す説明図である。 クライアント端末において画像検索を行うときのウェブサーバ及びクライアント端末における処理手順について示すフローチャートである。 キーワード「スーツ」による検索結果画面の一例について示す説明図である。

符号の説明

１ ウェブサーバ（画像検索装置）
２ クライアント端末
Ｎ 通信ネットワーク

Claims (10)

1. キーワードによる検索要求に応答して画像を検索する画像検索装置であって、
   インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成する代表部分画像生成手段と、
   前記代表部分画像生成手段によって生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録する代表部分画像データベース登録手段と、
   前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類する分類手段と、
   前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示する代表部分画像提示手段と、
   前記代表部分画像提示手段により提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示する検索結果提示手段と、
   を備えることを特徴とする画像検索装置。
2. 前記代表部分画像生成手段は、前記インデックスワードごとに関連付けられた画像を、それぞれ所定のブロックに分割し、分割された個々の部分画像を、その特徴量に基づいてクラスタリングし、各クラスタに属する部分画像の中から前記代表部分画像を選定することを特徴とする請求項１に記載の画像検索装置。
3. 前記分類手段は、前記代表部分画像を選定したクラスタに属する部分画像の分割元となる画像を、当該代表部分画像ごとに分類することを特徴とする請求項２に記載の画像検索装置。
4. 前記代表部分画像提示手段は、前記インデックスワードによる検索要求に応答して、このインデックスワードに対応付けられた画像を前記代表部分画像とともに提示することを特徴とする請求項１から３のいずれか一項に記載の画像検索装置。
5. 前記代表部分画像生成手段は、前記インデックスワードごとに関連付けられた画像から背景と区別されるオブジェクトを検出可能に構成され、前記画像からオブジェクトが検出された場合に、このオブジェクトの特徴を示す画像を代表部分画像とすることを特徴とする請求項１から４のいずれか一項に記載の画像検索装置。
6. 前記検索結果提示手段は、前記インデックスワードに対応付けられた画像の中から、前記選択された代表部分画像に関連する画像を検索して提示することを特徴とする請求項１から５のいずれか一項に記載の画像検索装置。
7. 前記検索結果提示手段は、複数の代表部分画像を選択可能とし、その選択された代表部分画像すべてに関連する画像を検索することを特徴とする請求項１から６のいずれか一項に記載の画像検索装置。
8. インターネット上に公開されている画像と、この画像に関連するインデックスワードとを取得する取得手段をさらに備え、
   前記代表部分画像生成手段は、前記取得手段により取得された画像に基づいて前記代表部分画像を生成することを特徴とする請求項１から７のいずれか一項に記載の画像検索装置。
9. キーワードによる検索要求に応答して画像を検索する方法であって、
   インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成するステップと、
   前記生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録するステップと、
   前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類するステップと、
   前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示するステップと、
   前記提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示するステップと、
   を備えることを特徴とする画像検索方法。
10. コンピュータに、
    インデックスワードごとに関連付けられた画像に基づいて、該インデックスワードに対応する代表的な部分画像を生成するステップと、
    前記生成された代表部分画像を前記インデックスワードごとに代表部分画像データベースに登録するステップと、
    前記代表部分画像の生成に用いられた画像を、当該画像に基づいて生成された代表部分画像に対応付けて分類するステップと、
    前記検索要求に応答して、インデックスワードに対応付けられた代表部分画像を前記代表部分画像データベースから検索して提示するステップと、
    前記提示された代表部分画像のうち、ユーザ操作により選択された代表部分画像によって前記分類されている画像を検索して提示するステップと、
    を実現させるためのプログラム。

Images