JP6041203B2 - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents

Description

本発明は、画像群の中からユーザの所望する画像を検索するための画像検索装置、画像検索方法及び画像検索プログラムに関する。

従来より、画像群の中からユーザの所望する画像を検索するための種々の技術が提案されている。かかる技術分野においては、膨大な画像群の中から、ユーザの求める画像をどうのようにして探し出すのかという点に加え、探し出された画像をユーザに対しどのような順番で提示するのかという点も、重要な研究テーマである。そのためには、ユーザの要望をどのようにして把握するのか、そして、その要望に沿った検索をどのようにして実現するのかが、大きな課題となる。

特許文献１には、検索対象となる画像群の中からユーザの入力したテキストクエリをキーとして画像群を検索し、検索された画像群をクラスタリング等の方法により複数の画像グループに分類することが開示されている。さらに、特許文献１では、この分類の結果をユーザに提示し、その後、ユーザから特定の画像グループの選択を受け付け、画面上に選択された画像グループに属する画像のみを表示することも開示されている。

特開２０１１−１５４６８７号公報

以上のとおり、特許文献１では、検索結果を絞り込むべく、画像群を複数の画像グループに分類した後、ユーザに所望の画像グループを選択させているが、画像群の分類条件は１通りに定められている。言い換えると、特許文献１では、画像群を１つの観点から１通りに分類しているのみである。

ところで、たとえ同じクエリを用いて画像の検索を行う場合であっても、ユーザの求める検索結果はＴＰＯに応じて異なるものとなる。例えば、ユーザが蝶々の画像を求めている場合に、ユーザが蝶々の外形に注目しているのか、蝶々の羽の模様に注目しているのかでは、ユーザに提示されるべき検索結果は異なってくる。従って、特許文献１のように、１つの分類条件でのみ、すなわち、１つの観点から１通りにのみ画像群の分類を行うのでは、ユーザが真に求めるものを最終的な検索結果に十分に反映することができないという問題が生じ得る。例えば、ユーザが特定の外形（羽の先端が尖っている、羽の先端が丸味を帯びている等）を有する蝶々の画像を求めている場合に、蝶々の外形の観点から画像群が分類がされないと、分類の結果はユーザの意図に沿わないものになる。このように、ユーザの要望はＴＰＯによって変化するものであり、その変化に追従して検索結果を変えることはユーザからの強い要請である。

本発明は、ユーザの意図に沿った検索結果を得ることができる画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。

本発明の第１観点に係る画像検索装置は、分類部と、第１表示制御部と、選択受付部と、優先度判断部と、第２表示制御部とを備える。分類部は、同じ画像群を、複数の分類条件により複数の分類パターンで分類する。第１表示制御部は、前記複数の分類パターンでの分類の結果を表示する。選択受付部は、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付ける。優先度判断部は、前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する。第２表示制御部は、前記優先度に従って、前記画像群に含まれる画像を表示する。なお、ここで「画像グループ」とは、分類の結果を表示する画面例を示す図７の例で言うと、Ａ２に対応し、「分類パターン」とは、Ａ２を複数まとめたＡ１に対応する。従って、図７では、２つの分類条件による２つの分類パターンが表示されていることになる。

ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び／又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。

すなわち、ここでは、検索対象となる画像群が、複数の観点から複数通りに分類される。その後、これらの複数通りの分類の結果の提示を受けて、ユーザは特定の分類パターンを選択し得るが、この選択は、ユーザが複数の分類の観点の中から、自分の意図に沿った分類の観点を選択することを意味する。従って、例えば、蝶々の外形の観点での分類と、蝶々の羽の模様の観点での分類とが示された場合に、ユーザは、前者の分類に対応する分類パターンを選択することにより、蝶々の羽の模様ではなく、蝶々の外形に注目していることを意思表示することができる。或いは、ユーザは、特定の分類パターンに代えて又は加えて、特定の画像グループを選択し得るが、この選択は、ユーザが、自分の意図に沿った検索基準として、自身の求める画像を（少なくとも概ね）束ねる画像グループを選択することを意味する。先ほどの蝶々の例で言うと、ユーザは、蝶々の外形による分類による複数の画像グループの中から、特定の画像グループを選択することにより、特定の外形（羽の先端が尖っている、羽の先端が丸味を帯びている等）を有する蝶々に注目していることを意思表示することができる。

以上により、ユーザは、特定の分類パターン及び／又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び／又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。

第２観点に係る画像検索装置は、第１観点に係る画像検索装置であって、クエリ受付部をさらに備える。クエリ受付部は、ユーザから、クエリ画像の指定を受け付ける。前記第１表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する。なお、ここでは、クエリ画像との類似度の高い画像グループに属する全ての画像が表示される必要はなく、当該画像グループに属する画像の一部が代表画像として表示されてもよい。

ここでは、ユーザによりクエリ画像が指定され、その後、画像群の分類の結果の表示時には、クエリ画像に類似する画像グループに属する画像が優先的に表示される。従って、画像群の分類の結果を見たユーザは、自分の意図に沿った分類パターン及び／又は画像グループを指定し易くなる。

なお、画像グループとクエリ画像との類似度は、例えば、分類条件により規定される分類空間内で、クエリ画像を示す点と、画像グループを示す領域の重心との距離に応じて判断することができる。また、分類空間内で、クエリ画像を示す点が存在する領域の画像グループを、クエリ画像と類似度の高い画像グループと判断してもよい。さらに、ここでいう分類空間は、１次元空間であっても、多次元空間であってもよい。

第３観点に係る画像検索装置は、第２観点に係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の分類パターンの選択を受け付けた場合、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループに属する画像の前記優先度を高く設定する。

ここでは、ユーザの指定する分類の観点から見てクエリ画像と類似する画像グループに属する画像が、検索結果として優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。

第４観点に係る画像検索装置は、第３観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の分類パターンの選択を受け付ける。前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。

ここでは、ユーザは、自分の意図に沿った分類パターンを複数選択することができる。そして、ユーザにより複数の分類パターンが選択されると、これらの分類パターンにそれぞれ対応する複数の類似画像グループが特定され、その後、検索結果として、これらの類似画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは、複数の分類の観点を組み合わせて、自身の意図を指定することができる。

第５観点に係る画像検索装置は、第１観点から第４観点のいずれかに係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の画像グループの選択を受け付けた場合、前記特定の画像グループに属する画像の前記優先度を高く設定する。

ここでは、検索結果として、ユーザの指定する画像グループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。

第６観点に係る画像検索装置は、第５観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。

ここでは、ユーザは、自分の意図に沿った画像グループを複数選択することができる。そして、ユーザにより複数の画像グループが選択されると、検索結果として、これらの画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは複数の画像グループを組み合わせて、自身の意図を指定することができる。

第７観点に係る画像検索装置は、第２観点に係る画像検索装置であって、前記選択受付部は、前記特定の分類パターン及び前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。

ここでは、ユーザは、自分の意図に沿った分類パターン及び画像グループを組み合わせて選択することができる。そして、ユーザにより分類パターン及び画像グループの両方が選択されると、まず、分類パターンにより規定される複数のグループのうち、クエリ画像と類似する類似画像グループが特定される。そして、その後、検索結果として、この類似画像グループと、ユーザにより指定された画像グループとの集合演算により規定されるグループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。

第８観点に係る画像検索装置は、第２観点から第７観点のいずれかに係る画像検索装置であって、前記選択受付部は、ユーザから、前記特定の分類パターン及び／又は前記特定の画像グループの選択を受け付けることにより、前記分類条件の選択を受け付けるとともに、前記分類条件の重みの指定を受け付ける。前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する。

ここでは、ユーザは、自分の意図に沿った分類条件を選択するとともに、その重みを指定することができる。そして、ユーザにより複数の分類条件が選択されると、ユーザにより指定された重みに従ってこれらの分類条件に重み付けを行った上で、そのような重み付がされた複合的な観点から、検索対象となる画像群に含まれる画像とクエリ画像との類似度が判断される。そして、その後、検索結果として、この類似度の高い画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。

第９観点に係る画像検索装置は、第１観点から第８観点のいずれかに係る画像検索装置であって、前記分類条件は、１の特徴量又は複数の特徴量の組み合わせである特徴量記述子により定義される。従って、ここでは、分類の観点という抽象的な概念を、コンピュータ等の装置で理解可能なように定量的に表現することができる。

第１０観点に係る画像検索方法は、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとを備える。

ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び／又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。

以上により、ユーザは、特定の分類パターン及び／又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び／又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。

第１１観点に係る画像検索プログラムは、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとをコンピュータに実行させる。

ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び／又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。

以上により、ユーザは、特定の分類パターン及び／又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び／又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。

本発明によれば、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び／又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。以上により、ユーザは、特定の分類パターン及び／又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び／又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。

本発明の一実施形態に係る画像検索システムの概略構成図である。 画像サーバの構成を示すブロック図である。 情報端末の構成を示すブロック図である。 特徴データベースのデータ構造を示す図である。 画像検索の流れを示すシーケンス図である。 （Ａ）検索対象となる画像群の例を示す図である。（Ｂ）クエリ画像の例を示す図である。 選択画面の例を示す図である。 検索結果画面の例を示す図である。

以下、図面を参照しつつ、本発明の一実施形態に係る画像検索装置、画像検索方法及び画像検索プログラムについて説明する。
＜１．概略構成＞
図１に示すように、本実施形態に係る画像検索装置である画像検索システム１は、画像サーバ２と、画像サーバ２にローカルエリアネットワーク（ＬＡＮ）やインターネット等のネットワーク６を介して接続される様々な情報端末３とを備えている。情報端末３は、画像の検索を行うユーザの操作に供する装置である。画像検索システム１は、主として情報端末３を介してユーザにより指定されるクエリ画像をキーとして、画像サーバ２に蓄積されている膨大な画像群の中からユーザの所望する画像を検索するシステムである。画像検索システム１は、対話的にユーザの意図を把握し、ユーザの検索の目的に沿った検索結果をユーザに対し提示することができる。

画像サーバ２は、ハードウェアとしては、一般的なサーバコンピュータである。画像サーバ２は、この一般的なサーバコンピュータに画像検索プログラム２Ａをインストールするとともに、検索対象となる画像群を蓄積することにより製造される。画像検索プログラム２Ａは、画像サーバ２に後述する処理を実行させるプログラムであり、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体７０から、又はネットワーク６を介して別の装置からインストールされる。なお、画像サーバ２の担う機能は、複数台のサーバコンピュータにより分散処理されてもよいし、１台のサーバコンピュータにより集中処理されてもよい。すなわち、画像サーバ２のハードウェア構成は、少なくとも１台サーバコンピュータが存在するという以上の制約を受けるものではない。

情報端末３は、ハードウェアとしては、ネットワーク６に接続可能な一般的なパーソナルコンピュータや、スマートフォン等であり、これらの一般的な装置に所定のプログラム３Ａをインストールすることにより製造される。プログラム３Ａは、情報端末３に後述する処理を実行させるプログラムであり、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体８０から、又はネットワーク６を介して別の装置からインストールされる。プログラム３Ａは、画像サーバ２との接続を確立し、画像サーバ２と協働しつつ画像検索処理の一部を実行するためのアプリケーションソフトウェアであり、本実施形態では、単なるブラウザである。従って、本実施形態では、各種画面を表示する以外の処理は、原則として全て画像サーバ２により実行され、情報端末３は、主として画像サーバ２が作成する各種画面を画像サーバ２から受け取って表示する処理のみを実行する。しかしながら、他の実施形態においては、画像検索プログラム２Ａに実装されている後述される任意の機能をプログラム３Ａに実装し、画像サーバ２の担う処理を情報端末３に分散させてもよい。以下、各装置の構成について、説明する。

＜２．各装置の詳細＞
＜２−１．画像サーバ＞
図２に示すように、画像サーバ２は、制御部２１、記憶部２２及び通信部２３を備えている。これらの部２１〜２３は、互いにバス線７を介して接続されており、相互に通信可能である。

記憶部２２は、ハードディスクや磁気テープ等の不揮発性の記憶装置から構成されており、画像検索プログラム２Ａが格納されているほか、画像データベース５０及び特徴データベース５５が構築されている。画像データベース５０内には、検索対象となる画像群が蓄積されている。各データベース５０，５５の詳細については、後述する。

制御部２１は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されている。制御部２１は、記憶部２２内に格納されている画像検索プログラム２Ａを読み出して実行することにより、仮想的に特徴抽出部２１Ａ、分類部２１Ｂ、クエリ受付部２１Ｃ、類似度判断部２１Ｄ、選択受付部２１Ｅ、優先度判断部２１Ｆ、第１表示制御部２１Ｇ及び第２表示制御部２１Ｈとして動作する。各部２１Ａ〜２１Ｈの動作の詳細については、後述する。

通信部２３は、画像サーバ２をネットワーク６に接続するほか、ＵＳＢメモリやメモリカードなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部２３は、ネットワーク６を介して情報端末３との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。

＜２−２．情報端末＞
図３に示すように、情報端末３は、表示部３１、入力部３２、記憶部３３、制御部３４及び通信部３５を備えている。これらの部３１〜３５は、互いにバス線８を介して接続されており、相互に通信可能である。本実施形態では、表示部３１は、液晶ディスプレイ等で構成されており、後述する画面等をユーザに対し表示するユーザーインターフェースである。また、入力部３２は、マウス、キーボード、タッチパネル、操作ボタン等で構成されており、情報端末３、ひいてはこれに接続される画像サーバ２に対するユーザからの操作を受け付けるユーザーインターフェースである。

記憶部３３は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、プログラム３Ａが格納されている。制御部３４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されている。通信部３５は、情報端末３をネットワーク２に接続するほか、ＵＳＢメモリやメモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部３５は、ネットワーク６を介して画像サーバ２との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。

＜３．動作＞
以下、画像検索システム１の動作について、説明する。
＜３−１．検索対象となる画像群の準備＞
まず、画像検索システム１による画像検索を開始するに当たり、画像データベース５０内に検索対象となる画像群のデータが蓄積される。このとき、画像データベース５０内に蓄積される画像群は、アクセス権限を有する管理者により手動で、又は自動で、画像サーバ２に直接接続されるマウスやキーボード等の入力装置、又は通信部２３を介して入力される。

画像データベース５０内では、適宜、新たに画像が追加され、又は一部が削除される。特徴抽出部２１Ａは、画像データベース５０内に新たな画像が追加される度に、或いは定期的に又は任意のタイミングで、新たに追加された各画像の特徴を表すパラメータの値として、その画像データから所定の特徴量記述子の値を算出する。ここで、特徴量記述子とは、１の特徴量又は複数の特徴量の組み合わせであり、本実施形態では、特徴量記述子の定義に含まれる特徴量に１対１で対応する座標系からなる１次元又は多次元の尺度である。従って、各画像の特徴量記述子の値は、１又は複数の特徴量の値を要素とする１次元又は多次元ベクトルとして表すことが可能であり、特徴量記述子により規定される１次元又は多次元の分類空間内において点で表される。

特徴量記述子は、例えば、フーリエ記述子、ゼロニケ多項式、マルコフ遷移確率、テクスチャ特徴量（高次モーメント、コントラスト、相関、均質性、エントロピー、相違、平均、分散等）、同時生起行列、曲率尺度空間表現（CSS: Curvature Scale Space）等、画像の特徴を表す公知の尺度を適宜用いて定義され得る。なお、高次モーメント、同時生起行列、フーリエ記述子等は、画像内の特徴領域の形状の特徴を表すのに適した記述子であり、特に高次モーメント、同時生起行列は、領域の特徴を表すのに適した領域ベースの記述子であり、フーリエ記述子、ＣＳＳは、輪郭線の特徴を表すのに適した輪郭線ベースの記述子である。これらの形状ベースの記述子は、特に検索対象となる画像がカラー画像ではなく、白黒画像の場合、或いはカラー画像であっても、比較的色の変化の少ない画像である場合に、画像の特徴を的確に表すことができる。一般に、白黒画像の検索はカラー画像の検索に比べて、色情報が無い分格段の困難性を伴うが、以上のような形状ベースの記述子を用いることで、白黒画像の検索を比較的容易に実現することができる。

ここで、特徴抽出部２１Ａは、各画像に対して、複数種類の特徴量記述子の値を算出する。また、特徴抽出部２１Ａは、各画像に対する複数種類の特徴量記述子の値をその画像に関連付けて、特徴データベース５５内に格納する。以下、複数の特徴量記述子をＤ１，Ｄ２，・・・と表すこととする。本実施形態では、特徴データベース５５は、図４に示す表形式のデータベースであり、特徴データベース５５内のレコードは、画像データベース５０内に格納されている画像に１対１で対応する。図４に示すように、特徴データベース５５内では、画像データベース５０内に格納されている画像の画像ＩＤに関連付けて、複数の特徴量記述子Ｄ１，Ｄ２，・・・の値が格納される。なお、画像サーバ２においては、特徴データベース５５内に結果としての数値が格納されているだけでなく、画像検索プログラム２Ａとして結果を導き出すアルゴリズムが実装されているので、未知の画像に対する特徴量記述子の値の計算が可能になっている。

さて、分類部２１Ｂは、特徴データベース５５内のレコードが更新される度に、或いは定期的に又は任意のタイミングで、画像データベース５０内の画像群を複数の分類条件により複数の分類パターンで複数通りに分類する。具体的には、分類部２１Ｂは、特徴量記述子Ｄ１，Ｄ２，・・・毎に、特徴データベース５５内に格納されている特徴量記述子の全ての値を複数のグループに分類することにより、画像データベース５０内の画像群を複数の画像グループに分類する。従って、ここで実行される複数種類の分類処理の分類条件は、それぞれ特徴量記述子Ｄ１，Ｄ２，・・・により決定される。また、ここで実行される分類処理による分類パターンは、特徴量記述子により規定される分類空間を分割する分割パターンに対応する。

画像の分類のために、任意の公知のクラスター分析のアルゴリズムを採用することができる。例えば、非階層的なクラスタリングの方法であるＫ平均法を採用してもよいが、階層的又は非階層的を問わず、他の方法を採用し得る。また、Ｋ平均法が採用される本実施形態では、画像グループどうしの重複はないが、画像グループどうしが部分的に重複し得る分類方法を採用することもできる。

分類部２１Ｂは、分類処理が終了すると、分類の結果を特徴データベース５５内に格納する。具体的には、分類部２１Ｂは、特徴量記述子Ｄ１，Ｄ２，・・・毎に、各画像の属する画像グループの画像グループＩＤをその画像に関連付けて、特徴データベース５５内に格納する。なお、図４に示すように、特徴データベース５５内では、各画像の画像ＩＤに対応する画像グループＩＤを特徴量記述子Ｄ１，Ｄ２，・・・毎に格納可能なフィールドが定義されている。また、分類部２１Ｂは、特徴量記述子Ｄ１，Ｄ２，・・・毎に、分類空間内での各画像グループに対応する領域の範囲を規定するデータ（以下、領域データ）を、当該画像グループの画像グループＩＤに関連付けて、記憶部２２内に格納する。

なお、上記のとおり、画像データベース５０内の画像は削除されることがあるが、その場合、特徴データベース５５内の当該画像に対応するレコードも削除される。

＜３−２．画像検索＞
続いて、図５を参照しつつ、画像検索システム１を用いた画像検索の流れについて、説明する。

まず、ユーザは、情報端末３の入力部３２を操作することにより、検索キーとなるクエリ画像Ｑ１又はその画像ＩＤ（画像の保管されている場所及びファイル名等を含む、画像を識別又は特定するための任意の情報）として、情報端末３又は情報端末３に接続されている装置（別体のパーソナルコンピュータや、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラ等、画像を格納している任意の装置）内に保存されている画像そのもの又は画像ＩＤを指定する（ステップＳ１）。情報端末３の通信部３５は、この操作を受けて、クエリ画像Ｑ１をネットワーク６を介して画像サーバ２に送信する（ステップＳ２）。このとき、クエリ画像Ｑ１は、通信部２３を介してクエリ受付部２１Ｃにより受け取られる。なお、クエリ画像Ｑ１の指定の方法としては、インターネット６上の画像を指定することも可能である。この場合、通信部３５は、インターネット６上のクエリ画像Ｑをいったんダウンロードした後、これをクエリ受付部２１Ｃに送信してもよいし、クエリ画像Ｑ１の存在するＵＲＬのみを画像サーバ２に通知し、クエリ受付部２１ＣにそのＵＲＬからクエリ画像Ｑ１をダウンロードさせるようにしてもよい。

続いて、ステップＳ３では、画像サーバ２の特徴抽出部２１Ａが、クエリ画像Ｑ１に対し、複数種類の特徴量記述子Ｄ１，Ｄ２，・・・の値を算出する。

次に、類似度判断部２１Ｄは、特徴量記述子Ｄ１，Ｄ２，・・・毎に、その特徴量記述子に対応する分類パターンでの各画像グループについて、クエリ画像Ｑ１との類似度を算出する。この演算は、クエリ画像Ｑ１の特徴量記述子Ｄ１，Ｄ２，・・・の値、及び記憶部２２内の上述の領域データに基づいて実行される。なお、画像グループとクエリ画像Ｑ１との類似度は、様々な方法で判断され得るが、例えば、分類空間内におけるクエリ画像Ｑ１を示す点と、画像グループを示す領域の重心との距離として判断される（距離が小さい程、類似度が高い）。また、分類空間内でクエリ画像Ｑ１を示す点が存在する領域の画像グループを、クエリ画像Ｑ１と最も類似度の高い画像グループと判断することも可能である。あるいは、画像グループに含まれる、クエリ画像Ｑ１から所定の基準以上の類似度の画像の数又はその割合に応じて、判断することも可能である。類似度判断部２１Ｄは、算出された類似度に従って、特徴量記述子Ｄ１，Ｄ２，・・・毎に、クエリ画像Ｑ１と類似度の高い上位Ｎ個（Ｎ＝１，２，・・・）の画像グループＣ１，・・・ＣＮを特定する（ステップＳ４）。なお、Ｎの値は、予め定められていてもよいし、画像グループとクエリ画像Ｑ１との類似度に従って、流動的に決定される値であってもよい。後者の場合には、特徴量記述子Ｄ１，Ｄ２，・・・毎に、Ｎの値が異なる結果となり得る。

また、類似度判断部２１Ｄは、特徴量記述子Ｄ１，Ｄ２，・・・毎に、ステップＳ４で特定された上位Ｎ個の画像グループＣ１，・・・ＣＮの各々について、その画像グループを代表するＭ枚（Ｍ＝１，２，・・・）の代表画像Ｒ１，・・・ＲＭを特定する（ステップＳ５）。代表画像Ｒ１，・・・ＲＭは、検索対象となる画像群（以下、画像群Ｉ１，Ｉ２，・・・）のうちの、その画像グループに属する画像のうち、クエリ画像Ｑ１と類似度の高い上位Ｍ枚の画像として特定される。ここで、画像と画像との類似度は、例えば、分類空間内でのそれらの画像を示す２点間の距離として判断される（距離が小さい程、類似度が高い）。なお、ここでの演算は、ステップＳ３で算出されたクエリ画像Ｑ１の特徴量記述子Ｄ１，Ｄ２，・・・の値、及び、特徴データベース５５内に格納されている画像群Ｉ１，Ｉ２，・・・の特徴量記述子Ｄ１，Ｄ２，・・・の値に基づいて実行される。なお、代表画像Ｒ１，・・・ＲＭの特定の方法は、上述したような類似度の高い上位Ｍ枚の画像を選択するという方法に限定されず、例えば、その画像グループの特徴を出来るだけ表現できるように代表画像Ｒ１，・・・ＲＭをピックアップするという方法も考えられる。例えば、画像グループに対応する領域内で画像の分布に幾つかのピークが存在するならば、そのピークの中心にある画像を選択することで、その画像グループの特徴を表現可能である。一方、画像グループに対応する領域内で画像が広く分散している場合には、その領域の中心付近の画像のみを選択するのではなく、その領域全体から分散して画像を選択することで、その画像グループの特徴を表現することができる。

次に、第１表示制御部２１は、選択画面Ｗ１（図７参照）を作成し、これをネットワーク６を介して情報端末３へ送信し、表示部３１上に表示する（ステップＳ６）。選択画面Ｗ１上では、分類パターン毎に、画像群Ｉ１，Ｉ２，・・・の中から、クエリ画像Ｑ１との類似度の高い上位Ｎ個の画像グループＣ１，・・・ＣＮの各々に属するＭ枚の代表画像Ｒ１，・・・ＲＭが表示される。従って、選択画面Ｗ１上では、複数の特徴量記述子Ｄ１，Ｄ２，・・・による複数の分類パターンでの複数通りの分類の結果が表示される。図７では、２つの分類パターンによる２通りの分類の結果が示されているが、３つ以上の分類パターンによる３通り以上の分類の結果が示されてもよいことは言うまでもない。また、ここでは、分類パターン毎に、上位Ｎ個の画像グループＣ１，・・・ＣＮに属する画像がその他の画像グループに属する画像に優先して表示される。

また、選択画面Ｗ１上では、同じ画像グループに属する代表画像Ｒ１，・・・ＲＭは、同じ画像グループに属することが分かるような態様で（図７の例では、画像グループ単位で一纏まりにする態様で）表示される。

また、選択画面Ｗ１上では、画像グループＣ１，・・・ＣＮとクエリ画像Ｑ１との類似度の大小が分かるような態様で（図７の例では、画像グループＣ１，・・・ＣＮの類似度の順位に従って、左から順に）、代表画像Ｒ１，・・・ＲＭが表示される。その結果、図７の選択画面Ｗ１上では、クエリ画像Ｑ１との類似度がより高く、ユーザの所望する可能性の高い画像が、左から順に並んでいる。

また、以上のことから明らかなことであるが、ここでは、Ｍ枚の代表画像Ｒ１，・・・ＲＭが、同じ画像グループに属するその他の画像に優先して表示される。上記のとおり、画像グループＣ１，・・・ＣＮは、クエリ画像Ｑ１との類似度の観点から選択された上位Ｎ個の画像グループであるが、これらの画像グループＣ１，・・・ＣＮに属する画像であっても、全ての画像がクエリ画像Ｑ１に類似しているとは限らない。ここでは、クエリ画像Ｑ１との類似度の高いものとして選択された画像グループＣ１，・・・ＣＮに属する画像のうち、さらにクエリ画像Ｑ１との類似度が高いものとして選択された代表画像Ｒ１，・・・ＲＭのみを表示する。これにより、選択画面Ｗ１の限られたスペースの中で、ユーザの所望する可能性の高い画像を効率的に配置することができる。

ところで、分類パターンを規定する特徴量記述子Ｄ１，Ｄ２，・・・は、分類の観点を表す指標である。ここで、分類の観点について、図７の例を参照しながら具体的に説明すると、図７の上のエリアＡ１の分類の結果は、画像中の特徴領域の中心が曲がっているか否かの分類の観点を表している。一方、図７の下のエリアＡ１の分類の結果は、画像中の特徴領域の先端が星状に尖っているか否かの分類の観点を表している。なお、図７の選択画面Ｗ１は、クエリ画像Ｑ１を図６（Ｂ）に示す骨の画像をとし、検索対象を図６（Ａ）に示す画像群Ｉ１，Ｉ２，・・・とした場合の画面である。

次に、ステップＳ６の説明に戻ると、選択画面Ｗ１がユーザに提示された後、選択受付部２１Ｅは、この選択画面Ｗ１を介してユーザから、特定の分類パターン及び／又は特定の画像グループの選択を受け付ける。上記のとおり、選択画面Ｗ１上には、複数の分類パターンによる分類の結果が表示されており、かつ、これらの分類パターンによりそれぞれ規定されるＮ個の画像グループＣ１，・・・ＣＮに各々属する代表画像Ｒ１，・・・ＲＭが表示されている。従って、ユーザは、これらの複数の分類パターン及び複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループを選択することができる。なお、選択画面Ｗ１上では、各分類パターンによる分類の結果を表示するエリアＡ１がオブジェクト化されており、ユーザはこれを選択することができる。また、各画像グループの代表画像Ｒ１，・・・ＲＭを表示するエリアＡ２もオブジェクト化されており、ユーザはこれを選択することができる。

ここで、上記のとおり、各エリアＡ１は、特定の分類の観点からの分類の結果を表示するものである。従って、特定のエリアＡ１を選択することは、ユーザが複数の分類の観点の中から、自分の意図に沿った特定の分類の観点を選択することを意味する。また、特定のエリアＡ２を選択することは、ユーザが自分の意図に沿った特定の検索基準として、様々な分類の観点で分類された様々な画像グループの中から、自身の求める画像を（少なくとも概ね）束ねる画像グループを選択することを意味する。

ところで、画像検索の分野において非常に重要なこととして、ユーザの所望する画像を探し出すに当たり、ユーザがどのような分類の観点及び／又は検索基準を所望しているのかを装置に理解させることが挙げられる。そして、一般に、これをユーザから言葉で聞き取り、装置に理解させることは難しいが、画像検索システム１においては、これをユーザによる分類パターン及び／又は画像グループの選択を介して実現している。すなわち、本実施形態では、分類に使用された特徴量記述子は装置が事前に保持している情報であるため、装置はユーザにより選択された分類パターン及び／又は画像グループに対応する特徴量記述子に応じて画像を探し出すことで、自然にユーザの意図に沿った検索結果を得ることができる。

さて、上記のとおり、選択画面Ｗ１は、エリアＡ１，Ａ２を介して、任意の数の選択要素（分類パターン及び／又は画像グループ）の選択を受け付ける。ただし、選択画面Ｗ１は、複数の選択要素が選択される場合には、これらの選択要素を「ＡＮＤ」又は「ＯＲ」のいずれの集合演算で組み合わせるのかをユーザに選択させる。選択画面Ｗ１上では、「ＡＮＤ」又は「ＯＲ」は、エリアＡ３（図７参照）を介して選択される。

ここで、複数の分類パターンを選択した上で、「ＡＮＤ」を選択することは、ユーザが、分類の観点の論理積を選択することを意味し、「ＯＲ」を選択することは、分類の観点の論理和を選択することを意味する。このことを再び図７の例を参照しながら説明すると、例えば、選択画面Ｗ１上で上下のエリアＡ１を「ＡＮＤ」で選択することは、ユーザが骨の中央の形状（例えば、骨の中央が真っ直ぐであること）に注目しており、かつ、骨の先端の形状（例えば、星状に尖っていないこと）に注目していることを意味する。一方、上下のエリアＡ１を「ＯＲ」で選択することは、検索されるべき骨の画像としては、骨の中央が真っ直ぐなものでも曲がっているものでもよく、かつ、骨の先端が星状に尖っているものでもいないものでもよいと、ユーザが考えていることを意味する。また、上のエリアＡ１内の画像グループＣ２及び下のエリアＡ１内の画像グループＣ２を「ＡＮＤ」を選択することは、ユーザが、骨の中央が曲がっており、かつ、骨の先端が星状に尖っている画像を求めていることを意味する。一方、上で上のエリアＡ１内の画像グループＣ１，Ｃ２，Ｃ４を「ＯＲ」を選択することは（さらに、下のエリアＡ１内の画像グループＣ１，Ｃ２が選択されてもよい）、ユーザが骨らしいものなら何でも検索したいと考えていることを意味する。また、上のエリアＡ１と、下のエリアＡ１内の画像グループＣ２とを「ＡＮＤ」で選択することは、ユーザが骨の先端が星状に尖っている画像のみを求めており、その上で、骨の中央の形状（例えば、骨の中央が真っ直ぐであること）に注目していることを意味する。また、上のエリアＡ１と、下のエリアＡ１内の画像グループＣ２とを「ＯＲ」で選択することは、ユーザが骨の先端が星状に尖っていることに注目しつつも、骨の中央の形状（例えば、骨の中央が真っ直ぐであること）にも注目していることを意味する。

以上のステップＳ６が終了し、選択画面Ｗ１を介してユーザが自身の選択を情報端末３に入力する（ステップＳ７）と、この選択の結果は、情報端末３からネットワーク６を介して選択受付部２１Ｅに送信される（ステップＳ８）。

続くステップＳ９では、優先度判断部２１Ｆが、ステップＳ７でのユーザの選択に従って、画像群Ｉ１，Ｉ２，・・・に含まれる画像の優先度を判断する。この優先度は、最終的な検索の結果としてユーザに提示される画像（以下、提示画像という）及び提示画像を提示する順番を決定する基準となる。

具体的には、まず、優先度判断部２１Ｆは、ステップＳ７でユーザにより選択された分類パターン（以下、選択分類パターン）又は画像グループ（以下、選択画像グループ）に応じて、画像群Ｉ１，Ｉ２，・・・に含まれる各画像に対し、提示又は非提示のラベリングを行う。なお、ここで提示のラベリングがされた画像が、後に提示画像となり、非提示のラベリングがされた画像は、検索の結果としてユーザに提示される対象から外される。従って、このラベリングは、画像群Ｉ１，Ｉ２，・・・の中から提示画像を決定するための基準となるから、上述の優先度となる。言い換えると、ここで優先度判断部２１Ｆは、提示のラベリングを付与する画像の優先度を、その他の画像よりも高く設定している。

提示のラベリングは、ステップＳ７でユーザにより分類パターンが選択されていた場合、選択分類パターンにより規定される画像グループのうち、クエリ画像Ｑ１と類似度の最も高い画像グループＣ１（以下、類似画像グループ）に属する画像に対して行われる。なお、類似度の判断には、ステップＳ４の結果が流用される。ここで、選択分類パターンが複数存在する場合には、優先度判断部２１Ｆは、選択分類パターン毎に類似画像グループを特定し、これらの類似画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップＳ７で「ＡＮＤ」が選択されていた場合には、優先度判断部２１Ｆは、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループの全てに属する画像（すなわち、これらの類似画像グループの論理積に属する画像）に対し、提示のラベリングを付与する。一方、ステップＳ７で「ＯＲ」が選択されていた場合には、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループのいずれかに属する画像（すなわち、これらの類似画像グループの論理和に属する画像）に対し、提示のラベリングが付与される。

一方、ステップＳ７でユーザにより画像グループが選択されていた場合には、提示のラベリングは、選択画像グループに属する画像に対して行われる。ここで、選択画像グループが複数存在する場合には、優先度判断部２１Ｆは、これらの選択画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップＳ７で「ＡＮＤ」が選択されていた場合には、優先度判断部２１Ｆは、複数の選択画像グループの全てに属する画像（すなわち、これらの選択画像グループの論理積に属する画像）に対し、提示のラベリングを付与する。一方、ステップＳ７で「ＯＲ」が選択されていた場合には、複数の選択画像グループのいずれかに属する画像（すなわち、これらの選択画像グループの論理和に属する画像）に対し、提示のラベリングが付与される。

また、ステップＳ７でユーザにより分類グループ及び画像グループが組み合わせて選択されていた場合には、提示のラベリングは、上述の類似画像グループと選択画像グループとの集合演算により規定されるグループに対して行われる。より具体的には、ステップＳ７で「ＡＮＤ」が選択されていた場合には、優先度判断部２１Ｆは、上述の類似画像グループ及び選択画像グループの全てに属する画像（すなわち、これらの画像グループの論理積に属する画像）に対し、提示のラベリングを付与する。一方、ステップＳ７で「ＯＲ」が選択されていた場合には、上述の類似画像グループ及び選択画像グループのいずれかに属する画像（すなわち、これらの画像グループの論理和に属する画像）に対し、提示のラベリングが付与される。

以上により、画像群Ｉ１，Ｉ２，・・・の中から提示画像が特定されたことになるが、続いて、優先度判断部２１Ｆは、提示画像の表示順を決定する。具体的には、優先度判断部２１Ｆは、クエリ画像Ｑ１との類似度に従って、提示画像の優先度を決定する（類似度が高い程、優先度が高い）。なお、類似度の判断には、ステップＳ５の結果が流用される。これにより、画像単位で、画像群Ｉ１，Ｉ２，・・・に含まれる画像の優先度が決定される。なお、ここで、ステップＳ７でユーザにより複数の特徴量記述子に対応する分類パターン及び／又は画像グループが選択されていた場合には、これらの複数の特徴量記述子（以下、選択記述子）の下、１の提示画像に対し複数の類似度の値が存在することになる。従って、この場合には、提示画像の優先度を決定するに当たり、類似度を単純に比較することができない。そこで、例えば、複数の選択記述子に由来する複数の類似度の値から、総合的な類似度を判断することが考えられるが、その方法としては、例えば、これらの類似度を単に足し合わせたり、複数の選択記述子に重みを付けて足し合わせたりすることができる。後者の場合、選択記述子の重みは、ステップＳ７でユーザに特定の分類パターン及び／又は特定の画像グループを選択させるのに合わせて、選択受付部２１Ｅが選択画面Ｗ１上でユーザに指定させることができる。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。

続くステップＳ１０では、第２表示制御部２１Ｈが、最終的な検索結果を表示する画面として、ステップＳ９で判断された優先度に従って、提示画像が重複なく配列される検索結果画面Ｗ２（図８参照）を作成する。このとき、検索結果画面Ｗ２上の提示画像は、優先度の高さが分かるような態様で（図８のように提示画像が２次元配列される場合には、左から右へ、上から下へ向かう程、優先度が低くなり、かつ、優先度が数値で示されるような態様で）表示される。従って、検索結果画面Ｗ２は、ユーザの意図に沿って検索された提示画像が、ユーザの意図に沿った順番で配列された画面となる。

検索結果画面Ｗ２は、第２表示制御部２１Ｈからネットワーク６を介して情報端末３へ送信され、表示部３１上に表示される。以上により、画像検索が終了する。

なお、その後、検索結果画面Ｗ２上でユーザが特定の画像を選択すると、第２表示制御部２１Ｈは、選択された画像を拡大表示する。また、ステップＳ７で分類パターンが選択された場合において、ユーザがさらに望む場合には、選択分類パターンにより規定される画像グループのうち、クエリ画像Ｑ１と類似度が２番目、３番目・・・に高い画像グループＣ２，Ｃ３，・・・に対しても、画像グループＣ１に対するのと同様の処理が行われる。この場合、検索結果画面Ｗ２上で、既に表示された画像と重複する画像が再表示されることがないように制御される。

＜４．用途＞
上記画像検索システム１は、画像群の中からユーザの所望する画像を検索する様々な状況下で利用され得る。例えば、大規模用途としては、インターネット上の開かれた世界に存在する画像群を検索対象とする画像検索に利用し得る。この場合には、インターネット上で画像を公開しているありとあらゆる装置を集約したものが、上述の画像サーバ２に対応することになる。中規模用途としては、特定の商用の画像データベース内の画像群を検索対象とする画像検索（例えば、商標検索や意匠検索）に利用し得る。また、小規模用途としては、個々のパソコン内、及び／又は個々のパソコンに接続される外部装置（例えば、別体のパーソナルコンピュータや、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラ等）に格納されている画像群を検索対象として、当該パソコンから画像検索を行うのに利用し得る。この場合には、ユーザが操作する情報端末３に接続されている、検索対象となる画像群を格納しているありとあらゆる装置が、上述の画像サーバ２に対応することになる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態では、クエリ画像全体と全体が類似する画像が検索されるようになっていた。しかしながら、全体がクエリ画像の特徴部と類似する、特徴部がクエリ画像全体と類似する、又は、特徴部がクエリ画像の特徴部と類似するような画像が検索されるようにしてもよい。さらに、このとき、特徴部の傾きを考慮しながら、画像が検索されるようにしてもよい。また、特徴部の抽出は、手動で行われてもよいし、自動で行われてもよい。さらに、検索結果画面上では、クエリ画像と類似する特徴部を太線で囲むなどの態様でハイライトして、検索結果となる画像を表示するようにしてもよい。

なお、本変形例を実装するための要素技術は、例えば、以下の文献などに詳しい。
(1) Thi Thi Zin, Hiromitsu Hama, and Pyke Tin, "Object Image Retrieval in Deformable Shapes Using Morphological Operations Based on Dominant Color Regions", DICTA '08 Proceedings of the 2008 Digital Image Computing: Techniques and Applications, pp. 548-555, IEEE Computer Society Washington, DC, USA,2008

＜５−２＞
上記実施形態において、選択画面Ｗ１上で分類パターンを選択できないようにしてもよい。或いは、選択画面Ｗ１上で画像グループを選択できないようにしてもよい。

＜５−３＞
上記実施形態では、複数の選択要素を組み合わせる集合演算として、論理和（ＯＲ）と論理積（ＡＮＤ）を例示したが、例えば、論理差、排他的論理和等、その他の集合演算を用いることもできる。いずれによせ、ユーザの指定範囲から外れた画像は、たとえ類似度が高くても検索の結果から外されることになり、このように様々な集合演算の方法をユーザに選択させることにより、ユーザの意図を検索の結果に自在に反映することができる。

＜５−４＞
上記実施形態では、ステップＳ９において、まず提示画像を選択するための優先度が判断され、その後、提示画像の表示順を決定するための優先度が判断されるようになっていたが、優先度を判断するに当たり、必ずしもこのような２段階のステップが必要とされるわけではなく、例えば、以下のような態様も、本発明の技術的範囲内である。

この例では、前提として、ユーザがステップＳ７で分類パターンしか選択できないものとする。そして、この場合においても、ユーザは、ステップＳ７で１又は複数の特徴量記述子を選択し得るが、１の特徴量記述子が選択された場合には、優先度判断部２１Ｆは、検索対象となる画像群Ｉ１，Ｉ２，・・・に含まれる各画像について、その特徴量記述子の下でのクエリ画像Ｑ１との類似度を判断する。そして、この類似度を優先度とし、所定基準に従って提示画像を決定する（例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする）とともに、類似度の高い順を表示順とする。一方、ステップＳ７で複数の特徴量記述子（選択記述子）が選択されていた場合にも、優先度判断部２１Ｆは、検索対象となる画像群Ｉ１，Ｉ２，・・・に含まれる各画像について、クエリ画像Ｑ１との類似度を判断する。ただし、この類似度は、複数の選択記述子の下での複数の類似度を組み合わせた総合的な類似度である。そして、この総合的な類似度を判断するに当たっては、複数の選択記述子の下での複数の類似度を単に足し合わせてもよいが、複数の選択記述子に重みを付けて足し合わせてもよい。後者の場合、選択記述子の重みは、ステップＳ７でユーザに複数の分類パターンを選択させるのに合わせて、選択受付部２１Ｅが選択画面Ｗ１上でユーザに指定させることができる。そして、この総合的な類似度を優先度とし、所定基準に従って提示画像を決定する（例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする）とともに、この総合的な類似度の高い順を表示順とする。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。

＜５−５＞
上記実施形態では、ステップＳ９において、類似画像グループ又は選択画像グループ、あるいはこれらの画像グループの集合演算により規定される画像グループに属する全ての画像が提示画像とされたが、一部の画像のみが提示画像とされてもよい。一部の画像の選択の仕方としては、例えば、クエリ画像Ｑ１との類似度を優先度とし、所定基準に従って提示画像を決定する（例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする）ことができる。

１ 画像検索システム（画像検索装置）
２ 画像サーバ
２Ａ 画像検索プログラム
３ 情報端末
２１Ｂ 分類部
２１Ｃ クエリ受付部
２１Ｅ 選択受付部
２１Ｆ 優先度判断部
２１Ｇ 第１表示制御部
２１Ｈ 第２表示制御部
Ｃ１，Ｃ２・・・ 画像グループ
Ｄ１，Ｄ２，・・・ 特徴量記述子
Ｉ１，Ｉ２，・・・ 画像群
Ｑ１ クエリ画像

Claims (11)

1. 同じ画像群を、複数の分類条件により複数の分類パターンで分類する分類部と、
   前記複数の分類パターンでの分類の結果を表示する第１表示制御部と、
   前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付ける選択受付部と、
   前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する優先度判断部と、
   前記優先度に従って、前記画像群に含まれる画像を表示する第２表示制御部と
   を備える、
   画像検索装置。
2. ユーザから、クエリ画像の指定を受け付けるクエリ受付部
   をさらに備え、
   前記第１表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する、
   請求項１に記載の画像検索装置。
3. 前記優先度判断部は、前記選択受付部がユーザから前記特定の分類パターンの選択を受け付けた場合、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループに属する画像の前記優先度を高く設定する、
   請求項２に記載の画像検索装置。
4. 前記選択受付部は、前記特定の分類パターンの選択を複数受け付け、
   前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
   請求項３に記載の画像検索装置。
5. 前記優先度判断部は、前記選択受付部がユーザから前記特定の画像グループの選択を受け付けた場合、前記特定の画像グループに属する画像の前記優先度を高く設定する、
   請求項１から４のいずれかに記載の画像検索装置。
6. 前記選択受付部は、前記特定の画像グループの選択を複数受け付け、
   前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
   請求項５に記載の画像検索装置。
7. 前記選択受付部は、前記特定の分類パターン及び前記特定の画像グループの選択を受け付け、
   前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
   請求項２に記載の画像検索装置。
8. 前記選択受付部は、ユーザから、前記特定の分類パターン及び／又は前記特定の画像グループの選択を受け付けることにより、前記分類条件の選択を受け付けるとともに、前記分類条件の重みの指定を受け付け、
   前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する、
   請求項２から４及び７のいずれかに記載の画像検索装置。
9. 前記分類条件は、１の特徴量又は複数の特徴量の組み合わせである特徴量記述子により定義される、
   請求項１から８のいずれかに記載の画像検索装置。
10. コンピュータが、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、
    前記コンピュータが、前記複数の分類パターンでの分類の結果を表示するステップと、
    前記コンピュータが、前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付けるステップと、
    前記コンピュータが、前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
    前記コンピュータが、前記優先度に従って、前記画像群に含まれる画像を表示するステップと
    を備える、
    画像検索方法。
11. 同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、
    前記複数の分類パターンでの分類の結果を表示するステップと、
    前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び／又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び／又は特定の画像グループの選択を受け付けるステップと、
    前記特定の分類パターン及び／又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
    前記優先度に従って、前記画像群に含まれる画像を表示するステップと
    をコンピュータに実行させる、
    画像検索プログラム。