JP2010250630A - 画像サーバー、画像検索システムおよび画像検索方法 - Google Patents

Abstract

【課題】画像検索に要する時間を増大させることなく、画像検索の精度を向上させること。
【解決手段】画像サーバー１０は、検索画像データの特徴量を複数取得し、取得した複数の特徴量に対応する重要度を記憶装置１３から取得し、取得した重要度と複数の特徴量とクラスタが有する属性とを用いて複数のクラスタの中から検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索する。画像サーバー１０は、検索した複数のクラスタの中から一のクラスタが選択された場合には、選択された一のクラスタに関連付けられている属性に基づいて、取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させ、変更された重要度と取得された複数の検索画像特徴量とを用いて選択されたクラスタに属する検索画像に類似または一致する１または複数の画像を検索する。
【選択図】図１

Description

本発明は、画像を検索するための画像検索システムに関する。

ネットワークを介して、所望の画像を検索するための技術が実用化されている。画像データを格納するサーバーコンピューター（画像サーバー）は、一般的に、数多くの画像データを画像データの特徴を記述するメタデータと関連付けて格納している。画像サーバーとネットワークを介して接続されているクライアントコンピューターは、検索を所望する画像をキーワードで表した検索要求を画像サーバーに送信し、画像サーバーから検索結果として、一または複数の画像データを受信する。

特開２００８−１２３０９５号公報

しかしながら、各画像サーバーが有する画像データベースの特徴、すなわち、格納されている画像データの傾向、種類は画像データベース毎に異なり、要求されたキーワードが画像データベースの特性に適合していないこともあり、結果として、適切な検索結果を得られず、検索精度が低下するという問題がある。また、メタデータを用いた従来の検索では、検索対象が画像であるにもかかわらず、検索要求をキーワードによって入力しなければならず、所望の画像をキーワードによって適切に特定することは容易でない。さらに、画像サーバー上に格納されている画像データについても適切なメタデータが付されていない場合がある。この結果、利用者が所望する画像を精度良く、また、迅速に得られないという問題があった。また、画像を用いた画像の検索は時間を要するという問題があった。

本発明は、上記課題の少なくとも一部を解決するためになされたものであり、画像検索に要する時間を増大させることなく、画像検索の精度を向上させることを目的とする。

上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。

第１の態様は画像サーバーを提供する。第１の態様に係る画像サーバーは、属性を有する複数のクラスタにクラスタリングされている複数の画像と、画像の複数の特徴量と特徴量の重要度とを対応づけた情報と、を格納する記憶装置と、検索の対象となる画像である検索画像を取得する検索画像取得部と、前記取得した検索画像の特徴量である検索画像特徴量を複数取得する検索画像特徴量取得部と、前記取得した複数の検索画像特徴量に対応する重要度を前記記憶装置から取得する重要度取得部と、前記取得された重要度と複数の検索画像特徴量と前記クラスタが有する属性とを用いて前記複数のクラスタの中から前記検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索するクラスタ検索部と、前記検索した複数のクラスタの中から一のクラスタの選択の有無を判定するクラスタ選択判定部と、一のクラスタが選択された場合には、前記選択されたクラスタに関連付けられている属性に基づいて、前記取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させる重要度変更部と、前記変更された重要度と前記取得された複数の検索画像特徴量とを用いて前記選択されたクラスタに属する画像の中から前記検索画像に類似または一致する１または複数の画像を検索する画像検索部と、前記検索結果を出力する出力部とを備える。

第１の態様に係る画像サーバーによれば、取得された重要度と複数の検索画像特徴量とクラスタが有する属性とを用いて複数のクラスタの中から検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索し、検索した複数のクラスタの中から一のクラスタが選択された場合には、選択されたクラスタに関連付けられている属性に基づいて、取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させ、変更された重要度と取得された複数の検索画像特徴量とを用いて選択されたクラスタに属する画像の中から検索画像に類似または一致する１または複数の画像を検索するので、画像検索に要する時間を増大させることなく、画像検索の精度を向上させることができる。

第１の態様に係る画像サーバーにおいて、前記重要度変更部は、一のクラスタが選択されない場合には、前記取得された重要度を変更せず、前記画像検索部は前記重要度取得部によって取得された重要度を用いて前記検索された複数のクラスタの中から前記検索を実行しても良い。この場合には、一のクラスタが選択されない場合であっても、クラスタを用いた画像検索を実現することができる。

第１の態様に係る画像サーバーにおいて、前記画像検索部は、前記重要度、前記検索画像特徴量および前記記憶装置に格納されている画像の特徴量とを用いて類似度を算出することによって、前記検索画像に類似または一致する１または複数の画像を前記選択または検索された画像の中から検索しても良い。この場合には、重要度、検索画像の特徴量および記憶装置に格納されている画像の特徴量とを用いて、検索画像に一致・類似するクラスタおよび画像を検索することができる。

第１の態様に係る画像サーバーにおいて、前記重要度は前記類似度を算出する際に用いられる重み付け係数であっても良い。この場合には、重要度に応じた類似度を得ることができる。

第１の態様に係る画像サーバーにおいて、前記類似度は値が小さくなるに連れて類似の程度が増大することを示し、前記重要度変更部は、前記検索された複数のクラスタのいずれかにおいてクラスタを構成する画像の数が第１の画像数以下の場合には、第１の画像数以下の画像が表示されているクラスタの属性に対応する重み付け係数を０に変更しても良い。この場合には、当該クラスタの属性が検索画像の特徴量に極めて近似しており、当該クラスタの属性に対応する重み付け係数を０にすることによって、検索精度を向上させることができる。

第１の態様に係る画像サーバーにおいて、前記重要度変更部はさらに、前記検索された複数のクラスタのいずれかにおいてクラスタを構成する画像の数が前記第１の画像数よりも多い第２の画像数以下の場合には、第２の画像数以下の画像が表示されているクラスタの属性に対応する重み付け係数を１／２倍しても良い。この場合には、当該クラスタの属性が検索画像の特徴量に近似しており、当該クラスタの属性に対応する重み付け係数を１／２とすることによって、検索精度を向上させることができる。

第１の態様に係る画像サーバーにおいて、前記画像サーバーは検索結果を示す表示部を備える画像検索装置からの要求に基づいて画像を検索して、検索結果としての複数の画像を前記画像検索装置に対して出力し、前記第１の画像数は前記表示部に全て表示可能な数であり、前記第２の画像数は前記表示部に半分を表示可能な数であっても良い。この場合には、表示可能な画像数に応じて重要度を増大させることができる。

第１の態様に係る画像サーバーにおいて、前記クラスタ関連付けられている属性はクラスタを構成する複数の画像の特徴量の平均値であっても良い。この場合には、クラスタの属性を適切に評価することができる。

第２の態様は、画像検索システムを提供する。第２の態様に係る画像検索システムは、第１に態様に係る画像サーバーと、前記画像サーバーにネットワークを介してアクセス可能なプリンターであって、前記画像サーバーに対して前記検索画像を送信する送信部と、前記画像サーバーから出力された前記検索結果としての複数のクラスタまたは複数の画像を受け取る受信部と、前記検索されたクラスタの中から１のクラスタが選択されたか否かを、前記画像サーバーに対して通知する通知部と、前記受信した画像を表示する表示部とを備えるプリンターとを備える。

第２の態様に係る画像検索システムによれば、画像検索の精度を向上させることができる。

第３の態様は画像検索方法を提供する。第３の態様に係る画像検索方法は、検索の対象となる画像である検索画像を取得し、前記取得された検索画像の特徴量である検索画像特徴量を複数取得し、前記取得した複数の特徴量に対応する重要度を、属性を有する複数のクラスタに予めクラスタリングされている複数の画像と、画像の複数の特徴量と特徴量の重要度とを対応づけた情報と、を格納する前記記憶装置から取得し、前記取得した重要度と複数の特徴量と前記クラスタが有する属性とを用いて前記複数のクラスタの中から前記検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索し、前記検索した複数のクラスタの中から一のクラスタが選択された場合には、前記選択された一のクラスタに関連付けられている属性に基づいて、前記取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させ、前記変更された重要度と前記取得された複数の検索画像特徴量とを用いて前記選択されたクラスタに属する前記検索画像に類似または一致する１または複数の画像を検索し、前記検索結果を出力することを備える。

第３の態様に係る画像検索方法によれば、第１の態様に係る画像サーバーと同様の作用効果を得ることができると共に、第１の態様に係る画像サーバーと同様にして種々の態様にて実現され得る。

第３の態様に係る方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムがそれぞれ記録されたコンピューター読み取り可能な媒体として実現され得る。

本実施例に係る画像検索システムの概略構成を示す説明図である。 本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係るプリンターの内部構成を機能ブロック図にて模式的に示す説明図である。 画像プリンターが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係る特徴量に対して重要度を対応付けるために実行される処理ルーチンを示すフローチャートである。 画像データベースにおける画像管理テーブルの一例を示す説明図である。 各特徴量における重要度を対応付ける重要度テーブルの一例を示す説明図である。 クラスタの属性を管理するクラスタテーブルの一例を示す説明図である。 本実施例に係る画像サーバーにおいて実行される画像検索処理ルーチンを示すフローチャートである。 本実施例に係るプリンターにおいて実行される画像検索要求処理ルーチンを示すフローチャートである。 本実施例に係るプリンターにおける表示画面の第１の態様を示す説明図である。 本実施例に係るプリンターにおける表示画面の第２の態様を示す説明図である。

以下、本発明に係る画像検索システム、画像サーバー、画像検索方法、画像管理方法、プリンターについて、図面を参照しつつ、実施例に基づいて説明する。

第１の実施例：
図１は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムＩＳＳは、サーバーコンピューター１０、プリンター２０、パーソナルコンピューター３０を備えている。サーバーコンピューター１０と、プリンター２０およびパーソナルコンピューター３０とはネットワークＮＥを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。

サーバーコンピューター１０は、数多くの被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンター２０およびパーソナルコンピューター３０は、画像サーバー１０に対するクライアントまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター３０は、表示ディスプレイ３１並びにキーボードおよびマウスといった入力装置３２を備えている。

画像サーバーの構成：
図２は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。図３は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。画像サーバー１０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリ１２、画像データベースが構築されている記憶装置（画像データベースともいう）１３、および入出力インターフェース１４を備えている。ＣＰＵ１１は、メモリ１２に格納されている各種プログラム、モジュールを実行する。メモリ１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ１２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置が用いられ得る。

記憶装置１３は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、複数の画像データ、並びに各画像データの特徴量、クラスタリングされている場合の所属クラスタおよび画像データの特徴量といった画像データの管理情報（属性情報）から構成されている画像データベースが構築されている。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項における画像は画像データを意味することは当業者にとって自明な事項である。記憶装置１３は、複数の画像データのみを格納する画像データ格納部として機能しても良い。この場合には、記憶装置１３に格納されている各画像データの特徴量および画像データの管理情報（属性情報）はメモリ１２に格納される。本実施例では、クライアントから見て、画像サーバー１０自体が画像データベースとして機能する。なお、本実施例では、記憶装置１３が単に画像データおよび画像管理情報を格納するデータベースを例をとって説明しているが、記憶装置１３に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム（ファイルサーバー）であっても良い。この場合には、画像サーバー１０の外部に画像データベースシステムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメモリ１２に格納され、ＣＰＵ１１によって実行される。

入出力インターフェース１４は、外部装置、例えば、プリンター２０、パーソナルコンピューター３０といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

メモリ１２に格納されている各種プログラム、モジュールについて図３を用いて説明する。メモリ１２は、本実施例に係る画像データベースに重要度を対応付けるために実行される重要度対応付けプログラムＳＰ１と、記憶装置１３からクラスタ、画像を検索するために実行される画像検索プログラムＳＰ２とを格納している。重要度対応付けプログラムＳＰ１は、画像データ取得モジュールＳＭ１１、特徴量取得モジュールＳＭ１２、正規化モジュールＳＭ１３、クラスタリングモジュールＳＭ１４、重要度決定モジュールＳＭ１５、重要度変更モジュールＳＭ１６を備えている。画像データ取得モジュールＳＭ１１は、記憶装置１３に格納されている画像データを順次、重複なく取得するために実行されるモジュールである。特徴量取得モジュールＳＭ１２は、画像データ取得モジュールＳＭ１１によって取得された画像データを解析して、特徴量を取得するために実行されるモジュールである。ここで、特徴量とは、例えば、画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれる顔のサイズ、位置といった値である。これら特徴量は、当業者にとって周知の方法で取得することが可能である。

正規化モジュールＳＭ１３は、重要度決定モジュールＳＭ１５によって決定された各特徴量に対する重要度、特徴量取得モジュールＳＭ１２によって取得された、記憶装置１３に含まれている全ての画像データの各特徴量を正規化するために実行されるモジュールである。正規化は、例えば、特徴量の標準偏差を用いて実行されても良く、あるいは、取得された各特徴量の最大値が１に最小値が０になるように実行されても良い。クラスタリングモジュールＳＭ１４は、正規化された各特徴量を用いて、画像データベース１３内の画像データを複数のクラスタに分類するために実行されるモジュールである。クラスタリングの手法としては、階層型クラスタリング手法、非階層型クラスタリング手法が知られている。階層型クラスタリング手法としては、所定の特徴量を用いて全体を順に分割していく分割型クラスタリング手法、類似する画像データを集めることを繰り返す凝集型クラスタリング手法等が用いられ得る。非階層型クラスタリング手法としては、Ｋ−平均法、自己組織化マップ（ＳＯＭ）等が用いられ得る。重要度決定モジュールＳＭ１５は、メモリ１２に格納されている複数の画像データから得られた複数の特徴量に基づいて、画像サーバー１０における各特徴量の重要度を決定し、各特徴量と重要度を対応付けて格納するために実行されるモジュールである。重要度変更モジュールＳＭ１６は、クライアントであるプリンターまたはパーソナルコンピューターから入力された特徴量の値に応じて各特徴量における重要度を変更するために実行されるモジュールである。なお、重要度対応付けプログラムＳＰ１、画像データ取得モジュールＳＭ１１、特徴量取得モジュールＳＭ１２、正規化モジュールＳＭ１３、クラスタリングモジュールＳＭ１４、重要度決定モジュールＳＭ１５、重要度変更モジュールＳＭ１６は、それぞれＣＰＵ１１によって実行されることによって、重要度対応付け部、画像データ取得部、特徴量取得部、正規化部、クラスタリング部、重要度決定部、重要度変更部として機能する。

画像検索プログラムＳＰ２は、検索画像データ取得モジュールＳＭ２１、検索モジュールＳＭ２２を備えている。検索モジュールＳＭ２２は、クラスタ検索部および画像データ検索部として機能し、サブモジュールとして検索画像データ特徴量取得モジュールＳＭ２３、類似度算出モジュールＳＭ２４、重要度取得モジュールＳＭ２５、クラスタ属性取得モジュールＳＭ２６を備えている。検索画像データ取得モジュールＳＭ２１は、クライアントであるプリンター２０およびパーソナルコンピューター３０によって送信された検索画像データを取得するために実行されるモジュールである。検索モジュールＳＭ２２は、取得した検索画像データを用いて、記憶装置１３から、検索画像データに類似または一致する複数のクラスタを検索するため、並びに検索画像データに類似または一致する１または複数の画像データを検索するために実行されるモジュールである。検索画像データ特徴量取得モジュールＳＭ２３は、取得した検索画像データの複数の特徴量を取得するために実行される。類似度算出モジュールＳＭ２４は取得した検索画像データの特徴量と、各クラスタの代表値および各クラスタに属する画像データの特徴量と、重要度取得モジュールＳＭ２５によって取得された重要度とを用いて検索画像データと被検索画像データとの類似度を算出するため実行されるモジュールである。重要度取得モジュールＳＭ２５は、各特徴量に対応付けられている重要度を取得するためのモジュールである。クラスタ属性取得モジュールＳＭ２６は、検索した取得した複数のクラスタの中から選択されたクラスタの属性（代表値）を取得するために実行される。なお、画像検索プログラムＳＰ２、検索画像データ取得モジュールＳＭ２１、検索モジュールＳＭ２２、検索画像データ特徴量取得モジュールＳＭ２３、類似度算出モジュールＳＭ２４、重要度取得モジュールＳＭ２５、クラスタ属性取得モジュールＳＭ２６は、それぞれＣＰＵ１１によって実行されることによって、画像検索部、検索画像取得部、画像データ特徴量取得部、類似度算出部、重要度取得部、クラスタ属性取得部として機能する。

プリンターの構成：
図４は本実施例に係るプリンターの内部構成を機能ブロック図にて模式的に示す説明図である。図５は画像プリンターが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンター２０を例にとって説明するが、パーソナルコンピューター３０についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。プリンター２０は、信号線によって互いに接続されている制御回路２１、入力操作部２２、表示部２３、印刷部２４、外部入出力インターフェース２５を備えている。制御回路２１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１０、メモリ２１１、入出力（Ｉ／Ｏ）インターフェース２１２を備えている。ＣＰＵ２１０は、メモリ２１１に格納されている各種プログラム、モジュールを実行する。メモリ２１１は、ＣＰＵ２１０によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２１０による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ２１１としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置が用いられ得る。入出力インターフェース２１２は、制御回路２１と、入力操作部２２、表示部２３、印刷部２４および外部入出力インターフェース２５との間で、コマンド、データの送受信を実行する。入力操作部２２は、プリンター２０に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部２３は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部２４は、ユーザ（制御回路２１）からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース２５は、外部装置、例えば、画像サーバー１０との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

メモリ２１１に格納されている各種プログラム、モジュールについて図５を用いて説明する。メモリ２１１は、画像サーバー１０に対して画像検索を要求するための画像検索要求プログラムＣＰ１を備え、画像検索要求プログラムＣＰ１は、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３、検索結果表示モジュールＣＭ１４、選択クラスタ通知モジュールＣＭ１５を備えている。画像データ特定モジュールＣＭ１１は、検索対象（検索キー）となる画像（画像データ）を特定するために実行されるモジュールである。検索要求モジュールＣＭ１２は、特定された画像データと検索の要求を画像サーバー１０に対して送信するためのモジュールである。検索結果取得モジュールＣＭ１３は、画像サーバー１０から検索結果としても一または複数の画像データを取得するためのモジュールである。検索結果表示モジュールＣＭ１４は、検索結果として取得した一または複数の画像データを用いて表示部２３に検索結果としての画像を表示するためのモジュールである。選択クラスタ通知モジュールＣＭ１５は、クラスタの選択の有無並びに、選択されたクラスタを画像サーバー１０に通知するためもモジュールである。なお、画像検索要求プログラムＣＰ１、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３、検索結果表示モジュールＣＭ１４はおよび選択クラスタ通知モジュールＣＭ１５は、それぞれＣＰＵ２１０によって実行されることによって、画像検索要求部、検索画像特定部、検索要求部、検索結果取得部、検索結果表示部および選択クラスタ通知部として機能する。

画像管理方法（重要度の対応付け）：
図６は本実施例における係る特徴量に対して重要度を対応付けるために実行される処理ルーチンを示すフローチャートである。図７は画像データベースにおける画像管理テーブルの一例を示す説明図である。図８は各特徴量における重要度を対応付ける重要度テーブルの一例を示す説明図である。図９はクラスタの属性を管理するクラスタテーブルの一例を示す説明図である。

本処理ルーチンは、例えば、画像データベースを構築するタイミングにて、あるいは、画像データベースに所定量の新規な画像データが追加されたタイミングにて画像サーバー１０によって実行される。画像サーバー１０（ＣＰＵ１１）は画像データ取得モジュールＳＭ１１を実行して、画像データベース１３から画像データを取得する（ステップＳ１００）。取得された画像データは一時的にメモリ１２に格納される。

ＣＰＵ１１は特徴量取得モジュールＳＭ１２を実行して、メモリ１２に格納されている画像データから複数の特徴量を取得する（ステップＳ１０２）。本実施例において用いられる特徴量は、例えば、画像データの輝度または画像データの一部の領域における輝度のヒストグラム、テクスチャ、顔の有無、顔の大きさ、色相であり、複数の特徴量が用いられる。輝度のヒストグラムからは、平均輝度値、最高輝度値、最小輝度値が取得され、色相としては、画像データにおけるＲ、Ｇ、Ｂ各成分の平均値、または、画像データを構成する全画素数に占める所定値以上のＲ、Ｇ、Ｂ成分画素数の割合が取得される。輝度のヒストグラム、色相、テクスチャを特徴量として取得する方法は当業者にとって周知の方法であるから説明を省略する。また、顔の有無、すなわち顔検出、および顔の大きさの検出は、例えば、モデル顔形状を用いたパターンマッチング法、肌色の色相領域を特定する方法、顔の器官を検出する方法がそれぞれ単独または組み合わせて用いられ得る。さらに、本実施例では、シャッタースピード、露出補正量、焦点距離、ＩＳＯ、フラッシュの使用の有無といった撮影時の撮影条件（例えば、Ｅｘｉｆ情報）が特徴量として用いられる。これら撮影条件もまた、画像データを特徴付ける情報であり、画像データの検索条件として有用である。これら撮影条件は、値として画像データに撮影時に関連付けられている。

ＣＰＵ１１は、画像データベースに格納されている全ての画像データから特徴量を取得するまで（ステップＳ１０４：Ｎｏ）、ステップＳ１００およびＳ１０２を繰り返し実行する。この結果、図７に示すような各画像データと特徴量と所属クラスタを対応付ける画像管理テーブルを得ることができる。図７の例では、管理テーブルには画像データのファイル名と、正規化されていない特徴量と、所属クラスタが記述されているが、この時点では、所属クラスタの欄は空欄である。なお、管理テーブルに代えて、各画像データのヘッダに正規化されていない特徴量が共通のフォーマットで記述されていても良い。

ＣＰＵ１１は、全画像データに対する特徴量の取得が終了すると（ステップＳ１０４：Ｙｅｓ）、ＣＰＵ１１は、重要度決定モジュールＳＭ１５を実行して、各特徴量における重要度を決定する（ステップＳ１０６）。具体的には、各特徴量の値、パターン等について、同一特徴量内における重要度を決定する。例えば、比較的高い（平均）輝度値を有する画像データ数が多い画像データベースでは、高い輝度値をパラメータとする画像検索は被検索対象数が多い有意義な検索となり、低い輝度値をパラメータとする画像検索は被検索対象数が少ない（検索精度が高くない）検索となる。すなわち、当該画像データベースは、輝度の高い画像データを多く格納するデータベースであり、輝度の低い画像データの検索には向かないデータベースである。そこで、検索画像データとの類似判定時に用いられる特徴量のうち、その値およびパターン等が画像データベースにおいて重要でない値およびパターン等を示す特徴量については重要度を下げることで、検索され難くし、検索画像データ数の不要な絞り込みを抑制することができる。重要度の決定手順としては、特徴量が数値として取得可能な特徴量の場合には、ヒストグラムを作成して、値の度数（頻度）を求め、度数の高い値を重要度の高い値と決定する。一方、顔の大きさ、向きといった数値化が困難な特徴量の場合には、クラスタリングによって形成された特徴パターンに対応する各クラスタに属する画像データ数を度数として用い、度数の高い値を重要度の高い値と決定する。さらに、特徴量の値のうち、ヒストグラムにおいて極点（上に凸）を採る値について高い重要度を割り当てても良い。極点を採る値は、頻度（度数）は低くても当該特徴量において特徴的な値となるからである。なお、重要度としては、各値毎に度数が求められても良く、あるいは所定の範囲単位で度数が求められても良い。例えば、輝度値の場合には、０〜２５５の各値に対して度数が求められても良く、０〜５、５〜１０といったように５の値域毎に（離散的に）度数が求められても良い。前者の場合には精度が、後者の場合には演算処理速度がそれぞれ高くなる。クラスタリングの手法としては、後述するように、階層型クラスタリング手法と非階層型クラスタリング手法とがある。

ＣＰＵ１１は、正規化モジュールＳＭ１３を実行して取得した重要度を各特徴量毎に正規化する（ステップＳ１０８）。本実施例では、特徴量の値、パターン毎に標準偏差σを求め、求めた標準偏差σと以下の式を用いて平均が０、標準偏差が１となるように正規化が行われる。正規化値＝（ｘ−μ）／σ（ｘは正規化対象の度数、μは当該度数の平均値）。ここで、各特徴量の正規化された重要度は、検索画像データと被検索対象画像データの類似度を算出する際に、当該特徴量に適用される係数と関連付けられている情報である。例えば、重要度の逆数が係数として用いられ、あるいは、重要度と係数とが対応付けられている。このように、重要度の決定および正規化の処理は、類似判断時に用いられる重み付け係数を決定するための処理であるということができる。

ＣＰＵ１１は、重要度決定モジュールＳＭ１５を実行して、各特徴量において決定した重要度を対応付けて重要度テーブルとしてメモリ１２に格納する（ステップＳ１１０）。メモリ１２に格納される重要度テーブルの例を図８に示す。図８の例では、輝度、色相、顔サイズ、シャッタースピードといった各画像特徴量の値について、各特徴量においてそれぞれ正規化された頻度が重要度として対応付けられている。なお、顔サイズは値で表すことはできないが、便宜上、値として表しており、顔がない場合、サイズ小、中 大、小中、中大の間を例示している。

ＣＰＵ１１はクラスタリングモジュールＳＭ１４を実行して、クラスタリング処理を実行する（ステップＳ１１２）。具体的には、クラスタリングモジュールＳＭ１４は、先に取得した各画像データの各特徴量に対して正規化処理を行い、階層型クラスタリング手法または非階層型クラスタリング手法を用いて、各画像データのクラスタリングを実行する。階層型クラスタリング手法としては、所定の特徴量を用いて全体を順に分割していく分割型クラスタリング手法、類似する画像データを集めることを繰り返す凝集型クラスタリング手法が知られている。非階層型クラスタリング手法としては、Ｋ平均法、自己組織化マップ（ＳＯＭ）等が知られている。なお、階層型クラスタリング手法および非階層型クラスタリング手法の具体的な実施方法は、当業者にとって周知であるから詳細な説明は省略する。

ＣＰＵ１１は、クラスタリングによって得られた各クラスタの代表値（属性）を取得し、各クラスタに対応付けて（ステップＳ１１４）本処理ルーチンを終了する。各クラスタについて属性を対応付けることで類似する画像データを迅速に特定するための画像インデックスを作成することができる。各クラスタの代表値は、例えば、各クラスタに属する画像データの正規化されていない各特徴量の平均値を求めることによって取得される。取得された各クラスタの代表値と各クラスタとは、例えば、図９に示すクラスタテーブルによって対応付けられる。図９の例では、属性（代表値）として輝度成分、Ｒ，Ｇ，Ｂ各成分、顔の大きさの平均値が各クラスタに対して対応付けられている。このクラスタテーブルは、メモリ１２に格納されていてもよく、画像データベース（記憶装置１３）の所定の領域に格納されていても良い。また、この時点で、画像管理テーブルは図７に示すように、所属するクラスタと関連付けられる。

画像データの検索：
図１０は本実施例に係る画像サーバーにおいて実行される画像検索処理ルーチンを示すフローチャートである。図１１は本実施例に係るプリンターにおいて実行される画像検索要求処理ルーチンを示すフローチャートである。図１２は本実施例に係るプリンターにおける表示画面の第１の態様を示す説明図である。図１３は本実施例に係るプリンターにおける表示画面の第２の態様を示す説明図である。図１０に示す処理ルーチンの実行時、画像サーバー１０は画像検索装置として機能する。

図１１を参照して説明する。プリンター２０（ＣＰＵ２１０）は、画像データ特定モジュールＣＭ１１を実行して、表示部２３に表示されている画像の内、ユーザによって特定された画像（検索画像）に対応する検索画像データを特定する（ステップＳ３００）。検索開始時（第１の態様）における表示部２３は、図１２に示すように、検索画像データに対応する画像を表示する選択検索画像表示領域ＴＡ、検索されたクラスタが表示される検索クラスタ表示領域ＣＡを有する。なお、検索開始時には、検索クラスタ表示領域ＣＡにはクラスタに関する情報およびクラスタに対応する画像は表示されていない。選択検索画像表示領域ＴＡに表示される画像は、例えば、可搬式半導体記憶装置に格納されている画像データであり、入力操作部２２を介して選択される。ＣＰＵ２１０は、表示部２３に表示されているクラスタ検索指示キー２３２を介した入力を受けて、検索要求モジュールＣＭ１２を実行して、検索画像データを画像サーバー１０に送信する（ステップＳ３０２）。具体的には、外部入出力インターフェース２５、ネットワークＮＥを介して画像サーバー１０に送信される。なお、プリンター２０において、検索画像データと共に、入力操作部２２を介して指定された特定の特徴量、あるいはプリンター２０が指定した特定の特徴量を画像サーバー１０に対して送信できるようにしても良い。この場合には、ユーザが関心を持っている特徴量を指定することが可能となり、画像検索精度を更に向上させることができる。特徴量の指定の方法としては、特徴量単位での指定、あるいは、特定の特徴量における数値の指定が含まれる。プリンター２０が指定する場合には、例えば、撮影情報としての開放値、露出補正量がマニュアル設定されている場合には、露出を気にして撮影された画像であることが推測され、スナップ画像ではない写りの良い画像であると判定することができる。また、画像に占める顔の大きさが大きい場合には、ユーザは顔に興味を持っていると判定することができる。さらに、画像を占める特定の色相の面積が大きい場合には、特定の色相が画像を特徴付ける色相であると判定することができる。これらの場合には、指定された撮影条件の値、大きな顔、特定の色相に関する重要度を、後述するように増大させることによって、ユーザの意図を検索結果に反映することができる。

図１０を参照して説明する。画像サーバー１０（ＣＰＵ１１）は、検索画像データ取得モジュールＳＭ２１を実行して、プリンター２０から送信されてきた検索画像データを取得する（ステップＳ２００）。具体的には、入出力インターフェース１４を介して検索画像データが画像サーバー１０内に取り込まれ、メモリ１２に格納される。ＣＰＵ１１は、検索画像データ特徴量取得モジュールＳＭ２３を実行して、検索画像データの複数の特徴量を取得する（ステップＳ２０２）。特徴量の取得の方法については画像特徴量の重要度決定処理において既述したとおりである。

ＣＰＵ１１は、重要度取得モジュールＳＭ２５を実行して、取得した検索画像データの各特徴量に対応付けられている重要度を重要度テーブルから取得する（ステップＳ２０４）。ＣＰＵ１１は、類似度算出モジュールＳＭ２４を実行して、取得した重要度を用いて検索画像データに同一・類似する複数のクラスタを検索し、プリンター２０に対して送信する（ステップＳ２０６）。クラスタ検索のために、ＣＰＵ１１によって実行される類似度算出モジュールＳＭ２４は、クラスタ検索部として機能する。具体的には、取得した検索画像データの複数の検索画像特徴量と、各クラスタの属性（代表値）と、重要度とを用いて類似度が算出される。類似度は、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された検索画像データの特徴量と、各クラスタの代表値としての特徴量との間の距離、すなわち、検索画像データの特徴量とクラスタの代表値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、検索画像データの各特徴量の値を成分とする多次元ベクトルと、各被検索画像データの各特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が１に近いほど（両多次元ベクトル間の角度が０に近いほど）類似度が高いと判断することができる。

既述のように、各特徴量に対応付けられた正規化後の重要度は、各距離、類似度を算出する際に各特徴量に対して適用される係数と関連付けられている。ユークリッド距離を用いる場合には、以下の式（１）および（２）に示すように係数ｋiとして用いられる。なお、係数ｋiは既述の通り、検索画像データの特徴量に基づいて決定される。

式（１）において（ｘi）は検索対象画像データの特徴量の値、（ｙi）はクラスタの代表値としての特徴量の値を示し、式（２）においては理解を容易にするため特徴量毎の差分であることを明示している。距離を用いた類似度判断では、算出結果が０に近いほど検出対象画像データとクラスタとが類似していることを示すので、高い重要度に対して小さな係数を対応付けることによって、重要度の高い特徴量に関する感度を低くして検索結果数を増大させることができる。係数は、例えば、正規化された重要度の逆数であってもよく、あるいは、重要度が高くなるに連れて小さくなるように予め規定されている値であっても良い。一方、内積を用いる場合には、以下の式（３）における各多次元ベクトルの成分に対して係数が適用される。

類似度として内積を用いる場合にも、両多次元ベクトル間角度が０に近いほど検出対象画像データとクラスタとが類似していることを示すので、例えば、重要度の逆数を係数とすることによって、重要度の高い特徴量に関する感度を低くして検索結果数を増大させることができる。

ＣＰＵ１１は検出した複数のクラスタを、検索要求の送信元であるプリンター２０に対して送信する。なお、ＣＰＵ１１は、検索した各クラスタの代表値を送信しても良く、あるいは、検索した各クラスタに属する画像データまたは当該画像データのサムネイル画像データ、検索された各クラスタの代表値に最も近い特徴量を有する１の画像データをクラスタの代表画像として送信しても良い。ここで、いずれのプリンター２０から検索要求が送信されたかについては、たとえば、プリンター２０が備える外部入出力インターフェース２５の識別情報（例えば、ＭＡＣアドレス）によって識別することができ、当該識別情報を用いて検索要求の送信元であるプリンター２０に対して複数の画像データを送信することができる。なお、複数のクラスタの選択は、予めしきい値としての距離を決めておいても良く、あるいは、クラスタ数を決めておいても良い。

図１１を参照して説明する。プリンター２０（ＣＰＵ２１０）は、検索結果取得モジュールＣＭ１３を実行して、画像サーバー１０から受信した検索結果としての複数のクラスタを取得し（ステップＳ３０４）、検索結果表示モジュールＣＭ１４を実行して取得したクラスタを表示部２３に表示させる（ステップＳ３０６）。具体的には、ＣＰＵ２１０は、検索された各クラスタの代表値、検索された各クラスタに属する複数の画像データ、または当該画像データのサムネイル画像データを取得し、あるいは、検索された各クラスタを代表的に示す１の画像データを各クラスタについて取得する。ＣＰＵ２１０は、取得したクラスタの代表値、サムネイル画像データを用いた画像、検索された各クラスタを代表的に示す１の画像データを用いた画像を図１２に示す検索クラスタ表示領域ＣＡに表示させる。この結果、ユーザはクラスタの属性（特徴）を視覚的に判断することができる。図１２では、サムネイル画像が表示される検索クラスタ表示領域ＣＡ１と各クラスタを代表的に示す１の画像が表示される検索クラスタ表示領域ＣＡとが例示されている。各検索クラスタ表示領域ＣＡ、ＣＡ１には、画像と共に、各クラスタの代表値、代表値の傾向に応じて予め用意されているテキストの少なくとも一方が更に表示されても良い。クラスタの代表値が表示されている場合には、検索画像データの特徴量を値によって把握することが可能となり、テキストによって表示されている場合にはテキストによる画像データの表現を取得することができる。なお、検索された各クラスタを代表的に示す１の画像データは、ＣＰＵ２１０が検索結果表示モジュールＣＭ１４を実行することによって、取得した各検索クラスタに属する複数の画像データを用いて、プリンター２０において決定されても良い。

ＣＰＵ２１０は、選択クラスタ通知モジュールＣＭ１５を実行し、入力操作部２２を介して、一のクラスタの選択が行われたか否かを判定し（ステップＳ３０８）、一のクラスタの選択が行われたと判定した場合には（ステップＳ３０８：Ｙｅｓ）、選択されたクラスタの情報を画像サーバーに対して送信する（ステップＳ３１０）。一のクラスタの選択は、例えば、ポインティングデバイスによって選択されることによって、あるいは、キーボードから検索クラスタ表示領域ＣＡに表示される各クラスタを識別するための識別番号、記号を入力して表示ボタン（画像検索指示部）２３１がポインティングデバイスによって選択されることによって実現される。一方、ＣＰＵ２１０は、一のクラスタの選択が行われなかったと判定した場合には（ステップＳ３０８：Ｎｏ）、クラスタの非選択を画像サーバーに対して送信する（ステップＳ３１２）。クラスタの非選択は、例えば、クラスタを識別するための識別番号が入力されていない状態にて、表示部２３に表示されている表示ボタン２３１がポインティングデバイスによって選択されることによって実現される。

図１０を参照して説明する。画像サーバー１０（ＣＰＵ１１）は、クラスタの選択を受信したか否かを判定する（ステップＳ２０８）。なお、図示していないが、ＣＰＵ１１は、クラスタの選択の有無の通知（信号）を受けるまで待機し、クラスタの選択の有無の通知を受けた後に、ステップＳ２０８以降の処理を実行する。ＣＰＵ１１は、クラスタの選択を受信したと判定した場合には（ステップＳ２０８：Ｙｅｓ）、クラスタ属性取得モジュールＳＭ２６を実行して選択されたクラスタの属性（代表値）と取得し、重要度変更モジュールＳＭ１６を実行して、取得した選択クラスタの属性に基づいて少なくとも一部の対応する特徴量の重要度を変更する（ステップＳ２１０）。具体的には、例えば、選択されたクラスタの代表値に含まれる特徴量の内、正規化後の値が０．５より大きい特徴量、上位３つの正規化後の値に対応する特徴量について、重要度が増大される。あるいは、選択クラスタの代表値に含まれる全ての特徴量について重要度が変更されても良い。既述のように、特徴量に適用される係数が０の場合に、当該特徴量に関する類似度は最も高くなる（一致する）ので、最大の重要度に対応する係数は０となる。あるいは、特徴量の値が指定されている場合には、ＣＰＵ１１は重要度変更モジュールＳＭ１６を実行して、指定されている値に対応する重要度を重要度テーブルから取得して、指定されている値を正規化した後に取得した重要度と置き換える。なお、クラスタの選択に基づく重要度の変更は、今回の検索においてのみ有効であり、重要度テーブルの内容自体は変更されない。

ＣＰＵ１１は類似度算出モジュールＳＭ２４を実行して、検索画像データに類似・一致する複数の画像データを選択されたクラスタの中から検索する（ステップＳ２１２）。画像データ検索のために、ＣＰＵ１１によって実行される類似度算出モジュールＳＭ２４は、画像データ検索部として機能する。具体的には、取得した検索画像データの各特徴量の値と、選択されたクラスタに属する画像データベース上の複数の画像データ（被検索画像データ）の各特徴量と、係数としての重要度とを用いて類似度を算出される。類似度の算出手順はクラスタと検索画像データとの類似度算出の説明において述べたとおりである。

ＣＰＵ１１は検出した複数の画像データを、検索要求の送信元であるプリンター２０に対して送信して（ステップＳ２１４）本処理ルーチンを終了する。なお、複数の画像データの選択は、予めしきい値としての距離を決めておいても良く、あるいは、画像データ数を決めておいても良い。

ＣＰＵ１１は、クラスタの選択を受信していないと判定した場合には（ステップＳ２０８：Ｎｏ）、類似度算出モジュールＳＭ２４を実行して、検索画像データに類似・一致する複数の画像データを検索された複数のクラスタの中から検索する（ステップＳ２１６）。具体的には、取得した検索画像データの各特徴量の値と、検索された複数のクラスタに属する画像データベース上の複数の画像データ（被検索画像データ）の各特徴量と、係数としての重要度とを用いて類似度を算出される。類似度の算出手順はクラスタと検索画像データとの類似度算出の説明において述べたとおりである。

ＣＰＵ１１は検出した複数の画像データを、検索要求の送信元であるプリンター２０に対して送信して（ステップＳ２１４））本処理ルーチンを終了する。

図１１を参照して説明する。プリンター２０（ＣＰＵ２１０）は、検索結果取得モジュールＣＭ１３を実行して、画像サーバー１０から受信した検索結果としての複数の画像データを取得し（ステップＳ３１４）、検索結果表示モジュールＣＭ１４を実行して取得した画像データを用いて複数の画像を表示部２３に表示させて（ステップＳ３１６）、本処理ルーチンを終了する。検索終了時（第２の態様）における表示部２３は、図１３に示すように、検索画像データに対応する画像を表示する選択検索画像表示領域ＴＡ、検索された画像データのサムネイル画像が表示される検索結果画像表示領域ＳＩＭＧを有する。なお、プリンター２０は、検索結果として受け取った画像データを縮小してサムネイル画像データを生成しても良く、あるいは、受け取った画像データに含まれているサムネイル画像データを用いても良い。また、検索結果画像表示領域ＳＩＭＧに、一度に表示される画像数は、検索結果として得られた画像データの数が多い場合には増大され、少ない場合には減少されても良い。あるいは、予め、ユーザによって表示画像数が選択されていても良い。さらに、検索結果画像表示領域ＳＩＭＧには、最も類似度が高い一つの画像が表示されても良く、あるいは、類似度の高い順に所定数の画像が表示されても良い。

以上説明した本実施例に係る画像サーバー、画像検索方法、プリンター（画像検索端末装置）、画像検索システム、画像検索要求方法によれば、画像サーバー１０が予め備えている重要度を、選択されたクラスタの属性に基づいて少なくとも一部変更し、変更した重要度を用いて検索画像データに類似または一致する画像データを検索することができる。したがって、画像サーバー１０（画像データベース）における各特徴量の重要度を、選択されたクラスタを介して検索画像データの特性に応じて変更することができる。この結果、重要度を検索画像データ毎により適した値とすることが可能となり、検索画像データの特性に応じた（ユーザが所望する）検索結果を提供することができる。

また、プリンター２０の表示部２３には、選択検索画像表示領域ＴＡ、検索クラスタ表示領域ＣＡおよび検索結果画像表示領域ＳＩＭＧが表示されるので、検索画像と検索結果とを効率よく対比することができる。また、選択検索画像表示領域ＴＡを常時、表示しておくことによって検索すべき画像をいつでも確認することができる。さらに、先ず、検索クラスタ表示領域ＣＡに検索結果としての複数のクラスタを表示するので、ユーザは表示されたクラスタの代表画像または特徴量を示すテキストに基づいて、クラスタの絞り込みを容易に行うことが可能になる。また、ユーザによって選択されたクラスタを介して、画像データの検索範囲を絞ることが可能になり、検索画像データに対する検索効率を向上させることができる。また、検索結果画像表示領域ＳＩＭＧにサムネイル画像を表示させることによって、一度に複数の検索結果としての画像を閲覧することができる。なお、サムネイル画像の大きさは、検索された画像データ数が多い場合には小さく、少ない場合には大きくされても良い。さらに、プリンター２０を画像検索端末装置として用いることによって、所望の画像データを検索した後に、直ちに印刷した画像を得ることができる。

さらに、画像データに関連付けられた画像データの内容を記述するメタデータを用いることなく、画像データの特徴量に基づいて画像データを検索するので、言葉（キーワード）を用いて画像データを特定する必要が無く画像データの検索を容易化することができる。さらに、主観的なメタデータに依存しないので、画像データの検索の客観性を高めることが可能となり、画像データの検索精度を向上させることができる。

・変形例：
（１）上記実施例では、画像サーバー１０として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって説明したが、例えば、パーソナルコンピューター３０の記憶装置に格納されているローカルな画像データベースに対して上記した重要度を対応づけても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンターが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。さらに、プリンター２０に大容量記憶装置が備えられている場合には、上記した重要度対応付け方法、画像検索方法は、プリンター２０におけるローカルな画像データ検索に適用されても良い。また、プリンター２０、パーソナルコンピューター３０は、他の画像検索端末装置のための画像サーバーとして機能しても良い。なお、コンピューター読み取り可能媒体としては、ＣＤ、ＤＶＤ、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。

（２）上記実施例では画像データの特徴量として、輝度、色相、テクスチャ、顔の大きさ、顔の有無を用いているが、他の特徴量が用いられることは言うまでもない。例えば、画像データのコントラスト、彩度、顔の目、鼻、口といった器官の配置位置（パターン）、露出補正量、撮影シーン情報といった特徴量を用いることができる。これらの特徴量を用いることによって、画像データベースの特性を適切に表す重要度を決定、対応付けることが可能となり、ユーザの所望する画像データの検索結果を得ることができる。

（３）上記実施例では、重要度を決定、関連づけるための重要度対応付けプログラムおよび画像検索プログラムの双方を備える画像サーバーを用いて説明したが、画像サーバーは、重要度対応付けプログラムまたは画像検索プログラムのいずれか一方を備えていても良い。例えば、既に重要度が対応づけられている外部の画像データベースを用いる場合には画像サーバーには画像検索プログラムのみが備えられていればよく、画像検索プログラムがクライアントに備えられている場合には画像サーバーには重要度対応付けプログラムのみが備えられていれば良い。いずれの態様を取るかは、どのような態様のシステム構成が用いられるかに依存して決定すれば良い。

（４）上記実施例では、テキストによるクラスタの説明を行っていないが、例えば、階層型クラスタリング手法による場合には、各クラスタに対してテキストによる説明を付して、利用者が所望する画像データを選択しやすい環境を整えても良い。この場合には、画像データの特徴量に加えて、ユーザが所望する属性を有するクラスタの選択を促すことによって、よりユーザのニーズに合った画像データの検索結果を提供することができる。

（５）上記実施例において、重要度変更モジュールＳＭ１６は、検索された複数のクラスタのいずれかにおいてクラスタを構成する画像データの数が第１の数以下の場合には、第１の数以下の画像データを用いた画像が表示されているクラスタの属性に対応する重み付け係数を０に変更しても良い。検索されたいずれかのクラスタにおける画像データ数が第１の数以下に絞り込まれている場合には、当該クラスタの属性は検索画像データの特徴量に極めて近似または一致していることを意味する。したがって、当該クラスタの属性（特徴量）に対応する重み付け係数を０にすることによって、類似度の算出に際して検索画像データの特徴量を的確に反映することができる。この結果、検索精度を向上させることが可能となり、また、ユーザによる入力がなくても検索画像データの特徴を的確に抽出することができる。なお、クラスタの特徴を表すために、クラスタの属性（代表値）として、クラスタの特徴を表す一部の特徴量の平均値が対応付けられていることが望ましい。

重要度変更モジュールＳＭ１６はまた、検索された複数のクラスタのいずれかにおいてクラスタを構成する画像データの数が第１の数よりも多い第２の数以下の場合には、第２の数以下の画像データを用いた画像が表示されているクラスタの属性に対応する重み付け係数を１／２倍しても良い。検索されたいずれかのクラスタにおける画像データ数が第１の数よりも多い第２の数以下に絞り込まれている場合には、当該クラスタの属性は検索画像データの特徴量を良く表していることを意味する。したがって、当該クラスタの属性（特徴量）に対応する重み付け係数を１／２倍することによって、類似度の算出に際して検索画像データの特徴量を的確に反映することが可能となり、検索精度を向上させることができる。なお、例えば、第１の数は表示部２３に全て表示可能な数であり、第２の数は表示部２３にその半分を表示可能な数である。

（６）上記実施例では、重要度として正規化された頻度が用いられ、重要度と類似度計算時における係数とが対応付けられている場合について説明したが、重要度として、正規化された頻度の逆数、あるいは、係数を求め、予め重要度テーブルに格納されていても良い。この場合には、画像データ検索時に、重要度テーブルから取得した重要度をそのまま係数として用いることができる。あるいは、重要度として正規化されていない頻度が重要度テーブルに格納され、類似度判定の際に、正規化を実行し、および重み付け係数を求めても良い。この場合には、重要度の変更に対して簡単に対応することができる。

（７）上記実施例では、選択検索画像表示領域ＴＡ、検索クラスタ表示領域ＣＡおよび検索結果画像表示領域ＳＩＭＧが同一の表示部２３に表示されている例を説明したが、これら表示領域はそれぞれ異なる表示部に表示されても良い。また、画像検索指示部２３１、クラスタ検索指示部２３２は、表示部２３に表示された指示部ではなく、プリンター２０の入力操作部２２、あるいは、プリンター２０に備えられているボタン操作部等であっても良い。

（８）上記実施例では、検索された複数のクラスタの中から一のクラスタが選択されているが、複数のクラスタが選択されても良い。この場合には、例えば、選択された各クラスタの属性（特徴量）のうち最も頻度が高い特徴量を用いて重要度を変更しても良い。また、検索された複数のクラスタに含まれている複数の画像が検索クラスタ表示領域ＣＡに表示されている場合には、クラスタに代えて画像が選択されても良い。この場合には、選択された画像が属するクラスタの属性または選択された画像データの特徴量に基づいて重要度を変更すれば良い。前者の場合には、具体的な画像を介してクラスタを選択可能であるためのクラスタの選択を容易化することができる。後者の場合には、具体的な画像を通じて、ユーザの望む検索条件（重要度）を決定することが可能となり、検索精度を向上させること（ユーザが望む検索結果を提供すること）ができる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

ＩＳＳ…画像検索システム
１０…サーバーコンピューター（画像サーバー）
１１…ＣＰＵ
１２…メモリ
１３…記憶装置（画像データベース）
１４…入出力インターフェース
２０…プリンター
２１…制御回路
２２…入力操作部
２３…表示部
２４…印刷部
２５…外部入出力インターフェース
３０…パーソナルコンピューター
３１…表示ディスプレイ
３２…入力装置
２１０…ＣＰＵ
２１１…メモリ
２１２…入出力インターフェース
２３１…表示ボタン（画像検索指示部）
２３２…クラスタ検索指示キー（クラスタ検索指示部）
ＣＡ、ＣＡ１…検索クラスタ表示領域
ＳＩＭＧ…検索結果画像表示領域
ＴＡ…選択検索画像表示領域
ＣＰ１…画像検索要求プログラム
ＣＭ１１…画像データ特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
ＣＭ１４…検索結果表示モジュール
ＣＭ１５…選択クラスタ通知モジュール
ＮＥ…ネットワーク
ＳＰ１…重要度対応付けプログラム
ＳＭ１１…画像データ取得モジュール
ＳＭ１２…特徴量取得モジュール
ＳＭ１３…正規化モジュール
ＳＭ１４…クラスタリングモジュール
ＳＭ１５…重要度決定モジュール
ＳＭ１６…重要度変更モジュール
ＳＰ２…画像検索プログラム
ＳＭ２１…検索画像データ取得モジュール
ＳＭ２２…検索モジュール
ＳＭ２３…検索画像データ特徴量取得モジュール
ＳＭ２４…類似度算出モジュール
ＳＭ２５…重要度取得モジュール
ＳＭ２６…クラスタ属性取得モジュール

Claims (10)

1. 画像サーバーであって、
   属性を有する複数のクラスタにクラスタリングされている複数の画像と、画像の複数の特徴量と特徴量の重要度とを対応づけた情報と、を格納する記憶装置と、
   検索の対象となる画像である検索画像を取得する検索画像取得部と、
   前記取得した検索画像の特徴量である検索画像特徴量を複数取得する検索画像特徴量取得部と、
   前記取得した複数の検索画像特徴量に対応する重要度を前記記憶装置から取得する重要度取得部と、
   前記取得された重要度と複数の検索画像特徴量と前記クラスタが有する属性とを用いて前記複数のクラスタの中から前記検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索するクラスタ検索部と、
   前記検索した複数のクラスタの中から一のクラスタの選択の有無を判定するクラスタ選択判定部と、
   一のクラスタが選択された場合には、前記選択されたクラスタに関連付けられている属性に基づいて、前記取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させる重要度変更部と、
   前記変更された重要度と前記取得された複数の検索画像特徴量とを用いて前記選択されたクラスタに属する画像の中から前記検索画像に類似または一致する１または複数の画像を検索する画像検索部と、
   前記検索結果を出力する出力部と
   を備える画像サーバー。
2. 請求項１に記載の画像サーバーにおいて、
   前記重要度変更部は、一のクラスタが選択されない場合には、前記取得された重要度を変更せず、
   前記画像検索部は前記重要度取得部によって取得された重要度を用いて前記検索された複数のクラスタの中から前記検索を実行する画像サーバー。
3. 請求項１または２に記載の画像サーバーにおいて、
   前記画像検索部は、前記重要度、前記検索画像特徴量および前記記憶装置に格納されている画像の特徴量とを用いて類似度を算出することによって、前記検索画像に類似または一致する１または複数の画像を前記選択または検索された画像の中から検索する、画像サーバー。
4. 請求項３に記載の画像サーバーにおいて、
   前記重要度は前記類似度を算出する際に用いられる重み付け係数である画像サーバー。
5. 請求項４に記載の画像サーバーにおいて、
   前記類似度は値が小さくなるに連れて類似の程度が増大することを示し、
   前記重要度変更部は、前記検索された複数のクラスタのいずれかにおいてクラスタを構成する画像の数が第１の画像数以下の場合には、第１の画像数以下の画像が表示されているクラスタの属性に対応する重み付け係数を０に変更する画像サーバー。
6. 請求項５に記載の画像サーバーにおいて、
   前記重要度変更部はさらに、前記検索された複数のクラスタのいずれかにおいてクラスタを構成する画像の数が前記第１の画像数よりも多い第２の画像数以下の場合には、第２の画像数以下の画像が表示されているクラスタの属性に対応する重み付け係数を１／２倍する、画像サーバー。
7. 請求項６に記載の画像サーバーにおいて、
   前記画像サーバーは検索結果を示す表示部を備える画像検索装置からの要求に基づいて画像を検索して、検索結果としての複数の画像を前記画像検索装置に対して出力し、
   前記第１の画像数は前記表示部に全て表示可能な数であり、前記第２の画像数は前記表示部に半分を表示可能な数である、画像サーバー。
8. 請求項１から７のいずれかに記載の画像サーバーにおいて、
   前記クラスタ関連付けられている属性はクラスタを構成する複数の画像の特徴量の平均値である、画像サーバー。
9. 画像検出システムであって、
   請求項１から８のいずれかに記載の画像サーバーと、
   前記画像サーバーにネットワークを介してアクセス可能なプリンターであって、
   前記画像サーバーに対して前記検索画像を送信する送信部と、
   前記画像サーバーから出力された前記検索結果としての複数のクラスタまたは複数の画像を受け取る受信部と、
   前記検索されたクラスタの中から１のクラスタが選択されたか否かを、前記画像サーバーに対して通知する通知部と、
   前記受信した画像を表示する表示部とを備えるプリンターとを備える、
   画像検索システム。
10. 画像検索方法であって、
    検索の対象となる画像である検索画像を取得し、
    前記取得された検索画像の特徴量である検索画像特徴量を複数取得し、
    前記取得した複数の特徴量に対応する重要度を、属性を有する複数のクラスタに予めクラスタリングされている複数の画像と、画像の複数の特徴量と特徴量の重要度とを対応づけた情報と、を格納する前記記憶装置から取得し、
    前記取得した重要度と複数の特徴量と前記クラスタが有する属性とを用いて前記複数のクラスタの中から前記検索画像特徴量に類似または一致する属性を有する複数のクラスタを検索し、
    前記検索した複数のクラスタの中から一のクラスタが選択された場合には、前記選択された一のクラスタに関連付けられている属性に基づいて、前記取得された複数の検索画像特徴量の少なくとも一部に対する重要度を増大させ、
    前記変更された重要度と前記取得された複数の検索画像特徴量とを用いて前記選択されたクラスタに属する前記検索画像に類似または一致する１または複数の画像を検索し、
    前記検索結果を出力する
    を備える画像検索方法。

Images