JP2009134735A - 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】ユーザの意図を検索条件として正確に表現可能な画像分類装置を提供すること。
【解決手段】Ｕ／Ｉ部１５１が、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に前記検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、マッチング・エンジン１５３が、検索対象の画像毎に、Ｕ／Ｉ部１５１で指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、Ｕ／Ｉ部１５１が、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力する。
【選択図】 図２

Description

本発明は、大量の画像の中からユーザが希望する画像を探し出すための画像検索装置および大量の画像を所定の分類先に分類する画像分類装置に関し、ユーザが望む通りの方法で精度の高い画像検索処理および画像分類処理を行うことが可能な画像分類装置に関する。

近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索装置である。

画像検索装置の一つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様な方法で、入力されたキーワードと画像に付された検索キーとを照合し、キーワードと一致する検索キーが付された画像を検索結果として返すというものがある。

ところが、人間が画像から受ける印象は人によって異なるため、画像に付された検索キーがその画像から人間が受ける印象を全て言い表しているとは言えず、従って言葉による検索キーを用いた画像検索では満足な画像を得ることができない場合が多い。なぜなら、画像中に登場する人間，動物，建物等の事物（以下「オブジェクト」と定義する）の形状特徴や位置関係については、適切な言葉で表現することができない場合が多いからである。

そのため、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合せ画像」と記述する）を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索装置を実現するために、問合せ画像および検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索装置は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。

また、画像そのものを問合せ画像とするのではなく、各画像の特徴量として画像の色（色のヒストグラム），テクスチャ，オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を検索条件として指定することによって、指定した特徴量を有する画像を検索するという検索装置も提案されている（Myron Flickner et al, “Query by Imageand Video Content: The QBIC System,” Computer, September 1995, pp23-32）。

しかしながら、上記問合せ画像を指定して、問合せ画像に類似する画像を検索する画像検索装置においては、例えば、ユーザが検索結果として望む画像に類似した問合せ画像が存在しない場合、問合せ画像として指定するための画像を検索する処理が必要となり、検索作業の利便性に欠けるという問題点があった。

また、画像の特徴量を指定して画像を検索する画像検索装置にあっても、例えば、ユーザが検索結果として望む画像の配色を選択したり、検索結果として望む画像中に存在するオブジェクトの形状を描いたりすることによって画像の特徴量を検索条件として指定する必要があるため、検索を実行する際のユーザの負担が大きいという問題点があった。また、画像の特徴量を検索条件として指定するため、ユーザが検索結果として希望する画像を検索条件において的確に表現することは困難で、検索に対するユーザの意図を適切に装置に伝えられないという問題点があった。その結果、ユーザの望む検索結果を得ることは困難であった。

すなわち、上記従来の画像検索装置においては、検索条件の指定に自由度がなく、ユーザの意図を検索条件として正確に表現することができないという点で不便であった。したがって、ユーザの意図を装置側に正確に伝えることができず、ユーザの望む画像を精度良く得ることは困難であった。さらに、ユーザの意図を装置側に正確に伝え、ユーザの意図通りの検索処理を行うことを可能にするためには、ユーザが望む方法で検索処理を行えるように様々な検索手法が用意されていなければならない。

本発明は、上記のような画像検索装置における画像検索処理を画像分類処理に応用し、新たな方法で画像分類処理を実行可能な画像分類装置を提供することを目的とする。

上記目的を達成するため、本発明の画像分類装置は、分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、を備えたものである。

また、本発明の画像分類装置において、さらに、前記設定手段が、前記演算手段で求める類似度に対し、前記基準画像の種類に応じて任意の重み付けを行うことができるように、前記各基準画像毎に重要度を設定することが可能であり、前記演算手段が、前記分類項目毎に、前記各基準画像および分類対象の画像の類似度を求め、求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めるものである。

また、本発明の画像分類装置において、さらに、前記設定手段が、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、前記演算手段が、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めるものである。

また、本発明の画像分類装置において、さらに、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記特徴量の種類に応じて任意の重み付けを行うことができるように、前記分類項目毎に、前記設定手段で設定された各基準画像間の類似度を各種類の特徴量毎に求め、前記各種類の特徴量毎に求めた類似度に基づいて前記各基準画像間における各特徴量毎の重要度を決定する重要度決定手段を備え、前記演算手段が、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記重要度決定手段で決定された重要度に応じた重み付けを行った後、前記総合類似度を求めるものである。

また、本発明の画像分類装置において、さらに、前記設定手段が、前記分類項目毎に分類された画像をさらに分類するための分類項目を設定可能であるものである。

また、本発明の画像分類装置は、分類対象の複数の画像から画像の特徴を表す少なくとも一種類の特徴量を抽出し、抽出した特徴量を用いて前記分類対象の各画像を類似する画像同士のグループに分類する画像分類装置であって、前記特徴量の種類を指定する指定手段と、前記指定手段で特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、前記分類対象の各画像を類似する画像同士のグループに分類する分類手段と、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示する表示手段と、を備え、前記指定手段が、さらに、前記表示手段によって表示された代表画像の一つを指定すると共に、前記特徴量の種類を指定可能であり、前記分類手段が、前記指定手段で前記代表画像および前記特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、前記表示手段が、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示するものである。

また、本発明の画像分類装置において、さらに、前記表示手段が、前記指定手段で指定可能な特徴量の種類を画面表示し、前記指定手段で指定された特徴量の種類に関連付けて前記分類手段で分類された各グループの代表画像を画面表示して、前記分類対象の複数の画像を分類した結果を木構造で画面表示するものである。

また、本発明の画像分類装置において、さらに、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段を備えたものである。

また、本発明の画像分類装置において、さらに、前記分類対象の画像が、前記検索手段で検索された画像であるものである。

また、本発明の記録媒体は、本発明の画像分類装置のいずれか一の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。

本発明の実施の形態１に係る画像検索装置のブロック構成図である。 本発明の実施の形態１に係る画像検索装置において実行される処理を示すブロック図である。 本発明の実施の形態１に係る画像検索装置において実行される画像登録処理の概略を示すフローチャートである。 本発明に係る画像検索装置において、画像から抽出した特徴量に応じて各画像を特徴空間にマップした様子を示す説明図である。 本発明の実施の形態１に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態４に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態４に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態５に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態５に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態６に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態６に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態７に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態８に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態９に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態１０に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態１１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態１２に係る画像検索装置において、問合せ画像および検索対象の画像から抽出する特徴量の粗さのレベルを説明する説明図である。 本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。 本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。 本発明の実施の形態１２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例１を示す説明図である。 本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例２を示す説明図である。 本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。 本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。 本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。 本発明の実施の形態１３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。 本発明の実施の形態１４に係る画像分類装置のブロック構成図である。 本発明の実施の形態１４に係る画像分類装置において実行される処理を示すブロック図である。 本発明の実施の形態１４に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態１４に係る画像分類装置において実行される画像分類処理を示すフローチャートである。 本発明の実施の形態１４に係る画像分類装置において、画像が分類された後の画像分類ウインドウの様子を示す説明図である。 本発明の実施の形態１５に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態１６に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態１６に係る画像分類装置において実行される画像分類処理を示すフローチャートである。 本発明の実施の形態１７に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態１８に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態１９に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。 本発明の実施の形態２１に係る画像分類装置において実行される画像分類処理を示すフローチャートである。 本発明の実施の形態２２に係る画像分類装置において実行される画像分類処理を示すフローチャートである。 本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。 本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。 本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。 本発明に係る画像検索装置および／または画像分類装置を実現するプログラムを記録した記録媒体およびプログラムの配布形態を示す説明図である。

以下、本発明に係る画像検索装置および画像分類装置の実施の形態について、添付の図面を参照しつつ詳細に説明する。

〔実施の形態１〕
まず、本発明に係る画像検索装置について説明する。図１は、実施の形態１に係る画像検索装置のブロック構成図である。図１に示す画像検索装置は、パーソナルコンピュータやワークステーション等のコンピュータ１００で構成されており、全体を制御するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、問合せ画像，検索実行命令等の入力を行うためのキーボード１０４およびマウス１０５と、例えば検索結果の画像を表示するためのＣＲＴや液晶ディスプレイ等のモニタ１０６と、本発明に係る画像検索装置としての機能をＣＰＵ１０１（コンピュータ１００）に実行させるための画像検索ソフト１０７，複数の画像が登録された画像ＤＢ１０８，画像ＤＢ１０８中の画像から抽出した特徴量が登録された画像特徴ＤＢ１０９等を記憶したハードディスク１１０と、画像を入力するためのスキャナやディジタルカメラを接続するためのインターフェイス（Ｉ／Ｆ）１１１と、インターネットやＬＡＮのようなネットワーク１１２にコンピュータ１００（画像検索装置）を接続するためのネットワーク・アダプタ１１３と、上記各部を接続するバス１１４と、を備えている。

図２は、図１に示した画像検索装置において実行される処理を示すブロック図である。処理の詳細な内容については後述するが、図２において、ユーザ・インターフェイス（Ｕ／Ｉ）部１５１（本発明の指定手段および出力手段に該当する）は、ユーザに対して画像検索を行うための検索条件入力画面，検索結果表示画面等を表示して、検索条件の入力，検索結果の出力処理等を実行する。特徴抽出エンジン１５２（本発明の重要度決定手段および特徴抽出手段に該当する）は、画像ＤＢ１０８に登録する画像（検索対象の画像）および検索時に指定される問合せ画像から画像の特徴量を抽出する処理を実行する。さらに、マッチング・エンジン１５３（本発明の検索手段に該当する）は、問合せ画像から抽出された特徴量と画像特徴ＤＢ１０９に登録された画像ＤＢ１０８中の画像の特徴量とを比較し、問合せ画像の特徴に該当する特徴を有する画像を検索する処理を実行する。

なお、図２において、Ｕ／Ｉ部１５１，特徴抽出エンジン１５２およびマッチング・エンジン１５３は、図１に示した画像検索ソフト１０７を構成するモジュールを意味している。これら各部による処理は、図１に示したＣＰＵ１０１が画像検索ソフト１０７を実行することによって実現される。

つぎに、前述した構成を有する画像検索装置によって実行される処理について、
（１）特徴量抽出処理
（２）画像検索処理
の順で説明する。

（１）特徴量抽出処理
まず、検索対象の画像を画像ＤＢ１０８に登録する処理を例にとって、画像の特徴を表す特徴量を各画像から抽出する処理を説明する。ここでは、一例として、従来から良く知られている画像の色特徴（色ヒストグラム），画像のエッジ特徴および画像中のテクスチャ特徴を特徴量として抽出するものとする。

図３は、実施の形態１に係る画像検索装置において実行される画像登録処理の概略を示すフローチャートである。図２に示した特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力する（Ｓ１１）。入力する画像は、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像等、いかなるものであっても良い。

そして、特徴抽出エンジン１５２は、入力した画像から特徴量を抽出する処理を実行する（Ｓ１２）。このステップＳ１２において、上記３種類の特徴量が各画像から抽出されるものとする。これら３種類の特徴量は、以下に示すように従来から知られている方法を用いて各画像から抽出することができる。

画像の色ヒストグラム（以下、単に「色」と記述する）は、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなどが一般的）を選択して複数の領域に分割し、画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を全体のピクセル数により正規化することによって得ることができる。画像のエッジ（以下、「構造」と記述する）は、例えばｓｏｂｅｌのようなエッジ抽出フィルタを用いて得ることができる。さらに、テクスチャは、同時生起行列に基づくテクスチャ抽出によって得ることができる（参考文献：高木幹夫雄，下田陽久監修，「画像解析ハンドブック」，東京大学出版会，１９９１年）。

ステップＳ１２で画像から特徴量を抽出した後、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１３）。また、元の画像も画像ＤＢ１０８に登録される。

なお、画像検索の高速化という観点から、画像ＤＢ１０８に登録する検索対象の画像については、登録時に予め特徴量を抽出して画像特徴ＤＢ１０９に登録しておくことが好ましい。ただし、画像検索時に検索対象の各画像から特徴量を抽出することにする場合には、予め特徴量を抽出しておく必要はない。

図３に示した処理を実行することにより、画像ＤＢ１０８に登録された画像は、抽出した特徴量の種類毎に図４に示すような特徴空間にマップされることになる。画像検索時においては、後述するように問合せ画像から画像の特徴量を抽出し、同じく図４に示す特徴空間にマップする。図４に示すポイント（黒点）は、特徴空間にマップされた画像を示し、問合せ画像のポイントと各画像のポイント間の距離が画像の類似度となる。なお、画像の特徴量の多くはベクトルデータであり、類似度であるポイント間の距離の計算には一般にユークリッド距離などのベクトルの距離定義式が利用される。また、画像の特徴量の種類に合わせて独自の距離を定義することもできる。

（２）画像検索処理
続いて、実施の形態１に係る画像検索装置において実行される画像検索処理について説明する。実施の形態１に係る画像検索装置は、単に問合せ画像を検索条件として指定するのみでは問合せ画像とユーザが検索結果として希望する画像との類似観点を装置に伝えられないという点を考慮したものであって、検索に使用する特徴量の種類毎に問合せ画像を指定することによって、ユーザが適切と考える仮想的な一つの問合せ画像を表現できるようにしたものである。なお、前述したように、ここで使用可能な特徴量の種類としては、色，構造およびテクスチャの３種類であるものとし、検索対象の画像は画像ＤＢ１０８に登録された画像であるものとする。

図５は検索時に使用される検索ウインドウを示す説明図であり、図６は実施の形態１に係る画像検索処理を示すフローチャートである。図２のＵ／Ｉ部１５１は、画像検索処理を実行する際に図５に示す検索ウインドウ２００ａを図１に示したモニタ１０６上に画面表示する。検索ウインドウ２００ａは、画像検索に用いられる色，構造およびテクスチャの特徴量毎にそれぞれ一つの問合せ画像を指定するための画像指定欄Ａ，ＢおよびＣと、画像検索処理の実行を指定するための検索ボタン２０１と、検索結果の画像を表示する画像表示欄２０２と、を備えている。

ユーザは、図５に示した各画像指定欄において、特徴量の種類毎に問合せ画像をそれぞれ指定する（Ｓ１０１）。問合せ画像として指定する画像は、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像等、いかなるものであっても良い。

ここで、問合せ画像の指定方法について具体的に説明する。前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造（オブジェクトの配置等）の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。

ユーザは、図５に示すように、これら３枚の画像Ａ，ＢおよびＣをそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画像として指定する。具体的には、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａを特徴量「色」に対応する画像指定欄Ａに指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂを特徴量「構造」に対応する画像指定欄Ｂに、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃを特徴量「テクスチャ」に対応する画像指定欄Ｃに指定する。

なお、以下の説明において、画像指定欄Ａに指定された画像を問合せ画像Ａと、画像指定欄Ｂに指定された画像を問合せ画像Ｂと、画像指定欄Ｃに指定された画像を問合せ画像Ｃと呼ぶことにする。

このように、単に問合せ画像を複数指定するだけでなく、画像検索に使用される各種類の特徴量毎に問合せ画像を指定することにより、ユーザが適切と考える仮想的な一つの問合せ画像を表現できると共に、検索に対するユーザの意図を装置側に正確に伝えることが可能となる。したがって、後述する検索処理によって、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

図６のフローチャートの説明に戻る。ユーザが図５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから対応する種類の特徴量を抽出する処理を実行する（Ｓ１０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

なお、問合せ画像Ａ，ＢおよびＣから抽出した特徴量が画像特徴ＤＢ１０９に登録されている場合には、図６のステップＳ１０２の処理をスキップすることができる。

続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、該当する特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して、検索対象の画像の総合類似度を求める処理を実行する（Ｓ１０３）。

このステップＳ１０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。この画像間の距離が、二つの画像の類似度に該当し、距離が短いほど二つの画像が色の特徴において類似していることになる。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の種類の数をＮ、特徴量ｊの問合せ画像をＱ_j、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図５の画像表示欄２０２に表示する（Ｓ１０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２には検索対象の画像を全て表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。すなわち、検索結果をどのように表示するかについては任意に設定・変更することが可能である（以下の実施の形態においても同様）。

また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。

このように、実施の形態１に係る画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。

例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。

なお、実施の形態１の説明において、全ての種類の特徴量にそれぞれ対応して問合せ画像を指定することにしたが、必ず全ての種類の特徴量に対応して問合せ画像を指定する必要はない。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類および数を限定することを意図したものではない。

〔実施の形態２〕
実施の形態２に係る画像検索装置は、実施の形態１の場合と同様に、単に問合せ画像を検索条件として指定するのみでは問合せ画像とユーザが検索結果として希望する画像との類似観点を装置に伝えられないという点を考慮したものであって、複数の問合せ画像と検索に使用する特徴量の種類とを指定することによって、ユーザが適切と考える仮想的な一つの問合せ画像を表現できるようにしたものである。なお、実施の形態２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。

図７は検索時に使用される検索ウインドウを示す説明図であり、図８は実施の形態２に係る画像検索処理を示すフローチャートである。図２のＵ／Ｉ部１５１は、画像検索処理を実行する際に図７に示す検索ウインドウ２００ｂを図１に示したモニタ１０６上に画面表示する。検索ウインドウ２００ｂは、複数の問合せ画像を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した問合せ画像毎に、検索対象の画像との類似度を求める際に使用する特徴量の種類を指定するための特徴量指定ボタン２０３と、画像検索処理の実行を指定するための検索ボタン２０１と、検索結果の画像を表示する画像表示欄２０２と、を備えている。

実施の形態１で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。

ユーザは、図７に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定する（Ｓ２０１）。

具体的に、ユーザは、図７に示すように３枚の画像Ａ，ＢおよびＣを画像指定欄Ａ，ＢおよびＣに問合せ画像として指定する。そして、ユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては、特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。

このように、単に問合せ画像を複数指定するだけでなく、指定した各問合せ画像毎にユーザが重視する画像の特徴に該当する特徴量を指定することにより、ユーザが適切と考える仮想的な一つの問合せ画像を表現できると共に、検索に対するユーザの意図を装置側に正確に伝えることが可能となる。したがって、後述する検索処理によって、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

ただし、図７においては、各問合せ画像に対してそれぞれ異なる種類の特徴量を指定することにしたが、同一種類の特徴量を指定しても良い。すなわち、複数の問合せ画像全てに同一種類の特徴量を指定しても良い。

そして、ユーザが図７の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ２０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

なお、問合せ画像Ａ，ＢおよびＣから抽出した特徴量が画像特徴ＤＢ１０９に登録されている場合には、図８のステップＳ２０２の処理をスキップすることができる。

続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ２０３）。

このステップＳ２０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。この画像間の距離が、二つの画像の類似度に該当し、距離が短いほど二つの画像が色の特徴において類似していることになる。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの指定の有無をｔ_jk（指定されていれば１、指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図７の画像表示欄２０２に表示する（Ｓ２０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２には検索対象の全ての画像を表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。

また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。

このように、実施の形態２に係る画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。

例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。加えて、指定した各問合せ画像毎にユーザが希望する特徴量を指定することができるため、実施の形態１に係る画像検索装置に比べ、検索条件を自由に設定することができる。

なお、実施の形態２の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。すなわち、問合せ画像を１枚のみ指定しても同様の方法で検索処理を行うことができるが、実施の形態２においては複数枚指定することに意味がある。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。

〔実施の形態３〕
実施の形態３に係る画像検索装置は、実施の形態２の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。

図９は、実施の形態３に係る画像検索装置において用いられる検索ウインドウ２００ｃを示す説明図である。図９に示す検索ウインドウ２００ｃは、図７に示した検索ウインドウ２００ｂの構成に加えて、画像指定欄Ａ，ＢおよびＣに指定された問合せ画像毎に相対的な重要度を指定するための重要度指定バー２０４を備えている。

実施の形態１および２で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。

ユーザは、図９に示すように、これら３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画像Ａ，ＢおよびＣとして指定する。つぎにユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。

続いて、ユーザは重要度指定バー２０４を用いて各問合せ画像に重要度を指定する。この重要度指定バー２０４は、一例として、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することができるように構成されている。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

例えば、問合せ画像Ａ，ＢおよびＣのうち、検索結果として希望する画像に類似する配色を持った問合せ画像Ａが最も重要である、即ち、検索結果として問合せ画像Ａのような配色の画像が特に欲しいとユーザが感じる場合、ユーザは重要度指定バー２０４を「＋」方向の所望の位置に移動させ、問合せ画像Ａは重要であることを指定する。このようにして重要度が指定されると、後述する検索時において、検索対象の画像と問合せ画像Ａとの類似度に対し、問合せ画像Ａに対して指定された重要度に応じた「＋」の重み付けが行われる。

なお、例えば、問合せ画像Ｃのようなテクスチャの画像は検索結果として欲しくないとユーザが感じる場合、ユーザは重要度指定バー２０４を「−」方向の所望の位置に移動させる。すなわち、「−」方向の重要度を指定することによりＮＯＴ条件を問合せ画像に付与することができる。したがって、こんな特徴を有する画像は検索結果として欲しくないとユーザが考える画像を問合せ画像として指定することも可能である。この場合、検索対象の画像と問合せ画像Ｃとの類似度に対し、問合せ画像Ｃに対して指定された重要度に応じた「−」の重み付けが行われることになる。

このように、問合せ画像毎にユーザが重要度を指定することを可能にすることにより、検索に対するユーザの意図を検索条件として正確に表現することが可能となる。すなわち、後述する検索処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像に対して指定すれば良い。

つぎに、実施の形態３に係る画像検索装置による画像検索処理について説明する。図１０は、実施の形態３に係る検索処理を示すフローチャートである。ユーザは、図９に示した各画像指定欄に問合せ画像を複数指定し、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定すると共に、必要に応じて重要度を指定する（Ｓ３０１）。図９に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各問合せ画像Ａ，ＢおよびＣ毎に特徴量の種類および重要度を指定したものとする。

続いて、ユーザが図９の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ３０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ３０３）。

このステップＳ３０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、重要度指定バー２０４で指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。

なお、重み付けの対象となる類似度は画像同士の特徴量間の距離であるため、「＋」の重要度に基づく「＋」の重み付けは画像間の距離を短くする方向に働き、「−」の重要度に基づく「−」の重み付けは画像間の距離を長くする方向に働くことになる。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jk（該当する特徴が指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図９の画像表示欄２０２に表示する（Ｓ３０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。

このように、実施の形態３に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

なお、実施の形態３の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。ただし、実施の形態３においては、問合せ画像毎に重要度を指定するため、複数枚の問合せ画像を指定することに意味がある。

また、詳細な説明については省略するが、実施の形態１で説明した画像検索装置においても、実施の形態３で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。

〔実施の形態４〕
実施の形態４に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＡＮＤ検索を実行可能にするものである。なお、実施の形態４に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。

図１１は、実施の形態４に係る画像検索装置において用いられる検索ウインドウ２００ｄを示す説明図である。この検索ウインドウ２００ｄは、画像指定欄Ａ，ＢおよびＣ，検索ボタン２０１ならびに画像表示欄２０２に加え、ＡＮＤ検索の実行を指定するためのＡＮＤ指定ボタン２０５およびＯＲ検索の実行を指定するためのＯＲ指定ボタン２０６を備えている。ＯＲ検索については、後述する実施の形態８において詳細に説明することにし、ここではＡＮＤ検索についてのみ説明する。また、検索の際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。

続いて、実施の形態４に係る画像検索装置による画像検索処理について説明する。図１２は、実施の形態４に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ４０１）。図１１に示したように、ユーザは、３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。

続いて、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ４０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ４０３）。

このステップＳ４０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、特徴量毎に求めた各問合せ画像との類似度の全てを合計して総合類似度を求めれば良い。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ４０４）。ここでの総合類似度は、問合せ画像Ａ，ＢおよびＣの全てに対する検索対象の各画像の類似度を意味しているため、画像のＡＮＤ検索が実行されたことになる。ただし、ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

そして、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態４に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。

なお、実施の形態４の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。

〔実施の形態５〕
実施の形態５に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。

図１３は、実施の形態５に係る画像検索装置において用いられる検索ウインドウ２００ｅを示す説明図である。図１３に示す検索ウインドウ２００ｅは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像毎に相対的な重要度を指定する重要度指定バー２０７を備えている。

この重要度指定バー２０７は、実施の形態３で説明したように、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。したがって、ユーザが重要と考える問合せ画像に対して「＋」の重要度を指定し、このような画像に類似する画像は検索結果として欲しくないと考える場合は該当する問合せ画像に対して「−」の重要度を指定することができる。指定した重要度は、求めた類似度に対する重み付けとして検索結果に反映される。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

つぎに、実施の形態５に係る画像検索装置による画像検索処理について説明する。図１４は、実施の形態５に係る検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ５０１）。図１３に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。

そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ５０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ５０３）。

このステップＳ５０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅにおいて指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗ_kとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ５０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態５に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

なお、実施の形態５の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。

〔実施の形態６〕
実施の形態６に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。

図１５は、実施の形態６に係る画像検索装置において用いられる検索ウインドウ２００ｆを示す説明図である。図１５に示す検索ウインドウ２００ｆは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像Ａ，ＢおよびＣ毎に、検索に使用される特徴量の種類毎の重要度を指定する重要度指定バー２０８を備えている。なお、検索に使用される特徴量としては、一例として、色，構造およびテクスチャの３種類を用いるものとする。

重要度指定バー２０８は、各種類の特徴量毎の重要度を各問合せ画像毎に指定することを可能とするものであって、実施の形態３の重要度指定バー２０４（図９参照）で説明したように「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

具体的に、この重要度の指定方法を図１５の問合せ画像Ａを例にとって説明する。例えば、問合せ画像Ａにおける配色は検索結果として希望する画像に近いと考える場合、ユーザは色の重要度指定バー２０８を操作して「＋」の重要度を指定する。一方、問合せ画像Ａにおける構造は検索結果として希望する画像とはほとんど似ていないと考える場合、ユーザは構造の重要度指定バー２０８を操作して「−」の重要度を指定する。

そして、後に説明する検索処理において、問合せ画像Ａと検索対象の画像の類似度が色の特徴量，構造の特徴量およびテクスチャの特徴量毎に求められる。上記例においては、色の特徴量に「＋」の重要度が、構造の特徴量に「−」の特徴量が指定されているため、色の特徴量を用いて求めた類似度に対して「＋」の重要度に応じた「＋」の重み付けが行われ、構造の特徴量を用いて求めた類似度に対して「−」の重要度に応じた「−」の重み付けが行われる。この処理は、検索対象の各画像との類似度に対して実行される。

問合せ画像ＢおよびＣについても、上述した特徴量毎の重要度を指定することにより、問合せ画像Ａのような処理が実行されることになる。

このように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することにより、検索に対するユーザの意図を確実に装置側に伝えることが可能となる。そして、検索処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像の任意の特徴量に対して指定すれば良い。

つぎに、実施の形態６に係る画像検索装置による画像検索処理について説明する。図１６は、実施の形態６に係る検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に特徴量の種類毎の重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ６０１）。図１５に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。

そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ６０２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ６０３）。

このステップＳ６０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jkとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ６０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態６に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

なお、実施の形態６の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態７〕
実施の形態７に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。

前述した実施の形態５および６においては、ユーザが問合せ画像の重要度または問合せ画像毎に各特徴量の重要度を指定する必要があったが、実施の形態７に係る画像検索装置においては、画像検索に使用する特徴量を用いてユーザによって指定された問合せ画像間の類似度を求め、求めた特徴量毎の類似度に基づいて各問合せ画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。ここでは、例として、色，構造およびテクスチャの３種類の特徴量を用いて検索処理を行うものとし、検索条件を指定するための検索ウインドウは図１１に示した検索ウインドウ２００ｄと同一であるものとする。

つぎに、実施の形態７に係る画像検索装置による画像検索処理について説明する。図１７は、実施の形態７に係る検索処理を示すフローチャートである。ユーザは、図１１に示した検索ウインドウ２００ｄを表示させ、各画像指定欄に問合せ画像を複数指定すると共に、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ７０１）。ユーザは、問合せ画像Ａ，ＢおよびＣを指定したものとする。

そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ７０２）。

続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ７０３）。

具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。

例えば、σ²を特徴ｉにおける全ての問合せ画像間の距離の分散とするとｉ番目の特徴量の重要度ｗ_kは以下の式で決定することができる。ｋはｗ_kが適正な値に収まるようにするための任意の係数である。

なお、距離の分散の程度に応じて、前述した実施の形態３，５および６で説明したように、「＋」の重要度や「−」の重要度を設定することも可能である。

その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ７０４）。

このステップＳ７０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ７０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態７に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。

なお、実施の形態７の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態８〕
実施の形態８に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＯＲ検索を実行可能にするものである。実施の形態８に係る画像検索装置による画像検索処理は、実施の形態４で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。

図１８は、実施の形態８に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ８０１）。ユーザは、図１１に示すように３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。

そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ８０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ８０３）。

このステップＳ８０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。換言すれば、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択する。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、各種類の特徴量毎に求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度（最も短い距離）を選択して総合類似度とすれば良い。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ８０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、実施の形態８においては、検索対象の画像が問合せ画像Ａ，ＢおよびＣのいずれか一つと類似していれば、高い類似性を示す総合類似度が得られる。したがって、ＯＲ検索が実現されることになる。

また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態８に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択し、選択した類似度に基づいて検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。

なお、実施の形態８の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。

〔実施の形態９〕
実施の形態９に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態９に係る画像検索装置による画像検索処理は、実施の形態５で説明に用いた図１３の検索ウインドウ２００ｅにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。

図１９は、実施の形態９に係る画像検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ９０１）。ユーザは、図１３に示したように問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。

そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ９０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ９０３）。

このステップＳ９０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅで指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗ_kとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ９０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態９に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

なお、実施の形態９の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。

〔実施の形態１０〕
実施の形態１０に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態１０に係る画像検索装置による画像検索処理は、実施の形態６で説明に用いた図１５の検索ウインドウ２００ｆにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。

図２０は、実施の形態１０に係る画像検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像に特徴量の種類毎の重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１００１）。ユーザは、図１５に示したように問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。

そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１００２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１００３）。

このステップＳ１００３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱ_k、検索対象の画像をＩ_i、特徴量ｊの画像間の距離式をＤ_j（）、ｋ番目の画像の特徴量ｊの重要度をｗ_jkとすると、検索対象の各画像毎の総合類似度Ｓ_iは以下のように表わされる。

マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ１００４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態１０に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

なお、実施の形態１０の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態１１〕
実施の形態１１に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。実施の形態１１に係る画像検索装置による画像検索処理は、実施の形態８（実施の形態４）で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。

図２１は、実施の形態１１に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定すると共に、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１１０１）。ユーザは、図１１に示したように問合せ画像Ａ，ＢおよびＣを指定したものとする。

その後、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１１０２）。

続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ１１０３）。

具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、ユーザが指定した複数の問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。例えば、各特徴量の重要度は、実施の形態７で示した数７を用いて決定することができる。

その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１１０４）。

このステップＳ１１０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。

Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎の総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ１１０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。

このように、実施の形態１１に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。

なお、実施の形態１１の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態１２〕
実施の形態１２に係る画像検索装置は、前述した実施の形態１〜１１と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。

実施の形態１２に係る画像検索装置は、検索時に使用する特徴量の粗さのレベル（視点の細かさ）をユーザが指定できるようにし、ユーザによって指定された粗さのレベルに対応する特徴量を利用して、問合せ画像および検索対象の画像の類似度を求めるというものである。ここで、特徴量の粗さとは、画像から抽出された特徴量が、抽出対象の画像の所定の特徴をどの程度忠実に表現しているかの度合いを示すものであると定義することにする。そこで、以下では、
１．特徴量抽出処理
２．画像検索処理
の順で実施の形態１２に係る画像検索装置によって実行される処理について説明する。

１．特徴量抽出処理
ここでは、検索対象の画像については粗さの異なる複数の特徴量を予め抽出しておくことにし、問合せ画像のうち、特徴量が抽出されていない問合せ画像については検索実行時に特徴量を抽出することにする。検索対象の画像から特徴量を抽出するタイミングは、実施の形態１で説明したように、検索対象の画像を画像ＤＢ１０８に登録するときとする。そこで、図３を参照しつつ各画像から特徴量を抽出する処理について説明する。

図２の特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力し（Ｓ１１）、入力した画像から特徴量を抽出する処理を実行する（Ｓ１２）。

実施の形態１２においては、例えば、少なくとも画像を何分割するかを表す分割数を特徴量の粗さのレベルとして段階的に定義した抽出基準に基づいて、特徴抽出エンジン１５２が画像から粗さの異なる特徴量を抽出できるようにしている。具体的に、抽出基準として例えば以下のような特徴量の粗さのレベルが定義されており、特徴抽出エンジン１５２は、ステップＳ１１で入力した画像から同一の特徴（色，構造等）について異なる粗さのレベルの特徴量を抽出する。なお、抽出される特徴量は粗さが異なるのみであって、特徴量の種類（例えば、色，構造等）は同一である。

・レベル１：図２２（ａ）に示すように、画像全体から特徴量１を抽出する。
・レベル２：図２２（ｂ）に示すように、画像を４分割して分割画像Ａ〜Ｄを生成し、各分割画像Ａ〜Ｄからそれぞれ特徴量Ａ〜Ｄを抽出することにより、一つの画像から特徴量Ａ〜Ｄからなる特徴量２（特徴量群）を抽出する。
・レベル３：図２２（ｃ）に示すように、画像を８分割して分割画像Ａ〜Ｈを生成し、各分割画像Ａ〜Ｈからそれぞれ特徴量Ａ〜Ｈを抽出することにより、一つの画像から特徴量Ａ〜Ｈからなる特徴量３（特徴量群）を抽出する。
・レベル４：図２２（ｄ）に示すように、画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像Ａ〜Ｐからそれぞれ特徴量Ａ〜Ｐを抽出することにより、一つの画像から特徴量Ａ〜Ｐからなる特徴量４（特徴量群）を抽出する。

ここで、画像の構造（エッジ）および色（色ヒストグラム）を特徴量として抽出する処理を例にとって、画像からレベル１〜４の特徴量を抽出する処理を具体的に説明する。

（１）構造
▲１▼ レベル１
例えばｓｏｂｅｌのようなエッジ抽出フィルタを用いて、ステップＳ１１で入力した画像からエッジ情報を抽出する。抽出したエッジ情報から、エッジの位置，エッジの強度および方向を得ることができる。エッジの強度については適当な閾値で２値化し、上下左右斜め方向のエッジ成分のエッジ画像データを得る。一例として、図２３に示す画像から得た上下左右斜め方向のエッジ成分のエッジ画像データを図２４（ａ）〜図２４（ｄ）に示す。

図２４（ａ）〜図２４（ｄ）のエッジ画像データについて、エッジ部分を黒画素、その他を白画素と仮定し、
・画像全体に対する黒画素の割合
・黒画素の重心
・黒画素の分散
・黒画素の連結矩形のサイズの平均
・黒画素の連結矩形のサイズの分散
というようなエッジ情報を各エッジ画像データから抽出し、これを画像全体の構造の特徴量１とする。

▲２▼ レベル２
図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｂ）に示すように分割画像Ａ〜Ｄに分割し（４分割）、各分割画像Ａ〜Ｄから▲１▼で説明したエッジ情報を抽出して分割画像単位の構造の特徴量Ａ〜Ｄを得る。その結果、特徴量Ａ〜Ｄからなる特徴量２を画像から抽出することができる。

▲３▼ レベル３および４
また、レベル３については図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出することができる。

（２）色
つぎに、画像の色（色ヒストグラム）を特徴量として抽出する処理を説明する。

▲１▼ レベル１
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割し、ステップＳ１１で入力した画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を画像全体のピクセル数で正規化することによって図２２（ａ）に示した画像全体を対象とした特徴量１を抽出する。

▲２▼ レベル２
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割すると共に、ステップＳ１１で入力した画像を図２２（ｂ）に示したように分割画像Ａ〜Ｄに分割する（４分割）。そして、分割画像Ａの各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を分割画像Ａ全体のピクセル数で正規化することによって特徴量Ａを抽出することができる。他の分割画像Ｂ〜Ｄについても同様な処理を行ってそれぞれ特徴量Ｂ〜Ｄを抽出し、特徴量Ａ〜Ｄからなる特徴量２をステップＳ１１で入力した画像から抽出する。

▲３▼ レベル３およびレベル４
レベル３についてはステップＳ１１で入力した画像を図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出する。

このように、分割数を変化させて同一の画像から特徴量を抽出することにより、例えば、ある画像は全体的には青であるが、詳細に見ると青と少しの赤が混じっているといったような、視点の細かさに依存した特徴量を抽出することができる。例えば、青を中心とする画像中のいずれの位置に赤が分散しているかという情報を含む特徴量を抽出することができる。

このようにして、ステップＳ１１で入力した画像から各レベルの特徴量を抽出した後、図３のフローチャートに示すように、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１３）。

なお、ここでは、画像の構造および色の特徴を特徴量として抽出することを例にとって説明したが、他の種類の特徴を特徴量として抽出することにしても良い。また、例えば画像を４分割するといった場合であっても、図２２（ｂ）に示した分割方法以外にも様々な方法が考えられる（例えば、画像を縦長または横長に４分割する等）。したがって、分割方法は任意に設定することが可能である。

２．画像検索処理
図２５は、実施の形態１２に係る画像検索装置で使用される検索ウインドウ２００ｇの一例を示す説明図である。検索ウインドウ２００ｇは、画像指定欄Ａ〜Ｃ，検索ボタン２０１および画像表示欄２０２に加え、検索に使用する特徴量の種類を指定する特徴指定欄２０９と、特徴指定欄２０９で指定された種類の特徴量のうち、いずれのレベル（粗さ）の特徴量を用いるかを指定する粗さレベル指定欄２１０と、を備えている。特徴指定欄２０９では、例えば構造の特徴量および色の特徴量のいずれか一方または両方を指定することができ、粗さレベル指定欄２１０では、例えばレベル１〜４の少なくとも一つを指定することができるものとする。粗さレベル指定欄２１０で指定可能なレベルは、前述した特徴量の抽出基準の各レベルに対応している。

なお、特徴指定欄２０９において、いずれの特徴量も指定されなかった場合には、構造および色の両方の特徴量を用いて検索処理が行われるものとし、粗さレベル指定欄２１０においていずれのレベルも指定されなかった場合には、全てのレベルの特徴量を用いて検索処理が行われるものとする。また、使用可能な種類の特徴量を全て指定できるようにするため、特徴指定欄２０９に「全て」というボタンを用意することにしても良い。同様に、レベルを全て指定できるようにするため、粗さレベル指定欄２１０に「全て」というボタンを用意することにしても良い。

続いて、実施の形態１２に係る画像検索処理について説明する。なお、ここでは、検索ウインドウ２００ｇにおける検索条件の指定の仕方に応じて異なる処理が行われることになることから、最初に図２６のフローチャートを参照しつつ画像検索処理の概略を説明した後、異なる検索条件毎に場合分けして個別に説明することにする。

（１）画像検索処理の概略
まず、実施の形態１２に係る画像検索処理の概略を説明する。ユーザは、図２５に示した画像指定欄に問合せ画像を少なくとも一つ指定すると共に、特徴指定欄２０９および粗さレベル指定欄２１０において、検索時に使用する特徴量の種類および使用する特徴量の粗さのレベルを指定する（Ｓ１２０１）。

続いて、ユーザが図２５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像，特徴量の種類および粗さのレベルの種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、指定された特徴量の種類および粗さのレベルに応じて問合せ画像から特徴量を抽出する（Ｓ１２０２）。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１２０２の処理をスキップすることができる。また、検索対象の画像について特徴量を抽出していない場合は、この時点で特徴量を抽出することにしても良い。その後、特徴抽出エンジン１５２は、抽出した問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。

マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、検索ウインドウ２００ｇにおいて指定されたレベルの特徴量を用いて問合せ画像との類似度を求める処理を実行する（Ｓ１２０３）。すなわち、マッチング・エンジン１５３は、該当するレベルの特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。

特徴量Ｆは通常、ベクトルとしてＦ＝｛ｆ１，ｆ２，ｆ３，・・・，ｆｎ｝であらわされ、画像ａ、ｂから抽出した特徴量をそれぞれＦａ、Ｆｂとすると、以下の数１１で示す差分距離式Ｄ（Ｆａ，Ｆｂ）が一般に距離定義式として用いられる。

「構造」、「色」の特徴量の場合にもこの距離式が利用できるが、「構造」での「画像全体に対する黒画素の割合」をヒストグラムとして特徴量とした場合には、画像中のエッジが十分にある場合には適切な類似度を得ることが可能であるが、画像中のエッジが少ない場合には適切な類似度を得られない。

人間のエッジに対する類似感覚では、たとえば画像中にエッジがない画像と少しでもある画像の場合には大きな違いを感じるが、画像が十分にエッジを持っている場合には、その量が多少異なっていてもその違いには鈍感である。そこで、差分距離式よりも距離の精度を高めるためにヒストグラムを全エッジ画素数で正規化する（正規化距離式）ことによって、この問題を解決することが可能である。

つまり、ヒストグラムの要素は以下の式で与えられる。
ｆｏｉ＝ｆｉ／Ｎ
なお、ｆｏｉは正規化されたヒストグラムの要素である。また、全画素数Ｎは、数１２の式で与えられる。

なお、ベクトル要素がすべて０でＳ＝０の時は正規化はおこなわない。つまり、正規化距離式は数１３の式で与えられる。

画像中のエッジが少ない場合には上記式が有効であるが、多い場合には従来のヒストグラムの方が適切な類似度を得ることができる。そこで、エッジが多い場合には従来式に近い計算式になり、少ない場合には上記式に近い計算式になるような数１４の式を考案した。

なお、正規化のための値を全画素数により以下の数１５のように変動させる。

ｋは定数であり、対象とする画像集合によって適宜指定する。

以上のような計算を検索時に行うだけでなく、予め特徴量の抽出時に正規化や半正規化で得られるベクトルに変換してデータベースに登録することで、検索時には単純な差分式を用いて距離を求めることができ、高速な検索をおこなうことも可能である。

上記半正規化式により画像中のエッジの多い少ないに関わらず適切な類似度を算出することができるが、検索時に計算する場合には式が複雑な分、時間がかかるという問題がある。そこで、エッジ数および要求される検索速度に従い従来の差分距離式と正規化距離式を選択し算出する。

たとえば、以下のように場合分けが可能である。
１）両方の画像のエッジ割合がある閾値Ａ以上の場合
差分距離式を選択
２）どちらか一方が閾値Ａより下の場合
ａ）高速性が要求される場合
差分距離式を選択
ｂ）高速性が要求されない場合
正規化距離式を利用

ただし、この方式では場合分けにより、異なる式を選択するので結果として得られる距離空間は距離の公理を満たさない。距離の公理を満たす必要がある場合には半正規化式が望ましい。

続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。ただし、ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

（２）画像検索処理の具体例
つぎに、前述した図２６のフローチャートに対応させつつ、
▲１▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
▲２▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
▲３▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
▲４▼ 複数種類の特徴量が指定された場合
▲５▼ 複数の問合せ画像が指定された場合
の順で具体的に実施の形態１２に係る画像検索処理を説明する。

▲１▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」を指定したものとする（Ｓ１２０１）。

特徴抽出エンジン１５２は、図２２（ａ）に示すように、問合せ画像全体を対象として、特徴量「色」について「レベル１」に該当する特徴量である「特徴量１」を抽出する（Ｓ１２０２）。

そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、該当する特徴量１に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。

その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。

このように、レベル１のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を
場合にあっては、全体的に青い画像を検索するというような検索処理を実行することが可能となる。

なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合であっても、同様な処理で検索処理を行うことができる。

▲２▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」を指定したものとする（Ｓ１２０１）。

特徴抽出エンジン１５２は、図２２（ｂ）に示すように、問合せ画像を分割画像Ａ〜Ｄに分割し、各分割画像Ａ〜Ｄからそれぞれ「色」の特徴量Ａ〜Ｄを抽出する（Ｓ１２０２）。その結果、特徴量「色」について「レベル２」に該当する特徴量であって、特徴量Ａ〜Ｄからなる「特徴量２」が問合せ画像から抽出されることになる。

そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量２に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、検索対象の画像および問合せ画像の分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の類似度を求める。より詳細には、特徴抽出エンジン１５２において抽出された特徴量２に基づいて、図４に示した特徴量空間中にプロットされた分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは分割画像Ａ〜Ｄのそれぞれについて類似度を求めることになるため、４つの類似度を得ることになる。

続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、検索対象の画像および問合せ画像の類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲２▼−１ ４つの類似度の二乗和により検索対象の画像および問合せ画像の類似度を決定する。
▲２▼−２ ４つの類似度を合計することにより、検索対象の画像および問合せ画像の類似度を決定する（ＡＮＤ検索参照）。
▲２▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像および問合せ画像の類似度を決定する（ＯＲ検索参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。

その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。

このように、レベル２のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を行う場合にあっては、全体的に青いがある部分には赤が混じっている画像を検索するというような検索処理を実行することが可能となる。すなわち、どの色が画像のどの位置に存在するかを踏まえた検索処理が可能となり、画像全体を対象として抽出した特徴量（レベル１）を用いた検索では行うことができない細かい視点で検索処理を行うことができる。

なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。また、粗さレベルのレベル３および４が指定された場合であっても、前述したレベル２の処理と同様な処理で検索処理を行うことが可能であるため、ここでは説明を省略する。

▲３▼ 一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
ここでは、粗さレベルとして二つ以上のレベルが指定された場合の一例として、粗さレベルが全て指定された場合に基づいて画像検索処理を説明する。そこで、図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および全ての粗さレベルを指定したものとする（Ｓ１２０１）。前述したように、粗さレベル指定欄２１０においていずれのレベルも指定しない場合または全てのレベルを指定した場合に、粗さレベルを全て指定したことになる。

特徴抽出エンジン１５２は、図２２（ａ）〜図２２（ｄ）に示すように、検索ウインドウ２００ｇにおいて指定された問合せ画像から、レベル１〜４に応じて特徴量１〜４を抽出する（Ｓ１２０２）。なお、レベル１に対応する特徴量１は▲１▼の項で説明した方法で、レベル２〜４に対応する特徴量２〜４は▲２▼の項で説明した方法で抽出することができる。

そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１〜４を用いて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。ここでは、各特徴量（レベル）毎に検索対象の画像および問合せ画像の類似度を求めることになり、その結果、検索対象の画像毎に問合せ画像に対する４つの類似度が得られることになる。なお、特徴量１（レベル１）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、▲１▼の項で説明した処理と同様である。また、特徴量２〜４（レベル２〜４）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、それぞれ▲２▼の項で説明した処理と同様である。

続いて、マッチング・エンジン１５３は、検索対象の画像毎に各レベルに応じて求めた問合せ画像との４つの類似度を用いて、問合せ画像との最終的な類似度を決定する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲３▼−１ ４つの類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２ ４つの類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲３▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。

▲３▼−１および▲３▼−２の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青く、かつ、ある部分に赤が混じっている画像を検索するというような検索処理（ＡＮＤ検索）を実行することが可能となる。すなわち、全ての（二つ以上の）粗さのレベルの特徴量を用いるため、特定のレベルの特徴量のみを用いて検索を行う場合に比べて、高い精度で希望する画像を検索することができる。また、▲３▼−３の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青い画像および全体的に青くある部分に赤が混じっている画像のいずれかを検索するというような検索処理（ＯＲ検索）を実行することが可能となる。

なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。

その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。

このように、粗さの異なる特徴量を複数選択して画像検索処理を実行することができるようにすることにより、特定の粗さの特徴量を一つ用いる場合に比べて、検索に対する視点が異なる様々な方法で検索処理を実行することが可能となる。なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。

▲４▼ 複数種類の特徴量が指定された場合
特徴指定欄２０９において複数種類の特徴量が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を問合せ画像からそれぞれ抽出する（Ｓ１２０２）。例えば、構造および色の特徴量が指定された場合、特徴抽出エンジン１５２は、問合せ画像から、構造の特徴量について該当する粗さレベルの特徴量を抽出すると共に、色の特徴量について該当するレベルの特徴量を抽出する（図２２参照）。

そして、マッチング・エンジン１５３は、検索対象の画像毎に、問合せ画像との類似度を特徴量の種類毎に求め、求めた特徴量の種類毎の類似度を用いて、問合せ画像との最終的な類似度を決定する（Ｓ１２０３）。

最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲４▼−１ 特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲４▼−２ 特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲４▼−３ 特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。

また、例えば、問合せ画像が一つ、構造および色の特徴量ならびに粗さレベル１および２が指定された場合には、検索対象の画像毎に、レベル１の構造の特徴量を用いて得た類似度，レベル２の構造の特徴量を用いて得た類似度，レベル１の色の特徴量を用いて得た類似度およびレベル２の色の特徴量を用いて得た類似度が得られることになる。このような場合、得られた全ての類似度を合計して問合せ画像との最終的な類似度を決定することにしても良いし（▲４▼−２（▲４▼−１）の方法を参照）、得られた類似度の中から最も高い（値の小さい）類似度を選択して問合せ画像との最終的な類似度を決定することにしても良い（▲４▼−３の方法を参照）。また、これに代えて、特徴量の種類毎に各レベルの類似度を合計し、または各レベルの類似度の中から最も高い（値の小さい）類似度を選択して、特徴量の種類毎の問合せ画像に対する類似度を求めた後、前述した▲４▼−１〜▲４▼−３のいずれかの方法を用いて問合せ画像との最終的な類似度を決定することにしても良い。

その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。

▲５▼ 複数の問合せ画像が指定された場合
複数の問合せ画像が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を各問合せ画像からそれぞれ抽出する（Ｓ１２０２）。そして、マッチング・エンジン１５３は、▲１▼〜▲４▼のいずれかの項で説明したようにして検索対象の画像毎に各問合せ画像との類似度を求めた後、検索対象の画像の総合類似度を求める（Ｓ１２０３）。

総合類似度を求める方法としては、例えば以下のような方法がある。
▲５▼−１ 各検索対象の画像毎に、各問合せ画像との類似度の二乗和を総合類似度とする（ＡＮＤ検索の変形）。
▲５▼−２ 各検索対象の画像毎に、各問合せ画像との類似度を合計して総合類似度とする（ＡＮＤ検索を参照）。この方法を用いる場合は、ＡＮＤ検索を実行することが可能となる。
▲５▼−３ 各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して総合類似度とする（ＯＲ検索を参照）。この方法を用いる場合は、ＯＲ検索を実行することが可能となる。

なお、▲５▼−１〜▲５▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。

その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。

以上説明したように、実施の形態１２に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、特徴量の種類を構造および色としたが、構造のみ、または色のみを用いることにしても良いし、他の種類の特徴量を用いることにしても良い。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。

また、実施の形態１２においては、画像を何分割するかによって特徴量の粗さを定義することにしたが、画像のみではなく、画像中に存在するオブジェクトも特徴量の抽出対象とし、オブジェクトを何分割するかによってオブジェクト単位の特徴量の粗さを定義することにしても良い。画像中に存在するオブジェクトも特徴量の抽出対象とする場合の検索処理は、前述した検索処理と同様であるため、ここでは詳細な説明を省略する。

さらに、前述したように、画像を分割して得た分割画像毎に特徴量を抽出することを利用して、以下のような画像検索処理を実現することも可能である。ここでは、説明の便宜上、画像を４分割する場合を例として、実施の形態１２に係る画像検索装置の変形例を説明する。

（変形例１）
前述した実施の形態１２においては、問合せ画像および検索対象の画像の分割画像をそれぞれ一対一対応で比較して類似度を求めることにより、問合せ画像および検索対象の画像の類似度を求めていた。これに対し、変形例１は、例えば、図２７に示すように問合せ画像の分割画像の一つを指定し、指定した分割画像と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像の特定の分割画像と類似する分割画像を有する画像を探し出すことができるようにするものである。

（変形例２）
変形例２は、例えば、図２８に示すように、問合せ画像全体と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。

詳細な説明については省略するが、このような変形例１および変形例２のような検索処理を可能とすることにより、様々な方法で画像の検索を行うことが可能となる。

〔実施の形態１３〕
実施の形態１３に係る画像検索装置は、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにすることにより、前述した実施の形態１〜１２と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１３に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。

具体的に、実施の形態１３に係る画像検索装置は、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行することにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。

実施の形態１３に係る画像検索装置において、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理については様々な手法を用いることが可能であるが、ここでは図２９および図３０に示すような手法を用いることにする。例えば、図２９に示すように、問合せ画像を４分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出し、また、検索対象の画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像から問合せ画像の場合と同様の種類の特徴量を抽出する。ただし、問合せ画像および検索対象の画像の分割数を、それぞれ８および１６に限定するものではなく、問合せ画像の分割数＜検索対象の画像の分割数という関係にあれば良い。そして、各分割画像から抽出した特徴量を用いて、図３０（ａ）〜図３０（ｉ）に示すように、問合せ画像と検索対象の画像の一部との類似度を順次求める。図３０は、それぞれ図２９に示した検索対象の画像を示し、検索対象の画像中の斜線部分は問合せ画像と比較されている領域に該当する。なお、問合せ画像および検索対象の画像の分割数を逆にすれば（例えば、問合せ画像を１６分割し、検索対象の画像を８分割する。すなわち、問合せ画像の分割数＞検索対象の画像の分割数）、問合せ画像中に含まれている画像を検索することが可能となる。

以下、実施の形態１３に係る画像検索装置による画像検索処理について具体的に説明する。なお、前提として、少なくとも検索対象の画像については、図２９に示したように各分割画像からそれぞれ特徴量が抽出されているものとする。特徴量を抽出する具体的な処理については、実施の形態１２で説明した通りであるため、ここでは詳細な説明を省略する。また、抽出する特徴量の種類は、色，構造等いかなるものであっても良い。

図３１は、実施の形態１３に係る画像検索処理のフローチャートであり、図３２は、検索ウインドウ２００ｈの一例を示す説明図である。ユーザは、図３２に示す画像指定欄Ａ〜Ｃのいずれかに問合せ画像を少なくとも一つ指定する（Ｓ１３０１）。ここでは、説明を単純にするために、問合せ画像が一つ指定されたものとする。

続いて、ユーザが図３２の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、問合せ画像から所定の種類の特徴量を抽出する（Ｓ１３０２）。特徴抽出エンジン１５２は、図２９に示したように、問合せ画像を分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出する。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１３０２の処理をスキップすることができる。

そして、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、特徴抽出エンジン１５２で抽出した特徴量を用い、検索対象の画像中の所定の領域と問合せ画像との類似度を求める処理を検索対象の画像の全体にわたって実行し、問合せ画像との類似度を求める（Ｓ１３０３）。

このステップＳ１３０３において実行される処理の一例について、図３０を参照しつつ詳細に説明する。例えば、図３０（ａ）に着目して説明すると、マッチング・エンジン１５３は、特徴抽出エンジン１５２で予め抽出した問合せ画像および検索対象の画像の各分割画像の特徴量を用いて、
・問合せ画像の分割画像ａと検索対象の画像の分割画像Ａとの類似度
・問合せ画像の分割画像ｂと検索対象の画像の分割画像Ｂとの類似度
・問合せ画像の分割画像ｃと検索対象の画像の分割画像Ｅとの類似度
・問合せ画像の分割画像ｄと検索対象の画像の分割画像Ｆとの類似度
をそれぞれ求める。換言すれば、図４に示した特徴量空間中にプロットされた分割画像同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは４つの分割画像毎に類似度を求めるため、４つの類似度が得られることになる。

続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、図３０（ａ）に示した検索対象の画像の領域と問合せ画像との類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲１▼−１ ４つの類似度の二乗和により検索対象の画像の領域と問合せ画像との類似度を決定する。
▲１▼−２ ４つの類似度を合計することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＡＮＤ検索を参照）。
▲１▼−３ ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＯＲ検索を参照）。
なお、▲１▼−１〜▲１▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。

マッチング・エンジン１５３は、図３０（ｂ）〜図３０（ｉ）に示す場合についても前述した処理を実行し、検索対象の画像の各領域と問合せ画像との類似度を決定する。

図３０（ａ）〜図３０（ｉ）のように、検索対象の画像の各領域と問合せ画像との類似度を求めた結果、検索対象の画像毎に、問合せ画像との９つの類似度が得られることになる。そこで、マッチング・エンジン１５３は、検索対象の画像毎に、９つの類似度を用いて問合せ画像との最終的な類似度を決定する処理を実行する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。

▲２▼−１ ９つの類似度の二乗和により、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲２▼−２ ９つの類似度を合計することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲２▼−３ ９つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。

図３１のフローチャートの説明に戻り、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との最終的な類似度を参照し、例えば類似度の高い順に検索対象の画像を図３２の画像表示欄２０２に表示する（Ｓ１３０４）。ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。

なお、以上の説明は、指定された問合せ画像が一つで検索に用いられる特徴量の種類も一種類であったが、複数種類の特徴量を用いることもできるし、問合せ画像を複数指定することもできる。

そこで、複数種類の特徴量を用いる場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、同一種類の特徴量毎に検索対象の画像と問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法で異なる種類の特徴量毎に求めた類似度を用いて、検索対象の画像毎に、問合せ画像との類似度を決定することができる。

▲３▼−１ 特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２ 特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲３▼−３ 特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。

また、複数の問合せ画像が指定された場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、検索対象の画像と各問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法を用いて、検索対象の画像毎に、各問合せ画像に対する検索対象の画像の類似度を決定することができる。

▲４▼−１ 各検索対象の画像毎に、各問合せ画像との類似度の二乗和を検索対象の画像の総合類似度とする（ＡＮＤ検索の変形）。この方法を用いると、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−２ 各検索対象の画像毎に、各問合せ画像との類似度を合計して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＡＮＤ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−３ 各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＯＲ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像のいずれかを含む画像を検索することができる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。

以上説明したように、実施の形態１３に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。

なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。

〔実施の形態１４〕
続いて、本発明に係る画像分類装置について説明する。この画像分類装置は、前述した画像検索装置と同様に、画像間の類似度を用いて画像を分類するものである。画像を予め分類しておくことで、分類を辿るだけでユーザが所望する画像を探し出すことができる。こうすることで画像検索とは異なる方法で容易にユーザの所望する画像を探すことが可能となる。

本発明の実施の形態１４に係る画像分類装置は、実施の形態１で説明した画像検索処理を応用して画像を分類するものである。したがって、実施の形態１で説明した点と共通する点については適宜説明を省略することにする。

図３３は、実施の形態１４に係る画像分類装置のブロック構成図である。図３３において、図１に示した画像検索装置と同一の構成については同一の符号を付し、ここでは異なる点についてのみ説明する。図３３に示す画像分類装置は、図１に示した画像検索装置と異なる点として、本発明の画像分類装置としての機能をＣＰＵ１０１（コンピュータ１００）に実行させるための画像分類ソフト３０１と、分類項目（後述するフォルダ），分類対象の画像を各分類項目に分類するための分類条件，分類した結果の画像情報等が登録される分類木ＤＢ３０２と、を備えている。

図３４は、図３３に示した画像分類装置において実行される処理を示すブロック図であり、図２に対応するものである。ユーザ・インターフェイス（Ｕ／Ｉ）部１５１（本発明の設定手段，指定手段および表示手段に該当する）は、ユーザに対して画像分類を行うための分類項目設定画面，分類結果表示画面等を表示して、分類条件の入力，分類結果の出力処理等を実行する。特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する画像（分類対象の画像）および後述する分類基準として設定される画像から画像の特徴量を抽出する処理を実行する。さらに、マッチング・エンジン１５３（本発明の演算手段，決定手段，分類手段および検索手段に該当する）は、基準画像と分類対象の画像との類似度を求め、求めた類似度に基づいて分類対象の画像の分類先となる分類項目を決定する処理（例えば、分類木ＤＢ３０２に登録された分類項目に画像のＩＤを登録して分類する）を実行する。

つぎに、前述した構成を有する画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。ここでは画像ＤＢ１０８に登録された複数の画像を分類対象の画像とする。また、画像を分類する際に用いる特徴量は画像の色，構造およびテクスチャであり、画像ＤＢ１０８中の分類対象の画像からは、図３を用いて実施の形態１で説明した処理によって既に各種類の特徴量が抽出されているものとする。

（１）分類項目設定処理
図３５は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ａの一例を示す説明図である。図３４のＵ／Ｉ部１５１は、ユーザによって画像分類ウインドウ３５０ａの表示が指定されると、図３５に示すような画像分類ウインドウ３５０ａを表示し、ユーザの指示に応じて後述するフォルダの作成や分類条件の設定等の処理を実行する。

この図３５には、既に画像を管理するための項目（以下「フォルダ」と記述する）が設定されている様子が示されているが、ここではルートに当たる画像ＤＢフォルダ３５１のみが存在しているものと仮定し、各フォルダを設定する処理を説明する。

図３５中の画像ＤＢフォルダ３５１は、画像ＤＢ１０８中に登録された画像の全てを管理するフォルダである。なお、この画像ＤＢフォルダ３５１の設定を変更することにより、分類対象の画像を画像ＤＢ中の画像から別の画像に変更することができる。例えば、実施の形態１〜１３で説明した画像検索装置で検索した結果の画像を指定して分類することも可能である。

ユーザは、この画像ＤＢフォルダ３５１の下位に画像ＤＢ１０８の画像を分類する分類先となる新たなフォルダを設定する。例えば、ユーザは、図示しないメニューから「フォルダ作成」を選択し、画像ＤＢフォルダ３５１の下位にフォルダ３５２を作成する。

そして、ユーザは、フォルダ３５２に分類対象の画像（画像ＤＢ１０８中の画像）を分類するための分類条件を設定するため、フォルダ３５２を選択すると共に、図示しないメニューから「分類条件設定」を選択し、図３５に示されている分類条件設定ウィンドウ３６０ａを表示させる。

分類条件設定ウインドウ３６０ａは、図５に示した検索ウインドウ２００ａの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ａには、実施の形態１で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ａは、画像を分類する際に使用される例えば色，構造およびテクスチャの特徴量毎に、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、所望のフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。

基準画像として指定する画像としては、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像，画像ＤＢ１０８に登録されている画像等、いかなるものであっても良い。

ユーザは、実施の形態１で説明したように、例えば３枚の画像を各種類の特徴量に対応させ、それぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定する。また、図示することは省略するが、分類条件設定ウインドウ３６０ａからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。

そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。

なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。

このようにして、図３５に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。

実施の形態１で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、画像を分類する際に使用される各種類の特徴量に対応させて各問合せ画像を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。

（２）画像分類処理
図３６は、実施の形態１４の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、対応する種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。

このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３５の分類条件設定ウインドウ３６０ａを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数１を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。

図３７は、画像ＤＢ１０８中の画像を各フォルダ３５２〜３５８に分類した後の画像分類ウインドウ３５０ａの様子を示す説明図である。各フォルダ３５２〜３５８には、マッチング・エンジン１５３によって選択された代表画像が表示されている。また、ユーザが特定のフォルダを選択すると、そのフォルダに分類された画像が画像分類ウインドウ３５０ａの右側に一覧表示される。

このように、実施の形態１４に係る画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。

例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。

なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。

また、図３７に示したように、フォルダ毎に代表画像を表示することにしたが、これに代えて、フォルダ名を表示したり、フォルダに設定した基準画像を表示することにしても良い。

さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。

〔実施の形態１５〕
実施の形態１５に係る画像分類装置は、実施の形態２で説明した画像検索処理を応用して画像を分類するものである。なお、実施の形態１５に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。

以下に、実施の形態１５に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図３８は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ｂの一例を示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３８に示すような分類条件設定ウインドウ３６０ｂを表示させる。

図３８に示す分類条件設定ウインドウ３６０ｂは、図７に示した検索ウインドウ２００ｂの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ｂには、実施の形態２で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ｂは、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した基準画像毎に、分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する特徴量指定ボタン３６２と、対応するフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。

ユーザは、実施の形態２で説明したように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、各基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。図３８に示す分類条件設定ウインドウ３６０ｂは、一例として色・構造・テクスチャの中から所望の特徴量を指定することができるようになっている。

また、図示することは省略するが、分類条件設定ウインドウ３６０ｂからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。

そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像，特徴量の種類および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。

なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。

このようにして、図３８に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。

実施の形態２で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、指定した各基準画像毎にユーザが重視する画像の特徴に該当する特徴量を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。

（２）画像分類処理
実施の形態１５の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。

このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３８の分類条件設定ウインドウ３６０ｂを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数２を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。画像の分類処理が実行されると、図３８の画像分類ウインドウ３５０ｂの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態１５に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、フォルダ毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。

例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。

なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。

さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。

〔実施の形態１６〕
実施の形態１６に係る画像分類装置は、実施の形態１５の画像分類装置において、実施の形態３で説明した画像検索処理を応用することにより、分類に対するユーザの意図をさらに正確に表現できるようにしたものである。なお、実施の形態１６において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。

以下に、実施の形態１６に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図３９は、実施の形態１６に係る画像分類装置において用いられる画像分類ウインドウ３５０ｃを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３９に示すような分類条件設定ウインドウ３６０ｃを表示させる。

図３９に示す分類条件設定ウインドウ３６０ｃは、図３８に示したものに加えて（実施の形態３の検索ウインドウ２００ｃに示すように）、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に相対的な重要度を指定する重要度指定バー３６３を備えている。

ユーザは、図３９に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。

続いて、実施の形態３の重要度指定バー２０４で説明したように、ユーザは重要度指定バー３６３を用いて各基準画像に重要度を指定する。この重要度指定バー３６３は、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能とするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。

さらに、ユーザはフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，特徴量の種類，重要度および閾値を分類条件としてフォルダ３５２に設定する。

このような処理を各フォルダに対して行うことにより、図３９に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。

（２）画像分類処理
図４０は、実施の形態１６の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。

このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３９の分類条件設定ウインドウ３６０ｃを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数３を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図３９の画像分類ウインドウ３５０ｃの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態１６に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

なお、詳細な説明については省略するが、実施の形態１４で説明した画像分類装置においても、実施の形態１６で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。

〔実施の形態１７〕
実施の形態１７に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態４で説明したＡＮＤ検索を応用した画像分類処理を行うものである。なお、実施の形態１７に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。また、実施の形態１７に係る画像分類装置においては、画像間の類似度を求める際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。

以下に、実施の形態１７に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図４１は、実施の形態１７に係る画像分類装置において用いられる画像分類ウインドウ３５０ｄを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。

図４１に示す分類条件設定ウインドウ３６０ｄは、画像指定欄Ａ，ＢおよびＣ，ならびに設定ボタン３６１に加え、ＡＮＤ条件を指定するためのＡＮＤ指定ボタン３６４およびＯＲ条件を指定するためのＯＲ指定ボタン３６５が設けられている点である。なお、ＯＲ条件については、後述する実施の形態２１において詳細に説明する。

ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。

このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。

（２）画像分類処理
実施の形態１７の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。

このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数４を参照）。なお、複数種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求める場合は、各種類の特徴量毎に分類対象の画像および各基準画像の類似度（距離）を求め、分類対象の画像毎に、各基準画像に対する全ての類似度を合計して総合類似度を求めれば良い。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは、類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ検索対象の画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態１７に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

なお、実施の形態１７においては、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。

さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。

〔実施の形態１８〕
実施の形態１８に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態５で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。

以下に、実施の形態１８に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図４２は、実施の形態１８に係る画像分類装置において用いられる画像分類ウインドウ３５０ｅを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４２に示すような分類条件設定ウインドウ３６０ｅを表示させる。

図４２に示す分類条件設定ウインドウ３６０ｅは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像間の相対的な重要度を指定する重要度指定バー３６６を備えている。

ユーザは、図４２に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定すると共に、重要度指定バー３６６を用いて基準画像Ａ，ＢおよびＣ毎に重要度を指定する。この重要度指定バー３６６は、実施の形態５の重要度指定バー２０７で説明したように、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。

さらに、ユーザがＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。

このような処理を各フォルダに対して行うことにより、図４２に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。

（２）画像分類処理
実施の形態１８の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して総合類似度を求める処理を実行する（Ｓ１６０１）。

このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数５を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態１８に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

〔実施の形態１９〕
実施の形態１９に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態６で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。なお、実施の形態１９に係る画像分類装置においては、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。

以下に、実施の形態１９に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図４３は、実施の形態１９に係る画像分類装置において用いられる画像分類ウインドウ３５０ｆを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４３に示すような分類条件設定ウインドウ３６０ｆを表示させる。

図４３に示す分類条件設定ウインドウ３６０ｆは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に、分類対象の画像との類似度を求める際に使用される特徴量の種類毎の重要度を指定するための重要度指定バー３６７を備えている。

ユーザは、図４３に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に、特徴量の種類毎の重要度を指定する。この重要度指定バー３６７は、実施の形態６で説明したように、各基準画像の特徴量の種類毎に、「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。

このように、各種類の特徴量毎の重要度を各基準画像毎に指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。

さらに、ユーザは、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。

このような処理を各フォルダに対して行うことにより、図４３に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。

（２）画像分類処理
実施の形態１９に係る画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。

このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いてそれぞれ求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数６を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態１９に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態２０〕
実施の形態２０に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態７で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。なお、実施の形態２０に係る画像分類装置は、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。

前述した実施の形態１８および１９においては、ユーザが基準画像の重要度または各基準画像に特徴量毎の重要度を指定する必要があったが、実施の形態２０に係る画像分類装置においては、ユーザによってフォルダ毎に指定された基準画像間の類似度を、基準画像および分類対象の画像の類似度を求める際に使用する特徴量を用いて求め、求めた特徴量毎の類似度に基づいて各基準画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。

以下に、実施の形態２０に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。

（１）分類項目設定処理
図４１を用いて分類項目設定処理について説明する。ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。

ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、特徴抽出エンジン１５２は、色，構造およびテクスチャの３種類の特徴量毎に、各基準画像Ａ，ＢおよびＣ間の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各基準画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する。

具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、基準画像同士の特徴間の距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を分類基準として重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするようにする（数７を参照）。

特徴抽出エンジン１５２は、３種類の特徴量毎の重要度をＵ／Ｉ部１５１に入力し、Ｕ／Ｉ部１５１は、基準画像，特徴抽出エンジン１５２で決定された重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。

このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は分類木ＤＢ３０２に登録される。

（２）画像分類処理
つぎに、実施の形態２０の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。

このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態２０に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。

なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。

〔実施の形態２１〕
実施の形態２１に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態８で説明したＯＲ検索を応用した画像分類処理を行うものである。

実施の形態２１に係る画像分類装置による画像の分類処理は、実施の形態１７で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１７における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。

なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態１７の場合と同様に基準画像Ａ，ＢおよびＣ，ならびに閾値が分類条件として設定されたものとする。

図４４は、実施の形態２１の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２１０１）。

このステップＳ２１０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数８を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に最も高い類似性を示す類似度を選択して総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２１０１で選択した類似度が閾値を超えるか否かを判定する（Ｓ２１０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２１０３）。すなわち、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ２１０１〜Ｓ２１０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い類似度（ステップＳ２１０１で選択された類似度のことであり、距離で表現すれば最も小さい類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

なお、実施の形態２１の画像分類処理においては、分類対象の画像が、あるフォルダに設定された各基準画像のいずれかに対して閾値以上の類似度が得られる程類似していればそのフォルダに分類されることになる。したがって、実施の形態２１の画像分類処理にＯＲ検索が応用されていることがわかる。

このように、実施の形態２１に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択し、各フォルダ毎に選択した類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

なお、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。

〔実施の形態２２〕
実施の形態２２に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態９で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。

実施の形態２２に係る画像分類装置による画像の分類処理は、実施の形態１８で説明に用いた図４２の分類条件設定ウインドウ３６０ｅにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１８における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。

なお、ＯＲ条件の指定と共に、図４２に示したフォルダ３５２には、実施の形態１８の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像の重要度ならびに閾値が分類条件として設定されたものとする。

図４５は、実施の形態２２の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。

このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数９を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態２２に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

〔実施の形態２３〕
実施の形態２３に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１０で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。

実施の形態２３に係る画像分類装置による画像の分類処理は、実施の形態１９で説明に用いた図４３の分類条件設定ウインドウ３６０ｆにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１９における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。

なお、ＯＲ条件の指定と共に、図４３に示したフォルダ３５２には、実施の形態１９の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像について特徴量の種類毎に指定された重要度ならびに閾値が分類条件として設定されたものとする。

つぎに、実施の形態２３に係る画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。

このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いて求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする（数１０を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態２３に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

〔実施の形態２４〕
実施の形態２４に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１１で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。

実施の形態２４に係る画像分類装置による画像の分類処理は、実施の形態２０で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態２０における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。

なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態２０の場合と同様に基準画像Ａ，ＢおよびＣ，特徴量の種類毎に特徴抽出エンジン１５２で決定された重要度ならびに閾値が分類条件として設定されたものとする。

つぎに、実施の形態２４の画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。

このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。

マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。

その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。

続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。

そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。

以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。

このように、実施の形態２４に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザが望む通りの画像分類処理を実現することができ、ユーザが望む画像の分類結果を得ることができる。

〔実施の形態２５〕
つぎに、実施の形態２５に係る画像分類装置について説明する。実施の形態２５に係る画像分類装置は、ユーザが希望する基準で画像を動的に分類していき、所望の画像を探し出すことができるようにするものである。

なお、実施の形態２５に係る画像分類装置の構成および画像分類ソフトの構成は図３３および図３４の通りであるため、ここではこれらについての説明を省略し、画像分類処理についてのみ説明することにする。また、分類対象となる画像は、ここでは画像ＤＢ１０８に登録されている画像であるものとし、これらの画像からは色，構造およびテクスチャの特徴量が抽出されて画像特徴ＤＢ１０９に登録されているものとする。

図４６〜図４８は、実施の形態２５における画像分類処理の説明図である。ユーザが図示しないメニューから「画像分類処理」を選択すると、図３４のＵ／Ｉ部１５１は、図４６に示す画像分類ウインドウ４００を画面表示する。

図４６に示す画像分類ウインドウ４００には、初期状態として、画像ＤＢ１０８中の全ての画像を対象とした分類項目４０１と、画像ＤＢ１０８中に登録された画像を動的に分類していく際に使用する特徴量の種類を表す分類項目４０２ａ，４０３ａおよび４０４ａとが示されている。ユーザが分類項目４０２ａ，４０３ａおよび４０４ａのいずれかを選択することにより、画像ＤＢ１０８中の画像が動的に分類されることになる。

ここで、分類項目４０２ａは、色の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０３ａは、構造の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０４ａは、テクスチャの特徴量を用いて画像を分類するための項目である。

図４６において、ユーザが分類項目４０２ａを指定したものとすると、Ｕ／Ｉ部１５１は、色の特徴量が指定されたことをマッチング・エンジン１５３に通知する。マッチング・エンジン１５３は、色の特徴空間（図４参照）において画像ＤＢ１０８中の画像をNearest Neighbor法やＫ−平均アルゴリズム等の一般的なクラスタリング手法を用いてクラスタリングする（類似する画像同士のグループに分類する）と共に、個々のクラスタから代表画像を選択する。なお、代表画像については、例えばクラスタの中心の画像を代表画像として選択する等、代表画像同士が非類似であれば選択方法はいかなるものであっても良い。

そして、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３からクラスタリングの結果を入力し、図４７に示すように、ユーザによって選択された分類項目４０２ａに関連付けて代表画像４０５〜４０８を表示する。図４７においては、代表画像が４枚表示されているため、画像ＤＢ１０８の画像が色の特徴量により４つのクラスタに分類されたことが示されている。つまり、実施の形態２５においては、特徴量の種類を指定することによって生成されるクラスタが実質的な分類項目ということになる。ユーザは必要に応じて代表画像以外の各クラスタに属する画像を表示して見ることができる。

図４８は、代表画像４０７のクラスタを色の特徴空間でさらにクラスタリングして分類した結果を示している。このように、段階的に特徴量の種類を指定していくことにより、ユーザは目的の画像にたどり着くことができる。

なお、色以外の特徴量については詳細な説明を省略するが、構造やテクスチャの特徴量が選択された場合であっても、同様に特徴空間でクラスタリングが行われ、画像が分類されていくことになる。

このように、実施の形態２５に係る画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つが指定されるとと共に、特徴量の種類が指定されると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

また、特徴量の種類を分類項目４０２，４０３および４０４として画面表示し、指定された分類項目に関連付けて、分類された各グループの代表画像を画面表示することにより、図４８に示すように画像ＤＢ１０８中の画像を分類した結果を木構造で画面表示できるため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。

なお、実施の形態２５の画像分類処理によって画像を分類した結果を、例えば分類履歴として分類木ＤＢ３０２に登録しておくことにより、再利用することができる。

また、分類対象の画像は画像ＤＢ１０８中の画像に限定されるものではなく、例えば実施の形態１〜１３の画像検索装置で検索した結果の複数の画像を分類対象の画像として用いることもできる。

〔実施の形態２６〕
つぎに、実施の形態２６の画像分類装置について説明する。実施の形態２６に係る画像分類装置は、実施の形態１４〜２５で説明した画像分類装置の一部または全てを一つの画像分類装置として統合したものである。すなわち、実施の形態１４〜２５における説明から明らかなように、これらの装置は図３３および図３４に示したような共通の構成で実現可能なものであるため、容易に統合することができる。

実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、各フォルダ毎に異なる方法で分類条件を設定することができる。例えば、図３５において、フォルダ３５２には実施の形態１４で説明した分類条件を、フォルダ３５３には実施の形態１７で説明した分類条件を、フォルダ３５８には実施の形態２１で説明した分類条件をそれぞれ設定することができる。

なお、分類条件の設定処理や画像の分類処理については各実施の形態の項で説明した通りであるため、ここでは説明を省略する。

このように、実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、さまざまな視点で分類条件を設定することができ、分類条件の設定に関する自由度を増すことができる。

なお、画像分類装置の場合と同様の理由で、実施の形態１〜１３で説明した画像検索装置を一つの装置として統合することも可能である。これにより、異なる検索方法を組み合わせて所望の画像を検索することが可能となる。

〔実施の形態２７〕
さらに、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置として統合することもできる（画像検索装置または画像分類装置のマッチング・エンジン１５３に画像検索処理および画像分類処理の両方の機能を持たせるということ）。つまり、本発明の実施の形態で説明した画像検索処理および画像分類処理においては、図２および図３４に示したマッチング・エンジン１５３が画像から抽出した特徴量を用いて画像間の類似度を求めることが基本となっていることから、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に容易に統合することが可能である。

詳細な説明については省略するが、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に統合することによって以下のような処理を行うことが可能となる。

（１）実施の形態１４〜２５で説明したいずれかの画像分類処理で各フォルダ（分類項目）に分類した画像の中から選択した画像を問合せ画像として指定して、実施の形態１〜１３で説明したいずれかの画像検索処理で画像検索を行うことができる。
（２）実施の形態１〜１３で説明したいずれかの画像検索処理で検索された検索結果の画像を分類対象とし、実施の形態１４〜２５（または２６）で説明したいずれかの画像分類処理で分類することができる。
（３）実施の形態１４〜２５で説明したいずれかの画像分類処理で特定のフォルダ（分類項目）に分類された複数の画像を検索対象とし、実施の形態１〜１３で説明したいずれかの画像検索処理で所望の画像を検索することができる。

このように、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置に統合することにより、自由に画像検索処理や画像分類処理を実行することが可能となる。

以上説明したように、本発明に係る画像処理装置および画像分類装置は、各フローチャートに基づく手順に従って、予め用意されたプログラムをコンピュータで実行することによって実現される。このプログラムは、前述した各実施の形態毎、または任意に組み合わせて提供することが可能である。

このプログラムは、ハードディスク，フロッピー（登録商標）ディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして、図４９（ａ）に示すように、プログラムは、記録媒体４５０からＣＰＵ１０１（コンピュータ１００）によって読み出され、ＣＰＵ１０１がプログラムに基づく処理を実行することによって本発明に係る画像検索装置および／または画像分類装置が実現される。

また、このプログラムは、図４９（ｂ）に示すように、サーバ４５１の記録媒体からインターネットやＬＡＮのようなネットワークを介してダウンロードし、ＣＰＵ１０１に読み込むという形態においても実行可能なものである。また、ネットワークではなく、例えば放送波でプログラムを配信することによってもダウンロードして実行することができる。

また、前述した各実施の形態においては特に言及しなかったが、本発明に係る画像検索装置および画像分類装置は、静止画に限らず、動画像にも適用することができる。これは、動画像は連続する静止画からなるものであるからである。

また、実施の形態１〜３で説明した画像検索処理は実施の形態４〜７で説明したＡＮＤ検索と同様の手法を用いたものであるといえ、それらに対して実施の形態８〜１１で説明したＯＲ検索を適用することも可能であることから、検索ウインドウ２００ａ，２００ｂおよび２００ｃ（図５，図７および図９）において、ＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。実施の形態１４〜１６で説明した画像分類装置においても、同様に、分類条件の一つしてＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。

また、実施の形態４〜７で説明した画像検索装置，実施の形態８〜１１で説明した画像検索装置，実施の形態１７〜２０で説明した画像分類装置，および実施の形態２１〜２４で説明した画像分類装置においては、それぞれＡＮＤ条件またはＯＲ条件を指定することにしているが、ＡＮＤ条件またはＯＲ条件の指定は必須のものではない。換言すれば、ＡＮＤ条件またはＯＲ条件を指定しなくても、各実施の形態で説明した処理を実行するように装置を構成することができる。

また、詳細な説明については省略するが、実施の形態１４〜２４で説明した画像分類装置において、例えば図３５に示したフォルダ３５４に画像を分類する処理を実行するタイミングは、フォルダ３５３に画像が分類された後となる。なぜなら、フォルダ３５４はフォルダ３５３に分類された画像をさらに分類するためのものであるからである。加えて、画像を分類するためのフォルダの追加・削除や、フォルダに設定した分類条件の変更等の処理を自由に行うこともできる。

さらに、詳細な説明については省略するが、例えばクライアント・サーバシステムにおいて、サーバに各実施の形態で説明した画像検索装置または画像分類装置の機能を持たせるようにして、クライアントから検索条件を指定したり、分類された画像をクライアントの画面に表示させたりすることが可能であることは明らかである。

（１）以上説明したように、上記実施形態の画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。

（２）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。

（３）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。

（４）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。

（５）また、上記実施形態の画像検索装置によれば、さらに、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

（６）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。

（７）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に、指定された各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。

（８）また、上記実施形態の画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。

（９）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、少なくとも画像を何分割するかを表す分割数を粗さのレベルとして段階的に定義しており、段階的に定義された粗さのレベルのいずれか一つに応じて特徴量を抽出する場合、該当する分割数に基づいて画像を分割して複数の分割画像を生成し、生成した各分割画像から特徴量をそれぞれ抽出することにより、問合せ画像および検索対象の画像から分割画像単位の特徴量からなる特徴量群を抽出し、特徴量群を利用して問合せ画像および検索対象の画像の類似度を求める場合、問合せ画像および検索対象の画像の対応する分割画像毎の類似度を該当する特徴量を用いてそれぞれ求めることにより、問合せ画像および検索対象の画像の類似度を求めるようにしたため、画像の分割数で特徴量の粗さのレベルを容易に定義することができ、各分割画像毎に類似度を求めることによって画像検索に画像特徴の位置関係という概念を導入することが可能となる。したがって、精度の高い画像検索処理を実行することが可能となる。

（１０）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、段階的に定義された粗さのレベル中の最も粗い特徴量を示すレベルとして、画像を分割することなく、画像全体を特徴量の抽出対象とするレベルを含み、画像全体を特徴量の抽出対象とするレベルに応じて特徴量を抽出する場合、問合せ画像および検索対象の画像から画像全体を対象として特徴量を抽出するため、画像特徴の位置関係を無視した単純なレベルでの検索処理を含めることが可能となる。

（１１）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、画像中に存在するオブジェクトを特徴量の抽出対象とする場合に、オブジェクトから抽出する特徴量の粗さのレベルの定義を含むため、さらに異なる視点で検索条件を指定することが可能となり、ユーザの意図を検索条件として正確に表現することができる。

（１２）また、上記実施形態の画像検索装置によれば、さらに、複数の検索対象の画像については抽出基準で定義された全ての粗さのレベルに応じた特徴量を予め抽出しておき、指定された問合せ画像のうち、特徴量が抽出されていない問合せ画像については類似度を求める処理を実行する前に指定された粗さのレベルに応じた特徴量を抽出するようにしたため、画像検索処理の高速化を図ることができる。

（１３）また、上記実施形態の画像検索装置によれば、さらに、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。

（１４）また、上記実施形態の画像検索装置によれば、さらに、検索結果の画像を問合せ画像として指定できるため、さらに詳細な絞込み検索を行うことができ、ユーザが望む通りの検索処理を実現することができる。

（１５）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムをコンピュータに実行させることにより、検索条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った検索結果を返すことを可能とする画像検索装置を実現することが可能となる。すなわち、ユーザが望む通りの検索処理を実現することができる画像検索装置を実現することが可能となる。

（１６）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。

（１７）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、分類項目毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。

（１８）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

（１９）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

（２０）また、上記実施形態の画像分類装置によれば、さらに、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、分類項目毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

（２１）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。

（２２）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。

（２３）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された画像をさらに分類するための分類項目を設定できるため、詳細な画像の分類処理を実行することが可能となる。

（２４）また、上記実施形態の画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つを指定すると共に、特徴量の種類を指定すると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。

（２５）また、上記実施形態の画像分類装置によれば、さらに、指定可能な特徴量の種類を画面表示し、指定された特徴量の種類に関連付けて各グループの代表画像を画面表示し、分類対象の複数の画像を分類した結果を木構造で画面表示するため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。

（２６）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された任意の画像を問合せ画像として用いて、問合せ画像と同一または類似の画像を検索するため、装置の利便性の向上を図ることができる。

（２７）また、上記実施形態の画像分類装置によれば、さらに、上記実施形態のいずれか一つに記載の画像検索装置を用いて検索を行うため、検索条件を指定する際にユーザの視点を確実に装置に伝えることが可能となると共に、ユーザの視点に合った検索結果を返すことが可能となり、装置の利便性の向上を図ることができる。

（２８）また、上記実施形態の画像分類装置によれば、さらに、分類対象の画像が検索結果の画像であるため、例えば、画像の分類を検索結果の絞込みに応用することが可能となる。

（２９）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか一つに記載の画像分類装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムを実行することにより、分類条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った分類項目に画像を分類することを可能とする画像分類装置を実現することが可能となる。すなわち、ユーザの望む分類先に画像を適切に分類することが可能となる画像分類装置を実現することができる。

１００ コンピュータ
１０７ 画像検索ソフト
１０８ 画像ＤＢ
１０９ 画像特徴ＤＢ
１５１ Ｕ／Ｉ部
１５２ 特徴抽出エンジン
１５３ マッチング・エンジン
２００ａ〜２００ｈ 検索ウインドウ
２０１ 検索ボタン
２０２ 画像表示欄
２０３，３６２ 特徴量指定ボタン
２０４，２０７，２０８，３６３，３６６，３６７ 重要度指定バー
２０５，３６４ ＡＮＤ指定ボタン
２０６，３６５ ＯＲ指定ボタン
２０９ 特徴指定欄
２１０ 粗さレベル指定欄
３０１ 画像分類ソフト
３０２ 分類木ＤＢ
３５０ａ〜３５０ｆ 画像分類ウインドウ
３５１〜３５８ フォルダ
３６０ａ〜３６０ｆ 分類条件設定ウィンドウ
３６１ 設定ボタン
４００ 画像分類ウインドウ
４０１，４０２ａ〜４０４ａ，４０２ｂ〜４０４ｂ 分類項目
４０５〜４１２ 代表画像
４５０ 記録媒体
４５１ サーバ

Claims (10)

1. 分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、
   前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、
   前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、
   前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、
   を備えたことを特徴とする画像分類装置。
2. 前記設定手段は、前記演算手段で求める類似度に対し、前記基準画像の種類に応じて任意の重み付けを行うことができるように、前記各基準画像毎に重要度を設定することが可能であり、
   前記演算手段は、前記分類項目毎に、前記各基準画像および分類対象の画像の類似度を求め、求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項１に記載の画像分類装置。
3. 前記設定手段は、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、
   前記演算手段は、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項１に記載の画像分類装置。
4. さらに、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記特徴量の種類に応じて任意の重み付けを行うことができるように、前記分類項目毎に、前記設定手段で設定された各基準画像間の類似度を各種類の特徴量毎に求め、前記各種類の特徴量毎に求めた類似度に基づいて前記各基準画像間における各特徴量毎の重要度を決定する重要度決定手段を備え、
   前記演算手段は、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記重要度決定手段で決定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項１に記載の画像分類装置。
5. 前記設定手段は、前記分類項目毎に分類された画像をさらに分類するための分類項目を設定可能であることを特徴とする請求項１ないし４のいずれか一つに記載の画像分類装置。
6. 分類対象の複数の画像から画像の特徴を表す少なくとも一種類の特徴量を抽出し、抽出した特徴量を用いて前記分類対象の各画像を類似する画像同士のグループに分類する画像分類装置であって、
   前記特徴量の種類を指定する指定手段と、
   前記指定手段で特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、前記分類対象の各画像を類似する画像同士のグループに分類する分類手段と、
   前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示する表示手段と、を備え、
   前記指定手段は、さらに、前記表示手段によって表示された代表画像の一つを指定すると共に、前記特徴量の種類を指定可能であり、
   前記分類手段は、前記指定手段で前記代表画像および前記特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、
   前記表示手段は、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することを特徴とする画像分類装置。
7. 前記表示手段は、前記指定手段で指定可能な特徴量の種類を画面表示し、前記指定手段で指定された特徴量の種類に関連付けて前記分類手段で分類された各グループの代表画像を画面表示して、前記分類対象の複数の画像を分類した結果を木構造で画面表示することを特徴とする請求項６に記載の画像分類装置。
8. さらに、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段を備えたことを特徴とする請求項１ないし５のいずれか一つに記載の画像分類装置。
9. 前記分類対象の画像は、前記請求項８に記載の検索手段で検索された画像であることを特徴とする請求項１ないし８のいずれか一つに記載の画像分類装置。
10. 前記請求項１ないし９のいずれか一つに記載の画像分類装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images