JP2011039944A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】検索者が画像を特定するための特徴量に精通しておらず、検索作業に熟練していなくても、検索者の目的とする画像を画像データベースから検索することが可能とする。
【解決手段】複数の画像を格納した画像データベースを検索するにあたり、検索条件受付部Ｍ１は、ユーザーが検索したい画像である検索対象画像の特徴を表すキー画像や近傍範囲指定値、もしくはキーワードを受付け、特徴量算出部Ｍ２はキー画像に基づいて画像特徴量を作成する。そして、特徴量検索部Ｍ３は、画像特徴量空間においてキー画像の画像特徴量から近傍範囲指定値により指定される距離以内にある画像を、画像データベースから検索する。さらにカウンターに特徴量検索部Ｍ３の行った検索回数を計数しておき、カウンターの値が増加するに従って検索に使用する画像特徴量の情報量を増加する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、複数の画像を格納した画像データベースを検索する画像処理装置、画像処理方法および画像処理プログラムに関する。

検索条件項目を予め複数段階に設定しておいて、前段の検索条件項目にマッチすると後段の再検索条件項目に該当する項目値を抽出し、該項目値を新たな検索条件項目としてデータベースの検索を繰り返す技術が知られている（例えば、下記特許文献１など）。

特開２００７−７２９６１号公報

上述した特許文献１に記載の技術では、検索開始前に再検索項目の項目値まで予め設定しておく必要がある。従って、検索者が検索項目に精通し、検索作業に熟練している必要がある。すなわち、検索者が検索項目に精通しておらず、検索に熟練していない場合は、検索を開始することすら難しく、例え再検索項目の項目値を設定できたとしても所望の検索結果が得られる可能性は低い。

本発明は、検索者が画像を特定するための特徴量に精通しておらず、検索作業に熟練していなくても、検索者の目的とする画像を画像データベースから検索することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。

上記課題を解決するために、本発明の請求項１にかかる発明では、複数の画像が格納された画像データベースを検索するために、受付部と、検索部と、計数部とを備えている。
上記構成において、上記受付部は検索対象画像の特徴を表す鍵情報を受付ける。鍵情報はユーザーによって指定されるものであり、検索対象画像とはユーザー所望の画像である。鍵情報はユーザーのイメージの中では検索対象画像と何らかの類似性を有しているため、鍵情報に基づいて作成される画像特徴量と検索対象画像の画像特徴量とは、画像特徴量空間において近い位置にある可能性が高い。

そこで、上記検索部は、上記鍵情報に基づいて画像特徴量を作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を上記画像データベースから検索する。この所定距離は、ユーザーの指定を受付けてもよいし、予め設定された値を用いてもよい。画像特徴量空間とは、画像を特徴付ける各種の画像特徴量を次元（変数）として構成される仮想空間である。上記鍵情報は、キーワードとして指定することも可能であるし、画像で指定することも可能である。キーワードで指定した場合は、予めキーワードにより想起される画像特徴量とキーワードとの対応関係を作成しておくことにより、この対応関係に基づいて画像特徴量に変換することができる。一方、上記鍵情報を画像で指定した場合は、公知の様々な手法により、画像から画像特徴量を算出することができる。

上記検索部によって検索された画像は、上記鍵情報に類似しているのはもちろんであるが、上記検索対象画像にも類似しており、検索結果の中に前記検索対象画像を含む可能性は高い。また検索結果の中に前記検索対象画像そのものを含んでいなくても、前記検索対象画像に類似した画像を含んでいる可能性が高い。よって、ユーザーは、上記検索部の検索結果の中から、ユーザー所望の検索対象画像に近い画像を発見することができる可能性が極めて高い。ユーザーは検索結果の中に検索対象画像に対する類似度合の高い画像を発見した場合は、この画像を新たな鍵情報として検索を行うことができる。むろん、検索結果以外の画像を鍵情報として受付けて検索を行ってもよい。

さらに、上記計数部では、上記検索部の検索回数を計数しており、上記特徴量作成部は、上記検索回数が増加するに従って、作成する上記画像特徴量の情報量を増加する。画像特徴量は画像を特徴付ける情報であり、画像特徴量の情報量が多ければ多いほど、具体的な画像を精度よく特定可能になり、情報量が少ないと画像を大まかにしか特定できない。この画像特徴量の情報量に関する特性を、ユーザーのイメージにおける検索対象画像が明確化するプロセスに連動させた検索を実現すると、ユーザービリティが向上する。

すなわち、検索回数が増加して次第にユーザーのイメージが明確化するのに合わせて、前記画像特徴量作成部は上記鍵情報を精度よく特定可能な情報量で画像特徴量を作成するため、上記検索部の検索結果も鍵情報との類似度の高い画像が多く含まれるように遷移していく。よって、検索者が画像を特定するための特徴量に精通していなかったり、検索に熟練していなかったりしても、検索者のイメージしている画像を画像データベースから検索できるようになる。

また本発明の選択的な一態様として、上記計数部は、上記検索部によって行われる検索が、先に行った検索結果を有効に利用できる範囲内で次の検索を行う場合に、上記検索回数を増加するように構成すると上記ユーザーのイメージに置ける検索対象画像が明確化するプロセスと連動しやすい。先の検索結果と全く異なる検索を開始したのであれば、ユーザーのイメージはいったんリセットされたものと考えられるし、先の検索結果を何らかの形で承継した検索を行うのであればユーザーのイメージが明確化していくプロセスの途上にあると考えられるからである。先の検索結果を承継した検索とは、例えば、先の検索と同じ鍵情報を利用しつつ特徴量の情報量を変更して検索を行う場合や、先の検索の検索結果を母集合とした検索を行う場合などが例示される。

本発明の選択的な一態様として、上記受付部は、上記鍵情報としてキーワードも受付け可能であり、上記検索部は、上記受付部が上記鍵情報としてキーワードを受付けると上記画像データベースから該キーワードを付与されてる画像を検索し、上記受付部が上記鍵情報として画像を受付けると該画像に基づいて作成された画像特徴量から画像特徴量空間において所定距離以内にある画像を上記画像データベースから検索する、ように構成してもよい。

本発明の選択的な一態様として、上記受付部が上記鍵情報として画像を受付けた場合、上記検索部は上記画像から算出された画像特徴量に基づいて行った画像検索の検索結果から、上記受付部の受付けた画像を除外する、ように構成してもよい。上記鍵情報としての画像がユーザー所望の検索対象画像そのものであれば、画像データベースを検索して別の画像を探す必要が無いからである。

本発明の選択的な一態様として、上記特徴量作成部は、上記検索回数が増加するに従い、作成する前記画像特徴量の種類を増加する、ように構成してもよい。画像特徴量の種類が増えると画像特徴量空間における次元数が増加し、より鍵情報を正確に特定するための情報量が増加するからである。

本発明の選択的な一態様として、上記特徴量作成部は、上記検索回数が増加するに従い、作成する上記画増特徴量の精度を高める、ように構成してもよい。画像特徴量を作成する精度を高めると、より鍵情報を正確に特定可能になり、画像特徴量の情報量が増加するからである。

本発明の選択的な一態様として、上記検索部の検索結果を表示するにあたり、検索に使用した上記画像特徴量の情報量を示すアイコンをディスプレイに表示する検索結果表示部を更に備える構成としてもよい。検索に利用している画像特徴量の情報量に対応させたアイコンを検索結果と共に表示することにより、ユーザーは現在の検索の精度を容易に把握することができる。さらに、例えば、検索に使用する画像特徴量の情報量の変更をユーザーから受付ける手段を設けておけば、ユーザーは検索結果とイメージする検索対象画像との類似度合を判断して、精度を調整した検索を実行可能となる。

上述した画像処理装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は上記画像処理装置を備える画像処理システム、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピューターに実現させるプログラム、該プログラムを記録したコンピューター読み取り可能な記録媒体、等としても実現可能である。これら画像処理システム、画像処理方法、画像処理プログラム、該プログラムを記録した媒体、の発明も、上述した作用、効果を奏する。むろん、請求項２〜８に記載した構成も、前記システムや前記方法や前記プログラムや前記記録媒体に適用可能である。

コンピューターのハードウェア構成を示すブロック図である。 コンピューターのソフトウェア構成を示すブロック図である。 キー画像検索の概念を説明する説明図である。 第１実施形態にかかる特徴量算出処理のフローチャートである。 第１実施形態にかかる特徴量データベースを説明する表である。 第１実施形態にかかる画像検索処理のフローチャートである。 画像検索処理において表示されるＵＩ画面の一例を示す図である。 優先度テーブルＴを説明する表である。 検索段階の進行と、検索結果の関係を説明する図である。 検索段階の進行と、検索範囲の関係を説明する図である。 第２実施形態にかかる特徴量算出処理のフローチャートである。 複数の解像度で各種の特徴量を算出する様子を示す説明図である。 第２実施形態にかかる特徴量データベースを説明する表である。 複数の諧調で各種の特徴量を算出する様子を示す説明図である。 第２実施形態にかかる画像検索処理のフローチャートである。 カウンターＣが各値の時に検索に利用される画像特徴量の精度を説明する表である。 カウンター値とアイコンＩＣの対応関係を示す図である。 変形例１にかかるカウンターＣと検索に利用する画像特徴量の関係の一例を示す表である。 特定領域を指定するための特定領域選択エリアを備えたＵＩの一例である。 第１実施形態の検索結果と共に表示するアイコンＩＣの一例を示す図である。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）本実施形態の構成：
（２）第１実施形態にかかる特徴量算出処理：
（３）第１実施形態にかかる検索処理：
（４）第２実施形態にかかる特徴量算出処理：
（５）第２実施形態にかかる検索処理：
（６）各種変形例：
（７）まとめ：

（１）本実施形態の構成：
以下に説明する実施形態においては、検索プログラムをインストールされたコンピューターを例にとって説明する。ただし、検索プログラムを実行可能なプログラム実行環境を備えた装置であればこれに限るものではないし、本実施形態の検索プログラムと同様の演算処理を実行可能なチップセットを備えた装置も本発明に含まれる。例えば、プリンター、デジタルカメラ、等の画像処理装置は本発明に含まれる。

図１は、本実施形態にかかる画像処理装置としてのコンピューター１００の構成を概略的に示すブロック図である。同図において、コンピューター１００は、ＣＰＵ１１０と、ＲＡＭやＲＯＭで構成されたメモリー１２０と、大容量記憶装置としてのＨＤ１３０と、キーボードやマウス等の操作入力機器が接続される操作入力インターフェース（操作入力ＩＦ）１４０と、液晶ディスプレイ等の表示装置が接続されるビデオインターフェース（ビデオＩＦ）１５０と、を備えている。更に、コンピューター１００は、他の機器（例えばデジタルスチルカメラ、パーソナルコンピューター、プリンター等）とデータ通信を行うための汎用インターフェース（汎用ＩＦ）１６０を備えてもよい。各部１１０〜１６０は、バスを介して通信可能に接続されている。

ＨＤＤ１３０には、ＯＳのプログラムデータ、画像データベースＤＢ１を構成する複数の画像データ、検索に使用する特徴量の優先度を示す優先度テーブルＴ、画像データベースＤＢ１を検索する検索プログラムのプログラムデータ、各種周辺機器のドライバープログラム、等が格納されている。ＣＰＵ１１０は、ＯＳや検索プログラムやドライバープログラムのプログラムデータを読み出してＲＡＭに展開しつつ、プログラムデータに従って演算処理を行うことによりコンピューター１００を制御する。
また、検索プログラムが実行されると、特徴量データベースＤＢ２もＨＤＤ１３０に格納される。特徴量ＤＢは、画像データベースＤＢ１を構成する複数の画像データから算出された特徴量を各画像に関連付けて記憶したものである。なお、画像データベースＤＢ１やキー画像の格納場所は、ＲＯＭやＨＤＤ等の装置内部の記憶媒体に限るものではなく、ＵＳＢメモリーやメモリーカード、ＣＤやＤＶＤ等の外部記憶媒体であってもよい。

操作入力ＩＦは、操作入力機器から入力された操作入力信号をコンピューター１００が取得するためのインターフェースである。
ＶＩＦは、コンピューター１００に接続されたディスプレイに対してコンピューター１００が出力するビデオ信号を、該ディスプレイが表示可能な信号に変換し、ディスプレイの画面に画像を表示させるためのインターフェースである。
以上の構成において、ＣＰＵがＯＳや検索プログラムをＲＡＭに適宜展開しつつプログラムに従って演算を行うことにより、下記の画像処理部ＧＰ、表示処理部ＤＰ、印刷処理部ＰＰ、検索処理部ＳＰ、が実現される。

図２は、コンピューター１００で実行されるプログラムによって実現されるソフトウェア構成を示すブロック図である。同図に示すように、コンピューター１００上では、ＯＳと検索プログラムとドライバープログラムが実行されている。ＯＳは、コンピューター上で実行されるプログラム間のインターフェースを提供する。ドライバーは、ＯＳに対して周辺機器に対するインターフェースを提供する。

検索処理部ＳＰは、検索条件受付部Ｍ１と、特徴量算出部Ｍ２と、特徴量検索部Ｍ３と、キーワード検索部（ＫＷ検索部）Ｍ４と、検索結果表示部Ｍ５と、に相当する機能を備えている。
検索条件受付部Ｍ１は、キー画像と近傍範囲指定値Ｄｘの組合せ、もしくはキーワードＫＷのいずれかを検索条件として受付可能であり、受付けたキーがキー画像と近傍範囲指定値Ｄｘであればキー画像検索が指定されたものと判断し、受付けたキーがキーワードＫＷであればキーワード検索が指定されたものと判断する。本実施形態においては、キー画像ＫＩと近傍範囲指定値Ｄｘの組合せ、キーワードＫＷが鍵情報を構成する。なお近傍範囲指定値Ｄｘに後述の初期値を利用する場合は、キー画像ＫＩだけで鍵情報を構成する。

ここで図３を参照して、キー画像検索の概念を説明する。キー画像は、ユーザーのイメージしている画像の方向性を示す手がかりとなる画像であり、ユーザーの主観においては、ユーザーのイメージする画像と類似している。ただし、画像特徴量等の客観的な評価基準に照らすと、それほど類似していない可能性もあり、あくまでも検索の方向性を示す鍵として利用される。図３に示すように、キー画像はユーザーがイメージしている画像（以下、「目的画像」と記載する。）に類似する画像であって、真の目的画像とは異なっている。従って、キー画像検索においては、キー画像に対して一定の度合以上に類似している画像が抽出されるような検索をおこなう。

近傍範囲指定値Ｄｘは、キー画像ＫＩとユーザーのイメージする画像との類似度合を示す。類似度合は、画像特徴量空間におけるユークリッド距離などで指定可能であり、画像検索においてはキー画像の画像特徴量とデータベース画像とのこのユークリッド距離が所定値以下のものを検索結果とする。

具体的には、複数の画像特徴量を変数とする画像特徴量空間において、キー画像を中心として所定距離（「近傍範囲指定値Ｄｘ」によって指定される距離）以内にある画像を抽出することになる。近傍範囲指定値Ｄｘはユーザーによって設定される値である。従って、近傍範囲指定値Ｄｘを適切に調整されていれば検索結果の中に目的画像が含まれる。また、近傍範囲指定値Ｄｘが小さすぎて目的画像が検索結果に含まれない場合であっても、検索結果の中にキー画像より目的画像に類似する画像が含まれる可能性が高い。後者の場合は、検索結果の中からキー画像よりも目的画像との類似度の高い画像をキー画像に選択して再検索すれば、さらに目的画像との類似度が高い画像を検索することができる。

特徴量算出部Ｍ２は、キー画像から画像特徴量を算出するものであって、１つの画像から複数組の画像特徴量を算出することができる。複数組の画像特徴量は、組毎に種類が異なるようにしてもよいし、組毎に画像特徴量の情報量が異なるようにしてもよい。情報量が多いと、算出元の画像の特徴が精度よく反映された画像特徴量となるし、情報量が少ないと、算出元の画像の特徴の概要が反映された画像特徴量となる。
なお、情報量を異ならせるという意味では、前者のように複数種類の画像特徴量を算出した場合も、検索に使用する画像特徴量の種類数を増減することにより、検索に使用する画像特徴量の情報量を変化させることができる。すなわち、検索に使用する画像特徴量の情報量を少なくすると、大まかな検索ができるし、情報量を増やすと精度の高い検索ができる。

特徴量検索部Ｍ３は、検索条件受付部Ｍ１が受付けたキー画像に基づいて上記画像データベースＤＢ１に対するキー画像検索を実行し、検索結果一覧をディスプレイに表示する。検索結果一覧の中にユーザーがイメージしていた画像があれば、ユーザーはマウス等でその画像を選択し、印刷、表示、レタッチなどを行うことができる。
なお、目的画像は明確に１つに絞られる場合もあるし、ユーザーのイメージが曖昧なものであれば複数になる場合もある。また、検索結果を見ているうちにユーザーのイメージが変化して、より好ましい画像イメージを想起したため目的画像が検索開始当初から異なるものになることもある。このような場合であっても、本発明の検索プログラムであれば、検索結果の中で最もイメージに近い画像を新たなキー画像として再び検索をおこない、より好ましい画像を検索したり、新たなイメージに近い画像を検索したりすることもできる。

キーワード検索部Ｍ４は、検索条件受付部Ｍ１が受付けたキーワードＫＷを付与されている画像を、上記画像データベースＤＢ１から検索し、その検索結果をディスプレイに表示する。
具体的には、ＫＷ検索部Ｍ４は、各画像のファイル名や各画像に付与されている情報の中から、キーワードＫＷを含むものを検索する。付与されている情報としては、画像ファイルの説明文やＥｘｉｆ情報などが例示される。むろん、キーワード検索においても、キーワードＫＷから想起される画像や画像特徴量を予めキーワードＫＷに関連付けたデータベースを用意しておいて、指定されたキーワードＫＷに関連付けられた画像特徴量もしくは画像から算出された画像特徴量に類似する画像を検索結果としてもよい。

なお、画像データベースＤＢ１は、画像の種類別にグループ分けされていてもよい。グループ分けしておくと、後述の検索処理において検索対象になる画像の数を減少して処理速度を向上できる。特に、後述の検索処理において、処理が開始後にデータベース作成処理を行う場合に好適である。
グループ分けの基準は、「風景、植物、人物、建物、乗り物、・・・」のような画像に含まれるオブジェクト種類であってもよいし、「２０００年夏旅行、２００１年春帰省、２００２年秋お祭り、・・・」のようにイベント毎に分類したり年月日や季節で分類したりしたものであってもよいし、カラー写真とモノクロ写真とをグループ分けてしてもよい。また、同一グループに対し、複数種類のグループ分けの手法を適用してもよい。例えば、タグ情報を付して各画像を分類するのであれば、同一の画像が複数種類のグループの分類タグを付されていても構わない。

（２）第１実施形態にかかる特徴量算出処理：
図４は、第１実施形態にかかる特徴量算出処理のフローチャートである。同図に示す特徴量算出処理は、後述の検索処理の前に予め実行しておいてもよいし、後述の検索処理において検索対象となるデータベースが指定された後で検索対象データベースに対して実行してもよい。また、画像データベースＤＢ１に新たな画像が追加されたことを検出した時点で、自動的に特徴量算出処理を実行してもよい。

特徴量算出処理が開始されると、ステップＳ１００（以下、「ステップ」の記載を省略する。）において、画像特徴量を未算出の画像を１つ選択してＳ１０５に進む。画像特徴量を未算出であるか否かは、特徴量データベースＤＢ２に登録があるか否かで判断してもよいし、画像データベースＤＢ１を構成する各画像に特徴量算出済みを示すフラグを付してあるか否かで判断してもよい。

Ｓ１０５において、特徴量算出部Ｍ２は、「形状特徴量」と「色特徴量」と「輝度特徴量」と「テクスチャー特徴量」と「解像度特徴量」をそれぞれ算出する。ここで各特徴量について簡単に説明する。
「形状特徴量」とは、画像に含まれる各オブジェクトの形状に関する画像特徴量であり、例えば、対象画像からエッジ抽出を行って作成された輪郭画像から連結成分を検出し、連結成分について求められる重心、外接長方形、面積、周囲長、円形度などが該当する。エッジ抽出や連結成分の抽出等の処理は、公知の各種技術を利用することができる。
また、「形状特徴量」には、顔検出処理や顔器官検出処理などのオブジェクト検出処理による検出結果を含めてもよい。オブジェクト検出結果に関する画像特徴量は、オブジェクトが検出された場合とオブジェクトが非検出の場合とで値が二極化するような値を画像特徴量として割り振れば、以降の検索処理で利用することができる。具体的には、オブジェクト検出された場合の画像特徴量を「１００」とし、オブジェクト非検出の場合の画像特徴量を「０」とするなどである。なお、検出結果の信頼度に応じて、信頼度が高いほど１００に近づくように０〜１００の間の値を割り当てることもできる。

「色特徴量」や「輝度特徴量」は、例えば、対象画像から作成されるＲＧＢヒストグラムや輝度ヒストグラム、もしくはこれらヒストグラムにおける最大値、最小値、平均値、最頻値、色数、輝度数などである。
「テクスチャー特徴量」は、注目画素とその近傍の画素との間の関係を表す特徴量であり、濃度ヒストグラム、同時生起行列から得られるテクスチャー情報、差分統計量、ランレングス行列、等に基づいて算出される値が該当する。
同時生起行列とは一定距離離れた２つのピクセル間の画素値の関係から模様を統計的に記述する手法である。
また、ある方向に連続して並ぶ同一の濃淡レベルの画素列をラン、その長さをランレングスとしたときに、対象画像領域においてある方向θに関して各濃淡レベルのランレングスの出現頻度をθ方向のランレングス行列という。
「解像度特徴量」は、画像の縦横比や縦横それぞれの解像度そのものが該当する。

Ｓ１１０において、特徴量算出部Ｍ２は、Ｓ１０５において算出した各種特徴量をＳ１００で選択された画像に対応付けて、特徴量データベースＤＢ２に格納する。特徴量データベースＤＢ２は、ＨＤＤ１３０に記憶されている。
図５は、特徴量データベースＤＢ２の一例を説明するテーブルである。同図において、画像特徴量は「形状特徴量」と「色特徴量」と「輝度特徴量」と「テクスチャー特徴量」と「解像度特徴量」にカテゴライズされており、各カテゴリーについて複数種類の画像特徴量が算出されている。なお、本実施形態における画像特徴量は、画像特徴量同士を対比しやすいように、その値域を所定範囲、例えば０〜１００など、に正規化してある。

Ｓ１１５において、特徴量算出部Ｍ２は、画像データベースＤＢ１における特徴量を未算出の画像の有無を判断する。特徴量を未算出の画像があれば、Ｓ１００に戻って新たな画像を選択し、特徴量を未算出の画像が無ければ特徴量算出処理を終了する。
画像データベースＤＢ１に対して以上の特徴量算出処理を行うことにより、画像データベースＤＢ１からキー画像を検索する準備が整う。

（３）第１実施形態にかかる検索処理：
図６は、第１実施形態にかかる検索プログラムによって実行される画像検索処理のフローチャートである。同図に示す処理が開始されると、Ｓ２００において検索段階を示すカウンターＣを初期化してＳ２０５に進む。カウンターＣについては後で説明する。

Ｓ２０５において、検索条件受付部Ｍ１は、検索条件を受付けたり検索結果の一覧を表示したりするためのＵＩ画面をディスプレイに表示する。
図７は、Ｓ２０５で表示されるＵＩ画面の一例を示す図である。同図に示すＵＩ画面は、各種クエリを設定するためのクエリ設定エリアＡ１と、いずれのデータベースを検索の母集合とするか設定するためのデータベース選択エリアＡ２と、検索結果表示エリアＡ３と、検索実行ボタンＤ１と、印刷ボタンＤ２と、レタッチボタンＤ３と、を備えている。なお、印刷ボタンＤ２とレタッチボタンＤ３は、検索結果表示エリアＡ３に表示される検索結果の少なくとも１つが選択されるまではグレーアウトしており、クリックできないようになっている。

データベース選択エリアＡ２には、上述した画像データベースＤＢ１のグループを示す名称が一覧表示されている。グループ名の横にはチェックボックスが設けられており、ユーザーがチェックボックスにチェックを入れると、チェックの入ったグループに属する画像が本検索処理における検索の母集合として選択される。チェックは複数グループに入れることもできる。

クエリ設定エリアＡ１では、キー画像ＫＩの指定、近傍範囲指定値Ｄｘの指定、キーワードＫＷの指定、を行う。
キー画像ＫＩの指定は、例えば、ファイル閲覧ソフトやインターネット閲覧ソフトなどに表示された画像をクエリ設定エリアＡ１にドラッグ＆ドロップすることにより行うことができる。むろん、画像のファイルパスやＵＲＬによってキー画像ＫＩを指定してもよいし、データベース選択エリアＡ２で選択された画像データベースＤＢ１に含まれる画像を一覧表示し、その中から画像を選択・指定出来るようにしてもよい。

キー画像ＫＩが指定されると、クエリ設定エリアＡ１に該キー画像ＫＩのサムネイル画像が表示されるとともに、該キー画像ＫＩに対する近傍範囲指定値Ｄｘを指定するためのスライダーがクエリ設定エリアＡ１に表示される。図７においては、キー画像ＫＩを示すサムネイル画像がクエリ設定エリアＡ１に表示されており、その下に近傍範囲指定値Ｄｘを設定するためのスライダーが表示されている。

このスライダーをマウスやカーソルキーで操作して移動させることにより、近傍範囲指定値Ｄｘを設定できる。図７においては「１０」〜「８０」の範囲で近傍範囲指定値Ｄｘを設定できるようになっており、スライダーの現在位置に対応する近傍範囲指定値Ｄｘとして「４０」が表示されている。なお、ユーザーが明確な検索範囲を想定していない場合を考慮して、スライダーの初期状態では中間的な「４０」等を初期値として表示するようにしてもよい。

また、クエリ設定エリアＡ１にはキーワードＫＷを入力することも可能である。本実施形態においては、ユーザーはクエリ設定エリアＡ１にキー画像ＫＩとキーワードＫＷを排他的に入力できるようになっている。キーワード検索とキー画像ＫＩ検索を排他的に実行するためである。よって、キーワードＫＷを入力した後でキー画像ＫＩを指定すると先に入力されたキーワードＫＷはクリアされるし、キー画像ＫＩを入力した後でキーワードＫＷを入力すると先に入力されたキー画像ＫＩはクリアされる。むろん、キーワード検索とキー画像ＫＩ検索の論理和や論理積、排他的論理和等を検索結果とする場合は、キーワードＫＷとキー画像ＫＩとを同時にクエリ設定エリアに入力できるようにしてもよい。
検索条件受付部Ｍ１は、ＵＩに対してクエリ設定エリアＡ１やデータベース選択エリアＡ２に対する操作入力が行われた場合は、ＵＩの表示を該操作入力に応じて更新し、クエリ設定エリアＡ１やデータベース選択エリアＡ２以外への操作入力が行われるとＳ２１０へ進む。

Ｓ２１０において、検索条件受付部Ｍ１は、検索実行が指示されたか否かを判断する。すなわち、検索条件受付部Ｍ１は検索実行ボタンＤ１がクリックされたか否かを判断し、検索実行ボタンＤ１がクリックされていない場合はＳ２５５へ進み、検索実行ボタンＤ１がクリックされた場合はＳ２２０へ進む。

Ｓ２５５へ進むと、検索条件受付部Ｍ１はＳ２５５〜Ｓ２７５を順に実行することにより、印刷処理、レタッチ処理、表示処理の何れが選択されたかを判断し、選択された処理を実行する。
すなわち、印刷ボタンがクリックされた場合は、検索結果表示エリアＡ３に表示されている１又は複数の検索結果を印刷処理部ＰＰ受け渡して印刷させる。レタッチボタンがクリックされた場合は、画像処理部ＧＰにレタッチプログラムの起動を指示すると共に、検索結果表示エリアＡ３をマウスのクリック操作等することによって選択された１又は複数の検索結果に対応する画像データをレタッチソフトのレタッチ対象として受け渡す。検索結果表示エリアＡ３において、１または複数の検索結果がマウスのダブルクリック等によって選択された場合は、表示処理部ＤＰに画像閲覧プログラムの起動を指示し、ダブルクリックされた検索結果に対応する画像データを画像閲覧プログラムに受け渡してディスプレイに表示させる。
Ｓ２６０の印刷処理、Ｓ２７０のレタッチ処理もしくはＳ２７５の表示処理が終了すると、Ｓ２０５のＵＩ画面に戻る。

Ｓ２１５において、検索条件受付部Ｍ１は、ユーザーがキーワード検索と画像検索のいずれの検索方法を希望しているかを特定する。本実施形態においては、検索条件受付部Ｍ１は、検索実行が指示された時点でクエリ設定エリアＡ１に入力されているクエリがキーワードＫＷであれば、キーワード検索が選択されたと判断し、キー画像ＫＩであれば、キー画像検索が選択されたと判断する。むろん、キーワード検索とキー画像検索の検索実行ボタンを別々に設けておき、対応するボタンのクリックに基づいてユーザー所望の検索方法を特定してもよい。
検索条件受付部Ｍ１は、キーワードＫＷが入力されている場合はＳ２５０に進み、キー画像ＫＩが入力されている場合はＳ２２０に進む。

Ｓ２５０において、ＫＷ検索部Ｍ４は、キーワードＫＷを含む画像を、データベース選択エリアＡ２で選択されたグループの画像データベースから検索し、検索結果の一覧データを作成してＲＡＭに一時保存して、Ｓ２４５に進む。

Ｓ２２０において、検索条件受付部Ｍ１は、キー画像ＫＩが検索結果表示エリアＡ３から選択されたか否か、もしくは先の検索におけるキー画像が再びキー画像ＫＩとして選択されたか否かを判断する。新たなキー画像ＫＩが検索結果表示エリアＡ３に表示された検索結果中から選択された場合、又は先の検索におけるキー画像が再びキー画像ＫＩとして選択された場合は、Ｓ２３０に進む。一方、新たなキー画像ＫＩが、先の検索におけるキー画像や検索結果以外から選択された画像である場合は、Ｓ２２５に進んでカウンターＣを０に初期化してから、Ｓ２３０に進む。

Ｓ２３０において、特徴量算出部Ｍ２は、キー画像ＫＩの画像特徴量を算出する。特徴量算出部Ｍ２は、上述したデータベース作成処理において算出したのと同様の画像特徴量をキー画像ＫＩから算出することができる。

Ｓ２３５において、特徴量検索部Ｍ３は、カウンターＣの値に対応する種類の画像特徴量に基づいて、画像データベースＤＢ１を検索する。
具体的には、カウンターＣが「１」の場合は、キー画像ＫＩの形状特徴量ＣＡ０１ａ，ＣＡ０１ｂ，ＣＡ０１ｃ，・・・と、検索対象として指定されたグループの画像データベースに含まれる各画像Ｉｎ（ｎ＝１，２，３・・・）の形状特徴量ＣＡｎ１ａ，ＣＡｎ１ｂ，ＣＡｎ１ｃ，・・・（ｎ＝１，２，３・・・）とのユークリッド距離Ｄｎ（ｎ＝１，２，３・・・）を、特徴量空間においてそれぞれ算出する。各画像Ｉｎとキー画像ＫＩとの距離Ｄｎは、下記（１）式で算出することができる。
そして、特徴量検索部Ｍ３は、距離Ｄｎが近傍範囲指定値Ｄｘ以下の画像Ｉｎを特定し、特定した画像を距離Ｄ０ｎが小さい順に並べた一覧データを作成してＲＡＭに一時保存する。カウンターＣが「２」の場合は、「形状」に関する画像特徴量も含めてユークリッド距離Ｄｎを算出することになる。

Ｓ２３５の検索が終了すると、特徴量検索部Ｍ３はＳ２４０においてカウンターＣをインクリメントしてＳ２４５に進む。

ここでカウンターＣについて説明する。本実施形態においては、すでに行った検索結果を有効に利用できる範囲内で次の検索を行う場合に、検索段階が進むようにしてある。
具体的には、次に行われる検索において、先の検索結果に含まれる画像がキー画像ＫＩとして選択された場合や、先の検索においてキー画像ＫＩであった画像が再びキー画像ＫＩとして選択された場合には、検索段階が進行する。逆に言えば、先の検索結果や先の検索におけるキー画像ＫＩ以外から次のキー画像ＫＩが選択された場合は、先に実行された検索結果とは別異の検索が開始されたものと見做して検索段階を初期化する。カウンターＣは、この検索段階を管理するためのものである。
より具体的には、検索結果の中から次のキー画像が選択された場合には検索段階が進行するのでカウンターＣが増加し、ユーザーがウェブページ等の画像をクエリ設定エリアにドラッグ＆ドロップしてキー画像ＫＩに設定した場合にはカウンターＣは初期化される。本実施形態においては、検索処理部ＳＰにおいてカウンターＣのインクリメントや初期化を行う各部が計数部を構成する。

図８は、カウンターＣと画像特徴量の種類とを対応付ける優先度テーブルＴを説明する表である。優先度テーブルＴには、カウンターＣが各値の時に検索に利用される画像特徴量の種類が示してある。同図に示すように、カウンターＣが増えるに従って、「形状」「色」、「輝度」、「テクスチャー」、「解像度」の順で検索に利用する画像特徴量の種類が増加するようになっている。「形状」「色」、「輝度」、「テクスチャー」、「解像度」の順で、ユーザーのイメージの中で占める影響が大きいと考えられるからである。なお、本実施形態においては、カウンターＣが増加するにつれて、検索に利用する画像特徴量のカテゴリーが１つずつ増加して行くようにしてあるが、むろん２カテゴリーずつ増加するようにしてもよいし、カテゴリーを越えて各種特徴量を任意に組み合わせ可能とし、組み合わされる特徴量種類の数がカウンター値に応じて増加するようにしてもよい。

図９は、検索段階の進行と、検索結果の関係を説明する図である。同図は、説明を簡略化するためにカウンターＣが１のときに２種類の画像特徴量で検索を行い、カウンターＣが２のときに３種類の画像特徴量で検索を行った場合を例にとって示してある。同図において、Ｃ＝１の検索結果にはユーザーのイメージする目的画像は含まれなかったものの、キー画像ＫＩ１よりも目的画像に類似する画像が抽出されている。そこで、ユーザーはこの画像を次のキー画像ＫＩ２として検索を行う。すなわち、先の検索結果を利用して検索を行うので、カウンターＣは２になり、検索段階が進行する。検索段階が進行した状態で検索を行うと、図９において、Ｃ＝２の検索結果にはユーザーのイメージする目的画像が含まれている。このとき、１回目と２回目の検索で、近傍範囲を同程度に指定しても、画像特徴量空間の次元数が増加しているため、検索範囲は、２回目の検索の方が狭くなっている。

図１０は、検索段階の進行と、検索範囲の関係を説明する図である。同図には、図９の１回目の検索範囲と２回目の検索範囲とを、特徴量２と特徴量３の平面に投影した図である。図１０に示すように、一回目の検索範囲は２次元であるため、２回目の検索に使用した３次元の画像特徴量空間で観察すると円筒状の範囲を検索している、これに対し、２回目の検索範囲は、３次元であるため球状の範囲を検索している。すなわち、検索に用いる特徴量の数が増えるほど、検索結果は絞り込まれていくことが分かる。

Ｓ２４５において、検索結果表示部Ｍ５は、Ｓ２５０やＳ２３５の検索結果を図７のＵＩにおける検索結果表示エリアＡ３に表示する。
このとき、Ｓ２５０からＳ２４５に進んだ場合は、検索結果表示エリアＡ３には、検索にヒットした順に検索結果が一覧表示される。
一方、Ｓ２３５からＳ２４５に進んだ場合は、検索結果表示エリアＡ３には、キー画像ＫＩとの類似度順、すなわち画像特徴量空間におけるキー画像ＫＩとのユークリッド距離が近い順に検索結果が一覧表示される。なお、この一覧には、Ｓ２０５において指定されたキー画像ＫＩは表示されない。本実施形態における検索の目的は、キー画像ＫＩを取っ掛かりにしてユーザーが真にイメージする画像を検索することだからである。
検索結果を表示すると、検索結果表示部Ｍ５は、Ｓ２０５に戻ってＵＩに対する操作入力を待機する。

以上のように、検索段階が進むにつれて検索に利用する画像特徴量の種類を増加させることにより、検索が初期段階にあるときは大まかなイメージで検索結果が出力されるし、検索段階が進むほどキー画像との類似度の高い検索結果が出力されるようになる。すなわち、キー画像がユーザーのイメージに近付くほど、より詳細な検索を実行できるようになっている。

従って、ユーザーが検索の開始時には検索したい画像の漠然としたイメージしか持っていない場合であっても、検索が進むに連れて検索結果から徐々にイメージを明確化することができるため、ユーザーを目的画像へと誘導することができる。
また、ユーザーのイメージに近い画像を出発点にして、ユーザーのイメージに最も近い所望画像を、データベース中から容易且つ迅速に検索することができる。

（４）第２実施形態にかかる特徴量算出処理：
図１１は、第２実施形態にかかる特徴量算出処理のフローチャートである。同図に示した特徴量算出処理も、第１実施形態と同様に、後述の検索処理の前に予め実行されていてもよいし、後述の検索処理において検索対象となるデータベースが指定された後で検索対象データベースに対して実行されてもよい。また、画像データベースＤＢ１に新たな画像が追加されたことを検出した時点で、自動的に特徴量算出処理を実行してもよい。

特徴量算出処理が開始されると、Ｓ３００において、画像特徴量を未算出の画像を１つ選択してＳ３０５に進む。
Ｓ３０５において、特徴量算出部Ｍ２は、画像データベースＤＢ１を構成する各画像を解析して各種画像特徴量を複数の精度で算出し、算出した画像特徴量を各画像と対応付けて画像特徴量データベースＤＢ２として保存する。なお、算出する画像特徴量の種類は、第１実施形態の特徴量算出処理で算出した中の任意のものを任意に組み合わせて選択可能である。

ここで言う精度とは、画像の諧調数（色の諧調数や輝度の諧調数）や解像度における量子化の程度を意味するものである。なお、諧調数は画像の濃淡や明暗を分割する段階数を表す数値であり、解像度は単位長当りの標本点数を示す標本化間隔である。すなわち、精度の低い画像特徴量に基づいて検索を行うと、大まかなイメージで検索を行うことができるし、精度の高い画像特徴量に基づいて検索を行うと、明確なイメージで検索を行うことができる。

図１２は、複数の解像度で各種の特徴量を算出する様子を示す説明図である。なお、同図においては、説明を簡略化するために「色特徴量」だけを示してあるが、他のカテゴリーの画像特徴量についてもそれぞれ算出する。
同図に示す例では、特徴量算出部Ｍ２は、高解像度と中解像度と低解像度の３種類の解像度で、特徴量を算出している。高解像度では、原画像から画像特徴量を算出している。中解像度では、原画像において隣接する４画素を平均して新たな１画素とする縮小画像を作成し、この縮小画像から画像特徴量を算出している。低解像度では、原画像において注目画素に隣接する８近傍を平均して新たな１画素とした縮小画像を作成し、この縮小画像から画像特徴量を算出している。

すなわち、原画像において近接する所定数画素を平均して新たな１画素とすることにより、低解像度画像を作成し、この低解像度画像に基づいて各種の画像特徴量を算出している。このとき平均化する画素数を段階的に増加した複数解像度の画像を作成して各解像度画像から画像特徴量を算出することにより、段階的に精度が変化する複数組の画像特徴量が作成される。このようにして作成された複数組の精度の画像特徴量を、各原画像に対応付けて保存することにより、図１３に示した画像特徴量データベースＤＢ２が作成される。

また、図１４は、複数の諧調で各種の特徴量を算出する様子を示す説明図である。
同図では、２４ビットカラーで表現された原画像を、１２ビットカラーや６ビットカラーへ変換した低諧調画像を作成し、これら低諧調画像から、各々、各種の画像特徴量を作成し、高階調、中諧調、低階調の画像特徴量として、画像特徴量テーブルに保存する。すなわち、図１４に示す例では、特徴量算出部Ｍ２は、原画像の各画素の諧調数を段階的に低下させて複数諧調の画像を作成している。なお、諧調を低下した画像を作成する際は、各画像の諧調数が、原画像の諧調数の約数となるようにすることが好ましい。

Ｓ３１０においては、特徴量算出部Ｍ２は、Ｓ３０５において算出した各種特徴量をＳ３００で選択された画像に対応付けて、特徴量データベースＤＢ２に格納する。特徴量データベースＤＢ２は、ＨＤＤ１３０に記憶される。

Ｓ３１５において、特徴量算出部Ｍ２は、画像データベースＤＢ１における特徴量を未算出の画像の有無を判断する。特徴量を未算出の画像があれば、Ｓ３００に戻って新たな画像を選択し、特徴量を未算出の画像が無ければ特徴量算出処理を終了する。画像データベースＤＢ１に対して以上の特徴量算出処理を行うことにより、画像データベースＤＢ１からキー画像ＫＩを検索する準備が整う。

（５）第２実施形態にかかる検索処理：
以上のようにして作成された画像特徴量テーブルを利用して行う検索処理について、図１５を参照して説明する。同図は、第２実施形態にかかる検索処理のフローチャートである。なお、同図に示す処理は、Ｓ４００〜Ｓ４２５，Ｓ４４０，Ｓ４５０〜Ｓ４７５は、第１実施形態におけるＳ２００〜Ｓ２２５，Ｓ２４０，Ｓ２５０〜Ｓ２７５と同様なので、説明を省略する。また、第２実施形態において表示されるＵＩは第１実施形態と同様である。

Ｓ４３０において、特徴量算出部Ｍ２は、キー画像ＫＩの画像特徴量を算出する。特徴量算出部Ｍ２は、上述した特徴量算出処理において算出した画像特徴量と同様の各種精度の画像特徴量をキー画像ＫＩから算出することができる。すなわち、複数の精度でキー画像ＫＩの画像特徴量を算出する。

Ｓ４３５において、特徴量検索部Ｍ３は、カウンターＣの値に対応する精度の画像特徴量に基づいて、画像データベースＤＢ１を検索する。
具体的には、カウンターＣが「１」の場合は、Ｓ４３０において算出したキー画像ＫＩの「低解像度」に関する特徴量ＣＡ０＿ｌと、検索対象として指定されたデータベースＤＢ０に含まれる各画像Ｉｎ（ｎ＝１，２，３・・・）の「低解像度」に関する特徴量ＣＡｎ＿ｌ（ｎ＝１，２，３・・・）との距離Ｄ０ｎ（ｎ＝１，２，３・・・）を、特徴量空間においてそれぞれ算出し、距離Ｄ０ｎが近傍範囲指定値Ｄｘ以内となる画像Ｉｎを特定する。
そして特徴量検索部Ｍ３は、特定した画像を距離Ｄ０ｎが小さい順に並べた一覧データを作成してＲＡＭに一時保存する。
Ｓ４３５の検索が終了すると、Ｓ４４０において特徴量検索部Ｍ３はカウンターＣをインクリメントしてＳ４４５に進む。

図１６は、カウンターＣが各値の時に検索に利用される画像特徴量の精度を説明するテーブルである。同図に示すように、カウンターＣが増えるに従って、「低解像度」「中解像度」、「高解像度」の順で検索に利用する画像特徴量の精度が増加するようになっている。例えば、カウンターＣが「１」のときは「低解像度」、「２」のときは「中解像度」、「３」のときは「高解像度」となっており、カウンターＣが「４」以上の場合は「高解像度」を利用する。なお、本実施形態における精度は３段階であるが、２以上の任意の段階数が採用可能である。また、カウンター数が１増加する毎に精度も１段階進むようにしてあるが、カウンター数が２増加する毎に精度が１段階進むようにしたり、カウンター数が３増加する毎に精度が１段階進むようにする等、カウンター数と精度の対応関係は正の相関を保つ限り任意の関係を採用可能である。

Ｓ４４５において、検索結果表示部Ｍ５は、Ｓ４３５の検索結果を図７のＵＩにおける検索結果表示エリアＡ３に表示する。検索結果表示エリアＡ３には、キー画像ＫＩとの類似度順、すなわち画像特徴量空間におけるキー画像ＫＩとのユークリッド距離が近い順に検索結果が一覧表示される。なお、この一覧にも、第１実施形態と同様にＳ４１０において指定されたキー画像ＫＩは表示されない。
検索結果表示部Ｍ５は、検索結果を表示すると、Ｓ４０５に戻ってＵＩに対する操作入力を待機する。

Ｓ４４５において、検索結果表示エリアＡ３には検索結果の一覧と共に、検索の精度を示すアイコンＩＣが表示される。図１７は、カウンター値とアイコンＩＣの対応関係を示す図である。同図において、アイコンＩＣは画像を格子状に区切り、１つ１つの格子について格子内の画素値の平均値で格子内の画素値を置き換えたモザイク画像になっている。アイコンＩＣにおいて、モザイク化する画像は、キー画像ＫＩでもよいしりんご等の一般的な画像であってもよい。同図に示すように、アイコンＩＣは、精度が高くなるほど分割数が多くなっており、精度が高くなるほど鮮明な画像になるように構成されている。アイコンＩＣを検索結果と共に表示することにより、ユーザーは現在の検索段階を視覚的に把握することができる。

（６）各種変形例：
（６−１）変形例１：
上述した実施形態では、画像特徴量の精度を段階的に変化するにあたり、画像特徴量の種類数を変化させる例と、画像特徴量の解像度を変化する例とを別々に記載したが、これらを複合的に利用して、画像特徴量の精度を段階的に変化させてもよい。
図１８は、画像特徴量の種類と画像特徴量の解像度を組み合わせて段階的な検索を行う場合の、カウンターＣと検索に利用する画像特徴量の関係の一例を示す表である。同図では、カウンターＣが「１」のときは、低解像度の「形状特徴量」で検索を行い、カウンターＣが「２」のときは低解像度の「形状特徴量」と「色特徴量」で検索を行うようになっている。このように画像特徴量の種類数と解像度とを組み合わせることにより、検索段回数を増加することができる。よって、最終的な検索結果まで、ユーザーのイメージが徐々に明確になって行くのに合わせて、徐々に検索範囲を絞り込んで行くことができる。

（６−２）変形例２：
上述した実施形態では、キー画像検索の後でキーワード検索を実行するとカウンターＣが初期化されるようにしてあるが、キーワード検索の際にもキー画像検索におけるカウンターＣのカウント数を承継してもよい。
具体的には、キー画像検索の後でキーワード検索が選択された場合に、カウンターＣの値を維持したままキーワード検索を行ったり、キーワード検索でもカウンターＣの値がインクリメントされるようにしたりすることが考えられる。

すなわち、キー画像検索の検索結果から次のキー画像候補を選択する際に、検索結果をユーザーのイメージ画像に近いものにキーワード検索によって絞り込むこととができる。すると、検索結果が少なくなって検索結果の一覧性が向上するため、ユーザーは次のキー画像ＫＩの候補を選択しやすくなる。
このとき、新たなキー画像ＫＩはユーザーの目的画像に近付くので、検索段階が進行したものと見做してカウンターＣを増加させてもよいし、キー画像検索の検索結果を母集合としてキーワード検索を行っていることから母集合自体に変化が無いことを考慮してカウンターＣは維持するものとしてもよい。また、次のキー画像ＫＩをキーワード検索の検索結果の中から選択した場合にのみ、検索段階が進行したと判断してカウンターＣをインクリメントしてもよい。

また、初回の検索がキー画像検索でなくてキーワード検索であった場合にも、キーワード検索の検索結果の中からキー画像検索のキー画像ＫＩを選択した場合は、カウンターを予め増加した状態でキー画像検索を開始してもよい。
以上のように、キー画像検索とキーワード検索をシームレスに実行できるようにすると、検索のユーザービリティが向上する。

（６−３）変形例３：
上述した実施形態では、各検索段階における検索の母集合は、最初にＵＩのデータベース選択エリアＡ２において設定した画像データベースＤＢ１として記載してあるが、先の検索における検索結果を承継して検索を行う場合は、次に検索する際の母集合を先の検索結果の範囲内に限定してもよい。このように検索の母集合自体について先の検索結果を承継するようにすると、初期の検索段階において検索結果が膨大な量になって一覧性が低下した場合であっても、ユーザーの目に留まった範囲内で、先のキー画像ＫＩよりも目的画像に近い画像を次のキー画像ＫＩに選択することにより、徐々に検索結果が絞り込まれていく。

（６−４）変形例４：
上述した実施形態では、各画像に付与されている文字列を検索対象としてキーワード検索を行うものとしてあるが、キーワードＫＷに基づいて画像データベースＤＢ１の画像特徴量を検索してもよい。この場合は、各キーワードＫＷによって想起されるイメージと画像特徴量との対応関係が必要であり、例えば、キーワードＫＷ−画像特徴量対応テーブルを備えれば実現できる。

すなわち、「赤」等のキーワードＫＷと赤みの強い画像であることを示す「色特徴量」とを対応付けたり、「秋」や「紅葉」というキーワードＫＷと紅葉を撮影した画像に特有の「色特徴量」とを対応付けたり、キーワードＫＷと画像特徴量の対応関係を示すルックアップテーブルを用意しておくことにより、所定のキーワードＫＷが入力されたときに、該キーワードＫＷに基づいて画像特徴量を検索することができるようになる。このとき、近傍範囲指定値Ｄｘと同様に類似度合を示す値を導入し、この類似範囲をもって検索範囲とすれば、キーワードＫＷで画像特徴量を検索することが出来るようになる。

（６−５）変形例５：
上述した実施形態において、Ｓ１２０では、特徴量算出部Ｍ２は、算出する特徴量は、カウンターＣの値に対応付けられた画像特徴量に関するものだけとしてもよい。Ｓ１２０で抽出した特徴量を利用して検索するＳ１２５では、形状特徴量に関する特徴量だけを利用して検索を行うからである。また、最初にユーザーが指定するキー画像ＫＩは、真に求める画像をデータベース中から探し出すための手がかりに過ぎないため、以降のキー画像検索においては最初のキー画像ＫＩが使用されない可能性が高いからである。むろん、次のキー画像ＫＩも同一の画像が指定されることを考慮して、予め全種類の特徴量を抽出しておいても構わない。

（６−６）変形例６：
画像データベースＤＢ１から得られる画像特徴量は、後述の検索処理におけるテキスト検索に利用してもよい。すなわち、テキスト検索において色や輝度を表す語がサーチキーワードＫＷとして入力された場合には、キーワードＫＷの示す特徴量やキーワードＫＷの示す特徴量から所定の類似範囲に含まれる特徴量を有した画像を、検索結果として抽出できる。また、テキスト検索において、顔、顔器官、建築物、自然物等のオブジェクトを表す語がサーチキーワードＫＷとして入力された場合に、キーワードＫＷの示すオブジェクトが上記オブジェクト検出処理において検出されている画像を検索結果とすることができる。

顔、花、建物、等の所定のキーワードＫＷが入力されたときに、これらキーワードＫＷの意味するオブジェクトの検出処理を画像データベースＤＢ１の各画像に実行し、キーワードＫＷに対応するオブジェクトが含まれているか否かを判定する。そして、キーワードＫＷの意味するオブジェクトを含む画像を検索結果として出力する。

（６−７）変形例７：
なお、特徴量算出部Ｍ２は、画像全体について特徴量を抽出するだけでなく、例えば、画像の特定領域についての特徴量を算出してもよい。
図１９は、特定領域を指定するための特定領域選択エリアＡ４を備えたＵＩの一例である。同図に示すように、特定領域選択エリアＡ４は、キー画像ＫＩが指定されると該キー画像ＫＩと同一形状の特定領域指定フレームＦが表示される。この特定領域指定フレームには、指定されたキー画像ＫＩのサムネイル画像が表示されており、ユーザーはマウスのクリック等によって特定領域の範囲を特定領域指定フレーム内に設定することができる。なお、同図においては特定領域は矩形を例示してあるが、楕円、三角、六角、円など、特定領域の形状は様々に設定可能であるし、１つの画像上に複数の特定領域を指定してもよい。

本変形例によれば、特定領域に特定のロゴが入っている画像を抽出したい場合などに有効である。例えば、画像右上端に「社外秘」のマークが入っている機密文書を検索したい場合や、特定の会社のロゴが入った文書を検索したい場合などに、有効である。

（６−８）変形例８：
上述した第２実施形態のＳ４４５において表示したアイコンＩＣは、上述した第１実施形態の検索結果を表示する際に表示してもよい。
図２０は、第１実施形態の検索結果と共に表示するアイコンＩＣの一例を示す図である。同図において、検索段階が進むに連れて、アイコンＩＣにおける所定画像（図ではりんご）の「形状」、「色」、「輝度」、「テクスチャー」、「解像度」の順で画像が変化する。すなわち、各検索段階で検索に利用される画像特徴量に対応して、所定画像の画像特徴量も変化して行くのである。むろん、第１実施形態において表示するアイコンも、第２実施形態と同様に、検索種類が増加するにつれてモザイク画像の分割数が多くなるようにしても構わない。

（７）まとめ：
以上説明した実施形態によれば、複数の画像を格納した画像データベースを検索するにあたり、検索条件受付部Ｍ１は、ユーザーが検索したい画像である検索対象画像の特徴を表すキー画像ＫＩや近傍範囲指定値Ｄｘ、もしくはキーワードＫＷを受付け、特徴量算出部Ｍ２はキー画像ＫＩに基づいて画像特徴量を作成する。そして、特徴量検索部Ｍ３は、画像特徴量空間においてキー画像ＫＩの画像特徴量から近傍範囲指定値Ｄｘにより指定される距離以内にある画像を、画像データベースから検索する。さらにカウンターＣに特徴量検索部Ｍ３の行った検索回数を計数しておき、カウンターＣの値が増加するに従って検索に使用する画像特徴量の情報量を増加する。よって、検索者が画像を特定するための特徴量に精通しておらず、検索作業に熟練していなくても、検索者の目的とする画像を画像データベースから検索することが可能となる。

なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。

１００…コンピューター、１１０…ＣＰＵ、１２０…メモリー、１４０…操作入力インターフェース、１５０…ビデオインターフェース、１６０…汎用インターフェース、Ａ１…クエリ設定エリア、Ａ２…データベース選択エリア、Ａ３…検索結果表示エリア、Ｄ１…検索実行ボタン、Ｄ２…印刷ボタン、Ｄ３…レタッチボタン、ＤＰ…表示処理部、ＧＰ…画像処理部、ＰＰ…印刷処理部、ＳＰ…検索処理部、ＤＢ１…画像データベース、ＤＢ２…特徴量データベース、Ｍ１…検索条件受付部、Ｍ２…特徴量算出部、Ｍ３…特徴量検索部、Ｍ４…キーワード検索部、Ｍ５…検索結果表示部、Ｔ…優先度テーブル

Claims (10)

1. 複数の画像を格納した画像データベースを検索する画像処理装置であって、
   検索対象画像の特徴を表す鍵情報を受付ける受付部と、
   上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を、上記画像データベースから検索する検索部と、
   上記検索部の検索回数を計数する計数部と、を備え、
   上記検索部は、上記検索回数が増加するに従って、検索に使用する前記画像特徴量の情報量を増加する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   上記受付部の受付けた画像に基づいて上記画像特徴量を算出する画像特徴量算出部を更に備え、
   上記受付部が上記鍵情報として画像を受付けると、該画像に基づいて上記画像特徴量算出部が上記画像特徴量を算出する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   上記受付部は、上記鍵情報としてキーワードを受付け可能であり、
   上記検索部は、
   上記受付部が上記鍵情報としてキーワードを受付けると、上記画像データベースから該キーワードを付与されてる画像を検索し、
   上記受付部が上記鍵情報として画像を受付けると、該画像に基づいて作成された画像特徴量から画像特徴量空間において所定距離以内にある画像を、上記画像データベースから検索する、画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置であって、
   上記受付部が上記鍵情報として画像を受付けた場合、上記検索部は上記画像から算出された画像特徴量に基づいて行った画像検索の検索結果から、上記受付部の受付けた画像を除外する、画像処理装置。
5. 請求項１〜請求項４の何れか１項に記載の画像処理装置であって、
   上記検索部は、上記検索回数が増加するに従い、前記画像特徴量の種類を増加して検索を行う、画像処理装置。
6. 請求項１〜請求項５の何れか１項に記載の画像処理装置であって、
   上記検索部は、上記検索回数が増加するに従い、精度の高い画像特徴量で検索を行う、画像処理装置。
7. 請求項１〜請求項６の何れか１項に記載の画像処理装置であって、
   上記検索部の検索結果を表示するにあたり、検索に使用した上記画像特徴量の情報量を示すアイコンをディスプレイに表示する検索結果表示部を更に備えた、画像処理装置。
8. 請求項１〜請求項７の何れか１項に記載の画像処理装置であって、
   上記計数部は、上記検索部によって行われる検索が、先に行った検索結果を有効に利用できる範囲内で次の検索を行う場合に、上記検索回数を増加する、画像処理装置。
9. 複数の画像を格納した画像データベースを検索する画像処理方法であって、
   検索対象画像の特徴を表す鍵情報を受付ける受付工程と、
   上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を、上記画像データベースから検索する検索工程と、
   上記検索工程における検索回数を計数する計数工程と、を備え、
   上記検索工程においては、上記検索回数が増加するに従って、検索に使用する前記画像特徴量の情報量を増加する、画像処理方法。
10. 複数の画像を格納した画像データベースを検索する機能をコンピューターに実現させるための画像処理プログラムであって、
    検索対象画像の特徴を表す鍵情報を受付ける受付機能と、
    上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を、上記画像データベースから検索する検索機能と、
    上記検索機能による検索回数を計数する計数機能と、を備え、
    上記検索機能は、上記検索回数が増加するに従って、検索に使用する前記画像特徴量の情報量を増加する、画像処理プログラム。