JP2004240750A - 画像検索装置 - Google Patents

Abstract

【課題】キーワードやオブジェクトを指定して画像を検索した際に、より好適に検索結果を表示することができ、かつ、表示された検索結果の中から所望の画像を効率良く探すことができる画像検索装置を提供する。
【解決手段】本画像検索装置は、複数の画像を記憶する画像記憶部１０１と、各画像に含まれる所定の部分画像を各画像に対応付けて記憶する領域情報記憶部１０２と、部分画像の特徴を部分画像に対応付けて記憶する領域特徴記憶部１０３とを備える。画像特徴指定部１０４で、検索対象の画像の特徴を指定する。候補画像決定部１０５は、指定された画像の特徴に基づいて、部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として決定する。検索結果表示部１０６は、決定された候補画像に含まれる部分画像を所定の大きさに拡大して候補画像の縮小画像を表示する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータや情報処理機器等において所望の静止画像や動画像等を検索する画像検索技術に関する。
【０００２】
【従来の技術】
近年、さまざまな情報がデジタル化され、デジタル化された情報がコンピュータや情報処理機器等によって管理されている。例えば、ＪＰＥＧやＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の出現により、静止画像や動画像等の画像コンテンツが、デジタル化された情報として、効率よく圧縮符号化できるようになった。そして、それらの画像コンテンツは、ハードディスクの大容量化と低価格化に伴って、コンピュータや情報処理機器のハードディスク上に大量に蓄積され、管理されるようになってきている。そこで、このように大量の画像コンテンツがハードディスク等に蓄積された場合、大量の画像コンテンツの中から所望の画像を探し出すための検索をどのように実現するかが問題になってくる。
【０００３】
一般に、大量に蓄積された画像コンテンツの中から所望の画像を検索するための手法として、個々の画像コンテンツに予めキーワードを付与しておき、画像に付与されたそのキーワードを検索する方法がある。そして、キーワードに対応する画像を検索結果としてモニタ等に表示し、オペレータが表示された画像の中から所望の画像を目視で探し出すという手法が用いられている。
【０００４】
このようなキーワードを用いた検索手法は、インターネットが普及した現在においては、大量の画像コンテンツを有するコンテンツプロバイダーが、消費者に画像を配信するために用意したインターネット上の画像検索システムにおいても一般的に行われているものである。
【０００５】
また、同様に、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）の検索システムが提供するＷＷＷの各ページに存在する画像の検索システムにおいても、ＨＴＭＬファイル中のｉｍｇタグのｓｒｃ属性のファイル名や、ａｌｔ属性の値の文字列等から求めたキーワードを、ｓｒｃ属性のファイル名が示す画像と対応付けることによって、同様の手法で画像を検索する手段を提供している。
【０００６】
図７は、従来の画像検索システムにおける検索操作画面の一例を示す図である。図７に示すように、画像検索ウィンドウ７０１は、大きく分けて、検索指示エリア７０２と検索結果表示エリア７０５から構成されている。検索指示エリア７０２の中には、キーワードを入力するためのキーワード入力エリア７０３と検索の指示を出すための検索ボタン７０４が表示されている。そして、オペレータは、キーワード入力エリア７０３に対してキーボードを用いてキーワードを入力し、マウスで検索ボタン７０４をクリックする。このような操作によって、キーワード入力エリア７０３に入力された文字列と同じキーワードと対応付けられた画像が検索され、検索結果表示エリア７０５中に検索した結果得られた画像のサムネイル（縮小画像）が、サムネイル画像７０６、７０７からサムネイル画像７０８の順に一覧表示される。
【０００７】
また、他の検索方法としては次に示すような方法がある。すなわち、画像を色やエッジやテクスチャ等の情報を用いて、領域分割を行ってオブジェクトを抽出し、オブジェクトの色や形等の特徴量をインデックスとして、画像に対応付けてデータベースに格納しておく。そして、検索時は、上記インデックスに対応したオブジェクトの部分画像を選択することで、オブジェクトの特徴量を比較して類似度を求める方法がある。この場合でも同様にして、類似度の高いオブジェクトに対応した画像から順に、検索結果表示エリア７０５の中に検索結果の画像のサムネイル（縮小画像）を、サムネイル画像７０６、７０７からサムネイル画像７０８の順に一覧表示するような方法がある。
【０００８】
一方、動画像の検索においても、動画像のシーンの変わり目で分割し、各シーンの代表画像の静止画像を前述した方法と同じように検索することによって、所望の動画像のシーンの検索が行われている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の検索方法では、検索結果表示エリア７０５に表示されるサムネイル画像は、静止画像全体を単にそのまま縮小した画像であり、このような縮小画像が検索結果表示エリア７０５の中に多数並べて表示されているに過ぎなかった。そのために、検索するために入力したキーワードに対応した部分画像、すなわち、サムネイル画像中の一部の領域の画像を目視で確認しようとした場合、キーワードに対応したオブジェクトに対する部分画像を探すことが容易ではないという課題があった。また、オブジェクトに対する部分画像の詳細を把握することは、それを探すこと以上に容易ではなかった。
【００１０】
図８は、画像データベースに登録されている静止画像の一例を示す図である。例えば、図８に示される「車」に対応する部分画像８０３のように、キーワードに対応した部分画像の大きさが画像の中でそれほど大きくない場合、検索結果表示エリア７０５の中ではその部分領域はさらに小さく表示されてしまう。従って、サムネイル画像の中から、キーワード入力エリア７０３に入力されたキーワードに対応した部分画像を目視で探すことは容易なことではない。また、部分画像の細部の状態まで把握することはさらに容易なことではない。
【００１１】
オブジェクトの色や形状等の特徴量を利用して検索した結果得られたサムネイル画像を検索結果表示エリア７０５に表示する場合も、同様に、検索時に指定したオブジェクトに対応した部分画像が、検索される画像の中で小さい場合は、検索時に指定したオブジェクトに対応した部分画像を探すことは容易なことではない。また、その部分画像の詳細を把握することも同様に容易なことではない。
【００１２】
特に、オブジェクトの色や形状等の特徴量を利用して検索する場合は、検索時に指定したオブジェクトの意味を表す概念と、検索結果として見つかった部分画像が表す概念とが、キーワードを指定した場合のように確実に一致しているという保証はないので、サムネイル画像中の検出された当該部分画像が小さい場合は、それが何であるのかを把握すること自体が容易ではなく、所望の画像を探すことが難しい場合が多い。
【００１３】
さらに、上述したように、部分画像の細部の状態まで把握することができない場合があるので、検索結果の候補画像が一覧表示された場合、それらの候補画像の中で検索条件を満たしている部分画像を比較し、どの候補画像が所望の画像であるのかを判定することが困難な場合もある。
【００１４】
本発明は、上記課題を解決するためになされたものであり、キーワードやオブジェクトを指定して画像を検索した際に、より好適に検索結果を表示することができ、かつ、表示された検索結果の中から所望の画像を効率良く探すことができる画像検索装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像検索装置は、複数の画像を記憶する画像記憶手段と、前記画像記憶手段に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶手段と、該領域情報記憶手段に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶手段と、検索対象の画像の特徴を指定する画像特徴指定手段と、該画像特徴指定手段で指定された画像の特徴に基づいて、前記領域特徴記憶手段に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶手段に記憶されている画像の中から決定する候補画像決定手段と、前記候補画像決定手段で決定された候補画像の縮小画像を表示する検索結果表示手段とを備え、前記検索結果表示手段は、前記候補画像に含まれる前記部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示することを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態に係る画像検索装置について詳細に説明する。
【００１７】
＜第１の実施形態＞
まず、本発明の第１の実施形態に係る画像検索装置の概要について説明する。図１は、本発明の第１の実施形態に係る画像検索装置の構成を示すブロック図である。図１において、画像記憶部１０１には、画像検索の対象となる静止画像や動画像といった画像コンテンツが格納されている。尚、画像記憶部１０１において個々の画像データは、それぞれの画像データに対応するファイル名とともに記憶されている。画像記憶部１０１は、領域情報記憶部１０２に接続されている。領域情報記憶部１０２は、画像記憶部１０１に格納された個々の画像中の特定の領域を示す情報が格納されている。尚、領域情報記憶部１０２において領域を示す情報は、画像記憶部１０１に格納されたそれぞれの画像に対応付けて格納されている。
【００１８】
また、領域情報記憶部１０２は、領域特徴記憶部１０３に接続されている。領域特徴記憶部１０３には、領域情報記憶部１０２に格納された領域の特徴が格納されている。尚、領域特徴記憶部１０３においてそれぞれの領域の特徴は、領域情報記憶部１０２に格納された領域を示す情報と対応付けて格納されている。この領域の特徴としては、領域に対応したオブジェクトを表すキーワード等の言語情報や、領域の色や形状や位置等の画像特徴情報等がある。
【００１９】
一方、画像特徴指定部１０４では、オペレータ等によって検索したい画像の特徴が指定される。オペレータ等が指定する特徴としては、キーワード等の言語情報（例えば、文字列）や、画像中の特定の領域の色や形状や位置等の画像特徴情報等がある。
【００２０】
また、候補画像決定部１０５は、領域特徴記憶部１０３と画像特徴指定部１０４とに接続されている。そして、候補画像決定部１０５は、画像特徴指定部１０４で指定された特徴と領域特徴記憶部１０３に格納されている特徴とを比較し、両者の特徴が一致若しくは類似している特徴に対応した領域を含む画像を検索結果の候補画像として決定する。
【００２１】
検索結果表示部１０６は、画像記憶部１０１と領域情報記憶部１０２と候補画像決定部１０５とに接続されている。そして、検索結果表示部１０６は、候補画像決定部１０５で決定された候補画像について、特徴が一致若しくは類似していると判断された領域（オブジェクト領域）、又は、該領域を含む部分画像を所定サイズのエリア内に表示する。尚、検索結果表示部１０６は、領域又は該領域を含む部分画像を表示する際に、所定サイズのエリア内に対応する画像全体を表示した場合の領域の画像よりもその領域が大きく表示されるように表示する。また、検索結果表示部１０６は、その領域又は該領域を含む部分画像を表示する際、目視で識別しやすく強調して表示する。
【００２２】
以下、本実施形態に係る画像検索装置について詳細に説明する。
【００２３】
図２は、第１の実施形態に係る画像検索装置を実現するための各種機器の接続構成を示すブロック図である。図２において、ＣＰＵ２０１は、ＲＯＭ２０２或いはＲＡＭ２０３に格納された制御プログラムを実行することにより、以下で説明する処理を含む本装置における各種制御を実現する。図４は、図２におけるＲＯＭ２０２内に記憶されているデータ構成の一例を説明するための図である。ＲＯＭ２０２には、図４に示されるように、制御手順プログラム４０１が格納されている。一方、図６は、処理プログラム実行時におけるＲＡＭ２０３上のデータ構成の一例を説明するための図である。ＲＡＭ２０３には、図６に示されるように、画像登録プログラム６０３、画像検索プログラム６０４、画像データベース６０５、領域データベース６０６、検索条件リスト６０７、領域比較バッファ６０８及び検索結果リスト６０９等が格納されている。
【００２４】
図２において、ＣＤ−ＲＯＭドライブ２０４は、ＣＤ−ＲＯＭ２０５に記憶されている制御プログラムや各種データを読み取り、本画像検索装置に提供する。図３は、ＣＤ−ＲＯＭ２０５から制御プログラム等がコンピュータシステムに供給されることを示す概念図である。また、図５は、可搬記録媒体であるＣＤ−ＲＯＭ２０５に記憶された画像登録プログラム５０１及び画像検索プログラム５０２等のデータ構成を示す図である。
【００２５】
ＣＤ−ＲＯＭドライブ２０４を介してＣＤ−ＲＯＭ２０５から画像登録プログラム５０１及び画像検索プログラム５０２がＲＡＭ２０３にロードされることによって、ＣＰＵ２０１による実行が可能となる。すなわち、図６に示されたＲＡＭ２０３上のデータ構成は、ＣＤ−ＲＯＭ２０５に格納されている画像登録プログラム５０１及び画像検索プログラム５０２がＲＡＭ２０３にロードされ実行可能となった状態のメモリマップを示している。
【００２６】
尚、実行可能となった状態では、画像登録プログラム５０１（メモリマップ上では画像登録プログラム６０３）及び画像検索プログラム５０２（メモリマップ上では画像登録プログラム６０４）以外に、メモリマップ上には、画像データベース６０５及び領域データベース６０６等が、ハードディスクドライブ２０６よりロードされ初期化される。
【００２７】
図２においてハードディスクドライブ２０６は、本画像検索装置内において大容量の記憶領域を提供している。従って、上述したＣＤ−ＲＯＭ２０５に格納されている制御プログラムは、ハードディスク２０６にインストールされて、必要に応じてＲＡＭ２０３へロードされるという形態を用いてもよい。また、キーボード２０７、ディスプレイ２０８、マウス２０９、ネットワークカード２１０がシステムバス２１１を介して上述した各構成を相互に通信可能に接続している。また、本画像検索装置は、ネットワークカード２１０経由でネットワーク２１２に接続され、ネットワーク２１２に接続されている他のコンピュータ機器２１３等と通信することが可能である。
【００２８】
次に、上述した構成の画像検索装置の動作手順について説明する。図１４は、本実施形態に係る画像検索装置の全体の動作手順を説明するためのフローチャートである。
【００２９】
まず、ＣＤ−ＲＯＭ２０５に格納された画像登録プログラム５０１及び画像検索プログラム５０２等をＣＤ−ＲＯＭドライブ２０４からＲＡＭ２０３にロードする。また、ハードディスクドライブ２０６から画像データベース６０５及び領域データベース６０６等をＲＡＭ２０３にロードする。そして、必要な初期化が行われる（ステップＳ１０１）。
【００３０】
次に、オペレータからのキーボード２０７又はマウス２０９による指示によって以降の処理を分岐させる（ステップＳ１０２）。その結果、「画像登録」の指示が行われた場合はステップＳ１０３へ分岐し、「画像検索」の指示が行われた場合はステップＳ１０４へ分岐し、他の指示が行われた場合はステップＳ１０５へ分岐する。
【００３１】
ステップＳ１０３では、画像登録プログラム６０３が起動され、図６における画像データベース６０５に画像の登録が行われる。さらに、登録された画像中の領域の情報が領域データベース６０６に登録される。尚、ステップＳ１０３の詳細な処理手順については図１５を用いて後述する。
【００３２】
また、ステップＳ１０４では、画像の検索を行う画像検索プログラム６０４が起動され、オペレータの操作によって領域データベース６０６を参照して、画像データベース６０５に登録されている画像の検索が行われる。尚、ステップＳ１０５の詳細な処理手順については図１７を用いて後述する。
【００３３】
さらに、ステップＳ１０５は、画像登録及び画像検索以外の処理を行うステップであり、本発明に係る実施形態とは直接には関係がない部分である。
【００３４】
ここで、ステップＳ１０３で実行される画像登録プログラム５０１（メモリマップ上では画像登録プログラム６０３）による処理について説明する。図１５は、本実施形態における画像登録プログラムの詳細な処理手順を説明するためのフローチャートである。
【００３５】
図１５に示すように、まず、画像データベース６０５に対してオペレータが指定した画像を登録する（ステップＳ２０１）。図９は、本実施形態における画像データベース６０５におけるデータ構成の一例を示す図である。図９に示すように、画像データベース６０５には、各画像に関する情報（以降、「画像情報」と称す。）として、画像を識別するための「画像ＩＤ」、画像データを格納しているファイルを示す「ファイル名」、画像の横方向の画素数を示す「横サイズ」及び画像の縦方向の画素数を示す「縦サイズ」が、それぞれ対応して格納されている。また、各画像情報は、画像ＩＤによって昇順にソートされているものとする。
【００３６】
例えば、図９に示される画像データベース６０５には、横サイズが１２００、縦サイズが９００、ファイル名がＩｍｇ１００．ｊｐｇという画像が、画像ＩＤの値が１００として格納されている。
【００３７】
そこで、ステップＳ２０１では、オペレータが、登録する画像のファイル名を指定し、指定されたファイル名から得られる画像データから横サイズと縦サイズを求めて、未使用の画像ＩＤの値を画像ＩＤとして生成する。そして、これらの画像情報を画像ＩＤによって昇順に並ぶように画像データベース６０５に追加される。尚、このような処理手順は、同種の画像データベースを扱う画像検索装置において一般に行われている処理であり、公知であるので、これ以上の詳細な説明は省略する。
【００３８】
図１５において、ステップＳ２０２からステップＳ２１１までの処理は、ステップＳ２０１で登録した画像中の領域に関する情報を領域データベース６０６へ登録する処理である。図１０は、領域データベース６０６におけるデータ構成の一例を示す図である。図１０に示すように、領域データベース６０６には、各領域に関する情報（以降、「領域情報」と称す。）として、領域を識別するための「領域ＩＤ」、領域が属する画像を示すための「画像ＩＤ」、画像中の領域の場所を表すための「領域座標」、対象となる領域が属する親の領域を示す「親領域」、領域の内容を文字列で表現した「キーワード」及び領域の色の特徴を表す「色特徴量」が、それぞれ対応して格納されている。尚、各領域情報は、領域ＩＤによって昇順にソートされているものとする。
【００３９】
ここで、本実施形態では「領域ＩＤ」として、同一画像の中での領域を識別するための３桁の値を下３桁とし、上位の桁には、領域が属する画像の画像ＩＤの値を組み合わせた値を用いている。これによって、同じ画像に対する領域情報は、図１０に示されるように、領域データベース６０６中で、一つにまとめられることになる。尚、桁数は３桁以外であってもよい。
【００４０】
また、「領域座標」は、対象となる領域を多角形とみなし、多角形の頂点の座標のリストで対象となる領域を表現するものである。各座標は、対象となる画像の左上を原点とし、右方向にｘ座標軸、下方向にｙ座標軸を取った座標系で表現する。例えば、図８における「車」に対応する部分画像８０３の領域座標は、図１０に示される領域ＩＤが１００００１の領域情報として、（（７８０，７２０），（７８０，７８０），．．）のように示されている。ここで、図８に示される部分画像８０３の頂点８０４に対応する座標は（７８０，７２０）であり、頂点８０５に対応する座標は（７８０，７８０）に対応している。
【００４１】
また、ある画像中において犬の前に人が立っているために、その犬の領域が２つの領域に分断されているような場合がある。このように、本来、一つであるべき領域が、他の領域によって分断される場合に対応するために、本実施形態における領域座標では、複数の領域を格納することが可能である。例えば、図１０に示されるように、領域ＩＤが１０１００１に対応した領域座標には、（（３００，４２０），．．），（（２４０，３６０），．．）と示されているが、これは、この領域が、（（３００，４２０），．．）の領域と（（２４０，３６０），．．）の領域の２つの領域から構成されていることを示している。
【００４２】
一方、図１０に示される「親領域」は、領域間の親子関係又は包含関係を示すためのものである。例えば、図８に示される画像の中で、「家」に対応する部分画像８０２の領域は、「屋根」及び「壁」に対応する部分画像８０６と「窓」に対応する部分画像８０７の２つの領域から構成されている。また、「窓」に対応する部分画像８０７の領域は、「屋根」及び「壁」に対応する部分画像８０６の領域に含まれている。これらの関係を言い換えると、「窓」に対応する部分画像８０７の領域の親の領域は、「屋根」及び「壁」に対応する部分画像８０６の領域であり、「屋根」及び「壁」に対応する部分画像８０６の領域の親領域は、「家」に対応する部分画像８０２になる。
【００４３】
図１０に示される領域データベース６０６では、これらの関係が「親領域」において示されている。例えば、領域ＩＤ「１００００６」によって示される「窓」に対応する部分画像８０７の親領域には、部分画像８０６の「壁」に対応した領域ＩＤ「１００００５」が格納されており、さらに、領域ＩＤ「１００００５」によって示される「壁」が含まれる部分画像８０６に対応する領域の親領域には、「家」に対応する部分画像８０２に対応した領域ＩＤ「１００００２」が格納されている。尚、「家」に対応する部分画像８０２の親領域は存在しないので、それに対応する領域ＩＤ「１００００２」に対する親領域には、領域ＩＤとしての無効値「−１」が格納されている。
【００４４】
また、「キーワード」には、対象となる領域の内容を表現するキーワード等の文字列が格納される。これらの文字列は、１単語で構成される必要はなく、自然な文章で表現することも可能である。「キーワード」には、複数の内容を格納することが可能であり、その場合は、内容を表現する文字列を「，」によって区切ることにより、内容を切り分けることができる。
【００４５】
さらに、「色特徴量」には、「領域座標」によって示される領域の色の特徴量として、色のヒストグラムが格納される。色のヒストグラムは、ＲＧＢ色空間を各色３ビットで均等に量子化した結果得られる量子箱に、「領域座標」によって示される領域に含まれる各画素の色を集計し、さらに、ヒストグラムの度数の合計が１０００になるように正規化して求めることができる。そして、「色特徴量」には、この結果得られたヒストグラムの各量子箱の値を、所定の順番で「，」で区切って並べて格納されている。
【００４６】
以上説明した領域データベース６０６に、ステップＳ２０１で登録した画像中の領域を登録する手順をステップＳ２０２からステップＳ２１１に沿って、以下に説明する。
【００４７】
まず、領域データベース６０６に登録する領域が設定される（ステップＳ２０２）。この領域設定処理は、ステップＳ２０１で登録した画像をディスプレイ２０８中のウィンドウに表示し、ウィンドウ中の画像上で、オペレータがマウス２０９を用いて、登録する領域の頂点にマウスカーソルを合わせて、一つ一つ順番にクリックすることによって多角形の頂点を指定していく。そして、最後に、最初に指定した頂点をクリックすることにより、指定された頂点を直線で結んだ一つの多角形領域を設定することができる。また、複数の領域を指定する場合は、同様の操作を行うことによって、別の多角形領域を設定することができる。ここで設定した座標のリストは、図１０における領域情報の「領域座標」に格納される内容になる。そして、オペレータが登録する領域を設定し終えると、オペレータの設定終了の指示により、ステップＳ２０３へ進む。
【００４８】
ステップＳ２０３は、ステップＳ２０２で設定された領域に対して、領域情報の「キーワード」に格納する内容を設定する処理である。このキーワード設定処理は、キーボード２０７から、「キーワード」に格納する文字列を入力することによって行われる。尚、設定する内容が複数ある場合は、キーボード２０７から、「，」を入力することにより、複数の内容を切り分けて入力することが可能である。そして、設定が終わると、オペレータの設定終了の指示により、ステップＳ２０４へ進む。
【００４９】
ステップＳ２０４は、ステップＳ２０２で設定された領域に対して、領域情報の「色特徴量」に格納する内容を設定する特徴量設定処理である。「色特徴量」に格納する内容の求め方は、図１０を用いた領域データベース６０６の説明ですでに述べた通りであり、オペレータが介在しなくても自動的に求めることができる。そして、この特徴量設定処理を終えるとステップＳ２０５へ進む。
【００５０】
ステップＳ２０５では、ステップＳ２０２で設定した領域に対する親領域が存在するかどうかによって以降の処理を分岐する。すなわち、親領域が存在しないとオペレータが判断した場合（Ｎｏ）、ステップＳ２０６へ進む。一方、親の領域が存在するとオペレータが判断した場合（Ｙｅｓ）、ステップＳ２０７へ進む。通常、領域を登録し始めた段階では、親となる領域が登録されていない場合が多いので、そのような場合は、ステップＳ２０６へ進み、すでに親の領域が登録されているような場合には、ステップＳ２０７へ進む。従って、このような領域の登録方法を用いるためには、子の領域よりも先に親の領域を登録しておく必要がある。
【００５１】
ステップＳ２０６は、親の領域が存在しない場合の処理であり、図１０に示すように領域情報の「親領域」の値として「−１」を設定する。そして、処理を終えると、ステップＳ２１０へ進む。
【００５２】
一方、ステップＳ２０７では、ステップＳ２０８において親の領域を選択するために、領域を選択するための領域選択ウィンドウをディスプレイ２０８に表示し、この領域選択ウィンドウ中にステップＳ２０１で登録された画像を表示する。そして、処理を終えると、ステップＳ２０８へ進む。
【００５３】
ステップＳ２０８は、領域データベース６０６にすでに登録されている親となる領域を選択する領域選択処理である。そして、選択された親領域の領域情報から、親領域の領域ＩＤを求めることができる。尚、領域選択処理の詳細については、図１６を用いて後述する。そして、処理を終えるとステップＳ２０９へ進む。
【００５４】
ステップＳ２０９において、ステップＳ２０８で求めた親の領域の領域ＩＤを領域情報の「親領域」の値として設定する。そして、処理を終えるとステップＳ２１０へ進む。
【００５５】
ステップＳ２１０は、ステップＳ２０２からステップＳ２０９において設定した領域情報に基づいて、設定された領域を領域データベース６０６へ登録する処理である。上述したステップＳ２０２からステップＳ２０９までの処理によって、「領域座標」、「キーワード」、「色特徴量」及び「親領域」から成る領域情報が設定される。ここで、領域情報の「画像ＩＤ」には、ステップＳ２０１で画像を画像データベース６０５に登録する際に得られた画像ＩＤの値を用いる。また、「領域ＩＤ」には、この画像ＩＤを用いて、領域データベース６０６に登録されている領域情報の領域ＩＤに使用されていない値を生成して設定する。そして、得られた領域情報を、図１０に示すように、領域ＩＤの値が領域データベース６０６の中で昇順に並ぶように登録する。ステップＳ２１０における処理を終えると、ステップＳ２１１へ進む。
【００５６】
ステップＳ２１１では、続けて領域を登録するかどうかによって次の処理を分岐する。すなわち、領域を続けて登録する場合（Ｎｏ）、ステップＳ２０２へ戻って上述した各処理を行う。一方、領域の登録を終える場合（Ｙｅｓ）、画像登録プログラムを終了する。
【００５７】
続いて、図１６と図２３を用いて、図１５におけるステップＳ２０８及び後述する図１８におけるステップＳ５０４で行われる「領域選択処理」の詳細について説明する。ここで、領域データベースの状態は、図１０に示されるような状態であるとする。図１６は、画像登録プログラム及び検索条件指定処理における領域選択処理の手順を説明するためのフローチャートである。また、図２３は、領域選択処理を説明するための画面表示例を示す図である。
【００５８】
領域選択処理では、図２３（ａ）に示されるような領域選択ウィンドウ２３００に対して、マウス２０９を用いて領域を選択する。図２３（ａ）に示される領域選択ウィンドウ２３００には、領域選択の対象となる画像２３０１が表示されている。ここで、図１５に示されるフローチャートのステップＳ２０８における領域選択ウィンドウ２３００は、ステップＳ２０７で表示したウィンドウであり、ステップＳ５０４における領域選択ウィンドウ２３００は、ステップＳ５０３において強調されたウィンドウである。
【００５９】
まず、図６に示される選択した領域の領域データベース６０６中の領域ＩＤを格納することによって、選択した領域を示す「選択領域」に、初期値として「−１」を格納する（ステップＳ３０１）。すなわち、「選択領域」に「−１」が格納されている場合は、画像全体が選択されているものとみなす。
【００６０】
次に、領域選択ウィンドウ２３００の表示を更新する（ステップＳ３０２）。すなわち、「選択領域」によって示される領域を目視で確認できるようにするために、例えば、図８における「家」の領域８０２が選択されている場合には、図２３（ｂ）の符号２３０３に示されるように、選択された領域の輪郭を太線で表示する。また、別の方法として、図２３（ｆ）の符号２３１１に示されるように、選択された領域は通常通り表示し、選択された領域以外の領域の表示について、表示する画像の画素を１ドットおきに黒で置換して間引いて表示する等、選択された領域と選択されていない領域とで表示形態を変えて表示したりすることも可能である。
【００６１】
選択された領域の輪郭や、選択された領域と選択されていない領域との境界は、ステップＳ２０８における領域選択の場合は領域データベース６０６の「領域座標」を、また、ステップ５０４における領域選択の場合は検索結果リスト６０９の「領域座標」中の領域の座標を直線で結ぶことによって、容易に求めることが可能である。また、「選択領域」に「−１」が格納されている場合には、画像全体が選択されていることになるので、図２３（ａ）の符号２３０１に示されるように、画像の外枠が太線で表示される。
【００６２】
次に、ステップＳ３０３において、マウス２０９によって選択領域ウィンドウ中のマウスカーソルが示す１点がクリックされたかどうかによって以降の処理を分岐する。すなわち、クリックされた場合（Ｙｅｓ）、ステップＳ３０４へ進み、クリックされていない場合（Ｎｏ）、ステップＳ３１６へ進む。
【００６３】
また、ステップＳ３０４において、クリックされたマウスカーソルが示す位置が領域選択ウィンドウ中の図２３（ａ）の符号２３０１に示されるような画像の内側であるかどうかによって以降の処理をさらに分岐する。すなわち、マウスカーソルが示す位置が画像の内側の場合（Ｙｅｓ）、ステップＳ３０５へ進む。一方、図２３（ｆ）の符号２３１２に示されるように、マウスカーソルの位置が画像の外側の場合（Ｎｏ）、ステップＳ３０１へ戻って画像全体を選択した状態に移行する。すなわち、図２３（ｂ）の状態で、画像の外側が選択された場合は、ステップＳ３０１及びステップＳ３０２の処理を経て、図２３（ａ）の状態になる。
【００６４】
さらに、ステップＳ３０５において、「選択領域」の値によって以降の処理を分岐する。すなわち、「選択領域」の値が−１の場合（Ｙｅｓ）、画像全体が選択されているものとしてステップＳ３０６へ進む。一方、「選択領域」の値が−１でない場合（Ｎｏ）、特定の領域が選択されているものとしてステップＳ３０９へ進む。
【００６５】
ステップＳ３０６では、領域選択の対象となる画像２３０１の中で、ステップＳ３０３においてクリックされた位置を含む、親領域を持たない領域が検索される。検索の範囲となる画像の画像ＩＤは、領域選択処理がステップＳ２０８の場合は、ステップＳ２０１において登録された画像の画像ＩＤであり、領域選択処理がステップＳ５０４の場合は、ステップＳ５０３で強調された画像に対する画像ＩＤである。ステップＳ５０３で強調された画像に対する画像ＩＤは、後述する検索結果リスト６０９から求めることができる。そして、領域データベース６０６の中から、この画像ＩＤを持ち、クリックされた位置（座標）を含む「領域座標」に格納された多角形領域を持ち、かつ、「親領域」の値が−１である領域ＩＤを検索する。
【００６６】
ここで、領域ＩＤに対応した「領域座標」が、クリックされた位置（座標）を含むかどうかは、領域選択処理がステップＳ２０８の場合、若しくは、ステップＳ５０３において切替ボタン２１１０により画像全体が表示されている場合は、領域データベース６０６を検索し、「領域座標」を用いることにより確認できる。また、ステップＳ５０３において、ステップＳ４０６で作成されたサムネイル画像を表示している場合は、検索結果リスト６０９を検索し、「領域座標」を用いることにより確認でき、対応する領域ＩＤを求めることができる。
【００６７】
ステップＳ３０７では、ステップＳ３０６において検索した領域が見つかったかどうかによって以降の処理を分岐する。すなわち、領域が見つかった場合（Ｙｅｓ）、ステップＳ３０８へ進む。一方、領域が見つからなかった場合（Ｎｏ）、ステップＳ３０２へ戻る。
【００６８】
そして、ステップＳ３０８において、「選択領域」にステップＳ３０６で見つかった領域に対する領域ＩＤの値を格納することによって子領域を設定し、処理を終えるとステップＳ３０２へ進む。
【００６９】
例えば、ステップＳ３０２における処理の後、図２３（ａ）の状態で符号２３０２で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４及びステップＳ３０５の処理を経て、ステップＳ３０６へ進む。そして、ステップＳ３０６において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００４」の屋根ではなく、領域ＩＤ「１００００２」の家が選択される。次いで、ステップＳ３０７、ステップＳ３０８及びステップＳ３０２を経て図２３（ｂ）の状態になり、符号２３０３に示されるように、家の輪郭が太線で表示されるようになる。
【００７０】
一方、ステップＳ３０９では、クリックされたマウスカーソルが示す位置（座標）が、「選択領域」に格納されている領域ＩＤに対応した領域に含まれているかどうかによって以降の処理を分岐する。ここで、クリックされたマウスカーソルが示す位置（座標）が、「選択領域」に格納されている領域ＩＤに対応した領域に含まれているかどうかは、領域選択処理がステップＳ２０８の場合、若しくは、ステップＳ５０３において切替ボタン２１１０により画像全体が表示されている場合は、この領域ＩＤに対応した領域データベース６０６の「領域座標」に格納された多角形の座標と比較することにより、容易に判定することができる。
【００７１】
また、ステップＳ５０３において、ステップＳ４０６で作成されたサムネイル画像を表示している場合は、検索結果リスト６０９の「領域座標」に格納された対象の領域ＩＤに対応した多角形の座標と比較することにより、容易に判定することができる。その結果、選択領域に含まれている場合（Ｙｅｓ）、ステップＳ３１０へ進み、含まれていない場合（Ｎｏ）、ステップＳ３１３へ進む。
【００７２】
ステップＳ３１０では、領域データベース６０６中で、ステップＳ３０３においてクリックされた位置を含み、かつ、「選択領域」に格納されている領域ＩＤに対応する領域の子の領域を検索する。検索の範囲となる領域情報は、領域データベース６０６中で、「親領域」に「選択領域」に等しい領域ＩＤを持つ領域情報である。そして、領域データベース６０６の中のこれらの領域情報の中から、クリックされた位置（座標）を含む「領域座標」に格納された多角形領域を持つ領域情報を検索する。
【００７３】
また、クリックされた位置（座標）を含むかどうかを判定する前に、ステップＳ５０３においてステップＳ４０６で作成されたサムネイル画像を表示している場合は、「選択領域」に格納されている領域ＩＤに対応した検索結果リスト６０９の「領域座標」中の多角形の座標と、この領域ＩＤの領域データベース６０６の「領域座標」の関係から、ステップＳ３０３においてクリックされた座標を、画像データベース６０５に格納された画像上の座標に変換する。そして、クリックされた位置（座標）を含むかどうかは、クリックされた座標と、領域データベース６０６の「領域座標」に格納された多角形の座標と比較することにより、容易に判定することができる。
【００７４】
ステップＳ３１１では、ステップＳ３１０において検索した領域情報が見つかったかどうかによって次の処理を分岐する。すなわち、領域情報が見つかった場合（Ｙｅｓ）、ステップＳ３１２へ進み、領域情報が見つからなかった場合（Ｎｏ）、ステップＳ３０２へ進む。
【００７５】
そして、ステップＳ３１２において、「選択領域」にステップＳ３１０で見つかった「選択領域」の子の領域に対する領域情報の「領域ＩＤ」の値を格納し、処理を終えるとステップＳ３０２へ戻る。
【００７６】
例えば、ステップＳ３０２の後、図２３（ｂ）の状態で符号２３０４で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１０へ進む。そして、ステップＳ３１０において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００６」の窓ではなく、領域ＩＤ「１００００５」の壁が選択される。さらに、ステップＳ３１１、ステップＳ３１２及びステップＳ３０２を経て、図２３（ｃ）の状態になり、符号２３０５に示されるように、壁の輪郭が太線で表示される。
【００７７】
また、ステップＳ３１３では、「選択領域」に格納されている領域ＩＤに対応する領域の親の領域を辿っていき、ステップＳ３０３においてクリックされた位置を含む親領域を検索する。そして、検索を行う前に、ステップＳ５０３においてステップＳ４０６で作成されたサムネイル画像を表示している場合は、「選択領域」に格納されている領域ＩＤに対応した検索結果リスト６０９の「領域座標」中の多角形の座標と、この領域ＩＤの領域データベース６０６の「領域座標」の関係から、ステップＳ３０３においてクリックされた座標を、画像データベース６０５に格納された画像上の座標に変換する。
【００７８】
その後、領域データベース６０６中で、「選択領域」に格納された値に等しい領域ＩＤを持つ領域情報の「親領域」を対象の親領域とし、その値を「領域ＩＤ」とする領域情報の「領域座標」に格納された多角形領域が、クリックされた座標を含むかどうかを判定する。その結果、対象の親領域に含まれず、対象の親領域がさらに親領域を持っている場合、すなわち、対象の親領域の領域情報の「親領域」が「−１」でない場合は、対象の親領域の領域情報の「親領域」を対象の親領域とし、親領域がなくなるまで、クリックされた座標を含む親領域を検索する。
【００７９】
ステップＳ３１４では、ステップＳ３１３において検索した結果によって以降の処理を分岐する。すなわち、クリックされた位置を含む親領域が見つかった場合（Ｙｅｓ）、ステップＳ３１５へ進み、親領域が見つからなかった場合（Ｎｏ）、ステップＳ３０６へ進む。
【００８０】
例えば、ステップＳ３０２の後、図２３（ｄ）の状態で符号２３０９で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１３へ進む。そして、ステップＳ３１３において、親領域が見つからないと判定され、ステップＳ３１４を経てステップＳ３０６へ進む。さらに、ステップＳ３０６において、図１０に示される領域データベース６０６を検索した結果、領域ＩＤ「１００００３」の木が選択される。その後、ステップＳ３１１、ステップＳ３１２及びステップＳ３０２を経て、図２３（ｅ）の状態になり、符号２３１０に示されるように、木の輪郭が太線で表示される。
【００８１】
ステップＳ３１５では、「選択領域」に、ステップＳ３１３で見つかった親領域の領域情報の「領域ＩＤ」の値を格納することによって親領域を設定する。そして、処理を終えるとステップＳ３０２へ進む。
【００８２】
例えば、ステップＳ３０２の後、図２３（ｄ）の状態で符号２３０８で示される位置をクリックすると、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５及びステップＳ３０９を経て、ステップＳ３１３へ進む。そして、ステップＳ３１３において、親領域として領域ＩＤ「１００００２」の家が検索される。さらに、ステップＳ３１４、ステップＳ３１５及びステップＳ３０２を経て、図２３（ｂ）の状態になり、符号２３０３に示されるように、家の輪郭が太線で表示される。
【００８３】
一方、ステップＳ３１６においては、「選択領域」に対応した領域にマウスカーソルが置かれ、マウス２０９を用いて、「選択領域」に対応した領域が領域選択ウィンドウの外側にドラッグされたかどうかによって以降の処理が分岐する。すなわち、ドラッグされた場合（Ｙｅｓ）、領域選択処理を終了し、そうでなければ（Ｎｏ）、ステップＳ３１７へ進む。
【００８４】
ステップＳ３１７では、オペレータの指示により、領域選択処理を終了するかどうかによって以降の処理を分岐する。すなわち、領域選択処理を続行する場合（Ｎｏ）、ステップＳ３０３へ戻り、領域選択処理の終了が指示された場合（Ｙｅｓ）、領域選択処理を終了する。
【００８５】
次に、図１４のステップＳ１０４における画像検索プログラム（図５における画像検索プログラム５０２、図６における画像検索プログラム６０４）による画像検索処理について説明する。
【００８６】
図２１は、図１４のステップＳ１０４の画像検索処理中において表示されるディスプレイ２０８の画面表示例を示す図である。図２１において、符号２１０２で示されるエリアは、検索の様々な指示を行う検索指示エリアであり、符号２１０３で示されるエリアは、検索結果を表示する検索結果表示エリアである。
【００８７】
検索指示エリア２１０２中には、所望の画像の特徴を設定する画像条件エリア２１０４、所望の画像のキーワードを設定するキーワードエリア２１０６、画像条件エリア２１０４に手書で画像の特徴を入力するための指示を行う手書ボタン２１０５、検索条件エリア２１０４とキーワードエリア２１０６に入力された条件を満たす画像の検索を指示する検索ボタン２１０７、検索結果表示エリア２１０３に表示される検索結果の表示形態を切り替える切替ボタン２１１０が表示されている。
【００８８】
一方、検索結果表示エリア２１０３中には、符号２００８及び符号２００９に示されるように、検索された結果の画像のサムネイルの一覧が表示される。尚、サムネイル画像２００８、２００９は、それぞれ、検索された結果の画像のサムネイルである。
【００８９】
図１７は、図１４のステップＳ１０４における画像検索プログラムの動作を詳細に説明するためのフローチャートである。まず、所望の画像を検索するための条件の設定を行う検索条件設定処理が行われる（ステップＳ４０１）。本処理により、図６に示される検索条件リスト６０７が作成される。尚、本検索条件設定処理及び検索条件リスト６０７の詳細については、図１８及び図１１を用いて後述する。
【００９０】
次に、画像データベース６０５の中から、ステップＳ４０１で設定された検索条件と比較するための対象となる画像を一つ一つ取り出す（ステップＳ４０２）。具体的には、画像データベース６０５の先頭から「画像ＩＤ」を、一つ一つ順番に取り出していく。対象となる画像を取り出せた場合（ステップＳ４０３においてＮｏの場合）、ステップＳ４０４へ進む。一方、全ての画像を取り出し終えた場合（ステップＳ４０３においてＹｅｓの場合）、ステップＳ４０３を経てステップＳ４０８へ進む。
【００９１】
ステップＳ４０４は、ステップＳ４０２で取り出した画像に対して、ステップＳ４０１で設定した検索条件との類似度を算出する類似度算出処理である。本処理により、ステップＳ４０２で取り出した画像ＩＤを基に、領域データベース６０６を参照し、検索条件リスト６０７と照らし合わせて演算を行うことにより、領域比較バッファ６０８が作成され、ステップＳ４０２で取り出した画像の類似度が求まる。尚、本類似度算出に係る処理の詳細は図１９を用いて後述する。
【００９２】
また、ステップＳ４０５においては、ステップＳ４０４で求めた類似度が所定のしきい値よりも高いかどうかによって以降の処理を分岐する。すなわち、類似度が所定のしきい値よりも高い場合（Ｙｅｓ）、ステップＳ４０２で取り出した画像は、ステップＳ４０１で設定した検索条件を満たしたものとして、ステップＳ４０６へ進む。一方、類似度が所定のしきい値よりも低い場合（Ｎｏ）、ステップＳ４０２で取り出した画像は、ステップＳ４０１で設定した検索条件を満たさないものとして、ステップＳ４０２へ進む。
【００９３】
ステップＳ４０６では、検索結果表示エリア２１０３に表示する検索結果の画像のサムネイル画像を作成するサムネイル作成処理が行われる。本処理では、画像データベース６０５、領域データベース６０６及び領域比較バッファ６０８を用いてサムネイル画像を作成し、さらに、検索条件リスト６０７中の各条件に対応したサムネイル画像中の各領域を表すための「領域座標」が求められる。本処理の詳細については図２０を用いて後述する。
【００９４】
また、ステップＳ４０７は、ステップＳ４０１で設定した条件を満たした画像に関する情報を、検索結果リスト６０９へ追加する処理である。ここで、図１３は、検索結果リストのデータ構成例を示す図である。図１３に示すように、本実施形態においては、ステップＳ４０１で設定された条件を満たす画像に関する情報（以降、「検索結果情報」と称す。）は、「画像ＩＤ」、「領域ＩＤ」、「条件番号」、「サムネイル画像」、「領域座標」及び「類似度」から構成される。
【００９５】
まず、「画像ＩＤ」は、ステップＳ４０２で取り出した画像の画像ＩＤである。次に、「領域ＩＤ」は、検索条件リスト６０７の各条件を満たす画像中の領域に対する領域データベース６０６中の領域ＩＤであり、ステップＳ４０４において作成した領域比較バッファ６０８に格納されている領域ＩＤから求めることができる。尚、複数の領域ＩＤが存在する場合は、基本的に、領域比較バッファ６０８に格納された順番で、「，」で区切って格納される。また、領域比較バッファ６０８に複数の同一の領域が存在する場合には、一つのみが格納され、その領域に対応する条件番号は個別条件類似度が最も高い条件番号が選ばれる。
【００９６】
また、「条件番号」には、「領域ＩＤ」が満たしている条件の番号が格納され、領域比較バッファ６０８から求めることができる。さらに、「サムネイル画像」には、ステップＳ４０６で作成したサムネイル画像のファイル名が格納される。さらにまた、「領域座標」には、ステップＳ４０６で作成したサムネイル画像中で「領域ＩＤ」に格納された領域を示す多角形の頂点の座標が格納される。
【００９７】
「領域座標」中の一つの領域に対する表現は、領域データベース６０６の領域座標と同じように表現される。一方、検索結果リスト６０９の「領域座標」には、複数の領域ＩＤに対応した領域が格納されるので、各領域ＩＤに対応した領域に関する情報は、「，」で区切って格納され、「領域ＩＤ」に格納された領域ＩＤと同じ順番で格納される。そして、「類似度」には、ステップＳ４０４で求めた類似度が格納される。ステップＳ４０７では、これらの検索結果情報が、検索結果リスト６０９の末尾に追加される。上述した処理を終えるとステップＳ４０２へ進む。
【００９８】
ステップＳ４０８は、検索結果をディスプレイ２０８へ表示する処理である。図２１における検索結果表示エリア２１０３には、検索結果リスト６０９の先頭から順番に、「サムネイル画像」で示される画像を左上から右と順番に表示される。また、検索指示エリア２１０２中のキーワードエリア２１０６に表示されているキーワードの色の変更を行う。後述するように、ステップＳ４０６のサムネイル作成処理において、ステップＳ４０１で作成した検索条件リスト６０７の各条件を満たす各領域の輪郭は、条件番号毎に決められた異なる色の太線で縁取られているようにする。ここで、図２１の符号２１０９で示されるサムネイル画像中では、色ではなく「点で輪郭強調」、「輪郭強調なし」、「太線で輪郭強調」によって表現しているが、このような表現であってもよい。
【００９９】
また、キーワードエリア２１０６に表示されているキーワードの文字の色も、これと同様に、条件番号毎に決められた色で表示する。或いは、キーワード文字列の周りを条件番号毎に決められた異なる色の太線で縁取ってもよい。また、検索指示エリア２１０２中の画像条件エリア２１０４に表示されている各領域の縁取りの太線の色の変更又は追加を行う。この場合もキーワードの場合と同じように、条件番号毎に決められた色で、画像条件エリア２１０４に表示されている各領域を太線で縁取る。
【０１００】
後述するように、すでに、画像条件エリア２１０４に表示されている領域には、すでに特定の色で縁取られている場合がある。その場合には、縁取りの太線の色は変更になり、そうでなければ、縁取りの太線が追加されることになる。このようにすることによって、個々の画像の特徴としての条件と、キーワードとしての条件と、検索結果中の領域が満たした条件との対応関係が容易に把握できるようになるので、ユーザは検索結果の確認を簡単に行うことができるようになる。そして、処理を終えると、ステップＳ４０９へ進む。
【０１０１】
ステップＳ４０９は、検索結果の確認を行うために表示を切り替える処理である。図２１の切替ボタン２１１０をマウス２０９でクリックすることによって、検索結果表示エリア２１０３に表示されているサムネイルを、検索結果リスト６０９の「サムネイル画像」が示す画像から、画像データベース６０５の「ファイル名」が示す画像の縮小画像の表示に切り替えられる。さらに、切替ボタン２１１０をクリックすることによって、再び、検索結果表示エリア２１０３に表示されているサムネイルを、検索結果リスト６０９の「サムネイル画像」が示す画像の表示に戻す。
【０１０２】
そして、続いて領域比較バッファ６０８内の条件番号１に対する領域の太線をブリンク（ｂｌｉｎｋ）させ、また、検索指示エリア２１０２の中で、検索条件リスト６０７の条件番号１に対する画像条件エリア２１０４中の領域の太線、及び、キーワードエリア２１０６中のキーワードの文字列をブリンクさせる。ここで「条件番号」とは、個々の条件情報を識別するための番号であり、検索条件リスト６０７の先頭の条件情報の条件番号を１とする連番になっているものである。この検索条件リスト６０７については後述する。
【０１０３】
さらに、切替ボタン２１１０のクリックを繰り返すと、同様の処理を検索条件リスト６０７の条件番号２、条件番号３へと順次繰り返していき、ブリンクさせる条件に対応した領域及びキーワードを切り替えていく。そして、検索条件リスト６０７の全ての検索条件に対しての処理を終えると、最初に切替ボタン２１１０をクリックする前の状態、すなわち、ステップＳ４０８の処理を終えた直後の状態に戻る。尚、ブリンクさせる対象の太線は、検索結果リスト６０９及び検索条件リスト６０７の「領域座標」を用いて、容易に求めることができる。
【０１０４】
また、切替ボタン２１１０をクリックしない場合は、キーワードエリア２１０６に表示されているキーワード、若しくは、画像条件エリア２１０４に表示されている領域をマウス２０９でクリックする。これによって、クリックされたマウスカーソルが示す座標から、対象となるキーワード文字列、若しくは、領域を検索条件リスト６０７を検索して求め、それに対応する条件番号を求めることによって、条件番号に対応した画像条件エリア２１０４中の領域の太線、及び、キーワードエリア２１０６中のキーワードの文字列をブリンクすることができる。さらに、検索結果表示エリア２１０３に表示されているサムネイル中の条件番号に対する領域比較バッファ６０８内の領域に対応した太線をブリンクする。
【０１０５】
ステップＳ４１０は、オペレータの指示によって処理の終了の実行を分岐する。すなわち、マウス２０９によって終了ボタン２１１２がクリックされた場合（Ｙｅｓ）、画像検索処理の終了が指示されたものとみなして画像検索処理を終了する。一方、クリアボタン２１１１がクリックされた場合（Ｎｏ）、再度画像検索を行うものとみなして画像条件エリア２１０４の表示とキーワードエリア２１０６の表示をクリアし、検索条件リスト６０７を初期化してステップＳ４０１へ進む。
【０１０６】
次に、ステップＳ４０１における検索条件指定処理について、図１１と図１８を用いて説明する。この検索条件指定処理によって、検索条件リスト６０７に画像を検索するための検索条件が格納される。
【０１０７】
図１１は、本実施形態における検索条件リスト６０７のデータ構成例を示す図である。図１１において、各行は、所望の画像を検索するための一つ一つの条件を示しており、個々の条件に関する各行の情報を以降では「条件情報」と称す。本実施形態における条件情報は、図１１に示されるように、「条件番号」、「領域座標」、「キーワード」、「色特徴量」及び「親領域」から構成される。
【０１０８】
まず、「条件番号」は、個々の条件情報を識別するための番号であり、検索条件リスト６０７の先頭の条件情報の条件番号を１とする連番である。また、「領域座標」は、画像条件エリア２１０４において、検索の条件となる部分画像、すなわち、領域を入力した場合に、その領域を多角形の頂点で表現したものであり、頂点の座標のリストを格納する。その表現方法は、領域データベース６０６の領域座標と同じである。図１１における条件番号１に対する条件情報におけるように、検索の条件となる画像が指定されない場合は、「領域座標」には何も格納されない。
【０１０９】
一方、「キーワード」には、キーワードエリア２１０６において、検索の条件となる内容を表現するキーワード等の言葉が入力された場合に，これらの言葉の文字列が格納される。これらの文字列は、１単語で構成される必要はなく、自然な文章で表現することも可能である。「キーワード」には、複数の内容を格納することが可能であり、その場合は、内容を表現する文字列を「，」によって区切ることにより、内容を切り分けることができる。図１１における条件番号３に対する条件情報のように、検索の条件となるキーワードが指定されない場合は、「キーワード」には何も格納されない。
【０１１０】
また、「色特徴量」には、画像条件エリア２１０４において、検索の条件となる部分画像、すなわち、領域を入力した場合に、その領域の色特徴量が格納される。その表現方法は、領域データベース６０６の色特徴量と同じである。図１１における条件番号１に対する条件情報のように、検索の条件となる画像が指定されない場合は、「色特徴量」には何も格納されない。
【０１１１】
さらに、「親領域」には、後述するように、検索結果表示エリア２１０３に表示されているサムネイル中の領域情報が、画像条件エリア２１０４にコピーされた場合の有効な値が格納される。後述するように、コピーされる領域が領域データベース６０６の中で、子の領域を持つ場合は、子孫の領域も辿って、それらの領域の情報もコピーされる。このような場合は、親の領域を持つ検索情報の「親領域」には、親の検索情報の「条件番号」が格納される。親の領域を持たない条件情報の「親領域」には、無効値である「−１」が格納される。
【０１１２】
図１８は、図１７の画像検索プログラムの処理におけるステップＳ４０１の検索条件指定処理の手順を詳細に説明するためのフローチャートである。まず、オペレータの操作によって以降の処理を分岐する（ステップＳ５０１）。すなわち、図２１における手書ボタン２１０５がマウス２０９によってクリックされるとステップＳ５０２へ進む。また、検索結果表示エリア２１０３に表示されているサムネイル画像がマウス２０９によってクリックされるとステップＳ５０３へ進む。さらに、画像エリア２１０４がマウス２０９によってクリックされるとステップＳ５０６へ進む。さらにまた、キーワードエリア２１０６がマウス２０９によってクリックされるとステップＳ５０８へ進む。そして、検索ボタン２１０７がマウス２０９によってクリックされると検索条件指定処理が終了する。
【０１１３】
ステップＳ５０２は、手書ボタン２１０５がマウス２０９によってクリックされた場合の処理であり、マウス２０９を用いた手書入力によって画像条件エリア２１０４に検索の条件となる図形等の部分画像が入力される。そして、入力された部分画像、すなわち、領域に対して「領域座標」を取り出し、また、この領域の「色特徴量」を取り出す。マウスを用いた図形の入力に関する技術は、例えば、マイクロソフト社のＷｏｒｄ２０００の中の描画アプリケーション等で一般的に行われている処理であり、公知であるので詳細な説明は省略する。
【０１１４】
ここで、入力された領域の「領域座標」は、入力された領域に外接する多角形を求めることによって、多角形の頂点を求めることができる。また、領域の「特徴量」の求め方は、前述した方法と同様の方法を用いる。このようにして求められた「領域座標」と「色特徴量」は、検索条件リスト６０７に格納されている有効な条件情報の直後に追加される。これによって、「条件番号」も自動的に算出されて格納される。この結果、「キーワード」がクリアされ、「親領域」には「−１」が格納される。そして、処理を終えると、ステップＳ５０１へ進む。例えば、ステップＳ５０２を終えた状態では、図１１の条件番号３に対する条件情報のようになる。
【０１１５】
また、ステップＳ５０３は、検索結果表示エリア２１０３に表示されているサムネイルがマウス２０９によってクリックされた場合の処理である。サムネイルがクリックされると、クリックされたサムネイルを表示する領域が太線で縁取られて強調される。また、検索結果表示エリア２１０３に表示されているサムネイル画像の中の領域が太線で縁取られている場合は、その縁取りは取り除かれる。
【０１１６】
例えば、図２１におけるサムネイル２１０９をクリックすると、図２２に示される検索結果表示エリア２１０３の符号２２０１で示されるようになる。図２２は、画像検索プログラムにおいて領域選択処理を行うために、検索結果表示エリアの画像を選択した状態を説明するための画面表示例を示す図である。そして、処理を終えると、ステップＳ５０４へ進む。
【０１１７】
ステップＳ５０４は、ステップＳ５０３で強調されたサムネイル画像の中から、領域を選択する領域選択処理である。本処理の詳細については、図１６を用いて上述した通りである。本処理の中で領域を選択し、マウス２０９を用いて選択した領域をドラッグし、画像条件エリア２１０４の所望の位置にドロップすることによってステップＳ５０５へ進む。
【０１１８】
ステップＳ５０５では、ステップＳ５０４で選択した領域並びにその領域の子孫の領域を、画像条件エリア２１０４の中のドロップされた位置に表示する。さらに、ステップＳ５０５は、ステップＳ５０４で選択した領域に関する情報及びその領域の全ての子孫の領域に関する情報に基づいて、検索条件リスト６０７の検索条件として追加する処理である。
【０１１９】
ここで、ステップＳ５０４で選択した領域の領域ＩＤが、検索結果リスト６０９に存在しない場合は、領域データベース６０５の「親領域」を辿っていき、検索結果リスト６０９に存在する親領域の領域ＩＤを求める。この領域ＩＤ、若しくは、ステップＳ５０４で選択した領域の領域ＩＤの検索結果リスト６０９の「領域座標」に格納された対応する多角形の座標と、領域データベース６０６の中の「領域座標」の多角形の座標の関係から、検索結果リスト６０９中の多角形の領域と領域データベース６０６の多角形の領域の縮小率を求めることができる。
【０１２０】
この縮小率に基づいて、ステップＳ５０４で選択した領域並びにその領域の子孫の領域の多角形の座標を、それぞれ縮小した座標に変換する。また、ステップＳ５０４で選択した領域の画像条件エリア２１０４の中のドロップされた位置の多角形の座標と、前述したようにして求められた縮小された多角形の座標の関係から、領域の移動量を求めることができる。そこで、ステップＳ５０４で選択した領域並びにその領域の子孫の領域の多角形の縮小座標を、画像条件エリア２１０４の中の座標にシフトする。このようにして得られた縮小された領域座標を検索条件リスト６０７の「領域座標」に、ステップＳ５０４で選択した領域から順番に、順次、個別の条件として追加していく。
【０１２１】
検索条件リスト６０７の「キーワード」と「色特徴量」は、領域データベース６０６の各領域に対応した「キーワード」と「色特徴量」をそれぞれコピーする。検索条件リスト６０７の「親領域」には、ステップＳ５０４で選択した領域に対しては、「−１」を格納し、それ以外の領域に対しては、領域データベース６０６の「親領域」の値を参照し、検索条件リスト６０７の「条件番号」を用いて、同じ親子関係が維持されるように格納する。
【０１２２】
例えば、図２３（ｃ）の状態で、壁２３０５をドラッグして、画像条件エリア２１０４へドロップすると、図１１の検索条件リスト６０７の条件番号４、５に示されるように、壁の領域だけでなく、窓の領域の情報も条件として登録される。また、ステップＳ５０４において、画像全体を選択すると、ステップＳ５０５において、選択された画像に含まれる全ての領域の情報が、検索条件リスト６０７へ追加される。
【０１２３】
検索条件リスト６０７へ検索情報を追加した後、画像条件エリア２１０４のドロップされた位置に、ステップＳ５０４で選択した領域を表示し、また、キーワードエリア２１０６に、今回追加された検索条件の「キーワード」に格納された文字列を表示する。その際、個々の検索条件ごとに改行を行って表示を行う。そして、処理を終えると、ステップＳ５０１へ進む。
【０１２４】
ステップＳ５０６は、マウス２０９によって、画像条件エリア２１０４がクリックされた場合の処理である。すなわち、マウス２０９を用いて、画像条件エリア２１０４に表示されている領域を選択する処理である。ここでは、検索条件リスト６０７の「条件番号」、「座標領域」及び「親領域」を参照して、ステップＳ２０８と同じようにして、領域の選択を行う。この場合、親子関係は、領域ＩＤの代わりに条件番号を用いて把握する。選択された領域は、画像条件エリア２１０４の中では、ステップＳ２０８と同じように、太線で輪郭が縁取りされて表示される。また、検索条件リスト６０７の中で、選択された領域に対するキーワードが存在する場合は、キーワードエリア２１０６に表示されるキーワードが、他のキーワードとは異なる色で表示される。そして、処理を終えると、ステップＳ５０７へ進む。
【０１２５】
ステップＳ５０７は、必要に応じて、ステップＳ５０６で選択した領域のサイズや位置や色を変更する処理である。ここで、マウスを用いた図形（領域）のサイズや位置や色の変更は、マイクロソフト社のＷｏｒｄ２０００等の中の描画アプリケーションで一般的に行われている処理であり、公知であるので詳細な説明は省略する。これらの変更にしたがって、検索条件リスト６０７中の「領域座標」と「色特徴量」の値が変更される。また、選択された領域が子の領域を持つ場合は、その子孫を辿って、同様の変更が行われる。そして、処理を終えるとステップＳ５０１へ進む。
【０１２６】
ステップＳ５０８は、キーワードエリア２１０６がクリックされたときの処理であり、キーワードの入力又は編集を行う。画像条件エリア２１０４に何も入力されていない場合、或いは、画像条件エリア２１０４の中の領域が選択されていない場合、或いは、画像条件エリア２１０４全体が選択されている場合は、画像条件エリア２１０４中の領域とは無関係に、キーワードを入力することができる。そして、キーワードエリア２１０６に表示されている文字列が存在している場合は、これらの文字列を黒色で表示する。さらに、キーワードエリア２１０６に表示されている末尾の文字列の行を改行し、新たな末尾の行の先頭にカーソルを表示する。
【０１２７】
また、キーワードをキーボード２０７から入力すると、入力された文字列は赤色で表示される。マウス２０９でキーワードエリア２１０６以外の場所をクリックすると、キーワード入力が終了し、赤色で新たに入力されたキーワードが検索条件リスト６０７へ格納される。例えば、図１１の条件番号１に示すように、この場合は、「領域座標」や「色特徴量」はクリアされ、「親領域」に「−１」を格納する。画像条件エリア２１０４の中の領域が選択されており、その領域に対する検索条件リスト６０７の「キーワード」に文字列が格納されている場合は、対応するキーワードエリア２１０６中の文字列の色を赤色で表示し、他の文字列を黒色で表示して両者の識別ができるようにし、これらの文字列の先頭にカーソルを表示し、これらの文字列の編集及び新たなキーワードの入力が行えるようになる。新たに入力される文字列は、例えば赤色で表示される。
【０１２８】
画像条件エリア２１０４の中の領域が選択されており、その領域に対する検索条件リスト６０７の「キーワード」に文字列が格納されていない場合は、キーワードエリア２１０６に表示されている文字列を黒色で表示する。また、キーワードエリア２１０６に表示されている末尾の文字列の行を改行し、新たな末尾の行の先頭にカーソルを表示する。これによって、新たなキーワードの入力が行えるようになる。尚、新たに入力される文字列は、例えば赤色で表示される。
【０１２９】
また、マウス２０９でキーワードエリア２１０６以外の場所をクリックすると、キーワードの入力／編集が終了し、赤色で入力／編集されたキーワードが、画像条件エリア２１０４の中の選択されている領域に対する検索条件リスト６０７中の条件情報の「キーワード」へ格納される。そして、処理を終えるとステップＳ５０１へ進む。尚、キーワードの内容が複数ある場合は、内容を表現する文字列を「，」によって区切って入力を行う。尚、上述した実施形態では、一例として赤と黒を用いているが、本発明の適用はこの色の組み合わせ以外であってもよい。また、色の異同に関わらず、通常の文字と下線付きの文字や影付文字等の区別を用いてもよい。
【０１３０】
次いで、ステップＳ４０４における類似度算出処理について、図１２と図１９を用いて説明する。
【０１３１】
図１２は、ステップＳ４０２で取り出した画像中の領域に対して、ステップＳ４０１で指定した検索条件と比較した結果を格納する領域比較バッファ６０８のデータ構成例を示す図である。図１２に示されるように、検索条件リスト６０７の各条件情報に対して類似度が最も高い領域の領域ＩＤが「領域ＩＤ」に格納され、その類似度が「個別条件類似度」に格納され、条件情報の条件番号が「条件番号」に格納されている。
【０１３２】
一方、図１９は、ステップＳ４０４における類似度算出処理を説明するためのフローチャートである。まず、検索条件リスト６０７とステップＳ４０２で取り出した画像の類似度を格納する「類似度」の値に「０」を格納し初期化する（ステップＳ６０１）。また、領域バッファ６０８の内容についてもクリアして初期化する。
【０１３３】
次に、検索条件リスト６０７中の条件情報とステップＳ４０２で取り出した画像中の領域の類似度を格納する「個別類似度」の値に「０」を格納して初期化し、検索条件リスト６０７の先頭から一つずつ条件情報を取り出す（ステップＳ６０２）。そして、条件情報が取り出せたかどうかによって以降の処理を分岐する（ステップＳ６０３）。その結果、条件情報を取り出すことができた場合（Ｙｅｓ）、ステップＳ６０４へ進む。一方、検索条件リスト６０７から全ての条件情報を取り出し終えた場合（Ｎｏ）、ステップＳ６０９へ進む。
【０１３４】
ステップＳ６０４では、領域データベース６０６の中からステップＳ４０２で取り出した画像に対する領域情報を一つずつ順番に取り出す。そして、ステップＳ６０５において、領域情報が取り出せた場合（Ｎｏ）、ステップＳ６０６へ進む。一方、ステップＳ４０２で取り出した画像に対する領域情報を全て取り出し終えた場合（Ｙｅｓ）、ステップＳ６０７へ進む。
【０１３５】
ステップＳ６０６は、ステップＳ６０２において取り出した条件情報と、ステップＳ６０４で取り出した領域情報の類似度Ｓｉｍを算出し、算出された類似度Ｓｉｍの値が「個別類似度」に格納されている値よりも大きかった場合は、算出された類似度Ｓｉｍの値で「個別類似度」の値を置き換える。尚、「個別類似度」を置き換える際に、ステップＳ６０４で取り出した領域情報の領域ＩＤを「領域候補」として記憶しておく。
【０１３６】
ここで、類似度Ｓｉｍの算出方法として、ステップＳ６０２において取り出した条件情報に格納されているタイプにしたがって、以下の３つの場合に分けて算出する。
【０１３７】
（１）全ての情報が格納されている場合
Ｓｉｍ ＝ （（ｗ１×Ｓ１）＋（ｗ２×Ｓ２）＋（ｗ３×Ｓ３）＋（ｗ４×Ｓ４））／（ｗ１＋ｗ２＋ｗ３＋ｗ４）
（２）「キーワード」の情報が格納されていない場合
Ｓｉｍ ＝ （（ｗ２×Ｓ２）＋（ｗ３×Ｓ３）＋（ｗ４×Ｓ４））／（ｗ２＋ｗ３＋ｗ４）
（３）「領域座標」の情報が格納されていない場合
Ｓｉｍ ＝ Ｓ１
ここで、Ｓ１、Ｓ２、Ｓ３、Ｓ４は、それぞれ、キーワード類似度、色特徴量類似度、サイズ類似度、位置類似度であり、ｗ１、ｗ２、ｗ３、ｗ４は、それぞれの類似度に対する重みである。
【０１３８】
キーワード類似度Ｓ１は、ステップＳ６０２において取り出した条件情報中の「キーワード」とステップＳ６０４で取り出した領域情報中の「キーワード」から算出する。それぞれ、「，」によって、複数の文字列が格納されているので、全ての組み合わせを比較する。その結果、完全に一致する文字列があれば、Ｓ１の値を「１．０」とする。また、自然な文章で文字列が構成されている場合があるので、完全に一致する文字列が見つからない場合は、文字列に形態素解析を行い、文字列を単語に分割し、名詞と形容詞と動詞の単語のみを取り出し、これらの単語の文字列を比較する。このようにして比較して一致する単語の個数を比較するために使用した単語の個数で割った値をＳ１の値とする。
【０１３９】
また、色特徴量類似度Ｓ２は、ステップＳ６０２において取り出した条件情報中の「色特徴量」とステップＳ６０４で取り出した領域情報中の「色特徴量」から算出する。ヒストグラムの合計の度数が１０００で正規化されているので、色特徴量類似度Ｓ２を以下の式に示すように、各「色特徴量」の要素の差の絶対値の和から求めることができる。
【０１４０】
Ｓ２＝１−（Σ｜ｈ１ｉ−ｈ２ｉ｜）／２０００
ここで、ｈ１ｉは、ステップＳ６０２において取り出した条件情報中の「色特徴量」のｉ番目の要素、ｈ２ｉは、ステップＳ６０４で取り出した領域情報中の「色特徴量」のｉ番目の要素である。
【０１４１】
さらに、サイズ類似度Ｓ３は、ステップＳ６０２において取り出した条件情報中の「領域座標」とステップＳ６０４で取り出した領域情報中の「領域座標」から算出する。サイズの類似度を算出するために、領域の多角形の面積から算出する方法も公知技術として挙げられるが、ここでは簡単のため、領域の外接矩形を求め、外接矩形の面積から算出する方法で行う。
【０１４２】
外接矩形を求めるためには、それぞれの「領域座標」の中から、最小、最大のｘ座標、ｙ座標を求めることによって、簡単に求めることができる。ステップＳ６０２において取り出した条件情報中の「領域座標」は、画像条件エリア２１０４の中での座標であり、画像データベース６０５に格納されている画像とはスケールが異なるので、画像条件エリア２１０４の縦と横の画素数をそれぞれ、１２０とすると、領域情報の面積を以下のようにしてスケールを合わせる。
【０１４３】
（領域情報の面積） ← （領域情報の面積）×（（１２０×１２０）／（（画像の縦サイズ）×（画像の横サイズ）））
画像の縦サイズと画像の横サイズは、画像データベース６０５から求めることができる。
【０１４４】
その後、サイズ類似度Ｓ３を以下のようにして算出することができる。
【０１４５】
（１）領域情報の面積のほうが条件情報の面積よりも大きい場合
Ｓ３＝１−（（条件情報の面積）／（領域情報の面積））
（２）領域情報の面積のほうが条件情報の面積よりも小さい場合
Ｓ３＝１−（（領域情報の面積）／（条件情報の面積））
さらにまた、位置類似度Ｓ４も、ステップＳ６０２において取り出した条件情報中の「領域座標」とステップＳ６０４で取り出した領域情報中の「領域座標」から算出する。位置類似度Ｓ４を算出するために、領域の多角形の重心から算出する方法も公知技術として挙げられるが、ここでも簡単のために、領域の外接矩形を求め、外接矩形の重心から算出する方法で行う。
【０１４６】
外接矩形は、前述のように簡単に求めることができる。サイズ類似度を求めたときと同様に、スケールを合わせるために、領域情報の重心の座標を以下のように補正する。
【０１４７】
（領域情報のｘ座標） ← （領域情報のｘ座標）×（１２０ ／（画像の横サイズ））
（領域情報のｙ座標） ← （領域情報のｙ座標）×（１２０ ／（画像の縦サイズ））
その後、位置類似度Ｓ４を以下のようにして算出することができる。
【０１４８】
Ｓ４＝ １− （（条件情報と領域情報の重心の距離）／ （１２０×√２））
ステップＳ６０６の処理を終えるとステップＳ６０４へ進む。
【０１４９】
ステップＳ６０７は、ステップＳ６０４からステップＳ６０６までにおいて比較した結果を領域比較バッファ６０８へ登録する処理である。すなわち、「個別類似度」の値が０でなければ、ステップＳ６０２で取り出した条件情報の条件番号の値を「条件番号」に、「領域候補」の値を「領域ＩＤ」に、「個別類似度」の値を「個別条件類似度」にそれぞれ格納する。一方、「個別類似度」の値が０であれば、領域比較バッファ６０８への登録は行わない。そして、処理を終えるとステップＳ６０８へ進む。ステップＳ６０８では、「類似度」に「個別類似度」の値を加算し、ステップＳ６０２へ進む。
【０１５０】
一方、ステップＳ６０９では、「類似度」に格納された値を、検索条件リスト６０７に格納された条件情報の個数で正規化する処理である。ここでは、「類似度」に格納された値を条件上のほうの個数で割った値で、「類似度」の値を置き換える。そして、処理を終えると類似度算出処理を終了する。
【０１５１】
次いで、ステップＳ４０６におけるサムネイル作成処理について、図２０を用いて説明する。図２０は、ステップＳ４０６におけるサムネイル作成処理の詳細を説明するためのフローチャートである。
【０１５２】
まず、ステップＳ４０２で取り出した画像上で、領域比較バッファ６０８に格納された領域の中から、検索条件リスト６０７の中で親領域を持たない領域を取り囲む矩形領域を作成する（ステップＳ７０１）。具体的には、領域比較バッファ６０８に格納された領域ＩＤを一つずつ取り出し、対応する条件番号をもとに、検索条件リスト６０７の対応する「親領域」の値が「−１」である領域に対してのみ、領域データベース６０６中の対応するの領域座標から、最小のｘ座標、ｙ座標、並びに、最大のｘ座標、ｙ座標を求めることによって、領域に外接する矩形領域を求めることができる。ここで、矩形領域を合成してサムネイルを作成する関係上、外接する矩形領域よりも大きい矩形領域を作成する。そのためには、最小のｘ座標、ｙ座標の値から所定の値を引き、最大のｘ座標、ｙ座標に所定の値を加えることによって、目的の矩形領域を作成することができる。これらの計算により、座標の値が画像内の値に収まるようにすることは言うまでもない。
【０１５３】
例えば、図８に示される画像に対して、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００２の領域が存在する場合は、図１０に示される領域データベース６０６から、図２４（ａ）に示されるように、車と家を取り囲む矩形領域を求めることができる。図２４は、サムネイル作成処理の一実施形態の様子を説明するための図である。同様に、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００３の領域が存在する場合は、図２５（ａ）に示されるように、車と木を取り囲む矩形領域を求めることができる。また、図２５は、サムネイル作成処理の別の実施形態の様子を説明するための図である。
【０１５４】
ステップＳ７０２においては、ステップＳ７０１で求めた矩形領域が重なっているものに対して、矩形領域を統合する。２つの矩形領域が重なっているかどうかは、２つの矩形領域の最小のｘ座標、ｙ座標、並びに、最大のｘ座標、ｙ座標を比較することによって、容易に判定できる。２つの矩形領域が重なっている場合は、２つの最小のｘ座標、ｙ座標のうち小さいほうの値を、それぞれ新たな矩形領域の最小のｘ座標、ｙ座標とし、同様に、２つの最大のｘ座標、ｙ座標のうち大きいほうの値を、それぞれ新たな矩形領域の最大のｘ座標、ｙ座標とすればよい。
【０１５５】
このようにして、２つの領域を比較を繰り返すことによって、領域の統合を進めていく。領域の統合ができなくなれば、ステップＳ７０３へ進む。例えば、図２４（ａ）に示される２つの矩形領域が存在する場合は、統合された結果、図２４（ｂ）に示される矩形領域が作成される。
【０１５６】
ステップＳ７０３において、ステップＳ７０２までにおいて求められた各矩形領域のサムネイル画像上での配置位置を決定する。最も簡単な方法としては、ステップＳ７０２までにおいて求められた全ての矩形領域を包含する最小の矩形領域を求め、それをサムネイル画像とすることである。このような矩形領域を求めるためには、各矩形領域の中から、最小のｘ座標、ｙ座標を求め、これを矩形領域の左上の座標とし、最大のｘ座標、ｙ座標を求め、これを矩形領域の右下の座標とすればよい。
【０１５７】
本実施形態では、サムネイル画像の最大の横サイズと縦サイズは、それぞれ、１２０画素としているので、この矩形領域の縦横どちらかが長いほうのサイズが１２０画素となるように、矩形領域を縮小或いは拡大すればよい。これによって、サムネイル画像上では、全てを包含する矩形領域の左上の座標の値がｘ、ｙともに０になり、右下の座標のｘ、ｙのどちらか、或いは、両方が１２０になる。このような処理により、例えば、ステップＳ７０２で、図２４（ｂ）に示される矩形領域が得られた場合は、サムネイル画像での矩形領域の配置は図２４（ｃ）のようになり、図２５（ａ）に示される矩形領域が得られた場合は、サムネイル画像での矩形領域の配置は図２７のようになる。処理を終えると、ステップＳ７０４へ進む。図２７は、サムネイル作成処理によるサムネイル画像の作成結果を説明するための図である。
【０１５８】
ステップＳ７０４では、サムネイル画像上での領域比較バッファ６０８に格納された領域を表す座標を、領域データベース６０６に格納された領域座標を変換することによって求める。ステップＳ７０３で得られた全ての矩形領域を包含する最小の矩形領域が、横長である場合、この矩形領域の左上のｘ座標の値をｘ０、ｙ座標の値をｙ０とし、横サイズをｘ１とし、領域データベース６０６に格納された領域座標のｘ座標をｘ、ｙ座標をｙとすると、変換後のサムネイル上での領域座標のｘ座標ｘ’、ｙ座標ｙ’は、以下の式によって求めることができる。
【０１５９】
ｘ’＝ （１２０／ｘ１）ｘ − ｘ０
ｙ’＝ （１２０／ｘ１）ｙ − ｙ０
縦長である場合も、同様にして変換することができる。ここで求めた領域座標の値は、検索結果リスト６０９の「領域座標」に格納される。処理を終えるとステップＳ７０５へ進む。
【０１６０】
ステップＳ７０５では、サムネイル画像を合成する処理である。上述した矩形領域の配置方法では、全ての矩形領域を包含する最小の矩形領域そのものがサムネイル画像になる。さらに、ステップＳ７０４で求めたサムネイル画像上での各領域の「領域座標」をもとにして、領域比較バッファ６０８に格納された領域に対して、検索番号によって決められた色の太線で、サムネイル画像上で各領域の輪郭を縁取る。
【０１６１】
例えば、図２４（ｃ）では、車に対しては実線で縁取り、家に対しては破線で縁取っているが、これは、色が異なっていることを意味している。もちろん、条件番号毎に色を変えるのではなく、実線や点線や二重線のように、線の種類を変えて縁取ることも可能であり、条件番号毎に対応した領域の区別が付けられるように領域の表示の形態を変えれば、同じ効果が得られる。処理を終えるとサムネイル作成処理を終了する。
【０１６２】
以上述べたサムネイル作成方法では、例えば図２７に示すように、領域比較バッファ６０８に格納された領域が両端に存在する場合は、検索結果として表示されるサムネイル画像においても、検索の条件を満たした領域が小さく表示されるという場合がある。このような場合を改善するための別のサムネイル作成方法を以下に述べる。
【０１６３】
基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０３においてステップＳ７０１で作成した矩形領域の配置を決定する際、矩形領域によって使用されていないｘ座標、ｙ座標の値に対応した領域を取り除いて、矩形領域を配置する。矩形領域によって使用されていないｘ座標、ｙ座標の値を求めるためには、全ての矩形領域をｘ軸、ｙ軸に射影し、矩形領域のｘ軸、ｙ軸上での包含関係を考慮することによって、容易に求めることができる。
【０１６４】
例えば、ステップＳ７０１において、図２５（ａ）に示す矩形領域が作成された場合では、図２５（ｂ）のドット表示を用いて表示されている領域が、矩形領域によって使用されていないｘ座標、ｙ座標の値に対応した領域である。このような領域を取り除いて矩形領域を配置すると、図２５（ｃ）に示されるように配置される。ステップＳ７０４の領域座標変換処理では、サムネイル画像上における各矩形領域の左上の座標が分かるので、前述の説明と同じようにして、簡単に領域座標を変換することができる。
【０１６５】
ステップＳ７０５のサムネイル画像合成処理は、ステップＳ７０３で決定した各矩形領域の配置をもとにして、サムネイル画像上に矩形領域を配置し、また、矩形領域以外で、ステップＳ７０３において取り除かれなかった領域も同様にしてサムネイル画像上に配置して合成を行う。例えば、図２４（ａ）の画像は、サムネイル画像として、図２４（ｃ）のようになる。
【０１６６】
以上述べたサムネイル作成方法では、領域比較バッファ６０８に格納された領域のサイズが差異が大きいと、小さい領域に対しては、大きく表示されないので、目視で確認しにくいという場合がある。このような場合を改善するための別のサムネイル作成方法を以下に述べる。
【０１６７】
基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０１で領域比較バッファ６０８に格納された領域を取り囲む矩形領域を作成した後、矩形領域が複数存在する場合は、ステップＳ７０２における矩形領域の統合は行わずに、代わりに、各矩形領域の面積が同じになるように、矩形領域の拡大又は縮小を行う。
【０１６８】
例えば、一番大きい矩形領域の面積を求めて、他の矩形領域の面積が同じになるように拡大する。この際、各矩形領域に含まれる多角形の領域の頂点の座標に対して、領域データベース６０６に格納されている「領域座標」の値を、各矩形領域の左上を原点とする座標に変換しておく。これは、前述のステップＳ７０４において述べた方法と同様の方法をとることによって実現できる。もちろん、矩形領域の面積が同じ大きさになるようにするのではなく、対象となる各領域自体の面積が同じになるようにしてもよいことは言うまでもない。
【０１６９】
その後、ステップＳ７０３と同様に、サムネイル画像における矩形領域の配置を決定する。ステップＳ７０１で作成した矩形領域の左上の頂点の座標のｘ座標、ｙ座標の値が小さい矩形領域から順番に面積を同じにした矩形領域を取り出し、合成する画像の左上から順番に、最終的に出来上がる合成画像の面積ができるだけ小さくなるように配置していく。
【０１７０】
例えば、一番最初の矩形領域を配置した後、２番目以降の矩形領域は、すでに配置済みの矩形領域によって合成された多角形の左上の点を原点とし、原点以外でｘ座標の値が０の頂点からｙ座標の値が０の頂点までを探索し、これから配置しようとする矩形領域の左上、右上、左下を探索している頂点に合わせていき、配置しようとする矩形の頂点の座標の値が０以上の値をとり、かつ、すでに配置済みの矩形領域によって合成された多角形と重複せず、配置後に合成される多角形に外接する矩形の面積が最小になる配置位置を求める。
【０１７１】
例えば、図２５（ａ）に示される木と車の矩形領域は、図２６に示されるように面積をそろえて配置される。図２６は、複数の矩形領域の面積を揃えた場合のサムネイル画像作成処理の様子を説明するための図である。このようにして配置された矩形領域を外接する矩形がサムネイル画像の元となり、外接する矩形の長い辺の長さが１２０画素になるように、画像を縮小又は拡大することによって、サムネイル画像が出来上がる。
【０１７２】
続いて、ステップ７０４において、領域比較バッファ６０８に格納された領域を表す座標を、ステップＳ７０１で求めた矩形の中での領域の領域座標をもとにして求める。このように各領域を取り囲む矩形領域のサムネイル画像上における左上の頂点の座標を簡単に求めることができるので、前述のステップＳ７０４で述べた方法と同じようにして、簡単に求めることができる。その後、前述のステップＳ７０５で述べた方法と同じようにして、サムネイル画像を合成していく。
【０１７３】
以上述べたサムネイル作成方法では、領域比較バッファ６０８に格納された領域のみが表示され、画像全体が表示されないため、画像全体のイメージがつかめない場合がある。例えば、図２４（ｃ）のようなサムネイルが作成されると、図２４（ａ）から分かるように木が表示されなくなる。また、図２６に示されるサムネイルが作成されると、家が表示されなくなる。このような問題を改善するための別のサムネイル作成方法を以下に述べる。
【０１７４】
従来、作成されるサムネイル画像が一つだけであったのに対し、ここでは複数のサムネイル画像を作成する。一つのサムネイル画像は、画像データベース６０５中の画像を縮小した画像であり、縦サイズ、横サイズのとどちらか長い辺のサイズが１２０画素になるように縮小する。ステップＳ７０４と同様に、領域比較バッファ６０８に格納された領域に対して、検索番号によって決められた色の太線で、サムネイル画像上で各領域の輪郭を縁取る。他のサムネイル画像として、領域比較バッファ６０８に格納された領域の中から、検索条件リスト６０７の中で親領域を持たない領域に対して、一つずつサムネイル画像を作成する。これらのサムネイル画像の作成方法は、基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０２の矩形領域の統合を行う必要はない。
【０１７５】
ステップＳ７０３の矩形領域配置決定処理において、作成されるサムネイル画像の縦横のアスペクト比を、画像データベース６０５中の画像と同じになるようにする。このサムネイル画像の矩形の縦、横どちらかの両辺が、ステップＳ７０１で作成した矩形領域の対応する両辺と重なるように配置する。ただし、この位置関係によるサムネイル画像の矩形でデータベース６０５中の画像を切り出したときに、データベース６０５中の画像の外側を切り出す場合は、内側に収まるようにサムネイル画像の矩形の位置と、ステップＳ７０１で作成した矩形領域の位置をずらして補正する。
【０１７６】
ステップＳ７０４では、前述と同様にして、矩形領域の座標を変換することができる。ステップＳ７０５では、データベース６０５中の画像上において、ステップＳ７０１で作成した矩形領域とステップＳ７０３で決定したサムネイル画像の矩形との位置関係を用いて、データベース６０５中の画像からサムネイル画像を切り出し、縦横どちらか長い辺のサイズが１２０になるように縮小する。そして、前述述べたように、検索番号によって決められた色の太線で、サムネイル画像上で領域の輪郭を縁取る。
【０１７７】
例えば、図８に示される画像に対して、領域比較バッファ６０８の中に、領域ＩＤ１００００１、１００００３の領域が存在する場合は、画像データベース６０５中の画像を縮小したサムネイル画像は図２８（ａ）のようになる。図２８は、一画像に対して複数のサムネイルを作成するサムネイル作成処理の実施形態を説明するための図である。また、領域ＩＤ「１００００１」に対するサムネイル画像は、図２８（ｂ）のようになり、領域ＩＤ「１００００３」に対するサムネイル画像は、図２８（ｃ）のようになる。
【０１７８】
このようにして、一つの画像に対して複数のサムネイル画像を作成する場合は、検索結果リスト６０９の「サムネイル画像」に、複数のサムネイル画像が作成されるように拡張する。例えば、ファイル名を「”」ではさみ、「”」ではさまれたファイル名を、「，」で区切ることによって、複数のサムネイル画像を格納することができる。「サムネイル画像」の中でのファイル名の順番は、画像データベース６０５中の画像を縮小したサムネイル画像を先頭にし、続いて、領域比較バッファ６０８中の先頭の領域ＩＤに対応するサムネイル画像から順番に格納していく。
【０１７９】
ここで、ステップＳ４０８において、サムネイル画像を検索結果表示エリア２１０３に表示する際に、スライドショーのように複数のサムネイル画像を自動的に順次表示を切り替えるようにしてもよい。また、ステップＳ４０９において、マウス２０９による切替ボタン２１１０のクリックが繰り返された場合、検索指示エリア２１０３の表示は前述のステップＳ４０９の説明で述べた表示方法と同じである。ここで、検索結果表示エリア２１０３に表示するサムネイルは、自動的に表示を切り替えることを中止し、最初は画像データベース６０５中の画像を縮小したサムネイル画像を表示し、切替ボタン２１１０のクリックされる毎に、対象となっている条件番号に対応した領域比較バッファ６０８中の領域ＩＤが示す領域を含むサムネイルを表示し、同様に領域の太線をブリンクする。全ての条件番号に対するサムネイル画像の表示の切替が終了した場合は、また、サムネイル画像を自動的に順次表示切替する状態に復帰する。
【０１８０】
なお、このようにして、一つの画像に対して複数のサムネイル画像を作成する場合は、検索結果表示エリア２１０３に、これらのサムネイル画像を同時に隣り合わせて表示するようにしてもよい。この場合は、同じ画像に対するサムネイルであることがわかるように、隣り合わせたサムネイル画像の周りを太線で囲むようにする必要がある。
【０１８１】
尚、本実施形態では、外部記憶装置としてＣＤ−ＲＯＭから画像登録プログラムと画像検索プログラムを直接ＲＡＭ２０３にロードして実行させる例を示したが、この他に、ＣＤ−ＲＯＭから画像登録プログラムと画像検索プログラムをいったんハードディスクドライブ２０６に格納（インストール）しておき、画像登録プログラムと画像検索プログラムを動作させる時点で、ハードディスクドライブ２０６からＲＡＭ２０３にロードするようにしてもよい。
【０１８２】
また、画像登録プログラムと画像検索プログラムを記録する媒体は、ＣＤ−ＲＯＭ以外にＦＤ（フレキシブルディスク）、ＩＣメモリカード等であってもよい。
【０１８３】
更に、画像登録プログラムと画像検索プログラムを、ＲＯＭ２０２に記録しておき、これをメモリマップの一部となるように構成し、直接ＣＰＵ２０１で実行することも可能である。
【０１８４】
更に、画像登録プログラムと画像検索プログラムを、ネットワーク上のサーバに記憶しておき、必要に応じて、ネットワークカード２１０を介してネットワーク上のサーバからＲＡＭ２０３にダウンロードするようにしてもよい。
【０１８５】
また、本実施形態では、画像データベース６０５に格納された静止画像を検索する実施形態を示したが、画像データベース６０５以外に、動画像データベースを用意し、各動画像データに対して、複数のキーフレームの静止画像を対応付け、この静止画像を画像データベース６０５に格納することにより、前述で述べた方法により画像データベース６０５に格納されたキーフレームを検索することで、対応する動画像を検索するようにしてもよい。この場合、動画像データベースには、キーフレームと共に、キーフレームに対応した動画像の先頭からの時間軸上の位置を格納しておき、キーフレームを検索した後に対応する時間軸上の位置から動画像を再生するようにしてもよい。
【０１８６】
また、本実施形態では、領域の画像特徴として、色と領域のサイズと位置を用いて、検索の条件との類似度を算出していたが、領域データベース６０６に格納されている領域座標自体が領域の形状を表しているので、領域の形状を検索の条件との類似度の算出に用いてもよい。
【０１８７】
また、本実施形態では、領域データベース６０６の領域座標に、領域の輪郭を多角形で表現し、多角形の頂点の座標を格納していたが、領域に外接する矩形で領域を示し、領域に外接する矩形の左上の座標と右下の座標のみを格納するようにしてもよい。このようにすることにより、領域データベース６０６の領域座標の記憶容量を削減することが可能になる。
【０１８８】
また、本実施形態では、領域データベース６０６中の領域情報の中に、領域の内容を表現するために「キーワード」を格納していたが、キーワードに代えて領域の内容に対応した概念コードを格納するようにしてもよい。ここで、概念コードとは、例えば、概念の体系をツリー構造で表したシソーラス辞書における各ノードに割り振られたユニークな番号である。
【０１８９】
すなわち、ステップＳ２０３のキーワード設定の処理において、シソーラス辞書のノード（概念）の一覧を表示し、所望の概念を選択することによって、領域データベース６０６に格納する。或いは、ステップＳ２０３のキーワード設定の処理において入力されたキーワードをキーとしてシソーラス辞書を検索し、キーワードに対応した概念コードを求めて領域データベース６０６に格納してもよい。そして、検索条件リスト６０７の条件情報のキーワードの代わりに、概念コードを格納するようにする。ステップＳ５０８において入力又は編集されたキーワードも、前述と同様にして概念コードに置き換え、検索条件リスト６０７に格納することができる。そして、ステップＳ６０６において類似度Ｓｉｍを算出する場合は、キーワード類似度の代わりに、概念コード類似度を使用する。概念コードが一致すれば、概念コード類似度の値を「１．０」とする。
【０１９０】
また、本実施形態では、基本的に、常に、ステップＳ４０２で取り出した画像に対するサムネイルとして、その画像を単純に縮小した画像ではなく、その画像の部分画像、或いは、領域を合成した画像をサムネイル画像として作成していた。そこで、その画像の面積に対して、領域比較バッファ６０８に格納された領域の面積が所定の割合以上であれば、その画像を単純に縮小した画像をサムネイル画像にするようにしてもよい。
【０１９１】
また、本実施形態では、ステップＳ７０５において、対象となる画像に対して、領域に外接する矩形の部分画像を用いてサムネイル画像を合成することにより、領域の外側の部分画像もサムネイル画像に含まれていた。そこで、領域内の画像のみを用い、領域の外側の部分画像を用いずサムネイル画像を合成するようにしてもよい。
【０１９２】
また、本実施形態では、ステップＳ４０６において、サムネイル画像を作成していたが、複雑な領域の合成を行わない場合は、対象となる画像に対して、検索結果表示エリア２１０３に表示する矩形領域の座標のみを記憶しておき、ステップＳ４０８において検索結果表示エリア２１０３にサムネイル画像を表示する時に、その座標に基づいて対象となる画像の部分画像のみを表示するようにしてもよい。
【０１９３】
また、本実施形態では、ステップＳ４０６において、サムネイル画像を作成していたが、ステップＳ２１１を終えて、画像登録プログラムを終了する前に、登録された全ての領域の組み合わせに対して、サムネイル画像をあらかじめ作成しておき、ステップＳ４０６の代わりに、領域比較バッファ６０８に格納されている領域に対するサムネイル画像を検索して求めるようにしてもよい。
【０１９４】
また、本実施形態では、領域比較バッファ６０８には、検索条件リスト６０７の各条件情報に対して類似度が最も高い領域を、それぞれ、一つだけしか登録できない例を示したが、一つの条件情報に対して、特定のしきい値以上の領域を複数登録できるようにしてもよい。このようにするためには、ステップＳ４０４における類似度算出処理において用いた、「個別類似度」と「領域候補」を、配列として複数持てるようにし、ステップＳ６０６において算出した類似度Ｓｉｍの値が、特定のしきい値よりも大きければ、「個別類似度」と「領域候補」の配列に、Ｓｉｍの値と領域ＩＤを格納するようにする。そして、ステップＳ６０７において、「個別類似度」と「領域候補」の配列に、格納されている情報を領域比較バッファ６０８に登録すればよい。
【０１９５】
上述したように、本発明に係る画像検索装置は、複数の画像を記憶する画像記憶部１０１と、画像記憶部１０１に記憶されているそれぞれの画像に含まれる所定の部分画像をそれぞれの画像に対応付けて記憶する領域情報記憶部１０２と、領域情報記憶部１０２に記憶されている部分画像の特徴を部分画像に対応付けて記憶する領域特徴記憶部１０３とを備える。そして、画像特徴指定部１０４は、検索対象の画像の特徴を指定する。候補画像決定部１０５は、指定された画像の特徴に基づいて、領域情報記憶部１０２に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として画像記憶部１０１に記憶されている画像の中から決定する。そして、検索結果表示部１０６は、決定された候補画像に含まれる部分画像を所定の大きさに拡大して候補画像の縮小画像を表示することを特徴とする。
【０１９６】
また、本発明に係る画像検索装置は、検索結果に基づいて複数の候補画像が得られた場合、検索結果表示部１０６は、複数の候補画像の縮小画像を一覧表示することを特徴とする。
【０１９７】
さらに、本発明に係る画像検索装置は、検索結果表示部１０６が、所定サイズのエリア内に縮小画像を表示することを特徴とする。
【０１９８】
さらにまた、本発明に係る画像検索装置は、部分画像が、画像中に含まれる所定のオブジェクト領域の外接矩形で囲まれた範囲の領域を有する矩形画像であることを特徴とする。
【０１９９】
さらにまた、本発明に係る画像検索装置は、検索結果表示部１０６が、候補画像に含まれる部分画像を強調して候補画像の縮小画像を表示することを特徴とする。
【０２００】
さらにまた、本発明に係る画像検索装置は、画像の特徴が、部分画像から得られる概念を表現した概念情報、概念を言語によって表現した言語情報、部分画像の特徴を表現した画像特徴、又は、概念情報と言語情報と画像特徴との組み合わせのうち少なくとも１つであることを特徴とする。
【０２０１】
以上説明したように、本実施形態によれば、検索結果表示部１０６は、特徴が一致若しくは類似していると判断された領域、若しくは、該領域を含む部分画像を、検索結果画像の中で目視で識別しやすく強調して表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになる。
【０２０２】
また、検索結果表示部１０６は、検索結果の画像中に、前記領域が複数存在する場合は、強調する該領域、若しくは、該領域を含む部分画像を切り替えて表示するので、検索結果画像の中で目視で識別しやすく強調して表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになる。
【０２０３】
また、検索結果表示部１０６は、候補画像決定部１０５において、画像特徴選択部によって選択された特徴と一致若しくは類似していると判定された領域、若しくは、該領域を含む部分画像に、強調する対象を切り替えて表示するので、個別の検索条件に対応した領域（オブジェクト等）を容易に探すことができるようになる。
【０２０４】
さらに、検索結果表示部１０６は、一つの候補画像に対する検索結果の画像の中で、以上述べたように、検索条件を満たす領域を探しやすくしてあるので、図２１に示すように、複数の候補画像の一覧を表示した場合に、特に、検索条件を満たす領域を探しやすくなり、検索の作業効率が向上する。
【０２０５】
＜第２の実施形態＞
まず、本発明の第２の実施形態に係る画像検索装置の概要について説明する。本発明の第２の実施形態に係る画像検索装置の構成を示すブロック図は図１に示す第１の実施形態に係る画像検索装置と同じである。但し、検索結果表示部１０６は、候補画像決定部１０５で決定された候補画像について、特徴が一致若しくは類似していると判断された複数の領域を含む候補画像の部分画像を表示する。また、検索結果表示部１０６は、複数の領域の画像、或いはこれらの複数の領域を含む部分画像を合成した画像を表示する。
【０２０６】
また、検索結果表示部１０６は、複数の領域の相対的位置関係が保たれるように合成した画像を表示する。また、検索結果表示部１０６は、これらの複数の領域が同じ大きさになるように合成した画像を表示する。また、検索結果表示部１０６は、表示する領域の画像若しくは領域を含む画像の位置が目視で確認しやすくなるように表示する。
【０２０７】
上述したような構成の画像検索装置において、上記検索結果表示部１０６を含めたその他の部分の動作については前述した第１の実施形態で述べたとおりである。すなわち、本発明に係る画像検索装置は、複数の画像を記憶する画像記憶部１０１と、画像記憶部１０１に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶部１０２と、領域情報記憶部１０２に記憶されている部分画像の特徴を部分画像に対応付けて記憶する領域特徴記憶部１０３とを備える。そして、画像特徴指定部１０４が、検索対象の画像の特徴を指定する。候補画像決定部１０５は、指定された画像の特徴に基づいて、領域特徴記憶部１０３に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた複数の部分画像に対応付けられた画像を候補画像として画像記憶部１０１に記憶されている画像の中から決定する。そして、検索結果表示部１０６は、決定された候補画像に含まれる複数の部分画像を所定の大きさに拡大して候補画像の縮小画像を表示することを特徴とする。
【０２０８】
また、本発明に係る画像検索装置は、検索結果表示部１０６が、複数の部分画像を合成して新たな一の部分画像を作成し、新たな一の部分画像を縮小画像として表示することを特徴とする。
【０２０９】
さらに、本発明に係る画像検索装置は、検索結果表示部１０６が、複数の部分画像間の相対的な位置関係を保存した状態で、複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする。
【０２１０】
さらにまた、本発明に係る画像検索装置は、複数の部分画像の一部が重なっている場合、検索結果表示部１０６は、複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする。
【０２１１】
さらにまた、本発明に係る画像検索装置は、複数の部分画像の大きさが所定サイズに統一されていることを特徴とする。
【０２１２】
以上説明したように、本実施形態に係る画像検索装置によれば、検索結果表示部１０６は、画像特徴指定部１０４で指定された検索条件を満たす複数の領域を含む候補画像の部分画像を、検索結果の画像として表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすくなる。
【０２１３】
また、検索結果表示部１０６は、複数の領域の画像若しくはこれらの領域を含む部分画像を合成した画像を、検索結果の画像として表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすくなる。
【０２１４】
また、検索結果表示部１０６は、複数の領域の相対的位置関係を保つように合成した画像を表示するので、画像全体の中で領域間の関係が把握しやすくなる。
【０２１５】
また、検索結果表示部１０６は、複数の領域画像若しくは該領域画像を含む部分画像が、同じ大きさ或いはほぼ同じ大きさになるように合成した画像を、検索結果の画像として表示するので、画像の中での個々の領域の大きさに差がある場合でも、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすくなる。
【０２１６】
＜第３の実施形態＞
次に、本発明の第３の実施形態に係る画像検索装置の概要について説明する。本発明の第３の実施形態に係る画像検索装置の構成を示すブロック図は図１に示す第１の実施形態に係る画像検索装置と同じである。但し、検索結果表示部１０６は、候補画像決定部１０５で決定された一つの候補画像に対する検索結果の画像として複数の縮小画像を表示する。
【０２１７】
すなわち、第１の実施形態で述べたように、一つのサムネイル画像は、画像データベース６０５中の画像を縮小した画像であり、縦サイズ、横サイズのとどちらか長い辺のサイズが１２０画素になるように縮小する。ステップＳ７０４と同様に、領域比較バッファ６０８に格納された領域に対して、検索番号によって決められた色の太線で、サムネイル画像上で各領域の輪郭を縁取る。他のサムネイル画像として、領域比較バッファ６０８に格納された領域の中から、検索条件リスト６０７の中で親領域を持たない領域に対して、一つずつサムネイル画像を作成する。これらのサムネイル画像の作成方法は、基本的には、図２０に示されるフローチャートと同じ手順をとるが、ステップＳ７０２の矩形領域の統合を行う必要はない。
【０２１８】
また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像の中に、候補画像決定部１０５において、特徴が一致若しくは類似していると判断された領域を含む候補画像の部分画像を含める。また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像の中に前記候補画像を含める。また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像を同じ若しくはほぼ同じ大きさで表示する。
【０２１９】
また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像を同じ位置に表示を不図示の切り替え部からの指示により切り替えて表示する。また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像を、同じ位置に自動的に切り替えて表示する。また、検索結果表示部１０６は、候補画像決定部１０５において特徴が一致若しくは類似していると判断された領域若しくは該領域を含む部分画像を検索結果画像の中で目視で識別しやすく表示する。
【０２２０】
上述したような構成の画像検索装置において、検索結果表示部１０６を含めたその他の部分の動作については前述した第１の実施形態と同様である。すなわち、本発明に係る画像検索装置は、複数の画像を記憶する画像記憶部１０１と、画像記憶部１０１に記憶されているそれぞれの画像に含まれる所定の部分画像をそれぞれの画像に対応付けて記憶する領域情報記憶部１０２と、領域情報記憶部１０２に記憶されている部分画像の特徴を部分画像に対応付けて記憶する領域特徴記憶部１０３とを備える。そして、画像特徴指定部１０４は、検索対象の画像の特徴を指定する。候補画像決定部１０５は、指定された画像の特徴に基づいて、領域特徴記憶部１０３に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として画像記憶部１０１に記憶されている画像の中から決定する。そして、検索結果表示部１０６は、決定された候補画像に関する縮小画像を複数のパターンで表示することを特徴とする。
【０２２１】
また、本発明に係る画像検索装置は、検索結果表示部１０６が、複数の縮小画像を一覧表示することを特徴とする。
【０２２２】
さらに、本発明に係る画像検索装置は、検索結果表示部１０６が、候補画像の縮小画像を表示することを特徴とする。
【０２２３】
さらにまた、本発明に係る画像検索装置は、検索結果表示部１０６が、候補画像の決定に用いられた部分画像を縮小画像として表示することを特徴とする。
【０２２４】
さらにまた、本発明に係る画像検索装置は、検索結果表示部１０６が、縮小画像を同位置で１枚ずつ自動的に切り替えて表示することを特徴とする。
【０２２５】
さらにまた、本発明に係る画像検索装置は、縮小画像の表示を切り替える切り替え部をさらに有し、検索結果表示部１０６は、切り替え部による切り替え指示に基づいて、縮小画像を同位置で１枚ずつ切り替えて表示することを特徴とする。
【０２２６】
上述したように、本実施形態に係る画像検索装置によれば、検索結果表示部１０６は、一つの候補画像に対する検索結果の画像として複数の画像を表示し、それらの検索結果画像の中に画像特徴指定部１０４で指定された検索条件を満たす領域の画像若しくはこれらの領域を含む部分画像を含めているので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすくなる。
【０２２７】
また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像の中に前記候補画像を含めるので、画像全体の中での領域間の関係が把握しやすくなる。
【０２２８】
また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像を同じ若しくはほぼ同じ大きさで表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすくなる。
【０２２９】
また、検索結果表示部１０６は、一つの候補画像に対する複数の検索結果の画像を同じ位置において、手動又は自動により表示を切り替えて表示するので、検索条件を満たす領域（オブジェクト等）を容易に探すことができるようになり、また、その領域の細部の状態が把握しやすく、かつ、画像全体の中で領域間の関係が把握しやすくなる。
【０２３０】
＜その他の実施形態＞
また、上記実施形態では、スタンド・アローンの形態で実現していたが、ネットワーク上のサーバのサービスとして本発明を実施し、クライアント・マシーンで本発明の機能を利用する形態にすることも可能である。
【０２３１】
尚、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（記憶媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０２３２】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０２３３】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることができる。
【０２３４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２３５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２３６】
本発明の実施態様の例を以下に列挙する。
【０２３７】
［実施態様１］ 複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶手段と、
該領域情報記憶手段に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶手段と、
検索対象の画像の特徴を指定する画像特徴指定手段と、
該画像特徴指定手段で指定された画像の特徴に基づいて、前記領域特徴記憶手段に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶手段に記憶されている画像の中から決定する候補画像決定手段と、
前記候補画像決定手段で決定された候補画像の縮小画像を表示する検索結果表示手段とを備え、
前記検索結果表示手段は、前記候補画像に含まれる前記部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する
ことを特徴とする画像検索装置。
【０２３８】
［実施態様２］ 検索結果に基づいて複数の候補画像が得られた場合、前記検索結果表示手段は、前記複数の候補画像の縮小画像を一覧表示することを特徴とする実施態様１記載の画像検索装置。
【０２３９】
［実施態様３］ 複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶手段と、
該領域情報記憶手段に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶手段と、
検索対象の画像の特徴を指定する画像特徴指定手段と、
該画像特徴指定手段で指定された画像の特徴に基づいて、前記領域特徴記憶手段に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた複数の部分画像に対応付けられた画像を候補画像として前記画像記憶手段に記憶されている画像の中から決定する候補画像決定手段と、
前記候補画像決定手段で決定された候補画像の縮小画像を表示する検索結果表示手段とを備え、
前記検索結果表示手段は、前記候補画像に含まれる前記複数の部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する
ことを特徴とする画像検索装置。
【０２４０】
［実施態様４］ 前記検索結果表示手段が、前記複数の部分画像を合成して新たな一の部分画像を作成し、該新たな一の部分画像を縮小画像として表示することを特徴とする実施態様３記載の画像検索装置。
【０２４１】
［実施態様５］ 前記検索結果表示手段が、前記複数の部分画像間の相対的な位置関係を保存した状態で、該複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする実施態様４記載の画像検索装置。
【０２４２】
［実施態様６］ 前記複数の部分画像の一部が重なっている場合、前記検索結果表示手段は、該複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする実施態様３から５までのいずれか１つに記載の画像検索装置。
【０２４３】
［実施態様７］ 前記複数の部分画像の大きさが所定サイズに統一されていることを特徴とする実施態様３から６までのいずれか１つに記載の画像検索装置。
【０２４４】
［実施態様８］ 複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶手段と、
該領域情報記憶手段に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶手段と、
検索対象の画像の特徴を指定する画像特徴指定手段と、
該画像特徴指定手段で指定された画像の特徴に基づいて、前記領域特徴記憶手段に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶手段に記憶されている画像の中から決定する候補画像決定手段と、
前記候補画像決定手段で決定された候補画像に関する縮小画像を複数のパターンで表示する検索結果表示手段と
を備えることを特徴とする画像検索装置。
【０２４５】
［実施態様９］ 前記検索結果表示手段が、前記複数の縮小画像を一覧表示することを特徴とする実施態様８記載の画像検索装置。
【０２４６】
［実施態様１０］ 前記検索結果表示手段が、前記候補画像の縮小画像を表示することを特徴とする実施態様８又は９に記載の画像検索装置。
【０２４７】
［実施態様１１］ 前記検索結果表示手段が、前記候補画像の決定に用いられた前記部分画像を縮小画像として表示することを特徴とする実施態様８から１０までのいずれか１つに記載の画像検索装置。
【０２４８】
［実施態様１２］ 前記検索結果表示手段が、前記縮小画像を同位置で１枚ずつ自動的に切り替えて表示することを特徴とする実施態様８から１１までのいずれか１つに記載の画像検索装置。
【０２４９】
［実施態様１３］ 前記検索結果表示手段における前記縮小画像の表示を切り替える切り替え手段をさらに備え、
前記検索結果表示手段は、前記切り替え手段による切り替え指示に基づいて、前記縮小画像を同位置で１枚ずつ切り替えて表示することを特徴とする実施態様８から１１までのいずれか１つに記載の画像検索装置。
【０２５０】
［実施態様１４］ 前記検索結果表示手段が、所定サイズのエリア内に前記縮小画像を表示することを特徴とする実施態様１から１３までのいずれか１つに記載の画像検索装置。
【０２５１】
［実施態様１５］ 前記部分画像が、前記画像中に含まれる所定のオブジェクト領域の外接矩形で囲まれた範囲の領域を有する矩形画像であることを特徴とする実施態様１から１４までのいずれか１つに記載の画像検索装置。
【０２５２】
［実施態様１６］ 前記検索結果表示手段が、前記候補画像に含まれる前記部分画像を強調して該候補画像の縮小画像を表示することを特徴とする実施態様１から１５までのいずれか１つに記載の画像検索装置。
【０２５３】
［実施態様１７］ 前記領域特徴記憶手段が、前記画像の特徴として、該部分画像から得られる概念を表現した概念情報、該概念を言語によって表現した言語情報、前記部分画像の特徴を表現した画像特徴、又は、該概念情報と該言語情報と前記画像特徴との組み合わせのうち少なくとも１つを記憶することを特徴とする実施態様１から１６までのいずれか１つに記載の画像検索装置。
【０２５４】
［実施態様１８］ 複数の画像を記憶する画像記憶部と、
前記画像記憶部に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶部と、
該領域情報記憶部に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶部と
に接続可能な画像検索装置の画像検索方法であって、
検索対象の画像の特徴を指定する画像特徴指定工程と、
指定された画像の特徴に基づいて、前記領域情報記憶部に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶部に記憶されている画像の中から決定する候補画像決定工程と、
決定された候補画像に含まれる前記部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する検索結果表示工程と
を有することを特徴とする画像検索方法。
【０２５５】
［実施態様１９］ 検索結果に基づいて複数の候補画像が得られた場合、前記検索結果表示工程は、前記複数の候補画像の縮小画像を一覧表示することを特徴とする実施態様１８記載の画像検索方法。
【０２５６】
［実施態様２０］ 複数の画像を記憶する画像記憶部と、
前記画像記憶部に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶部と、
該領域情報記憶部に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶部と
に接続可能な画像検索装置の画像検索方法であって、
検索対象の画像の特徴を指定する画像特徴指定工程と、
指定された画像の特徴に基づいて、前記領域特徴記憶部に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた複数の部分画像に対応付けられた画像を候補画像として前記画像記憶部に記憶されている画像の中から決定する候補画像決定工程と、
決定された候補画像に含まれる前記複数の部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する検索結果表示工程と
を有することを特徴とする画像検索方法。
【０２５７】
［実施態様２１］ 前記検索結果表示工程が、前記複数の部分画像を合成して新たな一の部分画像を作成し、該新たな一の部分画像を縮小画像として表示することを特徴とする実施態様２０記載の画像検索方法。
【０２５８】
［実施態様２２］ 前記検索結果表示工程が、前記複数の部分画像間の相対的な位置関係を保存した状態で、該複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする実施態様２１記載の画像検索方法。
【０２５９】
［実施態様２３］ 前記複数の部分画像の一部が重なっている場合、前記検索結果表示工程は、該複数の部分画像を合成して新たな一の部分画像を作成することを特徴とする実施態様２０から２２までのいずれか１つに記載の画像検索方法。
【０２６０】
［実施態様２４］ 前記複数の部分画像の大きさが所定サイズに統一されていることを特徴とする実施態様２０から２３までのいずれか１つに記載の画像検索方法。
【０２６１】
［実施態様２５］ 複数の画像を記憶する画像記憶部と、
前記画像記憶部に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶部と、
該領域情報記憶部に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶部と
に接続可能な画像検索装置の画像検索方法であって、
検索対象の画像の特徴を指定する画像特徴指定工程と、
指定された画像の特徴に基づいて、前記領域特徴記憶部に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶部に記憶されている画像の中から決定する候補画像決定工程と、
決定された候補画像に関する縮小画像を複数のパターンで表示する検索結果表示工程と
を有することを特徴とする画像検索方法。
【０２６２】
［実施態様２６］ 前記検索結果表示工程が、前記複数の縮小画像を一覧表示することを特徴とする実施態様２５記載の画像検索方法。
【０２６３】
［実施態様２７］ 前記検索結果表示手段が、前記候補画像の縮小画像を表示することを特徴とする実施態様２５又は２６に記載の画像検索方法。
【０２６４】
［実施態様２８］ 前記検索結果表示工程が、前記候補画像の決定に用いられた前記部分画像を縮小画像として表示することを特徴とする実施態様２５から２７までのいずれか１つに記載の画像検索方法。
【０２６５】
［実施態様２９］ 前記検索結果表示工程が、前記縮小画像を同位置で１枚ずつ自動的に切り替えて表示することを特徴とする実施態様２５から２８までのいずれか１つに記載の画像検索方法。
【０２６６】
［実施態様３０］ 前記縮小画像の表示を切り替える切り替え工程をさらに有し、
前記検索結果表示工程は、前記切り替え工程による切り替え指示に基づいて、前記縮小画像を同位置で１枚ずつ切り替えて表示することを特徴とする実施態様２５から２８までのいずれか１つに記載の画像検索方法。
【０２６７】
［実施態様３１］ 前記検索結果表示工程が、所定サイズのエリア内に前記縮小画像を表示することを特徴とする実施態様１８から３０までのいずれか１つに記載の画像検索方法。
【０２６８】
［実施態様３２］ 前記部分画像が、前記画像中に含まれる所定のオブジェクト領域の外接矩形で囲まれた範囲の領域を有する矩形画像であることを特徴とする実施態様１８から３１までのいずれか１つに記載の画像検索方法。
【０２６９】
［実施態様３３］ 前記検索結果表示工程が、前記候補画像に含まれる前記部分画像を強調して該候補画像の縮小画像を表示することを特徴とする実施態様１８から３２までのいずれか１つに記載の画像検索方法。
【０２７０】
［実施態様３４］ 前記画像の特徴が、該部分画像から得られる概念を表現した概念情報、該概念を言語によって表現した言語情報、前記部分画像の特徴を表現した画像特徴、又は、該概念情報と該言語情報と前記画像特徴との組み合わせのうち少なくとも１つであることを特徴とする実施態様１８から３３までのいずれか１つに記載の画像検索方法。
【０２７１】
［実施態様３５］ 複数の画像を記憶する画像記憶部と、
前記画像記憶部に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶部と、
該領域情報記憶部に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶部と
に接続可能なコンピュータに、
検索対象の画像の特徴を指定する画像特徴指定手順と、
指定された画像の特徴に基づいて、前記領域情報記憶部に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶部に記憶されている画像の中から決定する候補画像決定手順と、
決定された候補画像に含まれる前記部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する検索結果表示手順と
を実行させるためのプログラム。
【０２７２】
［実施態様３６］ 実施態様３５記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【０２７３】
【発明の効果】
以上説明したように、本発明によれば、キーワードやオブジェクトを指定して画像を検索した際に、より好適に検索結果を表示することができ、かつ、表示された検索結果の中から所望の画像を効率良く探すことができる。
【０２７４】
すなわち、検索条件として指定した特徴に対応した画像中の領域が、検索結果の中から探しやすくなり、検索の作業効率を向上することができる。また、検索結果の候補画像が一覧表示された場合に、候補画像の中で検索の条件を満たしている部分画像を比較し、どの候補画像が所望の画像であるのかの判定が容易になる。
【０２７５】
さらに、本発明によれば、検索された領域の細部の状態が把握しやすくなり、検索の作業効率を向上することができる。
【０２７６】
さらにまた、本発明によれば、複数の検索条件が指定された場合に、検索結果の画像の中のどのオブジェクトが、どの検索条件に対応しているのかを容易に把握できるようになり、検索の作業効率を向上することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像検索装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像検索装置を実現するための各種機器の接続構成を示すブロック図である。
【図３】ＣＤ−ＲＯＭ２０５から制御プログラム等がコンピュータシステムに供給されることを示す概念図である。
【図４】図２におけるＲＯＭ２０２内に記憶されているデータ構成の一例を説明するための図である。
【図５】可搬記録媒体であるＣＤ−ＲＯＭ２０５に記憶された画像登録プログラム５０１及び画像検索プログラム５０２等のデータ構成を示す図である。
【図６】処理プログラム実行時におけるＲＡＭ２０３上のデータ構成の一例を説明するための図である。
【図７】従来の画像検索システムにおける検索操作画面の一例を示す図である。
【図８】画像データベースに登録されている静止画像の一例を示す図である。
【図９】第１の実施形態における画像データベース６０５におけるデータ構成の一例を示す図である。
【図１０】領域データベース６０６におけるデータ構成の一例を示す図である。
【図１１】第１の実施形態における検索条件リスト６０７のデータ構成例を示す図である。
【図１２】ステップＳ４０２で取り出した画像中の領域に対して、ステップＳ４０１で指定した検索条件と比較した結果を格納する領域比較バッファ６０８のデータ構成例を示す図である。
【図１３】検索結果リストのデータ構成例を示す図である。
【図１４】第１の実施形態に係る画像検索装置の全体の手順を説明するためのフローチャートである。
【図１５】第１の実施形態における画像登録プログラムの詳細な処理手順を説明するためのフローチャートである。
【図１６】画像登録プログラム及び検索条件指定処理における領域選択処理の手順を説明するためのフローチャートである。
【図１７】図１４のステップＳ１０４における画像検索プログラムの動作を詳細に説明するためのフローチャートである。
【図１８】図１７の画像検索プログラムの処理におけるステップＳ４０１の検索条件指定処理の手順を詳細に説明するためのフローチャートである。
【図１９】ステップＳ４０４における類似度算出処理を説明するためのフローチャートである。
【図２０】ステップＳ４０６におけるサムネイル作成処理の詳細を説明するためのフローチャートである。
【図２１】図１４のステップＳ１０４の画像検索処理中において表示されるディスプレイ２０８の画面表示例を示す図である。
【図２２】画像検索プログラムにおいて領域選択処理を行うために、検索結果表示エリアの画像を選択した状態を説明するための画面表示例を示す図である。
【図２３】領域選択処理を説明するための画面表示例を示す図である。
【図２４】サムネイル作成処理の一実施形態の様子を説明するための図である。
【図２５】サムネイル作成処理の別の実施形態の様子を説明するための図である。
【図２６】複数の矩形領域の面積を揃えた場合のサムネイル画像作成処理の様子を説明するための図である。
【図２７】サムネイル作成処理によるサムネイル画像の作成結果を説明するための図である。
【図２８】一画像に対して複数のサムネイルを作成するサムネイル作成処理の実施形態を説明するための図である。
【符号の説明】
１０１ 画像記憶部
１０２ 領域情報記憶部
１０３ 領域特徴記憶部
１０４ 画像特徴指定部
１０５ 候補画像決定部
１０６ 検索結果表示部

Claims (1)

1. 複数の画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶されているそれぞれの画像に含まれる所定の部分画像を前記それぞれの画像に対応付けて記憶する領域情報記憶手段と、
   該領域情報記憶手段に記憶されている前記部分画像の特徴を該部分画像に対応付けて記憶する領域特徴記憶手段と、
   検索対象の画像の特徴を指定する画像特徴指定手段と、
   該画像特徴指定手段で指定された画像の特徴に基づいて、前記領域特徴記憶手段に記憶されている部分画像の特徴を検索し、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として前記画像記憶手段に記憶されている画像の中から決定する候補画像決定手段と、
   前記候補画像決定手段で決定された候補画像の縮小画像を表示する検索結果表示手段とを備え、
   前記検索結果表示手段は、前記候補画像に含まれる前記部分画像を所定の大きさに拡大して該候補画像の縮小画像を表示する
   ことを特徴とする画像検索装置。

Images