JP2000112988A

JP2000112988A - 情報検索装置と情報検索方法、及び記憶媒体

Info

Publication number: JP2000112988A
Application number: JP10296240A
Authority: JP
Inventors: Kazuyo Ikeda; 和世池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-10-05
Filing date: 1998-10-05
Publication date: 2000-04-21

Abstract

(57)【要約】【課題】検索結果を正確に表現することができない場
合であっても所望の検索結果を得ることができるように
した。【解決手段】ＲＡＭにプログラムを読み込んだ後（Ｓ
１）、検索を行うための必要な初期化を行って後（Ｓ
２）、イベントの種類に応じて分岐処理を行う（Ｓ
３）。すなわち、クエリが入力されたときはクエリを表
示し（Ｓ４）、検索キーがクリックされ且つクエリが入
力されているときはクエリ検索処理を行う（Ｓ５）。ク
エリが入力されていないときはは特定画像を選択した
後、類似検索処理を行い、またイベント発生で特定画像
がクリックされたときも類似検索を行う（Ｓ９）。類似
検索は特定画像とＲＡＭに記憶されている複数の画像デ
ータとの類似度を算出することにより行い、検索結果が
類似度に基づいて表示画面に表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報検索装置と情報
検索方法、及び情報検索処理を実行するための制御プロ
グラムを記録したコンピュータ読取可能な記録媒体に関
する。

【０００２】

【従来の技術】検索対象となる情報を記憶した記憶装置
を設け、特定の検索条件を付与して該検索条件に基づき
情報検索を行い、該情報検索により得られた個々の情報
と前記検索条件との一致度合（類似度）を算出し、その
一致度合に基づいた検索結果を表示する情報検索装置が
知られている。

【０００３】この種の情報検索装置の内、検索結果の情
報を二次元或いは三次元空間に表示し、一致度の高い検
索結果ほど二次元或いは三次元空間の原点近くに表示す
ることによって、検索結果の一致度合を視覚的に理解し
やすくして検索結果の表示を行う情報検索装置が既に提
案されている（特開平８−３３９３７５号公報）。

【０００４】

【発明が解決しようとしている課題】しかしながら、上
記従来の情報検索装置においては、検索条件を正確に表
現することができる場合は該検索条件に基づく検索によ
り所望の検索結果を得ることができるものの、検索対象
が抽象的で検索条件を正確に表現することができないよ
うな場合には前記検索条件のみに基づく検索では所望の
検索結果を得ることが困難であるという問題点があっ
た。すなわち、例えば、検索条件として「red apple」
を指定した場合、「red apple」にも種々の態様があ
り、単に検索条件として「red apple」を指定したのみ
では、所望の検索結果を得ることが困難であるという問
題点があった。

【０００５】この場合、所望の情報に類似した情報の中
から探し出すという類似検索を行うことも考えられる
が、該類似検索では、検索の開始時点で検索条件に類似
した情報を決定するのは困難であるという問題点があ
る。

【０００６】本発明はこのような問題点に鑑みなされた
ものであって、検索条件を正確に表現することができな
い場合であっても所望の検索結果を得ることができる情
報検索装置と情報検索方法、及び記憶媒体を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明に係る情報検索装置は、検索条件を入力する検
索条件入力手段と、検索の対象となる複数の画像データ
を記憶した記憶手段と、前記検索条件と前記記憶手段に
記憶されている個々の画像データとを順次比較して前記
検索条件と前記各画像データとの類似度を算出する第１
の類似度算出手段と、該第１の類似度算出手段により算
出された類似度に基づいて検索結果を表示する第１の検
索結果表示手段とを備えた情報検索装置において、前記
第１の検索結果表示手段により検索表示された画像デー
タの中から特定画像を選択する画像選択手段と、該画像
選択手段により選択された特定画像と前記記憶手段に記
憶されている複数の画像データとの類似度を算出する第
２の類似度算出手段と、該第２の類似度算出手段により
算出された類似度に基づいて検索結果を表示する第２の
検索結果表示手段とを備えていることを特徴としてい
る。

【０００８】また、本発明に係る情報検索方法は、検索
の対象となる複数の画像データを記憶すると共に、検索
条件を入力する検索条件入力ステップと、前記検索条件
と前記記憶されている個々の画像データとを順次比較し
て前記検索条件と前記各画像データとの類似度を算出す
る第１の類似度算出ステップと、該第１の類似度算出ス
テップにより算出された類似度に基づいて検索結果を表
示する第１の検索結果表示ステップとを含む情報検索方
法において、さらに、前記第１の検索結果表示ステップ
により検索表示された画像データの中から特定画像を選
択する画像選択ステップと、該画像選択ステップにより
選択された特定画像と前記記憶されている複数の画像デ
ータとの類似度を算出する第２の類似度算出ステップ
と、該第２の類似度算出ステップにより算出された類似
度に基づいて検索結果を表示する第２の検索結果表示ス
テップとを含んでいることを特徴としている。

【０００９】さらに、本発明に係る記憶媒体はコンピュ
ータ読取可能な記憶媒体であって、検索条件を入力する
検索条件入力手順と、検索の対象となる複数の画像デー
タを記憶する記憶手順と、前記検索条件と前記記憶され
ている画像データとを順次比較して前記検索条件と前記
画像データとの類似度を算出する第１の類似度算出手順
と、該第１の類似度算出手順により算出された類似度に
基づいて検索結果を表示する第１の検索結果表示手順と
が格納された記憶媒体において、さらに、前記第１の検
索結果表示手順により検索表示された画像データの中か
ら特定画像を選択する画像選択手順と、該画像選択手順
により選択された特定画像と前記記憶された複数の画像
データとの類似度を算出する第２の類似度算出手順と、
該第２の類似度算出手順により算出された類似度に基づ
いて検索結果を表示する第２の検索結果表示手順とが格
納されていることを特徴としている。

【００１０】尚、本発明の他の特徴は、下記の発明の実
施の形態により明らかになるだろう。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳説する。

【００１２】図１は本発明に係る情報検索装置の一実施
の形態を示すブロック構成図であって、該情報検索装置
は、文字キー、ファンクションキー、テンキー等を備え
たキーボード１と、ポインティングデバイスとしてのマ
ウス２と、検索結果を表示するＬＣＤやＣＲＴ等のディ
スプレイ３と、検索結果を出力するプリンタ４と、後述
する情報検索プログラムや各種情報を記憶したＣＤ−Ｒ
ＯＭ５と、該ＣＤ−ＲＯＭ５を挿着して該ＣＤ−ＲＯＭ
５を駆動するＣＤ−ＲＯＭドライバ６と、ＣＤ−ＲＯＭ
５の記憶内容と同様の内容が保存されたハードディスク
ドライブ（ＨＤドライブ）７と、基本入出力プログラム
やオペレーティング・システム（以下、「ＯＳ」とい
う）等の制御手順プログラムや所定の演算データが記憶
されたＲＯＭ８と、ＣＤ−ＲＯＭ５に格納されている情
報検索プログラムや各種情報がロードされて一時的に記
憶されたりワークエリアとして使用されるＲＡＭ９と、
バス１０を介して上記各構成要素に接続され、装置全体
を制御するＣＰＵ１１とから構成されている。

【００１３】このように構成された情報検索装置におい
ては、ＲＡＭ９に一時記憶されるＣＤ−ＲＯＭ５からの
個々の画像データ間の類似度を算出し、検索条件（以
下、「クエリ（query）」という）がキーボード１から
ＣＰＵ１１に入力されると、ＲＡＭ９に一時記憶された
ＣＤ−ＲＯＭ５からの個々の情報とクエリとが比較さ
れ、両者の類似度を算出する。

【００１４】そして、キーボード１からクエリが入力さ
れた場合は、クエリと完全一致する一致画像の表示位置
を定めると共に、前記一致画像の表示位置と前記クエリ
に類似する類似画像の表示位置との離間距離が両者の類
似度と対応するように前記類似画像のディスプレイ３上
での表示位置を決定し、一致画像及び類似画像をディス
プレイ３に表示する。

【００１５】また、ディスプレイ３に表示されている特
定画像がマウス２によりクリックされた場合は、該特定
画像を前記一致画像の表示位置に表示すると共に、前記
特定画像の表示位置と該特定画像に類似する類似画像の
表示位置との離間距離が両者の類似度と対応するように
類似画像のディスプレイ３上での表示位置を決定し、前
記特定画像及び前記類似画像をディスプレイ３に表示す
る。

【００１６】図２はＣＤ−ＲＯＭ５のメモリマップであ
って、該ＣＤ−ＲＯＭ５には、情報検索プログラム１
２、及び画像を識別する画像識別子（以下、「画像Ｉ
Ｄ」という）と該画像ＩＤに対応する画像ファイルを格
納する画像データベース１３、情報の一致領域に関連す
るデータを格納する一致領域データ１４、一致領域に表
示される完全一致の画像を格納する一致画像データ１
５、一致度の目盛間隔を格納する半径増分データ１６、
ディスプレイ３に表示する代表画像の位置を決定するた
めの配置角度データ１７の各記憶領域が設けられてい
る。

【００１７】図３はＲＡＭ９のメモリマップであって、
電源オンによりＲＯＭ８からＢＩＯＳ１８及びＯＳ１９
が読み込まれ後、情報検索プログラム１２、画像データ
ベース１３、一致領域データ１４、一致画像データ１
５、半径増分データ１６、及び配置角度データ１７が、
ＣＤ−ＲＯＭ５からＲＡＭ９にロードされ、実行可能と
なる。そして、ＲＡＭ９はこれら各情報が各領域に記憶
されると、前記情報検索プログラム１２が使用する記憶
領域として、比較画像バッファ２０、比較画像情報２
１、分布情報２２、グループ情報２３、画面情報２４が
確保され、更には必要に応じて後述する所定の記憶領域
が確保され、初期化される。

【００１８】図４は画像データベース１３の詳細を示す
テーブルであって、該画像データベース１３には、画像
ＩＤと、該画像ＩＤに対応する画像ファイル名及び説明
文が、各画像ＩＤ毎に格納されている。

【００１９】例えば、この図４に示すように、画像ＩＤ
「０」と、該画像ＩＤ「０」に対応して画像ファイル名
「0000000.jpg 」及び説明文「a red apple 」が格納さ
れている。画像ＩＤは、画像データベースに格納されて
いる画像を識別するための番号であり、画像データベー
スに格納された順番に、「０」から昇順に番号が付与さ
れる。従って、画像データベース１３に格納されている
画像ＩＤの最大値は、画像データベースに格納されてい
る画像の個数から１だけ減算した値と一致する。

【００２０】また、画像ファイル名は、画像データベー
ス１３に登録されている画像データのファイルの格納場
所を示し、これにより、画像ファイルから画像データを
求めることによって、画像をディスプレイ３に表示する
ことが可能となる。

【００２１】説明文は、画像ＩＤに対応する画像の内容
を記述した文章又は字句であり、情報検索プログラム１
２は、該説明文を使用して、画像データベース１３の中
から所望の画像を検索する。

【００２２】図５は一致領域データ１４の詳細を示すテ
ーブルであって、一致領域データ１４には、一致領域に
表示される画像データの個数に応じて一致領域の大きさ
を変更するためのデータが格納されている。すなわち、
一致領域データ１４は、１次元配列とされ、一致領域に
表示される画像の個数と一致領域の半径のドット数が格
納されている。そして、一致領域に表示される画像個数
と、一致領域の半径のドット数とは、一致領域に表示さ
れる画像が互いに重なることなく表示できるように予め
決定される。例えば、一致領域に表示される画像個数が
０個の場合は一致領域の半径は３０ドットに設定され、
一致領域に表示される画像個数が１個の場合は６０ドッ
トに設定され、一致領域に表示される画像個数が２個の
場合は９０ドットに設定され、一致領域に表示される画
像個数が３個の場合は１２０ドットに設定されている。

【００２３】図６は一致画像データ１５の詳細を示すテ
ーブルであって、該一致画像データ１５は、一致領域に
表示される完全一致（類似度１．０）の画像の中心座標
を、一致領域に表示する画像個数に対応させて格納して
いる。例えば、一致領域に１個の画像を表示する場合は
１組のｘ座標及びｙ座標が格納され、２個の画像を表示
する場合は２組のｘ座標及びｙ座標が格納され、３個の
画像を表示する場合は３組のｘ座標及びｙ座標が格納さ
れる。つまり、一致領域に表示する画像個数と同一個数
のｘ座標及びｙ座標を組として格納される。

【００２４】すなわち、各座標は、一致領域の中心を原
点（０，０）とし、水平方向をｘ軸、垂直方向をｙ軸と
した場合の座標が格納されている。そして、各画像の座
標は、一致領域に表示する座標が互いに重なることなく
表示されるように予め決定される。例えば、一致領域に
１個の画像を表示する場合は座標（０，０）が格納さ
れ、２個の画像を表示する場合は座標（０，３５）、
（０，−３５）が格納され、３個の画像を表示する場合
は座標（０，３５）、（４５，−３５）、（−４５，−
３５）が格納される。

【００２５】図７は半径増分データ１６の詳細を示すテ
ーブルであって、半径増分データ１６は、ディスプレイ
３上の類似度間の目盛間隔を決定するために使用され、
該目盛間隔は、２つの目盛り間に表示される画像個数に
よって決定される。すなわち、半径増分データ１６に
は、目盛り間に表示される画像の個数と目盛間隔に対応
したドット数が複数格納されており、画像個数によって
昇順に分類されている。具体的には、目盛間隔は、各目
盛幅に対応する半径増分データがドット数で格納され
る。例えば、画像個数が０個である場合は、半径増分デ
ータとして３０ドットが格納され、画像個数が１個以上
４個以下の場合は、半径増分データとして６０ドットが
格納され、画像個数が５個以上１０個以下の場合は、半
径増分データとして９０ドットが格納されている。

【００２６】図８は配置角度データ１７の詳細を示すテ
ーブルであって、該配置角度データ１７は、ディスプレ
イ３に表示される代表画像の位置を決定するために使用
される。すなわち、配置角度データ１７は、原点（０，
０）から水平右方向の角度を０°とした場合の代表画像
を表示する方向を示す。例えば、第１番目の代表画像は
原点（０，０）に対し９０°方向に表示し、第２番目の
代表画像は原点（０，０）に対し１８０°方向に表示
し、第３番目の代表画像は原点（０，０）に対し２７０
°方向に表示し、第４番目の代表画像は原点（０，０）
に対し０°方向に表示するようにこれら配置角度が格納
される。

【００２７】図９は比較画像バッファ２０の詳細を示す
テーブルであって、該比較画像バッファ２０には、画像
データベース１３に格納された画像の画像ＩＤと類似度
とが対応するように類似度の降順に格納されている。そ
して、例えば、画像ＩＤが「０」、「４５」、「７８」
の場合は、類似度「１．０００」が格納され、画像ＩＤ
が「１２」の場合は、類似度「０．９５２」が格納され
る。尚、類似度は、値「１．０」から値「０．０」まで
に割り振られ、数値が「１．０」に近づけば近づく程、
類似度が高いことを意味し、値「１．０」はクエリと完
全一致していることを示している。

【００２８】図１０は比較画像情報２１の詳細を示すテ
ーブルであって、画像データベース１３に格納されてい
るすべての画像に対し画像間の類似度を算出し、算出さ
れた類似度を類似画像リストとして取得し、各画像ＩＤ
の画像データに対する類似度を類似画像リストとして画
像ＩＤ「０」から昇順に格納する。

【００２９】図１１は分布情報２２の詳細を示すテーブ
ルであって、該分布情報２２には、各目盛り間に存在す
る画像個数の分布が格納される。例えば、類似度が１．
０の場合は３個の画像が存在し、類似度が１．０より小
さく０．９より大きい場合は５個の画像が存在し、類
似度が０．９より小さく０．８より大きい場合は８個
の画像が存在する場合は、これらのデータが分布情報２
２に順次格納される。

【００３０】図１２はグループ情報２３の詳細を示すテ
ーブルであって、グループ情報２３は、個別画像をグル
ープ単位に纏めるときに使用される。グループ情報２３
は、個別画像の画像ＩＤと、個別画像が属するグループ
の代表画像の画像ＩＤと、個別画像と代表画像との類似
度とが対応されて格納される。図１２のグループ情報
は、画像ＩＤ「３４」の個別画像が画像ＩＤが「８７」
の個別画像を代表とするグループに属し、画像ＩＤ「３
４」の画像と画像ＩＤ「８７」の画像との類似度が０．
９２８であることを示している。

【００３１】図１３は画面情報２４の詳細を示すテーブ
ルであって、該画面情報２４は、検索結果に対し、後述
する検索結果表示領域に表示する各画面の情報が格納さ
れ、該画面情報２４により検索結果をすべて表示するた
めに必要な画面数や、各画面において表示する画像の範
囲や各画面の目盛りのレイアウトなどを求めることがで
きる。画面情報２４には、表示を開始する画像を示すた
めの分布情報２２の開始領域と、目盛幅とが各画面ごと
に対応して格納される。目盛幅は隣接する目盛間の幅、
すなわち半径の差分がドット数に換算して順次格納さ
れ、また、次画面が表示されない場合は「−１」が格納
される。すなわち、例えば、画面番号０（最初の画面）
には、開始領域として「０」が格納され、さらに、類似
度１．０の領域の半径サイズとして１２０ドットが格納
され、類似度０．９の領域の半径増分として９０ドット
が格納され、類似度０．８の領域の半径増分として９０
ドットが格納され、類似度０．７以降については「−
１」が格納されて類似度０．７以降は表示されないこと
を示している。また、画面番号１（次画面）には、開始
領域として「３」が格納され、さらに、類似度１．０〜
０．８の領域には夫々半径サイズとして３０ドットが格
納され、類似度０．７の領域の半径増分として９０ドッ
トが格納され、類似度０．６の領域の半径増分として３
０ドットが格納され、類似度０．５の領域の半径増分と
して９０ドットが格納され、類似度０．４以降について
は「−１」が格納される。そして、この場合は類似度が
０．８より類似度の低い画像から表示が開始されること
となる。

【００３２】図１４は情報検索時のディスプレイ３の表
示画面を示す一例であって、該表示画面は、クエリ（検
索条件）が表示されるクエリ表示領域２５と、検索を指
示するときに操作する検索キー２６と、より類似度の高
い画像を表示するときに操作する前画面キー２７と、よ
り類似度の低い画像を表示するときに操作する次画面キ
ー２８と、検索結果を表示する縦及び横が共に６００ド
ットの正方形形状からなる検索結果表示領域２９とを有
している。

【００３３】本実施の形態では、クエリ表示領域２５に
「red apple」という字句が実際に入力されている状態
を示しており、マウス２を使用して検索キー２６をクリ
ックすることにより、クエリ表示領域２５に表示された
クエリに基づいて画像データベース１３が検索され、最
初の検索結果が検索結果表示領域２９に表示される。図
中、原点を中心に斜線Ａで示す円領域は、検索条件を完
全に満たす画像を表示する一致領域、すなわち類似度が
１．０の領域である。また、破線Ｂ、破線Ｃは検索条件
を満たす度合を示すための目盛りであり、本実施の形態
では、破線Ｂが類似度０．９、破線Ｃが類似度０．８の
目盛りを示している。すなわち、検索結果表示領域２９
の中心から離間するにつれて、類似度は下がっていく。

【００３４】また、３０ａ〜３０ｌは、検索された画像
データを示しており、本実施の形態では、縦×横が６０
×８０ドットで表示される。尚、この図１４では、説明
の都合上、実際の画像データを表示する代わりに画像デ
ータの有する画像ＩＤを表示しているが、実際には、３
０ａには画像ＩＤが「０」の画像データが表示され、３
０ｂには画像ＩＤが「４５」の画像データが表示され、
３０ｃには画像ＩＤが「７８」の画像データが表示され
る。そして、検索条件を満たす度合の高い画像ほど、検
索結果表示領域２９の中心近くに表示され、検索条件を
満たす度合が低い画像ほど、検索結果表示領域２９の中
心から離間して表示される。

【００３５】また、画像ＩＤが「８５」の画像データ３
０ｅ、画像ＩＤが「７６」の画像データ３０ｆ及び画像
ＩＤが「５６」の画像データ３０ｇは互いに一部重複し
ているが、これは、これらの各画像３０ｅ〜３０ｇが互
いに類似しており、一つのグループを形成していること
を示している。

【００３６】また、画像ＩＤが「３２」の画像データ３
０ｋと画像ＩＤが「９９」の画像データ３０ｌは連結線
３１により接続されているが、このように一部重複して
いなくても、連結線３１により接続されている画像デー
タ同士も類似していることを示しており、一つのグルー
プを形成している。各グループの内、最も類似度の高い
画像データ３０ｆ、３０ｈ、３０ｌ（代表画像）と一致
領域（斜線部Ａ）とは検索結果表示領域２９の中心方向
に延伸する代表線３２ａ、３２ｂ、３２ｃを介して接続
されている。

【００３７】さらに、画像ＩＤが「１２」の画像データ
３０ｄ或いは画像ＩＤが「２３」の画像データ３０ｊの
ように、他の画像データと類似しない画像データについ
てもグループを形成していると擬制し、画像データ３０
ｄ及び画像データ３０ｊと一致領域とが、代表線３２
ｅ、３２ｄで接続されている。

【００３８】尚、図１４はクエリ「red apple」に対す
る最初の検索結果を表示しているため、より高い類似度
を有する画像は存在せず、したがって前画面キー２７は
白色で表示され、また類似度の低い画像、すなわち次画
面が存在するため次画面キー２８は黒色で表示されてい
る。

【００３９】次に、この最初の検索結果が検索結果表示
領域２９に表示されているときに、次画面ボタン２８を
マウス２を使用してクリックすると、ディスプレイ３の
表示内容は、図１５のようになる。

【００４０】図中、破線Ｄは類似度０．７、破線Ｅは類
似度０．６、破線Ｆは類似度０．５を示している。本実
施の形態では、破線Ｄと破線Ｅの間の目盛間隔は類似度
０．７と類似度０．６との間に表示される画像が表示さ
れていないため、類似度０．８と類似度０．７との間の
目盛間隔よりも狭くなっている。また、破線Ｃで示す類
似度０．８の内方には画像データが表示されていないた
め、図１４に比べて狭くなっている。

【００４１】尚、前画面キー２７は、図１５に示す検索
結果よりも高い類似度を有する画像データ（図１４）が
存在するため黒色で表示され、次画面キー２８は、図１
５の検索結果よりも類似度の低い画像データは存在しな
いため白色で表示されている。

【００４２】次いで、図７の検索結果が検索結果表示領
域２９に表示されているときに、画像ＩＤが「９９」の
画像データ３０ｌをマウス２を使用してクリックする
と、ディスプレイ３の表示内容は、図１６のようにな
る。

【００４３】すなわち、検索結果に対応するクエリが存
在しないためクエリ表示領域２５は空欄とされる一方
で、一致領域（斜線部Ａ）には、検索元となった画像Ｉ
Ｄ「９９」の画像データが表示される。そして、画像デ
ータ３０ｌは、クエリに基づいた検索を行った場合と区
別するために、２重枠で表示されている。また、この場
合も、上記図１４と同様、類似度１．０〜類似度０．６
に対応する目盛りが割り振られ、各類似度に応じた画像
データが表示されている。また、互いに類似する画像デ
ータは一部重複したり、或いは連結線で接続されてお
り、代表画像と一致領域とが代表線により接続されてい
る。

【００４４】図１７は本発明に係る情報検索方法の処理
手順を示すフローチャートであって、本プログラムはＣ
ＰＵ１１で実行される。

【００４５】まず、ステップＳ１では、ＲＯＭ８に格納
されているＢＩＯＳ１８及びＯＳ１９をＲＡＭ９に読み
込んだ後、ＣＤ−ＲＯＭ５に格納されている情報検索プ
ログラム１２、画像データベース１３、一致領域データ
１４、一致画像データ１５、半径増分データ１６、及び
配置角度データ１７をＲＡＭ９にロードし、さらに、比
較画像バッファ２０、比較画像情報２１、分布情報２
２、グループ情報２３、画面情報２４の各領域、及び必
要に応じて他の記憶領域をＲＡＭ９上に確保する。

【００４６】次に、ステップＳ２では、情報検索プログ
ラム１２が検索を行うための検索初期化処理を行う。す
なわち、画像データベース１３に格納されている個々の
画像を使用して画像データベース１３を所定の検索を行
い、その検索結果を比較画像情報２１に格納する。

【００４７】次いで、ステップＳ３では、発生するイベ
ントに応じた分岐処理を行う。すなわち、ユーザの操作
により所定のイベントが発生し、該発生したイベントに
応じて以下のように異なる処理を実行する。

【００４８】すなわち、ユーザがキーボード１を使用し
て文字キーを操作した場合は、クエリが入力されたと判
断して、ステップＳ４に進み、入力文字を取り込み、ク
エリ表示領域２５にクエリを表示した後、ステップＳ３
に戻る。

【００４９】ユーザがマウス２を使用して検索キー２６
をクリックした場合は、ステップＳ５に進み、クエリが
入力されているか否かを判断する。そして、クエリが入
力されている場合はクエリに基づいた画像検索が可能と
判断し、ステップＳ６に進んでクエリ検索処理を実行
し、その後ステップＳ３に戻る。一方、ステップＳ５で
クエリが入力されていないと判断した場合は、クエリに
基づく画像検索を行なうことができないため、ステップ
Ｓ７でディスプレイ３に表示されている所望の画像を選
択し、ステップＳ９で類似検索処理を実行した後、ステ
ップＳ３に戻る。すなわち、ステップＳ７で選択された
画像データと類似する画像データが類似度に応じてディ
スプレイ３に表示されるように類似画像の検索を行い、
ステップＳ３に戻る。

【００５０】ユーザがマウス２を使用してディスプレイ
３に表示された特定の画像データがクリックされた場合
は、ステップＳ８に進み、クリックされた画像データに
対応する画像ＩＤを求め、該画像ＩＤをＲＡＭ９中に確
保された比較元ＩＤに格納し、ステップＳ９で上述した
類似検索処理を実行し、その後ステップＳ３に戻る。す
なわち、該比較元ＩＤの画像データと類似する画像デー
タが類似度に応じてディスプレイ３に表示されるように
類似画像の検索を行い、ステップＳ３に戻る。

【００５１】ユーザがマウス２を使用して次画面キー２
７をクリックした場合は、ステップＳ１０に進んで次画
面表示処理を実行した後、ステップＳ３に戻る。

【００５２】ユーザがマウス２を使用して前画面キー２
８をクリックした場合は、ステップＳ１１に進み、前画
面表示処理を実行した後、ステップＳ３に戻る。

【００５３】図１８は、ステップＳ２で実行される検索
初期化処理ルーチンのフローチャートである。

【００５４】ステップＳ２１では、様々な初期化処理を
行う。すなわち、ＲＡＭ９に領域確保された比較画像バ
ッファ２０、比較画像情報２１、分布情報２２、グルー
プ情報２３及び画面情報２４の初期化を行い、さらに必
要に応じて、その他の初期化処理を行なう。

【００５５】ステップＳ２２では比較元ＩＤを「０」に
設定して該比較元ＩＤを初期化する。

【００５６】ステップＳ２３ではＲＡＭ９に確保された
クエリバッファに比較元画像データの説明文を格納する
ことによりクエリの設定を行なう。すなわち、比較元Ｉ
Ｄ（画像ＩＤ）に対応した説明文を図４に示す画像デー
タベース１３から読み出してクエリバッファに複写す
る。

【００５７】次いで、ステップＳ２４で比較先の画像デ
ータを示す比較先ＩＤを「０」に初期化した後、ステッ
プＳ２５で比較元ＩＤの画像データと比較先ＩＤの画像
データとを比較し、類似度を算出する。すなわち、比較
先ＩＤ（画像ＩＤ）に対応する画像データの説明文を画
像データベース１３から読み出し、該比較先ＩＤの説明
文と前記クリエバッファに記憶されている比較元ＩＤ
（画像ＩＤ）の説明文とに基づいて画像データ間の類似
度を算出する。尚、類似度は、最大値が１．０、最小値
が０．０となるように正規化されて算出される。

【００５８】続くステップＳ２６では、比較先ＩＤの画
像データが比較画像バッファ２０に格納可能か否かを判
断し、その答が否定（Ｎｏ）のときは直ちにステップＳ
２８に進む一方、その答が肯定（Ｙｅｓ）のときは比較
画像を比較画像バッファ２０に格納した後、ステップＳ
２８に進む。すなわち、比較画像バッファ２０に空領域
がある場合は格納可能と判断し、該画像データを比較画
像バッファに格納する。また、比較画像バッファ２０に
空領域がない場合は比較画像バッファ２０の末端アドレ
ス領域に格納されている画像データの類似度と比較先Ｉ
Ｄの画像データの類似度とを比較し、比較先ＩＤの画像
データの類似度が前記末端アドレス領域に格納されてい
る画像データの類似度よりも大きい場合は前記末端アド
レス領域の画像データを削除して比較画像を比較画像バ
ッファ２０に格納し、画像バッファ２０の記憶内容を更
新する。一方、比較画像バッファ２０に空領域が存在し
ない場合であって且つ比較先ＩＤの画像データの類似度
が前記末端アドレス領域に格納されている画像データの
類似度よりも小さい場合は比較画像を比較画像バッファ
２０に格納できない場合であると判断してステップＳ２
８に進む。

【００５９】尚、比較画像が比較画像バッファ２０の末
端アドレス領域に格納された後は、類似度が前記比較画
像バッファ２０の先端アドレス領域から降順となるよう
に適宜比較画像の入替処理を行う。

【００６０】次に、ステップＳ２８では比較先ＩＤの数
値を「１」だけインクリメントして比較先画像を画像デ
ータベース１３中の次画像に変更し、ステップＳ２９に
進む。

【００６１】ステップＳ２９では、画像データベース１
３に格納されている全ての画像データについて比較先Ｉ
Ｄの画像データに対する画像比較が終了したか否かを判
断し、その答が否定（Ｎｏ）の場合はステップＳ２３に
戻る一方、その答が肯定（Ｙｅｓ）の場合はステップＳ
３０に進む。具体的には、比較先ＩＤの数値が画像デー
タベース１３の末端アドレス領域に格納されている画像
ＩＤの数値よりも小さい場合は、比較先画像と画像デー
タベース１３の全ての画像データとが比較されていない
と判断してステップＳ２５に戻り、上述の処理を繰り返
す一方、比較先ＩＤの数値が画像データベース１３の末
端アドレス領域に格納されている画像ＩＤの数値よりも
大きい場合は、比較先画像データと画像データベース１
３の全ての画像データとが比較されたと判断してステッ
プＳ３０に進み、比較元ＩＤの数値を「１」だけインク
リメントして比較元画像を画像データベース１３中の次
画像に変更し、ステップＳ２９に進む。

【００６２】次いで、ステップＳ３１では、画像データ
ベース１３に格納されている全ての画像データに対して
比較処理をしたか否かを判断する。そして、比較元ＩＤ
の数値が画像データベース１３の末端アドレス領域に格
納されている画像データの画像ＩＤの数値よりも小さい
場合は全ての画像データについて比較処理がなされてい
ないと判断し、ステップＳ２３に戻って上述の処理を繰
り返す一方、比較元ＩＤの数値が前記末端アドレス領域
に格納されている画像データの画像ＩＤの数値よりも大
きい場合は全ての画像データについて比較処理がなされ
たと判断してメインルーチン（図１７）に戻る。

【００６３】図１９は、ステップＳ６（図１７）で実行
されるクエリ検索処理ルーチンのフローチャートであ
る。

【００６４】ステップＳ４１ではクエリ表示領域２５に
表示されている文字列（例えば、red apple」を、クエ
リバッファに複写してクエリの設定を行なう。

【００６５】次いで、ステップＳ４２で比較先ＩＤを
「０」に初期化した後、ステップＳ４３で比較元ＩＤの
画像データと比較先ＩＤの画像データとを比較し、上述
の検索初期化処理ルーチンと同様の手法により類似度を
算出する。すなわち、クエリバッファに格納されている
文言と比較先ＩＤの画像データの説明文とを比較し、類
似度を算出する。

【００６６】続くステップＳ４４では、比較先ＩＤの画
像データが比較画像バッファ２０に格納可能か否かを上
記ステップＳ２６で説明したのと同様の手法により判断
し、その答が否定（Ｎｏ）のときは直ちにステップＳ４
５に進む一方、その答が肯定（Ｙｅｓ）のときは比較画
像を比較画像バッファ２０に格納した後、ステップＳ４
５に進む。

【００６７】次に、ステップＳ４５では比較先ＩＤの数
値を「１」だけインクリメントして比較先画像を画像デ
ータベース１３中の次画像に変更し、ステップＳ４６に
進む。

【００６８】次いで、ステップＳ４６では、上記ステッ
プＳ２８と同様の手順により画像データベース１３に格
納されている全ての画像データについて比較先ＩＤの画
像データに対する画像比較が終了したか否かを判断し、
その答が否定（Ｎｏ）の場合はステップＳ４３に戻っ上
述の処理を繰り返す一方、その答が肯定（Ｙｅｓ）の場
合はステップＳ４８に進む。

【００６９】ステップＳ４８では比較画像バッファ２０
に格納されている検索結果に基づいて画面構成を決定す
る画面構成処理を実行し、続くステップＳ４９では画面
番号を「０」に初期化して第１番目の検索結果の表示を
可能とし、次いでステップＳ５０では検索結果表示処理
を行ない、メインルーチン（図１７）に戻る。

【００７０】図２０は上記ステップＳ４７で実行される
画面構成処理ルーチンのフローチャートである。

【００７１】ステップＳ５１では比較画像バッファ２０
に格納されている画像の類似度の分布状況を調べ、該分
布状況を分布情報２２に格納する。すなわち、まず、比
較画像バッファ２０を検索し、類似度が１．０の画像Ｉ
Ｄの個数を該比較画像バッファ２０から読み出して画像
数を分布情報２２に格納し、次に類似度が１．０より小
さく０．９を超える画像データの画像ＩＤの個数を比較
画像バッファ２０から読み出して画像数を分布情報２２
に格納し、以下同様に、０．１目盛りを単位として同一
類似度の範囲に属する画像ＩＤの個数を該比較画像バッ
ファ２０から読み出し、画像数を分布情報２２に格納す
る。

【００７２】続くステップＳ５２では、グループ化処理
を実行し、比較画像バッファ２０に格納されている画像
を同一類似度毎に括ってグループ化し、その結果をグル
ープ情報２３に格納する。

【００７３】そして、ステップＳ５３は、表示目盛決定
処理を実行し、各画面で表示すべき目盛りを決定し、そ
の結果を画面情報２４に格納する。

【００７４】図２１は、ステップＳ５２で実行されるグ
ループ化処理ルーチンのフローチャートである。

【００７５】ステップＳ６１では、比較画像バッファ２
０の各項目（画像ＩＤ、類似度）を指し示すバッファ項
目ＢＵＦを「０」に初期化し、該バッファ項目ＢＵＦに
より比較画像バッファ２０の先頭項目を指し示すように
する。

【００７６】ステップＳ６２では、比較画像情報２１を
検索し、バッファ項目ＢＵＦが指し示す比較画像バッフ
ァ２０の画像ＩＤに対応する類似画像リストを読み出
す。

【００７７】次いで、ステップＳ６３ではステップＳ６
２で読み出した類似画像リストの各項目を指示するリス
ト項目ＬＳＴに「０」を書き込み、該リスト項目ＬＳＴ
が類似画像リスト先頭の項目を指し示すようにする。

【００７８】ステップＳ６４では、リスト項目ＬＳＴが
指し示す類似画像リストの類似度が所定値Ｘ（例えば、
０．８）を超えているか否かを判断する。そして、その
答が否定（Ｎｏ）の場合はステップＳ６９に進む一方、
その答が肯定（Ｙｅｓ）の場合はステップＳ６５に進
み、リスト項目ＬＳＴが指し示す画像ＩＤが、比較画像
バッファ２０においてバッファ項目ＢＵＦが指し示す画
像ＩＤよりも先頭側のアドレス領域に存在するものであ
るか否かを判断する。そして、その答が肯定（Ｙｅｓ）
のときはステップＳ６６に進む一方、その答が否定（Ｎ
ｏ）のときはステップＳ６７に進む。すなわち、比較画
像バッファ２０において、リスト項目ＬＳＴが指示する
類似画像リストの画像ＩＤと一致する画像ＩＤがバッフ
ァ項目ＢＵＦの数値よりも小さいアドレス領域に存在す
れば、ステップＳ６６に進み、存在しなければステップ
Ｓ６７に進む。

【００７９】次いで、ステップＳ６６ではグループ登録
を行ない、その後ステップＳ６９に進む。すなわち、バ
ッファ項目ＢＵＦに対応した画像ＩＤと、リスト項目Ｌ
ＳＴに対応した画像ＩＤと、リスト項目ＬＳＴに対応し
た類似度とを一組にし、これらをグループ情報２３に格
納する。具体的には、バッファ項目ＢＵＦに対応した画
像ＩＤをグループ情報２３の画像ＩＤに格納し、リスト
項目ＬＳＴに対応した画像ＩＤをグループ情報２３の代
表画像ＩＤに格納し、リスト項目ＬＳＴに対応した類似
度をグループ情報２３の類似度に格納する（図１２参
照）。

【００８０】一方、ステップＳ６７ではリスト項目ＬＳ
Ｔの数値を「１」だけインクリメントし、ステップＳ６
２で読み出された類似画像リストにおける次項目を指し
示すようし、続くステップＳ６８ではリスト項目ＬＳＴ
が指し示す類似画像リスト中の全ての有効な項目につい
て処理を行なったか否かを判断し、その答が否定（Ｎ
ｏ）のときはステップＳ６４に戻って上述した処理を繰
り返す一方、その答が肯定（Ｙｅｓ）のときはステップ
Ｓ６９に進む。

【００８１】そして、ステップＳ６９では、バッファ項
目ＢＵＦの数値を「１」だけインクリメントし、比較画
像バッファ２０中の次項目を指し示すようにする。

【００８２】次いで、ステップＳ７０では、バッファ項
目ＢＵＦが指し示す比較画像バッファ２０の全ての項目
について処理を終了したか否かを判断する。そして、そ
の答が否定（Ｎｏ）のときはステップＳ６４に戻って上
述の処理を繰り返す一方、その答が肯定（Ｙｅｓ）のと
きはグループ情報２３に格納される代表画像ＩＤの数値
が昇順となるように各組について適宜入替処理を行い、
画面構成決定ルーチン（図２０）に戻る。

【００８３】図２２は、ステップＳ５３（図２０）で実
行される表示目盛決定処理ルーチンのフローチャートで
ある。

【００８４】ステップＳ８１では表示目盛りを決定する
ための初期化を行う。すなわち、画面番号ＤＮＯ及び開
始領域ＳＴＡを「０」に設定する。ここで、画面番号Ｄ
ＮＯは検索結果を表示する画面の番号であり、開始領域
ＳＴＡは各画面において画像の表示を開始する領域の番
号を意味する。尚、画面情報２３の表示開始や目盛幅等
の各要素は「−１」に設定することにより初期化され
る。

【００８５】ステップＳ８２では、領域番号ＡＮＯ及び
目盛半径Ｒを「０」に初期化する。る。領域番号ＡＮＯ
は、類似度が１．０の一致領域（図１４の斜線部Ａ）が
「０」に設定され、類似度１．０と類似度０．９の間が
「１」に設定され、以下、類似度が低下するに連れて低
い領域番号が付与される。また、目盛半径Ｒは検索結果
表示領域２９に表示される目盛りの半径をドット数で表
現する。

【００８６】ステップＳ８３では、領域番号ＡＮＯが開
始領域ＳＴＡより小さいか否かを判断し、その答が肯定
（Ｙｅｓ）の場合は領域番号ＡＮＯに対応する領域に画
像データを表示しない場合であり、ステップＳ８４に進
んで領域番号ＡＮＯによって示される領域の半径増分を
画面情報２４に格納する。具体的には、領域番号ＡＮＯ
が「０」の場合は一致領域データ１４（図５）を検索
し、領域番号ＡＮＯが「０」以外の場合は半径増分デー
タ１６（図７）を検索する。本実施の形態では、図５及
び図７に示すように、いずれの場合であっても半径増分
として３０ドットが読み出され、該半径増分が画面情報
２４に格納される。

【００８７】このように半径増分が読み出されると、画
面情報２４の画面番号ＤＮＯ及び領域番号ＡＮＯに対応
した目盛幅に、半径増分を格納する。例えば、クエリ表
示領域２５に「red apple」が表示され且つ画面番号Ｄ
ＮＯが「１」の場合は、前記図１３に示すように、類似
度１．０から類似度０．８に対応した目盛幅として夫々
３０ドットが格納される。尚、前記半径増分は目盛半径
に加算される。

【００８８】ステップＳ８５では領域番号ＡＮＯを
「１」だけインクリメントしステップＳ８３に戻って上
述の処理を繰り返す。

【００８９】また、ステップＳ８３の答が否定（Ｎ
ｏ）、すなわち領域番号ＡＮＯが開始領域ＳＴＡよりも
大きい場合はステップＳ８６に進み、領域番号ＡＮＯで
示される領域の半径増分を決定する。この場合の半径の
増分は、一致領域データ１４と半径増分データ１６、分
布情報２２、及び領域番号ＡＮＯから算出する。すなわ
ち、分布情報２２を検索して領域番号ＡＮＯによって示
される領域に表示する画像データの個数を読み出し、領
域番号ＡＮＯが「０」の場合は一致領域データ１４を検
索し、領域番号ＡＮＯが０以外の場合は半径増分データ
１６を検索し、領域に表示する画像の個数に対応する半
径増分を決定する。例えば、「red apple」がクエリ表
示領域２５に格納されている場合、分布情報は図１１に
示すように、類似度１．０、０．９、０．８、０．７、
０．６、０．５（領域番号ＡＮＯが０、１、２、３、
４、５に対応）に対して、画像数３、５、８、６、０、
５が夫々格納され、一致領域データ１４及び半径増分デ
ータ１６を検索することにより半径増分として１２０、
９０、９０、９０、３０、９０が決定される。

【００９０】続くステップＳ８７では領域番号ＡＮＯに
より特定される領域が、検索結果表示領域２９に表示で
きるか否かを判断し、その答が否定（Ｎｏ）の場合はス
テップＳ８８に進む。すなわち、ステップＳ８６で得ら
れた半径増分を目盛半径に加算した値が検索結果表示領
域２９（縦×横＝６００×６００ドット）の１／２より
大きいか否かを判断し、大きい場合は領域番号ＡＮＯに
より特定される領域を検索結果表示領域２９に表示する
ことができないと判断してステップＳ８８に進む。

【００９１】そして、ステップＳ８８では、ステップＳ
８６で算出した半径増分を画面情報２３に格納する。例
えば、分布情報２２が図１１のようになっている場合、
画面情報２４には、図１３に示すように、例えば、画面
番号ＤＮ０が「０」のときは類似度１．０から類似度
０．８までの目盛幅には夫々１２０、９０、９０が格納
され、画面番号ＤＮＯが「１」のときは類似度０．７か
ら類似度０．５までの目盛幅には夫々９０、３０、９０
が格納される。

【００９２】ステップＳ８９では、領域番号ＡＮＯによ
り特定される領域の次領域を処理するために、領域番号
ＡＮＯの数値を「１」だけインクリメントした後、ステ
ップＳ８６に戻って上述の処理を繰り返す。

【００９３】そして、ステップＳ８６で得られた半径増
分を目盛半径に加算した値が検索結果表示領域２９の１
／２以下となってステップＳ８７の答が肯定（Ｙｅｓ）
となった場合は、表示が可能と判断してステップＳ９０
に進み、比較画像バッファ２０に格納されている画像デ
ータの全てについて処理が終了したか否かを判断する。
そして、その答が肯定（Ｙｅｓ）の場合、すなわち、分
布情報２２の領域番号ＡＮＯにより特定される領域以降
の要素がすべて「０」でない場合は次画面が未だ処理さ
れていないためステップＳ９１に進み、画面番号ＤＮＯ
を「１」だけインクリメントすると共に領域番号ＡＮＯ
を開始領域ＳＴＡに置換した後、ステップＳ８２に戻
り、上述した処理を繰り返す。

【００９４】一方、ステップＳ９０の答が肯定（Ｙｅ
ｓ）、すなわち領域番号ＡＮＯにより特定される領域以
降の要素がすべて「０」の場合は上述の処理が全ての画
像に対して処理を行ったと判断し、画面構成決定処理ル
ーチン（図２０）が終了してクエリ検索処理ルーチン
（図１９）に戻る。

【００９５】図２３は、ステップＳ４９（図１９）で実
行される検索結果表示処理ルーチンのフローチャートで
ある。

【００９６】ステップＳ１０１では、指定された画面番
号ＤＮＯに対する画面情報２３中の目盛幅を用いて、検
索結果表示領域２９に目盛りを表示する。すなわち、類
似度１．０に対応した目盛幅から目盛幅の値が「−１」
になるまで目盛半径を順次加算していき、各目盛半径に
対応して検索結果表示領域２９の中心を原点とする同心
円を表示していく。

【００９７】次いで、ステップＳ１０２では、一致領域
（図１４の斜線部Ａ）の中に、類似度１．０の画像を表
示する。すなわち、比較画像バッファ２０の先頭アドレ
ス領域から順次類似度１．０に対応する画像ＩＤを求
め、次いで画像データベース１３を検索して該画像ＩＤ
に対応した画像ファイルを読み出し、該画像ファイルを
一致領域（斜線部Ａ）に表示する。画像ファイルを表示
する座標は、一致画像データ１５を検索し、一致領域
（斜線部Ａ）に表示する画像の個数に対応した座標を求
める。また、文字列がクエリ表示領域２５に存在しない
場合は、前記図１６に示すように、比較元ＩＤで示され
る画像データの周囲を二重枠で表示する。この場合は、
比較元ＩＤで示される画像データは、類似度１．０とし
て、比較画像バッファ２０に格納されている。

【００９８】次いで、ステップＳ１０３では、比較画像
バッファ２０を検索して類似度１．０以外の先頭の画像
ＩＤ（以下、「先頭画像ＩＤ」という）を表示する画像
データを取得する。

【００９９】そして、ステップＳ１０４では先頭画像Ｉ
Ｄの画像データが代表画像か否かを判断し、その答が肯
定（Ｙｅｓ）の場合はステップＳ１０５に進み、その答
が否定（Ｎｏ）の場合はステップＳ１０９に進む。ここ
で、先頭画像ＩＤの画像データが代表画像か否かは、対
象となる画像データの画像ＩＤがグループ情報２３の画
像ＩＤとして格納されているか否かにより判断する。す
なわち、対象となる画像データの画像ＩＤがグループ情
報２３の画像ＩＤとして格納されている場合は代表画像
ではないと判断して直ちにステップＳ１０９に進む一
方、その答が肯定（Ｙｅｓ）の場合、すなわちグループ
情報２３の画像ＩＤとして格納されていない場合は代表
画像であると判断してステップＳ１０５〜ステップＳ１
０８の処理を実行した後、ステップＳ１０９に進む。

【０１００】ステップＳ１０５では、代表画像の表示位
置を決定する。

【０１０１】すなわち、まず、配置角度データ１７を検
索し、検索結果表示領域２９の中心を原点として画像の
表示方向を決定する。つまり、配置角度データ１７を検
索して第何番日の代表画像を表示するかにより、中心か
らの方向が一意的に決定される。

【０１０２】次に、画面情報２４を検索し、検索結果表
示領域２９の中心（原点座標）から表示画像の中心座標
までの距離を決定する。

【０１０３】検索結果表示領域２９の中心から表示画像
の表示領域までの距離は、指定された画面番号ＤＮＯと
表示画像の類似度から、画面情報２４の対応する目盛幅
を１．０の領域から累計することにより算出される。例
えば、画面情報２４が図１３の状態で画面番号ＤＮＯが
「１」のときに類似度０．５６の画像を表示する場合
は、画像データは類似度０．５の領域に表示されること
となる。検索結果表示領域２９の同心円の中心から類似
度０．５の領域までの距離は、目盛幅１．０から目盛幅
０．６までのドット数を加算することにより２１０（＝
３０＋３０＋３０＋９０＋３０）ドットとなる。また、
類似度０．５を示す同心円の円周上の点から類似度０．
５６の画像データを表示する画像中心までの距離は、類
似度０．５の領域の目盛幅が９０ドットであるので３６
（＝９０×（０．６−０．５６）／０．１）ドットとな
る。従って、この場合、検索結果表示領域２９の同心円
の原点から類似度０．５６の画像データの中心までの距
離は２４６（＝２１０＋３６）ドットとなる。

【０１０４】このようにして、検索結果表示領域２５上
の同心円の中心からの角度と距離を求めることにより、
画像の表示位置が決定される。

【０１０５】次に、ステップＳ１０６では、検索結果表
示領域２９の同心円の中心方向に向かって、一致領域
（斜線部Ａ）の円周上の点とステップＳ１０５で算出し
た表示位置とを代表線３２で接続する。

【０１０６】次いで、ステップＳ１０７では、グループ
情報２３を検索して代表画像の属するグループの全ての
画像データを表示する。ここで、グループ情報２３の代
表画像ＩＤの値が、表示の対象となっている代表画像の
画像ＩＤの値と等しい画像ＩＤに対応した画像は、すべ
て表示の対象となる。また、表示対象となった画像ＩＤ
をグループ情報２３の代表画像ＩＤとする画像ＩＤもす
べて再帰的に表示の対象となる。画像ＩＤの検索結果表
示領域２９の中心から表示する各画像までの距離は、比
較画像バッファ２０の各画像の類似度に基づきステップ
Ｓ１０５と同様の手法により算出される。

【０１０７】また、代表画像の表示位置から各画像の表
示位置までの距離は、比較画像情報２１から２つの画像
の類似度を算出することにより決定される。例えば、代
表画像ＩＤとその類似画像の画像ＩＤから比較画像情報
２１の中から対応する類似度を求め、１．０から類似度
を引いた値を５００倍することによって決定される。ま
た、各画像は、代表画像との類似度の低い順に、検索結
果表示領域２９上の同心円の原点を中心として、代表線
３２の反時計回り側、時計回り側と、交互になるように
表示される。

【０１０８】このようにして検索結果表示領域２９の同
心円の原点と代表画像の中心の２点からの距離が算出さ
れ、また、その２点を結ぶ線のどちらかに表示するかを
決定することにより各画像の表示位置が決定される。各
画像の表示位置が決定されると、各画像の中心と代表画
像の中心とが連結線３１で接続され、代表画像との類似
度が低い順に各画像が表示される。

【０１０９】このように各画像を順次表示することで、
各画像が重なり合った場合、代表画像との類似度が高い
画像ほど他の画像によって表示が遮られにくくなる。

【０１１０】ステップＳ１０８では、ステップＳ１０７
で求めた表示位置に、代表画像を表示する。このように
グループの中で代表画像を一番最後に表示するので、グ
ループの中で最も類似度の高い代表画像が、他の画像に
よって遮られて見えなくなることを防止することができ
る。

【０１１１】次に、ステップＳ１０９では、表示の対象
となる画像ＩＤを比較画像バッファ２０中の次画像の画
像ＩＤに変更し、続くステップＳ１１０では画像表示処
理を終了するか否かを判断する。そして、その答が否定
（Ｎｏ）のときはステップＳ１０４に戻って上述した処
理を繰り返す一方、全ての画像処理が終了した場合、又
は、対象となる画像の表示される領域の目盛幅が「−
１」となった場合は、画像の表示を終了するものと判断
してステップＳ１１１に進む。

【０１１２】ステップＳ１１１では、前画面キー２７及
び次画面キー２８を表示する。指定されている画面番号
ＤＮＯが「０」のときは前画面は存在しないため前画面
キー２７は白色で表示され、画面番号ＤＮＯが「０」以
外のときは前画面が存在するため前画面キー２７は黒色
で表示される。また、指定されている画面番号ＤＮＯに
「１」を加えた画面番号ＤＮＯに対する画面情報２４の
開始領域ＳＴＡの値が「−１」のときは次画面は存在し
ないので次画面キー２８は白色で表示され、「−１」以
外のときは次画面が存在するので次画面キー２８は黒色
で表示される。そして、ステップＳ１１１の処理終了に
よりクエリ検索処理（図１９）が終了し、メインルーチ
ン（図１７）に戻る。

【０１１３】図２４はステップＳ９（図１７）で実行さ
れる類似検索処理ルーチンのフローチャートである。

【０１１４】ステップＳ１２１ではクエリバッファに格
納されている文字列をクリアし、クエリ表示領域２５を
空欄にし、続くステップＳ１２２では比較画像情報２１
から、比較元ＩＤに格納された画像ＩＤに対する類似画
像リストを求め、類似画像リストの内容を類似画像バッ
ファ２０に複写する。

【０１１５】次いで、ステップＳ１３３では、上述した
画面構成決定処理ルーチン（図２０）を実行し、比較画
像バッファ２０に格納されている検索結果から該検索結
果を表示するための画面構成を決定し、決定された画面
構成の情報を画面情報２４に格納する。

【０１１６】但し、前記画面構成決定処理ルーチンにお
ける表示目盛決定処理のステップＳ８４において、類似
検索処理を実行するときは文字列がクエリ表示領域２５
に存在しないため、比較画像バッファ２０には比較元Ｉ
Ｄに格納された画像ＩＤに類似した画像が格納されてお
り、開始領域ＳＴＡが０以外の場合は比較元ＩＤの画像
データを表示しておかないと比較元の画像データが分か
らなくなってしまう。このため本実施の形態では比較元
ＩＤの画像データを一致領域に表示する。比較元ＩＤの
画像データは１個であるので、領域番号ＡＮＯが０の場
合は、一致領域データ１４（図５）を検索し、半径増分
として６０ドットを読み出す。

【０１１７】ステップＳ１３４では、検索結果の最初の
画面を表示するために画面番号ＤＮＯを「０」に初期化
した後、ステップＳ１３５で上述した検索結果表示処理
ルーチン（図２３）を実行し、画面情報２４に格納され
た画面構成と比較画像バッファ２０に格納された検索結
果に基づいて、検索結果をディスプレイ３に表示し、メ
インルーチン（図１７）に戻る。

【０１１８】図２５は、ステップＳ１０（図１７）で実
行される次画面表示処理ルーチンのフローチャートであ
る。

【０１１９】ステップＳ１４１では、次画面が存在する
か否かを判断する。すなわち、画面番号ＤＮＯに格納さ
れている数値に「１」を加えた数値に対応した項目が、
画面情報２４に格納されている場合は次画面が存在する
と判断する。ここで、画面番号ＤＮＯに格納されている
値に「１」を加算した値に対応する項目が画面情報２４
に存在するか否かは、対応する項目の表示開始の値が
「−１」か否かで判断し、「−１」でないときは存在す
ると判定される。

【０１２０】ステップＳ１４１で次画面が存在すると判
断された場合は、次画面の表示を可能とすべく、図面番
号ＤＮＯを「１」だけインクリメントし、続くステップ
Ｓ１４３では上述した検索結果表示処理ルーチン（図２
３）を実行し、画面情報２４に格納された画面構成と、
比較画像バッファ２０に格納された検索結果に基づい
て、画面番号ＤＮＯで示される画像データをディスプレ
イ３に表示し、メインルーチン（図１７）に戻る。

【０１２１】また、画面番号ＤＮＯに格納されている数
値に「１」を加えた数値に対応した項目が、画面情報２
４に格納されていないため次画面が存在しないと判断さ
れたときはステップＳ１４１の答が否定（Ｎｏ）となっ
て直ちにメインルーチン（図１７）に戻る。

【０１２２】図２６は、ステップＳ１１（図１７）で実
行される前画面表示処理ルーチンのフローチャートであ
る。

【０１２３】ステップＳ１５１では前画面が存在するか
否かを判断する。そして、画面番号ＤＮＯが「０」でな
いときは前画面が存在すると判断してステップＳ１５２
に進む。

【０１２４】そして、ステップＳ１５２では現在表示さ
れている前画面を表示するために、画面番号ＤＮＯを
「１」だけディクリメントし、次いで、ステップＳ１５
３では上述した検索結果表示処理ルーチン（図２３）を
実行し、画面情報２４に格納された画面構成と比較画像
バッファ２０に格納された検索結果とに基づき、画面番
号ＤＮＯで示される画面をディスプレイ３に表示してメ
インルーチン（図１７）に戻る。

【０１２５】また、画面番号ＤＮＯが「０」であるため
に前画面は存在しないと判断されたときはステップＳ１
５１の答は否定（Ｎｏ）となり、直ちにメインルーチン
（図１７）に戻る。

【０１２６】このように本実施の形態ではディスプレイ
３上に表示されている画像の中から所望の情報に近い特
定画像を選択することにより、そして、選択された特定
画像に類似する類似画像を検索して表示することによ
り、検索条件を正確に表現できない場合でも、所望の画
像を検索してディスプレイ３上に表示することが可能と
なる。

【０１２７】尚、本発明は上記実施の形態に限定される
ものではない。上記実施の形態では、図１４に示すよう
に、一致領域（斜線部Ａ）を検索結果表示領域２９の中
心を原点とする円領域とし、各目盛りは一致領域との同
心円で表示し、検索結果の各画像は、類似度を一致領域
からの距離に対応させて、検索結果の中心から放射状に
配置されるように表示しているが、このような表示方法
に限定されるものではない。例えば、図２７に示よう
に、一致領域を検索結果表示領域５０の左側の矩形領域
（斜線部Ｇ）とし、破線Ｈ、破線Ｉに示すように、各目
盛りを左辺との平行線で規定し、各画像から一致領域
（斜線部Ｇ）への垂線５１…の直線距離を、各画像の類
似度に対応させて表示するようにしてもよい。この場
合、配置角度データ１７のように、各画像の配置位置を
一致領域の中心に対する角度で指定するのではなく、代
わりに、検索結果表示領域５０の上辺からの距離でもっ
て指定することにより、上記実施の形態で示した手順と
全く同じ手順で、検索結果の画像を所望の位置に表示す
ることができる。また、検索結果をこのように表示する
場合でも、例えば、図２７の画像データ５２〜５４に示
すように、上記実施の形態と同様、検索結果の画像をグ
ループ化して表示することが可能である。

【０１２８】また、上記実施の形態では、比較画像情報
２１を検索初期化処理ルーチン（ステップＳ２）で毎回
作成しているが、比較画像情報をステップＳ２と同様な
処理を行うことで予め作成し、該比較画像情報をＣＤ−
ＲＯＭ５に格納しておき、ステップＳ１でＲＡＭ９にロ
ードするようにしてもよい。

【０１２９】また、類似検索処理ルーチン（ステップＳ
９）で指定された画像に類似する画像を求めるために、
画像に付与されている説明文を用いて類似度を算出して
いるが、例えば、画像の輝度や彩度、画像の構図等、画
像そのものの情報を用いて類似度を算出してもよい。

【０１３０】また、上記実施の形態では画像データベー
ス１３をＣＤ−ＲＯＭ５に格納しているが、ＨＤドライ
ブ７に格納されている画像データベースをＲＡＭ９にロ
ードしてもよいことはいうまでもない。

【０１３１】また、上記実施の形態ではＣＤ−ＲＯＭ５
に格納されている記憶内容をＣＤ−ＲＯＭ５から直接Ｒ
ＡＭ９にロードしているが、ＣＤ−ＲＯＭ５に記憶して
いる内容を一旦ＨＤドライブ７にインストールし、ＨＤ
ドライブ７からＲＡＭ９にロードするようにしてもよ
い。

【０１３２】また、情報検索プログラム１２をＦＤ（フ
レキシブルディスク）、ＩＣメモリカード等に記憶する
ようにしてもよい。

【０１３３】更に、ＢＩＯＳ１８やＯＳ１９以外に情報
検索プログラム１２をＲＯＭ８に格納しておき、ＲＡＭ
９にロードしてＣＰＵ１１で実行してもよい。

【０１３４】また、上記実施の形態では、情報検索の対
象として画像を検索する例を示したが、本発明の扱う検
索対象は画像に限定されるものではない。例えば、文書
や映像や音声などといった様々な情報検索に対して有効
である。検索結果表示領域２９に表示される情報は画像
そのものを表示しているが、文書を検索する場合は、画
像の代わりに文書のタイトルやキーワードなどを表示し
てもよい。映像を検索する場合は、タイトルや代表的シ
ーンなど映像を代表する情報を表示してもよいし、個々
の結果の映像てもよい。

【０１３５】

【発明の効果】以上に詳述したように本発明によれば、
第１の検索結果表示手段に表示されている画像の中から
所望の情報に近い特定画像を選択し、さらに選択された
特定画像に類似する類似画像を検索して表示するので、
検索条件を正確に表現できない場合でも所望の画像を検
索して第２の検索結果表示手段に表示することが可能と
なる。

【図面の簡単な説明】

【図１】本発明に係る情報検索装置の一実施の形態を示
すブロック構成図である。

【図２】ＣＤ−ＲＯＭの記憶内容を示すメモリマップで
ある。

【図３】ＲＡＭの記憶内容を示すメモリマップである。

【図４】画像データベースの詳細を示すメモリマップで
ある。

【図５】一致領域データの詳細を示すメモリマップであ
る。

【図６】一致画像データの詳細を示すメモリマップであ
る。

【図７】半径増分データの詳細を示すメモリマップであ
る。

【図８】配置角度データの詳細を示すメモリマップであ
る。

【図９】比較画像バッファの詳細を示すメモリマップで
ある。

【図１０】比較画像情報の詳細を示すメモリマップであ
る。

【図１１】分布情報の詳細を示すメモリマップである。

【図１２】グループ情報の詳細を示すメモリマップであ
る。

【図１３】画面情報の詳細を示すメモリマップである。

【図１４】クエリ検索を行なった場合の最初の検索結果
を示す表示画面例である。

【図１５】図１４の次画面を示す表示画面例である。

【図１６】類似検索を行なった場合の最初の検索結果を
示す表示画面例である。

【図１７】情報検索処理ルーチンのフローチャートであ
る。

【図１８】検索初期化処理ルーチンのフローチャートで
ある。

【図１９】クエリ検索処理ルーチンのフローチャートで
ある。

【図２０】画面構成決定処理ルーチンのフローチャート
である。

【図２１】グループ化処理ルーチンのフローチャートで
ある。

【図２２】表示目盛決定処理ルーチンのフローチャート
である。

【図２３】検索結果表示処理ルーチンのフローチャート
である。

【図２４】類似検索処理ルーチンのフローチャートであ
る。

【図２５】次画面表示処理ルーチンのフローチャートで
ある。

【図２６】前画面表示処理ルーチンのフローチャートで
ある。

【図２７】本発明の他の実施の形態における検索結果を
示す表示画面例である。

【符号の説明】

１キーボード（検索条件入力手段）２マウス（画像選択手段）３ディスプレイ（第１及び第２の検索結果表示手
段、検索条件表示手段、検索条件消去手段）５ＣＤ−ＲＯＭ（記憶手段）７ＨＤドライブ（記憶手段）９ＲＡＭ（記憶手段）１１ＣＰＵ（第１及び第２の類似度算出手段、類似画
像リスト取得手段、一致画像表示位置決定手段）

Claims

【特許請求の範囲】

【請求項１】検索条件を入力する検索条件入力手段
と、検索の対象となる複数の画像データを記憶した記憶
手段と、前記検索条件と前記記憶手段に記憶されている
個々の画像データとを順次比較して前記検索条件と前記
各画像データとの類似度を算出する第１の類似度算出手
段と、該第１の類似度算出手段により算出された類似度
に基づいて検索結果を表示する第１の検索結果表示手段
とを備えた情報検索装置において、前記第１の検索結果表示手段により検索表示された画像
データの中から特定画像を選択する画像選択手段と、該
画像選択手段により選択された特定画像と前記記憶手段
に記憶されている複数の画像データとの類似度を算出す
る第２の類似度算出手段と、該第２の類似度算出手段に
より算出された類似度に基づいて検索結果を表示する第
２の検索結果表示手段とを備えていることを特徴とする
情報検索装置。
【請求項２】前記記憶手段に記憶されている画像デー
タ間の類似度を算出して各画像毎に類似画像リストとし
て取得する類似画像リスト取得手段を有し、前記第２の類似度算出手段は該類似画像リスト取得手段
により取得された類似画像リストにより前記特定画像に
対する類似度を算出することを特徴とする請求項１記載
の情報検索装置。
【請求項３】前記第１の検索結果表示手段は、前記検
索条件と完全一致する一致画像の表示位置を決定する一
致画像表示位置決定手段と、前記一致画像に類似する類
似画像の類似度が低くなる程前記一致画像から離間して
前記類似画像を表示する第１の類似画像表示手段とを有
すると共に、前記第２の検索結果表示手段は、前記特定画像を前記一
致画像の表示領域に前記一致画像とは表示形態を変えて
表示することを特徴とする請求項１又は請求項２記載の
情報検索装置。
【請求項４】前記第２の検索結果表示手段は、前記特
定画像に類似する類似画像の類似度が低くなる程前記特
定画像から離間して前記類似画像を表示する第２の類似
画像表示手段を有していることを特徴とする請求項３記
載の情報検索装置。
【請求項５】前記検索条件入力手段により入力された
検索条件を表示する検索条件表示手段と、前記特定画像
が選択されたときは前記検索条件表示手段により表示さ
れた検索条件を消去する検索条件消去手段とを有してい
ることを特徴とする請求項１乃至請求項４のいずれかに
記載の情報検索装置。
【請求項６】前記類似画像の分布情報を取得する分布
情報取得手段と、前記類似画像を表示する少なくとも１
つ以上の類似領域を前記分布情報取得手段により取得さ
れた分布情報に基づいて決定する類似領域決定手段とを
有していることを特徴とする請求項３乃至請求項５のい
ずれかに記載の情報検索装置。
【請求項７】検索の対象となる複数の画像データを記
憶すると共に、検索条件を入力する検索条件入力ステッ
プと、前記検索条件と前記記憶されている個々の画像デ
ータとを順次比較して前記検索条件と前記各画像データ
との類似度を算出する第１の類似度算出ステップと、該
第１の類似度算出ステップにより算出された類似度に基
づいて検索結果を表示する第１の検索結果表示ステップ
とを含む情報検索方法において、さらに、前記第１の検索結果表示ステップにより検索表
示された画像データの中から特定画像を選択する画像選
択ステップと、該画像選択ステップにより選択された特
定画像と前記記憶されている複数の画像データとの類似
度を算出する第２の類似度算出ステップと、該第２の類
似度算出ステップにより算出された類似度に基づいて検
索結果を表示する第２の検索結果表示ステップとを含ん
でいることを特徴とする情報検索方法。
【請求項８】前記記憶された画像データ間の類似度を
算出して各画像毎に類似画像リストとして取得する類似
画像リスト取得ステップを含み、前記第２の類似度算出ステップは該類似画像リスト取得
ステップにより取得された類似画像リストにより前記特
定画像に対する類似度を算出することを特徴とする請求
項７記載の情報検索方法。
【請求項９】前記第１の検索結果表示ステップは、前
記検索条件と完全一致する一致画像の表示位置を決定す
る一致画像表示位置決定ステップと、前記一致画像に類
似する類似画像の類似度が低くなる程前記一致画像から
離間して前記類似画像を表示する第１の類似画像表示ス
テップとを含み、前記第２の検索結果表示ステップは、前記特定画像デー
タを前記一致画像の表示領域に前記一致画像とは表示形
態を変えて表示することを特徴とする請求項７又は請求
項８記載の情報検索方法。
【請求項１０】前記第２の検索結果表示ステップは、
前記特定画像に類似する類似画像の類似度が低くなる程
前記特定画像から離間して前記類似画像を表示すること
を特徴とする請求項９記載の情報検索方法。
【請求項１１】前記検索条件を表示し、前記特定画像
が選択されたときは前記検索条件を消去することを特徴
とする請求項７乃至請求項１０のいずれかに記載の情報
検索方法。
【請求項１２】前記類似画像の分布情報を取得する分
布情報取得ステップと、前記類似画像を表示する少なく
とも１つ以上の類似領域を前記分布情報に基づいて決定
する類似領域決定ステップとを含むことを特徴とする請
求項９乃至請求項１１のいずれかに記載の情報検索方
法。
【請求項１３】検索条件を入力する検索条件入力手順
と、検索の対象となる複数の画像データを記憶する記憶
手順と、前記検索条件と前記記憶されている画像データ
とを順次比較して前記検索条件と前記画像データとの類
似度を算出する第１の類似度算出手順と、該第１の類似
度算出手順により算出された類似度に基づいて検索結果
を表示する第１の検索結果表示手順とが格納された記憶
媒体において、さらに、前記第１の検索結果表示手順により検索表示さ
れた画像データの中から特定画像を選択する画像選択手
順と、該画像選択手順により選択された特定画像と前記
記憶された複数の画像データとの類似度を算出する第２
の類似度算出手順と、該第２の類似度算出手順により算
出された類似度に基づいて検索結果を表示する第２の検
索結果表示手順とが格納されていることを特徴とするコ
ンピュータ読取可能な記憶媒体。
【請求項１４】前記記憶された画像データ間の類似度
を算出して各画像毎に類似画像リストとして取得する類
似画像リスト取得手順が格納されていることを特徴とす
る請求項１３記載のコンピュータ読取可能な記憶媒体。
【請求項１５】前記第１の検索結果表示手順は、前記
検索条件と完全一致する一致画像の表示位置を決定する
一致画像表示位置決定手順と、前記一致画像に類似する
類似画像の類似度が低くなる程前記一致画像から離間し
て前記類似画像を表示する第１の類似画像表示手順を含
むことを特徴とする請求項１３又は請求項１４記載のコ
ンピュータ読取可能な記憶媒体。
【請求項１６】前記第２の検索結果表示手順は、前記
特定画像に類似する類似画像の類似度が低くなる程前記
特定画像から離間して前記類似画像を表示する第２の類
似画像表示手順を含むことを特徴とする請求項１２乃至
請求項１５のいずれかに記載のコンピュータ読取可能な
記憶媒体。
【請求項１７】前記検索条件入力手順により入力され
た検索条件を表示する検索条件表示手順と、前記特定画
像が選択されたときは前記検索条件表示手順により表示
された検索条件を消去する検索条件消去手順とが格納さ
れていることを特徴とする請求項１２乃至請求項１６の
いずれかに記載のコンピュータ読取可能な記憶媒体。
【請求項１８】前記類似画像の分布情報を取得する分
布情報取得手順と、前記類似画像を表示する少なくとも
１つ以上の類似領域を前記分布情報取得手順により取得
された分布情報に基づいて決定する類似領域決定手順と
が格納されていることを特徴とする請求項１５乃至請求
項１７のいずれかに記載のコンピュータ読取可能な記憶
媒体。