JP2001195415A

JP2001195415A - 検索情報の表示方法およびその方法を用いた情報検索装置

Info

Publication number: JP2001195415A
Application number: JP2000004495A
Authority: JP
Inventors: Seigo Okumura; 成吾奥村
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2000-01-13
Filing date: 2000-01-13
Publication date: 2001-07-19
Anticipated expiration: 2020-01-13
Also published as: JP3978962B2

Abstract

(57)【要約】【課題】目的とする情報を容易に探し当てられるよう
にする。【解決手段】アイコン生成部６，アイコン管理部７に
より、検索に用いられた特徴量毎にアイコンが生成され
て画面上に表示される。画像配置管理部８は、各アイコ
ンにつき、それぞれそのアイコンの示す特徴量により画
像データベース１から抽出された画像の表示位置を決定
する。各画像は、対応するアイコンへの類似度が高いほ
どそのアイコンに近い位置に表示され、アイコン間の距
離が離れるほど、各アイコンの近傍位置にそのアイコン
への類似度が高い画像が集められる。さらにユーザーイ
ンターフェイス２によりアイコンの移動操作を行うと、
各画像の表示位置も再設定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、多数の情報が格納さ
れたデータベースを検索した後に、その検索結果を表示
画面上に表示するための方法、およびその方法が適用さ
れた情報検索装置に関する。

【０００２】

【従来の技術】たとえば画像データベースの検索は、従
来、キーワードまたは所定の画像をキーとして行われ
る。キーワードにより検索を行う場合は、あらかじめ画
像データベース内の各画像につき、それぞれその画像に
現れている物体の名称，その物体の形状，色彩など各種
の属性についての特徴を表す語をキーワードとして添付
しておき、ユーザーの入力したキーワードに一致もしく
は概念が類似するキーワードが添付された画像を抽出す
る。また自由語の入力を受け付けて、その自由語から検
索キーとなるキーワードを抽出したり、複数のキーワー
ドと演算子とを組み合わせた検索式による検索を行うこ
とも可能である。

【０００３】一方、画像による検索では、画像データベ
ースより読み出された所定の画像や、イメージスキャナ
やディジタルカメラから取り込まれた画像のほか、ユー
ザーの描画による画像が用いられる。いずれの場合も、
一般に、指定された画像についてその画像上の物体の形
状、色彩、位置、背景色など複数種の属性にかかる特徴
量が抽出された後、これらの属性について、キーとなる
画像に類似する特徴量を有する画像が抽出される。また
複数枚の画像を指定してこれらの画像間に共通する特徴
について検索を行ったり、画像上の一部の領域を指定し
てその画像領域内に含まれる特徴について検索を行うよ
うにすれば、精度の良い検索を行うことができる。

【０００４】

【発明が解決しようとする課題】キーワードによる検索
を行う場合は、検索に先立ち、画像データベースに登録
するすべての画像について、キーワードとする特徴の抽
出やキーワードの登録処理を行う必要があり、画像デー
タベースの作成に多大な時間と労力とがかかる。また画
像データベース内の各画像に付与されたキーワード、検
索のために入力されるキーワードのいずれも、個人の主
観によるものであるので、必ずしも入力したキーワード
に対し、目的とする画像に同一または類似のキーワード
が添付されているとは限らず、検索に「もれ」が生じる
ことがある。

【０００５】一方、画像による検索を行う場合は、検索
に用いる属性を増やすことにより検索の「もれ」を少な
くすることができる。しかしながらコンピュータは、ユ
ーザーが画像のどの特徴をポイントとして検索を行いた
いのかを判断できないから、目的外の特徴による検索が
行われて多数の画像が抽出され、ノイズが大きくなると
いう問題が生じる。複数枚の画像を用いたり、画像領域
を指定して検索を行う場合は、検索に用いられる特徴を
かなり絞り込むことができるが、それでもユーザーの意
図する特徴を確実に捉えて検索を行うことは困難であ
り、ユーザーの要望に応じた画像が検索されるとは限ら
ない。

【０００６】さらにキーワード、画像のいずれをキーと
する場合も、多数の画像が抽出されると、その中から目
的とする画像を探し当てるには、多大な時間や労力がか
かる。また特開平１０−２４０７７１号公報のように、
検索された各画像上に表れる特徴を類似度と対応づけて
ユーザーに提示する方法が提案されてはいるが、検索結
果に対し、ユーザーが意図する属性を簡単に選択して検
索結果を絞り込んだり、絞り込まれた検索結果をわかり
やすく表示するようなユーザーインターフェイスは、い
まだ確立していない。

【０００７】この発明は上記問題点に着目してなされた
もので、検索された情報がどの特徴量に基づいて検索さ
れたのか、またその情報が検索に用いられた特徴量にど
の程度類似するのかが、簡単に把握できるような表示を
行うことにより、目的とする情報を容易に探し当てられ
るようにすることを第１の目的とする。

【０００８】またこの発明は、複数種の特徴量につい
て、抽出された情報がどの程度類似しているのかを把握
して、複数種の特徴量について高い類似度を有する情報
を容易に探し当てられるようにすることを、第２の目的
とする。

【０００９】さらにこの発明は、検索結果の表示画面上
で、ユーザーが意図する特徴量を簡単に選択して検索結
果を絞り込みできるようなユーザーインターフェイスを
提供することを第３の目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明では、少
なくとも１種類の属性について、所定の特徴量による検
索処理により情報データベースから抽出された情報を表
示する際に、表示画面上に前記特徴量毎にアイコンを設
定するとともに、各特徴量により検索された情報を、そ
れぞれその特徴量に対する情報の類似度に応じた距離だ
け前記アイコンから離れた位置に表示するようにしてい
る。

【００１１】請求項２の発明による情報検索装置は、複
数の情報が記憶されたデータベースと、少なくとも１種
類の属性について、所定の特徴量により前記データベー
スを検索する検索手段と、前記検索手段による検索結果
を表示させるための表示制御手段とを具備する。そして
上記の表示方法を実施するために、前記表示制御手段
を、表示画面上に前記特徴量毎にアイコンを設定すると
ともに、各特徴量により検索された情報を、それぞれそ
の特徴量に対する情報の類似度に応じた距離だけ前記ア
イコンから離れた位置に表示させるように構成する。

【００１２】一般に「属性」とは、物の色、形、大きさ
など、「物に備わっている性質」のことを言う（三省堂
『新明解国語辞典』より）。さらにこの発明では、物の
名称やその物に対して各人が感じ取るイメージ（感覚）
も、「属性」に含まれると解釈している。上記した「所
定の特徴量」とは、たとえばユーザーにより入力された
特徴を表すキーワード（飛行機、赤い、大きいなど）
や、任意の情報から抽出されたキーワード、物理的な特
徴を示す数値、ならびにこれらを複合したものに該当
し、具体的に表現されたり、抽象的に表現されたりす
る。またイメージや間隔を比喩的に表現する場合のたと
えも、特徴量に該当する。

【００１３】前記データベースには、画像や音楽情報の
ように、キーワード、数値、抽象的な表現などの種々の
形式で表される特徴量を具備する情報が格納されるもの
で、１または複数種の属性について、それぞれ入力され
た特徴量または所定の情報から抽出された特徴量をキー
としてデータベースを検索することにより、各特徴量に
類似する特徴を具備する所定数の情報がデータベースか
ら抽出されることになる。なお抽出された情報の表示
は、情報そのものを表示するのに限らず、その情報を表
すアイコンや見出しを表示するようにしてもよい。また
表示制御手段の制御対象となる表示装置は、装置本体に
一体に組み込まれる場合のみならず、装置の外部に外付
けされる場合もある。

【００１４】また一実施態様を示す請求項３の発明で
は、前記表示制御手段は、前記検索に用いた複数種の特
徴量に対する情報の類似度を用いて、各情報の表示位置
を決定するように構成される。

【００１５】また別の態様を示す請求項４の発明の情報
検索装置には、さらに表示画面上におけるアイコンの位
置関係を変更するための入力手段が設けられ、前記表示
制御手段により、入力手段によるアイコンの位置関係の
変更に応じて前記各情報の表示位置を再設定し、各情報
を再設定された位置に移動させるように構成する。上記
の入力手段は、マウスのような操作手段とその操作を受
け付けるインターフェイス回路、ならびに前記表示制御
手段にその内容を受け渡すユーザーインターフェイスに
より構成されるものである。

【００１６】

【作用】請求項１，２の発明によれば、データベースの
検索により、特徴量毎に所定数の情報が抽出されると、
検索に用いられた特徴量毎に表示画面上の所定位置にア
イコンが設定されるとともに、各アイコンに対応づけ
て、それぞれそのアイコンの示す特徴量に類似する特徴
を有する情報が表示される。これらの情報は、アイコン
に対し、検索に用いた特徴量に対するその情報の類似度
に応じた距離だけ離れた位置に表示されるので、各アイ
コンと情報との位置関係により、情報がいずれの特徴量
により抽出されたものであるのか、またその情報が検索
に用いた特徴量にどの程度類似しているかが示されるこ
とになる。

【００１７】請求項３の発明によれば、各情報は、検索
に用いた複数種の特徴量に対する類似度に応じた位置に
表示されるので、これらの特徴量に対する情報の類似度
を視覚的に認識することが可能となる。

【００１８】請求項４の発明によれば、たとえば、入力
手段を用いて、ユーザーが重要視する特徴量のアイコン
を、他の重要視しない特徴量のアイコンから離れるよう
に移動させると、この移動に伴い、各アイコンに類似す
る特徴を有する情報も移動し、それぞれのアイコンの近
傍位置に、そのアイコンの表す特徴量への類似度の高い
情報が集められるようになる。またアイコンと各情報間
との距離により、これらの情報がアイコンの示す特徴量
にどれだけ類似しているかも明確化できる。

【００１９】

【実施例】図１は、この発明の一実施例にかかる画像検
索装置の概略構成を示す。この画像検索装置は、複数枚
のディジタル画像が格納された画像データベース１を具
備し、ユーザーによる画像の指定を受け付けて、検索処
理により前記画像データベース１から前記指定された画
像に類似する特徴を有する画像を抽出するためのもので
ある。

【００２０】上記の画像検索装置は、具体的には、図２
に示すようなＣＰＵ１１を制御主体とするコンピュータ
１０により実現するものである。このコンピュータ１０
には、あらかじめ画像検索用のアプリケーションソフト
が記録されたＣＤ−ＲＯＭがセットされて、記録された
プログラムやデータファイルがハードディスク装置１４
内にインストールされる。ＣＰＵ１１は、ＲＯＭ１２や
ＲＡＭ１３にアクセスしつつハードディスク装置１４内
のプログラムに基づいた処理を行うことにより、図１の
ユーザーインターフェイス２，キー画像設定部３，特徴
量抽出部４，画像検索部５，アイコン生成部６，アイコ
ン管理部７，画像配置管理部８，表示制御部９の各部と
して動作する。

【００２１】前記画像データベース１は、ＣＤ−ＲＯＭ
やＭＯなどの記憶媒体に記録されたデータファイルを、
その記録媒体専用のドライブ装置１５にセットすること
により、装置内に組み込まれる。ただしこれに限らず、
ハードディスク装置１４内の所定領域内に画像データベ
ース１のデータファイルを記録しておいてもよい。入力
部１６は、検索に用いる画像の指定や後記するアイコン
の移動などに用いられるもので、マウスなどのポインテ
ィングデバイスやキーボードにより構成される。表示装
置１７は、ＣＲＴ，ＬＣＤなどによる表示画面を具備す
るモニタ装置であって、検索キーとして指定された画像
や、検索により抽出された画像などを表示するために用
いられる。なお表示装置１７は、コンピュータ１０の本
体部に一体に組み込まれるもの、本体部に外付けされる
もののいずれであってもよい。

【００２２】この実施例の画像検索装置は、画像データ
ベース１または外部より取り込んだ所定の画像上で、ユ
ーザーが意図する特徴が現れた画像領域を指定すると、
検索処理により前記指定された画像領域に類似する特徴
を有する画像が抽出され、特徴量を表すアイコンととも
に表示されるようになっている。前記図１において、表
示制御部９は、検索処理に応じて前記表示装置１７にお
ける画像やアイコンの表示を制御するためのものであ
る。ユーザーインターフェイス２は、この表示制御部９
の制御に連動して前記入力部１６によるユーザーの選択
操作を受け付けるためのものである。

【００２３】キー画像設定部３は、ユーザーインターフ
ェイス２により、検索に用いられる画像に対する前記画
像領域の指定が受け付けられたとき、その結果を受けて
検索対象の画像上で指定された画像領域内の画像データ
を抽出し、これを検索処理のキーとして設定する（以
下、この画像を「キー画像」という）。

【００２４】特徴量抽出部４は、前記キー画像につい
て、複数種の属性毎に特徴抽出処理（詳細は後記する）
を行って、各属性についての特徴量を抽出する。さらに
特徴量抽出部４は、画像データベース１に格納された各
画像につき、それぞれ前記キー画像に対して実行したの
と同様の特徴抽出処理を実行する。

【００２５】画像検索部５は、前記特徴量抽出部４によ
る処理結果を受けて、属性毎に、それぞれ画像データベ
ース１内の各画像について得た特徴量と前記キー画像に
ついて得た特徴量との類似度を算出する。そして前記属
性毎に、類似度の高いものから順に所定数の画像を抽出
する。

【００２６】アイコン生成部６は、前記キー画像に対す
る特徴抽出処理を受けて、抽出された特徴量毎に、表示
画面上にアイコンを表示するための表示用データを初期
生成する（以下これを「アイコンデータ」という）。さ
らにこのアイコンデータは、アイコン管理部７よりアイ
コンの配置位置と画像データベース１に対する検索結果
とが、付け加えられて完成する。表示制御部９は、この
完成したアイコンデータに基づき、表示装置１７への各
アイコンの表示を実行する。またアイコン管理部７は、
ユーザーインターフェイス２がアイコンの移動操作を受
け付ける都度、操作されたアイコンに対応するアイコン
データ内の配置位置を変更する。表示制御部９は、この
変更された位置データに基づき、画面上のアイコンを移
動させる。

【００２７】画像配置管理部８は、前記アイコン管理部
７より各アイコンのアイコンデータを受け取って、それ
ぞれそのデータに含まれる検索結果に基づき、抽出され
た各画像の配置位置を決定する。表示制御部９は、前記
アイコンデータと同様に画像の配置位置も取り込んで、
表示装置１７に各画像を表示させる。

【００２８】図３は、前記画像検索装置における一連の
処理手順を示す。以下この図３の流れに沿って、図４〜
図７を参照しつつ、この装置において実行される画像検
索処理の詳細を説明する。なお図３および以下の説明に
おいて、「ＳＴ」は処理のステップを示す。

【００２９】ＳＴ１では、検索対象とする画像の指定お
よびその画像上における領域の指定に応じて、検索用の
キー画像が設定される。図４は、前記キー画像の指定操
作の一例を示す。図中、１８は、ユーザーが検索に用い
る画像として選択した画像であって、ＲＡＭ１３などに
一時保存されている。この画像に対し、前記入力部１６
により検索対象とする特徴が現れた画像領域１９を指定
すると、指定された領域１９内の画像データが切り出さ
れ、キー画像として設定される。勿論、指定された画像
全体をキー画像として設定することも可能である。

【００３０】なお前記画像１８は、画像データベース１
またはその他の内部メモリに記憶された画像でも、イメ
ージスキャナやディジタルカメラなどから取り込まれた
画像であってもよい。また検索に用いる画像が既に確定
している場合は、その画像のみをメモリから読み出し、
あるいは外部から取り込んで、上記の領域指定を行えば
良いが、ユーザーの意図する検索対象が現れた複数の画
像を一覧表示し、その中から所望の画像を選択してか
ら、キー画像抽出のための領域指定を行うことも可能で
ある。

【００３１】こうしてキー画像が設定されると、特徴量
抽出部４により、前記キー画像に対し、複数種の属性に
ついての特徴抽出処理が実行される（ＳＴ２）。なおこ
こでいう属性とは、画像上の対象物の色，形状，明る
さ，大きさなど、数値により表される属性のほか、対象
物の名称など個々人の主観に偏らずに画像から客観的に
導き出せる語（以下「名称」という）や、画像から受け
るイメージを主観的に表す語（以下「感性語」という）
により表される属性も含まれる。この実施例では、前者
については物理的な特徴を表す数値を、後者については
名称や感性語によるキーワードを、それぞれ「特徴量」
として抽出するようにしている。

【００３２】以下に色，形状，名称，感性語の各属性に
ついて、特徴量の抽出方法を述べる。（１）色、明るさの抽出通常、画像上の色相や輝度は、画像上の物体の種類，位
置，大きさ，撮像条件などによって変動する。この実施
例では、図５（１）〜（３）に示すように、キー画像
を、格子状、あるいは縦または横のいずれかの方向に沿
って分割し、各分割領域毎にＲ，Ｇ，Ｂの三原色毎の平
均濃度を算出するようにしている。なおモノクロ画像を
対象とする場合は、分割領域毎に平均濃度を算出する。

【００３３】（２）形状の抽出カラー画像を対象とする場合は、特徴量の抽出に先立
ち、画素毎にＲ，Ｇ，Ｂの各濃度値の平均をとるなどし
て、画像をモノクロ化する。そしてこのモノクロ画像を
２値化処理するとともに画像を格子状に分割し、各分割
領域における黒画素（または白画素）の数を計数する。
各分割領域毎の計数値は、その分割領域の位置を表すラ
ベルに対応づけるなどして記憶保持しておく。

【００３４】あるいは、前記２値化処理に代えて、モノ
クロ画像上のエッジを抽出してもよい。この場合、抽出
されたエッジに対して輪郭追跡処理によりエッジの連な
りを検出して、物体の輪郭を構成する線分の長さおよび
その方向を抽出する。そして例えば、各方向における線
分の数を、正規化された形で記憶保持しておく。

【００３５】なお対象物の大きさに関わる特徴量を抽出
する場合は、所定値以上の黒画素を含む分割領域につい
て、各領域毎の黒画素の計数値の総和を求めたり、エッ
ジにより囲まれる画像領域の面積を算出するなどの方法
が実行される。

【００３６】（３）名称の抽出この実施例では、画像データベース１内の各画像につい
て、それぞれ画像上に現れる物体の名称をキーワードと
して定め、各画像に添付するとともに、これらのキーワ
ードについて、それぞれ色，形状などの属性についての
物理的な特徴量の代表値をテンプレートとして保存して
いる。

【００３７】画像データベース１に保存されていた所定
の画像から前記キー画像を設定する場合、元の画像に添
付されたキーワードが画像データベース１より読み出さ
れ、キー画像の特徴量として記憶保持される。なお画像
データベース１において、各キーワードをそのキーワー
ドを有する対象物の位置データに対応づけて保存するよ
うにすれば、前記キー画像として選択された画像領域の
位置に応じて、キー画像に適正に対応するキーワードを
抽出することが可能となる。

【００３８】一方、外部より取り込まれた画像から前記
キー画像が設定された場合は、このキー画像についての
前記色や形状などにかかる特徴量の抽出結果を前記テン
プレートと比較することにより、キー画像に応じたキー
ワードを抽出する。

【００３９】（４）感性語の抽出この実施例では、「暖かい」、「寒い」、「にぎや
か」、「さびしい」というような感性語をキーワードと
して定めるとともに、各キーワード毎に、あらかじめ色
や明るさなどの属性についての特徴量の代表値を求め、
テンプレートとして登録している。画像データベース１
内の画像からキー画像が設定された場合は、前記名称の
場合と同様に、元の画像に添付されたキーワードを特徴
量として特定する。また外部より取り込まれた画像から
前記キー画像が設定された場合は、そのキー画像につい
ての物理的な特徴量の抽出結果をテンプレートと比較す
ることにより、キー画像のイメージを表す感性語を特定
する。

【００４０】上記の特徴量の抽出処理においては、図６
に示すように、抽出対象の属性毎に、個別のＩＤコード
と特徴量の抽出結果とが対応づけられたデータＤ１（以
下「特徴量データＤ１」という）が生成される。

【００４１】各属性毎の特徴量データＤ１は、アイコン
生成部６に与えられ、それぞれ図７に示すようなアイコ
ンデータＤ２が生成される（ＳＴ３）。このアイコンデ
ータＤ２は、抽出された特徴量毎に、その特徴量を表す
アイコンを、検索結果とリンクさせて表示するためのデ
ータである。図７に示すアイコンデータＤ２は、５種類
のデータの組合せにより成る。第１のデータは、アイコ
ンの配置位置を表す座標データ（ｘ，ｙ）、第２のデー
タは前記（ｘ，ｙ）の位置にアイコンを表示するための
画像データＰ、第３のデータはアイコンの近傍に特徴量
の内容などの所定のコメントを表示させるための文字列
データＱである。第４のデータは、前記特徴量抽出部４
より抽出された特徴量データＤ１であって、これに第５
のデータとして、前記画像検索部５による検索結果が加
えられてアイコンデータＤ２が完成する。なお前記アイ
コン生成部６では、これらデータのうち、画像データ
Ｐ，文字列データＱを生成し、これらデータＰ，Ｑに特
徴量抽出部４より得た特徴量のデータＤ１を組み合わせ
てアイコンデータＤ２を初期設定する。

【００４２】この初期設定されたアイコンデータＤ２は
ＲＡＭ１３などに保存され、アイコン管理部７により配
置位置の座標データ（ｘ，ｙ）および検索結果が、それ
ぞれ書き込まれて完成する。

【００４３】特徴量抽出部４は、前記キー画像に対する
特徴量抽出処理に続いて、画像データベース１内の各画
像についても同様の特徴量の抽出処理を実行する。画像
検索部５は、それぞれの特徴抽出処理を受けて、各画像
につき、それぞれ属性毎に、その属性についてキー画像
より抽出した特徴量に対する画像の類似度を算出する。
アイコン管理部７は、この検索結果を取り込んで、特徴
量毎に類似度の高いものから順に、表示対象の画像とし
て所定数の画像を抽出する。そしてこれらの画像のＩＤ
コードと特徴量に対する類似度とを組にしたデータ列
を、特徴量に対応するアイコンデータＤ２の５番目のデ
ータとして書き加える（ＳＴ４）。

【００４４】なお前記類似度の算出において、色彩や形
状などの物理的特徴量に関する類似度は、前記した分割
領域毎の特徴量について、処理対象の画像とキー画像と
の間における距離を求めるなどして得られる。またキー
ワードの形で抽出された特徴量については、キーワード
が添付されているか否かにより「１」または「０」のい
ずれかの類似度が設定される。

【００４５】つぎにアイコン管理部７は、この検索処理
を受けて、前記アイコンデータＤ２に各アイコンの配置
位置の初期値を書き込む（ＳＴ５）。そして表示制御部
９は、完成したアイコンデータＤ２を取り込んで、各ア
イコンを表示画面上の所定位置に表示させる（ＳＴ
６）。なお前記座標データ（ｘ，ｙ）の初期位置として
は、表示画面上にアイコンがほぼ等分に配置されるよう
な位置を設定するとよい。また色についてのアイコンと
形状についてのアイコンとを隣り合わせに配置するな
ど、組み合わせて選択される可能性の高いアイコン同士
を近傍位置に配置するのが望ましい。

【００４６】つぎのＳＴ７で、画像配置管理部８は、前
記抽出された各画像の配置位置を決定する（詳細につい
ては後述する）。表示制御部９には、これらの画像の配
置位置や画像のＩＤコードが与えられる。これに応じて
表示制御部９は、画像データベース１より各ＩＤコード
に該当する画像データを読み出し、これを与えられた配
置位置に基づいて表示画面上へ表示する（ＳＴ８）。

【００４７】なお前記アイコンおよび画像の配置位置
は、アイコンや画像の大きさを固定する場合には、左上
頂点の座標など１点の座標により表せばよい。ただしア
イコンや画像の大きさを変動させる場合には、対向する
２頂点の座標を記憶するか、もしくは前記配置位置とと
もに、大きさを規定するデータを記憶する必要がある。

【００４８】このようにしてキー画像について抽出され
た特徴量の数だけアイコンが生成されて表示されるとと
もに、各特徴量に基づき検索された画像がそれぞれのア
イコンに対応づけられて表示される。この表示に対し、
ユーザーが所望のアイコンを移動操作すると、アイコン
管理部７は、その操作されたアイコンに対するアイコン
データＤ２の配置位置を書き換える。これを受けて表示
制御部９は、操作されたアイコンを書き換えられた配置
位置に移動させる（ＳＴ９，１０）。以下、ＳＴ７〜Ｓ
Ｔ１０の手順により、アイコンの移動にともない各画像
の配置位置が再設定され、これに応じて画像の表示位置
が変動することになる。

【００４９】つぎに前記ＳＴ７の画像の配置位置の決定
処理について、詳細に説明する。この実施例では、表示
画面を表す２次元平面上において、各アイコンの配置位
置を除く領域を画像の配置が可能な領域（以下、「配置
可能領域」という）として設定している。そして前記設
定されたアイコン毎に、そのアイコンのアイコンデータ
Ｄ２に含まれる画像、すなわちそのアイコンの示す特徴
量に類似する特徴を有する画像について、それぞれ前記
配置可能領域内の所定位置に配置位置を定めている。

【００５０】なおこの実施例では、２つの画像が完全に
重なり合うことがないように、画像の配置位置が決定す
る都度、その配置位置を前記配置可能領域から削除する
ようにしている。またこの実施例では、各属性のアイコ
ンデータＤ２に含まれる画像につき、類似度の高い順に
配置位置を決めていくが、このとき特定の属性について
の画像が優先的に配置されることがないように、所定の
順序で各アイコンにつき１つずつ配置位置を決定するよ
うにしている。

【００５１】この実施例では、各画像の配置位置を、そ
れぞれ各アイコンの示す特徴量に対する画像の類似度
（以下、簡単に「アイコンに対する画像の類似度」とい
う）により決定する。具体的には、アイコンに対する類
似度が高くなるほど、そのアイコンに近い位置に画像を
配置するようにしている。

【００５２】図８は、所定のアイコンＡ_iにリンクする
画像、すなわちこのアイコンＡ_iのアイコンデータＤ２
内の検索結果に含まれる画像Ｍについて、配置位置の決
定にかかる手順を示す。なおここでは図３の手順と混同
することがないように、各処理のステップを、「ｓｔ」
により示す。

【００５３】まず画像配置管理部８は、前記アイコンＡ
_iにリンクする画像ＭのＩＤコードをチェックし、この
画像Ｍの配置位置が既に決定しているかどうかをチェッ
クする（ｓｔ１，２）。ｓｔ２の判定が「ＮＯ」であれ
ば、画像配置管理部８は、設定されているすべてのアイ
コンに対する画像Ｍの類似度を高い順にソートする（ｓ
ｔ３）。そしてｓｔ４で、つぎに述べる処理を実行して
画像Ｍの配置位置（ｘ_M，ｙ_M）を決定した後、続くｓｔ
５で、決定した配置位置（ｘ_M，ｙ_M）を前記配置可能領
域から削除する。なおこの画像Ｍの配置位置が他のアイ
コンに対応して既に決定している場合は、ｓｔ３〜ｓｔ
５の処理を実行せずに、つぎのアイコンの画像の処理へ
と進む。

【００５４】上記ｓｔ４においては、画像配置管理部８
は、基本的に、前記類似度のソート処理による第１位、
第２位のアイコンＡ１，Ａ２（すなわちアイコンに対す
る画像Ｍの類似度が最も高いアイコンと２番目に高いア
イコン）の各アイコンデータを用いて、画像Ｍの配置位
置を決定する。なおこのとき、前記アイコンＡ_iが第１
位のアイコンＡ１となる確率は高いが、画像Ｍが複数の
アイコンにリンクしている場合は、Ａ_i以外のアイコン
が第１位のアイコンＡ１となることもあり得る。

【００５５】前記第１位、第２位のアイコンＡ１，Ａ２
がいずれも物理的な特徴量を表すものである場合、画像
配置管理部８は、各アイコンＡ１，Ａ２に対する画像Ｍ
の類似度ｒ１，ｒ２に注目し、それぞれ各アイコンＡ
１，Ａ２の配置位置ａ１，ａ２を中心として、半径が
（１−ｒ１）・α，（１−ｒ２）・αの仮想円ｃ１，ｃ
２を設定する。なおαは、各仮想円の半径を所定の画素
数に設定するための係数である。

【００５６】前記仮想円ｃ１，ｃ２は、各アイコンＡ
１，Ａ２に対する画像Ｍの類似度が高くなるにつれて小
さくなる。また各アイコンＡ１，Ａ２の配置位置および
前記類似度によって、図９（１）〜（３）に示すよう
に、各仮想円ｃ１，ｃ２が交わる場合（各円が１点で接
する場合も含む）、仮想円ｃ２の中に仮想円ｃ１が含ま
れる場合、各仮想円ｃ１，ｃ２が離れて位置する場合、
の３通りが考えられる。画像配置管理部８は、これらの
ケースに応じてつぎの方法により前記画像Ｍの配置位置
を決定する。

【００５７】図９（１）のように、２個の仮想円ｃ１，
ｃ２が交わる場合、画像配置管理部８は、各交点ｐ１，
ｐ２を基準として所定距離範囲にある領域ｑ１，ｑ２を
設定し、いずれかの領域ｑ１，ｑ２内において前記配置
可能領域に含まれる点を、画像Ｍの配置位置とする。な
お前記領域ｑ１，ｑ２のいずれを採用するかについて
は、前記ソート処理による第３位のアイコンについてｃ
１，ｃ２と同様の方法で仮想円を設定し、この仮想円の
円弧に近い方の交点を採用するとよい。

【００５８】図９（２）のように、第１位のアイコンＡ
１にかかる仮想円ｃ１が第２位のアイコンＡ２にかかる
仮想円ｃ２内に含まれる場合は、各仮想円ｃ１，ｃ２の
中心点ａ１，ａ２を通る直線と仮想円ｃ１の円周との交
点ｂ１，ｂ２のうち、仮想円ｃ２の円周に近い側の交点
（図示例ではｂ１）を選択する。そして仮想円ｃ１につ
いて、前記選択された交点ｂ１を基準とする所定大きさ
の円弧ｈ（図中太線で示す）上の１点またはその近傍位
置を、画像Ｍの配置位置として決定する。

【００５９】図９（３）のように、各仮想円ｃ１，ｃ２
が離れている場合は、各仮想円ｃ１，ｃ２の中心点ａ
１，ａ２を結ぶ線分が、各類似度ｒ１，ｒ２に基づく比
δ・（１−ｒ１）：δ・（１−ｒ２）（δ＞１）で分割
される。そしてこの分割点ｄを基準とする所定距離範囲
内の領域ｓにおいて、画像Ｍの配置位置が決定される。
なお各中心点ａ１，ａ２を結ぶ線分の長さが所定値以内
であれば、この線分を等分割して、前記分割点ｄを割り
出してもよい。

【００６０】一方、第１位のアイコンＡ１がキーワード
を表すものである場合は、画像配置管理部８は、第３位
までのアイコンＡ１〜Ａ３を用いて、画像Ｍの配置位置
を決定する。まず画像Ｍの類似度が１．０となる第１位
のアイコンＡ１については、配置位置ａ１を中心に、半
径０．５αとなる仮想円ｃ１を設定し、この仮想円ｃ１
の内側の領域を画像Ｍの第１の配置候補領域Ｒ１とす
る。また第２位、第３位のアイコンＡ２，Ａ３について
は、それぞれ配置位置ａ２，ａ３を中心に、各アイコン
に対する画像Ｍの類似度に応じた半径を有する仮想円ｃ
２，ｃ３を設定する。そしてこれら仮想円ｃ２，ｃ３が
前記図９（１）と同様の関係にあるときは領域ｑ１，ｑ
２に該当する画像領域を、図９（２）と同様の関係にあ
るときは円弧ｈに該当する画像領域を、図９（３）と同
様の関係にあるときは領域ｓに該当する画像領域を、画
像Ｍの第２の配置候補領域Ｒ２として設定する。

【００６１】上記した各配置候補領域Ｒ１，Ｒ２は、図
１０（１）のように各領域Ｒ１，Ｒ２が重なり合うか、
あるいは図１０（２）のように各領域が離れて位置する
かのいずれかの形態をとる。画像配置管理部８は、図１
０（１）のケースについては重なり合う領域Ｒ３内の所
定位置を、図１０（２）のケースについては領域Ｒ１内
の所定位置を、画像Ｍの配置位置として決定する。なお
キーワードを表すアイコンについての仮想円の半径は、
０．５αに限らず、０．５α以下の任意の大きさに設定
すればよい。

【００６２】またキーワードを表すアイコンが複数個生
成されており、画像Ｍがいずれのアイコンにもリンクし
ている場合、これらすべてのアイコンが前記第１位のア
イコンとして検出されることになる。この場合は、キー
ワードを表す各アイコンについて半径０．５αの仮想円
を設定し、前記図９（１）〜図９（３）の方法を適用し
て画像Ｍの配置位置を決定する。

【００６３】上記の配置方法によれば、画像Ｍは、基本
的に、最も類似度の高い第１位のアイコンＡ１に対応づ
けられて、アイコンＡ１に対する類似度が高くなるほ
ど、アイコンＡ１に近い位置に配置される。ただしその
配置位置は、画像ＭとアイコンＡ１との関係によって一
意に定められるものではなく、第２位もしくは第３位の
アイコンの配置位置やそれらアイコンＡ２，Ａ３に対す
る画像Ｍの類似度によっても変動する。

【００６４】たとえば第１位、第２位の各アイコンＡ
１，Ａ２が近傍位置に配置されている場合、各アイコン
Ａ１，Ａ２による仮想円ｃ１，ｃ２の間に図９（１），
図９（２），図１０（１）に示したような関係が生じる
から、画像Ｍは、いずれのアイコンＡ１，Ａ２に対して
も、およそそのアイコンに対する類似度に応じた距離だ
け離れた位置に配置されるようになる。これに対し、第
１位、第２位の各アイコンＡ１，Ａ２が離れると、各仮
想円ｃ１，ｃ２の間には図９（３）や図１０（２）に示
したような関係が生じ、画像Ｍは、第１位のアイコンＡ
１寄りに配置されるようになる。

【００６５】したがって前記図３のＳＴ９，１０におい
て、ユーザーが、重要視するアイコンと重要視していな
いアイコンとが離れた位置に配置されるように、所定の
アイコンを移動させると、重要視するアイコンの周囲
に、そのアイコンに対する類似度の高い画像が集められ
る。しかもこれらの画像は、前記アイコンに対し、それ
ぞれ類似度に応じた距離だけ離れた位置に配置されるか
ら、各画像のアイコンに対する類似度の違いを一目で判
断できる。

【００６６】また２種以上の特徴量をキーとして画像を
抽出したい場合は、それらの特徴量を表すアイコンが近
くに配置されるように各アイコンを移動させる。これに
より、近づけられた各アイコンの双方に類似する画像
が、それぞれのアイコンに対する類似度に応じた位置に
配置され、各特徴量と画像との関係や類似の度合いを簡
単に判断することができる。

【００６７】このようにアイコンの移動という簡単な操
作により、最初の検索結果を適正に絞り込んでユーザー
の所望する画像を得ることができるから、検索の精度や
効率を大幅に向上することができ、また検索結果の表示
画面上で目的とする画像を容易に探し当てることが可能
となる。

【００６８】図１１（１）〜（３）は、検索結果の表示
画面の具体例を示す。図１１（１）は、前記図４に示し
た画像から抽出されたキー画像により検索を行った場合
の最初の表示画面である。図中、２０は、キー画像上に
含まれる対象物の名称（飛行機）を表すキーワードのア
イコン、２１は対象物の形状にかかる特徴量を表すアイ
コン、２２は対象物の色にかかる特徴量を表すアイコン
であり、アイコン２１，２２の近傍には、それぞれ前記
アイコンデータＤ２内の文字列データＱに応じたコメン
ト２１ａ，２２ａが表示されている。さらに検索により
抽出された所定数の画像（２３Ａ〜２３Ｄで示す）が、
各アイコンの配置位置およびアイコンに対する画像の類
似度に応じた位置に、表示されている。なおコメント２
１ａ，２２ａは、対応するアイコン２１，２２にマウス
カーソルが近づいたときのみ表示されるようにしてもよ
い。

【００６９】図１１（２）は、前記図１１（１）の表示
画面上で、マウスにより形状にかかるアイコン２１を選
択した状態を示す。図１１（３）は、さらにドラッグ操
作により、図１１（２）で選択されたアイコン２１を、
表示画面の隅位置に移動させた後の表示画面を示す。

【００７０】図１１の具体例によれば、形状を表すアイ
コン２１を他のアイコン２０，２２から引き離して配置
することにより、各画像２３Ａ〜２３Ｄの配置位置が変
動している。特に、図中、２３Ａ，２３Ｂの符号で示す
各画像は、アイコン２１の移動前と同様の距離を保って
アイコン２１の近傍に表示されているので、キー画像に
類似する形状を有する画像であることが容易に判別でき
る。なおこの実施例では、各画像を同じ大きさで表して
いるが、所定のアイコンに対する類似度が大きくなる画
像ほど、大きく表示するようにしてもよい。

【００７１】なお上記の構成に加え、表示画面上に表示
されたアイコンのうち不要なアイコンを削除できるよう
に設定すれば、検索結果からノイズを容易に削除するこ
とが可能となる。またユーザーが新たに抽出すべき特徴
量に関わる条件を入力して新たなアイコンを生成し、そ
の特徴量により画像データベース１を再検索して、その
結果を表示することも可能である。この場合、特にキー
ワードについて、「そのキーワード（たとえば飛行機）
を含まない」という意味のアイコンを生成して、前記キ
ー画像とは異なる対象物の画像を検出することも可能で
ある。

【００７２】また上記の実施例では、検索のキーを画像
データより設定しているが、キーワードによる検索を行
う場合も、同様の方式で検索結果を表示したり、検索結
果の絞り込みを行うことが可能である。

【００７３】さらに上記実施例では、画像データベース
を検索するようにしているが、この発明は画像に限ら
ず、音楽情報など、キーワード，数値，感性語などによ
り表される種々の特徴量を有する情報を検索する際にも
適用できる。たとえば音楽情報を検索する場合であれ
ば、楽曲の種類（クラッシック，ポピュラー，ロックな
ど），拍子や長短調の種類，作曲者名，楽曲名などの特
徴量を入力、もしくは所定の楽曲から抽出して、データ
ベースを検索する。そして前記実施例と同様に、検索に
用いた特徴量毎にアイコンを設定して表示画面上に表示
する。さらにデータベースより抽出された各情報につい
て、前記図９，１０と同様の原理に基づき、各情報の配
置位置を決定した後、それぞれの情報をアイコン化して
決定された配置位置に表示する。

【００７４】

【発明の効果】請求項１，２の発明によれば、表示画面
上のアイコンと情報との位置関係により、抽出された各
情報が検索に用いられたどの特徴量に対応するのかや、
その類似度を認識することができる。したがってユーザ
ーは、目的とする特徴量を示すアイコンに対応づけて表
示された情報の中から類似度の高い情報を容易に探し当
てることができる。

【００７５】請求項３の発明によれば、各情報は、複数
種の特徴量に対する類似度に応じた位置に表示されるの
で、検索により抽出された各情報が各特徴量にどの程度
の関わりを具備するかを容易に認識することができる。
したがってユーザーは、特に複数種の特徴に基づいて情
報を検索する場合に、これらの特徴量に対応するアイコ
ンとの位置関係により、各特徴量にともに類似する情報
を容易に探し当てることができる。

【００７６】請求項４の発明によれば、目的とする特徴
量に対応するアイコンと目的外の特徴量に対応するアイ
コンとが離れて位置するように、各アイコンの移動操作
を行うことにより、前記目的とする特徴量に類似する情
報を抽出することができるので、検索結果を容易かつ精
度よく絞り込むことが可能なユーザーインターフェイス
を提供することができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる画像検索装置の機
能ブロック図である。

【図２】画像検索装置の具体的な構成を示すブロック図
である。

【図３】画像検索処理の手順を示すフローチャートであ
る。

【図４】キー画像の指定方法を示す説明図である。

【図５】色の抽出処理時の画像の分割例を示す説明図で
ある。

【図６】特徴量データのデータ構成を示す説明図であ
る。

【図７】アイコンデータのデータ構成を示す説明図であ
る。

【図８】画像の配置位置の決定にかかる手順を示すフロ
ーチャートである。

【図９】画像の配置位置を決定する方法を示す説明図で
ある。

【図１０】画像の配置位置を決定する方法を示す説明図
である。

【図１１】検索結果の表示画面の具体例を示す説明図で
ある。

【符号の説明】

１画像データベース２ユーザーインターフェイス５画像検索部６アイコン生成部７アイコン管理部８画像配置管理部９表示制御部１０コンピュータ１１ＣＰＵ１７表示装置

Claims

【特許請求の範囲】

【請求項１】少なくとも１種類の属性について、所定
の特徴量による検索処理によりデータベースから抽出さ
れた情報を表示するための方法であって、表示画面上に前記特徴量毎にアイコンを設定するととも
に、各特徴量により検索された情報を、それぞれその特
徴量に対する情報の類似度に応じた距離だけ前記アイコ
ンから離れた位置に表示することを特徴とする検索情報
の表示方法。
【請求項２】複数の情報が記憶されたデータベース
と、少なくとも１種類の属性について、所定の特徴量により
前記データベースを検索する検索手段と、前記検索手段による検索結果を表示させるための表示制
御手段とを具備し、前記表示制御手段は、表示画面上に前記特徴量毎にアイ
コンを設定するとともに、各特徴量により検索された情
報を、それぞれその特徴量に対する情報の類似度に応じ
た距離だけ前記アイコンから離れた位置に表示させて成
る情報検索装置。
【請求項３】前記表示制御手段は、前記検索に用いた
複数種の特徴量に対する情報の類似度を用いて、各情報
の表示位置を決定する請求項２に記載された情報検索装
置。
【請求項４】請求項２または３に記載された情報検索
装置において、前記表示画面上におけるアイコンの位置関係を変更する
ための入力手段を具備し、前記表示制御手段は、前記入力手段によるアイコンの位
置関係の変更に応じて前記各情報の表示位置を再設定
し、各情報を再設定された位置に移動させる情報検索装
置。