JP2012048474A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 検索結果を仮想空間上に表示する際に、ユーザーが検索結果の利用用途に合わせて常に適切な属性の軸を選択することは困難であった。
【解決手段】 検索結果を表示する仮想空間の軸に使用する属性を、過去に入力した検索条件と検索利用用途とで検索結果を表示させたときに採用された履歴が多い属性とする。検索条件と検索利用用途とに合った属性の軸を決定し、ユーザーの検索結果獲得を支援する。
【選択図】 図３

Description

本発明は、検索結果から所望の画像を獲得する作業を支援する情報処理装置、情報処理方法、及びプログラムに関するものである。

近年、大量の画像データを画像データベース等で管理することが一般的になっている。大量の画像データから所望の画像を見付け出す作業は、ユーザーにとって負荷が大きい。全画像データを一覧表示して、目視により所望の画像かどうか判断するという原始的な作業は、画像データベースに登録されている画像データ数の増大により既に現実的ではない。各画像データにあらかじめ付与された属性によって検索し、ある程度の数まで絞り込まれた検索結果から所望の画像を獲得する行為が一般的である。

しかし、画像データベースに登録されている画像データ数が更に増大すると、ある検索で絞り込まれた検索結果でも数十〜数百件に及ぶ場合があり、それらをユーザーにどのように提示するかということが、ユーザーが所望の画像を獲得する為に重要である。このような検索結果表示方法として、検索結果である画像データ自身が持つ属性を特徴量とし、それらに基づく特徴空間を仮想的に構築し、同空間上に画像データのサムネイルを配置する方法がある。検索結果の画像データ群の特徴あるいは傾向を把握しやすくしている。

例えば、特許文献１には、データベースに格納されている属性値を２つとり、それらを２次元特徴空間の各座標軸の項目とし、平面的に配置する方法が開示されている。このような検索結果表示方法は、検索結果の画像データ群の特徴あるいは傾向を把握し、画像データ間の違いを直観的に捉えることができるので、ユーザーがその中から所望の画像データを効率良く探せるようになるという支援効果がある。

特開平１１−１２０１８０ 特開２００７−１８３９９０ 特開２００３−２５６８５６

しかし、実際のケースでユーザーが効率良くデータを探せるか否かは、特徴空間の軸として採用された属性の内容に大きく依存する。一般にデータベースに登録された各データに付与される属性の種類は多数あり、どの属性を軸として採用すると効果的なのかは、ユーザーの検索目的や対象によって異なる。検索要求（＝検索条件）と合致しているかを表す属性だけでは、実際に検索結果の画像データを利用する目的や利用用途に適した画像データかどうかを判断する指標とならない場合がある。したがって、ユーザーが持つ様々な検索目的や対象に合わせて、常に「適切な属性の軸」を選択して検索結果表示をおこなうことは困難であり、検索システムが軸として採用すべき属性の選択を支援することが望まれている。

このような課題に対し、特許文献２には、属性値の分散に着目して、個々のデータの違いが最も大きく表われている属性の軸を推奨する技術が開示されている。しかし、そのような属性の軸が必ずしもユーザーの検索目的を反映した属性の軸であるとは限らない。個々のデータの違いが大きく表れている属性だけが有用なのではなく、検索目的に沿った基準となる属性が別に存在することがあるからである。また、特許文献３には、ユーザー自身に軸を選択させないようにする別の方法として、主成分分析等の多変量解析によりｎ次元の特徴量から２次元の新たな軸を導出し、表示の軸に用いる技術が開示されている。しかし次元縮退した結果、新たな２軸は既に人間にとって明確な意味を持つ軸ではなくなり、結果的に特徴量が類似したものが近くに表示される効果しか無い場合がある。

本発明は、上記の課題に鑑みてなされたものであり、検索結果の利用用途に合い、個々の画像の違いを分かりやすく表す属性の軸を決定して表示する情報処理装置及びその方法、プログラムを提供することを目的とする。

本発明に係る情報処理装置は、以下の構成を備える。即ち、検索条件と検索結果の利用用途とを入力する入力手段と、前記検索条件に基づいてデータベースからデータを検索する検索手段と、前記検索手段の検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段。

本発明によれば、検索結果の利用用途に合わせて、検索結果を表示する仮想空間の軸に使用する属性を決定するので、検索結果から所望のデータを獲得する支援を行うことができる。

本実施形態の検索結果表示処理を実施する装置の構成例 本実施形態の検索結果表示処理を構成するブロック図の例 本実施形態の検索結果表示処理例のフローチャート 検索要求に関する軸選択履歴テーブルＡの例 概念辞書の例 検索目的に関する軸選択履歴テーブルＢの例 分散スコアの例 各スコアから算出される推奨度の例 検索結果表示の例 検索結果表示に対する軸（属性）の変更指示画面の例 検索結果表示の例（サムネイルが集中している場合） 検索結果選択の為の近傍サムネイル一覧表示の例

＜実施形態１＞
本実施形態におけるデータ検索結果の表示を行う実施場面を具体的に説明する為、次のような例を想定する。ユーザーは、汎用ＰＣ上で動作する文書作成支援アプリケーションを利用して電子文書データを作成している。文書作成支援アプリケーションは、ツアー企画書・報告書等、文書の作成目的に応じたテンプレートを保持している。ユーザーは文書の作成目的に合ったテンプレートを選択した上で、所望のコンテンツを入力すると、自動的にテンプレートの情報に沿ってレイアウト調整等がおこなわれて、見栄えの良い文書を簡易に作成することができる。また文書作成支援アプリケーションは、ユーザーが文書にどのコンテンツを入力するかの選択に対しても支援をおこなう。たとえば、○○寺院への観光を含むツアー企画書に挿入する写真を選ぶ、というケースで、大量の写真画像を記憶したデータベースから最適な一枚を選ぶ作業は、ユーザーにとって負荷が大きい。このようなケースにおいて、ユーザーが最適と思う○○寺院関連の画像を手間無く確実に獲得するための支援を行う。

以下、上記想定例に基づいて、図面を参照しながら、本発明に好適な実施形態を詳細に説明する。

図１は、本実施形態に関する処理を実施する装置の構成例である。図１において、制御部１０１は、ＣＰＵ等で構成される。制御部１０１はバス１０２を介してメモリ部１０３、大規模記憶部１０４、表示部１０５、入力部１０６、出力部１０７、ネットワーク接続部１０８に接続されている。メモリ部１０３はＲＡＭ等で構成される電子的な記憶装置である。

制御部１０１はこのメモリ部１０３に配置されたプログラムおよびデータに従って動作するとともに、接続された各部を制御し、データの入出力をおこなう。大規模記憶部１０４は、ハードディスク、光学ディスク等のデータ蓄積装置であり、後述の画像データベース等を収めるのに用いられる。表示部１０５は、本システムを使用するユーザーに対し、データをグラフィカルに提示するディスプレイ装置である。入力部１０６は、ユーザーが本システムに対しキーワード入力を行うキーボードや、表示部１０５の表示内容に連動した指示を入力するためのマウス、スティック、パッド等のポインティングデバイスである。タッチパネル機能付きディスプレイ等、表示部１０５と入力部１０６を兼ねる装置を用いてもよい。出力部１０７は、データを紙に出力するプリンタデバイス等である、ネットワーク接続部１０８は、データを装置外から取り込んだり装置外に送信したりする為のネットワークインターフェースである。図１の各部１０１〜１０８はＰＣ等の汎用コンピュータ単体として構成しても良いし、あるいはＭＦＰ等の電子機器内に構築してもよい。また、互いに接続された複数のコンピュータやサーバー、およびディスプレイやＰＤＡ等の周辺機器の集合によって構築されてもよい。

尚、実施形態１の装置のＣＰＵはプログラムを実行することで各種の手段として機能する。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行する。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがソフトウェアを実行することで実現する手段が専用の回路によって実現されてもよい。

図２は、前述の想定例に基づき、図１のＰＣ等で実行される処理を構成するブロック図の例である。それぞれのブロック２０１〜２０３は、図１の制御部１０１が各部１０２〜１０８と連携して実行するプログラムである。文書作成支援アプリケーション２０１は、ユーザーが対話的に操作しながら文字や画像を入力するワードプロセッサーの機能を備える。

画像データベース２０２は、文書作成支援アプリケーション２０１に後述の機能を提供するサービスプログラムとして動作する。画像データベース２０２は、画像データが登録されるとインデックスを付与したうえで、図１の大規模記憶部１０４等に記憶する。そしてインデックスが指定されると対応する画像データを返す機能を有する。さらに各画像データとその属性を関連づけて記憶しており、属性を指定するクエリが入力されると、該当する１または複数の画像データを検索し、そのインデックスのリストを返す機能も有する。本想定例で利用される、写真の画像データに関連づけられる属性の例としては、「写真の内容」「撮影場所」「撮影者」「撮影時間」「被写体迄の距離」「被写体の構図」「解像度」「背景の明るさ」などがある。また、「閲覧回数」「引用回数」「人気度」などといった属性を新たに関連づけることも可能である。なお、画像データと属性はひとつの記憶装置からなるデータベースに併せて登録してあってもよいし、各々別の記憶装置からなる複数のデータベースをもって画像データベース２０２とみなしてもよい。

データ検索・表示システム２０３は、画像データベース２０２同様、文書作成支援アプリケーション２０１の要求する処理を提供するサービスとして実行される。その処理内容は、ユーザーの指示に基づいて文書作成支援アプリケーション２０１が入力した属性に合う複数の画像データ群を画像データベース２０２から検索し、検索結果をユーザーに提示することである。また、検索結果から所望の画像データをユーザーに選択させることである。ここで提示される検索結果は、各データが持つ属性のばらつきを反映した空間に分布するサムネイル画像群として表現される。ユーザーがその中から最適な画像データを効率良く選択できるよう、実際の検索結果のデータが有する様々な属性の中から、より有意な分布となるよう選択した属性の軸により空間を構成するという特徴をデータ検索・表示システム２０３は有する。

次に、データ検索・表示システム２０３の処理の具体例を、図３のフローチャートに沿って説明する。

ステップＳ３０１では、図２の検索要求入力部２１１が文書作成支援アプリケーション２０１から指定された「検索要求」、および検索目的入力部２１２が同じく文書作成支援アプリケーション２０１から指定された「検索目的」の入力を受けつける。

ここで「検索要求」とは、画像データベース２０２に保存されている検索対象を指定する為の検索条件情報である。具体的には、画像データベース２０２に保存された写真の各々関連づけられたメタデータに含まれる、属性等である。本例では、ユーザーは「○○寺院が撮影されている写真」の検索を望んでおり、「○○寺院」というキーワードをユーザー検索要求としてキーボード入力したものとする。このような検索要求の指定方法以外にも、作成中の文書に既入力済の別コンテンツ等より抽出したキーワードを、文書作成支援アプリケーション２０１が、検索要求として指定するようにしてもよい。

「検索目的」とは、検索された結果の画像をどのように用いるかという用途を表す情報である。本例においては、画像を作成中のツアー企画書のテンプレートに挿入することが目的である。「ツアー企画書」というキーワードが文書作成支援アプリケーション２０１から検索目的として自動的に指定される。この際、テンプレートに複数の目的が関連づけ可能な場合は関連付けられた選択肢をユーザーに提示し選ばせるようにしてもよい。または、あらかじめ用意した検索目的キーワードのリストから選ばせるようにしたり、ユーザーに直接キーワードを入力させたりしてもよい。

ステップＳ３０２では、検索結果取得部２１３が、ステップＳ３０１で検索要求入力部２１１に入力された検索要求に従って、画像データベース２０２から対象の画像を検索する。検索結果のデータ群として得られた画像データのインデックスのリストは、後述の処理で利用する為に検索結果取得部２１３が保持する。

ステップＳ３０３では、検索要求スコア算出部２１４が、軸選択履歴テーブル管理部２１５に記憶されている軸選択履歴テーブルＡを参照し、同履歴中に存在する各属性の軸に対する検索要求スコアを算出する。ここでいう検索要求スコアとは、検索要求と検索対象との適合度を表す得点ではない。詳しくは後述する。

軸選択履歴テーブルＡとは、過去の同じ検索要求に対して、後述する検索結果表示生成部２１９が表示に使用した属性の軸の選択回数を、属性（軸）毎に履歴として保存したテーブルである。ここで軸とは、検索結果に付与される属性のばらつきを、ある次元の特徴量とみなした場合の次元軸に相当するものである。軸選択テーブルＡの例を図４（ａ）に示す。図４（ａ）の欄４０１は、過去にこのシステムに入力された検索要求の一覧であり、たとえば項目４０２は検索要求が「○○寺院」の場合を示している。欄４０３は“解像度”を特徴量とした軸１が、後述の検索結果表示生成部２１９にて使用された回数を、各検索要求についてカウントしたものである。以降、欄４０４〜欄４０９についても同様である。

検索要求スコアとは、ある検索要求に対して、軸として採用した回数の多さを評価するように、各属性（軸）に付与される得点である。本例では、検索要求スコアは各軸の選択回数の割合×１００で計算されるものとする。例として、検索要求が「○○寺院」、軸選択履歴テーブルＡが図４で示される内容の場合、軸１に対する検索要求スコアは
１５ ÷ （１５＋１＋２０＋８＋６＋１６＋２） × １００ ＝ ２２点
となる。以下同様に軸２〜軸９に対する検索要求スコアはそれぞれ１点、２９点、１２点、９点、２４点、３点となる。よって、２９点の軸３（撮影方位）、２４点の軸６（被写体迄の距離）が、検索要求「○○寺院」に対して高い検索要求スコアを持つ属性であることが示される。

もし、現在の検索要求に対する過去の履歴回数が十分でない場合には、同様の検索要求に対する履歴を利用するようにしてもよい。たとえば図４（ｂ）に示される軸選択履歴テーブルＡの例では、検索要求「○○寺院」に対する履歴が少なく、有意なスコア付けがおこなえない。この場合、図５に示すような概念辞書をあらかじめ用意し、「○○寺院」の近似概念である「△△寺院」や「××寺院」、または上位概念である「寺院」に対する履歴があればそれをカウントし、「○○寺院」に対する検索要求スコアとし利用してもよい。図４（ｂ）の例では「△△寺院」に対する履歴を利用して、軸１〜軸９の検索要求スコアは順に、２１点、４点、３１点、８点、８点、２７点、０点となる。あるいは、システムの初期状態などいずれの検索要求に対しても十分な履歴回数が無い場合は、すべての軸に等しい検索要求スコアを設定してもよい。あるいは、軸の性質を考慮して非均等に配分された検索要求スコアを設定してもよい。

ステップＳ３０４では、検索目的スコア算出部２１６は、軸選択履歴テーブル管理部２１５に記憶されている軸選択履歴テーブルＢを参照し、同履歴中に存在する各軸に対する検索目的スコアを算出する。

軸選択履歴テーブルＢとは、過去の同じ検索目的に対し、後述する検索結果表示生成部２１９が表示に使用した属性の軸の選択回数を、属性（軸）毎に履歴として保存したテーブルである。軸選択履歴テーブルＢの例を図６に示す。図６の欄６０１は、過去にこのシステムに入力された検索目的の一覧であり、たとえば項目６０２は検索目的が「ツアー企画書」の場合を示している。欄６０３は“解像度”を特徴量とした軸１が、後述の検索結果表示生成部２１９にて使用された回数を、各検索目的についてカウントしたものである。以降、欄６０４〜欄６０９についても同様である。なお、前述の軸選択履歴テーブルＡとこの軸選択履歴テーブルＢは便宜上別のものとしたが、軸選択履歴テーブル管理部２１５は両者を共通に管理し、必要に応じて分割するようにしてもよい。

検索目的スコアとは、ある検索目的に対して、軸として採用した回数の多さを評価するように、各属性（軸）に付与される得点である。本例では、検索目的スコアは各軸の選択回数の割合×１００で計算されるものとする。例として、検索目的が「ツアー企画書」、軸選択履歴テーブルＢが図６で示される内容の場合、軸１に対する検索目的スコアは
２ ÷ （２＋３＋１２＋１８＋１７＋１０＋８） × １００ ＝ ３点
となる。以下同様に軸２〜軸９に対する検索目的スコアはそれぞれ４点、１７点、２６点、２４点、１４点、１１点となる。よって、２６点の軸４（撮影日時）、２４点の軸５（撮影場所）が、検索目的「ツアー企画書」に対して高い検索目的スコアを持つ属性であることが示される。例えば、検索要求が上記と同じように「○○寺院」であっても、検索目的が「グリーティングカード作成」であったならば、別の属性の検索目的スコアが高くなる。

ステップＳ３０５では、分散スコア算出部２１７が、ステップＳ３０２で保持された検索結果のインデックスに基づき、各検索結果が持つ属性の特徴量の分散を求める。この特徴量は、属性の値という意味である。具体的には、検索結果のインデックスリストに基づいて、各画像の特徴量を画像データベース２０２に問いあわせることによって各々の特徴量が得られる。これらの特徴量の分散に基づき、各属性を軸としたときの特徴量の分散の小ささを反映した分散スコアを、各属性（軸）に対して算出する。この分散スコアは、検索された画像群の中で特徴のばらつきが少ない属性を、後述する推奨軸からはずす目的で利用される。分散スコアの具体的な計算方法は、たとえば分散値を（０，１００）に正規化し、１００からその値を減じたものにすればよい。あるいは、単一の閾値以上であれば０点、閾値以下であれば１００点としてもよく、いくつかの閾値を設け、その大小比較により０点、５０点、１００点などの離散的な点数を割りあてるようにしてもよい。または、それらの正規化の仮定で各軸固有の性質をよりよく反映するような変換関数を設定するなどして、属性（軸）毎に分散値と分散スコアの関係式を設定するようにしてもよい。

図７に「○○寺院」というキーワードで検索した結果の画像群から求めた、各属性（軸）の分散スコアの例を示す。本例では軸４（撮影場所）に対する分散スコアが高くなっている。なぜなら固定建造物に対する撮影場所のぶれは一般的に小さく、特徴量の分散も小さくなるために高い分散スコアが割りあてられたからである。

ステップＳ３０６では、軸推奨度算出部２１８が、ステップＳ３０４、Ｓ３０５およびＳ３０６で求められた各スコアを統合し、各軸に対する最終的な推奨度を算出する。推奨度の計算には例えば以下の式を用いる
推奨度 ＝ 検索要求スコア×α ＋ 検索目的スコア×β − 分散スコア×γ
ここで、α、βはそれぞれ検索要求スコア、検索目的スコアに対する重要度の重み、γは分散スコアが大きい、すなわち特徴の乏しい軸に対する減点度の重みである。

図８の表における行８０１に、本例において計算された各属性軸の推奨度の例を示す。ここでは各推奨度は、α＝１．０、β＝１．０、γ＝０．１という係数を用いて計算されたものである。検索要求スコアで高スコアを付けた軸３（撮影方位）、軸６（被写体迄の距離）、検索目的スコアで高スコアを付けた軸４（撮影日時）の推奨度が高くなっている。「ツアー企画書」を作成するときには、「撮影日時」が新しい画像データを使いたいという特有の要望がある。検索結果を表示するときには、「撮影日時」が軸の属性に使われていると、利用用途に適した画像データかどうかを判断する指標となり、所望のデータを獲得しやすくなる。検索要求スコアと検索目的スコアとを統合することで、より有意な属性の軸を推奨することができる。

一方、検索目的スコアで高スコアを付けた軸５（撮影場所）は、分散スコアによる減点で最終的な推奨度は前述の軸よりも低くなっている。なお、本例に用いたα、β、γの係数値は一例であって、他の係数値を用いてもよい。

また、軸となる属性の性質によっては、互いに相関が高く同時に使用されても後述する表示上の効果が期待できない軸の組み合わせもある。このような問題を避けるために、属性値間の特徴量の相関を各々計算し、相関の高い属性が同時に上位に来ないよう、推奨度を変化させるようにしてもよい。

ステップＳ３０７では、検索結果表示生成部２１９が、ステップＳ３０６で求めた推奨度順に上位ｎ個の属性を選出し、このｎ軸を使った検索結果表示空間を仮想的に構築する。更にこの空間内に、軸上での座標が各々対応する特徴量と一致するよう、各検索結果のサムネイル画像を配置する。このような仮想空間に配置されたサムネイル画像群を、ある視点から眺めている状態となるような検索結果表示を生成し、ユーザーに提示する。

この検索結果表示の一例として、推奨度上位３個の軸を用いた仮想３Ｄ空間に、検索結果のサムネイル画像を配置した場合の検索結果表示例を、図９に示す。図９の軸９０１〜９０３は、ステップＳ３０７で選択された上位３つの軸であり、それぞれ軸（撮影方位）、軸（被写体迄の距離）、軸（撮影日時）である。画像９０４〜９１２は検索結果のサムネイル画像であり、実際には各写真を縮小した画像が貼り付けられて、ユーザーにその画像内容が判るようになっているものとする。本表示例では、軸９０１〜９０３を仮想３Ｄ空間のｚ，ｘ，ｙ軸とみなし、同空間の ０＜ｘ＜１，０＜ｙ＜１，０＜ｚ＜１ の領域を、ある点（座標（Ｘ，Ｙ，Ｚ）、ただしＸ，Ｙ，Ｚ＞０）に設定された視点Ａから見下ろした状態として表現している。サムネイル画像９０４〜９１２は、各々がもつ特徴量「被写体迄の距離」「撮影方位」「撮影日時」を用いて
（ｘ， ｙ， ｚ） ＝ （ｆ（被写体迄の距離），ｇ（撮影方位），ｈ（撮影日時））
の位置に配置され、かつ視点から見て画像が正面を向くように表示されている。

ここで関数ｆ，ｇ，ｈは、それぞれの特徴量を、対応する軸の区間（０，１）内の座標値へと変換する関数である。これらの関数は、単なるレンジ変更の為の線形変換関数であってもよいし、個別の観点で特徴量を評価し、非線形変換をおこなう関数であってもよい。

たとえば関数ｆは、元々の特徴量は撮影時に計算された被写体距離に基づく値であるが、撮影対象の実際の大きさを鑑みて設けた規準撮影距離との近さに基づいて（０，１）区間に配置するものにしてもよい。すなわち、ユーザーに推奨できる望ましい撮影距離に近いものほど１に近い値、そうでないものを０に近い値になるようにしてもよい。同様に、撮影方位に対する関数ｇも、好ましい撮影方位との角度の近さによって１から０までの値が与えられるようにしてもよい。また、撮影日時に関しては、本例であればツアー企画の季節がいつなのか、昼なのか夜なのか、といった検索目的に附属する状況に依存することも考えられる。この場合には、文書作成支援アプリケーション２０１から作成文書のコンテンツに含まれる時節表現「春のツアー」等や、開催日程等を取得し、その日時との近さに応じて軸の１から０の区間に並べるような関数ｈを設定してもよい。

このように変換することで、サムネイル画像の各座標値ｘ，ｙ，ｚはそれぞれ、ユーザーに推奨する度合が大きいほど１に近く、逆に非推奨のものは０に近い値となる。その結果、前述の視点Ａから見た場合に、それぞれの軸で推奨度がいずれも高いサムネイルが中央かつ手前に、いずれかの軸で低いものは周辺に、すべて低いものは遠くに配置されたようになる。したがって、この検索結果表示を見たユーザーは、各画像に対する推奨の度合と、軸から判断できる推奨理由を鑑みながら一覧することができ、所望の画像を効率よく選択できるようになる。

図９の検索結果表示例においては、３Ｄ空間表現のアナロジーを利用して、視点に近いものはサムネイル画像の表示サイズを大きく、遠いものは小さくなるようにしている。結果的に推奨度の高いコンテンツほど大きく表示されることとなる。このように、コンテンツの強調をより明示的におこなうことで、ユーザーの画像選択をより効率的におこなわせることが可能になる。本例以外にも、遠方にあるものはｂｌｕｒ効果等を使ってぼかして表示してもよい。あるいは、サムネイル画像を表示画像内で微少に振動させ、視点からの距離によって顕著に区別できることになる振動の大小で、推奨コンテンツの強調度合が明確になるようにしてもよい。

なお、検索結果表示生成部２１９が生成する検索結果表示は、上記視点からの視覚的映像を２次元画素配置上に表現した画像でもよいし、それらを表現するのに十分なグラフィック命令等の記述データ、あるいは配置データのみでもよい。また、サムネイル画像を揺らすことによって、重なって見えにくくなっている後ろのサムネイル画像が見やすくなる。

また、検索結果表示の空間は３次元に限定されず、２次元や４次元以上であってもよい。この際、４次元以上の多次元空間を視覚的な型で再現するのは不可能であるため、２Ｄあるいは３Ｄ空間上に擬似的な多次元空間の写像を形成するようにしてもよい。

図３に戻って、ステップＳ３０８では、検索結果表示を見たユーザーは、この表示中の軸で表現された検索結果表示が十分かどうかを判断し、属性を変更する必要がある場合その旨をユーザー操作入力部２２０に入力する。属性を変更する必要があると指示された場合は、ステップＳ３０９に進む。変更する必要が無いと判断された場合はステップＳ３１０に進む。

ステップＳ３０９では、ユーザーが変更対象となる属性と、新しく選択される属性をユーザー操作入力部２２０に指示する。検索結果表示生成部２１９は、変更後の新たなｎ軸にもとづいて、ステップＳ３０７と同様の処理で仮想空間を構成し、サムネイル画像を配置して新たに検索結果表示を生成する。そして再びそれらの属性（軸）を用いた検索結果で良いか否かをユーザーに尋ねるためにステップＳ３０８に戻って同処理を繰り返す。

ステップＳ３０８およびステップＳ３０９における表示および操作指示の例を図１０に示す。ユーザーが、図１０で示される検索結果表示の中で、ｚ軸の軸名表示部分１００１をポインティングデバイス等でクリックすると、変更後の軸に採用する属性の選択肢を提示するポップアップウィンドウ１００２が現れる。ユーザーはこの中からひとつの属性を選択することができる。この際、ポップアップウィンドウ１００２に表示する選択肢は、ステップＳ３０６で計算した推奨度順に並べたり、あるいは推奨度の小さいものは提示しないようにしたりしてもよい。

ステップＳ３１０では、ユーザーが検索結果表示の中から画像サムネイルをひとつ選び、ユーザー操作入力部２２０に対して選択指示をおこなう。選択されたサムネイルに対応する画像データは、本検索処理の最終的な検索結果となり、文書作成支援アプリケーション２０１へと渡される。この選択指示は、例えば図９のサムネイル画像９０５を直接ポインティングデバイスで選択することによっておこなわれるようにすればよい。サムネイル画像の配置と視点の関係によっては、図１１のように複数のサムネイルが重なって後ろのものが隠れてしまう場合がある。このような時の為に、ユーザーが視点を変更することができるようにしてもよい。

また、図１１のような場合には、注目サムネイルとその近傍にあるサムネイルを一覧するような表示を提供することで、ユーザーがそれらを見比べながら選別できるようにしてもよい。図１１における注目サムネイル１１０１とその近傍にあるサムネイル１１０１〜１１０６、およびそれらに隠れていた近傍サムネイルを一覧表示させた例を図１２に示す。本例では近傍サムネイルを２Ｄ配置する一覧表示層が、表示中の３Ｄ空間内の手前に置かれているように表現している。注目サムネイルは２Ｄ一覧表示上の中心１２０１に置かれ、他の近傍サムネイルは注目サムネイルとの距離の近い順に１２０２から時計廻りに並べられている。ユーザーがこれら１２０１〜１２０８の中から最終的に選択するサムネイルを選ぶと、そのサムネイルがステップＳ３１０における選択画像となる。

図１２の配置は一例であって、反時計廻りに並べたり、または円を描くように並べたりしてもよい。また近傍サムネイルの配置個数は任意であってよい。注目サムネイルと距離の近いものは、比較しやすいように上下左右の位置に優先して配置するようしにしてもよい。サムネイル同士が近傍にあることを判断する距離は、たとえば現在使用中の軸で構成された３Ｄ空間内でのユークリッド距離を用いて、あらかじめ閾値以内であることを条件とすればよい。この閾値は実際の分布や軸の性質等によって変更してもよい。またユークリッド距離以外のシティブロック距離等を用いて距離計算してもよい。更に、この２Ｄ表示を生成するときに、各々のサムネイルが元の３Ｄ位置から２Ｄ一覧表示の位置へなめらかに移動するようなアニメーション効果を用いてもよい。その際、注目サムネイルが先行して移動し、近傍サムネイルは距離の近いものほどすばやく移動するような効果を加えてもよい。その結果、２Ｄ一覧では逆にわかりにくくなる、元の３Ｄ空間上の距離をユーザーに意識づけることが可能となり、ユーザーの選択判断を補助する効果がある。

また、軸に対する操作として、軸に割り当てた属性値を反転させたり、スライドさせたり、伸縮させたりするようにしても良い。色味などの属性はどの色を手前に持ってきたいかはユーザーの好みにより異なる。そのような場合、軸の属性値を反転させたり、好みの色が手前に来るように軸の属性値をスライドさせたりするＵＩを設けユーザーが任意に操作できるようにすればよい。また、ユーザーは特定の軸の特定の部分を伸縮させることで、塊となって見難くなっている検索結果群を見やすくすることが可能となる。

図３に戻り、ステップＳ３１１では、ユーザーが画像を選択した際に使用されていたｎ軸を最終的に採用された軸とみなし、軸選択履歴テーブル管理部２１５が現検索要求および検索目的に対応するテーブル中の各軸の使用回数を更新する。具体例として、図９の検索結果表示状態でユーザーが画像を選択した場合、図４の軸選択履歴テーブルＡの検索要求「○○寺院」の項目４０２を含む行中で軸３、軸４、軸６の項目値がそれぞれ＋１される。同様に図６の検索目的「ツアー企画書」の項目６０２を含む行中で、軸３、軸４、軸６の項目値がそれぞれ＋１される。画像を選択した場合に限らず、表示されている属性の軸が適正かどうかをユーザーに判断してもらうように、確認画面を出し、適正だと判断された場合に軸選択履歴テーブルを更新しても良い。このように軸選択履歴テーブルを更新することで、後で同様の検索をおこなうユーザーに、実際にユーザーが利用した検索表示の軸の情報を反映した、信頼性の高い推奨軸を提示することが可能になる。

なお、本例では図２に示したように、文書作成支援アプリケーション２０１とデータ検索・表示システム２０３を１対として構成したが、複数の文書支援アプリケーションと１つのデータ検索・表示システムを組みあわせてもよい。また、前述の軸選択履歴テーブルは画像データベース２０２内に記憶してもよい。その場合、複数の文書支援アプリケーションとデータ検索・表示システムとの組み合わせと１つのデータベースとを組みあわせることが可能になる。そのようにすることで、多数のユーザー検索履歴が一元的にデータ検索・表示システムに蓄積されるようになり、検索結果表示の生成において、より信頼度の高い推奨軸の選択をおこなうことが可能になる。

以上説明したように、本発明のデータ検索結果の表示方法では、ユーザーの検索要求と検索目的に関する情報を受け付ける。検索要求を検索条件として画像データを検索し、検索結果を得る。続いて検索要求と軸選択履歴テーブルから算出される検索要求スコアと、検索目的と軸選択履歴テーブルから算出される検索目的スコアと、検索結果のデータ特徴量から算出される分散スコアとを検索結果の各属性に対して算出する。そしてこれらのスコアを統合した推奨度に従った属性の軸を選択することで、ユーザーの検索要求、目的（検索結果の利用用途）に合致し、かつその分布に特徴が良くあらわれる検索結果の表示が可能になる。その結果、ユーザーは多くの検索結果から所望の画像を効果的に素早く探すことが出来るようになる。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. データベースからデータを検索した結果を仮想空間に表示する情報処理装置であって、
   検索条件と検索結果の利用用途とを入力する入力手段と、
   前記検索条件に基づいてデータベースからデータを検索する検索手段と、
   前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
   前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段と、
   を備えることを特徴とする情報処理装置。
2. 前記決定手段では、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照し、採用された履歴が多い属性を軸として使用するように決定することを特徴とする請求項１記載の情報処理装置。
3. 前記決定手段では、さらに、前記属性値の分散を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項１記載の情報処理装置。
4. 前記属性値の分散が小さい属性の評価を低くすることを特徴とする請求項３記載の情報処理装置。
5. 前記決定手段では、さらに、前記属性値間の相関を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項１記載の情報処理装置。
6. 前記決定手段では、前記検索結果の表示の軸に使用する所定個数の属性を決定し、
   前記表示手段では、前記所定個数に対応した次元軸で前記検索結果を表示させることを特徴とする請求項１記載の情報処理装置。
7. 前記表示手段では、前記属性値が前記検索結果として推奨されるかどうかに基づいて前記属性値を前記軸の座標値に非線形変換して、前記検索結果を表示させることを特徴とする請求項１記載の情報処理装置。
8. 前記検索結果をユーザーが選択した回数を、前記履歴として管理することを特徴とする請求項１記載の情報処理装置。
9. データベースからデータを検索した結果を仮想空間に表示する情報処理方法であって、
   検索条件と検索結果の利用用途とを入力する入力工程と、
   前記検索条件に基づいてデータベースからデータを検索する検索工程と、
   前記検索工程での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定工程と、
   前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示工程と、
   を備えることを特徴とする情報処理方法。
10. コンピュータを、
    検索条件と検索結果の利用用途とを入力する入力手段と、
    前記検索条件に基づいてデータベースからデータを検索する検索手段と、
    前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
    前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段として機能させるためのプログラム。

Images