JP2010250359A - 擬似文書検索システム及び擬似文書検索方法 - Google Patents

Abstract

【課題】画像とテキスト情報を含む文書から目的とする画像を検索する。
【解決手段】文書中から取り出した画像から特徴量と、文書中から抽出した用語とをインデックスとして対応する画像に貼り付けることにより擬似文書を作成する。次に、画像の特徴量及び又は用語を検索クエリーとして擬似文書を検索する。この際、画像の特徴量及び又は用語に対する類似度の判定に対する重みを変更する。これにより、画像の見かけ上の類似度に対する概念軸と他の１つ又は複数の概念軸上における各類似度を尺度とした複数次元での検索を実現する。
【選択図】図２

Description

本発明は、画像（例えば図）を含む大量の文書の中から、目的の画像、目的の画像を含む又は関連のある文書、目的の画像と関連のある用語等を検索する技術に関する。

近年の科学分野の著しい発展により、論文数は指数関数的に増加している。一方、学術雑誌の発行から一定期間後に無料で公開されることから、自由に検索できる文献対象は広がりつつある。特に、医学生物学の分野ではこの傾向は強い。多くの論文は、図（画像）やテーブルを中心に記述されていることから、目的の論文を検索するためには、画像の利用は有用な手段となる可能性が高い。また、画像には、論文中に自然言語で記述されない情報も含まれており、画像が含まれる文書だけでなく、画像自身を検索したいニーズも高い。また、Web等で公開されている文書、ビジネス文書等においても同様の傾向が見られる。

一方、文献の検索に関しては、用語にインデックスを張り、文書検索を行う方法が広く使われている。なお、学術文献中の画像（図）に関しては、検索結果としてはユーザに見せないか、検索結果の文書に付随するもの全ての画像を表示する等の方法が取られている。文献検索ではなく、画像分類としては、予め決められたクラスに画像情報と画像の説明箇所又は本文情報を利用して与えられた画像を分類する方法がある。Web上にある画像の検索では、画像情報を使わずに、画像周りのテキスト情報で画像を検索する方法もあるし、一方、Atlas WISE やWebSeerなどのように、画像の特定の特徴量とテキスト情報を利用する方法もある（非特許文献１及び２参照）。また、テキスト検索した後、画像検索を行う２段階の方法もある（特許文献１参照）。画像検索としては、大量の写真からの類似写真の検索・類似写真の削除などを画像情報のみを利用して行うことが広く行われている。

Kherfi, M.L., Ziou, D. and Bernardi, A. Combining positive and negative examples in relevance feedback for content-based image retrieval J. Vis. Comm. Image Rep. 14, 4, 428-457 (2003). Frankel, C., Swain, M.J. and Athitsos, V. WebSeer: And image search engine for the World Wide Web. Tech Rep. No. 96-1. University of Chicago, Computer Science Department, Chicago, IL. Marco La Cascia, Saratendu Sethi and Stan Sclaroff, Combining Textual and Visual Cues for Content-based Image Retrieval on the World Wide Web, In IEEE Workshop on Content-based Access of Image and Video Libraries (1998). Mikolajcyk, K. and Schmid, C. An affine invariant interest point detector. In Proceedings of the 8th International Conference on Computer Vision, Vancouver, Canada. (2002) Matas, J. Chum, O.Urban, M. and Pajdla, T. Robust wide baseline stereo from maximally stable extremalregions. In BMVC pp.384-393, 2002. Lowe, D. Object Recognition from Local Scale-Invariant Features. Proc. of IEEE International Conference on Computer Vision (ICCV) pp1150-1157, 1999. Mikolajczyk, K., Schmid, C., A performance evaluation of local descriptors. Accepted by PAMI (2005). Belongie, S. Malik, J. Shape Matching and Object. Recognition Using Shape Contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24 (24), pp509-522 (2002). Mohan, A. Papageorgiou, C., Poggio, T. Example Based Object Detection in Images by Components. IEEE Transactions on pattern analysis and machine intelligence, Vol. 23, No. 4, pp349-361 (2001),

特許２００５−１０７９３１号公報

ところで、画像の説明文中に含まれる用語を用いて画像を検索する方法は、用語に関係した画像を抽出できるものの、抽出された画像量が多い場合には目的の画像に絞り込むことが難しい。一方、画像の特徴量を利用して目的の画像を見つける方法は、検索クエリーに画像を用意する必要がある。しかし、検索クエリーに画像を用意したとしても、見かけ上類似する画像を検索することはできたとしても、文脈や内容的に類似する画像を検索することはできない。

このように、目的の画像の検索自体が難しいために、現在利用可能な技術では、目的の画像を含む文書、目的の画像を的確に表す用語等を取り出すことも難しい。

なお、画像周りのテキストと画像情報を同時に利用する方法もある（非特許文献１、非特許文献２及び非特許文献３参照）。しかし、目的の画像が検索クエリーとなる画像との類似度が低いが内容との類似度は高い、又は画像との類似度が高いが内容との類似度は低い等のように、内容の類似度と画像の類似度がある一定の関係を有する画像の検出を目的とする場合、目的の画像を得ることは難しい。

なぜなら、今まで提案されている手法のほとんどでは、類似度を複数次元で扱うという観点がないためである。言うならば、今までの手法には、画像の類似度と内容的な類似度との２つの概念に分ける考えがない。このため、画像の類似度ならば類似画像の周りでしか検索を優先せず、内容的な類似度ならばテキスト情報の周りでしか検索を優先せず、又は、最初に与えた画像とキーワードに類似の周りでしか検索を優先しないためである。

また、特許文献１には、まずテキストを検索キーに使用して１回目の検索を実行し、その結果得られた画像の特徴量を利用して２回目の検索を実行する手法が開示されている。しかし、この２段階方式の場合には、検索キーをテキスト領域に含まない画像を抽出できない。従って、この２段階方式は、検索キーに関連のある画像の多くを落とすことがあり、検索キーとしてのテキストと適度に関係がある画像や検索キーとしての画像に適度に関係する画像を検索することが難しい。

そこで、本発明では、文書中から抽出した画像の特徴量と文書中から抽出した用語とをインデックスとして対応する画像に貼り付けて擬似文書を作成し、画像の特徴量及び又は用語を検索クエリーとして用いて擬似文書を検索する手法を提案する。この際、画像の特徴量及び又は用語に対する類似度の判定に対する重みを変更することにより、画像の見かけ上の類似度に対する概念軸と他の１つ又は複数の概念軸における各類似度を尺度として使用する複数次元上での検索を実現する。

本発明の場合には、画像の見かけ上の類似性とその他の１つ又は複数の類似性とによって規定される複数次元上の任意の領域を検索範囲として検索動作を実行することができる。例えば、検索クエリーとの見かけ上の類似度が低いが内容との類似度が高い画像、検索クエリーとの見かけ上の類似度が高いが内容との類似度が低い等の複雑な条件による検索を実現できる。

形態例に係るシステムの概略構成を示す図である。 形態例に係るシステムにおける処理手順の概要を説明する図である。 形態例に係るシステムにおけるその他の処理手順を説明する図である。 画像から擬似単語（擬似ベクトル）を作成する処理の流れを説明する図である。 画像情報の特徴量と画像の説明文とをインデックスとして貼り付けた画像（擬似文書）を説明する図である。 画像情報の特徴量と、画像の説明文と、画像の説明文（例えば図脚注）以外のテキスト情報（例えば背景ドット部分等の補助情報）とをインデックスとして貼り付けた画像（擬似文書）を説明する図である。 画像情報の擬似単語と画像の説明文とをインデックスとして貼り付けた画像（擬似文書）を説明する図である。 画像情報の擬似単語と、画像の説明文と、画像の説明文以外のテキスト情報（例えば背景ドット部分等の補助情報）とをインデックスとして貼り付けた画像（擬似文書）を説明する図である。 検索クエリーが画像である場合に、説明文と画像を利用して目的画像を検索する例を説明する図である。 検索クエリーが用語である場合に、説明文と画像を利用して目的画像を検索する例を説明する図である。 検索クエリーが用語と画像である場合に、ユーザがインタラクティブに選択した用語と画像を利用して目的画像等を検索する例を説明する図である。 検索クエリーが用語と画像である場合に、ユーザがインタラクティブに選択した画像を利用して目的画像等を検索する例を説明する図である。 ２つの概念軸で規定される座標空間と検索結果に特徴的な用語の一覧とで構成される検索結果画面の表示例を示す図である。 図１０−１で表示された検索結果画面に対するユーザの選択操作を説明する図である。 図１０−２でユーザが選択した用語と画像を検索クエリーに用いた検索結果画面の表示例を示す図である。 図１０−３でユーザが選択した画像の見かけの類似度と内容の類似度の比に基づいて、検索クエリーの画像と用語のインデックスの比を変えて検索を実行した場合における検索結果画面の表示例を示す図である。 用語と画像に加え、対応する文書も同時に表示される検索結果画面の表示例とユーザ操作の補助機能を説明する図である。 ３つの概念軸で規定される座標空間の表示例と選択された座標点に対応する画像のポップアップ表示機能を説明する図である。

以下、本発明に係る形態例を図面に基づいて詳細に説明する。ただし、本発明の内容は、以下の形態例に限定されるものではない。

（１）システム構成
図１に、画像、用語及び文書間を横断的に検索するシステム（本明細書では「擬似文書検索システム」ともいう。）を示す。擬似文書検索システムは、文書（画像を含む文書）を格納するストレージ１０１と、前処理１０２によって生成された擬似文書（特徴量と文書から抽出された用語等をインデックスとして貼り付けた画像）を格納するストレージ１０３と、ストレージ１０１、１０３に対して所定の処理を実行する計算処理装置１０４とで構成される。

この形態例の場合、ストレージ１０１及び１０３の両方又は一方は、計算処理装置１０４と同一の筐体内に格納される場合だけでなく、インターネットやネットワークを通じて計算処理装置１０４に接続されている場合も含まれる。例えばインターネット上に存在する文書を検索対象とする場合、少なくともストレージ１０１は、インターネット上に存在している。

また、計算処理装置１０４に対するユーザの指示入力（例えば検索クエリーの入力処理１０５、選択処理１０７等）と、検索結果画面を含む操作画面の提示（例えば最終解の提示処理１０６）は、不図示のユーザインターフェースを通じて実現されるものとする。例えばマウス、キーボード、ポインティングデバイス、ディスプレイ装置等を通じて実現される。なお、計算処理装置１０４を通じて提供される各種の処理機能は、コンピュータ上でのプログラムの実行を通じて実現される。もっとも、処理機能の一部は、複数のコンピュータによって分散的に実行しても良い。

（２）処理手順の概要
図２及び図３に、擬似文書検索システムで実行される処理機能の概要を説明する。具体的には、前処理１０２と画像、用語、文書の横断検索処理について説明する。これらの処理は、いずれも計算処理装置１０４の処理動作を通じて提供される。

前処理１０２は、ストレージ１０１に格納された文書を対象として実行される。この形態例の場合、前処理１０２は、基本的に３つの処理ステップ２０２、２０３及び２０４で構成される。処理ステップ２０２は、ストレージ１０１に格納されている文書の用語を認識し、各用語が、画像の脚注か否か、本文中にある画像の説明文か否か、構造化情報か否か等の情報と共に、本文から概念（用語）を認識する処理ステップである。処理ステップ２０３は、文書から特徴量を抽出する処理ステップである。処理ステップ２０４は、抽出された用語と特徴量をインデックスとして画像に貼り付けて擬似文書を生成する処理ステップである。

画像、用語、文書の横断検索処理には、例えば図２に示す手順と図３に示す手順の２種類がある。いずれの手順も、検索クエリーの入力処理１０５を通じて開始される。まず、処理ステップ２０６では、画像と用語の２つの概念軸のうちどちらかの概念軸を優先するように、画像と用語のインデックスの重みを変えて検索クエリーとの類似度を計算する。次の処理ステップ２０７では、検索クエリーを与える２つの概念軸に対する検索結果を中間解として液晶パネル等のディスプレイパネル上に表示する。例えば各概念軸に対する類似度を座標に使用して２つの概念軸で規定される座標空間上に代表的な画像をマッピングした形式により表示される。この際、必要に応じて用語も提示される。

この後、ユーザは、中間解として提示された画像や用語等に基づいて、目的画像の抽出に使用する画像と用語のインデックスの重みを直接変更する（１０７）。この後、前述した処理ステップ２０６による再度の検索処理が繰り返し実行される。なお、目的画像が得られた場合には、その画像が最終解としてユーザに提示される（１０６）。

なお、図３に示す手順では、中間解に対するユーザの選択指示の方法が、図２に示す手順と異なり、座標空間上の画像や用語に対する選択等を通じて、ユーザによる画像や用語等の選択が行われる。計算処理部１０４は、選択された画像や用語が有する情報に基づいてインデックスの重みを変更し、新たに検索クエリーとの類似度を計算する。

なお、画像の特徴量を量子化すると擬似単語のように扱うことができる。このため、画像の特徴量に変えて量子化値を用いれば、用語の場合と同一のインデックスを利用できる利点がある。

また、概念軸となるものには、例えば内容の類似度と画像の類似度、生物学機能用語の類似度と画像の類似度、疾患関連（疾患名、症状など）類似度と画像の類似度、遺伝子名称の類似度と画像の類似度等、異なる二つの概念ならば何でも良い。また、画像の類似度、生物学機能用語の類似度、疾患関連用語類似度など３つの概念軸を利用することもできる。

画像以外の類似度の計算には、例えばｔｆ（Term Frequency）−ｉｄｆ（Inverse Document Frequency）（すなわち、単語の出現頻度−逆出現頻度に基づく検索アルゴリズム）を使用し、検索クエリーと画像のテキスト情報との類似度を計算する。例えば用語の検索クエリーを利用して、ｔｆ−ｉｄｆを用いた類似文書検索を実行すれば、それらの類似文書群での特徴語をｔｆ−ｉｄｆを用いて取り出すことができる。また、生物学機能用語、疾患関連用語等は、別途、辞書やシソーラスを利用して規定することができる。

画像の特徴量の計算の仕方は様々である。図４に一つの例を示す。図４（ａ）は元の画像４０１であり、図４（ｂ）はこれに含まれる特徴点４０２の認識画像例である。図４（ｃ）は特徴点４０２から計算した特徴量４０３の一覧である。図４（ｄ）は特徴量を量子化した値（量子化値）４０４の一覧である。この量子化値４０４は、擬似単語として使用される。図４（ｅ）は特徴点４０２の認識処理を経ることなく、edge direction やgray levelのヒストグラムの計算値を画像の特徴量４０５とする例である。

画像の特徴点の認識方法には様々な方法がある。例えばHarris-affine （非特許文献４）、Maximum stable extremal Regions detector (MSER) （非特許文献５）、Hessian-affine（非特許文献４）等の方法がある。また、特徴点に関する特徴量の計算には、SIFT（Scale-invariant feature transform）（非特許文献６）、GLOH(extended SIFT) （非特許文献７）、shape context（非特許文献８）、HOG (histogram oriented gradient) (非特許文献９) 等、様々な方法を使用できる。また、特徴点を検出せずに画像をグリッド（Grid）に切り、各グリッドの特徴量を上記の方法等を用いて計算しても良い。特徴量を量子化する方法には、k-means クラスタリング等がある。 K-meansの場合は、何個のクラスタリングが最も精度が高くなるか、予めテストセットを用いて調べておく必要がある。

図５に、抽出された用語と特徴量とをインデックスとして画像に貼り付けることにより生成される擬似文書の例を示す。図５−１は、左側が図脚注の用語頻度情報５０１、右側が画像の特徴量の値５０２で構成される擬似文書例である。図５−２は、左側が図脚注の用語頻度情報５０１、真ん中が図脚注以外のテキスト情報の用語頻度情報５０３、右側が画像の特徴量５０２で構成される擬似文書例である。図５−３は、画像の特徴量を量子化した場合の例であり、左側が図脚注の用語頻度情報５０１、右側が画像から計算した擬似単語についての頻度情報５０２で構成される擬似文書例である。図５−４も、画像の特徴量を量子化した場合の例であり、左側が図脚注の用語頻度情報５０１、真ん中が図脚注以外のテキスト情報の用語頻度情報５０３、右側が画像から計算した擬似単語の頻度情報の値５０２で構成される擬似文書例である。

（３）形態例１
次に、前述したシステム構成と処理手順を応用した一つ目の形態例を説明する。図６に示す形態例は、与えられる１つの概念軸を内容の類似度とし、画像の類似度と内容の類似度をインデックスの重みを調節することによって目的画像を検索する例に対応する。なお、前提としての前処理１０２は既に完了しており、ストレージ１０３にはインデックス化された擬似文書が格納されているものとする。

この形態例の場合、検索クエリー（６０１）には画像を使用する。画像、用語、文書の横断検索処理は、検索クエリーとして与えられた画像の特徴量に基づいてストレージ１０３に格納されている擬似文書を類似検索する（６０２）。この検索結果６０３が、中間解としてディスプレイパネル上に表示される。ユーザは、検索結果６０３に基づいて各軸に対する重みの変更を入力する。例えばユーザが画像の類似度を下げて内容的な類似度を上げるように指示入力した場合、計算処理装置１０４は、テキスト情報のインデックスの重みを増して類似する画像と文書の検索を再度実行する（６０４）。一方、例えばユーザが画像の類似度を上げて内容的な類似度を下げるように指示入力した場合、計算処理装置１０４は、画像情報のインデックスの重みを増して類似する画像と文書の検索を再度実行する（６０４）。

ここでのテキスト情報の類似性は、前述したように、ｔｆ−ｉｄｆ等の類似文書検索の重みを使うことができる。また、画像情報の類似性は、特徴量ベクトルの類似性で計算することができる。この際、特徴量のベクトル要素毎に必要に応じて重みを変えることもできる。

この検索では、テキストについてインデックスの重みを下げた場合、類似度が低い画像まで検索（検索範囲の膨張）を実行することができ、画像についてのインデックスの重みを上げた場合、類似度が高い画像に絞って検索（検索範囲の絞込）を実行することができる。例えば、最初の検索実行時に抽出された検索クエリー画像が目的とする画像よりも遠い場合は、類似画像検索だけ行っていても目的の画像は検索されてこない。このような場合は、画像の類似度の縛りを下げて、テキスト情報の類似度を強めることにより、目的画像の候補の検索範囲を広げる必要がある。

なお、既存のテキスト検索では画像の類似度を扱うことができない。また、既存の画像検索では目的の画像を得ることができない。また、画像と与えるテキスト情報の関連性をフィードバックする手法（relevance feedback）の場合は、最初のうちに類似度がそれなりに高い画像がヒットしない限り、フィードバックの効果が得られない。また、一般的な関連性フィードバック手法（relevance feedback）では、画像の類似度と内容の類似度という概念がそもそも存在しない。従って、均等に重みをつけることになる。結果的に、内容の類似度が高く画像の類似度が低い等の画像検索が困難である。

これに対し、形態例１に係る擬似文書検索システムの場合には、検索クエリー画像に対して内容の類似度が高いが画像の類似度が低い等の相反的な関係がある目的画像についても、効果的に検索することができる。更に、形態例１に係る擬似文書検索システムの場合には、必要に応じて目的画像を検索した後に、本画像を含む元の文献を検索することもできる。

（４）形態例２
続いて、前述したシステム構成と処理手順を応用した二つ目の形態例を説明する。図７に示す形態例の場合も、与えられる１つの概念軸を内容の類似度とし、画像の類似度と内容の類似度をインデックスの重みを調節することによって目的画像を検索する例に対応する。

この形態例の場合、検索クエリー（７０１）には与えられた用語（テキスト）を使用する。画像、用語、文書の横断検索処理は、検索クエリーとして与えられた用語に基づいて擬似文書を類似検索する（７０２）。この検索結果（７０３）に当たる擬似文書が、中間解としてディスプレイパネル上に表示される。ユーザは、検索結果（７０３）として提示された擬似文書（画像とそのテキスト情報）に基づいて各軸に対する重みの変更を入力する。例えばユーザが画像の類似度を下げて内容的な類似度を上げるように指示入力した場合、計算処理装置１０４は、テキスト情報のインデックスの重みを増して類似する画像と文書の検索を再度実行する（７０４）。一方、例えばユーザが画像の類似度を上げて内容的な類似度を下げるように指示入力した場合、計算処理装置１０４は、画像情報のインデックスの重みを増して類似する画像と文書の検索を再度実行する（７０４）。

ここでのインデックスの重みの調整はユーザが実行しても良いし、ある程度、検索クエリーに制限をかける場合は、その検索クエリーがヒットした文書の特徴語となるようなインデックスの重みに自動的に調整するようにしても良い。

この形態例２に係る擬似文書検索システムの場合には、前述した特許文献１とは異なり、検索クエリーそのものが文書中になくとも関連のあるものを検索でき、かつ、内容の類似度と画像の類似度が適度なバランスである領域についても容易に検索することができる。

（５）形態例３
続いて、前述したシステム構成と処理手順を応用した三つ目の形態例を説明する。図８に示す形態例の場合、与えられる１つの概念軸を生物学的機能に関する内容の類似度とし、画像の類似度と生物学的機能に関する内容の類似度に対応するインデックスの重みをユーザがインタラクティブに調節することにより、目的の画像を検索する例に対応する。

この形態例の場合、生物学的機能に関する内容の類似度とは、画像を説明するテキスト情報中の生物学的機能に関する用語の類似度を示すものとする。図中の“ＷＯＲＤ”は生物学的機能用語を示す。

この形態例の場合、検索クエリー（８０１）はＷＯＲＤと画像で構成され、これらＷＯＲＤと画像に基づいて類似画像と類似文書の検索が実行される（８０２）。なお、図中、検索クエリーに対応する枠内の画像と用語は、それぞれ検索クエリーを構成する画像と用語を示している。

この形態例の場合、検索クエリー（８０１）、（８０３）には、画像又はテキスト情報に対応するインデックスの重み（８０５）を指定できる表示欄が設けられている。なお、検索クエリーを構成する画像と用語の一部だけを選択的に使用することもできる。図８では、選択状態にある画像又は用語に対応するチェックボックスを黒塗りで示し、非選択状態にある画像又は用語に対応するチェックボックスを白抜きで示す。

ところで、ユーザが、検索クエリー（８０１）を与える画像が既に目的画像に内容的にも画像的にも類似すると判断した場合には、画像に対応するインデックスの重み（８０５）を高く設定することにより、幅広く画像を検索することができる（８０４）。

これに対し、検索クエリー（８０１）として与える画像が目的画像に画像的に類似していないとユーザが判断した場合、テキスト情報に対応するインデックスの重み（８０５）を重くして検索を実行する（８０４）。

また、インデックスの重み（８０５）をユーザが指定するのでなく、検索クエリー（８０１）、（８０３）におけるＷＯＲＤの選択と画像の選択を、必須、選択、非選択の３段階に分け、例えばＷＯＲＤに必須が入ると、重みとは関係なく、必ずそのＷＯＲＤが対応するテキスト情報に入る画像のみを取り出し、画像に必須が入ると、その画像に対応するインデックスの重みを他のインデックスの重みよりも数倍高くするなど、インデックスの重みを自動的に調節する機能を採用することもできる。

（６）形態例４
続いて、前述したシステム構成と処理手順を応用した四つ目の形態例を説明する。図９に示す形態例は、与えられる１つの概念軸を疾患に関する内容の類似度とし、画像の類似度と疾患に関する内容の類似度に対するインデックスの重みをユーザがインタラクティブに調節することにより、目的の画像を検索する例に対応する。

この形態例の場合、疾患に関する内容の類似度とは、画像を説明するテキスト情報中の疾患に関する用語の類似度を示すものとする。

この形態例の場合も、検索クエリー（９０１）は、ＷＯＲＤと画像で構成され、これらＷＯＲＤと画像に基づいて類似画像と類似文書の検索が実行される（９０２）。なお、図中の“ＷＯＲＤ”は疾患に関する用語を示す。

この形態例の場合、検索クエリー（９０１）として指定されたテキストのインデックスと画像のインデックスの比を与える重み（９０５）を指定できる表示欄が設けられている。この場合も、検索クエリーを構成する画像と用語の一部だけを選択的に使用することもできる。図９では、選択状態にある画像又は用語に対応するチェックボックスを黒塗りで示し、非選択状態にある画像又は用語に対応するチェックボックスを白抜きで示す。

この形態例の場合に、検索クエリー（９０３）に対するユーザの選択指示は、画像に対してのみ実行され、選択された画像に基づいて検索が繰り返される（９０４）。もっとも、この形態例の場合、検索クエリーを構成するＷＯＲＤは最初に与えられたＷＯＲＤに固定されている。従って、最初に与えられたＷＯＲＤと選択された画像について再度の検索処理が実行される。

この形態例の場合、ユーザは検索結果として提示された画像が目的の画像から遠い場合、画像のインデックスの重みを低くし、近づいてきたら画像のインデックスの重みを高くするように調整操作を実行する。この調整操作により、目的の画像を効率的に検索することができる。

（７）操作画面例
続いて、前述した形態例を適用した場合における検索結果の具体的な表示例を示す。なお、以下の説明では、検索クエリーが画像と用語で与えられる場合について説明する。なお、この形態例の場合には、検索クエリーに用語を入れているが用語を入れない場合も考えられる。

図１０−１は、中間解に対応する検索結果の表示画面例である。図に示すように、検索クエリー１００１は、用語（例えばGene A, Gene C, apoptosis, Pathway…）と画像（例えばツリー構造図）によって与えられるものとする。前述したように、形態例に係る擬似文書検索システムでは擬似文書に対して検索クエリーを適用し、画像の見かけ上の類似度と内容の類似度をそれぞれ計算する。擬似文書検索システムは、この計算結果のうち代表的な画像を２つの概念軸で与えられる空間上に各類似度に応じて代表画像をマッピングした類似度マップ（１００３）と、用語欄（１００２）とで構成される検索結果画面（１００４）をディスプレイ装置の画面上に表示する。因みに、類似度マップ（１００３）の縦軸は画像の見かけ上の類似度であり、横軸は内容の類似度である。また、用語欄（１００２）には、検索クエリーの用語に基づいて擬似文書を検索したときの特徴語が表示される。この特徴語は、検索クエリーを構成する用語でも良いし、類似度が高いと判定された擬似文書の集合に多く出現する用語でも良い。

また、検索結果画面（１００４）には、各軸に対応する類似度の表示範囲を与えるパラメータ（１０１０）が表示される。このパラメータ（１０１０）の数値を変更することにより、ある類似度についての表示解像度を上げる調整や、解像度を下げて全体像を表示させる調整が可能になる。

図１０−１の場合、原点付近に近いほど検索クエリーに近い画像であることを表している。また、図１０−１の場合、縦軸方向のパラメータ（１００９）の変化幅が横軸方向のパラメータ（１０１０）の変化幅より大きく定められている。従って、縦軸方向についての表示解像度を横軸方向に対して相対的に下げているとも言える。

ユーザは、用語欄（１００２）に表示された用語の中から特定の用語を選択することにより、検索クエリーの内容を変更することができる。この他、検索結果画面（１００４）には、検索の実行を指示入力するための検索ボタン（１００６）も表示される。

図１０−２に、ユーザによる操作入力を受け付けた後の検索結果画面（１００５）の表示例を示す。例えば図１０−２の場合、用語欄（１００２）に示す６個の用語のうち１つ（Gene E）だけが非選択状態になった状態を示している。また、ユーザは、必要に応じて用語を追加することができる。図１０−２の場合、用語欄（１００２）に、ユーザにより追加された用語（Gene F）（１００７）が表示されている。

また、ユーザは、類似度マップ（１００３）内から目的の画像に近いものを選び、又は、目的の画像がありそうな２つの概念軸のバランス点付近の画像を選び再度検索をすることもできる。図１０−２の場合、ユーザにより選択された画像を実線で囲んで示している。なお、ユーザは、複数の画像を選択することもできる。

この再検索結果の表示には、ユーザによって新たに選択された画像と用語に基づいて新たな検索クエリーを作成して検索をやり直した検索結果画面（１００８）を表示する方法（図１０−３）と、検索クエリーはそのままで選択した画像の見かけの類似度と内容の類似度との比に基づいて、画像のインデックスとテキスト情報のインデックスの比を変更し、新たなその比に基づいて検索した検索結果画面（１００９）を表示する方法（図１０−４）を選択的に利用することができる（１０１１）。

このユーザによる選択操作（１０１１）は、前述した例のように、１つの画像と１つの用語を選択（追加を含む。）する場合だけでなく、複数の画像と複数の用語を選択する場合も含まれる。

また、この検索結果の表示画面（次回の検索条件の入力画面としても用いられる）には、ユーザの選択操作を補助する表示手法を採用することができる。図１０−５に一例を表示する。なお、図１０−５は、図１０−３に示す検索結果画面（１００８）に対応する。図１０−５に示すように、特定の用語の選択時（１０１２）に、対応する文書を同じ画面上に別欄として文書欄（１０１３）を表示する表示態様を採用することもできる。また、特定の用語の選択時（１０１２）に、擬似文書中にその用語が現れる画像の枠や文書のタイトルをハイライト表示する表示形態を採用することができる（１０１４）、（１０１５）。この反対に、特定の画像が選択されると、対応する擬似文書中に現れる用語や文書がハイライト表示される表示形態を採用することもできる（１０１６）。

また、図１０−６に示すように、２次元（２軸表示）ではなくて３次元（３軸表示）によって類似度マップ（１０１７）を表示する表示態様を採用することもできる。勿論、表示時には、各概念軸についての類似度が反映された位置に検索結果や検索結果を代表する画像を表示する。もっとも、図１０−６に示すように、初期画面では、３次元上における画像の類似度のみが分かるように画像の対応位置にプロット(１０１８)を表示し、マウスを重ねると画像がポップアップするような表示形態を採用しても良い（１０１９）。因みに、図１０−６は、縦軸を画像の類似度、横軸を疾患分野での類似度、第３の軸を生物学機能での類似度を採用する場合の表示画面例である。

（８）比較例
なお、従来の用語ベースによる検索手法を利用して、特定の遺伝子を含むpathwayのhand writingのモデル画像（図）を検索する場合、pathwayと遺伝子名称を検索クエリーとして指定入力する。ただし、検索クエリーの条件がこれだけの場合、pathway以外の図も多く含まれるし、遺伝子名称が本文中には記述されていなくとも図に入っている場合はそのpathwayの図は検索されない。たまたま良い検索クエリーが入力された場合には、目的の画像を検索できることもあるが、最良の検索クエリーをユーザが事前に知ることは難しい。

また、画像情報ベースの手法を利用すると、欲しい画像の類似画像を検索クエリーとする必要があるが、pathwayの図はhand writingのものが多く、画像としての類似度とすると、必ずしも類似度が高くない。

また、特定の遺伝子に関する情報は文字認識する必要があり、論文中の図のように文字と背景に重なりが大きいものについては文字認識の精度が低く、目的の図を検索することは困難である。

また、テキスト情報と画像情報をそのまま検索インデックスとして利用してrelevanceフィードバックを行う方法は、ある程度上位に自分の目的としている画像に近いものがランクされていないとその効果は低い。例えば、図１０−１〜図１０−５の各例の場合、対角線上の検索は得意だが、右下、左上などの検索は難しい。

このように、従来手法は、限定的な条件でしか有効な検索動作を実行できない。

（９）まとめ
以上の通り、形態例に係る擬似文書検索システムを採用することにより、複数軸のそれぞれについて類似度を自在に調整しながら目的の画像、目的の画像を含む文書、目的の画像に関連する文書、画像、用語、目的の文書に関連する画像、目的の用語に関連する画像等を検索することができる。例えば画像に対する類似度の重みを強めて見かけ上の画像の類似度を上げる一方で、テキスト情報の用語の重みを弱めて内容的な類似度を下げたり、その反対に画像に対する類似度の重みを弱めて見かけ上の画像の類似を下げる一方で、テキスト情報の用語の重みを強めて内容的な類似度を上げたりすることができる。

また、この調整は、各概念軸の重みを独立に変更することによっても実行できるし、各軸に対する重み付けの比を変更することにより、すなわちどの概念軸にどの程度重みをおくかを変更することによっても実行できる。

また、この調整は、ユーザの操作入力に応じてインデックスの重みを直接的に調整する場合だけでなく、予め定めた規則に基づいて自動的に実行することもできる。

なお、中間解を表示した画面上でユーザが１つ又は複数の画像又は用語を選択した場合には、選択された画像や用語を次回の検索クエリーとして用いることができる。また、この際、選択された画像や用語を検索クエリーの変更には使用せず、概念の重み付けを変更するのに使用することができる。これらによって、効率良く目的の画像等を検索することができる。

１０１…ストレージ、１０２…前処理、１０３…ストレージ、１０４…計算処理装置、１０５…検索クエリーの入力処理、１０６…最終解の提示処理、１０７…中間解に対する選択処理、２０２…文中から用語を抽出する処理、２０３…画像の特徴量を抽出する処理、２０４…画像の特徴量と用語をインデックスとして各画像に張り付けて擬似画像を生成する処理、２０６…ユーザによって選択された画像と用語等に基づいた再度の検索処理、２０７…中間解を提示する処理、４０１…元の画像、４０２…特徴点、４０３…特徴量、４０４…量子化値（擬似単語）、４０５…特徴量、５０１…用語頻度情報、５０２…特徴量、５０３…用語頻度情報、６０１…検索クエリー（画像）、６０２…類似検索、６０３…検索結果、６０４…類似検索、７０１…検索クエリー（用語）、７０２…類似検索、７０３…検索結果、７０４…類似検索、８０１…検索クエリー（用語と画像）、８０２…類似検索、８０３…検索クエリー（用語と画像）、８０４…類似検索、８０５…インデックスの重み、９０１…検索クエリー（用語と画像）、９０２…類似検索、９０３…検索クエリー（用語と画像）、９０４…類似検索、１００１…検索クエリー（用語と画像）、１００２…用語欄、１００３…類似度マップ、１００４…検索結果画面、１００５…検索結果画面（ユーザ操作入力後）、１００６…検索ボタン、１００７…ユーザが追加した用語、１００８…検索結果画面、１００９…検索結果画面、１０１０…表示範囲を与えるパラメータ、１０１１…検索クエリーの生成方法の選択、１０１２…用語の選択、１０１３…用語の選択に対応して表示される文書欄、１０１４、１０１５…用語の選択に対応して表示されるハイライト表示、１０１６…画像の選択に対応して表示される用語のハイライト表示、１０１７…類似度マップ、１０１８…プロット、１０１９…プロットが選択された場合のポップアップ表示。

Claims (9)

1. 画像とテキスト情報を含む文書から各画像の特徴量を取り出す手段と、
   各画像の説明箇所についての用語を前記文書から抽出する手段と、
   前記画像の特徴量と前記用語をインデックスとして対応する各画像に貼り付け、擬似文書を生成する手段と、
   画像及び又は用語を検索クエリーとして入力する手段と、
   前記検索クエリーを用いて前記擬似文書を検索する際、検索に使用する画像との類似度の判定に対する重みと検索に使用する用語との類似度の判定に対する重みをそれぞれ可変的に設定し、画像の見かけ上の類似度に対する概念軸と他の１つ又は複数の概念軸上における各類似度を尺度として、検索の目的に近い画像又は当該画像を含む文書を検索する手段と
   を有することを特徴とする擬似文書検索システム。
2. 画像とテキスト情報を含む文書から各画像の特徴量を取り出す手段と、
   各画像の説明箇所についての用語を前記文書から抽出する手段と、
   前記画像の特徴量と前記用語をインデックスとして対応する各画像に貼り付け、擬似文書を生成する手段と、
   画像及び又は用語を検索クエリーとして入力する手段と、
   前記検索クエリーを用いて前記擬似文書を検索する手段と、
   前記検索クエリーと各擬似文書との類似度を、画像の見かけ上の類似度に対する概念軸と他の１つ又は複数の概念軸によって規定される座標空間上における座標点への画像又はプロットの表示を通じて提示する手段と
   を有することを特徴とする擬似文書検索システム。
3. 前記検索クエリーと関連性の高い用語を画面上に表示する手段を更に有する
   ことを特徴とする請求項２に記載の擬似文書検索システム。
4. 前記座標空間上の座標点及び又は前記関連性の高い用語に対するユーザの選択を受け付ける手段と、
   ユーザが選択した座標点に関連付けられている擬似文書の特徴量及び用語並びにユーザが選択した前記用語のいずれか一つ又は組み合わせに基づいて検索クエリーを新たに生成し、当該検索クエリーを用いて前記擬似文書を検索する手段と
   を有することを特徴とする請求項３に記載の擬似文書検索システム。
5. ユーザが選択した座標点に関連付けられている擬似文書の特徴量及び用語並びにユーザが選択した前記用語に対応する各インデックスに対する重みをユーザの操作に応じて変更し、又は、ユーザが選択した座標点に関連付けられている擬似文書の特徴量及び用語並びにユーザが選択した前記用語に対応する各インデックスに対する重みを自動的に変更する
   ことを特徴とする請求項４に記載の擬似文書検索システム。
6. 前記検索クエリーと関連性の高い画像が含まれる文書のタイトル情報又は画像の説明文を画面上に表示する手段と、
   前記座標空間上の座標点、前記関連性の高い用語、前記検索クエリーと関連性の高い画像が含まれる文書のタイトル情報若しくは前記説明文のいずれか一つ又は組み合わせに対するユーザの選択を受け付ける手段と、
   ユーザの選択に基づいて検索クエリーを新たに生成し、当該検索クエリーを用いて前記擬似文書を検索する手段と
   を有することを特徴とする請求項３又は４に記載の擬似文書検索システム。
7. 前記他の１つ又は複数の概念軸のうち少なくとも１つの概念軸が、意味内容上の類似度を与える概念軸である
   ことを特徴とする請求項１〜６のいずれか１項に記載の擬似文書検索システム。
8. 画像が含まれる文書のうち画像の説明箇所以外の領域の用語と当該文書の構造化情報とを、当該画像に対応する補足文書として取り扱う
   ことを特徴とする請求項１〜７のいずれか１項に記載の擬似文書検索システム。
9. 各画像の特徴量を量子化して擬似単語を生成する手段と、
   生成された擬似単語と前記用語に対応するインデックスの重み付けを変更する手段と
   を更に有することを特徴とする請求項１〜８のいずれか１項に記載の擬似文書検索システム。

Images