JP2011145796A - 検索キー情報生成支援装置及び検索キー情報生成支援プログラム - Google Patents

Abstract

【課題】検索者による記憶に基づいた検索キー情報の生成を容易に行えるようにする。
【解決手段】文書画像から抽出したオブジェクト画像に対して階層的にクラスタリングを行うことでオブジェクト画像の階層関係を定義したオブジェクト画像階層化情報を生成する階層的クラスタリング部２４と、オブジェクト画像階層化情報に基づいてオブジェクト画像をテンプレート画像として、スライダによる絞り込み可能に表示すると共に、ユーザに選択されたオブジェクト画像を階層紙面上に貼り付けることによって検索キー情報を生成する検索キー情報生成部２５とを有する。
【選択図】図１

Description

本発明は、検索キー情報生成支援装置及び検索キー情報生成支援プログラムに関する。

特許文献１には、初めに簡単なカテゴリ選択などによって、目的の文書と大まかな体裁が類似した模範文書画像を生成し、その画像特徴情報を取得し、この画像特徴情報を利用してデータベースを検索する技術が開示されている。

特許文献２には、予め検索対象の画像から抽出したオブジェクトを格納したオブジェクト格納部から、ユーザーに指定された検索領域に含まれるオブジェクト集合を検索し，そのオブジェクト集合を検索キーに選択し、選択された検索キーを用いて類似画像の検索を行う技術が開示されている。

特許文献３には、ページ画像情報から図表の領域を抽出して図表の配置を分類し、配置分類を対応するページ画像情報と関連づけて保存し、ページ画像情報の検索時には、検索したいページ画像情報に含まれている図表の配置を矩形として入力し、矩形がどの配置分類にあてはまるかを調べ、その配置分類と同じ配置分類に関連づけられて保存されたページ画像情報を検索する技術が開示されている。

特許文献４には、文書画像から抽出された領域の属性（領域の位置、大きさ、形状など）を識別し、領域の属性情報を基に文書の論理構造を解析し、オブジュクトを抽出し、抽出された各オブジュクトと格納部内の各オブジュクトとの類似度を求め、対象画像を検索する技術が開示されている。

特開平９−２３７２８２号公報 特開２０００−２０７４２０号公報 特開２００２−１８３１６６号公報 特開２００８−１８１４６０号公報

本発明は、検索キー情報の生成に、入力された文書画像から抽出された要素画像またはその種類を識別する記号表現画像を用いない場合に比較して、検索者の記憶に基づいてより適切な検索キー情報の生成を実行させることを目的とする。

本発明に係る検索キー情報生成支援装置は、入力された文書画像から１又は複数の要素画像を抽出する抽出手段と、前記抽出手段により抽出された要素画像またはその種類を識別する記号表現画像を、文書画像を検索する際に用いる検索キー情報の生成のためのテンプレート画像として表示する表示手段と、表示されたテンプレート画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成する検索キー情報生成手段と、を有することを特徴とする。

また、前記抽出手段により抽出された要素画像の種類、特徴量及び文書画像上における描画領域を特定する情報を含む要素画像情報を生成する要素画像情報生成手段と、前記要素画像情報を参照することによって、要素画像の種類毎に、当該種類に該当する各要素画像の特徴量に基づいて類似性のある要素画像を集団化する集団化処理および集団を代表する代表要素画像の決定を繰り返し行い、その集団化処理を行う度に階層を順次形成することによって、当該種類に該当する要素画像の階層関係を示す要素画像階層化情報を生成する集合化処理手段と、を有し、前記表示手段は、ユーザにより選択された階層に該当する前記代表要素画像を特定し、表示することを特徴とする。

また、前記代表要素画像は、集団に含まれる複数の要素画像の特徴量の平均に最も近い特徴量を有する要素画像であることを特徴とする。

また、文書画像に含まれうる要素画像の種類の階層関係が定義された種類階層化情報を取得する取得手段を有し、前記表示手段は、ユーザにより選択された階層に該当する要素画像の種類を特定し、その特定した要素画像の種類を識別する記号表現画像を表示し、
前記検索キー情報生成手段は、表示された記号表現画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成することを特徴とする。

また、文書画像に含まれうる要素画像の種類の階層関係が定義された種類階層化情報を取得する手段を有し、前記表示手段は、ユーザにより要素画像の種類のいずれかの階層が選択された場合にはその選択された階層に該当する要素画像の種類を識別する記号表現画像を表示し、要素画像のいずれかの階層が選択された場合にはその選択された階層に該当する要素画像を表示し、前記検索キー情報生成手段は、表示された画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成することを特徴とする。

本発明に係る検索キー情報生成支援プログラムは、コンピュータを、入力された文書画像から１又は複数の要素画像を抽出する抽出手段、前記抽出手段により抽出された要素画像またはその種類を識別する記号表現画像を、文書画像を検索する際に用いる検索キー情報の生成のためのテンプレート画像として表示する表示手段、表示されたテンプレート画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成する検索キー情報生成手段、として機能させる。

請求項１，６記載の発明によれば、検索キー情報の生成に、入力された文書画像から抽出された要素画像またはその種類を識別する記号表現画像を用いない場合に比較して、ユーザの記憶に基づいてより適切な検索キー情報の生成を実行させることができる。

請求項２記載の発明によれば、ユーザの検索対象の文書画像の画像要素に関する記憶の確実度に応じたレベルで検索キー情報を生成することができる。

請求項３記載の発明によれば、ユーザが選択した階層に該当する代表要素画像として最適な要素画像を表示することができる。

請求項４記載の発明によれば、ユーザが検索対象の文書画像に含まれる要素画像を覚えていない場合でもその要素画像の種類さえ覚えていれば、その要素画像の種類を特定したレベルでの検索キー情報を生成することができる。

請求項５記載の発明によれば、ユーザの検索対象の文書画像に関する記憶の確実度に応じたレベルで検索キー情報を生成することができる。

本発明に係る検索キー情報生成支援装置の一実施の形態を示したブロック構成図である。 本実施の形態における検索キー情報生成支援装置を形成するコンピュータのハードウェア構成図である。 本実施の形態におけるオブジェクトの種類の階層関係を模式的に示した概念図である。 本実施の形態におけるテンプレート画像生成処理を示したフローチャートである。 本実施の形態においてオブジェクトの特徴量Ａ，Ｂを２次元座標上にマッピングしたときの例を示した図である。 本実施の形態において階層的クラスタリングを行った結果得られたオブジェクト画像の階層関係を模式的に示した概念図である。 本実施の形態における検索キー情報生成画面の一例を示した概略図である。 図６において、ユーザによりオブジェクト種類「図表」のアイコンが選択されたことにより表示される検索キー情報生成画面の一例を示した図である。 図６において、ユーザによりスライダが右側に移動されたことにより表示される検索キー情報生成画面の一例を示した図である。 本実施の形態においてスライダバーにおけるスライダの位置と、階層構造上、表示されているオブジェクトの種類の階層レベルとの関係を示した図である。 本実施の形態においてスライダバーにおけるスライダの位置と、階層構造上、表示されているオブジェクト画像の階層レベルとの関係を示した図である。 本実施の形態においてオブジェクトの種類を検索キー情報に組み込んだときに表示される検索キー情報生成画面の一例を示した図である。 本実施の形態においてオブジェクトの種類を検索キー情報に組み込んだときに表示される検索キー情報生成画面の他の例を示した図である。 図７において、「表」アイコンが選択されたときに表示される検索キー情報生成画面の一例を示した図である。 図７において、スライダが右側に移動されたときに表示される検索キー情報生成画面の一例を示した図である。 図１３において、スライダが右側に移動されたときに表示される検索キー情報生成画面の一例を示した図である。 図１４において、「写真」のオブジェクト画像が選択されたときに表示される検索キー情報生成画面の一例を示した図である。 本実施の形態においてオブジェクト画像を検索キー情報に組み込んだときに表示される検索キー情報生成画面の一例を示した図である。 本実施の形態においてオブジェクト画像を検索キー情報に組み込んだときに表示される検索キー情報生成画面の他の例を示した図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

図１は、本発明に係る検索キー情報生成支援装置の一実施の形態を示したブロック構成図である。また、図２は、本実施の形態における検索キー情報生成支援装置を形成するコンピュータのハードウェア構成図である。

図２において、コンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、検索キー情報生成支援装置２０を形成するコンピュータは、図２に示したようにＣＰＵ１、ＲＯＭ２、ＲＡＭ３、ハードディスクドライブ（ＨＤＤ）４を接続したＨＤＤコントローラ５、入力手段として設けられたマウス６とキーボード７、及び表示装置として設けられたディスプレイ８をそれぞれ接続する入出力コントローラ９、通信手段として設けられたネットワークコントローラ１０を内部バス１１に接続して構成される。

図１に戻り、本実施の形態における検索キー情報生成支援装置２０は、オブジェクト種類階層化情報設定部２１、文書画像取得部２２、オブジェクト画像情報生成部２３、階層的クラスタリング部２４及び検索キー情報生成部２５を有している。オブジェクト種類階層化情報設定部２１は、ユーザ入力に応じてオブジェクト種類階層化情報を設定し、オブジェクト種類階層化情報記憶部３１に登録する。文書画像取得部２２は、オブジェクト画像階層化情報の元となる文書画像を取得する。オブジェクト画像情報生成部２３は、本発明の抽出手段及び要素画像情報生成手段として設けられ、オブジェクト種類階層化情報を参照してオブジェクト画像情報を生成する。階層的クラスタリング部２４は、本発明の集合化処理手段及び代表要素画像選出手段として設けられ、階層的クラスタリングを行うことによってオブジェクト画像階層化情報を生成し、オブジェクト画像階層化情報記憶部３３に登録する。検索キー情報生成部２５は、本発明の表示手段、検索キー情報生成手段及び取得手段として設けられ、オブジェクト種類階層化情報、オブジェクト画像階層化情報及びオブジェクト画像情報を参照しながら、文書画像を検索する際に用いる検索キー情報を生成する検索キー情報生成画面をディスプレイ８に表示し、この検索キー情報生成画面に対するユーザ操作に応じて検索キー情報を生成する。なお、各記憶部３１〜３３に含まれる各種情報の詳細については追って説明する。

検索キー情報生成支援装置２０における各構成要素２１〜２５は、検索キー情報生成支援装置２０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ１で動作するプログラムとの協調動作により実現される。また、各記憶部３１〜３３は、検索キー情報生成支援装置２０に搭載されたＨＤＤ４にて実現してよい。あるいは、記憶手段を有する外部のコンピュータ上に設け、検索キー情報生成支援装置２０は、そのコンピュータから直接若しくはネットワーク経由で必要な情報を取得するように構成してもよい。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがインストールプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における動作について説明する。本実施の形態では、検索キー情報生成処理と、検索キー情報生成処理を実施する際に利用可能に提供するテンプレート画像の生成処理とに大別できる。まず先に、後者のテンプレート画像生成処理について説明するが、この処理では、検索キー情報に組み込むためのテンプレート画像を生成すると共に、検索キー情報の生成の便宜を図るためにオブジェクトの種類の階層化情報やオブジェクト画像の階層化情報等検索キー情報の生成を支援するための情報も合わせて生成する。まず、本実施の形態において用いるオブジェクト種類階層化情報について説明する。

図３は、本実施の形態におけるオブジェクト種類階層化情報を模式的に示した概念図である。オブジェクト（すなわち要素画像）とは、画像を「図表」「文字」などの種類ごとに分類した要素を指す。本実施の形態におけるオブジェクト種類階層化情報は、ユーザにより設定されたオブジェクトの種類について、その種類の階層関係を特定する情報である。従って、本実施の形態においては、オブジェクトの種類を図３に示すような階層関係にて管理する。図３に示した階層構造は一例であって、オブジェクトの種類によって図３より浅い階層としてもよいし、更に深くしてもよい。例えば、図３に示したグラフというオブジェクトの下位層に折れ線グラフ、棒グラフ、円グラフ等の種類を設定するなどしてもよい。

オブジェクト種類階層化情報設定部２１は、図示しないオブジェクト設定画面からオブジェクトの種類及びその種類の階層構造上の位置がユーザにより指定されると、その指定された情報に基づき図３に模式的に図示できるようなオブジェクト種類階層化情報を生成し、オブジェクト種類階層化情報記憶部３１に登録する。

次に、本実施の形態におけるテンプレート画像生成処理について図４に示したフローチャートを用いて説明する。

まず、文書画像取得部２２は、文書画像を取得する（ステップ１０１）。文書画像は、図示しないスキャナ等による読取画像でもよいし、文書作成等のアプリケーションを用いて作成された文書画像の画像データでもよい。文書画像の取得先は、ユーザの指示に従いネットワークを介して受信したり、指定された記憶手段から読み出してもよい。以降の説明では、便宜上、文書画像は１ページで構成されているものとする。

続いて、オブジェクト画像情報生成部２３は、文書画像取得部２２が取得した文書画像を受け付けると、文書画像の各部分から得られる物理的特徴から文書画像を文字、表、グラフ等の要素画像（オブジェクト）に分離する（ステップ１０２）。文書画像全体が１つのオブジェクトとして抽出される場合もあり得る。ここで得られた各オブジェクト画像は、後述するテンプレート画像の候補となる。このように、文書画像から１又は複数のオブジェクトが抽出されると、オブジェクト画像情報生成部２３は、各オブジェクトの描画領域及び種類を得る（ステップ１０３）。分離は、既存のオブジェクト分離技術を利用してよい。あるいは、オブジェクト並びに各オブジェクトの描画領域及び種類をユーザに指定させるようにしてもよい。ここで、物理的特徴というのは、オブジェクトの体裁に関するもので、ここでは、色、明度、周波数分布などの情報から成る特徴ベクトル（特徴量の一例）を用いている。すなわち、特徴ベクトルの類似性（ベクトル間距離）は、オブジェクトの見た目の類似性を反映している。この処理で得られるオブジェクトの種類は、文字、図表、グラフ、人工画、写真など図１に示したオブジェクト階層化情報に定義された種類の中のいずれかであり、いずれの階層レベルの種類でもよい。

以上のようにして、文書画像からオブジェクトが得られると、オブジェクト画像情報生成部２３は、当該文書画像の文書識別情報としての文書ＩＤに、当該文書画像から得られた各オブジェクトの識別情報としてのオブジェクトＩＤを関連付けると共に、各オブジェクトＩＤに、当該オブジェクトの画像、特徴量、当該文書画像上における描画位置、サイズ及び種類を関連付けしてオブジェクト画像情報を生成し、オブジェクト画像情報記憶部３２に登録する（ステップ１０４）。

なお、本実施の形態では、オブジェクト画像情報に含まれる文書画像の文書ＩＤは、文書画像に予め割り付けられており、文書画像と共に取得されるものとする。オブジェクトの画像は、前述した分離により得られる。オブジェクトの特徴量は、色、明度、周波数分布など各特徴ベクトルの値であるが、複数の任意の特徴量を得ることができる。オブジェクトＩＤは、オブジェクトを文書画像からの抽出により生成したときに割り付けられている。オブジェクトを矩形領域で表す場合、文書画像上における描画位置は、基準座標、例えば文書画像の左上の角の座標を（０，０）としたときに、オブジェクト画像の矩形領域の左上の角の座標データにより表現する。また、描画サイズは、オブジェクト画像の矩形領域の左上の角の座標データと右下の角の座標データとにより表してもよい。

以上の処理（ステップ１０１〜１０４）を複数の文書画像に対して実施することで、それぞれのオブジェクトの種類において数多くのオブジェクト画像が得られ、オブジェクト画像情報記憶部３２に登録される。オブジェクト画像情報記憶部３２に登録されるオブジェクト画像は、検索キー情報のテンプレート画像の候補となるが、このオブジェクト画像は、文書画像から抽出された画像であって人工的に生成されたものではない。

そして、階層的クラスタリング部２４は、次のようにしてオブジェクトの種類毎にオブジェクトの階層的クラスタリングを行うことによってオブジェクト画像階層化情報を生成する（ステップ１０５）。階層的クラスタリングでは、以下に説明する処理によって最終的に図５Ｂに示したようにオブジェクトの階層関係を示すオブジェクト画像階層化情報をオブジェクトの種類毎に生成する。図５では、オブジェクトの種類として「表」を例にして説明する。

まず、階層的クラスタリングに利用する任意の複数の特徴量を選択する。選択可能な特徴量は、オブジェクト画像情報に含まれている特徴量である。ここでは、２次元座標で表すことから便宜的に２つの特徴量Ａ，Ｂを選択する。選択する特徴量及び特徴量の数は、装置が自動的に設定してもよいし、ユーザに指定させてもよい。そして、種類が「表」のオブジェクトそれぞれの特徴量Ａ，Ｂをオブジェクト画像情報記憶部３２から読み出す。この読み出した各オブジェクトの特徴量Ａ，Ｂを、横軸を特徴量Ａ、縦軸を特徴量Ｂとした２次元座標上にマッピングしたときの例を図５Ａに示す。そして、最初に、マッピングした特徴量の位置関係から全ての表の中で最も近接する２つの表を抽出し、それらの特徴量を統合し、クラスタを作成する。つまり、類似性のあるオブジェクトを集団化する。そして、抽出した表の中で、作成したクラスタの中心座標に最も近い表を、当該クラスタを代表するオブジェクトとして選出する。このように、クラスタリングをした結果、代表として選出されるオブジェクトの画像を当該クラスタの「テンプレート画像」とする。

図５Ａに示した例によると、全ての表１〜表５の中で表２と表３が最も近接しているので、これらを統合して最下位に位置づけられる最下位クラスタを作成し、その最下位クラスタの中心座標ａを座標上にマッピングする。中心座標ａは、表２と表３の特徴量の平均値を座標上に表した点といえる。この例の場合、２つの表２及び表３共最下位クラスタの中心座標ａに最も近接している（すなわち表２及び表３共クラスタの中心座標ａから等しい距離にある）ので、どちらもテンプレート画像として選出可能である。ここでは、表２をテンプレート画像として選出することにする。

このように、クラスタを作成する処理（集団化処理）、すなわちクラスタリングを行うことで１つの階層が形成される。また、１つのクラスタが形成されると、そのクラスタにおけるテンプレート画像を決定する。本実施の形態では、このようなクラスタリングを繰り返し実行してオブジェクト画像の階層関係を構築するため「階層的クラスタリング」と称することにした。

図５Ａに示した例によると、続いてマッピングした全ての表１，ａ，表４及び表５の中で最も近接するのは表１とaなので、表１，表２及び表３を統合して再下位クラスタの上位階層のクラスタを作成し、その上位階層のクラスタの中心座標ｂを座標上にマッピングする。そして、このクラスタの中心座標ｂに最も近接しているのは表２である。つまり、このクラスタにおけるテンプレート画像は表２と決定される。

続いて、マッピングした全てのｂ，表４及び表５の中で最も近接するのは表４とｂなので、表１〜表４を統合してクラスタの中心座標ｂの上位階層のクラスタを作成し、その上位階層のクラスタの中心座標ｃを座標上にマッピングする。そして、このクラスタの中心座標ｃにおけるテンプレート画像は、クラスタの中心座標ｃに最も近接しているのは表３である。つまり、このクラスタにおけるテンプレート画像は表３と決定される。

最後に、マッピングした全てのｃ及び表５の中で最も近接するのは、当然ながら残りの表５とｃなので、表１〜表５を統合してクラスタの中心座標ｃの上位階層のクラスタを作成し、その上位階層のクラスタの中心座標ｄを座標上にマッピングする。そして、このクラスタの中心座標ｄに最も近接している表１である。つまり、このクラスタにおけるテンプレート画像は表１と決定される。

以上のように最も近接するオブジェクト同士又はオブジェクトと形成されたクラスタとからクラスタを作成する処理（集団化処理）を繰り返し行う。集団化処理を行う度に新たな階層レベルが順次形成され、最終的に図５Ｂに例示したようなオブジェクト画像の階層関係を示す要素画像階層化情報を生成する。また、集団化処理により新たなクラスタが形成されると、当該クラスタに含まれるオブジェクト画像の中から当該クラスタを代表する要素画像（代表要素画像）を選出し、テンプレート画像として表示する。

図５Ｂに示したように、中心座標ａ〜ｄを形成した各クラスタにおけるテンプレート画像が、それぞれ表２，表２，表３及び表１と決定される。特に、最上位層のクラスタにおけるテンプレート画像である表１は、オブジェクト種類「表」におけるテンプレート画像にもなる。

階層的クラスタリング部２４は、前述した処理を各オブジェクト種類に対して行うことで、オブジェクト種類毎に図５Ｂに模式的に示したような当該オブジェクト画像の階層関係を示す情報を生成し、テンプレート画像を特定するための情報と共にオブジェクト画像階層化情報記憶部３３に登録する。

以上のようにして階層的クラスタリング部２４により生成された情報は、後述する検索キー情報を生成する処理において利用可能に提供されるテンプレート画像の関係を示す情報である。

次に、本実施の形態における検索キー情報生成部２５により実行される検索キー情報の生成処理について説明する。ここで、検索キー情報とは、画像を検索する際に検索の手がかりとして用いる情報をいう。検索キー情報の生成処理は、検索キー情報生成画面を利用してユーザ操作指示に従い実行される。

図６は、本実施の形態における検索キー情報生成画面の一例を示した概略図である。検索キー情報生成画面の右側には、検索キー情報となる仮想紙面４１が表示される表示領域４２が設けられている。画面左側には、検索キー情報に組み込まれるオブジェクトの種類やテンプレート画像等が表示される表示領域４３が設けられている。更に、表示領域４３の下方には、表示領域４３に表示するオブジェクトの種類やテンプレート画像の階層レベルをユーザに選択させるためのユーザインタフェース部品としてスライダバー４４が設けられている。

まず、ユーザが検索キー情報生成画面をディスプレイ８に表示させて検索キー情報を生成するために所定の操作を行う。検索キー情報生成部２５は、この操作に応じてオブジェクト種類階層化情報記憶部３１からオブジェクト種類階層化情報を、オブジェクト画像情報記憶部３２からオブジェクト画像情報を、オブジェクト画像階層化情報記憶部３３からオブジェクト画像階層化情報を、それぞれ読み出す。そして、検索キー情報生成画面をディスプレイ８に表示する。このとき、検索キー情報生成画面の初期画面として、図６に例示したように、図３に示したオブジェクト階層化情報の設定内容に従い最上位に位置するオブジェクトの種類を識別するアイコン４６を表示領域４３に表示する。なお、このとき、最上位のオブジェクト種類を表示している旨をユーザに提示するためにスライダ４５をスライダバー４４の左側に寄せて表示する。

図７は、図６において、ユーザによりオブジェクト種類「図表」のアイコンが選択されたことにより表示される検索キー情報生成画面の一例を示した図である。図７に示した表示例及び図３に示したオブジェクト階層化情報の設定例から明らかなようにオブジェクト種類「図表」の直下の階層に位置するオブジェクト種類「表」、「グラフ」、「人工画」及び「写真」のアイコンが表示領域４３に表示される。このとき、検索キー情報生成部２５は、直下の階層のオブジェクト種類を表示している旨を表現するためにスライダバー４４上においてスライダ４５を右側に移動させて表示する。

図８は、図６において、ユーザによりスライダ４５が右側に移動されたことにより表示される検索キー情報生成画面の一例を示した図である。図８に示した表示例及び図３に示したオブジェクト階層化情報の設定例から明らかなようにオブジェクト種類「図表」の直下の階層に位置するオブジェクト種類「表」、「グラフ」、「人工画」及び「写真」のアイコンと、オブジェクト種類「文字」の直下の階層に位置するオブジェクト種類「表題」、「要約」及び「本文」のアイコンが表示領域４３に表示される。

ここで、オブジェクトの種類の階層とスライダバー４４との関係について図９を用いて説明する。図９には、検索キー情報生成画面に表示されるスライダバー４４と図３に示したオブジェクト種類階層化情報とが示されており、スライダ４５の位置とオブジェクトの種類の位置とを関連付けている。すなわち、スライダバー４４上の左側に寄せた位置４７ａにスライダ４５を表示することで、表示領域４３に表示されているアイコンに対応するオブジェクト種類「図表」及び「文字」は、階層構造上、最上位階層に位置するオブジェクト種類であることを示している。また、スライダバー４４上の位置４７ａから右側の位置４７ｂにスライダ４５を表示することで、表示領域４３に表示されているアイコンに対応するオブジェクト種類「表」、「表題」等は、階層構造上、最上位階層より下位階層に位置するオブジェクト種類であることを示している。

図１０には、検索キー情報生成画面に表示されるスライダバー４４と図５Ｂに示したオブジェクト画像階層化情報とが示されている。このスライダバー４４とオブジェクト画像階層化情報との関係も図９を用いて説明したのと同様に、スライダ４５の位置によって表示領域４３に表示されているオブジェクト画像の階層レベルを示している。このように、スライダ４５を右側に移動させるに連れ下位階層のオブジェクトの種類又は画像が表示される。逆にスライダ４５を左側に移動させるに連れ上位階層のオブジェクトの種類又は画像が表示される。このように、ユーザは、スライダ４５を操作することによって、記憶の確からしさに応じてオブジェクトの種類や画像の絞り込みを行うことになる。

ここで、ユーザが検索しようとする文書上のオブジェクトの体裁が定かでないときなどは、この時点で検索キー情報を生成するよう操作してもよい。すなわち、オブジェクト画像ではなくオブジェクトの種類のみを指定してもよい。具体的には、オブジェクトの種類を識別するアイコンをドラッグ＆ドロップして仮想紙面上の、ユーザが検索したい文書において掲載されていると考える位置に配置する。そして、必要により仮想紙面上のアイコンを拡張若しくは縮小、またアイコンの表示領域の形状を変更することによって領域を決定する。なお、アイコンは、ディスプレイ８に表示される画像の一形態であるけれども、コンピュータが作成する記号表現の画像であって文書画像から抽出されたオブジェクト画像とは性質を異にする。このため、本実施の形態では、文書画像の検索に用いるキー情報として「検索キー画像」ではなく「検索キー情報」という用語を用いることにした。このようにして生成される検索キー情報の例を図１１及び図１２に示す。

次に、最下位層のオブジェクトの種類が表示領域４３に表示されている状態で、更にスライダ４５を右側に移動させると、あるいは特定のオブジェクト種類を選択すると、オブジェクトの種類に該当するオブジェクト画像（テンプレート画像）が表示される。すなわち、図７に示した表示状態において「表」のアイコンをクリック等で選択したときの検索キー情報生成画面の表示例を図１３に示す。図５Ｂに例示したようにオブジェクト種類が「表」のオブジェクト画像階層化情報が階層的クラスタリングによって生成されたが、「表」のアイコンが選択されると、図５Ｂに示した例によると表１のオブジェクト画像４８がオブジェクト種類「表」のテンプレート画像として表示領域４３に表示される。

また、図７に示した表示状態においてスライダ４５が右側に移動されたときの検索キー情報生成画面の表示例を図１４に示す。図７に示された「表」、「グラフ」、「人工画」及び「写真」という各オブジェクトの種類は、階層構造上、最下位の階層に位置するので、スライダ４５が右側に移動されることにより各オブジェクトを代表するテンプレート画像４８，４９，５０，５１が表示領域４３に表示される。

また、図１３に示した表示状態においてスライダ４５が右側に移動されたときの検索キー情報生成画面の表示例を図１５に示す。図１３では、オブジェクト種類「表」を代表する表１のオブジェクト画像が表示されていたが、この状態からスライダ４５が右側に移動されることで直下の下位階層のオブジェクト画像、具体的には図５Ｂの例によると、表３及び表５のオブジェクト画像５２，５３が表示領域３４に表示されることになる。

また、図１４に示した表示状態において「写真」のオブジェクト画像が選択されたときの検索キー情報生成画面の表示例を図１６に示す。オブジェクト画像５４，５５は、オブジェクト画像５１の直下の下位階層に位置する画像であることがわかる。

以上説明したように、オブジェクトの種類を識別するアイコン若しくはオブジェクト画像を選択することによって、あるいはスライダ４５を右側に移動させることによって、更に下位階層に位置するオブジェクトの種類あるいはオブジェクト画像を表示させることができる。

ここで、ユーザが検索しようとする文書上のオブジェクト画像が定かでないときなどは、上位層に位置するオブジェクト画像を選択して検索キー情報を生成するよう操作してもよい。すなわち、図１７に例示したように、「表」というオブジェクトを代表するテンプレート画像をドラッグ＆ドロップして仮想紙面上の、ユーザが検索したい文書において掲載されていると考える位置に配置する。そして、必要により仮想紙面上のアイコンを拡張若しくは縮小、またアイコンの表示領域の形状を変更することによって領域を決定する。

一方、ユーザは、検索しようとする文書上のオブジェクト画像が定かであるときなどは、図１８に例示したように、その定かであるオブジェクト画像が表示領域４３に表示させ、そのオブジェクト画像をドラッグ＆ドロップして、仮想紙面上で上記と同様に位置、大きさを調整する。本実施の形態では、文書画像から実際に抽出したオブジェクト画像のみを取り扱っているので、記憶が定かであるのにもかかわらず、所望のオブジェクト画像が表示領域４３に表示されることがないということは、見落としか、あるいは記憶違いであると考えられる。仮に記憶が正しいとした場合、所望のオブジェクト画像が存在しないので、検索を実行しても所望の文書は見つからないということが検索キー情報の生成時点でわかる。

このように、オブジェクトの体裁が厳密に定まっているときには、オブジェクト画像のその定まっているオブジェクト画像を仮想紙面上に配置する。なお、定まっているオブジェクト画像は、階層構造上、下位の階層に位置するはずである。一方、そうでない場合には、階層構造上、上位の階層に位置するオブジェクト画像を選択して仮想紙面上に配置する。このように、本実施の形態においては、仮想紙面上に１又は複数のオブジェクト画像、あるいはオブジェクトの種類を識別するアイコン画像を配置することによって検索キー情報を生成する。

ユーザは、以上のようにして生成した検索キー情報に基づき画像検索を行うことになるが、検索キー情報に含まれているオブジェクト画像は、実際に存在する文書の画像から抽出されたものであることから検索により所望の文書が見つかる可能性が高い。

なお、本実施の形態では、階層的クラスタリングを行う際、クラスタとしてまとめるオブジェクトの数を２個としたので、スライダ４５を移動するにつれて表示されるテンプレート数は１つずつ増加し、またテンプレート選択後に表示されるテンプレート数は常に２個であった。しかし、スライダの移動やテンプレートの選択に伴う処理はこの例に限られるものではない。つまり、クラスタとしてまとめるオブジェクトの数を２個とする必要はなく、ｎ（ｎは２以上の正整数）個であればよい。クラスタとしてまとめる要素数がｎ個の場合、スライダ４５が移動されるに連れ表示されるテンプレート数は（ｎ−１）個ずつ増加し、またテンプレート選択後に表示されるテンプレート数もｎ個となる。

また、スライダ４５の移動、あるいは検索キー情報の生成の際にテンプレート画像の選択により１段下位のクラスタが選択された。ただ、スライダ４５を１段移動させる毎にｍ段下位のクラスタ内のテンプレート画像を表示したり、特定のテンプレート画像を選択したときに、ｍ段下位の階層までのサブツリーに含まれるテンプレート画像が合わせて表示されるようにしてもよい。

また、適切なオブジェクト画像を選択しやすくする工夫として検索キー情報の生成を補助するために次のような情報を付加したり、表示の順番を変えたりするなどしてもよい。

まず、検索キー情報の生成過程において画像検索を行い、その結果に基づき得られる情報をユーザに提示する。この場合、本実施の形態における検索キー情報生成支援装置を画像検索装置を形成するのと同じコンピュータで実現するのが都合良い。

例えば、仮想紙面上に何らかのオブジェクト画像を配置すると、その度に画像検索を実行し、その検索の結果、例えば該当する文書の数を画面表示する。更に、オブジェクト画像を配置すると、更に画像検索を実行する。このとき、前回の検索で該当する文書のみを検索対象とする。すなわち、絞り込み検索を行い、その結果を画面表示する。

あるいは、仮想紙面上に何らかのオブジェクト画像を配置すると、その度に画像検索を実行し、その検索の結果、該当する各文書において含まれることのないオブジェクト画像は、選択可能な候補として表示領域４３に表示しない。例えば、表５のオブジェクト画像を仮想紙面上に配置した結果、１０の文書が該当したとすると、その１０の文書の全てにおいて写真という種類のオブジェクトが含まれていなければ、表示領域４３には「写真」のアイコンを表示しない。換言すると、１０の文書に含まれているオブジェクト画像のみを選択可能に表示領域４３に表示する。

また、過去に実施された検索キー情報の生成について記録しておき、その記録した情報から実績に基づく情報を生成してユーザに提示する。

例えば、各オブジェクト画像に対して全ユーザの利用回数を記録しておき、利用回数の多い順（使用頻度の高い順）に表示領域４３に表示する。なお、全ユーザではなく、個人の利用回数やその個人が属するグループの利用回数でもよい。

あるいは、各オブジェクト画像を含む文書数をカウントしておき、表示領域４３には、含まれる文書数の多いオブジェクト画像から順に並べて表示する。このとき、文書数を合わせて表示してもよい。

ところで、文書画像は、逐次追加されることになると考えられるが、新たな文書画像が追加されるたびに、その文書画像からオブジェクト画像を抽出し、階層的クラスタリングを実行して、オブジェクト画像階層化情報を生成し直す。ただ、オブジェクト画像階層化情報を生成するには、時間がかかるので、例えば、新たな文書画像から抽出されたオブジェクト画像と類似しているオブジェクト画像が存在しているのであれば、その類似しているオブジェクト画像と同じクラスタ（階層）に追加するようにしてもよい。なお、類似判定は、オブジェクト画像の特徴量を比較して、その差異が所定の閾値以内であれば類似と判定するようにしてもよい。

本実施の形態では、検索キー情報生成支援装置２０を単体のコンピュータにて実現することを例にして説明したが、検索キー情報生成支援装置２０が持つ機能を画像検索装置や画像形成装置に搭載して実現するようにしてもよい。

１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ ハードディスクドライブ（ＨＤＤ）、５ ＨＤＤコントローラ、６ マウス、７ キーボード、８ ディスプレイ、９ 入出力コントローラ、１０ ネットワークコントローラ、１１ 内部バス、２０ 検索キー情報生成支援装置、２１ オブジェクト種類階層化情報設定部、２２ 文書画像取得部、２３ オブジェクト画像情報生成部、２４ 階層的クラスタリング部、２５ 検索キー情報生成部、３１ オブジェクト種類階層化情報記憶部、３２ オブジェクト画像情報記憶部、３３ オブジェクト画像階層化情報記憶部。

Claims (6)

1. 入力された文書画像から１又は複数の要素画像を抽出する抽出手段と、
   前記抽出手段により抽出された要素画像またはその種類を識別する記号表現画像を、文書画像を検索する際に用いる検索キー情報の生成のためのテンプレート画像として表示する表示手段と、
   表示されたテンプレート画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成する検索キー情報生成手段と、
   を有することを特徴とする検索キー情報生成支援装置。
2. 前記抽出手段により抽出された要素画像の種類、特徴量及び文書画像上における描画領域を特定する情報を含む要素画像情報を生成する要素画像情報生成手段と、
   前記要素画像情報を参照することによって、要素画像の種類毎に、当該種類に該当する各要素画像の特徴量に基づいて類似性のある要素画像を集団化する集団化処理および集団を代表する代表要素画像の決定を繰り返し行い、その集団化処理を行う度に階層を順次形成することによって、当該種類に該当する要素画像の階層関係を示す要素画像階層化情報を生成する集合化処理手段と、
   を有し、
   前記表示手段は、ユーザにより選択された階層に該当する前記代表要素画像を特定し、表示することを特徴とする請求項１に記載の検索キー情報生成支援装置。
3. 前記代表要素画像は、集団に含まれる複数の要素画像の特徴量の平均に最も近い特徴量を有する要素画像であることを特徴とする請求項２に記載の検索キー情報生成支援装置。
4. 文書画像に含まれうる要素画像の種類の階層関係が定義された種類階層化情報を取得する取得手段を有し、
   前記表示手段は、ユーザにより選択された階層に該当する要素画像の種類を特定し、その特定した要素画像の種類を識別する記号表現画像を表示し、
   前記検索キー情報生成手段は、表示された記号表現画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成することを特徴とする請求項１に記載の検索キー情報生成支援装置。
5. 文書画像に含まれうる要素画像の種類の階層関係が定義された種類階層化情報を取得する手段を有し、
   前記表示手段は、ユーザにより要素画像の種類のいずれかの階層が選択された場合にはその選択された階層に該当する要素画像の種類を識別する記号表現画像を表示し、要素画像のいずれかの階層が選択された場合にはその選択された階層に該当する要素画像を表示し、
   前記検索キー情報生成手段は、表示された画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成することを特徴とする請求項２に記載の検索キー情報生成支援装置。
6. コンピュータを、
   入力された文書画像から１又は複数の要素画像を抽出する抽出手段、
   前記抽出手段により抽出された要素画像またはその種類を識別する記号表現画像を、文書画像を検索する際に用いる検索キー情報の生成のためのテンプレート画像として表示する表示手段、
   表示されたテンプレート画像の中からユーザに選択された画像を組み込むことによって検索キー情報を生成する検索キー情報生成手段、
   として機能させる検索キー情報生成支援プログラム。