JP2011028749A

JP2011028749A - レイアウトに基づく文書検索およびランク付けのためのスケーラブルな索引付け

Info

Publication number: JP2011028749A
Application number: JP2010162601A
Authority: JP
Inventors: Loic Lecerf; レセルフロイック; Boris Chidlovskii; チドロフスキーボリス
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2009-07-22
Filing date: 2010-07-20
Publication date: 2011-02-10
Anticipated expiration: 2030-07-20
Also published as: EP2278498A2; US20110022599A1; EP2278498B1; JP5378315B2; EP2278498A3; US7953679B2

Abstract

【課題】順序付きリストを関連付けされたクライアント端末に出力するシステムを提供する。
【解決手段】複数の文書をコンピュータメモリに提供するステップと、提供された文書からレイアウトブロックを抽出するステップと、コンピュータプロセッサを用いて、レイアウトブロックを複数のレイアウトブロッククラスタにクラスタリングするステップと、レイアウトブロッククラスタの各々に対して代表ブロックを計算するステップと、文書のレイアウトブロックおよび計算された代表ブロックに基づいて各々の提供された文書に対して文書索引を生成するステップと、生成された文書索引を複数の文書索引クラスタにクラスタリングするステップと、文書索引クラスタの各々に対して代表クラスタ索引を生成するステップと、生成された文書索引、代表ブロック、文書索引クラスタ、および代表クラスタ索引をメモリへ出力するステップと、を含む方法とする。
【選択図】図６

Description

この例示的な実施形態は、文書に対する索引付けおよび問い合わせに関する。これは特に、文書レイアウトに基づく中〜大規模文書データベースへの問い合わせに用途があり、以下では特にこの用途に言及しながら説明を行なう。

今日多くの情報が電子形式で利用可能であって、個人、イントラネット、およびインターネット環境における文書群に格納されている。過去２０年にわたり、フルテキストの索引付けおよび検索の分野において重要な発展が成し遂げられてきた。情報検索の最新技術により、ユーザーは１個または複数のキーワードを用いて文書群に問い合わせを行ない、関連する文書を取得してランク付けすることができる。ワールドワイドウェブ（ウェブ）において利用可能な文書の場合、Ｇｏｏｇｌｅ、Ｙａｈｏｏ、ＭＳＮ等の検索エンジンがウェブを探索してＰＤＦやＷｏｒｄ文書と同様にウェブページに索引付けを行なう。検索エンジンは全ての文書タイプに対して、関連する文書を検索してランク付けするために、当該文書に含まれるテキストおよびリンク情報を利用する。しかし、文書に含まれるレイアウト情報は無視される。

米国特許第７，０９９，８６１号明細書米国特許第７，４７５，０６１号明細書

上記にもかかわらず、ユーザーがテキスト情報ではなく視覚的情報を所有する場合、あるいはクエリをキーワードで表現することが困難または不可能な場合に、文書レイアウトを用いて文書群に問い合わせを行なうことは極めて有用であろう。これは、文書が請求書、伝票、定型書式、カタログ、履歴書、手紙等の一般的な構造を有する場合が多いオフィス環境において特に成り立つ。事務担当者にとって、レイアウトが所定の文書に類似した文書を探すことは好都合であろう。

実例に基づく問い合わせは、コンテンツに基づく画像取得との関連で広く用いられている。しかし、画像は本質的に複雑であるため、画像の解釈および意味論的索引付けは、完全画像マッチング、ロゴ認識等の特化したクエリタイプ、および空、花、または二輪車画像の認識等、よりカテゴリー化されたタスクに限定される。文書レイアウトによる問い合わせは、実例に基づくクエリの一形式と見なすことができる。しかし、それらの（意味論的）類似度による画像の正確な関連度のランク付けは、依然として現行システムの能力をはるかに超えている。

レイアウトによる文書群への問い合わせを行なう既存の方法は、各ペア（文書、クエリ）毎に、クエリと文書群内の各文書を２次元的に整列させる処理を含む高負荷な処理を必要とする。この整列アルゴリズムは時間が掛かり、従って整列に基づく手法は小〜中規模の文書群に限定される。極めて大規模な文書群では、ユーザーは多くの場合、関連する上位ｋ個の文書を取得することに関心があるため、文書とクエリを網羅的に整列させるのは不要且つ時間の無駄である。

一態様において、文書群に対して文書レイアウトに従い索引の集合を生成するコンピュータ実装された方法を提供する。本方法は、複数の文書をコンピュータメモリに与えるステップと、提供された文書からコンピュータプロセッサを用いてレイアウトブロックを抽出するステップと、レイアウトブロックを複数のレイアウトブロッククラスタにクラスタリングするステップと、各レイアウトブロッククラスタに対して代表ブロックを計算するステップと、当該文書のレイアウトブロックおよび計算された代表ブロックに基づいて各提供された文書に対して文書索引を生成するステップと、生成された文書索引を複数の文書索引クラスタにクラスタリングするステップと、各文書索引クラスタに対して代表クラスタ索引を生成するステップと、生成された文書索引、代表ブロック、文書索引クラスタ、および代表クラスタ索引をメモリに出力するステップとを含んでいる。

本方法の一態様において、生成された文書索引を文書索引クラスタにクラスタリングするステップは、生成された文書索引をｍ’個の文書索引クラスタにクラスタリングするステップを含んでおり、ここに

であって、Ｎはコンピュータメモリに与えられた文書の数である。

生成された文書索引を文書索引クラスタにクラスタリングするステップおよびレイアウトブロックをレイアウトブロッククラスタにクラスタリングするステップの少なくとも一方は、以下のアルゴリズム、すなわちｋ平均クラスタリングアルゴリズム、および／または階層的クラスタリングアルゴリズムの1個を使用するステップを含んでいてよい。

各代表文書索引は、代表文書索引が計算される文書索引クラスタ内の全ての文書索引に対して平均化関数を用いて計算することができる。

提供された文書からレイアウトブロックを抽出するステップは、文書ページ上の各レイアウトブロックの大きさおよび位置を定義する位置情報を抽出するステップを含んでいてよい。

各レイアウトブロックは矩形であってよく、当該文書内のテキストまたは画像のブロックの境界を定義する最小の高さおよび幅を有していてよい。

各レイアウトブロッククラスタに対して代表ブロックを計算するステップは、共に代表ブロックの位置および形状を定義する第１の位置および第２の位置を計算するステップを含んでいてよく、代表ブロックの第１の位置はクラスタ内の各レイアウトブロックの第１の位置の関数として計算され、代表ブロックの第２の位置はクラスタ内の各レイアウトブロックの第２の位置の関数として計算され、各レイアウトブロックの第１の位置および第２の位置は合わせてレイアウトブロックの位置および形状を定義する。

計算された類似度に基づいて文書索引を生成するステップは、以下の関数の一方を使用するステップを含んでいてよい。

および

ここに、ｎは文書内のレイアウトブロックの数、ｍは代表ブロックの数、ｉ＝１〜ｎ、ｊ＝１〜ｍ、ｖ_ｉｊは値のベクトルであって、各値はレイアウトブロックと代表ブロックと間の計算された類似度を表し、文書索引はｍ個の要素を含むベクトルであって、各要素はｗ_ｊ（ｊ＝１〜ｍ）に等しい。

文書索引内の値は、各代表ブロックに関連付けされたブロックの相対的な数の関数として重み付けされていてよい。

提供された文書内のレイアウトブロックと代表ブロックとの類似度を計算するステップは、当該レイアウトブロックと代表ブロックとの間の距離尺度を計算するステップを含んでいてよい。

距離尺度を計算するステップは、レイアウトブロックを定義する第１の位置とこれに対応して代表ブロックを定義する第１の位置との間、およびレイアウトブロックを定義する第２の位置とこれに対応して代表ブロックを定義する第２の位置との間のマンハッタン距離の関数を計算するステップを含んでいてよい。

提供された文書内の各レイアウトブロックと各代表ブロックとの類似度を計算するステップは、レイアウトブロックと代表ブロックの重なりの範囲を決定するステップを含んでいてよい。

属性値は、レイアウトブロックの形状比に基づく第１の属性値、レイアウトブロックと代表ブロックとの間の重なり距離に基づく第２の属性値、ブロックの種類に基づく第３の属性、およびこれらの組合せから選択されていてよい。

別の態様において、文書レイアウトに従い文書群への問い合わせを行なうコンピュータ実装された方法を提供する。本方法は、各代表ブロックが文書群内の文書から抽出されたレイアウトブロックの各クラスタを代表している代表ブロックの集合、各文書索引が文書群内の各文書のレイアウトブロックを代表すると共に各文書索引が文書索引クラスタの集合の１個づつに割り当てられている文書索引の集合、および各代表文書索引が文書索引クラスタに割り当てられた文書索引から導出されている各文書索引クラスタに対する代表文書索引をコンピュータメモリに提供するステップと、入力文書レイアウトクエリからレイアウトブロックを抽出するステップと、文書レイアウトクエリから抽出されたレイアウトブロックを代表ブロックの集合に射影させてクエリ文書索引を生成するステップと、コンピュータプロセッサを用いて、クエリ文書索引と代表文書索引の集合内の代表文書索引との類似度を計算するステップと、クエリ文書索引との類似度が最大であると判定された代表文書索引を含む最上位文書索引クラスタを識別するステップと、最上位文書索引クラスタ内の各文書索引とクエリ索引との類似度を計算して類似度が最大である文書の集合を識別するステップと、類似度が最大である文書の集合内の文書に関する情報を出力するステップとを含む。

別の態様において、文書レイアウトに従い文書群への問い合わせを行なうコンピュータ搭載されたシステムを提供する。本システムは、文書索引の集合、代表ブロックの集合、文書索引クラスタの集合、代表索引の集合、および文書レイアウトクエリをメモリに受け入れるべく構成されたデータ入力モジュールと、文書レイアウトクエリからレイアウトブロックを抽出し、文書レイアウトクエリから抽出されたレイアウトブロックを代表ブロックの集合に射影させてクエリ索引を生成し、ランク付け関数を用いてクエリ索引と文書索引クラスタの集合内の各代表索引との類似度を計算し、類似度が最大である代表索引を含む文書索引クラスタを最上位文書索引クラスタとして識別し、ランク付け関数を用いて最上位文書索引クラスタ内の各文書索引とクエリ索引との類似度を計算すべく構成された文書クエリモジュールと、最上位文書索引クラスタ内の各文書索引とクエリ索引の間で計算された類似度に基づいて上位ｋ個の文書の順序付きリストを保持して、当該順序付きリストを出力すべく構成された文書ランク付けモジュールとを含む。

一態様において、本システムは順序付きリストを関連付けされたクライアント端末に出力することができる。

クライアント端末は、システムに対し順序付きリストから取得する少なくとも１個の文書を識別することができ、本システムはクライアント端末に少なくとも１個の文書を提供する。

本システムは更に、タッチスクリーンを含んでいてよく、文書レイアウトクエリはタッチスクリーンを用いて生成することができる。

索引付けを行なう文書群の一部である入力電子文書のページの一例を示す概念図である。例示的な実施形態と整合すべくテキストおよび画像ブロックの概要を表す図１の入力文書を示す概念図である。テキストおよび画像コンテンツを除外した状態で図２の入力文書を示す概念図であり、ブロックは次いで索引付けアルゴリズムに入力される。文書レイアウト索引付けシステムの機能ブロック図である。図４の文書レイアウト索引付けシステムと連動して利用できる、文書クエリおよびランク付けシステムの機能ブロック図である。文書レイアウトの文書群への索引付けを行なう方法を示すフロー図である。図６の方法で実行可能な、抽出されたレイアウトブロックの集合から代表ブロックを生成する方法を示す詳細フロー図である。所与の文書レイアウトに基づいて文書への問い合わせおよびランク付けを行なう方法を示すフロー図である。図４の文書レイアウト索引付けシステムにより生成されたブロッククラスタおよび代表ブロックのグラフである。図４の文書レイアウト索引付けシステムにより生成されたブロッククラスタおよび代表ブロックのグラフである。クライアント端末と文書クエリシステムとの間の通信用の機能ブロック図である。

この例示的な実施形態の態様は、文書レイアウトに従い文書の索引付けおよびクエリを行なうシステムおよび方法に関する。クラスタリングおよび「代表ブロック」の概念を用いることにより、本方法は全ての索引付けされた文書に対してクエリ文書を比較することを回避できる。

本明細書で用いる「文書」という用語は、ＰＤＦ、ＴＩＦＦ、ＢＭＰまたはＭｉｃｒｏｓｏｆｔＯｆｆｉｃｅ（登録商標）文書等、任意の適当な形式の電子文書であってよく、画像、テキスト、またはこれらの組合せを含んでいてよい。画像は、写真、グラフィックス等であってよい。

以下により詳細に述べるように、各文書の整列に基づいて文書群に索引付けを行なう例示的な方法は以下を含んでいてよい。

最初に、文書群の各文書のレイアウトを当該文書から抽出する。レイアウトは、所与の文書内のテキストおよび画像の配列により定義される。概念的には、レイアウトとは１個の文書に配置された１個以上の「ブロック」であって、各ブロックが隣接するテキストおよび／または画像を含んでいるものと見なすことができる。各ブロックは、当該ブロックに含まれるテキストまたは画像の境界を完全に定義するのに必要な最小の領域を有している。このように、第１のステップは、文書群の各文書から全ての「ブロック」を抽出するステップを含んでいて、各ブロックは当該ブロックの大きさおよびページ位置を定義するのに十分な位置情報、例えば左上および右下隅を表す２個の点の組、を含んでいる。レイアウトの抽出は、１文書内の全ての視覚的に表示された情報を各ブロックに割り当てることを意図している。一般に、各ページは少なくとも２個、一般的には少なくとも３個のブロックを含んでいる。ブロックの数は１ページ当たり最大約５０個まであってよい。

次に、抽出されたレイアウトブロックのグループ全体を、位置情報に基づいてクラスタリングアルゴリズムに従い所定の数のクラスタにグループ化する。所定の数は、文書群の大きさや所望の結果等の各種の要因に応じて異なっていてよい。データをクラスタリングする適当な方法としてｋ平均および／または階層的クラスタリングアルゴリズム等の例示的なクラスタリングアルゴリズムを用いてよい。階層的クラスタリングアルゴリズムを用いている方法ではクラスタの階層が構成される。ｈｔｔｐ:／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｉｅｒａｒｃｈｉｃａｌ＿ｃｌｕｓｔｅｒｉｎｇを参照されたい。ｋ平均法ではクラスタの数ｍを選択する。ｍは例えば約１０〜３０の範囲であってよい。しかし、現在使用されているかまたは将来考案される他の任意のクラスタリングアルゴリズムを用いてもよい。

各レイアウトブロッククラスタは、異なる文書から抽出された複数のブロックを含むことになる。速度および効率を向上させるべく、クラスタ内の全てのレイアウトブロックを数学的に代表する「代表ブロック」を各クラスタについて計算する。各レイアウトブロッククラスタはちょうど１個の代表ブロックを有することになる。

次いで、代表ブロックの文書群に関して文書群内の各文書について文書索引Ｄ^Ｒを生成する。文書索引は、特に当該文書内の各ブロックと各代表ブロックとの間の距離または類似度を射影または測定することにより生成され、同一ブロック間の距離はゼロである。２個のブロック間の距離に対して任意の適当な尺度を考慮することができる。関心対象ブロックをｂ_１＝（ｐ_１１，ｐ_１２）、代表ブロックをｂ_２＝（ｐ_２１，ｐ_２２）と表すことができ、ここにｐ_１１は第１ブロックの第１の位置（すなわち左上位置）、ｐ_２１は第２ブロックの第１の位置、ｐ_１２は第１ブロックの第２の位置（すなわち右下位置）、ｐ_２２は第２ブロックの第２の位置である。

例示的な距離尺度の一つとしてマンハッタン距離があり、以下のように定義できる。

ここに、ｄ_ｍ（ｐ_１，ｐ_２）＝｜ｘ_１−ｘ_２｜＋｜ｙ_１−ｙ_２｜は２個の位置ｐ_１，ｐ_２間のマンハッタン距離であり、各位置ｐ_ｉは２個の座標（ｘ_ｉ，ｙ_ｉ）により定義される。

別の適当な距離尺度として、２個のブロック間の重なり距離があり、以下のように両者の重なり面積により与えられる。

ここに、演算（ｂ_１＾ｂ_２）は２個のブロックｂ_１とｂ_２の重なりを与え、ａｒｅａ（ｐ_１，ｐ_２）＝｜ｘ_１−ｘ_２｜×｜ｙ_１−ｙ_２｜である。

別の適切な距離尺度は、ブロック位置を取り、位置情報および少なくとも１個の属性要素のシーケンスを含むタプル（集合）を生成することにより、形状、タイプ等の他の属性と共に拡張する。例えば、ｏｖ、ｒａ、およびｔｐの全を考慮する場合、１個のブロックを表すタプルｔは以下の形式で与えることができる。

ここに、ｘ^ｎ _１，ｙ^ｎ _１，ｘ^ｎ _２，ｙ^ｎ _２は正規化されたｘ_１，ｙ_１，ｘ_２，ｙ_２の値、例えば[０，１］の範囲に正規化された値である。
ｒａは｜ｘ_１−ｘ_２｜／｜ｙ_１−ｙ_２｜で与えられる形状比であって、正方形の形状は０．５である一方、垂直および水平ブロックは各々０および１となるように正規化されていう。
ｏｖは重なり距離ｄ_Ｏ（ｂ１，ｂ２）、但しｄ_Ｏは重なり距離尺度関数ある。
ｔｐはブロックの種類である。例えばテキストブロックは０、画像ブロックは１である。

以下で理解されるように、タプルには３個より多いまたは少ない属性要素、例えば１、２、４個またはそれより多くの属性要素を含んでいてよい。２個のブロックｂ_１およびｂ_２の場合、両者の間のタプル距離を、両者のタプルｔ_１およびｔ_２に対して標準の余弦関数を用いて評価できる。ベクトル間の距離を測定するのに適している他の距離尺度を考慮してもよい。

これらの距離機能の任意のものを例示的な実施形態に用いて各ブロックの距離尺度を生成することができる。文書索引は、文書内の各ブロックと各代表ブロックとの全ての距離尺度を含む連接(concatenation)またはマトリクスであってよい。

また、文書索引の集合は、それ自体クラスタリングアルゴリズムを用いてクラスタ化され、各文書索引クラスタ（Ｄクラスタ）に対して「代表文書索引」が計算される。代表文書索引は、クラスタ内の全ての文書索引の数学的表現である。文書索引のクラスタ毎に１個の代表文書索引が存在する。ブロックのクラスタリングに関して、文書索引クラスタの数ｍ’は、文書の数の二乗根のように文書群内の文書数に基づいて選択できる。

文書レイアウトクエリに従い文書の問い合わせおよびランク付けを行なう例示的な方法は以下のステップを含んでいてよい。

最初に、マッチングすべきサンプル文書またはレイアウトクエリＱを受け取り、そこからレイアウトブロックを抽出する。レイアウトクエリは、ユーザー（人間その他）が文書群内で探したいブロックを表しているデータの集合である。レイアウトブロックは、任意の適当な方法でコンピュータシステムに入力されてよい。例えば、ユーザーがタッチスクリーン等の適当な装置の上にブロックを描画することによりレイアウトクエリを作成したり、ユーザーがマウス等のコンピュータ入力装置を用いてレイアウトブロックを描画することができる。あるいは、ユーザーが各ブロックの２個の位置のｘ_ｉ、ｙ_ｉ座標等の位置情報を入力することができる。別の実施形態において、ユーザーが文書をスキャンしてメモリに入力し、システムがスキャンされた文書から境界ブロックを抽出して、抽出されたブロックをレイアウトクエリとして使用可能にすることができる。

次に、Ｑから抽出されたレイアウトブロックｂ_１、ｂ_２等は以下に詳述するように、索引付け方法で文書群から生成された代表ブロックへ射影される。この結果、クエリレイアウトと類似した文書レイアウトの検索に使用できるクエリ文書索引が得られる。

クエリ文書索引は次いで、後述するようにランク付け関数を用いて各代表文書索引と比較される。クエリ索引との類似度が最大であると判定された代表文書索引を有する文書索引クラスタが選択される。次いで、選択された文書索引クラスタ内の全ての文書索引を、上で用いたランク付け関数を介してクエリ索引と比較される。各々の比較を行なわれるにつれて、（類似度の順に）最上位のランク付けされた文書索引がクエリの結果として返されるように順序付きリストが保持される。

例示的な実施形態の態様を説明すべく、図１に文書群４００（図４）に含まれるサンプル文書１００を示す。サンプル文書１００は単一ページで構成され、任意の仕方で配置されたテキスト１１０および画像１１２の両方を含んでいてよい。実施形態を例示的するために複数ページの文書を複数の個別ページ１００に分割している。

図２、３に、レイアウトブロック１０２、１０４が計算された後の図１のサンプル文書１００を示す。この計算は、文書から境界ブロックを抽出するのに適した任意の装置により実行可能である。例えば、ＰＤＦからＸＭＬへの標準的な変換ソフトウェア、並びに他のＰＤＦ、Ｗｏｒｄ、およびＰｏｓｔＳｃｒｉｐｔソフトウェアパッケージ等、そのような処理を実行可能な多くのソフトウェアソリューションが存在する。また、これらのソフトウェアパッケージは、空白、ボックス型（画像対テキスト）、色、テキストサイズ等の複数のパラメータに基づいてレイアウトブロック１０２を計算すべく調整可能である。これら例示的なレイアウトブロックは常に矩形であって、互いに重なり合っていてよい。

数学的表現として、Ｓは文書レイアウトの文書群を表し、各文書レイアウトＤが矩形ブロックの集合により与えられ、各ブロックはテキストまたは少なくとも１個の画像のいずれかを含んでいて、その位置、形状、大きさ、ブロックコンテンツ（すなわち画像またはテキスト）等の１個以上により定義される。各文書レイアウトＤはブロックの集合Ｄ＝｛ｂ_１，．．．，ｂ_ｎ）により与えられ、各ブロックｂ_ｉは２個の位置（ｐ_１，ｐ_２）により定義される。この例示的な実施形態において、２個の位置はブロックｂ_ｉの左上および右下隅を表し、ここにｐ_１＝（ｘ_１，ｙ_１）且つｐ_２＝（ｘ_２，ｙ_２）であって一例としてブロック１０４に示す。ｘおよびｙは各々当該文書の水平および垂直座標であって、当該文書の左上隅等の固定位置から測定されてよい。

図４に、文書群４００に含まれる文書からのレイアウトブロックに索引付けする例示的なシステム４０４を示す。システム４０４は、文書群４００を受信するための入力装置４０２を含んでいる。

システム４０４は、処理されている入力文書群４００（またはその一部）を格納するデータメモリ４１８を含んでいる。本システムの主メモリ４０６は、ブロック抽出モジュール４０８、ブロッククラスタリングモジュール４０９、代表ブロック計算モジュール４１０、文書索引付けモジュール４１２、および索引クラスタリングモジュール４１３を格納する。ブロック抽出モジュール４０８は、文書群４００内の各文書１００からレイアウトブロック１０２、１０４を抽出する。ブロック抽出モジュール４０８は、境界ブロックを文書から抽出するのに適した任意のモジュールであってよい。あるいは、カスタムブロック抽出モジュールが実装されていてもよい。ブロッククラスタリングモジュール４０９は、ブロック抽出モジュール４０８から抽出されたブロック１０２、１０４を所定の数であるｋ個クラスタにクラスタリング（すなわち「グループ化」）する。代表ブロック計算モジュール４１０は、ブロッククラスタリングモジュール４０９により生成された各クラスタ（図９、１０の項目９００）に対する代表ブロック（図９、１０の項目９０４）を計算する。文書索引付けモジュール４１２は、文書内のブロック１０２、１０４を代表ブロック計算モジュール４１０により生成された各代表ブロック（図９、１０の項目９０４）と比較することにより、文書群４００からの各文書１００に対して文書索引を生成する。索引クラスタリングモジュール４１３は次いで、文書索引付けモジュール４１２により計算された文書索引を将来使用すべくクラスタリングする。ブロック抽出モジュール４０８、ブロッククラスタリングモジュール４０９、代表ブロック計算モジュール４１０、文書索引付けモジュール４１２、および索引クラスタリングモジュール４１３は、ハードウェアまたはソフトウェアあるいはその組合せとして実装されていてよい。この例示的な実施形態において、これらの構成要素４０８、４０９、４１０、４１２、４１３は主メモリ４０６に保存されたソフトウェア命令の形式であって、メモリ４０６と通信状態にあるコンピュータプロセッサ４１６により実行される。コンピュータのＣＰＵ等であるプロセッサ４１６は、メモリ４０６に保存された処理命令を実行することによりコンピュータシステム４０４の動作全体を制御することができる。コンピュータシステムの構成要素４０６、４１６、４１８は、データ制御バス４１４を介して接続されていてよい。

例示的なシステム４０４は出力装置４２０を含んでいて、メモリ４０６に常駐するモジュール４０８、４０９、４１０、４１０、４１２、４１３により生成された文書索引の集合４２２を出力する。文書群内の文書の文書索引の集合４２２は、ＲＡＭメモリ４０６、４１８にローカルに保存されていても、あるいはハードディスクまたはデータベース等の記憶装置に保存されて、索引が生成された各文書に何らかの方法でリンクされていてもよい。

図５に、入力文書レイアウトＤに基づいて文書への問い合わせおよびランク付けを行なう例示的なシステム５０６を示す。システム５０６は、レイアウトクエリＱ５００と、文書索引、代表ブロック、文書索引クラスタ（Ｄクラスタ）、および代表文書索引の集合４２２の両方を受信する入力装置５０４を含んでいる。レイアウトクエリ５００を入力する前に、当該文書群の文書索引の集合、代表ブロック、Ｄクラスタ、および代表索引４２２は、ＲＯＭまたはＲＡＭドライブ等の任意の適当な物理的媒体に格納されて、あるいは例えばインターネットまたはネットワークを介した搬送波の形式で本システムに入力されてもよい。あるいは、レイアウトクエリ５００および文書索引、代表ブロック、索引Ｄクラスタ、および代表索引の集合４２２は、計算装置５０６自体（すなわち、装置５０６は文書レイアウト索引付けシステム４０４を含んでいてよい）の内部で生成される。入力装置５０４は、モデム接続、有線または無線接続、ＵＳＢポート、フロッピー（登録商標）またはハードディスクのスロット等を含んでいてよい。

システム５０６は、入力されたレイアウトクエリ５００が処理される間にこれを格納するデータメモリ５２２を含んでいる。文書索引、代表ブロック、Ｄクラスタ、および代表索引４２２の集合はまた、メモリ５２２または別個のメモリ等のコンピュータメモリに保存される。本システムの主メモリ５０８は、文書クエリモジュール５１０および文書ランク付けモジュール５１２を格納する。文書クエリモジュール５１０は、入力されたレイアウトクエリ５００に類似する文書を表す可能性のある文書索引４２２の集合から１個以上の索引を識別する。文書ランク付けモジュール５１２は、１個以上のランク付け関数に従い、文書クエリモジュール５１０により識別された索引のランク付けを行なう。文書クエリモジュール５１０および文書ランク付けモジュール５１２は、ハードウェアまたはソフトウェアあるいはその組合せとして実装されていてよい。本実施形態において、文書クエリモジュール５１０および文書ランク付けモジュール５１２は、主メモリ５０８に保存されたソフトウェア命令を含んでいて、メモリ５０８へアクセス可能なコンピュータプロセッサ５１６により実行される。コンピュータのＣＰＵ等のプロセッサ５１６は、メモリ５０８に保存された処理命令を実行することにより、コンピュータシステム５０６の動作全体を制御することができる。コンピュータシステムの構成要素５０８、５１６、５１８は、データ制御バス５１４を介して接続されていてよい。

図５の例示的なシステム５０６は、出力装置５１８を含んでいて、レイアウトクエリ５００に類似したレイアウトを有するとシステム５０６が認識したランク付けされた文書のリスト５２０を出力する。例示的な出力５１８は、画面またはモニタ等のディスプレイ５２４、ランク付けされた文書のリスト５２０を格納できるメモリストレージ、またはクライアント端末１１００の１個以上へ有線または無線接続により接続されている。クエリを入力しているユーザーは、取得された文書をディスプレイ画面上で見て、それらが検索クエリに対応するものであるか否かを判定できる。対応していない場合、ユーザーはレイアウトクエリに属性を追加すること選択できる。

図４、５に示す例示的なシステム４０４、５０６は、単一の一体型システムとして組み合わされていてよい。

図６に、図４のシステムにより実行可能な、文書群内の複数の文書の索引を生成する方法を示す。本方法はＳ６００から開始される。

Ｓ６０２において、文書群４００からＮ個の文書１００が入力装置４０２に与えられる（それらが既にシステム４０４へ入力されていない場合）。Ｎ個の文書１００は、処理のためにシステムメモリ４１８またはデータメモリ４０６に取り込まれる。

Ｓ６０４において、ブロック抽出モジュール４０８は各文書１００からレイアウトブロック１０２、１０４等を抽出して、集約されたブロックデータ（すなわち、全ての文書からの全てのブロック）をメモリ４０６、４１８に保存する。

Ｓ６０６において、ブロッククラスタリングモジュール４０９は代表ブロック計算モジュール４１０と連動して、ブロック抽出モジュール４０８により、メモリ４０６、４１８に格納された集約ブロックデータをクラスタリングして、各クラスタに対して代表ブロック９０４を生成する。代表ブロック９０４は、所与のクラスタ９００内の全てのブロックの平均を表す場合がある。

Ｓ６０８において、文書１００に含まれるレイアウトブロック１０２、１０４を代表ブロック９０４に射影することにより、文書群４００内の各文書１００に対して文書索引Ｄ^Ｒを生成する。

Ｓ６０８を説明するために、ブロック１０２、１０４の集合により文書レイアウトＤが与えられると仮定する。ここに

であり、ｎはレイアウト内のブロックの数である。各ブロックｂ_ｉに対して、代表ブロック

（Ｂ_ｊは代表ブロックＢ^Ｒの集合内のブロックである）に対する類似度は、上述の式（２）または（３）の一方のようにブロック距離機能Ｄを用いて測定される。これによりマトリクス

が得られ、ここにｖ_ｉｊ＝１−Ｄ（ｂ_ｉ，Ｂ_ｊ）、ｍはブロッククラスタ（または代表ブロック）の数である。以下のようにマトリクスＶ（ｄ）をＢ^Ｒに射影する２通りの方法がある。

第１の方法は、所与の代表ブロックＢ_ｊとのページブロックの全ての「重なり」を集約する機能を使用する。

すなわち、所与のクラスタに対してＶ（ｄ）マトリクスに含まれる全ての距離を合計して単一の値を求める。

第２の関数は、各代表ブロックＢ^Ｒに対して最も近いブロックを決定し、索引値を選択されたページブロックと代表ブロックとの間の距離として設定する。

を計算し（文書のブロックを設定されたＢ^Ｒに射影することにより）、オプションとしてより詳細な情報を用いて文書索引を拡張することができる。例えば、テキスト文書の索引付けに用いられる、一般的に用いられる「用語出現頻度―逆文書出現頻度」モデル（ＴＦ−ＩＤＦ）と互換性を有する情報を追加することができる。ＴＦ−ＩＤＦモデルの説明はｈｔｔｐ:／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｔｆ−ｉｄｆを参照されたい。本明細書に記述する例示的な実施形態において、（上で計算した）ｖ_ｉｊは、テキスト文書内の用語出現頻度と同様に代表ブロックＢ^ｒ _ｊに関する代表ブロック

の重みである。

このように、文書群４００内のＢ^ｒ _ｊの重要性に追加的な重みを与えることができる。ｂｆ_ｊが、ブロックｂｆ_ｊ＝｜Ｃ_ｊ｜）に関連付けられたブロックの数により与えられる代表ブロック頻度（ＢＦ）を表す場合、ブロック重み逆ブロック出現頻度（ＢＷＩＢＦ）モデルを用いてレイアウトＤ内において次式のようにブロックｂ_ｉに重みｂｗｉｂｆ_ｉｊを割り当てることができる。

ここに、Ｎは文書群４００内の文書数であり、
ｉ＝１〜ｎ、
ｊ＝１〜ｍ、
ｎはクラスタ内のブロックの数、
ｍはブロッククラスタの数である。

更に、ＢＷＩＢＦ索引値は式（４）または（５）を式（６）に適用して式（７）を導くことにより得られる。

ここに、ｗ’_ｊはｗ_ｊがＢＷＩＢＦ値により重み付けされた後のクラスタｊに関する索引値である。

Ｓ６１０において、索引クラスタリングモジュール４１３は、ステップＳ６０８で生成された文書索引をｍ’個の文書索引クラスタ（Ｄクラスタ）にクラスタリングする。ここに、

である。この例示的な実施形態において、モジュール４１３は、ｋ平均法または階層的クラスタリングアルゴリズムのいずれかによりクラスタリングを実行するが、任意のクラスタリングアルゴリズムを用いてよい。

Ｓ６１２において、索引クラスタリングモジュール４１３により生成されたｍ’個のＤクラスタ各々に対して代表索引を計算する。この索引は、Ｄクラスタ内の全ての索引の重心（例：平均）を計算することにより生成される。例えば、あるＤクラスタが２個の索引、すなわち索引１＝｛２、６、１０、５｝および索引２＝｛６、１２、８、１１｝を含んでいる場合、Ｄクラスタの代表索引は｛４、９、９、８｝となるであろう。

Ｓ６１４において、文書索引、代表ブロック、Ｄクラスタ、および代表Ｄクラスタ索引はメモリ４０６、４１８に格納されるかまたは記憶装置４２２へ出力される。

本方法はＳ６１６において終了する。

Ｓ６０６の特定の態様を図７に示し、以下に更に詳細に述べる。

ステップＳ６０６を実行する前に、文書群４００からのＮ個の文書１００がシステムメモリ４０６またはデータメモリ４１８に取り込まれていて、全てのレイアウトブロック１０２、１０４がメモリ４０６、４１８内のＮ個の文書１００から抽出されている。ステップＳ７００において、ブロッククラスタリングモジュール４０９は、メモリ４０６、４１８に含まれる全てのブロックに対してクラスタリングアルゴリズムを実行する。数学的表現として、Ｂは文書群４００の文書のレイアウトＳにおける全てのブロック１０２、１０４の集合を表し、すなわち

である。Ｂに対して実行されるクラスタリングは例えば、所定のクラスタ数ｍを用いてｋ平均法アルゴリズムにより実行可能である。所定のクラスタ数ｍは、文書群の大きさ、抽出されるブロックの数、ブロック内での統計的変動等の要因に基づいて選択される。クラスタリングアルゴリズムが安定解に収束したならば、ブロックのクラスタ

が得られる。

大多数のブロックが一意であって索引付けのために直接使用できず、異なるレイアウトに索引付けを行なうためにＢ内の個々のブロック全てを使用することは現実的でないため、代表ブロックの集合ＲＢが構成される（１クラスタ毎に１個の代表ブロック）。Ｓ７０２に示すように、各クラスタ９００、Ｃ_ｉ＝｛ｂ_ｊ｝、に対して

を用いて重心９０４が計算される。重心９０４は、クラスタ９０４内の各ブロックｂ９０２の対応する位置の本質的に平均である２個の位置（ｐ１およびｐ２）で構成される。重心９０４が計算された後で、クラスタ９００の代表ブロックＢ^ｒ _ｉとして設定される。図９、１０に、サンプル文書群４００から取られたブロック９０２のクラスタ９００および対応する重心（すなわち代表ブロック）９０４の例を示す。

表１は、図６、７の文書索引付け処理を要約した例示的なアルゴリズムを含んでいる。

図８に、入力クエリレイアウトを処理して、上位ｋ個の一致する文書索引または対応する文書を生成する処理を示す。図に示す方法は、図５で記述したシステムにより実行可能である。本方法はＳ８００から開始される。

Ｓ８０２において、レイアウトクエリ５００と、文書索引、代表ブロック、索引Ｄクラスタおよび代表索引の集合４２２が入力装置５０４に与えられる（既にシステム５０６に入力されていない場合）。入力５００、４２２は、処理のためにシステムメモリ５０８またはデータメモリ５２２に取り込まれる。

Ｓ８０４において、文書クエリモジュール５１０は、レイアウトクエリ５００からレイアウトブロック１０２、１０４を抽出する。図２、３に関して上述したように、このステップは、文書から境界ブロックを抽出するのに適した任意の装置により実行可能である。例えば、ＰＤＦからＸＭＬへの標準変換ソフトウェア、並びに他のＰＤＦ、Ｗｏｒｄ、およびＰｏｓｔＳｃｒｉｐｔソフトウェアパッケージ等、そのような処理を実行可能な多くのソフトウェアソリューションが存在する。また、これらのソフトウェアパッケージは、空白、ボックス型（画像対テキスト）、色、テキストサイズ等の複数のパラメータに基づいてレイアウトブロック１０２、１０４を計算すべく調整可能である。これら例示的なレイアウトブロックは常に矩形であって、互いに重なり合っていてよい。

Ｓ８０６において、文書クエリモジュール５１０は、レイアウトクエリ５００に含まれる抽出されたレイアウトブロック１０２、１０４を、メモリに入力された代表ブロック９０４の集合に射影することにより、クエリレイアウトの索引Ｑ^Ｒを計算する。当該投影アルゴリズムは、Ｓ６０８の文書群索引に関して上述したものと同一である。クエリ索引Ｑ^Ｒが得られたならば、これを索引Ｄ^Ｒと比較することによりレイアウトクエリ５００とＤ^Ｒが表す文書１００の類似度を判定することができる。数学的表現として、クエリＱと文書Ｄの類似度は、代表ブロックの集合Ｂ^Ｒ、すなわち

へのそれらの射影により近似される。ここに、クエリおよび文書索引はベクトル

である。ｒａｎｋ（Ｑ，Ｄ）関数は単に標準の余弦関数として定義可能である。

余弦関数は全ての文書に１（最適一致）と０の間の値を与えることにより、それらのランク付けを行なう。ある場合には、上式（８）を用いて文書ＤとクエリＱの距離を近似することにより、以下の例に示すような若干の不規則性が生じることがある。簡便のため、ｋ＝２且つクエリ索引Ｑ^Ｒ＝｛０．８６，０．０｝であると仮定する。そのようなまばらなクエリ索引を用いれば、２個の文書Ｄ_１ ^Ｒ＝｛０．９６，０．０｝およびＤ_２ ^Ｒ＝｛０．４６，０．０｝は同じ余弦値１を与える一方でＤ_１ ^Ｒは明らかにＤ_２ ^Ｒより良いランク付けをなされるはずである。問題は、ｋ次元空間において、２個の索引ベクトル間の角度はそれらの類似度の一部しか反映しないという事実から生じる。まばらな索引は特にこの問題の影響を受けやすい。

一実施形態において、まばらな索引の問題は、余弦に基づくランク付け関数を修正して索引の絶対値を積分することにより対処される。以下の関数は、クエリと文書ベクトルの差異により余弦を因数分解する。

関数ｒａｎｋ_２は完全一致の場合、１を与える。しかし、同じクエリ索引に対して、２個の文書Ｄ_１ ^Ｒ＝｛０．９６，０．０｝およびＤ_２ ^Ｒ＝｛０．７６，０．０｝が依然として同一ランクを割り当てることが判明している。従って、ｒａｎｋ_２関数は更に次式のように修正することができる。

但し、要素に基づく差異は高い方の値へバイアスされている。

式（８）、（９）の最初の２個の関数とは異なり、式（１０）、（１１）における最後のランク関数が非対称である点に注意されたい。

従って、式（８）、（９）、および（１０）のどのランク付け関数を用いてもレイアウト索引の類似度を比較可能であるが、ランク付け関数（１０）がより良い結果をもたらす場合もある。

Ｓ８０８において、文書クエリモジュール５１０は、上述のランク関数（８）、（９）、および（１０）の１個で用いて、レイアウトクエリ索引Ｑ^ＲとＳ８０２で入力された各々のＤクラスタ代表索引（Ｓ６１２により計算済み）との間の距離（類似度）を計算する。文書クエリモジュール５１０はまた、類似度が最大であるＤクラスタ代表索引を追跡して、対応するＤクラスタを「最上位Ｄクラスタ」として指定する。最上位Ｄクラスタは、レイアウトクエリ索引Ｑ^Ｒと最も類似していると判定された索引Ｄ^Ｒのクラスタを含んでいる。

Ｓ８１０において、レイアウトクエリＱ^Ｒに関して最上位Ｄクラスタ内の各Ｄ^Ｒのランクを計算する文書ランク付けモジュール５１２に制御が渡される。同時に、文書ランク付けモジュール５１２は、計算されたランクに応じて文書索引Ｄ^Ｒの順序付きリストを保持する。

Ｓ８１２において、文書ランク付けモジュール５１２は入出力装置５１８を介して、Ｓ８１０で生成された順序付きリストに従い上位ｋ個の文書５２０のリスト等の応答文書を、ディスプレイ５２４、クライアント端末１１００その他の人間可読インターフェースの１個以上に出力する。あるいは、文書ランク付けモジュールは上位ｋ個の文書のリスト５２０ではなく、上位ｋ個の文書１００を出力してもよい。

本方法はＳ８１４において終了する。

表２は、図８の文書索引付け処理を要約したアルゴリズムを含んでいる。

図９、１０は、各々レイアウトブロック９０２のクラスタ９００を示す。ここに、代表ブロック９０４はクラスタ９００内の全てのブロック９０２の平均（ここで算術平均）として計算されている。

図１１に、文書レイアウトにより文書クエリシステムへの問い合わせを行なう例示的なシステムを示す。本システムは、文書クエリシステム５０６、クライアント端末１１００、ネットワーク接続１１０６、およびネットワークメッセージ５００、５２０、１１０４、１１０２を含んでいる。文書クエリシステム５０６は、ネットワーク接続１１０６を介して少なくとも１個のクライアント端末１１００に接続している。ネットワーク接続１１０６は、有線または無線であっても、恒久的接続または一時的接続であっても、あるいは共有バスを介したクライアント端末１１００と文書クエリシステム５０６との間の直接接続であってもよい。文書クエリシステム５０６は更に、文書レイアウト索引付けシステム４０４を含んでいてよい。この例示的な実施形態において、クライアント端末１１００のユーザーは、ネットワーク１１０６を介してレイアウトクエリ５００を文書クエリシステム５０６へ送信する。文書クエリシステム５０６は次いで、レイアウトクエリ５００を処理して、レイアウトクエリ５００に最も良く一致するランク付けされたｋ個の文書５２０のリストを返す。クライアント端末１１００は次いで、ユーザーが取得（または閲覧）したいと思われる文書１００を示すネットワークメッセージ１１０４を文書クエリシステム５０６へ送信する。文書クエリシステムは次いで、要求された文書１１０４を取得して、ユーザーが使用すべくネットワーク１１０６を介してクライアント端末１１００へ送る。クライアント端末は、取得された文書および／またはそのレイアウトを表示するための、およびクエリを作成するためのディスプレイ画面を含んでいてよい。

１００サンプル文書、１０２，１０４レイアウトブロック、１１０テキスト、１１２画像、４００文書群、４０２入力装置、４０４文書レイアウト索引付けシステム、４０６メモリ、４０８ブロック抽出モジュール、４０９ブロッククラスタリングモジュール、４１０代表ブロック計算モジュール、４１２文書索引付けモジュール、４１３索引クラスタリングモジュール、４１４バス、４１６コンピュータプロセッサ、４１８データメモリ、４２０出力装置、４２２文書索引，代表ブロック，索引Ｄクラスタ，および代表索引の集合、５００レイアウトクエリ、５０４入力装置、５０６文書問い合わせおよびランク付けシステム、５０８メモリ、５１０文書クエリモジュール、５１２文書ランク付けモジュール、５１４バス、５１６コンピュータプロセッサ、５１９出力装置、５２０ランク付けされた文書のリスト、５２４ディスプレイ、９００クラスタ、９０２ブロック、９０４重心、１１００クライアント端末、１１０２，１１０４ネットワークメッセージ、１１０６ネットワーク接続、Ｐ_１，Ｐ_２位置。

Claims

文書レイアウトに従い文書群の索引の集合を生成するコンピュータ実装された方法であって、
複数の文書をコンピュータメモリに提供するステップと、
前記提供された文書からレイアウトブロックを抽出するステップと、
コンピュータプロセッサを用いて、前記レイアウトブロックを複数のレイアウトブロッククラスタにクラスタリングするステップと、
前記レイアウトブロッククラスタの各々に対して代表ブロックを計算するステップと、
前記文書のレイアウトブロックおよび前記計算された代表ブロックに基づいて各々の提供された文書に対して文書索引を生成するステップと、
前記生成された文書索引を複数の文書索引クラスタにクラスタリングするステップと、
前記文書索引クラスタの各々に対して代表クラスタ索引を生成するステップと、
前記生成された文書索引、代表ブロック、文書索引クラスタ、および代表クラスタ索引をメモリへ出力するステップと、を含む方法。
文書索引を生成するステップが、
各レイアウトブロック用のタプルおよび各代表ブロック用のタプルであって各々が各ブロックの位置情報および各ブロックの少なくとも１個の属性値を含むタプルを生成するステップ、および
前記レイアウトブロックタプルと前記代表ブロックタプルとの間の距離尺度を計算するステップ、
を含むアクションの集合を実行することにより、前記提供された文書内の各レイアウトブロックと各代表ブロックとの類似度を計算するステップと、
前記計算された類似度に基づいて各々の提供された文書に対する文書索引を生成するステップと、を含む、請求項１に記載の方法。
文書レイアウトに従い文書群への問い合わせを行なうコンピュータ実装された方法であって、
コンピュータメモリに、
各々の代表ブロックが前記文書群内の文書から抽出されたレイアウトブロックの各クラスタを代表する代表ブロックの集合と、
各々の文書索引が前記文書群内の各文書のレイアウトブロックを代表し、各々の文書索引が文書索引クラスタの集合の各１個に割り当てられている文書索引の集合と、
各文書索引クラスタの代表文書索引であって各々が前記文書索引クラスタに割り当てられた文書索引から導出された代表文書索引と、を与えるステップと、
入力文書レイアウトクエリからレイアウトブロックを抽出するステップと、
前記文書レイアウトクエリから抽出されたレイアウトブロックを前記代表ブロックの集合に射影してクエリ文書索引を生成するステップと、
コンピュータプロセッサを用いて、前記クエリ文書索引と前記代表文書索引の集合内の各代表文書索引との類似度を計算するステップと、
前記クエリ文書索引との類似度が最大であると判定された代表文書索引を含む最上位文書索引クラスタを識別するステップと、
前記最上位文書索引クラスタ内の各文書索引と前記クエリ索引との類似度を計算して、類似度が最大である文書の集合を識別するステップと、
前記類似度が最大である文書の集合内の文書に関する情報を出力するステップと、を含む方法。
文書レイアウトに従い文書群への問い合わせを行なうコンピュータ搭載されたシステムであって、
（ｉ）文書索引の集合と、
代表ブロックの集合と、
文書索引クラスタの集合と、
代表索引の集合と、
文書レイアウトクエリと、
をメモリに受け入れるべく構成されたデータ入力モジュールと、
（ｉｉ）前記文書レイアウトクエリからレイアウトブロックを抽出し、
前記文書レイアウトクエリから抽出されたレイアウトブロックを前記代表ブロックの集合に射影してクエリ索引を生成し、
ランク付け関数を用いて、前記クエリ索引と前記文書索引クラスタの集合内の各代表索引との類似度を計算し、
類似度が最大である代表索引を含む文書索引クラスタを最上位文書索引クラスタとして識別して、
前記ランク付け関数を用いて、前記最上位文書索引クラスタ内の各文書索引と前記クエリ索引との類似度を計算すべく構成された文書クエリモジュールと、
（ｉｉｉ）前記最上位文書索引クラスタ内の各文書索引と前記クエリ索引との間の前記計算された類似度に基づいて上位ｋ個の文書の順序付きリストを保持して、
前記順序付きリストを出力すべく設定された文書ランク付けモジュールとを含むシステム。