JP2008234658A - テキスト検索エンジンにより検索されたページ番号付き文書全体を通してのコースツーファイン・ナビゲーション - Google Patents

Abstract

【課題】 テキスト検索エンジンからの検索結果を可視化するための方法及び装置を提供する。
【解決手段】 最初に、質問語が受け取られる。各々が少なくとも１つの構造要素を有する文書と、文書のインデックスとを格納したデータベースを用い、質問語に基づいて第１の結果の組が生成される。第１の結果の組に関連する構造要素が検索される。構造要素と質問語との間の所定の関係に基づいて第２の結果の組が生成される。可視化された第２の結果の組が表示される。
【選択図】図１

Description

本発明はテキスト検索分野に関し、より具体的には、テキスト検索結果の可視化に関する。

デスクトップ検索技術は、近年、大きな関心を集めている。デスクトップ検索エンジンの背後にある標準的な技術はテキスト検索エンジンである。つまり、テキストがファイル群から抽出され、このテキストにインデックスが付けられ、そしてインデックス付きテキストに対して質問語の検索が実行される。テキストは一般的にページ情報なしで抽出される（これは、歴史的にウェブ検索技術がデスクトップファイルに適応されてきたことに起因する）。典型的な検索の筋書きにおいては、整合した結果の一覧が返され、それは検索エンジンによって定められたスコア順、ファイル名によるアルファベット順、又はアプリケーションによってソートされる。個人のデスクトップコンピュータのファイル量が増大するにつれ、返される結果の一覧はあまり参考にならなくなり得る。ユーザが“何故、この文書が受け取られたのか”という質問をすることが頻繁にあるが、検索結果の表示を介してこの質問への回答を得ることはない。

１つの重要な文書の種類に、例えば“ｐｄｆ”又は“ｄｏｃ”等のフォーマットにより表される、ページ付き文書（すなわち、フォーマット化された文書）がある。これらの文書は電子的に作成されたものであり得るし、あるいはスキャナによってデスクトップ又はローカルファイル記憶システムに送信されたものでもあり得る。この場合、検索可能なインデックスを作成することができるように、光学式文字認識（ＯＣＲ）処理が実行されなければならない。

さらに、検索クエリー（query）の結果として一覧内に表示される複数ページの文書全体を通してのナビゲーションは、文書を選択し、該文書が書かれた或いはフォーマットされたアプリケーションを立ち上げ、且つ該アプリケーションの制御を用いてページ全体をナビゲートし、更には場合により該アプリケーション内で同一の用語に関して二度目の検索を実行することなしでは、現時点で不可能である。最新技術と言える多機能周辺機器（ＭＦＰ）に内蔵された検索エンジンの場合、検索エンジンに加えて文書処理アプリケーションが実装される必要がある。
米国特許出願公開第２００４／０１４６１９９号明細書 米国特許出願公開第２００４／０１４５５９３号明細書 米国特許出願公開第２００６／０１３６４９１号明細書

本発明は、テキスト検索エンジンによって検索されたページ付き文書全体を通してのコースツーファイン・ナビゲーションを実現する方法及び装置を提供することを目的とする。

本発明の一実施形態に従った方法は：質問語を受け取る段階；各々が少なくとも１つの構造要素を有する複数の文書と該複数の文書のインデックスとを格納したデータベースを用いて、質問語に基づく第１の結果の組を生成する段階；第１の結果の組に関連する複数の構造要素を検索する段階；上記の複数の構造要素と質問語との間の所定の関係に基づく第２の結果の組を生成する段階；及び第２の結果の組を表示する段階を有する。

本発明は添付の図面に記載された図を参照して、限定ではなく例示として説明される。

テキスト検索エンジンによって検索されたページ付き文書の検索結果のコースツーファイン（coarse-to-fine）ナビゲーションのための方法及び装置を説明する。一実施形態において、電子文書の検索システムは、１つのテキスト検索エンジンと、文書のページ及びページの部分（構造要素としても知られている）のビットマップ若しくは画像のデータベースとにより動作する。検索システムは、質問語のヒットが何処で発生したかを一層良好に把握できるように、文書を“覗き込む”能力をユーザに提供する。

以下の記載にて、本発明の幾つもの実施形態の良好な理解を提供するために、例えば具体的なシステム、構成要素及び方法などの数多くの具体的詳細事項を説明する。しかしながら、当業者に明らかなように、本発明の少なくとも一部の実施形態はこれらの具体的詳細事項を用いずに実施されてもよい。また、本発明をいたずらに不明瞭にしないよう、周知の構成要素及び方法は簡易的なブロック図の形態で表し、詳細には説明しないこととする。従って、ここで説明される具体的詳細事項は単なる例示である。具体的な実施はこれら例示的な詳細事項とは異なるものとなり得るが、依然として本発明の概念及び範囲に含まれるものである。

本発明の実施形態は、後述されるような様々な操作を含んでいる。これらの操作はハードウェア部品、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実行され得る。ここでは、用語“結合される”は、直接的に、あるいは１つ又は複数の介在部品を介して間接的に、の何れで結合されることをも意味する。ここで説明される様々なバス上で供給される信号は、その他の信号と時分割多重されて１つ以上の共通バス上で供給されてもよい。また、回路部品群又はブロック群の間の相互接続は、バス群として、あるいは単一の信号線として示され得る。バスの各々は代替的に１つ又は複数の信号線であってもよく、単一の信号線の各々は代替的にバスであってもよい。

一定の実施形態は、機械可読媒体に格納された命令を含むコンピュータプログラムとして実施されてもよい。これらの命令は上述の操作を実行するように汎用又は専用のプロセッサをプログラムするために使用され得る。機械可読媒体には、機械（例えば、コンピュータ）によって読み取り可能な形態（例えば、ソフトウェア、処理用アプリケーション）で情報を記憶あるいは伝送する如何なる機構も含まれる。機械可読媒体には、これらに限定されないが、磁気記憶媒体（例えば、フロッピー（登録商標）ディスク）；光学記憶媒体（例えば、ＣＤ−ＲＯＭ）；磁気光学記憶媒体；読み出し専用メモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）；消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）；フラッシュメモリ；電気的、光学的、音響的若しくはその他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号など）；又は電子的な命令を格納することに適したその他の種類の媒体が含まれ得る。

また、一部の実施形態は、機械可読媒体が２つ以上のコンピュータシステムに格納される、且つ／或いは機械可読媒体が２つ以上のコンピュータシステムによって実行される、分散型コンピュータ環境にて実施されてもよい。さらに、コンピュータシステム間で伝送される情報は、コンピュータシステムを接続する通信媒体から引き出されてもよいし、あるいはそれに押し込まれてもよい。

図１は、ページ付けられた文書の検索システムの一実施形態を例示するブロック図である。ページ付き文書104はＯＣＲ処理106によって、また、構造要素分類器108によってスキャンされる。ＯＣＲ処理106は検索可能な電子フォーマットのテキストを提供する。構造要素分類器108は、スキャンされたページ付き文書104に含まれる構造要素の分類を規定する。例えば、ページ付き文書は表題、本文、図、及び図の見出しを含み得る。一実施形態において、ＯＣＲ処理106は表題のテキスト、本文のテキスト、及び見出しのテキストを抽出する。一実施形態において、構造要素分類器108は図を描画構造要素として分類し、本文をテキスト構造要素として分類する。構造要素分類器108は、「Reformatting Documents Using Document Analysis Information」という発明名称で２００３年１月２９日に出願された米国特許出願第１０／３５４８１１号（公開番号２００４／０１４６１９９；公開日２００４年７月２９日）、「Resolution Sensitive Layout of Document Regions」という発明名称で２００３年５月９日に出願された米国特許出願第１０／４３５３００号（公開番号２００４／０１４５５９３；公開日２００４年７月２９日）、「Semantic Document Smartnails」という発明名称で２００４年１２月２２日に出願された米国特許出願第１１／０２３１４２号（公開番号２００６／０１３６４９１；公開日２００６年６月２２日）、「Creating Visualizations of Documents」という発明名称で２００４年１２月２０日に出願された米国特許出願第１１／０１８２３１号、及び「Methods for Computing a Navigation Path」という発明名称で２００６年１月１３日に出願された米国特許出願第１１／３３２５３３号に記載された構造要素分類器の何れであってもよい。なお、これらの米国特許明細書は参照することによりここに組み込まれる。

その他の構造要素の例には、これらに限られないが、本文段落要素、グラフィック要素、写真要素、及び図要素がある。各構造要素は更に、付加的分類を含んでいてもよい。例えば、本文段落要素は表題部、著者部、発行元名称部、参考文献部、及び脚注部を含んでいてもよい。また、グラフィック要素はブロック図、棒グラフ、組織図、及びロゴを含んでいてもよい。

ＯＣＲ処理106からのテキスト及び構造要素分類器108からの構造要素はデータベース114に記憶される。一実施形態において、各構造要素は画像ビットマップとしてデータベース114に記憶される。各画像ビットマップには、対応するメタデータが添付されてもよい。一実施形態において、メタデータは構造要素の種類（例えば、テキスト、グラフィック、写真など）とともに、元のページ画像における切り取り座標を記述する。一実施形態において、データベース114はそのコンテンツのインデックスを含んでいてもよい。メタデータもインデックスを有しており、故に検索可能である。

ユーザ102がテキスト検索エンジン110に検索語すなわちテキストの質問語を与える。他の一実施形態に従って、検索範囲を限定して狭くするための検索フィールドがテキスト検索エンジン110に与えられる。テキスト検索エンジン110はデータベース114内のインデックスにアクセスし得る。上述のように、一実施形態において、データベース114はページ群に含まれる画像及び構造要素を格納している。

検索語及び検索フィールドが与えられると、テキスト検索エンジン110は指定されたフィールド内のインデックスに該検索語を含む全ての文書ファイルを検索する。このファイルの集合の伝統的な出力は“ヒットセット”と呼ばれ得る。

豊富化ヒットセットプロセッサ112は、テキスト検索エンジン110からのヒットセットを使用して、ヒットセット内の構造要素のデータベース114に問い合わせを行う。豊富化ヒットセットプロセッサ112は、検索語及びヒットセットと予め指定された（あるいは所定の）関係を有する構造要素を検索する。この関係はユーザ、又は例えばＩＴサービス者などの別の関係者によって規定されていてもよいし、あるいは構造要素分類器の使用中に作り出されたデータベース114内のメタデータを介して規定されていてもよい。検索語と構造要素との間の関係は、検索語がグラフィック要素によって覆われた領域内に存在するか、検索語が図の見出し要素、表題要素若しくは参考文献要素内に存在するか、又は検索語が写真要素若しくはグラフィック要素の近傍に存在するか、等といった関係を含み得る。

検索語と検索された構造要素との対は、豊富化されたヒットセットを形成するものであり、豊富化ヒットセットプロセッサ112へと返される。一実施形態において、豊富化ヒットセットプロセッサ112は、例えば文書当たりの用語ヒット数、構造要素分類ごとの文書当たりの用語ヒット数など、豊富化ヒットセットの更なるパラメータを計算する。一実施形態において、豊富化ヒットセットは：
文書に関する：ページ数、質問語ヒット総数；ファイル名、テキストの概要；
ページに関する：ページのビットマップ；ヒット数、ヒット位置、ヒットの書体特性；
構造要素分類に関する：テキスト、グラフィック、写真；
ページ上の個々の構造要素に関する：テキスト、グラフィック、写真領域のビットマップ；構造要素付近でのヒット数、ヒットの位置及び書体特性；
の何れか又は全てを含んでいてもよい。

一実施形態において、豊富化ヒットセットプロセッサ112の結果は、様々な可視化モジュールであるヒットリスト可視化モジュール116、構造要素分類可視化モジュール118、及び構造要素可視化モジュール120に送られる。これら可視化モジュールについては更に後述する。

一実施形態において、可視化モジュール116、118、120の出力は、ユーザ102が視認可能な検索インターフェースを形成するＧＵＩ表示122へと送られる。一実施形態において、ユーザ102が例えばクリック、ドラッグ・アンド・ドロップ又はマウスの重ね合わせなどのＧＵＩアクションを実行することを可能にするユーザ入力検出器が含まれていてもよい。

一実施形態において、可視化モジュールは部分モジュール116、118及び120を含んでいる。各可視化モジュールは構造的なヒットセット階層の、例えば文書レベル、ページレベル、構造要素分類レベル又は個々の構造要素レベルといった、特定のレベル上で機能する。

ヒットリスト可視化モジュール116は文書レベルでの表示を生成し得る。図６は、このような文書レベルでの表示608の一例を示している。この表示はファイル名606、文書内で発見された特定の検索語（この例においては用語“スマートネイル（smartnail）”）のヒット数604、検索語を含むテキストの概要、及びアプリケーションのアイコンを含み得る。また、文書内で発見されたヒットの数は数字又はスコアの棒グラフの何れで示されてもよい。一実施形態において、絶対的な関連性スコアが検索エンジンによって計算され、表示される。一実施形態において、構造要素分類602が選択可能なフィールドとして表示される。図６においては、ユーザは検索エンジンに、用語“スマートネイル（smartnail）”を検索し、全体でのヒット数に従って表示するように要求している。“テキストコンテンツ”、“図”、“グラフィック”又は“ページ数”のボックスがチェックされる場合、そのカテゴリーに現れる検索語のヒット数604が示される。例えば、“図”ボックスがチェックされると、ヒット数604は図の中に用語（この例では“スマートネイル（smartnail）”）が現れる回数を示すことになる。

構造要素分類可視化モジュール118は構造要素分類レベルでの表示を生成し得る。図７は、このような構造要素分類レベルでの表示712の一例を示している。ユーザは使用可能な構造分類702の１つ又は複数を選択することができる。この選択に応じて、選択された分類702を含むサムネイルページ706が示され得る。使用可能な構造要素分類の選択肢は、図７に例示されているようにチェックボックスの一覧によって指し示されてもよい。図７はまた、ファイル名に加え、図の見出し内で最初に質問語（この例では“スマートネイル（smartnail）”）が存在しているページをサムネイル706として表示している。一実施形態において、質問語のヒットを含むページはまた、サムネイルウィンドウ内でスライドショーを形成することも可能である。

他の一実施形態においては、使用可能な構造要素分類の選択は、図４に例示されるように、文書の最初のページのサムネイルに付加された視覚的なタグとして指し示されてもよい。

図４は、一実施形態に従ったタグ付けされたサムネイル表示の一例を示している。この可視化は構造要素分類レベルでのものである。質問語“スマートネイル”が発見された文書内のページ位置は色付きのタグによって指し示されてもよい。一実施形態において、異なる色又はパターンは、異なる構造要素分類を指し示す。このようなナビゲーション用サムネイルは文書レベルのヒットリスト内でファイル名に加えて示されてもよい。

可視化は、静止したもの（例えば、単一の画像のみ）、ユーザ入力を介して相互作用されるもの（例えば、タグ付けされたサムネイル）、又は自動的に動くもの（例えば、質問語のヒットを含むページ又は構造要素を含んだスライドショー又はビデオクリップ）とし得る。動画の場合、ユーザは、画面上に表示された再生ボタンを押すことによってスライドショー又はビデオクリップの再生を開始させてもよい。

図５は、一実施形態に従った表示の一例を示している。この可視化はページレベル又は構造要素分類レベルでのものである。質問語“スマートネイル”が発見された文書内のページ位置が、ページサムネイル502によって指し示されている。このようなサムネイル502から成る一連のページは、文書レベルのヒットリスト内でファイル名に加えて示されてもよい。故に、サムネイル502から成る“一連のページ”は、示されたページが選択された要素分類のヒット504を含んでいる位置を反映するように作り出されてもよい。一実施形態において、サムネイル502は、先述の米国特許出願第１０／３５４８１１号（公開番号２００４／０１４６１９９）、米国特許出願第１０／４３５３００号（公開番号２００４／０１４５５９３）、及び米国特許出願第１１／０２３１４２号（公開番号２００６／０１３６４９１）にて説明されているようなスマートサムネイル（スマートネイル）である。

一実施形態において、構造要素可視化モジュール120は構造要素レベルでの表示を生成する。図８は、個々の構造要素レベルでの表示の一例を示している。個々の構造要素レベル上で、その構造要素と質問語を含む要素とを含んだ画像802が作り出される。例えば、質問語がグラフィック内で発見された場合、そのグラフィックのビットマップ画像が質問語を強調するようにして示される。構造要素を示す画像802の大きさは、質問語に一致した付随のテキストのフォント特性に依存する。一実施形態において、その要素内の質問語に対して読み取り可能なフォントサイズが確保されるように、ビットマップ画像の縮尺パラメータが計算される。例えば、元のビットマップ画像サイズが１０００×５００画素であり、質問語のフォントサイズが画素にして２０であり、且つ最小フォントサイズが８画素に設定される場合、このビットマップ画像に適用される倍率は８／２０＝２／５となる。すなわち、ユーザに提示される縮小画像は４００×２００画素の寸法を有することになる。この画像は、文書レベル表示702上でこの構造要素を含むページを示すページサムネイル上でのマウス重ね合わせ動作に応答して表示されることができる。この縮尺合わせは、やはり、先述の米国特許出願第１０／３５４８１１号（公開番号２００４／０１４６１９９）、米国特許出願第１０／４３５３００号（公開番号２００４／０１４５５９３）、及び米国特許出願第１１／０２３１４２号（公開番号２００６／０１３６４９１）に記載されている。

他の一実施形態に従って、テキスト以外（例えば、写真や表など）をも含んでいる要素の付近に検索語が存在している場合には、倍率は先ず、前段落で説明されたようにしてヒットした質問語に対して計算される。そして、テキストのみではない要素（例えば、写真や表など）の縮尺合わせのために同一の倍率が使用される。例えば、質問語ヒットは図の見出し内で生じ得る。この図はテキストの見出しと写真とで構成されている。このとき、倍率は見出し内でヒットした質問語に対して計算され、その後、図の写真要素にも適用される。同様の例は、質問語がヒットした見出しを有する表である。倍率は見出し内でヒットした質問語に対して計算され、その後、同一の倍率によって表全体の縮尺が変えられる。このとき、写真要素も同一量だけ縮尺を変えられる。双方の要素が切り取り、拡大縮小、及び貼り付け操作を用いて最終画像へと合成される。

図９は、一実施形態に従った関連性メモリウィンドウの一例を示している。検索結果の一覧702の隣に、関連性メモリウィンドウ902、すなわち、コンピュータによって検索に関連性があると見なされた情報（machine-relevant search information）を含むウィンドウ902が付加され得る。ウィンドウ902は、例えば検索フィールド、検索クエリー、どのような可視化が選択されたか等を含む、ユーザによって入力された関連情報であるとコンピュータが見なしたものを表示する。

図２は、検索を実行し、検索結果を表示する処理の一実施形態を示すフロー図である。この処理は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、汎用コンピュータシステム又は専用機械上で実行されるもの）、又はこれら双方の組み合わせを有する処理ロジックによって実行され得る。

図２を参照するに、処理ブロック202にて、処理ロジックは質問語を受け取る。処理ブロック204にて、処理ロジックは文書を格納しているデータベースを用い、質問語に基づく第１の結果の組を生成し、且つ文書のインデックスを生成する。各文書は少なくとも１つの上述のような構造要素を有している。処理ブロック206にて、処理ロジックは第１の結果の組に関連する構造要素を検索する。処理ブロック208にて、処理ロジックは構造要素と質問語との間の所定の関係に基づく第２の結果の組を生成する。処理ブロック210にて、処理ロジックは第２の結果の組を表示・可視化する。これは上述のモジュール116、118及び120を用いて行われ得る。

一実施形態によれば、第２の結果の組を表示することは更に、ファイル名と、該ファイル名を有する文書内での質問語のヒット数とを表示することを有する。

他の一実施形態によれば、第２の結果の組を表示することは更に、ファイル名と、該ファイル名を有する文書の構造要素内での質問語のヒット数と、所定の関係に基づく文書の構造要素の一部の画像を表示することを有する。

他の一実施形態によれば、第２の結果の組を表示することは更に、所定の関係に基づく文書の構造要素の一部の画像の拡大画像を表示し、拡大画像内で質問語が読み取れるようにすることを有する。

図３は、検索を実行し、検索結果を表示する処理の他の一実施形態を示すフロー図である。この処理は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、汎用コンピュータシステム又は専用機械上で実行されるもの）、又はこれら双方の組み合わせを有する処理ロジックによって実行される。

図３を参照するに、処理ブロック302にて、図１に関連して説明されたようなヒットセットを生成する。処理ブロック304にて、処理ロジックは図１に関連して説明されたような豊富化ヒットセットを生成する。そして、処理ロジックは豊富化ヒットセットの結果を生成し（処理ブロック306）、結果を表示する（処理ブロック308）。

次に多機能周辺機器（ＭＦＰ）の実施例について説明する。

一実施形態において、上述の検索技術はＭＦＰに実装される。図１１は、本発明の一実施形態に従ったＭＦＰのブロック図である。このＭＦＰは好ましくは、制御ユニット1150、表示装置1110、キーボード1112、カーソル制御装置1114、ネットワークコントローラ1116、及び１つ以上の入力／出力（Ｉ／Ｏ）装置1118を有している。

制御ユニット1150は、表示装置1110に電子的な表示信号を供給するように備えられた、算術ロジックユニット、マイクロプロセッサ、汎用コンピュータ、携帯情報端末（ＰＤＡ）又はその他の情報機器を含み得る。一実施形態において、制御ユニット1150は、グラフィカル・ユーザ・インターフェースを備えた汎用コンピュータを有している。このグラフィカル・ユーザ・インターフェースは、例えば、ＷＩＮＤＯＷＳ(登録商標)．ＲＴＭ又はＵＮＩＸ(登録商標)．ＲＴＭに基づくオペレーティングシステムのようなオペレーティングシステムの最上層で実行されるＪａｖａ(登録商標)で記述されたプログラムによって生成され得る。一実施形態において、例えば文書処理アプリケーション、電子メールアプリケーション、金融アプリケーション及びウェブ・ブラウザ・アプリケーション等を含む１つ以上のアプリケーション・プログラムが制御ユニット1150によって実行される。

なおも図１１を参照するに、図示された制御ユニット1150は、プロセッサ1102、主メモリ1104、及びデータ記憶装置1106を含んでおり、これらは何れもシステムバス1108に通信可能に結合されている。

プロセッサ1102はデータ信号を処理し、また、複数命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、又は命令セットの組み合わせを実行するアーキテクチャを含む様々な計算アーキテクチャを含み得る。図１１には単一のプロセッサのみが示されているが、複数のプロセッサが含まれていてもよい。

主メモリ1104は、プロセッサ1102によって実行され得る命令及び／又はデータを格納している。この命令及び／又はデータは、ここで説明される技術の何れか及び／又は全てを実行するためのコードを有している。主メモリ1104は、ダイナミック・ランダムアクセスメモリ（ＤＲＡＭ）装置、スタティック・ランダムアクセスメモリ（ＳＲＡＭ）装置、又は技術的に知られたその他の記憶装置を有し得る。

データ記憶装置1106は、データ（例えば、画像データ）及びプロセッサ1102用の命令を格納するものであり、ハードディスクドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置、ＤＶＤ−ＲＡＭ装置、ＤＶＤ−ＲＷ装置、フラッシュメモリ装置、又は技術的に知られたその他の大容量記憶装置を含む１つ以上の装置を有している。

システムバス1108は、制御ユニット1150の全体で情報及びデータを伝達する共用バスを表している。システムバス1108は業界標準アーキテクチャ（ＩＳＡ）バス、周辺部品相互接続（ＰＣＩ）バス、ユニバーサル・シリアル・バス（ＵＳＢ）、又は同様の機能を提供する技術的に知られたその他のバス、を含む１つ以上のバスであってもよい。システムバス1108を介して制御ユニット1150に結合される更なる部品には、表示装置1110、キーボード1112、カーソル制御装置1114、ネットワークコントローラ1116、及びＩ／Ｏ装置1118が含まれる。

表示装置1110は、ここで説明されるような電子的な画像及びデータを表示するために備えられた如何なる装置をも表している。表示装置1110は、例えば、陰極線管（ＣＲＴ）、液晶ディスプレー（ＬＣＤ）、又は同様に備えられたその他の何らかの表示装置、スクリーン若しくはモニターであり得る。一実施形態において、表示装置1110は、タッチ検知式の透明パネルが表示装置1110の画面を覆っているタッチスクリーンを備えている。

キーボード1112は、情報及びコマンドの選択をプロセッサ1102に伝達するために制御ユニット1150に結合された文字・数字入力装置を表している。キーボード1112はクワーティ（ＱＷＥＲＴＹ）配列キーボード、キーパッド、又はタッチスクリーン上に作り出されたこれらの表示とし得る。

カーソル制御装置1114は、位置データ及びコマンド選択をプロセッサ1102に伝達するために備えられたユーザ入力装置を表している。カーソル制御装置1114は、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル方向キー、又はカーソルを動かすためのその他の機構を含んでいる。

ネットワークコントローラ1116は、複数の処理システムを含み得るネットワークに制御ユニット1150を接続する。処理システムのネットワークは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、及び／又は複数の装置が通信するためのその他の何らかの相互接続されたデータパスを含み得る。制御ユニット1150はまた、当業者に理解されるように、例えばＴＣＰ／ＩＰ、ｈｔｔｐ、ｈｔｔｐｓ及びＳＭＴＰ等の標準的なネットワークプロトコルを用いてファイル（メディア・オブジェクト）を配布するネットワークのようなその他のシステムとの、標準的な接続を有している。

１つ以上のＩ／Ｏ装置1118はシステムバス1108に結合されている。例えば、Ｉ／Ｏ装置1118は、文書の画像を捕捉するための画像スキャナ及び原稿送り装置を含んでいる。Ｉ／Ｏ装置1118はまた文書を生成するプリンタを含んでいる。Ｉ／Ｏ装置1118はまた、マイクを介して音声入力を受信し、スピーカを介して音声出力を送信するように備えられた音声入力／出力装置を含んでいてもよい。一実施形態において、音声装置は、汎用コンピュータシステムで使用されるように設計された音声アドイン／拡張カードといった汎用品である。音声Ｉ／Ｏ装置は、必要に応じて、音声処理を容易にする１つ又は複数のアナログ・デジタル変換器若しくはデジタル・アナログ変換器、及び／又は１つ又は複数のデジタル信号プロセッサを含み得る。

当業者に明らかであるように、多機能プリンタ102は進化を続けており、本発明の概念及び範囲を逸脱することなく、図１１に示されたより多くの、あるいは少ない構成要素を含んでいてもよい。例えば、進化した多機能プリンタ102は、例えば一次キャッシュや二次キャッシュ等の更なるメモリ、又は１つ以上の特定用途向け集積回路（ＡＳＩＣ）を含んでいてもよい。同様に、例えば、電子データを捕捉し、且つ／或いは電子データを制御ユニット1150にダウンロードするように備えられてもよい、ＲＦＩＤタグ読取器、デジタルカメラ、デジタルビデオカメラ、又はその他の装置を含む更なる入力／出力装置1118が制御ユニット1150に結合されていてもよい。例えばカーソル制御装置1114等の１つ以上の部品が排除されることも可能である。

続いて、コンピュータシステムの実施例について説明する。

図１０は、ここで説明された操作の１つ以上を実行し得る典型的なコンピュータシステムを示すブロック図である。図１０を参照するに、コンピュータシステム1000は、典型的なクライアント又はサーバコンピュータシステムを有している。コンピュータシステム1000は、情報を伝達する通信機構又はバス1011、及びバス1011と結合された情報を処理するためのプロセッサ1012を有している。プロセッサ1012は、これらに限られないが、例えばペンティアム（登録商標）、パワーＰＣ（登録商標）、アルファ（登録商標）等のマイクロプロセッサを含む。

システム1000は更に、情報とプロセッサ1012によって実行される命令とを記憶するための、バス1011に結合されたランダムアクセスメモリ（ＲＡＭ）又はその他のダイナミック型記憶装置1004（主メモリと称される）を有している。主メモリ1004はまた、プロセッサ1012による命令の実行時に、一時的な変数又はその他の中間情報を記憶するために用いられてもよい。

コンピュータシステム1000はまた、プロセッサ1012用の静的な情報及び命令を記憶するための、バス1011に結合された読み出し専用メモリ（ＲＯＭ）及び／又はその他のスタティック型記憶装置1006と、例えば磁気ディスク若しくは光ディスク及びその対応するディスクドライブ等のデータ記憶装置1007とを有している。データ記憶装置1007は情報及び命令を格納するためにバス1011に結合されている。

コンピュータシステム1000は更に、コンピュータユーザに情報を表示するための、バス1011に結合された、例えば陰極線管（ＣＲＴ）又は液晶ディスプレー（ＬＣＤ）等の表示装置1021に結合されていてもよい。また、情報及びコマンド選択をプロセッサ1012に伝達するために、英数字及びその他のキーを含む文字・数字入力装置1022がバス1011に結合されていてもよい。更なるユーザ入力装置は、方向情報及びコマンド選択をプロセッサ1012に伝達し、カーソル動作をディスプレー1021上で制御するためにバス1011に結合された、例えばマウス、トラックボール、トラックパッド、スタイラス・ペン、又はカーソル方向キー等のカーソル制御装置1023である。

バス1011に結合され得る他の装置は、例えば紙若しくはフィルム等の媒体、又は同様の種類の媒体に情報を印すために使用され得るハードコピー装置1024である。バス1011に結合され得る他の装置は、電話又は掌サイズのパーム装置と通信する有線／無線通信手段1025である。

なお、システム1000及び付随するハードウェアの構成要素の何れか又は全てが本発明において用いられてもよい。しかしながら、認識され得るように、この他のコンピュータシステムの構成がこれらの装置の一部又は全てを含んでいてもよい。

ここで説明された可視化システムは、検索テキストクエリーに応答して検索エンジンから返されたファイルセット全体をユーザがナビゲートすることを支援するものである。複数ページの文書ファイルのナビゲーションは、個々のページ及びページ内の構造要素へのアクセスを含んでいる。結果として、ユーザは、検索エンジンによって文書内の何処で検索語が発見されたかを把握することができる。

本発明に係る方法の操作は特定の順序で示され且つ説明されているが、各々の方法の操作の順序は、一定の操作群が逆の順序で実行されるように、あるいは一定の操作が少なくとも部分的にその他の操作と同時に実行されるように変更されてもよい。他の一実施形態においては、相異なる操作群の命令群又は部分的な操作群は断続的に、且つ／或いは交互に実行されてもよい。

以上の記載において、本発明はその具体的で例示的な実施形態を参照して説明されてきた。しかしながら、明らかであるように、添付の請求項にて説明される本発明の一層広い概念及び範囲を逸脱することなく、これらの実施形態には様々な改良及び変更が為され得る。この明細書及び図面は、従って、限定的な意味でとらえられるものではなく、例示的な意味でとらえられるべきものである。

ページ付き文書の検索システムの一実施形態を示すブロック図である。 検索を実行し、検索結果を表示する処理の一実施形態を示すフロー図である。 検索を実行し、検索結果を表示する処理の他の一実施形態を示すフロー図である。 一実施形態に従ったタグ付けされたサムネイル表示の一例を示す図である。 一実施形態に従ったスマートネイル表示の一例を示す図である。 一実施形態に従った文書レベルでの表示の一例を示す図である。 一実施形態に従った構造要素分類レベルでの表示の一例を示す図である。 一実施形態に従った個々の構造要素レベルでの表示の一例を示す図である。 一実施形態に従った関連性メモリウィンドウの一例を示す図である。 典型的なコンピュータシステムを例示する図である。 本発明の一実施形態に従ったＭＦＰを示すブロック図である。

符号の説明

102 … ユーザ
104 … 文書
108 … 構造要素分類器
110 … テキスト検索エンジン
112 … 豊富化ヒットセットプロセッサ
116 … ヒットリスト可視化モジュール
118 … 構造要素分類可視化モジュール
120 … 構造要素可視化モジュール
122 … グラフィカル・ユーザ・インターフェース
402、502、706 … ページサムネイル
404、406 … タグ
602 … 構造要素分類
604、704 … ヒット数
606、708 … ファイル名
608、712 … 表示
902 … 関連性メモリウィンドウ
1000 … コンピュータシステム
1004、1104 … 主メモリ
1006 … スタティックメモリ
1007、1106 … 記憶装置
1011 … バス
1012、1102 … プロセッサ
1020 … 外部ネットワークインターフェース
1021、1110 … 表示装置
1022、1112 … キーボード
1023、1114 … カーソル制御装置
1024 … ハードコピー装置
1116 … ネットワークコントローラ
1118 … Ｉ／Ｏ装置
1150 … 制御ユニット

Claims (23)

1. 質問語を受け取る段階；
   各々が少なくとも１つの構造要素を有する複数の文書と該複数の文書のインデックスとを格納したデータベースを用いて、前記質問語に基づく第１の結果の組を生成する段階；
   前記第１の結果の組に関連する複数の構造要素を検索する段階；
   前記複数の構造要素と前記質問語との間の所定の関係に基づく第２の結果の組を生成する段階；及び
   前記第２の結果の組に含まれる各結果に対して、前記質問語が文書内に現れている例を示す画像を添えて、前記第２の結果の組を表示する段階；
   を有する方法。
2. 前記第２の結果の組を表示する段階は更に：
   テキスト表現、及び該テキスト表現を有する文書内での前記質問語のヒット数を表示すること、
   を有する、請求項１に記載の方法。
3. 前記テキスト表現は、文書のファイル名、及び文書内の文章の何れかである、請求項２に記載の方法。
4. 前記第２の結果の組を表示する段階は更に：
   テキスト表現、該テキスト表現を有する文書の構造要素内での前記質問語のヒット数、及び前記所定の関係に基づく該文書の構造要素の一部の画像を表示すること、
   を有する、請求項１に記載の方法。
5. 前記テキスト表現は、文書のファイル名、及び文書内の文章の何れかである、請求項４に記載の方法。
6. 前記第２の結果の組を表示する段階は更に：
   前記所定の関係に基づく文書の構造要素の一部の画像の拡大画像を表示し、該拡大画像内で前記質問語が読み取れるようにすること、
   を有する、請求項１に記載の方法。
7. 機械により関連性があるとされた検索情報を示す関連性メモリウィンドウを表示する段階、
   を更に有する請求項１に記載の方法。
8. 各構造要素は本文部分、グラフィック部分、又は写真部分を有する、請求項１に記載の方法。
9. 各構造要素は、対応するメタデータに関連付けられた画像ビットマップとして前記データベースに格納されており、該対応するメタデータは更に、構造要素の種類、及び対応する文書のページ画像内での座標を有する、請求項１に記載の方法。
10. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書のグラフィック部分に含まれているか、ということを有する、請求項１に記載の方法。
11. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書の表題部分、図の部分、見出し部分、又は参考文献部分に含まれているか、ということを有する、請求項１に記載の方法。
12. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書の写真要素又はグラフィック要素に含まれているか、ということを有する、請求項１に記載の方法。
13. プロセッサによって実行されるときに、請求項１乃至１２の何れか一項に記載の方法を実行させるプログラム。
14. 各々が少なくとも１つの構造要素を有する複数の文書と該複数の文書のインデックスとを格納したデータベースを用いて、質問語に基づく第１の結果の組を生成し、前記第１の結果の組に関連する複数の構造要素を検索し、且つ前記複数の構造要素と前記質問語との間の所定の関係に基づく第２の結果の組を生成する検索エンジン；及び
    前記第２の結果の組に含まれる各結果に対して、前記質問語が文書内に現れている例を示す画像を添えて、前記第２の結果の組を表示する可視化モジュール；
    を有する装置。
15. 前記可視化モジュールは更にヒットリスト可視化モジュールを有し、該ヒットリスト可視化モジュールは、テキスト表現及び該テキスト表現を有する文書内での前記質問語のヒット数の表示を生成する、請求項１４に記載の装置。
16. 前記可視化モジュールは更に構造要素分類可視化モジュールを有し、該構造要素分類可視化モジュールは、テキスト表現、該テキスト表現を有する文書の構造要素内での前記質問語のヒット数、及び前記所定の関係に基づく該文書の構造要素の一部の画像の表示を生成する、請求項１４に記載の装置。
17. 前記可視化モジュールは更に構造要素可視化モジュールを有し、該構造要素可視化モジュールは、前記所定の関係に基づく文書の構造要素の一部の画像の拡大画像の表示を、該拡大画像内で前記質問語が読み取れるように生成する、請求項１４に記載の装置。
18. 前記可視化モジュールは更に、機械により関連性があるとされた検索情報を示す関連性メモリウィンドウを表示する、請求項１４に記載の装置。
19. 各構造要素は本文部分、グラフィック部分、又は写真部分を有する、請求項１４に記載の装置。
20. 各構造要素は、対応するメタデータに関連付けられた画像ビットマップとして前記データベースに格納されており、該対応するメタデータは更に、構造要素の種類、及び対応する文書のページ画像内での座標を有する、請求項１４に記載の装置。
21. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書のグラフィック部分に含まれているか、ということを有する、請求項１４に記載の装置。
22. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書の表題部分、図の部分、見出し部分、又は参考文献部分に含まれているか、ということを有する、請求項１４に記載の装置。
23. 前記所定の関係は、前記質問語が前記第１の結果の組内の文書の写真要素又はグラフィック要素に含まれているか、ということを有する、請求項１４に記載の装置。