JP2007200321A - 言語ユーザインターフェース - Google Patents

Abstract

【課題】システムが抽出する種類の事実は多少制限され、事実を捉え損ねることが多い、という課題を解決する。
【解決手段】テキスト検索システム１０は、ユーザが選択したテキストストリングのテキスト断片に関連する文法規則を識別するための命令と、関連する格納媒体から文法規則を満たす付加的なテキストストリングを検索するための命令とを含むプロセッサ２０と、検索されたテキストストリングを表示するためのディスプレイ３０と、クエリーを生成するのに、表示されたテキストストリングのテキスト断片をユーザが選択することを可能にするユーザ入力デバイス１１３とを含み、プロセッサが、ユーザが選択しテキスト断片に関連する文法規則を識別してその文法規則を満たすテキストストリングを検索する。
【選択図】図１

Description

本願の例示的な実施形態は、文書処理に関する。これは、文書から事実を抽出するためのシステム及び方法と併せて特定の用途を見出し、これを特別に引用することにより説明される。しかし、本例示的な実施形態は、さらに、他の同様の用途に修正可能であることが理解される。

いろいろな方法及びツールが情報及び事実の抽出に使用可能である。統計及び言語技術が、人工知能の分野からのものと同様に用いられる。例えば、ナイーブベイズ法、隠れマルコフモデル、及び一般的な機械学習技術のような統計学的手法が提案されている。

米国特許第６４０５１６２号明細書 米国特許第６６７８６７７号明細書 米国特許第６２６３３３５号明細書 米国特許出願公開第２００３／００７４１８７号明細書 米国特許出願公開第２００５／０１３８５５６号明細書 米国特許出願公開第２００５／０１３７８４７号明細書

従来技術のようなシステムが抽出する種類の事実は多少制限される。さらに、これらは高度な言語ツールを用いず、エンティティ間のリンクの意味次元を取り込むことができないので、事実を捉え損ねることが多い。これらの課題を解決することが望まれている。

例示的な実施形態の態様は、テキストを検索（retrieve：サーチではない）するためのシステム及び方法を含む。１つの態様において、テキストを検索するためのシステムは、ユーザにより選択されたテキストストリングのテキスト断片に関連する文法規則を識別するための命令と、関連する格納媒体からこの文法規則を満たすテキストストリングを検索するための命令とを含むプロセッサを含む。ディスプレイは、検索されたテキストストリングを表示するために提供される。プロセッサと通信するユーザ入力デバイスは、ユーザが、クエリー（問合せ）を生成するために、表示されたテキストストリングのテキスト断片を選択することを可能にする。プロセッサは、ユーザにより選択されたテキスト断片に関連する文法規則を識別し、格納媒体からこの文法規則を満たすテキストストリングを検索する。

文法規則は、語彙規則、構文規則、及び意味次元規則で構成される群から選択される規則を含むことができる。テキストストリングには、複数の種類の文法規則のタグを付けることができる。検索されたテキストストリングの少なくとも幾つかのテキスト断片には、複数の文法規則のタグを付けることができる。プロセッサは、検索されたテキストストリングに関連する文法規則をディスプレイに表示させるための命令を含むことができる。ディスプレイは、グラフィカル・ユーザ・インターフェースとして働き、これによって、ユーザが、検索されたテキストストリングに関連する複数の文法規則の少なくとも１つを選択するようになる。ＧＵＩは、ユーザが、検索されたテキストストリングに関連する文法規則の全てより少ない数を選択することを可能にすることができ、プロセッサは、ユーザにより選択された文法規則を適用して、格納媒体から、ユーザにより選択された文法規則を満たすテキストストリングを検索する。ユーザが幾つかの文法規則を選択した場合は、プロセッサは、格納媒体から、ユーザにより選択された文法規則のみを満たすテキストストリングを検索することができる。文書抽出及び検索システムは、テキストを検索するためのシステムと、テキストストリングに文法規則の表示を付すパーサと、表示が付されたテキストストリングを格納するデータベースとを含むことができる。パーサは、複数の文法規則を格納する文法規則データベースを含み、複数の規則の規則を入力テキストストリングに適用し、このテキストストリングに適用可能な規則の表示を付すように適応されることができる。

別の態様においては、方法は、選択されたテキストストリングからクエリーを生成するステップを含み、これは、選択されたテキストストリングのユーザにより選択されたテキスト断片に関連する文法規則を自動的に識別することと、関連する格納媒体から、識別された文法規則の少なくとも幾つかを満たす付加的なテキストストリングを検索するためのクエリーを生成することを含む。

クエリーの生成は、ユーザにより選択された文法規則を含むクエリーを生成することを含むことができる。データベースのテキストストリングに、このテキストストリングが満たす文法規則を識別するタグの表示を付すことができ、方法は、さらに、クエリーを満たすテキストストリングを検索することを含むことができる。方法は、さらに、テキストストリングに、このテキストストリングによって満たされる文法規則に対応するタグの表示を付し、表示が付されたテキストストリングを格納媒体内に格納することを含み、ここからクエリーを満たすテキストストリングを検索することができる。

別の態様においては、データベースから文書を検索するためのシステムは、ユーザが、表示されたテキストストリングのテキスト断片を選択することを可能にするグラフィカル・ユーザ・インターフェースを含み、表示されたストリングは、テキスト断片に関連する文法規則に対応するタグの表示が付され、その文法規則は複数の規則から選択される。プロセッサは、選択されたテキスト断片に関連する文法規則を識別し、この文法規則を満たすテキストストリングを含む文書を検索するためのクエリーを生成する。

グラフィカル・ユーザ・インターフェースは、画面及びユーザ入力を含むことができ、プロセッサは、表示される文法規則に対するユーザの入力要求に応答して、ユーザにより選択されたテキスト断片に関連する文法規則を画面上に表示する。

別の態様においては、クエリーを生成するために、コンピュータプログラム製品がコンピュータシステムにおける使用のために提供される。コンピュータプログラム製品は、コンピュータ可読プログラムコードを有するコンピュータ可読媒体を含む。コンピュータ可読プログラムコードは、コンピュータシステムに、入力テキストストリングのテキスト断片に関連するタグを識別させ、この入力テキストストリングのユーザにより選択されたテキスト断片のタグに基づいて、クエリーを生成させる。タグは、テキストストリングのテキスト断片に適用可能な文法規則を含む。

例示的な実施形態の態様は、自然言語テキストを含む文書が格納される、データベースのような格納媒体からテキストを検索するためのシステムに関する。

検索システムは、走査される文書のためのＯＣＲ技術を採用し、文書内容の意味を理解するように情報を分類し、格納し、検索し、抽出するために、多機能のシステムにおける用途を見出すことができる。

システムは、関連する情報のみを含む文書の部分を抽出する能力を有するサーチ（探索ともいわれる）エンジンとして特定の用途を見出す。

特に、モバイルユーザにおいては、多くの場合、文書全体ではなくテキストの小さい部分を検索することが望まれる。

統合された表現を抽出された情報全てに用いることができる。例えば、入力文書に対する全ての抽出された情報は、拡張マークアップ言語（ＸＭＬ）文書としてテキストと共に格納されて、データベースとして用いられることを可能にし、これは次いで、ＸＰａｔｈ命令のような好適なクエリー言語におけるクエリーによりクエリーすることができる。

図１を参照すると、文書の抽出及び検索の両方のための例示的なシステムは、コンピュータシステム形態の文書処理デバイス又はプロセッサ１０を含み、これは、電子形態の自然言語文書といった１つ又はそれ以上の文書１４、１６を受け取るための入力ユニット１２と、メモリ１８と、自然言語パーサ２０とを含み、これは例えば、適用可能な文法規則を文書にタグ付けすることによって、文書１４、１６に注釈を付ける。文書の注釈及び検索のための例示的な方法は、図２及び図３に例示され、以下にさらに詳細に説明される。

デバイス１０に入力される文書１４、１６をディスク又は他の携帯型格納媒体上に格納することができ、或いは、インターネット又は無線又は有線ネットワークといったリンクを介して処理デバイスに送ることができる。

図４を参照すると、ここで用いられる「文書」という用語は、一般に、テキスト本体を指し、他の非テキスト情報も含むことができる、より大きい文書の下位区分であってもよい。各文書１４、１６は、語彙及び文法を有する自然言語で表現される１つ又はそれ以上のテキストストリング２２を含む。各テキストストリングは、文の句又は節と同程度に短くすることができ、一般に、文を含み、２つ又はそれ以上の連続する文を含むことができる。入力文書は、一般に、各々が、語、句、数字及び日付又はそれらの組み合わせといった、複数のテキスト断片２４を含む複数のテキストストリングを含む。入力ＸＭＬ文書に対しては、サーチ可能なテキストストリングは、隠しテキストを含むことができる。コンピュータシステム１０は、入力テキストを注釈付きのサーチ可能なテキスト本体に変換する。入力文書は、メモリ１８における処理の前に又はその間に格納することができる。文書処理デバイス１０は、デスクトップＰＣ、ラップトップＰＣ（ノートＰＣ）、ワークステーション、サーバ又はパーサ２０がソフトウェアとしてロードされるメインフレームコンピュータといった汎用コンピュータであってもよいし、又は、図３に概説される方法を実行することができるいずれかの装置であってもよい。

パーサ２０は、電子形態の１つ又はそれ以上の文書１４、１６（又はテキストストリング２２）を入力として取り、入力文書を注釈付きの文書に変換する。ここで。用いられる「パーサ」という用語は、一般に、テキストストリング２２の注釈付けに使用することのできる全ての注釈付け処理命令を指す。注釈付けは、テキストストリングの内部文法構造を保存して、迅速なサーチを可能にする。一般に、パーサ２０は、文書のテキスト内容を構文的、意味次元的及び語彙的に分析し、文書のテキスト断片間の関係を識別するための命令を含む。注釈付き文書は、ＳＱＬ言語のクエリーにより問合せすることができるリレーショナルデータベース等のデータベース２６に格納され、或いは、エンリッチＸＭＬファイル２８として又は他の構造のフォーマットとして格納される。データベース２６は、ディスク、ハードドライブ、インターネットサーバなどのようないずれかの好適な格納媒体に配置することができる。

言語ユーザインターフェース３０は、クエリーに応答する、データベース２６からの１つ又はそれ以上の注釈付き文書２４又は文書の部分（例えば、テキストストリング）を検索するために、ユーザがクエリーを入力及び編集することを可能にする。ユーザインターフェース３０は、画面のようなディスプレイ３４及びプロセッサ３６をもつプログラムされた汎用コンピュータ３２に組み込んでもよいし、又は、専用の処理デバイスであってもよい。

図２を参照すると、パーサ２０は、語彙規則、構文規則、及び依存性（意味次元）規則といった文法規則に対応するタグ（ラベル）４０、４２、４４、４６、４８により、テキストストリング２２に索引を付ける／注釈を付ける。語彙規則は、それらが発生する順序又はそれらの間のスペースによって語の間の関係を定義する。構文規則は、名詞−動詞、形容詞−名詞といった語の間の文法的関係を記述する。意味次元規則は、依存性（主語−動詞関係、目的語−動詞関係）、名前付きエンティティ及び同一参照規則を含む。

パーサ２０は、例えば、米国特許公開第２００５／０１３８５５６号及び米国特許公開第２００３／００７４１８７号に説明されるように、インクリメンタルパーサを含むことができる。

パーサ２０は、構文関係、意味次元関係、概念の適合性の識別並びに語彙分析といった様々な種類のテキストの分析を実行するための処理命令を含む。例えば、パーサ２０は、言語分析のための幾つかのモジュールを含むことができる。各モジュールは、入力テキスト上で動作し、幾つかの場合には、他のモジュールのうちの１つによって生成された注釈を用い、全てのモジュールの結果が文書１４、１６に注釈を付けるために用いられる。従って、幾つかの異なる文法規則は、結果的には、同じテキストストリング２２又はその断片２４に関連することができる。

パーサモジュールは、入力テキストストリング２２の最初の語彙及び構文の処理に対する処理命令を実行する前処理モジュール５２、５４、５６、５８を含む。前処理モジュールは、トークン化モジュール５２、モルフォロジーモジュール５４、曖昧性解消モジュール５６、名前付きエンティティモジュール５６及び構文モジュール５８のうちの１つ又はそれ以上を含むことができるが、これらのモジュールの機能は、単一ユニットとして組み合わせることができることが理解されるであろう。

トークン化モジュール５２は、例えば、テキストストリングにおける語、数及び他の認識可能なエンティティを識別するように、テキストストリングにおけるテキスト断片２４を識別する。トークン化装置５２は、この文字のシーケンスを順序付けられたトークンのシーケンスに変換し、ここでは、各トークンは文字のサブシーケンスである。

モルフォロジーモジュール５４又は「レマタイザ」は、不定冠詞、名詞、動詞などのような特徴のリストからの特徴を、文書内の各々の認識される語又は他のテキスト断片と関連させることによってトークンの語彙の性質を分析し、文書内で用いられる語の見出し語の形式及び／又は語幹及び／又はモルフォロジーの形式を識別し、文の文法的部分及び語の見出し語の形式を識別するタグ４６を文に付ける。

曖昧性解消モジュール５６は、１つより多い意味を有する語の曖昧性を解消するのを補助するために規則を適用する。曖昧性の解消は、所与の内容の曖昧な語に対して関係のないカテゴリを除去することで構成されることができる。

名前付きエンティティモジュール５８は、メモリ６２に格納された名前付きエンティティの語彙を参照することによって及び／又は文脈の局所的な文法規則により、名前付きエンティティに対応するテキスト断片を識別する。認識されたエンティティは、個人名、組織、日付、通貨表示、場所、百分率、法的参照、事象などを含むことができる。テキスト断片は、例えば、名前付きエンティティの適切な種類を示すタグ４０付けるように、意味次元のラベルで注釈を付けることができる。

チャンク化モジュール６０は、ヘッド（一般に、名詞、動詞、形容詞又は前置詞）の周りの語を群分けする。これらのカテゴリの周りには、限定詞、副詞、代名詞などのような他の二次的なカテゴリがまとめられて、チャンクを形成する。

チャンクは他のチャンクの上部に作ることができる。

依存性モジュール７０は、文、句、又は他のテキストストリング２２におけるテキスト断片２４の間の意味次元関係（構文依存性、例えば、主語−目的語、主語−動詞、目的語−動詞、補語）を識別し、図５に示す構文ツリーとして、文の文法的部分の間の関係を識別するタグ４４を文に付けることができる。

概念適合モジュール７４は、テキストストリング２２に、種々の語で表現することができる一般の概念を示すタグで表示を付す。

正規化モジュール７６は、例えば、時制の情報を位置情報及びトピック情報と識別するように主題役を識別することにより、前置詞句（例えば、ｉｎ ｔｈｅ ｇａｒｄｅｎ、ｄｕｒｉｎｇ ｔｈｅ ｗａｒ、ａｆｔｅｒ １９８４）を区別する。幾つかの句を、構文的には句に関連する動詞、並びに、このような動詞が主として時制の情報（例えば、ａｆｔｅｒ １９８４）、トピック情報（例えば、ｉｎ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ）又は位置情報（例えば、ｉｎ ｔｈｅ ｇａｒｄｅｎ）に関連する可能性を用いて識別することができる。

語彙モジュール７８は、単に特徴を語と関連させる辞書又はシソーラスとすることができる。例えば、特徴ｅｄｕｃａｔｉｏｎは、語ｄｏｃｔｏｒａｔｅ及びｍａｓｔｅｒ’ｓ ｄｅｇｒｅｅに関連させることができる。語彙モジュール７８は、ＷｏｒｄＮｅｔ（登録商標）のような、オンライン語彙参照システムを使用することができる。

時制モジュール８０は事実及び事象に関連する、日付のような時制の表現を検出する。これらは、文書における出現順序とは無関係に時系列的に順序付けることができる。例えば、Ｒｏｂｅｒｔ Ｓｍｉｔｈ ｊｏｉｎｅｄ Ａｃｍｅ Ｃｏｒｐ ｉｎ １９９１の文では、以下のタグ
ｊｏｉｎ（Ｒｏｂｅｒｔ Ｓｍｉｔｈ、Ａｃｍｅ Ｃｏｒｐ．）及びｔｉｍｅ（ｉｎ １９９１）
を文書に付加することができる。

同一参照（Co-reference）モジュール８２は、意味次元分析を用いて、例えば、代名詞に適当な直前又は直後の名前付きのエンティティを参照し、必要に応じて、代名詞の後方照応又は前方照応リンク４２を適用することにより、代名詞に関連する名詞を抽出する。引用におけるテキストは作成者のタグを受け取ることができる。

モジュールのための処理命令を、それぞれのモジュールのメモリに格納することができ、或いは、メモリ８４のような単一の格納媒体又はカーネルに組み込むことができる。

更新モジュール８６又は規則コンパイラは、キーボード、タッチスクリーン又は他の好適なデバイスといったユーザ入力デバイス８８により、ユーザが語彙を追加する、又は、パーサに規則を追加する、或いは、既存の規則を変更することを可能にする。パーサの命令が一組の文書で開始された場合には、これらの特定の文法ファイルが文法カーネル８４と共にロードされ、それらが含む規則は通常の分析の終わりにおいて、テキストに適用される。規則のうちの１つが適用されるたびに、特定の依存性がタグとして生成される。

言語ユーザインターフェース３０は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を含むことができ、手持ち式の、携帯型デバイスとすることができる。言語インターフェース３０の全て又は一部を提供するコンピュータ３２は、ディスプレイ３４及びプロセッサ３６に加えて、一時メモリ１０２、及びハードドライブ１０４を含むことができ、これら全てはバス１０６により相互接続される。例えば、コンピュータ３２は、パーソナルコンピュータ、或いは、携帯情報端末（ＰＤＡ）、携帯電話、タブレットＰＣ、ポケットＰＣ等の移動デバイス、又は他の好適な電子デバイスとすることができる。一般に、図３に示すフローチャートを実施することができる有限状態マシンを用いることができるいずれのデバイスも、システム３０を実施するために用いることができる。１つの実施形態においては、プロセッサ３６は、全ての規則及び語彙のリソースを含む、パーサ２０に類似したパーサを装備する。

ユーザは、表示されるテキストストリング又はテキスト断片上をクリックするための、例えば、マウス、トラックボール、ペン、タッチパッド、タッチスクリーン、スタイラスといったポインタ１１０のような１つ又はそれ以上の関連する入力デバイス１１０、１１２、又は、入力／出力（Ｉ／Ｏ）デバイス１１３によりインターフェース３０と対話するためのキーボードのようなテキスト入力デバイス１１２を操作することができる。マウス１１０は表示されるテキスト上をクリックすることを可能にし、キーボード１１２は、エンティティ名、又はユーザのクエリーの一部を形成することができるテキストストリング２２といったテキスト断片２４を入力することを可能にする。ストリングの特定のテキスト断片を選択するために、ユーザはマウス及び／又はカーソルを用いて、それを強調表示することができる。

一時メモリ１０２は、検索された文書のキャッシュを格納することができ、ＲＡＭ、フレキシブルディスク、及びディスクドライブ、書き込み可能光ディスク及びディスクドライブ、フラッシュメモリ等を用いて実施することができる。

プロセッサ３６は、ユーザのクエリーに応答してデータベース２６のサーチを実行するため、並びに、応答する文書を検索するための命令を含む。プロセッサ３６は、通信インターフェース１１４に関連することができ、有線又は無線リンク１１６により、例えば、ローカルエリアネットワーク又はインターネット接続により、データベース２６にリンクされる。検索された文書は、データベース２６において応答性があるとしてタグを付けることができ、又は、検索されて、キャッシュとしてメモリ１０２内に格納することができる。クエリーは、少なくとも部分的に、ユーザの識別により、データベース２６内に格納された注釈付き文書の１つ又はそれ以上における応答するテキストの強調表示により確立される。ユーザインターフェース３０は、ユーザが、関連のある事実を含む一組の文を単に選択することにより、検索することに関心があるという事実を記述することを可能にする。プロセッサ３６は、テキストの強調表示された部分に基づいて、パーサの言語における規則を導出するための命令を含む。プロセッサはパーサ２０のモジュールと同様なモジュールを含むことができる。

プロセッサ３６は、画面３４を介して、クエリーの状況を表示するための命令を含む。例えば、図５に示すように、表示は、キーボードを用いて入力されたユーザの入力クエリーを表示するためのクエリーボックス１２０と、クエリーに応答して検索される文書の数を示す識別子１２２と、ユーザがドローダウンメニューを選択することを可能にする、又は、ウィンドウを表示させるツールバー１２４を含むことができる。ポップアップボックス１２６は、テキスト断片（例えば、語、句又は他のテキストストリング）が、ユーザにより入力又は強調表示されたときに表示され、テキスト断片に関連する使用可能な文法規則からユーザによって選択された語及び規則を示すことができる。デフォルトによって、全ての使用可能な規則が選択される。図６は、ユーザがＲｏｂｅｒｔ Ｓｍｉｔｈをサーチするように選択したことを示すポップアップボックス１２６を示す。図７におけるポップアップボックス１２６は、ｊｏｉｎｅｄの見出し語の形態がツールバー上の見出し語ツールにより選択されたことを示す。検索されたテキストは、テキスト表示ボックス１２８により表示され、これはクエリーＲｏｂｅｒｔ Ｓｍｉｔｈに応答して検索された文書のテキストを例示する。

プロセッサ３６は、検索された文書又はテキストストリング２２において強調表示されたテキスト断片２４に対するタグを検索するための命令を含む。処理命令は、ユーザが、検索された文書全体についてのタグ、又は、強調表示されたテキスト断片についてのみのタグを検索することの間で選択することを可能にする命令を含むことができる。例えば、ツールバー１２４の識別子はユーザがこれらの選択肢の間で選択することを可能にする。検索されたタグは、クエリーを改良するために規則を公式化するのに使用されることに加えて、ディスプレイ３４により表示することができる。図８は、テキストストリングＴｈｅ Ｄｏｗ Ｊｏｎｅｓ ｐｌｕｎｇｅｄ ｔｈａｔ ｎｉｇｈｔが強調表示されたときに表示されるウィンドウ１３０を示す。ユーザは、例えば、対応する文法規則１３４を選択するために１つ又はそれ以上のチェックボックス１３２上をクリックすることによってウィンドウと対話することができる。規則はまた、スクロールダウン規則表示ボックス１３６に表示することができる。

プロセッサ３６に対する命令は、クエリーを生成するようにコンピュータにおいて用いるためのコンピュータプログラム製品として例示することができる。コンピュータプログラム製品は、ディスクのようなコンピュータ可読媒体、コンピュータチップ、又はコンピュータ可読プログラムコードを有する他の有形の電子格納媒体とすることができる。コンピュータ可読プログラムコードは、コンピュータに、入力テキストストリングのテキスト断片に関連するタグを識別させ、この入力テキストストリングのユーザにより選択されたテキスト断片のタグに基づくクエリーを生成させるようにし、タグはテキストストリングのテキスト断片に適用可能な文法規則を含んでいる。

ユーザインターフェース３０は、ユーザが、単独で又は組み合わせてクエリーを表現する表示されたテキスト断片上を単にクリックすることを可能にする。プロセッサ３６は、自動的に、強調表示された断片が発生するテキスト断片又はテキストストリングに関連するタグを検索する。次に、検索されたタグは、ＸＭＬファイル又は既にメモリ１０２内にキャッシュされた一組の検索された文書をサーチするための文法規則となる。プロセッサは、応答するテキストストリング、すなわち、特定の文法規則が満たされるものを検索する。

ユーザは、検索されたタグを見直し、サーチのために文法規則を選択することが可能になる。例えば、図７において、ウィンドウ１３０は、ユーザが、関心のある文法規則のみを選択することを可能にする。ウィンドウ１３０は、ユーザが、強調表示されたテキスト部分について、複数の文法的な選択肢（主語、目的語、動詞、見出し語の形態など）から選択することを可能にすることができ、それによりプロセッサに文法規則を生成させる。表示されるウィンドウ１３０は、強調表示されるテキスト部分によって違っていてよい。例えば、文書の検索された部分において、ユーザが名前Ｒｏｂｅｒｔ Ｓｍｉｔｈを強調表示した場合には、ウィンドウは、ユーザが主語及び目的語の１つ又はそれ以上を選択することを可能にすることができ、プロセッサはこれを使用して規則を形成する。例えば、ユーザがｓｕｂｊｅｃｔを選択した場合には、プロセッサは、Ｒｏｂｅｒｔ Ｓｍｉｔｈが文の主語であるという規則を生成する。或いは、ユーザは、いずれかの個人をサーチするために、Ｒｏｂｅｒｔ Ｓｍｉｔｈに関連する文法規則ＰＥＲＳＯＮを用いることができる。

選択された語が見出し語の形態を有する場合には、ドローダウンメニュー／ウィンドウ１３０は、ユーザが、見出し語の形態（全ての代替物をサーチするのに用いられる）を選択する、又は、特定の形態を選択することを可能にすることができる。例えば、ユーザがｊｏｉｎｅｄという語を強調表示した場合に、ドローダウンメニュー／ウィンドウ１３０は、ユーザが見出し語の形態ｊｏｉｎを選択することを可能にする。ユーザが、さらに、Ｒｏｂｅｒｔ Ｓｍｉｔｈに対して意味次元の文法規則ＰＥＲＳＯＮを選択し、動詞ｊｏｉｎを主語ＰＥＲＳＯＮに関連させる依存性規則を選択した場合には、プロセッサは、ｊｏｉｎの主語であるいずれかの個人に関連するテキストストリングを含む文書を検索する規則を生成する。

言語インターフェース３０は抽出された事実から推論をすることができる。例えば、ユーザは、Ｒｏｂｅｒｔ Ｓｍｉｔｈがある日付の前に何をしていたことに対する情報を検索するために「ｐｒｉｏｒ ｔｏ」のような語を強調表示することができる。

Ｈｅｒｂｅｒｔ Ｓｍｉｔｈ ｌｅａｄ Ａｃｍｅ Ｃｏｒｐ． ａｆｔｅｒ ｗｏｒｋｉｎｇ ｆｏｒ Ａｃｍｅ Ｒｅｓｅｒｃｈ Ｃｅｎｔｅｒ ｏｆ Ｅｕｒｏｐｅ ａｎｄ Ａｃｍｅ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｏｆ Ｃａｎａｄａというテキストストリングが与えられた場合には、ユーザは、エンティティ依存性特徴だけを選択して、組織を率いる個人について、単に、Ｈｅｒｂｅｒｔ Ｓｍｉｔｈではなく、一般的な関心があるという事実を表現することができる。ユーザはさらに、「ｌｅａｄｓ」をクリックし、「ｌｅａｄ」の意味次元の特徴を選択して、「ｌｅａｄｅｒ」の概念に感心があるという事実を表現することができる。

次に、ユーザは、組織の名前（この実施例では、Ａｃｍｅ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｏｆ Ｅｕｒｏｐｅ ａｎｄ Ａｃｍｅ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｏｆ Ｃａｎａｄａ）をクリックし、任意的に、文法規則、名前付きエンティティ依存、ＯＲＧＡＮＩＺＡＴＩＯＮ（Ａｃｍｅ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｏｆ Ｃａｎａｄａ）を選択して、組織のリーダを検索することに対する関心を表現することができる。次に、ユーザインターフェースは、この情報を取り上げて、透過的に規則を生成し、これは次いで、個人名を主語としてもつ、タイプ（活字）Ｌｅａｄｅｒの述語をもつ、及びタイプ組織の目的語をもつ文だけをフィルタ処理するのに用いられる。

インターフェース３０は、完全に経験のないユーザによる使用のために設定することができ、特定の事実を抽出するためのクエリーを定義することを可能にする。本実施形態においては、ユーザは、文書の文に表示される語を単にクリックすることによって、関心のある事実の種類を定義する。本実施形態において、グラフィカル・インターフェースは、語及び高レベルの意味次元のリンク（例えば、個人、場所又は組織）のみを表示することができるので、ＳＱＬ固有の複雑さをユーザから隠すことができる。

インターフェースは、さらに、ユーザが、クリックすることにより、なぜ選択された語に関心があるかを指定するのを可能にすることができる（例えば、それらには特徴ＰＥＲＳＯＮが書いてある、又は、それらが主語の位置にある、タイプ個人の名詞である、活字タイトルの目的語名詞であるので）。具体的には、インターフェースは、ユーザが語をクリックしたときにメニューを生成し、これはユーザが選択することのできる選択肢のリストを提供する。ユーザは、再びクリックすることによって選択肢を選択することができる。この情報を考慮に入れると、プロセッサは、自動的に、パーサにより用いられる言語でクエリーを生成し（例えばＸＩＰ）、これを次いで、データベースにおけるいずれかの文書に適用して、関連する情報を抽出することができる。

この後者の場合には、ユーザは、自動的に、構文規則を生成することができる。文法が変化したために、データベース２６は、これらの規則が現在可能にする新規のリンクを考慮に入れるために、完全に又は部分的に再作成されることができる。

ユーザは、サーチするための文書又は一組の文書を選択することができる。ユーザは、選択された文書又は文書の集まり（辞書における）をユーザインターフェースのキャッシュにドラッグ・アンド・ドロップすることができる。次に、ユーザは、文書全体を構文解析するか、又は、ツールバーメニュー或いはウィンドウから、ユーザが関心のあるモジュール（例えば、ＮＰのみ、又は、個人名のみ、又は、主語の位置にある個人名のみなど）を選択するかを選ぶことができる。例えば、ユーザは、１つ又はそれ以上の構文ノードを選択する、例えば、クリックする。構文ノードは、名詞、動詞、形容詞といった語彙のカテゴリ、或いは、名詞句（ＮＰ）、動詞句（ＶＰ）などのような句のカテゴリとすることができる。統語的依存関係（例えば、名詞とその動詞との間の主語の関係）を定義する２つのノードが選択される場合には、統語的依存関係が表示される。このように、マウスのクリックを自動的に複雑な規則に変換することができる。

パーサの規則データベースは、ユーザ指定の規則によって充実させることができ、これはさらに別の使用のために、特定のユーザディレクトリ１０８に格納することができる。

文書を変換するための例示的な方法及び文書を検索するための方法が、ここで、図２及び図３を参照して説明される。説明目的のために、パーサモジュールのための文法規則をコンピュータシステムにロードしたと仮定する。

図２を参照すると、文書を変換するための方法はステップＳ２００で開始する。この方法は、一組の文書１４、１６をコンピュータシステム１０に入力することを含む（ステップＳ２０２）。入力ステップは、ウェブサイトに対して、又は、パーサ２０がインストールされたネットワークコンピュータに対して、ＸＭＬファイルを形成するために、電子的に文書を送信すること、或いは、それらを携帯型格納媒体からコンピュータシステム１０に転送することを含む。又は、文書を走査して、コンピュータ可読フォーマットに変換することができる。ステップＳ２０４では、文書が一時メモリ内に格納される。構文解析ステップ（Ｓ２０６−Ｓ２２４）はユーザの入力なしに、自動的に進行することができる。

ステップＳ２０６では、トークン化装置５２が、入力文書におけるトークン（語、句読点）を識別する。ステップＳ２０８では、モルフォロジーモジュール５４が、文書において用いられる語の各々のトークン及び見出し語の形式及び／又は語幹の構文の性質を識別し、これに従って語に表示を付すことができる。ステップＳ２１０では、曖昧性解消モジュール５６が曖昧なトークンに曖昧性解消規則を適用することができる。ステップＳ２１２では、名前付きエンティティモジュールが、名前付きエンティティを識別し、表示を付すことができる。ステップＳ２１４では、チャンク化モジュールがチャンクを識別する。ステップＳ２１６では、依存性モジュールモジュール７０がテキスト断片の対の間の構文依存性を識別する。ステップＳ２１８では、概念適合モジュール７４が、これらが表現する概念に対応するタグでテキストストリングに表示を付すことができる。ステップＳ２２０では、正規化モジュール７６が前置詞句を区別して、これらに場所、時制、又はトピックのラベルの表示を付す。ステップＳ２２０では、語彙モジュール７８が、特徴を、それらの特徴に関する語と関連させることができる。ステップＳ２２２では、時制モジュールが時称を検出し、それらに表示を付し、ファイル２８に関連するヘッダにおいて、時系列的に格納することができる。ステップＳ２２４では、同一参照モジュール８２が、代名詞の後方照応リンク及び前方照応リンク並びに作成者のタグを判断して、適切なテキスト断片に取り付けることができる。

ステップＳ２２６では、注釈付き文書がパーサによって出力され、すべての言語分析により充実されたＸＭＬファイル２８としてデータベース２６内に格納される。或いは、注釈付き文書は、リレーショナルデータベース内に格納することができる。いずれの場合においても、文書は、クエリーに応答するテキストストリングを検索することを望むユーザにアクセス可能である。

図３を参照すると、文書をクエリーすることを望むユーザは、インターフェース３０を用いて、クエリーに応答する文書全体又はテキストストリングを検索する。検索方法はステップＳ３００で開始する。

ステップＳ３０２では、ユーザは、注釈付きテキスト本体を含むサーチされるＸＭＬファイル２８を選択することができ、或いは、データベース内の複数のファイル２８又はさらにデータベース２６全体をサーチすることができる。

ステップＳ３０４において、ユーザは、ファイル２８における注釈付き文書のサブセットを戻すことができる名前付きエンティティのような広範な最初のクエリーを入力することができる。最初の段階において、プロセッサは、多数の応答する文書を識別することができる。ステップＳ３０６では、プロセッサは、入力されたサーチをテキストボックスに表示させる。例えば、ｗｈｅｎ ｄｉｄ Ｒｏｂｅｒｔ Ｓｍｉｔｈ ｊｏｉｎ Ａｃｍｅ？というクエリーに応えることを望むユーザは、例えば、キーボードで入力することによって名前Ｒｏｂｅｒｔ Ｓｍｉｔｈを入力して、ユーザが、ツールバー上のＮａｍｅｄ Ｅｎｔｉｔｙツールを選択した後で表示されるポップアップボックスにおいて、それが表示されるようにすることができる。ステップＳ３０６では、クエリーがテキストボックスに表示される。ステップＳ３０８では、プロセッサは、例えば、関連するタグを検索することによって、最初のクエリーに関連する文法規則を識別し、この文法規則を用いてサーチクエリーを自動的に公式化する。ステップＳ３１０では、プロセッサはクエリーに応答する文書を検索する。検索ステップは、検索された文書のサブセットの識別をメモリ内に格納するプロセッサを含むことができ、及び／又は、注釈付き文書自体を一次メモリ内にキャッシュすることができる。ユーザインターフェース３０は、ディスプレイ上に戻される文書の数を表示することができる。

ステップＳ３１２では、プロセッサは、広範のクエリー応答を含むテキストストリングとして、検索された文書のサブセットからの１つ又はそれ以上の文書の全て又は一部をディスプレイ３４上に表示する。例えば、Ｒｏｂｅｒｔ Ｓｍｉｔｈのようなサーチ用語を強調表示することができる。文書の検索をトリガした文法規則の全て又は幾つかは、文書が一時メモリ１０２内に格納されたときに失われることになる。

ステップＳ３１４では、ユーザは、組における検索された文書の１つ又はそれ以上のテキストを強調表示することにより、サーチを変更することを選択することができる。例えば、ユーザは、図７に示すテキストストリングにおいてＲｏｂｅｒｔ Ｓｍｉｔｈ、ｊｏｉｎｅｄ及びＡｃｍｅ Ｃｏｒｐという語を強調表示することができる。強調表示されたテキスト断片は、少なくとも部分的にユーザのクエリーに応答する情報を含む。プロセッサは、強調表示された断片に関連するタグを検索し、そこから自動的にクエリーを生成して、検索される文書を問合せる。

或いは、ステップＳ３１６では、ユーザは文を選択し、この言語情報の組を生成するのに適用される規則と併せて、ユーザがその文に対する内部の言語情報にアクセスすることができるモードに切り換えることができる。このモードにおいて、プロセッサは、強調表示された文又はその断片に関連するタグを検索、そこから文法規則を自動的に生成する。ステップＳ３１８では、プロセッサは、強調表示されたテキスト断片に対する又はテキストストリングに対する関連する文法規則を表示することができ、これらは、例えば、対話式ウィンドウに表示される。このステップは自動とすることができる。代替的に、文法規則は、ユーザによって、例えば、ツールバーを通してアクセスすることができる。１つの実施形態においては、プロセッサ３６は、第１に、規則を選択された文に適用することができ、各々は完全に構文解析される。次に、この構文解析が画面上に表示され、語は一番上に表示される。次に、ユーザは、各ノードをクリックして、結果としてもたらされる分析を、語から、より深い分析まで閲覧することができる。情報を選択するために、ユーザは、ノードをクリックして（例えば、関連するボックスをチェックすることにより）、そのノードに依存する特徴の特定の組を閲覧することができる。ユーザは、特徴のリストを生成するノード、及び、後でパーサ言語における有効な新規な規則に変換するプロセッサに供給されるノードと併せて、これらの特徴の幾つかを選択することができる（ステップＳ３２０）。

他の方法を用いて、規則を変更することができる。例えば、ユーザは、図７に示すように、ドローダウンメニューから見出し語ツール１４０のようなツールを選択することができる。ステップＳ３２２では、ユーザは、ツールバー上の語彙同等ツールを選択することができる。語彙同等ツールは、文書及び／又はそれ自体のメモリ内に格納された同等物に関連する語彙同等タグに基づいて、強調表示されたテキスト断片のいずれかの語彙同等物を表示することができる。ユーザは、サーチを拡張するために語彙同等物の１つ又はそれ以上を選択することができる。或いは、ユーザは、全ての語彙同等物を可能にするように選択することができる。

ステップＳ３２４では、プロセッサが選択された文法規則を含むクエリーを生成する。例えば、プロセッサ３６は、パーサ言語における規則又はＳＱＬクエリーを生成することができる。

実施例において、プロセッサ３６は、
名前付きエンティティ：Ｒｏｂｅｒｔ Ｓｍｉｔｈ
名前付きエンティティ：Ａｃｍｅ Ｃｏｒｐ．，Ａｃｍｅ Ｃｏｒｐｏｒａｔｉｏｎ
動詞：ｊｏｉｎｅｄ
動詞の原形：ｊｏｉｎ（見出し語）
主語、目的語：Ａｃｍｅ Ｃｏｒｐ
主語、目的語：Ｒｏｂｅｒｔ Ｓｍｉｔｈ、Ａｃｍｅ Ｃｏｒｐ．（同一参照タグを介して）
主語、動詞：Ｒｏｂｅｒｔ Ｓｍｉｔｈ、ｊｏｉｎ（同一参照タグを介して）
目的語、動詞：ｊｏｉｎ、Ａｃｍｅ Ｃｏｒｐ
のような文法規則を識別する。

ＧＵＩは、ＡＰＩによりパーサ２０（又は、プロセッサ３６における同等の構文解析命令）に接続することができる。ユーザがノード又は特徴を選択するたびに、システムは、クリックを、パーサにより生成されたＣ＋＋オブジェクト内に格納された実際の情報とすぐに結びつけることができる。選択及びＡＰＩ情報の両方を交差させることは、ノードが別のノードのサブノードであるかどうか、又は、どのノードが所与の特徴の組に取り付けられるかをシステムが検出することを可能にする。提供される情報は実際の分析から生じるので、表示される全ての特徴、カテゴリ及び見出し語が有効である。ユーザはまた、さらに規則の適用を制約するために特定の依存性をクリックすることもできる。

例えば、図８において、ユーザは、ノード「Ｎｏｕｎ＿Ｄｏｗ Ｊｏｎｅｓ」及び「Ｖｅｒｂ＿ｐｌｕｎｇｅｄ」を選択した。さらに、ユーザは、（ノードＮｏｕｎに対して）特定の見出し語「Ｄｏｗ Ｊｏｎｅ」を選択した。さらに、Ｄｏｗ Ｊｏｎｅが、その後に再試行されるテキストにおける文の主語となることを要求する別の制約として、「ＳＵＢＪ」依存性が選択された。規則は、自動的に、選択の結果として下のテキストボックスに生成される。ユーザはまた、見出し語の形式を検索するために、見出し語ツールをクリックすることができる。ステップＳ３２８では、プロセッサは、任意的にはユーザにより変更された文法規則を、キャッシュ内の検索された文書の組に適用し、文書のサブセットを検索する。例えば、プロセッサは、いずれかの更に別のユーザ選択により充実された、強調表示されたテキストの文法規則に基づいて、１つ又はそれ以上のクエリー規則を定義する。生成される規則は、ユーザの入力によって変更された、強調表示されたテキスト断片に関連するタグを含むことができる。生成される規則は、検索されたテキストにおけるテキスト断片の間の１つの又は無限の又は有限の数のスペースを可能にすることができ、選択されるテキスト断片に対する語彙の同等物を可能にすることができる。

ステップＳ３３０では、ユーザは、意図したクエリーが応答されたかどうかを判断するために、キャッシュ内の文書の１つ又はそれ以上を見直すことができる。ユーザは、関心のある文のみを選択することによって、事実抽出プロセスを改良することができる。ユーザは、サーチをさらに改良するために文書の新規の組からさらに別のテキストを選択することができ、又は、結果が意図されるクエリーに応答しない場合には、異なる検索基準を用いてサーチを繰り返すことができる。任意的には、方法が終了する前に、ステップＳ３１４ないしＳ３３０が、１回又はそれ以上繰り返される。ステップＳ３３２では、ＸＭＬファイルの文書を、サーチの結果としての新規の規則により、及び／又はユーザの規則の組に追加される新規の規則により充実させることができる。このステップは、自動的に、又は、ユーザの指示で進行することができる。方法は、ユーザがクエリーに対する応答を識別したとき、或いはサーチを終えると判断したときに、ステップＳ３３４で終了する。

検索された文書におけるテキスト断片を強調表示することによってクエリーを定義するこのプロセスは、通常の構文解析の動作と反対のものである。ここでの目標は、テキストを分析して自動的に規則を生成することである。次に、文書の組全体をこの減少した規則の組でクエリーすることができる。結果は、文或いは段落のような、規則に応答するテキストストリングの抽出である。

文書の自動化された注釈付けのための例示的なシステム及びクエリーに応答する注釈付き文書の検索システムのブロック図である。 文書の自動化された注釈付けのための例示的な方法のフロー図である。 図２の方法によって注釈が付けられた、クエリーに応答する文書を検索するための例示的な方法のフロー図である。 文書のテキスト断片に関連する文法規則に対応するタグが付けられた例示的な自然言語文書を示す図である。 構文解析後のツリー構造の文書を示す図である。 画面上に表示される最初のユーザクエリーを示す図である。 画面上で検索された文書のテキスト断片を強調表示することによるユーザのクエリーの変更を示す図である。 画面上に表示されるウィンドウを介した、プロセッサとの対話による文法規則のユーザの選択を示す図である。

符号の説明

１０：文書処理装置
１２：入力
１４：テキスト
１６：ＸＭＬ
１８：一時メモリ
２０：パーサ
２６：リレーショナルデータベース
３０：言語ユーザインターフェース
３２：コンピュータ
３４：ディスプレイ
３６：プロセッサ

Claims (4)

1. テキストを検索するためのシステムであって、
   ユーザにより選択されたテキストストリングのテキスト断片に関連する文法規則を識別するための命令と、関連する格納媒体から前記文法規則を満たす付加的なテキストストリングを検索するための命令と、を含むプロセッサと、
   検索されたテキストストリングを表示するためのディスプレイと、
   クエリーを生成するために、表示されたテキストストリングのテキスト断片をユーザが選択することを可能にする、前記プロセッサと通信するユーザ入力デバイスとを含み、
   前記プロセッサが、前記ユーザにより選択されたテキスト断片に関連する文法規則を識別し、前記格納媒体から前記文法規則を満たすテキストストリングを検索する、
   ことを特徴とするシステム。
2. 前記プロセッサが、検索されたテキストストリングに関連する文法規則を前記ディスプレイに表示させるための命令を含むことを特徴とする、請求項１に記載のシステム。
3. 前記ディスプレイがグラフィカル・ユーザ・インターフェースとして働き、これによって、検索されたテキストストリングに関連する複数の文法規則の少なくとも１つをユーザが選択できるようにすることを特徴とする、請求項１に記載のシステム。
4. 選択されたテキストストリングからクエリーを生成することを含む方法であって、
   前記選択されたテキストストリングからユーザにより選択されたテキスト断片に関連する文法規則を自動的に識別することと、
   関連する格納媒体から、前記識別された文法規則の少なくとも一部を満たす付加的なテキストストリングを検索するためのクエリーを生成すること、
   を含むことを特徴とする方法。

Images