JP2001513243A - テキストの意味論的表現を利用した情報の検索 - Google Patents

Abstract

(57)【要約】 本発明はテキストの意味論的表示を利用した情報の検索に関するものである。好適な実施例では、トークナイザが入力されたストリングから、入力ストリングで表現された意味論的な関係を特徴とするトークンを生成する。トークナイザは先ず、入力ストリングから、入力ストリング中の選択された語間の意味論的な関係を特徴とする一次論理形式を作成する。次にトークナイザは入力ストリング中の選択された語の１つと“・・・である”の関係を各々が有する総称語を識別する。次にトークナイザは一次論理形式から単数または複数の代替論理形式を構成する。トークナイザは入力ストリング中の単数または複数の選択された語の各々について、各々の代替論理形式を構成する。最後に、トークナイザは一次論理形式と代替論理形式の双方を表すトークンを生成する。トークナイザは好適には目標文書を表す索引を構成し、かつ、その索引に対する照会を処理する双方の目的のためのトークンを生成するために利用される。

Description

【発明の詳細な説明】 テキストの意味論的表現を利用した情報の検索 技術分野 本発明は情報検索の分野に関し、特に情報検索のトークン化の分野に関する。 発明の背景 情報検索とは照会または照会文書中に目標文書語が出現するとそれを識別する プロセスのことである。情報検索は明示的なユーザー探索照会の処理、特定の文 書に関連する文書の特定、２つの文書の類似性の判定、文書の特徴の抽出、およ び文書の要約を含む、幾つかの状況に適用して好結果を得ることができる。 情報検索には標準的には２段階のプロセスが含まれている。すなわち（１）索 引作成段階では文書は先ず（ａ）文書中の各々の語を“トークン”と呼ばれる情 報検索エンジンか理解でき、これによって区別されることができる一連の文字へ と変換するプロセス（文書の“トークン化(tokenizing)”として知られている） 、および（ｂ）各々のトークンからトークンが出現した文書中の箇所への索引図 を作成するプロセスと、（２）照会段階では、照会（または照会文書）が同様に トークン化され、かつ索引と比較されて、トークン化された照会でトークンが出 現する文書中の箇所を特定するプロセスである。 図１は情報検索プロセスを示した概略的なデータの流れ図である。索引作成段 階では、目標文書１１１がトークナイザ１１２へと提出される。目標文書は文章 のような多数のストリングからなっており、その各々は目標文書の特定箇所に出 現する。目標文書中のストリングとそれらの語の箇所がトークナイザ１２０に送 られ、このトークナイザによって各ストリング中の語は情報検索エンジン１３０ が理解でき、これによって識別可能な一連のトークンへと変換される。情報検索 エンジン１３０の索引構成部１３１がトークンとその箇所を索引１４０に追加す る。索引は各々の一意的なトークンをそれが目標文書中で出現した箇所へとマッ ピングする。必要ならば、多数の異なる目標文書を索引に加えるために、このプ ロセスを繰り返してもよい。このように索引１４０が多数の目標文書中のテキス トを表す場合、箇所情報には好適には各々の箇所ごとに、この箇所に対応する文 書の表示が含まれている。 照会段階では、テキスト照会１１２がトークナイザ１２０に提出される。この 照会は単一のストリングでも文章でもよく、または文書全体が多数のストリング から構成されていてもよい。トークナイザ１２０は照会テキストト１１２中の語 を、目標文書をトークンに変換したと同じ態様でトークンに変換する。トークナ イザ１２０はこれらのトークンを情報検索エンジン１３０の索引検索部１３２へ と送る。情報検索エンジンの索引検索部は索引１４０を探索して目標文書中にト ークンが出現しているかどうかを検索する。情報検索エンジンの情報検索部は、 各々のトークン毎に目標文書中のトークンが出現した箇所を特定する。このよう な箇所のリストが照会結果１１３として戻される。 従来形のトークナイザには標準的には、各々の大文字の小文字への変更、入力 されたテキスト中の個々の語の識別、および語から接尾語を削除すること等のよ うな入力されたテキストの外面的な変換が含まれている。例えば、従来形のトー クナイザは下記のような入力されたテキスト・ストリング、 父親が赤ちゃんを抱いている。（The father is holding the baby.） を下記のトークンへと変換するであろう。 the father is hold the baby このようなトークン化の方法はこれに基づいて、語の意味が照会テキスト中で 意図した意味とは異なるような語の出現(occurrence)を過剰に含める探索を行う 傾向がある。例えば、サンプルで入力されたテキスト・ストリングは“抱く(hol d)”という動詞を、“支える、または抱きしめる”という意味で用いている。し かし、“hold”というトークンは“船舶の積荷領域”を意味する“hold”という 語の用例と適合することがある。このトークン化の方法は更に、語が互いに照会 テキスト中の語とは互いに異なる関係にある語の出現を過剰に含める傾向がある 。 例えば、“父親”(father)が“抱く(held)”の主語であり、“赤ちゃん(baby)” が目的語である上記の入力されたテキスト・ストリングのサンプルは、“赤ちゃ ん”が主語で目的語ではない“父親と赤ちゃんが玩具を握っていた。”(The fat her and the baby held the toy.)と適合することがある。この方法は更に、照 会テキストの代わりに、異なってはいるが意味的に関連する語を使用するテキス ト・ストリングの出現を見落とすことがある。例えば、上記の入力されたテキス ト・ストリングは“両親が赤ちゃんを抱いている”というテキスト・ストリング とは適合しないであろう。従来形のトークン化の上記のような欠点を考慮すると 、トークン化されたテキスト中で明示されている意味的な関係をエンコードする トークナイザには重要なユーティリティがあるであろう。 発明の大要 本発明は入力されたテキストを分解して論理形式を特定し、次に総称語(hyper nym)を用いて論理形式を拡張する改良形のトークナイザを使用して情報検索を実 施することを指向している。本発明を従来形の情報検索の索引構造および照会と 組合わせて利用すれば、異なる意味を意図し、かつ語が互いに異なる関係を有し ている、識別されるテキスト・ストリングの出現数が減少し、かつ異なってはい るが意味的に関連する用語が用いられている、識別されるテキスト・ストリング の出現数が増加する。 本発明は索引付きテキストと照会テキストの双方を分解してこの入力されたテ キストの字句的、統語的、および意味論的な解析を行うことによって従来形のト ークン化に伴う問題点を克服するものである。この分解プロセスは照会テキスト 中の主要な役割を果たす語とその意図された意味とを識別し、かつこれらの語の 相互関係を識別する１つ、または複数の論理形式を作成する。パーザは好適には 入力されたテキストの深い（実際の）主語、動詞および深い（実際の）目的語に 関連する論理形式を作成する。例えば、入力されたテキストが“父親が赤ちゃん を抱いている。”である場合、パーザは下記のような論理形式を作成する。 深い主語 動詞 目的語 父親 抱く 赤ちゃん パーザは更に、これらの語に前記入力されたテキストで用いられている特定の 意味を付与する。 ある語の特定の意味について、語の意味にとって総称的な用語（“総称語”） である他の語の意味を特定するディジタル辞書または類語辞典（“言語知識ベー ス”としても知られている）を用いて、本発明はパーザによって作成された論理 形式に含まれる語をその総称語に変更して、これらのオリジナルの論理形式の意 味に属する全体的な意味を有する追加の論理形式を作成する。例えば、“両親” (parent)の意味が“父親”に付与された意味の総称であり、“触れる”(touch") の意味が“抱く”に付与された意味の総称であり、“子供”(child)の意味と“ 人”(person)の意味が“赤ちゃん”に付与された意味の総称であるという辞書の 表示に基づいて、本発明は下記のように追加の論理形式を作成する。 深い主語 動詞 目的語 両親 抱く 赤ちゃん 父親 触れる 赤ちゃん 両親 触れる 赤ちゃん 父親 抱く 子供 両親 抱く 子供 父親 触れる 子供 両親 触れる 子供 父親 抱く 人 両親 抱く 人 父親 触れる 人 両親 触れる 人 次に本発明は、生成された全ての論理形式を情報検索システムが理解できるト ークンへと変換し、この情報検索システムがトークン化された照会を索引と比較 し、これらのトークンを情報検索システムに提出する。 図面の簡単な説明 図１は情報検索プロセスを示す概略的なデータの流れ図である。 図２はそれによって機構が好適に機能する汎用コンピュータ・システムの高レ ベルのブロック図である。 図３は目標文書を意味論的に表す索引を構成し、これにアクセスするために機 構が好適に実施するステップを示す概略的な流れ図である。 図４は入力された文章用のトークンを生成するために機構が利用するトークン 化ルーチンを示す流れ図である。 図５は簡単な論理形式を示す論理形式図である。 図６は機構がそのために図５に示した論理形式を構成する、入力されたテキス ト断片を示す入力テキスト図である。 図７Ａは言語知識ベースによって識別される総称的関係のサンプルを示す言語 知識ベース図である。 図７Ｂは一次論理形式の深い主語の総称語の選択、男（意味２）を示す言語知 識ベース図である。 図８は一次論理形式の深い動詞の総称語の選択、キス（意味１）を示す言語知 識ベース図である。 図９および図１０は一次論理形式の深い目的語の総称語の選択、子豚（意味２ ）を示す言語知識ベース図である。 図１１は拡張された論理形式を示す論理形式図である。 図１２は拡張された一次論理形式を置換することによって作成された派生的論 理形式を示す図表である。 図１３は索引のサンプル内容を示す索引図である。 図１４は“男が馬にキスしている。”という照会に関して機構が好適に構成す る論理形式を示す論理形式図である。 図１５は総称語を用いた一次論理形式の拡張を示している。 図１６は照会論理形式の深い目的語の総称の選択、馬（意味１）を示す言語知 識ベース図である。 図１７は深い主語と動詞だけを含む部分的照会に対応する部分的論理形式を示 す部分論理形式図である。 図１８は動詞と深い目的語だけを含む部分的照会に対応する部分的論理形式を 示す部分論理形式図である。 発明の詳細な説明 本発明はテキストの意味論的な表現を用いた情報検索を行うことを指向してい る。従来形の情報検索のための索引構造および照会と組合わせて利用すれば、本 発明によって、異なる意味を意図し、かつ語が互いに異なる関係を有している、 識別されるテキスト・ストリングの出現数が減少し、かつ異なってはいるが意味 論的に関連する用語が用いられている、識別されるテキスト・ストリングの出現 数が増加する。 好適な実施例では、図１に示した従来形のトークナイザの代わりに改良形の情 報検索トークン化機構（“機構”）が使用され、これは入力されたテキストを分 解して論理形式を識別し、次に総称語を用いて論理形式を拡張する。本発明は索 引付きテキストと照会テキストの双方を分解してこの入力されたテキストの字句 的、統語的、および意味論的な解析を行うことによって従来形のトークン化に伴 う問題点を克服するものである。この分解プロセスは照会テキスト中の主要な役 割を果たす語とその意図された意味とを識別し、かつこれらの語の相互関係を識 別する１つ、または複数の論理形式を作成する。パーザは好適には入力されたテ キストの深い主語、動詞および深い目的語に関連する論理形式を作成する。例え ば、入力されたテキストが“父親が赤ちゃんを抱いている。”である場合、バー ザは深い主語が“父親”であり、動詞が“抱く”であり、深い目的語が“赤ちゃ ん”であることを示す論理形式を作成する。入力されたテキストを論理形式へと 変換することによって、修飾語が削除され、かつ時制と態（能動、受動）の差が 無視されることで入力されたテキストはその根底的な意味へと抽出されるので、 入力されたテキスト・セグメントを論理形式に変換することによって、同じ概念 を表現するために自然語で用いられることがある多くの異なる表現方法が統一さ れる傾向がある。 ある語の特定の意味について、語の意味にとって総称的な用語（“総称語”） である他の語の意味を特定するディジタル辞書または類語辞典（“言語知識ベー ス”としても知られている）を用いて、本発明はパーザによって作成された論理 形式に含まれる語をその総称語に変更して、これらのオリジナルの論理形式の意 味に属する全体的な意味を有する追加の論理形式を作成する。次に本発明は、生 成された全ての論理形式を情報検索システムが理解できるトークンへと変換し、 この情報検索システムがトークン化された照会を索引と比較し、これらのトーク ンを情報検索システムに提出する。 図２はそれによって機構が好適に機能する汎用コンピュータ・システムの高レ ベルのブロック図である。コンピュータ・システム２００は中央処理装置（ＣＰ Ｕ）２１０と、入力／出力装置２２０と、コンピュータ記憶装置（メモリ）２３ ０とを含んでいる。入力／出力装置の間にはハードディスク駆動装置のような記 憶装置２１１が配置されている。入力／出力装置は更にコンピュータによる読出 し可能な媒体駆動装置２２２を含んでおり、これを用いてＣＤ−ＲＯＭのような コンピュータによる読出し可能な媒体に備えられている機構を含むソフトウェア 製品を据えつけることができる。入力／出力装置は更に、コンピュータ・システ ム２００がインターネットを介して他のコンピュータ・システムと通信できるよ うにするインターネット接続２２３をも含んでいる。好適には機構２４０からな るコンピュータ・プログラムはメモリ２３０内に備えられ、ＣＰＵ２１０上で実 行する。機構２４０は更に、論理形式の語に意味番号を付与するためにパーザに よって利用される言語知識ベース２４２を含んでいる。この機構は更に、言語知 識ベースを利用して生成された論理形式の語の総称語を識別する。好適にはメモ リ２３０は更に目標文書から生成されたトークンから目標文書中の箇所へとマッ ピングするための索引２５０を含んでいる。メモリ２３０は更に索引２５０中の 目標文書から生成されたトークンを記憶し、かつ照会から生成されたトークンと 適合するトークンを索引から識別するための情報検索エンジン（“ＩＲエンジン ”）２６０をも含んでいる。前記機構は上記のように構成されたコンピュータ・ システムで好適に実施されるが、異なる構造のコンピュータ・システムでも実施 できることが当業者には理解されよう。 図３は目標文書を意味的に表す索引を構成し、かつこれにアクセスするために 前記機構によって好適に実行されるステップの概略的な流れ図である。簡略に述 べると、この機構は先ず目標文書の各々の文章（単数または複数）を、同じ意味 の総称語を含む文章中の重要語の相互の関係を示す拡張された論理形式を表す多 数のトークンへと変換することによって、目標文書の意味的な索引を作成する。 機構は文章が出現する目標文書中の箇所と共にこれらの“意味的トークン”を索 引中に記憶する。全ての目標文書の索引作成が完了した後、機構は索引に対する 情報検索の照会を処理することができる。受理されたこのような照会の各々につ いて、機構は、それが目標文書から文章をトークン化したと同様に、すなわち照 会テキスト用の拡張された論理形式を共に表す意味的なトークンへと文章を変換 することによって、照会のテキストをトークン化する。次に機構はこれらの意味 的なトークンを索引中に記憶された意味論的なトークンと比較して、これらの意 味論的なトークンが記憶れている目標文書の箇所を特定し、かつ照会との関連性 を特定するためにこれらの意味論的なトークンを含む目標文書をランク付けする 。この機構は好適には新たな目標文書のための意味論的なトークンを随時含める ように索引を更新する。 図３を参照すると、ステップ３０１−３０４で、この機構は目標文書中の各文 章を巡回する。ステップ３０２で、本機構は図４に示したように文章をトークン 化するルーチンを呼び出す。 図４は入力された文章またはその他の入力されたテキスト・セグメントのため のトークンを生成するために本機構が利用するトークン化ルーチンを示した流れ 図である。ステップ４０１で、本機構は入力されたテキスト・セグメントから一 次論理形式を構成する。前述したように、論理形式は文章または文章の断片の根 底的な意味を表すものである。論理形式は入力されたテキスト・セグメントがパ ーザ２４１（図２）によって語句的、および意味論的に分解されることによって 作成される。入力されたテキスト・ストリングを表す論理形式の構造に関する詳 細な説明は、本明細書に参考文献として引用されている米国特許出願第０８／６ ７４，６１０号を参照されたい。 本機構によって利用される論理形式は好適には文章の主要な動詞と、動詞の実 際の主語（“深い主語”）である名詞と、動詞の実際の目的語（“深い目的語” ）である名詞とを分離する。図５は一次論理形式のサンプルを示す論理形式図で ある。論理形式は３つの要素を有している。すなわち、深い主語の要素５１０と 、動詞の要素５２０と、深い目的語の要素５３０である。論理形式の深い主語は “男”という語の意味２であることが判る。１つ以上の意味を有する語の場 合の意味番号は、パーザが利用する言語知識ベースによって定義されたとおりに 語に付与された特定の意味を示すものである。例えば、“man”という語は人を 表す第１の意味と、大人の弾性を意味する第２の意味を有することができよう。 論理形式の動詞は“kiss”という語の第１の意味である。最後に、深い目的語は “pig”という語の第２の意味である。この論理形式の短縮バージョンはその第 １の要素として深い主語を有し、第２の要素として動詞を有し、かつ第３の要素 として深い目的語を有する順序付けされた３つの語である。 （man,kiss,pig） 図５に示した論理形式は多数の異なる文章と文章の断片を特徴付けるものであ る。例えば、図６は本機構がそのために図５に示した論理形式を構成する入力さ れたテキストを示す入力テキスト図である。図６は入力された文章の断片“mank issing a pig(子豚にキスしている男)”を示している。この語句は文書５の語番 号１５０で出現し、語の位置１５０、１５１、１５２、および１５３を占めてい ることが判る。本機構がこの入力テキストの断片をトークン化すると、図５に示 した論理形式が生成される。本機構は更に、入力された下記のテキスト・セグメ ントについても図５に示した論理形式を生成する。 The pig was kissed by an unusual man.(子豚が異常な男にキスされた。) The man will kiss the largest pig.(男が一番大きい子豚にキスするつもり だ。) Many pigs have been kissed by that man.(これまで多くの子豚がその男によ ってキスされた。) 前述したように、入力されたテキストを論理形式へと変換することによって、 修飾語が削除され、かつ時制と態の差が無視されることで入力されたテキストは その根底的な意味へと抽出されるので、入力されたテキスト・セグメントを論理 形式に変換することによって、同じ概念を表現するために自然語で用いられるこ とがある多くの異なる表現方法が統一される傾向がある。 図４に戻ると、本機構が入力されたテキストから図５に示した論理形式のよう な一次論理形式を構成した後、機構はステップ４０２を継続して総称語を用いて この一次論理形式を拡張する。ステップ４０２の後、トークン化ルーチンに戻る 。 前述したように、総称語は特定の語と“is a”（・・である）の関係を持って いる属の語である。例えば、“車両”という語は“自動車”の総称語である。本 機構は好適には言語知識ベースを用いて一次論理形式の語の総称語を識別する。 このような言語知識ベースは標準的には語の総称語を識別する意味論的なリンク を含んでいる。 図７Ａは言語知識ベースによって識別される総称語の関係のサンプルを示す言 語知識ベース図である。図７Ａは、それ以降の言語知識ベースと同様に、説明を 容易にするために簡略化されており、本明細書の説明には直接関連がなる言語知 識ベースに一般に見られる情報を省いていることに留意されたい。図７Ａの各々 の上向きの矢印は語をその総称語に結び付けている。例えば、男（意味２）とい う語を人（意味１）という語７１４に結び付けた矢印があり、これは人（意味１ ）が男（意味２）の総称語であることを示している。逆に、男（意味２）は人（ 意味１）の“属性語”であるということができる。 一次論理形式をそれによって拡張する総称語を識別する際に、本機構は総称語 の属性語との“同類性”(coherency)に基づいて一次論理形式の各々の語ごとに １つ、またはそれ以上の総称語を選択する。このようにして総称語を選択するこ とによって、本機構は入力されたテキスト・セグメントの意味を越えて、しかし 制御された分量だけ論理形式の意味を一般化する。一次論理形式の特定の語ごと に、本機構は一次論理形式の語に近い総称語を選択する。例えば、図７Ａを参照 すると、一次論理形式で出現する男（意味２）７から始まって、本機構はその総 称語である人（意味１）７１４を選択する。次に本機構は、人（意味１）が最初 の語である男（意味２）７１１に対して設定された同類の総称語を有しているか 否かに基づいて、人（意味１）７１４、動物（意味３）７１５をも選択するか否 かを判定する。最初の語（意味２）７１１以外の、人と言う語のあらゆる意味の 多数の属性語が最初の語である男（意味２）７１１と少なくともしきい値レベル の同類性を備えている場合は、人（意味１）７１４は男（意味２）７１１に対し て設定された同類の属性語を有している。 総称語の異なる意味の属性語どうしの同類性のレベルを判定するため、本機構 は好適には言語知識ベースに諮ってこれらの語の文章どうしの同類性の度合いを 示す同類性の重みを得る。図７Ｂは男（意味２）と、人（意味１）および人（意 味５）の他の属性語との同類性の重みを示す言語知識ベースの図である。この図 は、男（意味２）と女（意味１）との同類性の重みが“００７５”てあり、男（ 意味２）と子供（意味１）との重みが“００２９”であり、男（意味２）と悪役 (villain)（意味１）との重みが“０００３”であり、男（意味２）と主役（意 味7）（lead）との重みが“０００２”であることを示している。これらの同類 性の重みは好適には一対の語の意味間の言語知識ベースによって保持される意味 論的な関係のネットワークに基づいて、論理知識ベースによって計算される。言 語知識ベースを利用した一対の語の意味間の同類性の重みの詳細な説明について は、本発明に参考文献として引用されている米国特許出願第 号（特許 代理人の件番第６６１００５．５２４号）、「語間の同類性の判定」を参照され たい。 これらの同類性の重みに基づいて属性語の集合が類似しているか否かを判定す るために、本機構はしきい値の数の同類性の重みが、同類性の重みのしきい値を 超えているか否かを判定する。好適なしきい値百分率は９０％であるが、機構の 性能を最適化するため、好適にはしきい値百分率を調整してもよい。更に機構の 性能が最適化されるように同類性の重みのしきい値を構成してもよい。同類性の 重みのしきい値は好適には言語知識ベースによって得られる同類性の重みの全体 的な配分と調整される。ここでは“００１５”のしきい値が用いられることが示 されている。従って本機構は最初の語と、総称語の全ての意味のその他の属性語 との間の同類性の重みの少なくとも９０％が“００１５”である同類性の重みの しきい値、またはそれ以上にあるか否かを判定する。図７Ｂから、この条件は男 （意味１）に対する人の属性語によっては満たされず、一方、男（意味１）と女 （意味１）との間の、および男（意味１）と子供（意味１）との間の同類性の重 みは“００１５”以上であり、男（意味１）と悪役（意味１）との間の、および 男（意味１）と主役（意味７）との間の同類性の重みは“００１５”未満である ことが判る。従って本機構はそれ以上の総称語・動物（意味３）７１５、または 動物（意味３）のどの総称語をも選択しない。その結果、一次論理形式を拡張す るために総称語・人（意味１）７１４が選択される。 一次論理形式を拡張するため、本機構は更に一次論理形式の動詞と深い目的語 の総称語をも選択する。図８は一次論理形式の動詞・キス（意味１）の総称語の 選択を示している。この図から、触れる（意味２）がキス（意味１）の総称語で あることが判る。図は更にキス（意味１）と、触れるの全ての意味のその他の属 性語との間の同類性の重みをも示している。本機構は先ず一次論理形式の動詞・ キス（意味１）に近い総称語である触れる（意味２）を選択する。触れる（意味 ２）、相互に関係する（意味９）(interact)を選択するか否かを判定するため、 本機構はキス（意味１）と触れるの全ての意味のその他の属性語との間のどの位 の数の同類性の重みが、しきい値の同類性の重みと少なくとも同じ値であるかを 判定する。これらの４つの同類性の重みのうち２つしか“００１５”である同類 性の重みのしきい値と少なくととも同じ値ではないので、本機構は触れる（意味 ２）、互いに関係する（意味９）の総称語を選択することはない。 図９および図１０は一次論理形式の深い目的語の総称語および子豚（意味２１ ）の選択を示す言語知識ベースの図である。図９から、豚(swine)の唯一の意味 の総称語の９０％以上（実際には１００％）が“００１５”の同類性の重みのし きい値にあるか、それに近いので、本機構は一次論理形式を拡張するために子豚 （pig）（意味２）の総称語である豚（意味１）(swine)、並びに豚（意味１）（ swine）の総称語である動物（意味３）(animal)を選択することが判る。図１０ から、動物の意味の属性語の９０％未満しか（実際には２５％）“００１５”、 または約“００１５”の同類性の重みのしきい値にないので、本機構は継続して 動物（意味）の総称語である生物を選択することはないことが判る。 図１１は拡張れた論理形式を示した論理形式図である。図１１から、拡張され た論理形式の深い主語要素１１１０は男（意味２）という語１１１１に加えて総 称語の人（意味１）１１１２を含んでいることが判る。動詞要素１１２０はキス （意味１）１１２１という語と共に総称語である触れる（意味２）１１２２を含 んでいることが判る。更に、拡張された論理形式の深い目的語要素１１３０が、 子豚（意味２）(pig)１１３１に加えて、総称語である豚（意味１）(swine)と動 物(意味３)１１３２を含んでいることも判る。 拡張された論理形式の各要素において総称語をオリジナルの語で置換すること によって、本機構は意味が一次論理形式に適正に近似する適正に多数の派生的論 理形式を生成することができる。図１２は拡張された一次論理形式を置換するこ とによって生成される派生的論理形式を示した図表である。図１２から、このよ うな置換によって入力されたテキストの意味を各々が適正な正確さで特徴付ける １１の派生的論理形式が生成されることが判る。例えば、図１２に示された派生 的な論理形式 （person,touch,pig）(人、触れる、子豚) は、意味的に文章の断片、 man kissing a pig（男が子豚にキスしている） に極めて類似している。 図１１に示した拡張された論理形式は一次論理形式プラス、これらの１１の派 生的論理形式を表しており、これらは拡張された論理形式１２００としてよりコ ンパクトに表現されている。 （（男または人）、（キスまたは触れる）、（子豚または豚または動物）） 本機構はこの拡張された論理形式から、従来形の情報検索エンジンによる処理 が可能であるようにする論理トークンを生成する。最初に、本機構はある語が入 力されたテキスト・セグメント中に深い主語、動詞または深い目的語のどれとし て出現したかを識別する指定符号を、拡張された論理形式中の各語に添付する。 それによって、“man(男)”という語が深い主語として照会用に入力されたテキ スト・セグメント用の拡張論理形式に出現した場合、それが動詞であった拡張論 理形式の一部として索引に記憶されている“man(人員を配置する)”という語と 適合することが確実になくなる。論理形式の要素への指定符号のマッピングのサ ンプルは下記のとおりである。 論理形式要素 識別符号 深い主語 − 動詞 深い目的語 ＃ 指定符号のこのようなサンプル・マッピングを利用して、論理形式用に生成さ れたトークン“（男、キス、子豚）”には“男＿”、“キス＾”、および“子豚 ＃”が含まれよう。 従来形の情報検索エンジンによって作成された索引（複数）は一般に各々のト ークンを目標文書のトークンが出現する特定箇所へとマッピングする。従来形の 情報検索エンジンは例えば、文書番号を用いてこのような目標文書を表し、トー クンの出現を含む目標文書を識別し、その目標文書中のトークンの出現箇所を特 定する。このような目標文書の箇所を発見することによって、従来形の情報検索 エンジンは、“ＰＨＲＡＳＥ”（語句用）演算子を用いた照会に応答して目標文 書中に共に出現する語を識別することが可能であり、その際にＰＨＲＡＳＥ演算 子が結び付ける語は目標文書中の近くにある必要がある。例えば、“赤い ＰＨ ＲＡＳＥ 自転車”という照会は、文書５の語６１１の“赤い”という語、およ び文書５の語６１２の“自転車という語の出現と適合するが、文書７、部７６２ の“赤い”という語、および文書７の語２０２の、“自転車”という語の出現と は適合しないであろう。目標文書の箇所を索引に記憶しておくことによって更に 、従来の情報検索エンジンが照会に応答して、照会がなされたトークンが目標文 書中に出現するポイントを特定することが可能になる。 目標文書の入力されたテキスト・セグメントから拡張された論理形式の場合は 、拡張された論理形式のトークンが目標文書のその箇所で出現しない場合でも、 本機構は好適には人工的な目標文書の箇所を各々のトークンに同様に割当てる。 これらの目標文書の箇所を割当てることによって、（Ａ）従来形の探索エンジン がＰＨＲＡＳＥ演算子を利用して単一の一次、または派生的論理形式に対応する 意味論的トークンの組合わせを識別することと、（Ｂ）本機構が割当てられた箇 所を目標文書中の入力されたテキストの断片の実際の箇所と関連付けることの双 方が可能になる。従って本機構は意味論的なトークンに以下のように箇所を割当 てる。 論理形式要素 箇所 深い主語 （入力されたテキスト・セグメントの最 初の語の箇所） 動詞 （入力されたテキスト・セグメントの最 初の語の箇所）＋１ 深い目的語 （入力されたテキスト・セグメントの最 初の語の箇所）＋２ 従って本機構は文書５、語１５０で始まる文章から導出された“男、キス、子 豚）”について、拡張された論理形式のトークン用に目標文書の箇所を下記のよ うに割当てる。すなわち、“男＿”および“人＿”、文書５、語１５０；“キス ＾”、および“触れる＾”、文書５、語１５１、および“子豚＃”および“豚＃ ”および“動物＃”、文書５、語１５２である。 図３に戻ると、ステップ３０３で、本機構はトークン化ルーチンによって生成 されたトークンをそれらが出現する箇所と共に索引に記憶する。図１３は索引の サンプル内容を示す索引図である。索引は各トークンから文書の特定、およびト ークンが出現する文書中の箇所までをマッピングする。索引中のマッピングをよ り明解に示すために索引は表として示されているが、実際には索引は好適には木 状形式のような、索引中のトークンの箇所をより効率よくサポートする多くの他 の形式の１つで記憶されることに留意されたい。更に、索引のサイズを最小限に するため、接頭圧縮のような技術を用いて索引の内容を圧縮することが好適であ る。 ステップ３０３に基づいて、本機構は各々の語のためのマッピングを拡張論理 形式で索引１３００中に記憶していることが判る。マッピングは深い主語である “男”および“人”から目標文書の文書番号５、語番号１５０までのマッピング が索引に記憶されている。語番号１５０は図６に示した入力されたテキスト・セ グメントが開始される語の位置である。本機構は深い主語に対応するトークンに 指定符号“＿”を添付したことが判る。この指定符号を添付することによって、 本機構は後に索引を探索する際に、論理形式の動詞または深い目的語として出現 するこれらの語の出現を検索せずに、論理形式の深い主語として出現するこれら の語の例だけを検索することができる。同様にして、索引は動詞の語である“キ ス”および“触れる”のトークンを含んでいる。これらの動詞語の入力によって これらの語は目標文書の文書５、語番号１５１の箇所に、目標文書の深い主語の 箇所の後に１語ずつマッピングされる。更に、指定符号“＾”がこれらの動詞語 のためのトークンに添付されているので、これらの語がこのような形で出現して も、後に深い主語または深い目的語として出現したものとは見なされないことが 判る。同様にくして、索引は深い目的語“動物”、“子豚”、および“豚”のた めのトークンを含んでおり、これらの語は目標文書の文書番号５、語番号１５２ の箇所に、すなわち語句（ＰＨＲＡＳＥ）が始まる目標文書の箇所から２語先の 箇所にマッピングされる。深い目的語を索引中で深い目的語として識別するため 、指定符号“＃”が深い目的語のためのトークンに添付される。索引が図示した 状態にある場合、図１２に示した派生的な一次論理形式のいずれかについて索引 を探索することによって、図６に示した入力されたテキストの断片を見出すこと ができる。 本機構が目標文書中に字句的に出現する語の、目標文書中のそれらの語の実際 の箇所へのマッピングと、同じ索引中の目標文書の意味論的な表示の双方を記憶 する好適な実施例では、索引中でアクセスされた場合に意味論的な表示の意味論 的なトークンと字句的なトークンとを区別するために、意味論的表示の各々の意 味論的トークンの語番号の値は、好適にはいずれかの文書中の語の番号よりも大 きい定数だけ増分される。図１３を簡略にするため、この定数の追加は図示して いない。 この例では、本機構は拡張された論理形式の各々の語のためのトークンを索引 に追加して、目標文書の意味論的な表示を形成する。しかし、好適な１実施例で は、本機構はそれが索引に追加する拡張された論理形式のトークンの集合を、目 標文書中の文書どうしを区別するのに有効であると思われる論理形式のトークン に限定する。索引に追加される拡張された論理形式のトークンの集合をこのよう に限定するため、本機構は好適には各トークンの逆文書頻度(Inverse Document Frequency)を判定する。その公式は下記の方程式（１）によって示されている。 この実施例では、本機構はその逆文書頻度が最大しきい値を超えるトークンだけ を索引に追加する。 図３に戻ると、トークンを索引に記憶した後、目標文書中の目下の文章の処理 前にステップ３０４で、本機構は目標文書中の次の文章を処理するためにステッ プ３０１に戻って循環する。目標文書の全ての文章の処理が終了した後、本機構 はステップ３０５に進行する。ステップ３０５で、本機構は照会のテキストを受 理する。ステップ３０６−３０８で、本機構は受理した照会を処理する。ステッ プ３０６では、本機構はトークン化ルーチンを呼出して照会テキストをトークン 化する。図１４はステップ４０１（図４）に従って“馬にキスする男”という照 会のために本機構が好適に構成する論理形式を示す論理形式図である。この論理 形式図から、深い主語が男（意味２）であり、動詞がキス（意味１）であり、深 い目的語が馬（意味１）であることが判る。この一次論理形式は一次論理形式１ ４５０で、 （男、キス、馬） としてより簡潔に表示される。 図１５はステップ４０２（図４）に基づいて総称語を用いた一次論理形式の拡 張を示している。図１５から、目標文書からのサンプルの入力テキストと同様に 、深い主語である男（意味２）が総称語である人（意味１）によって拡張され、 動詞・キス（意味１）が総称語である触れる（意味２）で拡張されたことが判る 。更に、深い目的語・馬（意味１）が総称語・動物（意味３）で拡張されたこと が判る。 図１６は照会論理形式の深い目的語・馬（意味１）の総称語の選択を示す言語 知識ベース図である。図１６から、動物（意味３）の総称語の９０％未満しか“ ００１５”である同類性の重みのしきい値、またはそれ以上にはないので、本機 構は動物（意味３）の総称語である生物（意味１）を選択しないことが判る。 従って、本機構は論理形式を拡張するために総称語・動物（意味３）だけを用い るのである。 図３に戻ると、ステップ３０７で本機構は一次論理形式の語の意味の総称語を 用いて構成された拡張論理形式１５５０（図１５）を用いて、適合するトークン が出現する目標文書中の箇所を索引箇所から検索する。本機構は好適には索引に 下記の照会を発することによって上記の動作を行う。 （男＿または人＿）ＰＨＲＡＳＥ（キス＾または触れる＾）ＰＨＲＡＳＥ（馬 ＃または動物＃） ＰＨＲＡＳＥ演算子は先行する演算数（オペランド）よりも１つだけ大きい語 の箇所で後続の演算数の出現を突合わせる(match)。従って、照会によって深 い主語である男＿または人＿が、深い目的語である馬＃または動物＃に先行する 動詞キス＾または触れる＾に先行する箇所が突合わせされる。図１３の索引から 、この照会が文書番号５、語番号１５０で満たされることが判る。 前記照会が索引中で満たされない場合は、本機構は異なる２つの部分的照会に よって照会の提出を継続する。第１の部分的形式には深い主語と動詞だけが含ま れ、目的語は含まれない。 （男＿または人＿）ＰＨＲＡＳＥ（キス＾または触れる＾） 図１７はこの第１の照会に対応する部分的論理形式を示した部分的論理形式図 である。照会の第２の部分的形式には動詞と深い目的語が含まれるが、深い主語 は含まれない。 （キス＾または触れる＾）ＰＨＲＡＳＥ（馬＃または動物＃） 図１８はこの第２の照会に対応する部分的論理形式を示した部分的論理形式図 である。これらの部分的照会によって索引中の異なる深い主語または深い目的語 を有する部分的論理形式の突合わせが行われ、また、深い主語または深い目的語 を有していない部分的な論理形式が突合わせされよう。これらの部分的突合わせ は、照会のための入力テキスト・セグメントと、代名詞の使用および暗示された 深い主語および深い目的語を含む目標文書の入力テキスト・セグメントとの差を 考慮に入れている。 図３に戻ると、索引中のトークンの適合の有無を識別した後、本機構は継続し てステップ３０８で、一次論理形式または派生的論理形式に対応して、突合わせ トークンの特定の組合わせが照会に対する関連性が高い順序で出現する目標文書 のランク付けを行う。本発明の様々な実施例において、本機構は関連性に応じた 文書のランク付けのための多数の公知のアプローチのうちの１つ、または複数の 方法を利用し、それにはジャッカード(Jaccard)重み付けおよび２進項目インピ ーダンス重み付けが含まれる。本機構は好適には適合する目標文書をランク付け するために逆文書頻度と項目頻度待機の組み合わせを利用する。 逆文書頻度重み付けの特徴は、文書間でより少ない目標文書に出現するトーク ンの組合わせに、より大きい重みを付与する文書を区別するトークン組合わせの 能力にある。例えば、写真の主題に関する目標文書群の場合、論理形式、 （写真家、フレーム、主題） は、各文書群に出現する可能性があり、従って文書間を区別するための極めて良 好な基準にはならないであろう。上記の論理形式は全ての目標文書に出現するの で、その逆文書頻度は比較的少ない。トークンの組合わせの逆文書頻度の公式は 下記のとおりである。 文書中のトークンの組合わせの項目頻度の重み付けは、ある文書がトークンの 組合わせ専用である度合いの尺度であり、かつ特定の照会トークンがより高頻度 で出現する文書は照会トークンがより少ない頻度で出現する文書よりも関連性が 高いものと想定されている。文書中のトークンの組合わせの項目頻度の重みの公 式は下記のとおりである。 項目頻度（トークンの組合わせ）＝文書中でトークンの組合わせが出現する数 （２） 本機構は各々の突合わせ文書ごとにスコアを用いて文書をランク付けする。本 機構は先ず下記の公式を用いて各文書中の各々の突合わせトークンの組合わせの スコアを計算する。 スコア（トークンの組合わせ、文書）＝逆文書頻度（トークンの組合わせ）ｘ 項目頻度（トークンの組合わせ、文書） （３） 次に本機構は下記の公式に基づいて各突合わせ文書中に適合するトークンの組 合わせがあればその最高スコアを選択することによって、各突合わせ文書のスコ アを計算する。 本機構が各文書についてスコアの計算を終了すると、本機構はこれらのスコー を増倍して、意味論的な突合わせとは別の照会の項目を反映するようにしてもよ い。各文書ごとにスコアを増倍した後、必要ならば本機構は下記の公式に示すよ うに文書のサイズを考慮に入れて各文書の正規化されたスコアを計算する。 サイズ（文書）の項目は例えば文書中の文字数、語、または文書または文書の 断片のような文書のサイズのいずれかの適正な尺度でよい。あるいは、余弦尺度 による正規化、項目の重みの合計による正規化、および最高の項目重みによる正 規化を含む、他の多くの正規化技術を用いて文書スコアを正規化してもよい。 各突合わせ文書ごとに正規化されたスコアを計算した後、本機構は文書の正規 化されたスコア順に突合わせ文書のランク付けを行う。ユーザーは好適にはラン ク付けされた突合わせ文書の１つを選択して、その文書中の適合するトークンの 箇所を探し、またはその文書の適合部分が表示されるようにしてもよい。 図３を参照すると、ステップ３０８で突合わせ目標文書のランク付けを行った 後、本機構は好適にはステップ３０５で索引に対する次の照会テキストを受理す る。 上記は突合わせトークンを含む文書の関連性によるランク付けを説明したもの である。本発明の更に別の好適な実施例は同様に、適合が含まれる、関連性があ る文書群と文書部分のそれぞれによってランク付けを行う。各々が１つ、または それ以上の文書を含む文書群へと編成された目標文書の場合は、本機構は好適に は、更なる照会のために最も関連性が高い文書群を特定するために、適合が出現 する文書群を関連性によってランク付けする。更に、本機構は好適には各々の目 標文書を各部分に分割し、適合が出現する文書部分の関連性をランク付ける。こ れらの文書部分はある数のバイト、語、または文章を選択するか、または目標文 書中に出現する構造的、書式的、または言語的なキューを用いて目標文書中で連 続的に特定される。更に本機構は好適には特定のテーマに関する非連続的な文書 部分を特定することもできる。 これまで本発明を特定の実施例を参考にして図示し、説明してきたが、本発明 の範囲を離れることなく形式と細部の多くの変更または修正が可能てあることが 当業者には理解されよう。例えば、トークナイザを直截に、論理形式構造の１つ の語に各々が対応するトークンの代わりに、完全な論理形式構造に各々が対応す るトークンを作成し、索引に記憶されるようにしてもよい。更に、意味論的な突 合わせ成分を有する照会に他の種類の探索方法を組入れるために様々な公知の技 術を適用してもよい。更に、照会には多数の意味論的な突合わせ成分が含まれる ようにしてもよい。加えて、総称語以外に語間で識別される意味論的な関係性を 利用して、一次論理形式を拡張してもよい。本機構は更に、前述のルーチンで字 句知識ベースから総称語のリストを作成するのではなく、一次論理形式の各語に ついて予め承認された代用可能な語のリストを利用して一次論理形式を拡張して もよい。更に、突合わせの精度を更に高めるため、トークナイザは語に特定され た意味番号を語のためのトークン中でエンコードしてもよい。この場合は、総称 語の集合の同類性のためのテストは、選択された総称語の全ての意味との類似性 のテストよりも軽減される。１例では、人という語の意味１の総称語だけが男（ 意味２）という語の最初の意味との同類性のしきい値レベルにあればよい。可能 性がある索引中の突合わせ項目には曖味さが少ないので、誤った適合を生ずるこ とがある項目の集合を制限することができる。このような理由から、論理形式の 語と総称語の関係にある意味だけをテストすればよい。

【手続補正書】特許法第１８４条の８第１項 【提出日】平成１１年５月１０日（１９９９．５．１０） 【補正内容】 請求の範囲 １．コンピュータ・システムで、ある所定の意味論的な機能を満たす語を各々が 指定する論理形式を利用して、入力入力されたストリングから情報検索トーク ンを生成する方法において、 入力ストリング中の選択された語間の意味論的な関係を特徴付ける一次論理 形式を該入力ストリングから作成するステップと、 選択された語と意味的に充分に近い選択された入力ストリング中の語の総称 語を識別するステップと、 入力ストリング中の選択された単数または複数の語の各々について、一次論 理形式の選択された語を、選択された語の識別された総称語で置換することに よって各々が構成された単数または複数の代替論理形式を一次論理形式から構 成するステップと、 一次論理形式と代替論理形式の双方を表するトークンを生成し、生成された トークンを情報検索エンジンにより区別することができることで、成分にアク セスし、かつ成分に比較処理を施すステップと、からなることを特徴とする方 法。 ２．前記構成ステップが入力ストリングを分解してその構文的、および意味論的 構造を識別するステップを含むことを特徴とする請求の範囲第１項に記載の方 法。 ３．前記識別ステップが、 入力されたデータの選択された各々の語について、 言語知識ベースから各々が選択された語に対する総称語の意味の同類性を特 徴付ける同類性の数値を有する、選択された語の単数または複数の総称語を検 索するステップと、 同類性の値が所定のしきい値を超えるいずれかの総称語を識別するステップ と、 を含むことを特徴とする請求の範囲第１項に記載の方法。 ４．前記構成ステップの前に、探索照会から入力ストリングを選択するステップ と、 単数または複数の目標文書の表示と比較するために、生成されたトークンを 照会エンジンに提出するステップと、 を更に含むことを特徴とする請求の範囲第１項に記載の方法。 ５．前記構成ステップの前に、索引付けされる本文からの入力ストリングを選択 するステップと、 生成されたトークンをテキストの本文を表す索引に記憶するために索引サブ システムに提出するステップと、 を更に含むことを特徴とする請求の範囲第１項に記載の方法。 ６．代替論理形式に出現する各々の語の逆文書頻度を判定するステップを更に含 み、前記提出ステップは、逆文書頻度が所定の最低逆文書頻度よりも低い語を 含む代替論理形式を表すトークンを索引サブシステムに提出することを省くこ とを特徴とする請求の範囲第５項に記載の方法。 ７．前記提出ステップの後、代替論理形式に出現する各々の語の逆文書頻度を判 定するステップと、 逆文書頻度が所定の最低逆文書頻度よりも低い語を含む代替論理形式を表す トークンを索引から除去するステップと、 を更に含むことを特徴とする請求の範囲第５項に記載の方法。 ８．前記識別ステップが、選択された語に対して同類性がある属性語の集合を有 する選択された語の総称語を識別することを特徴とする請求の範囲第１項に記 載の方法。 ９．入力ストリング中の選択された語間の意味論的な関係を特徴付ける一次論理 形式を入力ストリンクから作成するステップと、 選択された語の意味に充分に近い入力ストリング中の選択された語の総称語 を識別するステップと、 入力ストリング中の単数または複数の選択された語の各々について、一次論 理形式中の選択された語を選択された語の識別された総称語で置換するために よって各々が構成された単数または複数の代替論理形式を一次論理形式から構 成するステップと、 一次論理形式と代替論理形式の双方を表するトークンを生成し、生成された トークンを情報検索エンジンにより区別することができることで、成分にアク セスし、かつ成分に比較処理を施すステップと生成されたトークンを情報検索 エンジンにより区別することができるようにするステップと、を実行すること によって、ある所定の意味論的な機能を満たす語を各々が特定する論理形式を 用いて、コンピュータ・システムが入力ストリングから情報検索トークンを生 成するように構成されたコンピュータによる読出し可能な媒体。 10．前記構成ステップが、入力ストリングを分解して、その構文的、および意味 論的構造を識別できるようにするステップを更に含むことを特徴とする請求の 範囲第９項に記載のコンピュータによる読出し可能な媒体。 11．前記識別ステップが、 入力されたデータの選択された各々の語について、 言語知識ベースから各々が選択された語に対する総称語の意味の同類性を特 徴付ける同類性の数値を有する、選択された語の単数または複数の総称語を検 索するステップと、 同類性の値が所定のしきい値を超えるいずれかの総称語を識別するステップ と、 を含むことを特徴とする請求の範囲第９項に記載のコンピュータによる読出し 可能な媒体。 12．前記構成ステップの前に、探索照会から入力ストリングを選択するステップ と、 単数または複数の目標文書の表示と比較するために、生成されたトークンを 照会エンジンに提出するステップと、 を更に含むことを特徴とする請求の範囲第９項に記載のコンピュータによる読 出し可能な媒体。 13．コンピュータによる読出しが可能な媒体の内容によって、コンピュータ・シ ステムが、 前記構成ステップの前に、索引付けされる本文からの入力ストリングを選択 するステップと、 生成されたトークンをテキストの本文を表す索引に記憶するために索引サブ システムに提出するステップと、 を実行するように構成されたことを特徴とする請求の範囲第９項に記載のコン ピュータによる読出し可能な媒体。 14．単数または複数の目標文書の内容を特徴付ける文書索引付けデータ構造を含 むコンピュータ・メモリであって、前記文書索引付けデータ構造は目標文書中 の語から箇所までマッピングし、前記文書索引付けデータ構造は目標文書に出 現する語の複数の語句(passage)ごとに、前記語句によって生成された論理形 式に含まれる語から前記語句に対応する箇所まで、また前記語句によって生成 された論理形式に含まれる部の総称語から前記語句に対応する箇所までマッピ ングすることで、照会に応答して、照会の語句と意味論的に類似する目標文書 の語句箇所を特定するために文書索引付けデータ構造を利用できるようにされ たことを特徴とするコンピュータ・メモリ。 15．文書索引付けデータ構造がいずれの目標文書にも出現しない少なくとも１つ の語から目標文書中の箇所をマッピングすることを特徴とする請求の範囲第１ ４項に記載のコンピュータ・メモリ。 16．単数または複数の目標文書に対する語の使うを含む照会に応答するコンピュ ータ・システムであって、各々の目標文書は単数または複数の語の語句からな っており、各々の目標文書の語句が目標文書内に箇所を有している形式のコン ピュータ・システムにおいて、 目標文書を受理するための目標文書レシーバと、 目標文書に関する照会を受理するための照会レシーバと、 目標文書レシーバから受理した目標文書の語句、および照会レシーバから受 理した照会の語句からトークンを生成するトークナイザであって、ある所定の 意味論的な機能を満たす語を特定することによって、各々の語句から前記語句 の意味論的構造を特徴付ける論理形式を合成する論理形式シンセサイザを含ん でおり、語句から合成された論理形式を表すトークンを生成して、照会処理サ ブシステムがトークンの成分にアクセスし、かつそれらに比較処理を施すトー クナイザと、目標文書の語句から生成された各トークンから、トークンが生成 された目標文書の語句の目標文書中の箇所までマッピングする関係性を記憶 する索引メモリと、 各照会ごとに、照会により生成されたトークンと適合するトークンを索引メ モリから識別し、かつ識別されたトークンからマッピングされた箇所の表示を 戻すための照会処理サブシステムと、 を備えてなることを特徴とするコンピュータ・システム。 17．シンセサイザから論理形式によって合成された論理形式（複数）が語を含む と共に、トークナイザが更に、 論理形式シンセサイザによって合成された各論理形式から、論理形式中の単 数または複数の語が意味が充分に近い総称語で置換される単数または複数の論 理形式を作成するための総称語拡張サブシステムを更に含み、 前記トークナイザは更に総称語拡張サブシステムによって作成された補足論 理形式を表すトークンを生成することを特徴とする請求の範囲第１６項に記載 のコンピュータ・システム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヘイドーン ジョージ イー アメリカ合衆国 ワシントン州 98008 ベルヴィュー ワンハンドレッドアンドシ ックスティーフィフス プレイス ノース イースト 3211 (72)発明者 リチャードソン スティーブン ディー アメリカ合衆国 ワシントン州 98052 レッドモンド ノースイースト ワンハン ドレッドアンドサーティセカンド 18028 (72)発明者 ドーラン ウィリアム ビー アメリカ合衆国 ワシントン州 98052 レッドモンド ノースイースト ワンハン ドレッドアンドフィフティーサード コー ト 7412 (72)発明者 ジェンセン カレン アメリカ合衆国 ワシントン州 98008 ベルヴィュー ワンハンドレッドアンドシ ックスティーフィフス プレイス ノース イースト 3211

Claims (1)

1. 【特許請求の範囲】 １．コンピュータ・システムで入力されたストリングから情報検索トークンを生 成する方法において、 入力ストリング中の選択された語間の意味論的な関係を特徴付ける一次論理 形式を該入力ストリングから作成するステップと、 選択された入力ストリング中の語の総称語を識別するステップと、 入力ストリング中の選択された単数または複数の語の各々について、一次論 理形式の選択された語を、選択された語の識別された総称語で置換することに よって各々が構成された単数または複数の代替論理形式を一次論理形式から構 成するステップと、 一次論理形式と代替論理形式の双方を表するトークンを生成し、生成された トークンを情報検索エンジンにより区別することができるようにするステップ と、からなることを特徴とする方法。 ２．前記構成ステップが入力ストリングを分解してその構文的、および意味論的 構造を識別するステップを含むことを特徴とする請求の範囲第１項に記載の方 法。 ３．前記識別ステップが、 入力されたデータの選択された各々の語について、 言語知識ベースから各々が選択された語に対する総称語の意味の同類性を特 徴付ける同類性の数値を有する、選択された語の単数または複数の総称語を検 索するステップと、 同類性の値が所定のしきい値を超えるいずれかの総称語を識別するステップ と、 を含むことを特徴とする請求の範囲第１項に記載の方法。 ４．前記構成ステップの前に、探索照会から入力ストリングを選択するステップ と、 単数または複数の目標文書の表示と比較するために、生成されたトークンを 照会エンジンに提出するステップと、 を更に含むことを特徴とする請求の範囲第１項に記載の方法。 ５．前記構成ステップの前に、索引付けされる本文からの入力ストリングを選択 するステップと、 生成されたトークンをテキストの本文を表す索引に記憶するために索引サブ システムに提出するステップと、 を更に含むことを特徴とする請求の範囲第１項に記載の方法。 ６．代替論理形式に出現する各々の語の逆文書頻度を判定するステップを更に含 み、前記提出ステップは、逆文書頻度が所定の最低逆文書頻度よりも低い語を 含む代替論理形式を表すトークンを索引サブシステムに提出することを省くこ とを特徴とする請求の範囲第５項に記載の方法。 ７．前記提出ステップの後、代替論理形式に出現する各々の語の逆文書頻度を判 定するステップと、 逆文書頻度が所定の最低逆文書頻度よりも低い語を含む代替論理形式を表す トークンを索引から除去するステップと、 を更に含むことを特徴とする請求の範囲第５項に記載の方法。 ８．前記識別ステップが、選択された語に対して同類性がある属性語の集合を有 する選択された語の総称語を識別することを特徴とする請求の範囲第１項に記 載の方法。 ９．入力ストリング中の選択された語間の意味論的な関係を特徴付ける一次論理 形式を入力ストリンクから作成するステップと、 入力ストリング中の選択された語の総称語を識別するステップと、 入力ストリング中の単数または複数の選択された語の各々について、一次論 理形式中の選択された語を選択された語の識別された総称語で置換するために よって各々が構成された単数または複数の代替論理形式を一次論理形式から構 成するステップと、 一次論理形式と代替論理形式の双方を表するトークンを生成し、生成された トークンを情報検索エンジンにより区別することができるようにするステップ と、を実行することによって、媒体の内容によってコンピュータ・システムが 入力ストリングから情報検索トークンを生成するように構成されたコンピュー タによる読出し可能な媒体。 10．前記構成ステップが、入力ストリングを分解して、その構文的、および意味 論的構造を識別できるようにするステップを更に含むことを特徴とする請求の 範囲第９項に記載のコンピュータによる読出し可能な媒体。 11．前記識別ステップが、 入力されたデータの選択された各々の語について、 言語知識ベースから各々が選択された語に対する総称語の意味の同類性を特 徴付ける同類性の数値を有する、選択された語の単数または複数の総称語を検 索するステップと、 同類性の値が所定のしきい値を超えるいずれかの総称語を識別するステップ と、 を含むことを特徴とする請求の範囲第９項に記載のコンピュータによる読出し 可能な媒体。 12．前記構成ステップの前に、探索照会から入力ストリングを選択するステップ と、 単数または複数の目標文書の表示と比較するために、生成されたトークンを 照会エンジンに提出するステップと、 を更に含むことを特徴とする請求の範囲第９項に記載のコンピュータによる読 出し可能な媒体。 13．コンピュータによる読出しが可能な媒体の内容によって、コンピュータ・シ ステムが、 前記構成ステップの前に、索引付けされる本文からの入力ストリングを選択 するステップと、 生成されたトークンをテキストの本文を表す索引に記憶するために索引サブ システムに提出するステップと、 を実行するように構成されたことを特徴とする請求の範囲第９項に記載のコン ピュータによる読出し可能な媒体。 14．単数または複数の目標文書の内容を特徴付ける文書索引付けデータ構造を含 むコンピュータ・メモリであって、前記文書索引付けデータ構造は目標文書中 の語から箇所までマッピングし、前記文書索引付けデータ構造は目標文書に出 現する語の複数の語句(passage)ごとに、前記語句によって生成された論理形 式に含まれる語から前記語句に対応する箇所まで、また前記語句によって生成 された論理形式に含まれる部の総称語から前記語句に対応する箇所までマッピ ングすることで、照会に応答して、照会の語句と意味論的に類似する目標文書 の語句箇所を特定するために文書索引付けデータ構造を利用できるようにされ たことを特徴とするコンピュータ・メモリ。 15．文書索引付けデータ構造がいずれの目標文書にも出現しない少なくとも１つ の語から目標文書中の箇所をマッピングすることを特徴とする請求の範囲第１ ４項に記載のコンピュータ・メモリ。 16．単数または複数の目標文書に対する語の使うを含む照会に応答するコンピュ ータ・システムであって、各々の目標文書は単数または複数の語の語句からな っており、各々の目標文書の語句が目標文書内に箇所を有している形式のコン ピュータ・システムにおいて、 目標文書を受理するための目標文書レシーバと、 目標文書に関する照会を受理するための照会レシーバと、 目標文書レシーバから受理した目標文書の語句、および照会レシーバから受 理した照会の語句からトークンを生成するトークナイザであって、各々の語句 から前記語句の意味論的構造を特徴付ける論理形式を合成する論理形式シンセ サイザを含んでおり、語句から合成された論理形式を表すトークンを生成する トークナイザと、目標文書の語句から生成された各トークンから、トークンが 生成された目標文書の語句の目標文書中の箇所までマッピングする関係性を記 憶する索引メモリと、 各照会ごとに、照会により生成されたトークンと適合するトークンを索引メ モリから識別し、かつ識別されたトークンからマッピングされた箇所の表示を 戻すための照会処理サブシステムと、 を備えてなることを特徴とするコンピュータ・システム。 17．シンセサイザから論理形式によって合成された論理形式（複数）が語を含む と共に、トークナイザが更に、 論理形式シンセサイザによって合成された各論理形式から、論理形式中の単 数または複数の語が総称語で置換される単数または複数の論理形式を作成するた めの総称語拡張サブシステムを更に含み、 前記トークナイザは更に総称語拡張サブシステムによって作成された補足論理 形式を表すトークンを生成することを特徴とする請求の範囲第１６項に記載のコ ンピュータ・システム。