JP2008052732A - 類似性計算方法、文脈モデル導出方法、類似性計算プログラム、文脈モデル導出プログラム - Google Patents

Abstract

【課題】キーワードの比較によってではなく、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する。
【解決手段】第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関連する文脈モデルを導出する。導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の類似性を計算する。前記第１テキストオブジェクトは少なくとも１つのキーワードを含んでいてもよいし、少なくとも１つの熟語を含んでいてもよい。
【選択図】図５

Description

本発明は、情報検索の技術、詳細には文脈ベースの類似性アルゴリズムに関する。さらに詳細には、本発明は、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する方法、用語に対する文脈モデルを自動的に導出する方法、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する機能をコンピュータに実行させるプログラム、用語に対する文脈モデルを自動的に導出する機能をコンピュータに実行させるプログラムに関する。

情報検索における最近の開発は機械学習および統計モデル化における進歩を利用してきた。非構造化テキスト内における関係を分析および発見するための技術が向上するに伴い、情報を組織化および検索する問題にこれらの技術が利用されている。

最も初期の時代から、情報検索はバイナリ分類の問題と見られてきており、その中では、文書はクエリに関連するまたは関連しない程度によりランク付けされた。関連性は文書内の対象用語の有無により決定される。しかし、当業者には明らかなとおり、このような方法は極めて重大な欠点を有する。

フォーブス（Ｆｏｒｂｅｓ）誌によると、「旅行鞄販売者の広告バナーが、スーツケース内で発見された死体に関するニュース記事の隣に提供された （ｂａｎｎｅｒ ａｄ ｆｏｒ ｌｕｇｇａｇｅ ｓｅｌｌｅｒｓ ｓｅｒｖｅｄ ｕｐ ｎｅｘｔ ｔｏ ａ ｎｅｗｓ ａｒｔｉｃｌｅ ａｂｏｕｔ ａ ｄｅａｄ ｂｏｄｙ ｆｏｕｎｄ ｉｎ ａ ｓｕｉｔｃａｓｅ）」という信じられない話がある。広告プログラムが可観測の広告用語の出現に依存しているため、このような事態が出現し、さらに出現し続けるであろう。このように、既存の技術によると、用語「文脈」は、広告主が広告の表示を「起動」するためにトリガとして設定したフィルタが、文書内の特定の内容に多少とも「一致」していることを意味する。一致は用語の頻度および近似性のような条件を含むが、一般に広告は広告用語の実際の観測を基本として表示される。例えば、広告フィルタが用語「旅行鞄（ｌｕｇｇａｇｅ）」により定義されると、この広告を記載している文書は「旅行鞄（ｌｕｇｇａｇｅ）」の１４回の出現を含み、その後、おそらくは優れた一致であると見なされる。

したがって、類似性スコアを基準として用語の頻度を用いる既存の技術は、テキストのエンティティ間の類似性を求める文脈ベースの方法を提供する能力に欠けている。詳細には、キーワードの比較によってではなく、これらのキーワードに対応する文脈を比較することにより、テキストの類似性を決定するアルゴリズムが必要とされる。
Ａ． Ｌ． バーガー（Ａ． Ｌ． Ｂｅｒｇｅｒ）、Ｓ． Ａ． デラ ピエトラ（Ｓ． Ａ． Ｄｅｌｌａ Ｐｉｅｔｒａ）およびＶ． Ｊ． デラ ピエトラ（Ｖ． Ｊ． Ｄｅｌｌａ Ｐｉｅｔｒａ）、「自然言語処理への最大エントロピーアプローチ（Ａ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ａｐｐｒｏａｃｈ ｔｏ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ）」、コンピュータ言語学（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ）、１９９６年、２２（１）、頁３９〜７１ Ｓ． デラ ピエトラ（Ｓ． Ｄｅｌｌａ Ｐｉｅｔｒａ）、Ｖ． デラ ピエトラ（Ｖ． Ｄｅｌｌａ Ｐｉｅｔｒａ）およびＪ．ラファーティ（Ｊ． Ｌａｆｆｅｒｔｙ）、「確率場の特徴の導出（Ｉｎｄｕｃｉｎｇ ｆｅａｔｕｒｅｓ ｏｆ ｒａｎｄｏｍ ｆｉｅｌｄｓ）」、パターン解析および人工知能に関するＩＥＥＥトランザクション（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、１９９７年、１９、頁３８０〜３９３ Ｄ． ビーファーマン（Ｄ． Ｂｅｅｆｅｒｍａｎ）、Ａ． バーガー（Ａ． Ｂｅｒｇｅｒ）およびＪ． ラファーティ（Ｊ． Ｌａｆｆｅｒｔｙ）、「指数モデルを使用するテキストセグメント化（Ｔｅｘｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｅｘｐｏｎｅｎｔｉａｌ ｍｏｄｅｌｓ）」、自然言語処理における経験的方法に関する第２回会議抄録（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ） Ｒ． ローゼンフェルド（Ｒ． Ｒｏｓｅｎｆｅｌｄ）、「適応統計言語モデルへの最大エントロピーアプローチ（Ａ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ａｐｐｒｏａｃｈ ｔｏ ａｄａｐｔｉｖｅ ｓｔａｔｉｓｔｉｃａｌ ｌａｎｇｕａｇｅ ｍｏｄｅｌｉｎｇ）」、コンピュータ、スピーチおよび言語（Ｃｏｍｐｕｔｅｒ， Ｓｐｅｅｃｈ， ａｎｄ Ｌａｎｇｕａｇｅ）、１９９６年、１０、頁１８７〜２２８ Ａ． マクカルム（Ａ． ＭｃＣａｌｌｕｍ）およびＮ． ガムラヴィ（Ｎ． Ｇｈａｍｒａｗｉ）、「収集多重レベルテキスト分類（Ｃｏｌｌｅｃｔｉｖｅ ｍｕｌｔｉ−ｌａｂｅｌ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」、ＣＩＫＭ抄録（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＩＫＭ）、独、ブレーメン（Ｂｒｅｍｅｎ、Ｇｅｒｍａｎｙ）、２００５年、頁１９５〜２００ Ｍ． ポーター（Ｍ． Ｐｏｒｔｅｒ）、「接尾子の除去アルゴリズム（Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｕｆｆｉｘ ｓｔｒｉｐｐｉｎｇ）」、プログラム（Ｐｒｏｇｒａｍ）、１９８０年、１４、頁１３０〜１３７ Ｓ． ロバートソン（Ｓ． Ｒｏｂｅｒｔｓｏｎ）、Ｓ． ウォーカー（Ｓ． Ｗａｌｋｅｒ）、Ｓ． ジョーンズ（Ｓ． Ｊｏｎｅｓ）、Ｍ． ハンコック−ビューリュー（Ｍ． Ｈａｎｃｏｃｋ−Ｂｅａｕｌｉｅｕ）およびＭ． ガットフォード（Ｍ． Ｇａｔｆｏｒｄ）、「ＴＲＥＣ−３におけるＯｋａｐｉ（Ｏｋａｐｉ ａｔ ＴＲＥＣ−３）」、第三回テキスト検索年次会議（３rd ａｎｎｕａｌ Ｔｅｘｔ Ｒｅｔｒｉｅｖａｌ Ｃｏｎｆｅｒｅｎｃｅ）、ＮＩＳＴ、米、メリーランド（ＭＤ）、１９９４年 Ｅ． ヴーアヒーズ（Ｅ． Ｖｏｏｒｈｅｅｓ）およびＤ． ハーマン（Ｄ． Ｈａｒｍａｎ）、「第６回テキスト検索会議（ＴＲＥＣ−６）の概要（Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ ｓｉｘｔｈ ｔｅｘｔ ｒｅｔｒｉｅｖａｌ ｃｏｎｆｅｒｅｎｃｅ（ＴＲＥＣ−６））」、情報処理および管理（Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ）、２０００年、３６（１）、頁３〜３５

本発明の方法は、テキストエンティティ間の類似性を求めるための従来技術に関連する１つまたは複数の前述および他の問題点を実質的に回避する方法およびシステムに関する。

本発明の概念の一態様によれば、第１テキストオブジェクトと第２テキストオブジェクト間の類似性を求める方法、コンピュータプログラムプロダクトおよびコンピュータ化システムが提供される。本発明の概念のこの本態様は、第１テキストオブジェクトを用いて第１テキストオブジェクトに関する文脈モデルを導出すること、および上記導き出された文脈モデルを用いて第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を求めることを含む。

本発明の概念の別の態様によれば、用語に対する文脈モデルを自動的に導出する方法、コンピュータプログラムプロダクトおよびコンピュータ化システムが提供される。本発明のこの態様は、文脈のない用語の特徴のみを含む特徴セットを選択すること、特徴に対して初期重み１を設定すること、特徴に対して重みを更新すること、および特徴の導出を実行することを含む。

本発明の第１の態様は、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する方法であって、ａ．前記第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関する文脈モデルを導出し、ｂ．導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の類似性を計算する。

本発明の第２の態様は、第１の態様の類似性計算方法であって、前記第１テキストオブジェクトは少なくとも１つのキーワードを含む。

本発明の第３の態様は、第１の態様の類似性計算方法であって、前記第１テキストオブジェクトは少なくとも１つの熟語を含む。

本発明の第４の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語を含む。

本発明の第５の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する複数の用語を含む。

本発明の第６の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの熟語を含む。

本発明の第７の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する複数の熟語を含む。

本発明の第８の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つのキーワードおよび少なくとも１つの熟語を含む。

本発明の第９の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語近似条件を含む。

本発明の第１０の態様は、第１の態様の類似性計算方法であって、前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語関係条件を備える。

本発明の第１１の態様は、第１の態様の類似性計算方法であって、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の前記類似性は確率スコアの計算を用いて求められる。

本発明の第１２の態様は、第１の態様の類似性計算方法であって、計算された前記類似性に基づいて少なくとも１つの文書を検索することをさらに含む。

本発明の第１３の態様は、第１２の態様の類似性計算方法であって、計算された前記類似性に基づいて検索された文書をランク付けすることをさらに含む。

本発明の第１４の態様は、第１の態様の類似性計算方法であって、前記第１テキストオブジェクトはモデル用語を含み、前記文脈モデルは前記モデル用語の予測を支援するサポート特徴を含む。

本発明の第１５の態様は、第１４の態様の類似性計算方法であって、前記文脈モデルはさらに前記サポート特徴に割り当てられる重みを含む。

本発明の第１６の態様は、第１の態様の類似性計算方法であって、テキストの本体を使用して前記文脈モデルのトレーニングを行うことをさらに含む。

本発明の第１７の態様は、用語に対する文脈モデルを自動的に導出する方法であって、ａ．文脈のない用語の特徴のみを含む特徴セットを選択し、ｂ．前記特徴に対して初期重みを１に設定し、ｃ．前記特徴に対する前記重みを更新し、ｄ．特徴の導出を実行する。

本発明の第１８の態様は、第１７の態様の文脈モデル導出方法であって、ｃは、ｉ．勾配を計算し、初期重みを前記勾配の方向に小さなステップで調整し、ｉｉ．所定の条件に適合するまでａを繰返す。

本発明の第１９の態様は、第１７の態様の文脈モデル導出方法であって、ｄは、ｉ．候補の特徴セットを数え、ｉｉ．前記候補の特徴セットのそれぞれに対して最適な重みを計算し、ｉｉｉ．前記候補の特徴セットのそれぞれに対して、前記特徴セットへの前記候補の特徴セットのそれぞれを追加することにより情報利得を計算し、ｉｖ．最も高い利得を生じる、前記候補の特徴セットの候補特徴を選び、前記特徴セットに前記候補特徴を加え、ｖ．所定の条件に適合するまで、ｃに戻る。

本発明の第２０の態様は、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する機能をコンピュータに実行させるプログラムであって、該機能は、ａ．前記第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関する文脈モデルを導出し、ｂ．導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の類似性を計算する。

本発明の第２１の態様は、用語に対する文脈モデルを自動的に導出する機能をコンピュータに実行させるプログラムであって、該機能は、ａ．文脈のない用語の特徴のみを含む特徴セットを選択し、ｂ．前記特徴の初期重みを１に設定し、ｃ．前記特徴の重みを更新し、ｄ．特徴の導出を実行する。

本発明に関する追加の別の態様は、一部は以下の説明に記載され、一部は上記説明から明らかであり、あるいは本発明の実施により確認できる。本発明の態様は、詳細には以下の詳細な説明および添付クレームに詳細に示される、各要素ならびに様々な要素と態様の組み合わせにより、実現および達成される。

本発明は、ａ．第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関する文脈モデルを導出し、ｂ．導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する。これにより、キーワードの比較によってではなく、第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算することができる。

前述および以下の説明は、単に例示および説明のためのものであり、いかなる形であっても発明の請求の範囲または本発明の適用を限定することを目的とするものではない。

本明細書の一部に組み込まれかつ本明細書を構成する添付図面は、本発明の実施形態を例示し、説明と併せて、本発明の技術の原理を説明および示す役割を果たす。

以下の詳細な説明では、添付図面を参照する。図面では、同一機能要素は同一参照符号で表される。前述の添付図面は説明の目的で示したものであり、限定を意味しない。特定の実施形態および実施方法は本発明の原理に一致する。これらの実施方法は、当業者が本発明を実行できるように十分に詳細に説明される。なお、別の実施方法も使用可能であり、構造変更、様々な要素の置換などが本発明の範囲および精神を逸脱することなく実施できる。以下の詳細な説明は、したがって、限定的な意味に解釈されるべきではない。加えて、記載される本発明の様々な実施形態は、汎用コンピュータで実行するソフトウェアの形で、特化されたハードウェアの形で、またはソフトウェアおよびハードウェアの組み合わせで実現できる。

用語の頻度に焦点を当てるのではなく、本発明の技術の実施形態は、対象文書内のその用語の統計値を単に観測する他の技術を利用して、対象の用語がその文書に適合した用語であるかどうかを決定する。言い換えると、本発明の技術の一態様は、大量の収集テキストを利用してアルゴリズムをトレーニングすることにより、文脈のみから用語の存在を予測することを含む。文書内の用語の出現を観測する代わりに、本発明の技術は、文書の残余分により与えられる文脈を基にして、その用語が存在するかどうかを予測する。このため、本発明の技術の一実施形態は用語文脈モデルの構築を含む。

先に述べたとおり、上術の用語文脈モデルは対象の文書内の対象用語の出現を量的に予測する。本発明の様々な実施形態においては、このモデルは、単語、熟語または文全体さえも使用して構築される。当業者には明らかなとおり、他の方法を用いて文脈モデルを構築することも可能である。言い換えると、本発明の概念の実施形態によるシステムは対象用語以外に熟語の単語について対象文書を調べるが、文書内の対象用語の出現または非出現を予測する。

本発明の概念の実施形態によれば、広告単語のモデルはより広範な単語の収集または用語セットを使用して最初に生成される。詳細には、本発明のシステムは、どの文脈内にこれらの単語が多く発見されるか、どの文脈内にこれらの単語が発見されないかを、全体として単語の収集全体にわたり決定する。このように、特定の文書が、広告誘因文内に確信を裏付ける文脈を含まない場合、すべての広告単語が「一致」する場合でさえ、システムはこの文をトリガしない。すなわち、特定のニュースストーリーが１４回を超えて用語「旅行鞄」を含む場合でさえ、「旅行鞄」についての文脈モデルは、記事からの「死体」および「警察」および多くの他のこのような用語のような特徴を含まない。したがって、旅行鞄の広告は本発明のシステムによりトリガされない。
「技術の詳細」
本発明の方法の実施形態は、少なくとも一部は、「０次」条件の確率場として特徴付けられる、最大エントロピー計算を基礎とする。このモデルは、非特許文献１、非特許文献２、非特許文献３、非特許文献４、非特許文献５に記載されており、これらすべては参照により本明細書に引用するものとする。

本発明の情報検索技術は以下の例を参照してここに示される。関心対象の特定のコーパスから抽出されるｋ個の用語の用語セットが提供されていると仮定する。本発明の技術によれば、２つのバイナリのランダム変数ｘ_iおよびｙ_iが用語セットのそれぞれｉ番目の用語に対して生成される。詳細には、ｘ_iはこの用語の観測される値に対して生成され、ｙ_iは無観測または隠された値に対して生成される。前述のコーパスから実際の文書ｄが与えられると、観測される変数セットｘ₁．．．ｘ_kは、用語の頻度がこの文書内でゼロであると、値「０」を割り当て、頻度がゼロより大きい場合、値「１」を割り当てることにより、インスタンス化される。現在、すべての無観測の用語ｙ_iに対して、文脈Ｈ_iはｉ番目の用語自体以外の用語セット内のすべての用語に対する観測可能な変数セットとして定義される。

本発明の概念の実施形態によれば、Ｈ_i内の用語は、ｙ_iに関する予測がなされるときに試験される用語だけである。言い換えると、ｄ内に出現する用語ｙ_iの確率は前述のモデルにおけるＨ_iにより完全に決定されると仮定できる。これはまた、変数ｘ₁．．．ｘ_kが与えられると、各用語ｙ_iが他のすべての用語ｙ_j≠_iから条件付で独立していることを意味する。すなわち、「用語文脈モデルの鞄」が作られる。しかし、条件付き変数がすべて独立であることが仮定されず、さらにＨ_i文脈内の任意従属性が可能である、ことを強調することは重要である。

確率場のフレームワークの公知の利点は、対象ｙ_iとその文脈Ｈ_iとの間の任意従属性を可能にすることである。文脈を形成する特徴は、用語の頻度からハイパーリンクされたテキスト、コンマの位置に至るすべてに基づいて、単純であるかもしれないし複雑であるかもしれない。したがって、当業者には、本発明は任意の特定の種類の特徴を限定しないことは明らかであろう。したがって、本発明のモデルは様々な種類の特徴を許容する。しかし、例示目的のため、許可された従属性のみは、２要素の質問形式「用語ｘ_jはこの文書内に出現するか？」に作為的に限定される。

本発明の方法の別の実施形態によれば、質問はＨ_i内の用語の特定のサブセットＳについて質問してもよい。この形式の質問に対する回答は特徴関数ｆ_sと呼ばれ、Ｓはｆのサポートと称される。所定のサポートＳ∈Ｈ_iに対して、特徴関数ｆ_sはｘ_j∈Ｓ内の個々の用語についての回答の論理積と定義される。

このように定義されると、特徴関数は、Ｓにより定義される用語のすべてが文書内に出現する場合、常にブーリアンであり、１に等しい。特徴関数は常に対象用語ｙ_iを含む。ｙ_iは実際にそれ自体の文脈の一部と見なされないため、これは虚偽ではない。特徴におけるｙ_iの存在はＳ内の用語の出現を用語ｙ_iに結び付けるためのみに役立つ。

図１は単一用語ｙ_iに対する用語文脈モデルの例を示している。ノード１００−１から１００−ｋは観測可能な変数である。ノード１０１は、文脈がモデル化されている用語ｙ_iに対する隠れ変数である。点線の範囲１０２の内部の変数は文脈Ｈ_iである。例示的な弧１０３のセットが示される。孤１０３は、接続されるノードがサポートＳである単一特徴関数ｆ_sを表す。
「パラメータ形式」
確率Ｐ（ｙ_i｜Ｈ_i）を計算するために選択される多数の様々な形式が存在する。本発明の実施形態は、最大エントロピーフレームワークにより与えられる、確率場に対する分散の一般公式を使用する。場の構造を定義する特徴関数セットＦが提供されると仮定する。最大エントロピーの原理は、（ｉ）Ｆにより課せられる構造と一致する、および（ｉｉ）最小量の保証されない仮定を行う――すなわち、Ｆに一致するすべての分散の最大の均一性である、パラメータの形式が選択されなければならないことを示している。これら２つの基準を満たす関数グループは指数関数（または対数線形）グループであり、下記の式で表される。

上記の式では、一連のスカラーΛ＝｛λ_f：ｆ∈Ｆ｝は一連の構造的制限Ｆに対するラグランジュの乗算である。Ｚ_iは、ｙ_iのすべての可能な値全体に対する分散和が１となることを保証する正規化定数である。

当業者には明らかなとおり、一般確率場に対して、Ｚ_iは、隠れ変数の数の指数関数である、システムのすべての可能な構成の総和を含むため、計算が極めて困難である。しかし、ここに記載される本発明の実施形態では、隠れ変数ｙ_i．．．ｙ_k間の非従属性の推定を制御することにより、部分関数の計算を極めて単純にすることができる。Ｚ_iはｙ_i＝０およびｙ_i＝１について計算する必要があるだけである。
「目的関数」
以下の説明は、文書内の用語ｙ_iの存在を正確に予測する確率分布Ｐ（ｙ_i｜Ｈ_i）を求める方法を示している。予測の品質を示す多数の様々な評価基準が存在する。以下の説明は最も簡単なものの１つであるトレーニングデータの対数尤度に焦点を当てる。当業者には明らかなとおり、他の適切な評価基準も同様に使用できる。文書ｄのトレーニングデータセットＴが与えられると、対数尤度は単にＴ内における用語ｉの発生確率の平均対数である。

「特徴の導出」
本発明の実施形態による記載のモデルは２つの推定値に依存することに注意しなければならない。第１および最も重要なものは、一連の制限または特徴関数ｆ∈Ｆとして表される場Ｆの構造である。これらの制限は、場の変数間の最も重要な従属性を表す。決定される第２要素は、各特徴ｆ∈Ｆに対しての重みのセットΛ＝｛λ_f｝である。ΛおよびＦは密接に関連し、同時に学習する必要があるが、明瞭化のために、説明は２つのセクションに分割される。このセクションは、場の構造Ｆが徐々に導き出され、極めて均一の無意味な構造で開始し、より関心のある関係に一般化する方法を説明する。

場を導出する手順は、参照によりその全内容が本明細書に引用されている、非特許文献２に記載されているアルゴリズムに厳密に従う。ここに開示されている本発明の実施形態は条件付の場を扱うのに対して、前述のデラ ピエトラ（Ｄｅｌｌａ Ｐｉｅｔｒａ）らは結合モデルを使用することが主な違いである。したがって、任意の従属性を持たずにこの用語のみを含む場から開始する。すなわち、Ｆ⁰＝｛ｙ_i｝である。特徴ｇを追加して対象関数の最大の改善をもたらすことによって、徐々にＦを更新する。

Ｆ^k＝｛ｆ_s｝は現在の場の構造であると仮定する。また、対応する重みΛ^kがＦ^kに対して最適化されると仮定する。トレーニングデータの尤度をさらに増加する、新しい特徴ｇをＦ^kに追加する。これを行うために、最初に、加えられる候補特徴セットＧを形成する必要がある。Ｇを現在の構造Ｆのすべての単一用語拡張のセットであると定義する。

言い換えると、既存の特徴ｆを使用し、単一の観測可能な用語ｘ_iを添付して、新しい候補特徴ｇを形成する。当然、すでにＦの要素であるいずれの特徴も候補として含まない。デラ ピエトラ（Ｄｅｌｌａ Ｐｉｅｔｒａ）の理論にしたがって、目的関数における最大の改善をもたらす候補を得る。

最初に、下記（１）はｇの経験的または対象期待値を示し、この期待値は、単に、どのくらいの頻度で（すなわち、どれほど多くの様々な文書内に）、特徴がトレーニングデータＴ内に実際に出現するかを表すものとする。同様に、推定値である下記（２）は関数ｇに対して予測される期待値である下記（３）を生じる。予測される期待値は、どのぐらいの頻度で、ｇがトレーニングセットにおいて出現すべきであると、単にモデルが「考える」ものである。次に、Ｆ^kのみに基づく以前の対数尤度は下記（４）であると仮定する。乗数αにより重み付けされる特徴ｇを加える場合、トレーニングデータの新しい尤度は下記（５）のとおりである。

ここに記載される特徴関数がバイナリであるため、重みαは、αに関する新しい対数尤度である下記（６）を微分し、微分の平方根を見出すことにより閉形式（７）で決定される。

また、αを知ることにより、閉形式の対数尤度における結果として得られる改善または利得を計算できる。

「パラメータ推定」
前のセクションでは、最も見込みのある候補特徴ｇ∈Ｇを除々に追加することにより、自動的に確率場の構造を導出する方法を説明した。場における他の特徴の重みにｇを追加する効果は以前には説明していない。特徴ｆ∈Ｆは互いに独立していないため、新しい特徴の追加は既存の特徴の均衡、すなわち対象関数に影響を与える。現在場に存在するすべての関数に対する重みを再最適化することにより目的をさらに改善できる。

構造Ｆは所望の特徴のすべてを含むと仮定する。重みセットΛを調整することにより、これらの導関数をゼロにする目的で、目的関数である上記（４）が各重みλ_fに関して上記（４）の偏導関数を計算することで最大化されるようにする。重みをそれら重みの最適値に設定するための閉形式の解は存在しないため、勾配降下法などの反復法を利用する。学習手順はかなりの費用がかかる。しかし、学習は全体最適化に収束することを保証する。目的関数は重みλ_fに関して∩−凸関数である。
「場を導出するアルゴリズム」
先のサブセクションの構成要素は、用語ｙ_iに対する文脈モデルを自動的に導出するための１つのアルゴリズムを生成する。

（Ｉ）初期化
ａ．非文脈を用いて、用語自体の特徴のみを含むように特徴セットＦ⁰を選択する：Ｆ⁰＝｛ｙ_i｝。

ｂ．この特徴に対して初期重みλ_f＝１を設定する。
（ＩＩ）重みの更新
ａ．勾配を計算し、勾配の方向における小さなステップでλ_fを調整する。

ｂ．所定の条件に一致するまで（ａ）を繰返す（例えば、ｎ回の反復に対して、または尤度における顕著な変化がなくなるまで、およびその他）。
（ＩＩＩ）特徴の導出
ａ．候補特徴セットを数える。

ｂ．すべての候補ｇに対して最適重みα_gを求める。

ｃ．すべての候補ｇに対して、ｇが特徴セットＦに加えられている場合に得られる、情報の利得を求める。

ｄ．最も高い利得を生じる候補ｇを選び、Ｆに加え、λ_f＝αに設定する。

ｅ．（例えば、ｎ回の反復に対して、または尤度における顕著な変化がなくなるまで、その他）所定の条件に一致するまで、手順（ＩＩ）に戻る。この条件が一致すれば、モデルとしてＦおよびΛを戻す。
「最終詳細」
汎用モデル生成アルゴリズムは先に述べているが、評価については、要求される強力な計算リソースに起因して、いくつかの制限が課せられる。第１の制限は、ステップ（ＩＩｂ）が１２回実行され、ステップ（ＩＩＩｅ）が３０回実行されて、合計３０の特徴を導出することである。

第２の制限は、候補特徴用語セットｘ₁．．．ｘ_kにある。用語セット全体を使用するのでなく、対象用語ｙ_iが少なくとも１回出現する、最も高い頻度の文書における５００の用語を使用する。言うまでもなく、このサブセットはすべてのｙ_iに対して異なる。３０の最良特徴が候補セットから学習される。

課せられる最終的な制限は特徴サポートの許容サイズである。前述のとおり、特徴は任意の数の観測可能な用語ｘ_jを含む。２および３のサポート用語を許容するいくつかの予備的稼動を実行すると同時に、後のセクションに示される検索結果は単一サポート用語を備える特徴に制限されるモデルを使用して実行した。汎用モデルはさらに多くを可能にする。

なお、本発明の方法の実施形態はポーターステマー（Ｐｏｒｔｅｒ ｓｔｅｍｍｅｒ）を使用して用語をステミングし合成して、同一の根を共有するすべての用語（すなわち、ｃａｒ／ｃａｒｓ）に対して単一変数ｘ_i（ならびに単一変数ｙ_i）が存在するようにする。前述のポーターステマー（Ｐｏｒｔｅｒ ｓｔｅｍｍｅｒ）は、非特許文献６に詳細に記載されており、その全内容は本明細書に引用するものとする。なお、優れた汎用文脈モデルの学習目的を幾分無効にするため、「ｃａｒｓ」を「ｃａｒ」の用語文脈モデル内のサポート特徴にすることは望ましくない。
「モデルの例」
用語文脈モデルの２つの例は、それぞれ図２および３に示されている表２００および３００に示されている。これらのモデルは、ほぼ１３１，０００個のロサンジェルスタイムズ（Ｌｏｓ Ａｎｇｅｌｅｓ Ｔｉｍｅｓ）の新聞記事でトレーニングされた。表２００および３００の左側の列には、対応する特徴に割当てられるλ重みがある。中間の列はモデル用語の予測に役立つサポート特徴を含む。比較のために、右側の列は、サポート特徴とモデル用語との標準的同時出現値を含む。負の特徴重みは、この特徴の存在が、モデル用語が文書内に存在してはならないことの適当な表示であることを意味する。図３から分かるとおり、本発明のモデルは、モデル用語ｈｏｍｅの１つだけの意味ではなく、２つの意味：「ｈｏｕｓｅ」および「ｂａｓｅｂａｌｌ」を取得する。
「方法の一般的特性」
前述の技術では、導出される特徴の数、導出される特徴のサイズ、ブーリアン用語の存在に基づく特徴、情報利得による強引に導出される特徴、単集合の単語と定義される「用語」等、のような複数の方法でパラメータ化された、ある特定のタイプの用語文脈モデルを説明した。

最初に、モデルの有効性を実証するために、いくつかの特性を選択する必要がある。しかし、本発明の方法はこれよりさらに一般的である。例えば、本発明の方法は、ブーリアンサポート用語の存在ではなく、文脈の任意の実数値関数を含む特徴にも対応する。特徴は情報利得以外の方法により導出することができる。１反復当たり１つより多い特徴が追加される。実際には、第１反復の間にモデルにｎ個の特徴のすべてさえ追加でき、その後、重みを学習および再度均衡させるために残りの時間を費やす。本発明の方法の実施形態は、前述の特徴を使用してテキストの類似性を求めることを特徴とする。

自己トリガは、ラベル付けされたトレーニングデータとして使用されない限り許可される。例えば、「キリン」が予測しようとする用語であり「キリンがこの文書内に出現する」がサポート関数である場合、用語の第１出現がサポート機能により「受け入れられ」なければならないため、「キリン」に対してこのサポート関数を正のデータ点にするために、文書は少なくとも２回の「キリン」の出現を含まなければならない。同様に、サポート関数が「キリンはこの文書に４回出現する」である場合、最初の４つがサポート特徴により受け入れられるため、このサポート関数を正のトレーニングインスタンスにするために少なくとも５回の「キリン」の出現を必要とする。

本発明の方法の様々な実施形態は、３０を超えるまたは下回る特徴を使用できる。しかし、説明された方法の新規性は、すべての可能な特徴（例えば、収集からの用語の用語セット全体）が使用されるとは限らないということである。説明された方法の新規性を形成する部分は、データに対する本発明のモデルを過剰適合しないことにより、他の方法に比べて、文脈的により「中心」である用語の出現を取り込むことが可能なことである。

「文脈」は、文書全体よりむしろ文書内の節として定義されることに注意されなければならない。または、アプリケーションが回線からのストリーミングニュースである場合、文脈は前のｎ個のニュース記事または前のｎ日間におけるニュース記事すべてとして定義される。これは文書の境界を制限しない。本発明の文脈モデルはまた、任意の適切な基準を使用してユーザによりパーソナライズされるデータセットを使用して、トレーニングされる。

「用語」は必ずしも単一単語ではない。例えば、熟語は１用語として考えられ、例えば「ニューヨーク」は単一用語であり、２つの用語ではない。この意味では、用語は実際には、任意の単独形の、索引付け可能なエンティティであり、文書内に発見されるまたは発見されないかのいずれかである。したがって、ブーリアンの一致を生じる、任意の用語または用語の組み合わせまたは用語の否定は、文脈モデルに対する予測値として使用できる。

例えば、２つの単語の結合｛ｂｏｏｋ ＡＮＤ ｂｉｎｄｉｎｇ｝に対してモデルをトレーニングする。これは用語「本（ｂｏｏｋ）」および「製本（ｂｉｎｄｉｎｇ）」が両方同一文書内で発見される場合は常に一致する。また、単一句の用語｛「ｂｏｏｋ ｂｉｎｄｉｎｇ」｝に対してモデルを訓練する。これは、両方の単語が、隣接して同一順序で発見される場合は常に一致する。｛ｕｎｉｘ ＯＲ ｌｉｎｕｘ ＯＲ ＭａｃＯＳ｝のような、分離した用語についてもモデルをトレーニングできる。｛「ｏｐｅｒａｔｉｎｇ
ｓｙｓｔｅｍｓ」ＡＮＤ ＮＯＴ Ｗｉｎｄｏｗｓ（登録商標）｝のような、否定用語を含むモデルをトレーニングできる。

したがって、用語文脈モデルは「テキストベースのブーリアン文」文脈モデルを記述する。本発明の方法は、あらゆる任意テキストのブーリアン文の文脈の発見、モデル化および利用に対するメカニズムを提供する。

以下のセクションでは、アドホック（ａｄ ｈｏｃ）な文書検索に適用することにより、その有用性を示す用語文脈モデルの評価方法が提供される。ただし、本発明の用語文脈モデルは、通常の用語の出現の方法が使用される、任意の場所におけるテキストの類似性を決定するための方法として適用される。これは、アドホックな検索だけではなく、文書のルーティングおよびフィルタリングおよびトピックの検出およびごく僅かのものを指定するためのトラッキングのようなことを含む。推奨システム（例えば、パルバー（Ｐａｌｂａｒ））は、これが使用されることができる別の領域である。また、テキストの類似性を決定する本発明の方法は、グーグル（Ｇｏｏｇｌｅ）のアドセンス（ＡｄＳｅｎｓｅ）、ヤフー（Ｙａｈｏｏ）のアドセントラル（Ａｄ Ｃｅｎｔｒａｌ）およびマイクロソフト（Ｍｉｃｒｏｓｏｆｔ）のアドセンター（ＡｄＣｅｎｔｅｒ）のような、オンライン広告に組み込みできることを、特に言及しておかなければならない。
「評価」
用語についての文脈モデルを生成するフレームワークが構成された後に、これをアドホックな情報検索タスクに適用することによって評価がされる。これは、このフレームワークの適用だけではなく、本発明の方法の実施形態の価値を実証できるものである。
「文脈モデルを利用した文書−クエリスコアリング」
アドホックな検索は以下のように機能する。本発明のシステムは、ユーザのクエリと収集内のすべての文書との間の類似性の評価基準を求める。文書はその後このスコアにより分類されユーザに提示される。システムは、ユーザの情報の必要性に関連する文書のランクを調べることにより比較される。１つのシステムが、別のシステムより高いランクのより関連する文書を有する場合、そのシステムがより優れていると考えられる。

本発明の方法の実施形態による用語文脈モデルは、クエリ文書の類似性スコアを推定するための技術として使用され、その後検索プロセスを強化するために使用される。収集内の各クエリ用語および各文書に対して、クエリ用語の文脈モデルが、文書内に存在すると確信する度合いが計算される。文脈モデルが互いに独立していると仮定されるため、これらの確率は乗算によって結合される。したがって、クエリ用語ｑに対する文書ｄに関する確率のスコアは下記のとおりである。

これらの計算は、モデルがトレーニングされる全く同一の収集について実行される。これは虚偽ではない。モデルは用語セット全体についての特徴を含んでいないため、モデルは収集に対して過適合ではない。上位３０の特徴のみを使用することにより（モデルを構築する間、これらの特徴は最高の情報利得を生じる）、本発明の方法の実施形態は事実上用語の３０の最も突出する態様を取得する。

全体として収集に関してトレーニングされる際、不規則または「文脈外」である用語の出現が存在する。このような出現は、より文脈的に標準である出現より低い確率を有する。この結果、モデルは、この用語の用語頻度が高い場合であっても、文書内の用語に対して低い確率を割当てる。また、用語の頻度が低い他の文書も存在するが、その文書内の文脈ベースの確率は高くなる。理想的には、文脈ベースの確率ならびに実際のｔｆが高い文書は、ユーザの情報の必要性に正確に一致する文書である。
「文脈モデルスコアと既存の方法との統合」
スタンドアロンのランキング機能として、本発明の概念の実施形態によるモデルは適正な検索には十分ではない。用語の頻度および文書の頻度は依然として必要である。しかし、前述のとおり、用語の高頻度および文脈の低スコアを備える文書は、用語の高頻度および文脈の高スコアを備える文書と同様には扱えない。文脈モデルのスコアは、今では優れた検索結果を強化する方法として役立つ。

この目的のために、非特許文献７に詳細に説明されており、その全内容は本明細書に引用されている、Ｏｋａｐｉ ＢＭ２５として公知である検索アルゴリズムから開始する。これは、ＴＲＥＣのような標準の評価セットにおける最良の結果の中でも一貫性を備える、公知であり高性能なアルゴリズムである。前述のＴＲＥＣ評価セットは、非特許文献８に詳細に説明されており、その全内容は本明細書に引用されている。本発明の方法の実施形態がＢＭ２５において向上することが示されるならば、本発明の技術の価値が確立されるだろう。

本発明の目的は、文脈モデルにより提供される幾分直交する情報を用いてＢＭ２５を強化することである。この発想は、本質的にｔｆベースであるＢＭ２５の方法が、文脈ベースのＴＣＭ方法より幾分異なるランキングを与えるであろうことである。ＢＭ２５で生じる「間違い」はＴＣＭで生じるものと同一ではなく、この逆も言える。両方の方法により提供されるスコアが融合されると、関連文書は上位に移動され、偽の一致は落とされなければならない。多くの融合技術が利用されると同時に、スコアの単純な線形結合が実行された。ここで、ＴＣＭ（ｑ，ｄ）およびＢＭ２５（ｑ，ｄ）は、用語文脈モデルおよびＢＭ２５に対するスコアであり、それぞれ文書ｄのクエリ用語ｑを使用する。

「主な実験」
当業者には公知の、標準のＴＲＥＣデータセットを用いて、モデルを評価した。実験は１５０のクエリから成り、ＴＲＥＣのアドホックなトピック３０１〜４５０に対する表題のみ使用する。モデルは、ＴＲＥＣのボリューム（ｖｏｌｕｍｅ）５において、ロサンジェルスタイムズ（ＬＡ Ｔｉｍｅｓ）からの略１３１，０００個の文書を使用して、クエリ用語のそれぞれに対して構築した。１５０のクエリはこの同一コーパス上で実行した。（このコーパスにおいて、１５０のクエリのうちの１４３のみが関連性文書を有し、したがって、実際には前述の実験に対して１４３のクエリのみ使用した、ことを注記しておく。しかし、これはなお、統計的有意性を確立するために使用される標準の量である５０のクエリよりはるかに多い）。

賢明な観測者は、試験コーパスおよびトレーニングコーパスの間の区分の不足の欠点を見出すであろう。この容態は、検索する同一のコーパスにおいて計算（トレーニング）されるｉｄｆ重み、または検索する同一の文書において計算（トレーニング）されるｔｆ重みを使用するより問題が少ないと思われる。これらのモデルは普遍の真理を表すように作られていない。検索するために使用されるコーパスのある特定の際立った特性を取り込むために作られているだけである。別の方法では、モデルの予測品質は評価されない。このような場合、実験は試験およびトレーニングに区分される必要はない。代わりに、モデルは検索を向上するために使用される。したがって、検索されるものと同一コーパスの統計が使用されなければならない。

図４の表４００に、λが０．５に設定されている結果が示されている。精度における最高の利得はランク付けリストの上部にある。これらの利得は５〜６％であり、統計的に有意である。この増加は、文脈モデルが、文脈的「中心」の用語の使用により重みを与え、文脈がその用語をサポートしない、より高い用語の頻度の文書の一部を除くために起こると考えられる。詳細な分析が必要とされるが、これは予測された結果であり、本発明の方法が正しいことを実証している。

また、得られた結果は混合パラメータλに対して極めて堅牢であることが言及されなければならない。０．０〜１．０にわたって段階的に０．１の間隔で変化させた混合重みが試験された。ほとんどすべてのレベルの予測および再現にわたる統計的に有意な改善は、０．７で最良の混合を備える、０．３〜０．８の範囲のλを使用して得られた。実際には、最良の混合重みを使用して、０．０の補間再現、＋４．０８％の平均精度、および＋５．０５％の検索｜関連で＋７．１％を得た。したがって、混合パラメータを調製するのではなく、λ＝０．５の「最大エントロピー」の値を選択して、図４に示されている表４００に見られるとおり、本発明の方法の堅牢性を実証した。

実際には、これは、ＢＭ２５が上位１０における略２．５の関連文書を提供することを意味する。ＴＣＭ混合では、この数字は２．７に達する。ユーザによりなされる５つのクエリ毎に、上位１０に追加の関連文書が存在するだろう。これらの結果は大きくないが、それにも関わらず、統計的には有意である。多くのユーザが毎日数十の検索を実行すると仮定すると、５回のクエリ中の１回を著しく向上することは大きなことである。検索エンジン会社グーグル（Ｇｏｏｇｌｅ）は、課題（ｐｒｏｊｅｃｔ）または特徴がこれらのユーザベースの５％に影響を与える場合、それらをグーグル（Ｇｏｏｇｌｅ）の検索エンジンに加える（または一体化する）、という経験則を有する。他方では、本発明の方法の実施形態はユーザの２０％に影響を与える。発行される５回のクエリにおける１回はすべて、結果において顕著な改善を有する。
「追加実験」
本発明の方法の価値に対する証拠の最終的な１つとして、クエリ用語が存在しない関連文書のみが見られる、補足実験を用いて評価した。ロサンジェルスタイムズ（ＬＡ Ｔｉｍｅｓ）は、クエリに共通する用語を有さない、６６のクエリにわたる４８９の関連文書を含む。ｔｆベースの方法の使用は機能せず、４８９の関連文書の１つのみがＢＭ２５を使用して上位１０００にランクされる。さらに、脱落したクエリ用語の正規化された収集頻度を使用して平滑化された言語モデルを試験した。クエリ用語を含まないすべての文書は、文書の相対ランキングに影響しない文脈に無関係に、等しく円滑化されるため、これは同様に（また上位１０００の内の４８９の関連文書のまさに１つ）無効である。

しかし、単にＴＣＭ方法だけを使用すると、４８９の関連文書の内の８２を上位１０００内に引き込み、２４を上位３０に、および７を上位１０に引き込むことが可能であった。残りの文書の７８％もまた、６０，０００台におけるランクから１０００台に向上される。これらの改善は、スタンドアロンのランキングアルゴリズムとしてＴＣＭを使用して正当化するには極端に小さく極めて小数である。しかし、それらは、本発明のモデルが、ｔｆベースの方法とは文書のランキングに関して異なる方法を提供することを示している。
「例示的なコンピュータ化システム」
図５は、本発明の方法の実施形態を実現できるコンピュータ／サーバシステム５００の実施形態を示したブロック図である。システム５００はコンピュータ／サーバプラットフォーム５０１、周辺装置５０２およびネットワークリソース５０３を含む。

コンピュータプラットフォーム５０１は、データバス５０４もしくはコンピュータプラットフォーム５０１の様々な部分にわたって、および、様々な部分の間で情報を通信するための他の通信メカニズムと、情報を処理し、他の計算および制御タスクを実行するための、データバス５０４に連結されているプロセッサ５０５と、を含む。コンピュータプラットフォーム５０１はまた、プロセッサ５０５により実行される様々な情報ならびに命令を格納する、データバス５０４に結合されている、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置のような揮発性記憶装置５０６を含む。揮発性記憶装置５０６はまた、プロセッサ５０５による命令の実行中に一時的変数または他の中間情報を格納するために使用される。コンピュータプラットフォーム５０１はさらに、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ−ｏｕｔｐｕｔ ｓｙｓｔｅｍ）ならびに様々なシステム設定パラメータのようなプロセッサ５０５のための静的情報および命令を格納するためにバス５０４に結合されている、読み出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）５０７または他の静的記憶装置を含む。コンピュータプラットフォーム５０１には、磁気ディスク、光ディスクまたは半導体フラッシュメモリ装置のような、固定記憶装置５０８が備えられ、情報および命令を格納するためにバス５０４に結合される。

コンピュータプラットフォーム５０１は、コンピュータプラットフォーム５０１のシステム管理者またはユーザに情報を表示するために、陰極線管（ＣＲＴ）、プラズマディスプレイまたは液晶ディスプレイ（ＬＣＤ）のような表示装置５０９にデータバス５０４を介して結合される。文字数字および他のキーを含む入力装置５１０は、プロセッサ５０５に情報およびコマンドの選択を通信するために、データバス５０４に結合される。別の種類のユーザ入力装置は、プロセッサ５０５に指示情報およびコマンドの選択を通信するため、および表示装置５０９上でカーソルの動きを制御するための、マウス、トラックボールまたはカーソル方向キーのような、カーソル制御装置５１１である。この入力装置は、一般に、該装置が平面における位置を指定することができる、２つの軸、第１軸（例えばｘ）および第２軸（例えばｙ）における２つの自由度を有する。

外部記憶装置５１２がデータバス５０４を介してコンピュータプラットフォーム５０１に接続され、コンピュータプラットフォーム５０１に外部または着脱可能な記憶容量を提供する。コンピュータシステム５００の一実施形態では、外部の着脱可能な記憶装置５１２は他のコンピュータシステムとデータの交換を促進するために使用される。

本発明は、ここに記載される技術を実現するコンピュータシステム５００の利用に関する。一実施形態では、本発明のシステムはコンピュータプラットフォーム５０１のようなマシン上に存在する。本発明の一実施形態によれば、ここに説明されている技術は、揮発性記憶装置５０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ５０５に対応してコンピュータシステム５００により実行される。このような命令は、固定記憶装置５０８などの、別のコンピュータ可読媒体から揮発性メモリ５０６に読み込まれる。揮発性メモリ５０６に含まれる命令シーケンスの実行により、プロセッサ５０５はここに説明されている処理ステップを実行する。代替の実施形態では、本発明を実現するために、配線接続の回路がソフトウェア命令の代わりに、またはそれと組み合わせて使用される。したがって、本発明の実施形態はハードウェア回路およびソフトウェアのあらゆる特定の組み合わせに限定されない。

ここで使用される用語「コンピュータ可読媒体」は、実行のためにプロセッサ５０５に命令を提供することに関与するすべての媒体を指す。コンピュータ可読媒体は、ここに説明される方法、技術などのいずれかを実現するための命令を保持する、マシン可読媒体の一例である。このような媒体は、多くの形式を採り、不揮発性媒体、揮発性媒体および伝達媒体を含むがこれに限定されない。不揮発性媒体は、例えば、記憶装置５０８のような、光または磁気ディスクを含む。揮発性媒体は、揮発性記憶装置５０６などの、動的記憶装置を含む。伝達媒体は、データバス５０４を備えるワイヤを含む、同軸ケーブル、銅線および光ファイバを含む。伝達媒体はまた、例えば電波および赤外線データ通信の間に生成される、音波または光波の形を採ることもできる。

コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープまたは任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを備える任意の他の物理的な媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップまたはカートリッジ、以下に説明される搬送波、またはコンピュータ読み取り可能な任意の他の媒体を含む。

様々な形態のコンピュータ可読媒体は、実行のためにプロセッサ５０５に対する１つまたは複数の命令の１つまたは複数のシーケンスの保持に関与する。例えば、命令は最初に、リモートコンピュータから磁気ディスクに移される。代替として、リモートコンピュータは動的メモリに命令をロードし、モデムを使用して電話線を介して命令を送る。コンピュータシステム５００に配置されているモデムは電話線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号で搬送されるデータを受信でき、適切な回路素子はデータバス５０４上にデータを配置できる。データバス５０４は、プロセッサ５０５が命令を検索し実行する、揮発性記憶装置５０６にデータを移す。揮発性記憶装置５０６から受け取られる命令は、プロセッサ５０５による実行の前または後のどちらかに、固定記憶装置５０８上に随意に格納される。命令はまた、技術的に公知の様々なネットワークデータ通信プロトコルを使用してインターネットを介してコンピュータプラットフォーム５０１にダウンロードされる。

コンピュータプラットフォーム５０１はまた、データバス５０４に結合されるネットワークインターフェースカード５１３のような、通信インターフェースを含む。通信インターフェース５１３は、ローカルエリアネットワーク５１５に接続されるネットワークリンク５１４に結合する、双方向のデータ通信を提供する。例えば、通信インターフェース５１３は総合ディジタル通信網（ＩＳＤＮ）カードまたはモデムであり、対応する種類の電話線を介してデータ通信接続を提供する。別の例として、通信インターフェース５１３はローカルエリアネットワークインターフェースカード（ＬＡＮ ＮＩＣ）であり互換性のあるＬＡＮにデータ通信接続を提供する。公知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇおよびブルートゥースのような、無線リンクもまた、ネットワークの実装に対して使用される。任意のこのような実現形態では、通信インターフェース５１３は様々な種類の情報を表す、ディジタルデータストリームを搬送する、電気的、電磁気的または光信号を送信および受信する。

ネットワークリンク５１４は一般に、他のネットワークリソースに１つまたは複数のネットワークを介してデータ通信を提供する。例えば、ネットワークリンク５１４は、ホストコンピュータまたはネットワーク記憶装置／サーバ５２２への、ローカルエリアネットワーク５１５を介する接続を提供する。追加または代替的に、ネットワークリンク５１４は、インターネットのような、広域または世界規模のネットワーク５１８にゲートウェイ／ファイアウォール５１７を介して接続する。その結果、コンピュータプラットフォーム５０１は、リモートネットワーク記憶装置／サーバ５１９のような、インターネット５１８上の任意の場所に配置されるネットワークリソースにアクセスできる。他方では、コンピュータプラットフォーム５０１はまた、ローカルエリアネットワーク５１５、インターネット５１８上の任意の場所に配置されるクライアントによりアクセスされることができる。ネットワーククライアント５２０および５２１はこれら自体が、プラットフォーム５０１と同様のコンピュータプラットフォームに基づいて実現される。

ローカルエリアネットワーク５１５およびインターネット５１８の両方は、ディジタルデータストリームを搬送する、電気、電磁気または光信号を使用する。様々なネットワークを介する信号およびネットワークリンク５１４上のおよび通信インターフェース５１３を介する信号（コンピュータプラットフォーム５０１との間でディジタル信号を搬送する）は、情報を移動する搬送波の一般的な形態である。

コンピュータプラットフォーム５０１は、インターネット５１８およびＬＡＮ５１５、ネットワークリンク５１４および通信インターフェース５１３を含む様々なネットワークを介して、メッセージを送信し、およびプログラムコードを含むデータを受信できる。インターネットの例では、システム５００がネットワークサーバとして動作する場合、インターネット５１８、ゲートウェイ／ファイアウォール５１７、ローカルエリアネットワーク５１５および通信インターフェース５１３を介して、クライアント５２０、５２１上などで実行するアプリケーションプログラムに対して必要なコードまたはデータを送信する。同様に、他のネットワークリソースからコードを受信する。

受信されたコードは、受信されるとプロセッサ５０５により実行されたり、後の実行のために、固定または揮発性記憶装置５０８および５０６にそれぞれ格納されたり、または他の非揮発性記憶装置に格納されたりする。この方法では、コンピュータシステム５００は搬送波の形でアプリケーションコードを取得する。

最後に、ここに説明されている方法および技術はあらゆる特定の装置に固有に関連せず、構成要素の任意の適切な組み合わせにより実現可能であるとされることは、理解されなければならない。さらに、様々な種類の汎用装置がここに説明されている技術により使用できる。また、ここに説明されている方法のステップを実行するために特化された装置を構成することが有利であることも立証できる。本発明は、すべての点において、制限ではなく説明することを目的とする特定の例に対して説明されている。当業者には、ハードウェア、ソフトウェアおよびファームウェアの多くの様々な組み合わせが本発明の実行に適していることが明らかであろう。例えば、説明されているソフトウェアは、アセンブラ（Ａｓｓｅｍｂｌｅｒ）、Ｃ／Ｃ＋＋、パール（ｐｅｒｌ）、シェル（ｓｈｅｌｌ）、ＰＨＰ、ジャバ（Ｊａｖａ（登録商標））、他のような、広範な種類のプログラミングまたはスクリプト言語で実現できる。

さらに、本発明の他の実現形態は、本明細書に開示される本発明の明細および実施から当業者には明らかであろう。記載された実施形態の様々な態様、構成要素などは、データ反復機能を備えるコンピュータ化記憶システムにおいて、単一でまたは任意の組み合わせで使用できる。特許請求の範囲により示される本発明の真の範囲および精神により、明細および例は単に例示と考えるものとする。

単一用語に対する用語文脈モデルの例示的な実施形態を示している。 用語文脈モデルの別の例示的実施形態を示している。 用語文脈モデルの別の例示的実施形態を示している。 本発明のモデルの実施形態の実験テストの結果を示している。 本発明のシステムを実装できるコンピュータプラットフォームの例示的な実施形態を示している。

符号の説明

５００ コンピュータ／サーバシステム
５０１ コンピュータ／サーバプラットフォーム
５０２ 周辺装置
５０３ ネットワークリソース

Claims (21)

1. 第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する方法であって、
   ａ．前記第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関する文脈モデルを導出し、
   ｂ．導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の類似性を計算する、
   類似性計算方法。
2. 前記第１テキストオブジェクトは少なくとも１つのキーワードを含む、請求項１に記載の類似性計算方法。
3. 前記第１テキストオブジェクトは少なくとも１つの熟語を含む、請求項１に記載の類似性計算方法。
4. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語を含む、請求項１に記載の類似性計算方法。
5. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する複数の用語を含む、請求項１に記載の類似性計算方法。
6. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの熟語を含む、請求項１に記載の類似性計算方法。
7. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する複数の熟語を含む、請求項１に記載の類似性計算方法。
8. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つのキーワードおよび少なくとも１つの熟語を含む、請求項１に記載の類似性計算方法。
9. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語近似条件を含む、請求項１に記載の類似性計算方法。
10. 前記文脈モデルは前記第２テキストオブジェクト内の前記第１テキストオブジェクトの出現を予測する少なくとも１つの用語関係条件を備える、請求項１に記載の類似性計算方法。
11. 前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の前記類似性は確率スコアの計算を用いて求められる、請求項１に記載の類似性計算方法。
12. 計算された前記類似性に基づいて少なくとも１つの文書を検索することをさらに含む、請求項１に記載の類似性計算方法。
13. 計算された前記類似性に基づいて検索された文書をランク付けすることをさらに含む、請求項１２に記載の類似性計算方法。
14. 前記第１テキストオブジェクトはモデル用語を含み、
    前記文脈モデルは前記モデル用語の予測を支援するサポート特徴を含む、
    請求項１に記載の類似性計算方法。
15. 前記文脈モデルはさらに前記サポート特徴に割り当てられる重みを含む、請求項１４に記載の類似性計算方法。
16. テキストの本体を使用して前記文脈モデルのトレーニングを行うことをさらに含む、請求項１に記載の類似性計算方法。
17. 用語に対する文脈モデルを自動的に導出する方法であって、
    ａ．文脈のない用語の特徴のみを含む特徴セットを選択し、
    ｂ．前記特徴に対して初期重みを１に設定し、
    ｃ．前記特徴に対する前記重みを更新し、
    ｄ．特徴の導出を実行する、
    文脈モデル導出方法。
18. ｃは、
    ｉ．勾配を計算し、初期重みを前記勾配の方向に小さなステップで調整し、
    ｉｉ．所定の条件に適合するまでａを繰返す、
    請求項１７に記載の文脈モデル導出方法。
19. ｄは、
    ｉ．候補の特徴セットを数え、
    ｉｉ．前記候補の特徴セットのそれぞれに対して最適な重みを計算し、
    ｉｉｉ．前記候補の特徴セットのそれぞれに対して、前記特徴セットへの前記候補の特徴セットのそれぞれを追加することにより情報利得を計算し、
    ｉｖ．最も高い利得を生じる、前記候補の特徴セットの候補特徴を選び、前記特徴セットに前記候補特徴を加え、
    ｖ．所定の条件に適合するまで、ｃに戻る、
    請求項１７に記載の文脈モデル導出方法。
20. 第１テキストオブジェクトと第２テキストオブジェクトとの間の類似性を計算する機能をコンピュータに実行させるためのコンピュータプログラムであって、
    ａ．前記第１テキストオブジェクトを使用して、該第１テキストオブジェクトに関する文脈モデルを導出する機能と、
    ｂ．導出された前記文脈モデルを使用して、前記第１テキストオブジェクトと前記第２テキストオブジェクトとの間の類似性を計算する機能と、
    を実行させるためのコンピュータプログラム。
21. 用語に対する文脈モデルを自動的に導出する機能をコンピュータに実行させるためのコンピュータプログラムであって、
    ａ．文脈のない用語の特徴のみを含む特徴セットを選択する機能と、
    ｂ．前記特徴の初期重みを１に設定する機能と、
    ｃ．前記特徴の重みを更新する機能と、
    ｄ．特徴の導出を実行する機能と、
    を実行させるためのコンピュータプログラム。

Images