JP2010055618A - トピックを基にした検索を提供する方法及びシステム - Google Patents

Abstract

【課題】トピックに応じた検索に関する問題を解決する。
【解決手段】トピックによる検索を提供するコンピュータにより実行されるシステムであって、一以上の記事各々に関連し、両者が記憶装置に記録されるトピックを含むデジタル情報及び一以上のインデックスの前記記事と、プロセッサ及び前記プロセッサによって実行するためのコードを記録したメモリを含むコンピュータであって、トピック各々に対し、前記トピック及び特徴的な単語に割り当てられたスコアに関する記事に含まれる前記特徴的な単語を含む粗いトピックモデルを構築するトピック構築器と、前記インデックスの一つに対する検索語を含む検索クエリを実行し、スコアにより検索語と適合したトピックを選択する検索エンジンと、を含むコンピュータと、前記選択された粗いトピックモデル及び前記検索クエリに対応する記事を視覚的に表示するユーザインターフェースと、を含むことを特徴とするシステム。
【選択図】図４

Description

本出願は、概して、デジタル情報検索に関し、特に、トピックに基にした検索を提供するシステム及び方法に関する。２００８年８月１２日に出願した一連番号１２／１９０，５５２の同一出願人による米国特許出願に記載されたように、ウェブのような際限のない情報源をトピックに応じて編成することによって、情報の発見及び検索を促進することができる。当該出願は、審査中であり、その公開公報は、参照により、本明細書に組み込まれているものとする。書籍を編集する際には、長い間、トピックのインデックスが設けられてきた。しかしながら、編集上の制約によって、書籍の大きさやページ数が制限され、それゆえ、インデックスの大きさも制限される。一方で、ウェブ上の素材には物理的な障壁がないので、対象とする主題全体を包含するような広範なトピックの編成を要求することができる。

トピックの基づく編成（topical organization）がなければ、ウェブのような際限のない情報のリポジトリを効果的に検索することは難しくなる。ユーザは、探し出された主題を知ることができないかもしれないし、利用可能な情報を認識することができないかもしれない。たとえ知ることができても、ユーザが所望の情報を正確に特定することができなかったり、単語の不規則な変形に躓いたりすることある。多くの場合、検索結果だけでは、必要なトピックの手がかりが欠けるが、たとえ、トピックに応じて編集されていた場合であっても、全ウェブトピックの全体のインデックスに対するほんの一部分だけが、与えられたテーマと密接に結びついているという場合もある。

従来のウェブ検索エンジンは、典型的には、わずかな検索語のみで構成される検索クエリに応じて、例えば、記事のような情報を検索する。コーパス（corpus）が膨大である場合、例えばウェブから集められた記事が幅広いトピックにわたる場合には、ユーザは、必要な情報を正確に特定する際に、あいまいさの問題に遭遇する。その上、ウェブ検索エンジンは多くの場合、異なるトピックに関する情報が混ざった編集されていない乱雑な情報を返す。このことによって、結果が混同し、新しいクエリを定式化することが、難しくなる。

また、従来のウェブ検索エンジンは、基本となるテーマの領域をトピックに応じて編集するためのインデックスや知識がなくても動作する。クエリ語に適した検索結果を強調するために、文脈の中にあるキーワード（“ＫＷＩＣ”）が利用される場合もあるが、トピックに応じた感覚は、依然として欠けている。その上、分類をした形式を採用した場合であっても、ウェブ検索エンジンは、一般には情報源によって検索結果を分離するか、検索の代表として一般的なクエリを集めるか、若しくは、クラスタリング技術を一般的なテーマに沿ったチャンネル検索結果に適用するかによるものである。その結果、検索結果は多くの場合、乱雑になり、トピック的に混ぜ合わさった記事の集まりとなる。

したがって、トピックに応じた検索には、多くの事柄が関わる問題が存在する。一つ目の問題は、検索のための入力が最小限であるということである。検索をする場合には、ユーザは、情報の要求をするために、可能な限り少ない入力ですませようとする。実験的には、多くのユーザによるクエリに含まれる語は、一つか二つである。二番目の問題は、情報の要求に対する応答は短くするが、所望の要求に対する案内も提供することである。あまりにも多くの情報を提供すると、ユーザを混乱させる。ユーザにとって必要な情報が誤って特定された場合であっても、焦点の合ったインデックスであれば、最も関連するトピックを推定しこれを選択した関連トピックと共に提供することによって、この問題に対処することができる。精度の低い要求が与えられたときに精度の高い応答を提供するという二元的な問題が、トピック検索の中心部にある。

焦点の合ったトピックのサブインデックスを提供するという一つのアプローチでは、検索エンジンのクエリ言語において用いられるような、有限の状態パターンを用いる。どのトピックが、与えられたクエリに対応するトピックのインデックスに入るかを判断するために、有限状態パターンを用いることができる。しかしながら、ほとんどのクエリは、単純にあまりにも短すぎるので、十分な“コンテンツ信号”を提供できず、トピックを特定するために適した有限状態パターンに対応させることができない。

焦点の合ったトピックのサブインデックスを創出するための別のアプローチは、言葉の類似性評価を用いることである。一般化した潜在的な意味分析及び活性伝播のような複数の技術を結び付け、言葉の使用における類似性を測定する“言葉の関連性”のスコアを計算する。単語対の共起性が、言葉の類似に対する代理（proxy）として用いられる。予め計算するものとして、単語対の存在が、コーパス全体に対するスライドウインドウ内で数えられる。共起する単語対の数が、大規模疎行列の中で保持される。次いで、この行列は、検索語に関連した単語を検索するのに用いられる。クエリ語が、行列に対応し、それらを伴って、共起する別の言葉を見つける。対応さけることによって、関連語のリストを作る。この処理は、追加したそれぞれの言葉に対して繰り返して行われ、リストにさらに追加すべき言葉を呼び起こすことができる。二以上の経路によって、加えられる単語が導かれる場合には、語の対となる存在による影響が結び付けられる。同時に、インデックスラベルを別の活性伝播プロセスに対する種として、用いることができる。クエリ語に関連する言葉のゆれが、インデックス語に関連する言葉のゆれと交差する場合には、このプロセスは、継続する。何度も繰り返した後には、ラベル語がクエリ語に関連したものとして特定されるインデックスの入力が、集められる。このプロセスの変形例では、ラベル語に関連した語を予め計算することができる。関連したインデックスの入力が、特定される場合には、ラベルとクエリ語を関連させるために十分に高いスコアを持つインデックスの入力を含むサブインデックスが作られる。これらの技術の問題は、検索時において、大きな共起行列を要求することであり、このことは、クエリ語の幅広い可能性の観点から、一般的には、実践的でない。

全てのインデックスにわたって適用される場合には、先頭のインデックス及びその先頭のトピックが、トピックによる検索クエリからの結果を編成するトピック検索を通して、提示される。インデックス内で適用される場合には、そのインデックス内にある先頭のトピックが、トピック検索を通して提示される。トピック検索は、情報だけでなく、先頭のインデックス、若しくは、情報に最も密接に関連したトピックにおいて見られる情報と結びついた焦点の合ったサブインデックスも出力する。先頭のインデックス、若しくは、焦点の合ったサブインデックスは、ユーザが自分の志向を検索結果に取り入れることを可能にする。例えば、所望の情報が、近接のトピックの下にある場合には、ユーザが、焦点の合ったサブインデックスからトピックを選択し、情報の閲覧を開始することができる。しかしながら、元の検索クエリの語が、どのトピックに対応するかあいまいである場合には、新しい検索クエリを定式化する必要なく焦点の合ったサブインデックスにおける最も関連性のあるトピックを伴う別のテーマの範囲を、ユーザは、代わりに選択することができる。

一実施形態は、トピックを基にした検索を提供するコンピュータによって実施可能なシステム及び方法を提供する。コーパスは保持され、デジタル情報の記事と、一又それ以上の記事にそれぞれ関連するトピックを含むインデックスと、を含む。それぞれのトピックに対して、粗いトピックモデルが構築される。その粗いトピックモデルは、トピックに関連する記事の中にある特徴的な単語と、特徴的な単語に割り当てられたスコアと、を含む。検索語を含む検索クエリは、インデックスに対して、実行される。検索語に対応するトピックが、スコアに応じて選択される。選択された粗いトピックモデルに対応するトピック、及び、検索クエリに対応する記事が、ユーザインターフェースを介して表示される。

トピック検索の従来の方法は、ウェブスケールで動的に変化するデータについて使用するには不適当である。これらの方法は、トピックによって分類されたコーパス内の記事に基づいた予め計算されたきめ細かいトピックモデルによって提供されるという利点を欠いている。これらの方法では、大きなメモリと計算時間とが繰り返し要求される。対照的に、トピック検索は、社会的インデックスシステムから利用可能な記事の、予め計算されたトピックの編成を利用して、高速かつ実践的なトピック検索を提供する。

本発明の別の実施形態は、後述の詳細な記載からこの分野における当業者には、容易に明らかになるであろう。この詳細な記載には、本発明を実行するために意図されたベストモードを説明するための実施形態が記載されている。ここで理解されるように、本発明が、別の実施形態及び異なる実施形態を実施すること、及び、多くの詳細が様々な明らかな観点によって変形形態を実施することは、本発明の思想及び範囲から外れることなく、すべて可能である。従って、図面及び詳細な説明は、例示目的であり、発明を制限するものとみなされるべきではない。

デジタル情報の意味付け及び情報検索のための典型的な環境を示すブロック図である。 図１の環境で用いられる主要な要素を示す機能ブロック図である。 デジタル情報及びトピック的に関連したサブインデックスの選択をするために必要なユーザインターフェースを、例として示すスクリーンショット図である。 一実施形態に適合したトピックに基づいた検索を提供する方法を示すフロー図である。 図４のルーティーンを用いる粗いトピックモデルを作るルーティーンを示すフロー図である。 図５のルーティーンを用いる特徴的な単語のスコアを調整するルーティーンを示すフロー図である。 図４の方法を用いてトピックにスコア付けするルーティーンを示すフロー図である。 図４の方法を用いてサブインデックスを表示するルーティーンを示すフロー図である。 拡張して焦点の合ったトピックのサブインデックスを提供するユーザインターフェースのスクリーンショットを、例として、示す図である。 拡張して焦点の合ったトピックのサブインデックスを提供するユーザインターフェースのスクリーンショットを、例として、示す図である。 拡張して焦点の合ったトピックのサブインデックスを提供するユーザインターフェースのスクリーンショットを、例として、示す図である。

デジタル情報の意味付けとデジタル情報の検索は、関連しているが、異なる動作である。前者は、デジタル情報のインフラストラクチャによって達成される意味付けに関連し、インターネット、単独のコンピュータシステム、及び、様々な開放したデジタル情報のリポジトリのような、公共のデータネットワークが含まれる。後者は、デジタル情報のインフラストラクチャからの情報の検索及び発掘に関連し、このインフラストラクチャは、社会的なインデックスを通して、若しくは、インデックスをつけるための別の情報源によって、トピックごとに統合される。図１は、デジタル情報の意味付け及び情報検索のための典型的な環境１０を示すブロック図である。社会的なインデックスを付けるシステム１１及びトピック検索システム１２が、連携して機能し、社会的インデックス付け及びトピックの検索の起動の両方をサポートする。

デジタル情報は、デジタル形式で利用可能な情報のコーパスであり、例えば、記事、ウェブページ、若しくは、情報の別の項目である。情報の量に制約はなく、そのことはコーパス及びトピックの範囲が継続的に成長し、大きさやテーマに関する固定した境界が無いことを意味する。インターネットのようなデジタルデータの通信ネットワーク１６は、情報源と消費者の間でデジタル情報を交換するためのインフラストラクチャを提供する。他のデジタル情報交換インフラストラクチャ、例えば私企業のネットワークであってもよい。

ネットワーク１６は、多様で分散された情報源とコンシューマとの相互接続を可能にし、前者はデジタル情報を提供し、後者はこれにアクセスする。著者、編者、協力者、外部寄与者は、継続的に記事、ウェブページなどをネットワーク１６に掲載する。これらは、ウェブサーバ１４ａ、ニュースの集合サーバ１４ｂ、投票可能なニュースサーバ１４ｃ、その他の情報ソースとしての役割を果たすデータリポジトリを通して、分配されるデータのコーパスとして維持される。これらのソースは、それぞれウェブコンテンツ１５ａ、ニュースコンテンツ１５ｂ、及び、一般によって投票され若しくは”審査”されたコンテンツ１５ｃを、ネットワーク１６にアクセスするユーザに提供する。このアクセスは、例えばパーソナルコンピュータやその他の情報コンシューマとして機能するすべてのサーバであるユーザデバイス１３ａ−ｃを介して行われる。サーバその他の非ユーザデバイス情報コンシューマもが同様にコーパスコーパス内の情報を調査、検索、使用することはできるが、ここでは単純にするために、ユーザのデバイスだけを議論する。

一般に、ユーザデバイス１３ａ−ｃは、ウェブブラウザ若しくは類似のアプリケーションを実行する、ウェブが利用可能なデバイスであり、サーバ１４ａ−ｃに対するインターフェースをサポートするとともに、サーバ１４ａ−ｃを用いて、情報の交換及び検索をサポートする。ユーザデバイス１３ａ−ｃ及び１４ａ−ｃは、汎用目的のプログラム可能な計算デバイスに見られる中央処理装置、メモリ、入力／出力ポート、ネットワークインターフェース、及び、不揮発性ストレージ等を含むが、これら以外のものであってもよい。さらに、サーバ１４ａ−ｃの代わりに、若しくは、サーバ１４ａ−ｃに加えて、別の情報ソースを含んでもよいし、ユーザデバイス１３ａ−ｃの代わりに、若しくは、ユーザデバイス１３ａ−ｃに加えて、別の情報コンシューマを含んでいてもよい。

デジタル情報の検索は、デジタルの意味付けの重要な部分である。一実施形態においては、トピックの検索システム１２は、社会的インデックス付けシステム１１に統合される。社会的なインデックス付けシステム１１は、トピック的に分類された記事を提供する。これは粗いトピックモデルのベースとなる。ユーザが、社会的インデックス付けシステム１１におけるインデックスに基づいてトピック検索を実行すると、検索結果は、先頭のインデックス及び先頭のトピックを提供するか、あるいは単に一つに焦点の合ったサブインデックス内の先頭のトピックのみを提供する。

社会的インデックス付けシステム１１によって提供されるトピックの編成は、トピック検索システム１２によって、有用に利用される。ただし、別のインデックス付けのソースを用いることもできる。ユーザデバイス１３ａ−ｃからの検索クエリは、インデックスの全体、あるいは焦点を合わせた単一のインデックスに対して実行され、そして、動的に焦点が合わせれ、トピック的に関連付けられた一連のインデックス及びそれらの先頭のトピック、若しくは、焦点が合わされた単一のインデックス内にある先頭のインデックスが、それぞれ、トピック検索システム１２によって、サーチ結果を表示するために生成される。

デジタル情報の検索のための環境１０は、ユーザからは単一の情報ポータルとして見えるが、実際には別々の、しかしながら統合された一連のサービスである。図２は、図１の環境１０で用いられる主要な要素２０を示す機能ブロック図である。この要素は、デジタル情報の検索に焦点を合わせたものである。発見、探査（prospecting）、適応（orienting）のような別の関連したデジタル情報を行うために、追加の要素要求してもよい。

要素２０は、大まかに三つの主要な機能モジュール、つまり、情報収集２１、トピック検索２３及びユーザサービス２６に分類でき、一つの任意の機能モジュールである社会的インデックス付け機能２２を加えることができる。他の複数の機能モジュールも可能である。その上、機能モジュールは、同じ若しくは別々の計算プラットフォームによって実行することができる。情報収集２１は、ウェブコンテンツ１５ａ、ニュースコンテンツ１５ｂ及び“審査された”コンテンツ１５ｃのような入来するコンテンツ２７を、ウェブサーバ１４ａ、ニュース集約サーバ１４ｂ及び投稿可能なニュースサーバ１４ｃを含む、電気的に格納された情報の分配されたコーパスを集約的に形成する制約のない情報源から、得る。外から来る入来コンテンツ２７は、メディアコレクタによって集められ、新しいデジタル情報をコーパスから収集する。入来コンテンツ２７を、典型的には、構築されたリポジトリに格納するか、若しくは、実際のコピーを保持する代わりに、ハイパーリンク若しくは引用を入来コンテンツに確保することによって、間接的に格納することができる。

入来コンテンツ２７は、初めに格納されていた表現とは異なる複数の表現で格納することができる。異なる表現を用いることによって、タイトルを表示すること、記事の要約を表現すること、トピックの分類の軌跡を維持すること、及び、きめ細かいトピックモデルを導いて利用することなどが容易になる。記事の中の言葉をせき止め、トークン形式化、マイナスの句点付け、大文字化、などをされて保存することができる。その上、社会的インデックス付けシステム１１によって作成されるきめ細かいトピックのモデルは、入来コンテンツ２７をかなり抽象化した変形版として表され、そこでは多くの単語が捨象され、主として単語の頻度が保持される。

入来コンテンツ２７は、好ましくは少なくとも一つのトピックインデックス２９の下で編集される。トピックインデックス２９は、全ての情報を対象とするより大きい一連のトピックインデックス３３の一部とすることができる。別の実施形態においては、同一出願人によって２００８年８月１２日に出願された一連番号１２／１９０，５５０の米国特許公開“主題領域内のデジタル情報を発見するために実行するシステム及び方法”のように、トピックのインデックス２９は、社会的インデックス２２を介して作られるエバーグリーン（evergreen）インデックスの形式とすることができる。該出願は、審査中であり、その公開公報は、参照により本明細書に組み込まれているものとする。エバーグリーンインデックスは、新しい情報が、インデックスにおいて、一又はそれより大きいトピックの下に新しい情報が落ちるか否かをテストするために用いられる有限状態パターンのような、きめ細かいトピックモデルを含む。社会的インデックス２２は、トレーニング教材を起動する管理された装置学習を、トピックインデックス２９にそれぞれのトピック及びサブトピックに対するきめ細かいトピックモデルに適用する。トレーニングされた時点で、エバーグリーンインデックスを、インデックスの外挿法のために用いて自動的に新しい入来コンテンツ２７を予め選択された主題領域のトピックに分類することができる。

図４に関連して後述するように、トピック検索２３は、トピックによるサーチクエリからの結果を編集する。トピック検索２３は、情報を返すだけでなく、図１０に関連して後述するように、全てのインデックスの中の一連の先頭のインデックス及びそれらの先頭のトピック、あるいは図１１に関連して以下に示すように焦点が合わされたサブインデックス内にある先頭のトピックのみを返す。これらはいずれもは、見いだされた情報を、その情報に最も密接に関連した、選択されたトピックと結び付ける。トピック検索２３には、トピックのインデックス２９の中の各トピックについて、特徴的な単語粗いトピックモデル３２を作る、予め計算するモジュールが含まれる。この粗いトピックモデル３２は、特徴的な単語のトピックモデルとしても知られる。トピック検索２３にはまた、検索エンジン（非表示）と結びついたクエリ処理モジュール２５が含まれる。クエリ処理２５は、一連の先頭のインデックスをそれらのトピックと共に生成するか、特定のトピックインデックスから選択されたトピックを焦点を合わせたサブインデックスを生成する。検索結果、先頭のインデックス及びこれらの先頭のトピック、若しくは、焦点を合わせたサブインデックス内にある先頭のトピックのみを視覚的にユーザにユーザインターフェースを通して、表示する。

最終的に、それぞれのトピックインデックス２９に対する粗いトピックモデル３２及び一連のトピックインデックス３３が、中央のストレージ２８内に保持される。ユーザサービス２６は、一連のトピックインデックス３３及び入来するコンテンツ２７にアクセスし、一連のトピックのインデックス３３若しくは一つのトピックインデックス２９に基づいて検索クエリを実行し、そして、検索結果、先頭のインデックス及び焦点を合わせたサブインデックスにアクセスするためのフロントエンド（front-end）を、ユーザ３０ａ−ｂに提供する。さらに別の実施形態においては、それぞれのトピックインデックス２９は、中心の主題領域に関心を持ち続ける“増加した（augmented）”コミュニティとして知られるユーザのコミュニティと結び付けられる。コミュニティは、その情報が割り当てられたトピック内で、投票３０が引用した情報を“審査する”。

デジタル情報のコーパスは、トピックインデックス２９を用いて、一又はそれより大きい階層に編成される。情報のコーパスは各トピックインデックス２９に対して存在し、システムに対する完全なコーパスには、個々のインデックス２９の全体に対するコーポラ（corpora, corpusの複数形）が含まれる。図３は、選択デジタル情報４１及びトピック的に関連したサブインデックス４２を提供するユーザインターフェース４０を、例として示したスクリーンショット図である。サブインデックスとして検索中に利用可能な特定のトピックインデックス２９内にある関連トピックを示すことによって、ユーザが、検索労力を集約し、必要な情報をすばやく発見することができる。

選択デジタル情報４１は、ウェブ、本のページ、若しくは、トピックインデックスを通して参照する別のテキストから検索された記事であってもよい。トピック的に関係したサブインデックス４２は、特定のインデックス２９内で検索が実行される場合における検索クエリ語に応じてトピック検索システム１２によって選択されて、表示される全体のインデックス２９の部分集合である。この例においては、それぞれのサブインデックスの入力の引用は、ページ番号に沿ってテキスト内の場所を参照し、下位トピックにおいて最も重要なページが、太いタイプフェイスにするように強調して表示され、特定の重要な部分を強調する。別の方法として、表示された選択デジタル情報４１において検索クエリ語がどのように用いられるかについて注意を引くように、ＫＷＩＣインデックスを下線を引いてテキスト内に配置することもできる。

サブインデックス４２は、トピックによって検索結果を編集し、インデックス２９内にある主要なカテゴリー、及び、表示された主題の構造にユーザの注意を向ける。文脈エントリーすなわちノード４３は、幅広いトピックの組を、トピックの低い分解能で提供する。フォーカスエントリー（focus entry）、すなわちノード４４は、サブインデックス４２において表示されるそれぞれのサブトピックに対して表示されるデジタル情報４１内にある特定の場所を示して、高いトピック分解能を提供する。

ユーザインターフェース４０は、高いレベルの文脈ノード、低分解能のトピックインデックスの入力、及び、焦点を合わせた高分解能の文脈インデックスの登録を促進する。この高レベル文脈ノードは、サブインデックス４２を表示するのに必要なスペースを大幅に増加させることなく、特定のトピックに対する幅広いガイドを提供する。ユーザにとって最も良いガイドになると考えられる情報の種類の評価に応じて、フォーカスノード及び文脈ノードに割り当てられるスペースのバランスが図られる。ユーザからの必要度があまり明確ではない場合には、文脈ノードにユーザインターフェースのうちのより大きなスペースを与えて、ユーザがすばやく一般的なトピック領域を認識し、要約して、文脈ノードに従って特定の情報に向かうのを助ける。ユーザからの必要度がより明確である場合には、ユーザインターフェースの中でフォーカスノードにより多くの情報を与え、特定の情報について絞り、充実させる。

一つの形態において、トピックを基にした検索は、トピックインデックス３３の全体の中にある先頭のインデックスを、先頭のトピックと共に特定する。別の形態においては、トピックを基にした検索は、短く、焦点を合わせ、サブインデックスを作り、そのサブインデックスは、ユーザによる検索語に応答して関連性に応じて選択された、特定のインデックス内のトピックを強調表示する。図４は、一実施形態のトピックを基にした検索を提供する方法７０を示すフロー図である。この方法は、一連のプロセス若しくは方法のステップとして実行され、これは例えばサーバのような汎用目的で用いられるプログラムされたコンピュータによって実行される。

方法７０は、二段階で実行される。第一段階では、予め計算している段階の間において、粗いトピックモデル、すなわち、特徴的な単語のトピックモデルが、図７及び８に関連して示されるように、それぞれのトピックに応じて作られる（ステップ７１）。それぞれの粗いトピックモデルは、それぞれのトピックに対して重要な言葉、及び、特定されたそれぞれの特徴的な単語に対して、相対的な重要性を示す計量若しくはスコアを特定する。

第二段階では、検索クエリが処理されている（ステップ７２−７５）。検索を、（１）全てのインデックスにわたって、（２）あるインデックス内で、という二つのモードで行うことができる。検索が全てのインデックスにわたって行われる場合には、クエリを、特徴的な単語のインデックスモデルと対応させ、先頭のインデックスを発見する。次いで、それぞれのインデックスごとに、クエリが特徴的な単語のトピックモデルに対して対応させ、インデックスの中から先頭のトピックを発見する。検索の結果は、先頭のインデックスを先頭のトピックと共に含む。インデックス内の検索において、クエリは、特徴的な単語のトピックモデルに対して、対応させ、インデックス内の先頭のトピックを発見する。検索の結果は、インデックス内にある先頭のトピックを含む。

両方の検索モードに対して、検索クエリをユーザから受信し、規定どおりに、トピックのインデックス３３の一連全体にわたって実行するか、若しくは、特定のトピックのインデックス２９内で実行する。検索クエリは、一又はそれより多くの検索語を特定することができる。全体のインデックスセット３３におけるトピック、若しくは、特定のインデックス２９は、検索クエリに対応して、点数付けされ（ステップ７３）、図９及び図１０を参照して、それぞれ以下に記載されるように、検索結果、並びに、先頭のインデックス及び先頭のトピック、若しくは、焦点を合わせたサブインデックス内にある先頭のトピックが、それぞれ、表示される（ステップ７４）。そのクエリ処理段階（ステップ７２−７５）は、繰り返しそれぞれの連続するクエリに対して実行される（ステップ７６）。

予め計算する段階を、検索クエリ処理と独立に先に実行することができる。図５は、図４のルーティーン７０と共に用いる、粗いトピックモデルを作るルーティーン８０を示すフロー図である。粗いトピックモデルは、特徴的な単語及び、それぞれの特徴的な単語の相対的重要性を反映したスコアを含む。

特徴的な単語は、トピックに関するテキストを区別するのに役立ち、典型的には、適切なコーパス内の記事から選択された言葉である。そのコーパスは、ウェブページ、電子書籍、若しくは、その他の印刷された素材のように利用できるデジタル情報を含むことができる。最初に一連の若しくは抽出した記事を、ランダムに適切なコーパスから選択する（ステップ８１）。特徴的な単語の基準及び発生頻度は、一連の記事からランダムに抽出される（ステップ８２）。インデックス２９内のトピックに対する基準は、インデックス２９のコーパスに応じて、判断される。一式のインデックス３３に対する基準は、個別のインデックス２９の全てに対するコーポラである、システム全体のコーパスにわたって計算される。待ち時間を縮めるために、基準を満たすそれぞれの特徴的な単語の存在の頻度を予め計算することができる。一実施形態においては、インデックス内にあるトピック下に存在する記事の数が、例えば一時間ごとに計測される。周期的に、記事の数が、１０パーセントのように予め決められた量の差で、変化した場合には、存在の頻度が再度決定される。次に、ユーザに選択された一連のポジティブトレーニング例が得られる（ステップ８３）。ポジティブトレーニング例は、前述されたように、きめ細かいトピックモデルを構築するときに管理された学習の際に用いられたものと同じ一連の記事とすることができる。別の実施形態においては、きめ細かいトピックモデルと合致する記事の例が、ポジティブトレーニング例の代わりに用いられる。特徴的な単語が、ポジティブトレーニング例から抽出されて、ポジティブトレーニング例の中にあるそれぞれの特徴的な単語の存在する頻度が、決定される（ステップ８４）。計測若しくはスコアが、例えば、語頻度−逆文献頻度（ＴＦ−ＩＤＦ）の重みを用いて、それぞれの特徴的な単語に割り当てられる。この語頻度−逆文献頻度（ＴＦ−ＩＤＦ）の重みは、ベースライン内にあるそれぞれの特徴的な単語の出現頻度に対するポジティブトレーニング例の内にあるそれぞれの特徴的な単語の出現頻度との比を特定する（ステップ８５）。それぞれの特徴的な単語のスコアを調整して（ステップ８６）、トピックに対して特徴的な単語の重要性を向上させるか、若しくは、低下させることができる。最終的には、クエリ処理段階で用いるための特徴的な単語及びスコアの表が生成される（ステップ８７）。特徴的な単語及びスコアをリストにして、この表を整理し、集めることができる。別の型の表も可能である。

異なる“アクター（actor）”が、粗いモデルを作るという動作を実行する。ランダムに一連の記事を選択し、ベースラインを判断するためのアクターはシステムである。ポジティブトレーニング例を選択するためのアクターは人間である、インデックス管理者である。ポジティブトレーニング例を選択する場合には、管理者は、事実上、トピックの境界を規定する。残りのステップの全てが、システムによって実行される。ポジティブトレーニング例の選択が、人間によってなされるため、前もって、ルーティーンにおけるあらゆる別のステップより先にその選択を完了することができる。つまり、ルーティーンは、入力として、コーパス内にある一連の記事、及び、ポジティブトレーニング例として指定されたコーパスから一連の記事を受け取る。ポジティブトレーニング例が、きめ細かいモデルと合致する記事である場合には、同じことが認識される。ここで、きめ細かいモデルは、トピックラベルに基づいたきめ細かいパターンを作る“初期トレーニングアルゴリズム”に由来する。きめ細かいトピックモデルを作るこれらの二つのアプローチは、“初期トピックトレーニング”及び“例に基づくトピックトレーニング”と呼ばれる。

それぞれの特徴的なスコアは、存在頻度の生の比率を反映している。図６は、図５のルーティーン８０を用いる特徴的な単語のスコアを調整するルーティーン９０を示すフロー図である。試行錯誤的に、それぞれの特徴的な単語のスコアを文脈に応じて多くの方法で調整することができる。例えば、めったにない言葉、つまり、コーパス、若しくは、引用した一連の素材内で最小の回数より少ない回数で現れる言葉のスコアを、例えば、２５パーセント圧縮、若しくは、縮小することができる（ステップ９１）。同様に、文字数の最小となる閾値より短い言葉のスコアは、同様のパーセントで圧縮することができる（ステップ９２）。なぜなら、短い言葉は、トピック的に重要な意味を持たない場合が多いからである。反対に、ラベル若しくはタイトル内にある言葉は、強くトピックの内容を反映しているので、それらのスコアは、例の中に存在する言葉に比べて何倍も押し上げられて、増加する（ステップ９３とステップ９４それぞれ）。典型的には、全てのラベルの言葉は、特徴的な単語として含められる。最後に、ラベル語に近接して存在する言葉、つまり、近接語 及び、セットウインドウ内にあるラベル語の周囲に存在する“近隣”語のスコアは、押し上げられる（ステップ９５）。規格化された閾値が、近接語及び近隣語の選択中に採用される。最大スコアの８パーセント及び１５パーセントの初期の閾値がそれぞれ、近接語及び近隣語に、８語のセットウインドウの大きさを伴って、それぞれ採用される。別の代表的な閾値及び長さを用いることもできる。最終的に、特徴的な単語のスコアは、規格化される（ステップ９６）。最高のスコアを持つ特徴的な単語は又、最も固有の言葉であり、そのスコアを１００パーセントに設定する。残った特徴的な単語のスコアは、最高のスコアを基にして、拡大縮小される。したがって、特徴的な単語の選択を完了した時点で、インデックス内にあるそれぞれのトピックは、コーパスからサンプリングされた題材に応じて、規格化された特徴的な単語に関連して表現された粗いトピックモデルを持つ。

クエリ処理中において、ユーザインターフェースを介して受け取られた検索語は、粗いトピックモデルに照合され、コーパスに対する全インデックスからトピックを選択をガイドするために用いられる。図７は、図４の方法７０を用いてトピックにスコア付けするルーティーン１１０を示すフロー図である。検索語は、蓄積された語を参照することを通して、粗いトピックモデルに対して照合される。

全インデックス内にあるそれぞれのトピック、及び、検索クエリ内にあるそれぞれの語が、評価される（ステップ１１１-１１９及び１１２−１１６のそれぞれ）。トピックを参照する（ステップ１１３）それぞれの語（ステップ１１２）に対して、対応する特徴的な単語のスコアが、表によって調べられ（ステップ１１４）、累算した合計に加えられる（ステップ１１５）。特徴的な単語の表が、集められた場合には、その語は、検索キーとしての役割を果たす。その合計は、それぞれの検索クエリ語ごとに累算されて（ステップ１１６）、その後、累算した合計が、ゼロ（ステップ１１７）若しくは予め決定された閾値を越えているトピックのみが保持される。トピック及びその累積した合計スコアが参加者（candidate）のトピックの整列したリストに加えられる（ステップ１１８）。別の実施形態においては、特定のトピックインデックス２９において最も関連性のあるトピックを単に選択するのではなく、一連のトピックインデックス３３における最も関連性のあるインデックスを先頭のトピックとともに選択する。

さらに別の実施形態においては、それぞれの特徴的な単語の個別のスコアが、最小の閾値に対して評価されて、一又はそれより大きいスコアが閾値を満たさなかった場合には、そのトピックは、軽視されるか、若しくは、廃棄される。例えば、高いスコアを持つ特徴的な単語の小集団が、別の低いスコアの特徴的な単語に沿ったトピックの一部に一致する場合のように、このチェックは、検索クエリ語に部分的にのみ一致するトピックを除外するのに役立つ。

検索結果として提示される情報は、変化することができる。例えば、幅広い検索クエリは、通常の場合には、一つのウェブページ上で見やすく映し出されることが可能である以上に多くの検索結果を生成するので、全体のセットの代わりに検索結果の部分集合を提示してもよい。図８は、図４の方法７０を用いてサブインデックスを表示するルーティーン１２０を示すフロー図である。トピック及び累積した合計のスコアの整列したリストが取り出されて（ステップ１２１）、トピックのサブインデックスツリーが構築される（ステップ１２２）。それぞれのトピックの親トピックは、トピックツリーに含まれる。下位のトピックは、焦点を合わせた幹を表現するが、親のトピックは、文脈の幹を表現する。別のトピック、つまり、検索クエリ語に適合しないトピック、若しくは、親トピックではないトピックは示されない。ツリーのそれぞれの枝の下にある同種のトピックは、アルファベット順に提示されるが、別の順番も可能である。最高のスコアのトピックは、引き立たせられるか、若しくは、色、太い文字若しくは下線、によって、強調表示される。また、最低のスコアのトピックは、例えば、トピックがセット照合値を下回った場合には、省略されてもよい（ステップ１２３）。規格化されていないスコアに基づいて、検索結果の上位ｍパーセントが強調される。ｍは、初期値として、２０パーセントにセットするが、別の制限を用いてもよい。正規化されたスコアに基づいて、例えば、６０パーセントのようなスレッショルドを超えた累積合計スコアを持つトピック、若しくは、スコアが上位である特徴的な単語が検索語であるトピックを強調してもよい。検索語の強調に関して、別の形式及び基準を採用することも可能である。最終的には、サーチ結果及びサブインデックスツリーを構成する情報が表示される（ステップ１２４）。

サブインデックスは、推測された興味の程度に基づいて導かれたトピックの情報選択及び表示に役立つ。図９−１１は、拡張して焦点を合わせたトピックのサブインデックスを提供するユーザインターフェース１３１、１４１、１５１のスクリーンショット１３０、１４０、１５０を例として示す図である。最初に図９を参照すると、ユーザは、語のリスト１３２を入力することによって検索クエリを特定している。検索クエリは、入力されているが実行されていない。ユーザインターフェース１３１内にあるパネル１３３は、システム内で利用できる多くのトピックインデックスを示している。

トピック検索は、情報だけでなく、一連の上位のインデックス及び上位のトピック、若しくは、情報に最も密接に関連しているトピックを伴う情報と結びついた焦点合わせされたサブインデックスも、返す。焦点合わせされたサブインデックスは、ユーザが検索結果を自分の指向に合わせることを可能にする。ユーザは、ユーザインターフェースを介して、全ての知られたインデックスにわたって、上位のインデックス及びその上位のトピックを特定することができる上位レベルの検索を実行することができる。次に、図１０を参照すると、全インデックス検索が実行されて、上位のインデックス１４２ａ−ｅ及びその上位のトピック１４３ａ−ｅを含む検索結果が提示される。ユーザはまた、特定のインデックス内にある全てのトピックについて検索し、上位トピックを強調するトピックツリーを表示するインデックス内検索を実行することができる。最後に、図１１を参照すると、一つのインデックス検索が実行され、取得した記事のリストを示す検索結果１５２が表示されている。焦点合わせされたサブインデックス１５３は、トピックツリーとして、強調して表示された特定のトピック１５４を伴う検索クエリからの結果を統合している。

本発明が、特にその実施形態を参照して示されて記載されているが、本分野の当業者は、形式及び詳細において、本発明の思想及び範囲を外れることなく、既に述べたあるいはその他の変更を行うことができることを理解するであろう。

１０ 環境
１１ システム
１２ トピック検索システム
１３ａ−ｃ ユーザデバイス
１４ａ ウェブサーバ
１４ｂ ニュースの集合サーバ
１４ｃ 投票可能なニュースサーバ
１５ａ ウェブコンテンツ
１５ｂ ニュースコンテンツ
１５ｃ “審査された”コンテンツ
１６ ネットワーク
２０ 主要な要素
２１ 情報収集
２２ インデックス付け機能
２３ トピック検索
２５ クエリ処理モジュール
２６ ユーザサービス
２７ 入来コンテンツ
２８ ストレージ
２９ トピックインデックス
３０ａ−ｂ ユーザ
３２ 粗いトピックモデル
３３ トピックインデックス
４０ ユーザインターフェース
４１ デジタル情報
４２ サブインデックス
４３ ノード
４４ ノード
７０ ルーティーン
８０ ルーティーン
１３０ スクリーンショット
１３１ ユーザインターフェース
１３２ 語のリスト
１３３ パネル
１４０ スクリーンショット
１４１ ユーザインターフェース
１４２ａ−ｅ 上位のインデックス
１４３ａ−ｅ その上位のトピック(１４２の上位トピック)
１５０ スクリーンショット
１５１ ユーザインターフェース
１５２ 検索結果
１５３ サブインデックス
１５４ トピック

Claims (4)

1. トピックに基づいた検索を提供するコンピュータにより実行されるシステムであって、 デジタル情報の複数の記事、及びそれぞれが一又はそれより多い記事に関連する複数のトピックを含む１又はそれより多いインデックスであって、永続記憶装置に電子的に記録される前記記事及びインデックスと、
   プロセッサ及び前記プロセッサによって実行するためのコードを記録したメモリを含むコンピュータであって、
   それぞれのトピックに対して、前記トピック及び特徴的な単語に割り当てられたスコアに関連する記事に含まれる前記特徴的な単語を含む粗いトピックモデルを構築するトピック構築手段と、
   前記インデックスの一つに対する検索語を含む検索クエリを実行し、スコアによって検索語と適合したトピックを選択する検索エンジンと、を含むコンピュータと、
   前記選択された粗いトピックモデル及び前記検索クエリに対応する記事を視覚的に表示するユーザインターフェースと、
   を含むことを特徴とするシステム。
2. 前記プロセッサによって実行されるコードを含むモデル構築手段であって、
   記事のランダムサンプリングを選択するランダムサンプリング手段と、
   前記ランダムサンプリング及びポジティブトレーニング例における記事に含まれる特徴的な単語の存在の頻度を判断して、前記ランダムサンプリング及び前記ポジティブトレーニング例に含まれる特徴的な単語に対する存在の頻度の比率を特定するスコアリングモジュールと、を含むモデル構築手段をさらに含み、
   前記特徴的な単語の前記比率が粗いトピックモデルのスコアとして含まれることを特徴とする請求項１に記載のシステム。
3. 前記プロセッサによって実行されるコードを備える、前もって計算をするモニタであって、
   前記インデックスの前記トピックに備えられる多くの記事を監視するカウンタと、
   記事の数が、前もって決めれた量の変化があった場合には、前記ランダムサンプリングに含まれる前記記事に備えられた特徴的な単語の存在の頻度を周期的に再度決定する分析手段と、
   をさらに含むことを特徴とする請求項２に記載のシステム。
4. それぞれのトピックに対してきめ細かいトピックモデルに適合する記事のサンプリングが、前記ポジティブトレーニングサンプリングの代わりに選択されることを特徴とする請求項２に記載のシステム。

Images