JP2006524872A - 分散型検索方法、アーキテクチャ、システム、およびソフトウェア - Google Patents

Abstract

法律事務所および他の企業において用いられるオンラインデリバリプラットフォームに分散型検索機能を提供するためのシステム、方法、およびソフトウェアが記述されている。例えば、本システム、方法、およびソフトウェアの一局面では、複数のデータセットを提供する。このデータセットは、別のデータセットへのインデックスを含み得る。少なくとも１つの検索エンジンは各データセットに関連する。検索要求を受信するシステムは、検索要求に含まれるデータセットに基づいて、どの検索エンジンを用いて検索要求を処理かを決定する。次いで、検索要求は、特定された検索エンジンに転送される。

Description

（著作権表示および承認）
この特許文献の１つ以上の部分には、著作権の保護を必要とする資料が含まれる。著作権者は、Ｐａｔｅｎｔ ａｎｄ Ｔｒａｄｅｍａｒｋ Ｏｆｆｉｃｅの特許ファイルまたは記録に見られるので、特許文献または特許情報開示の複製にも不服はないが、全ての著作権を保留しています。以下の表示はこの文書に適用されます。Ｃｏｐｙｒｉｇｈｔ ２００３、Ｔｈｅ Ｔｈｏｍｓｏｎ Ｃｏｒｐｏｒａｔｉｏｎ。

（関連出願）
本願は、本明細書において援用される米国仮特許出願第６０／４６５，５８５号（２００３年４月２５日出願）の優先権を主張する。

（技術分野）
本発明の種々の実施形態は、情報検索システムおよび知識管理（ｋｎｏｗｌｅｄｇｅ−ｍａｎａｇｅｍｅｎｔ）システムに関し、より詳しくは、そのようなシステム内の分散型検索機能に関する。

近年のコンピュータオンライン情報プロバイダには、通常、莫大な量のデータを検索する能力が必要とされている。例えば、米国法律制度および世界中の別の法律制度では、紛争の解決を規定する法律を明瞭に表現し、または解釈するために、司法の見解書、すなわち裁判官の判決書に強く頼る。従って、法律制度内の裁判官および法律家は、新たな紛争の解決または阻止に最も関連する過去の見解または判例法のこれまでに膨張している本文を継続的に研究している。基礎的な事例は、妥当性に対して研究され、最終的には文書（ワークプロダクトと称される）内に引用され議論され、法的訴えを主張し、例えば、それは、顧客に適当な法的訴えを助言し、または特定の裁判権における法的状態について顧客および法律家に教える。

さらに、知識管理システム、文書管理システム、および別のオンラインデータプロバイダには、通常、サイズが大きいものから小さいものへと変わり得るデータセットからの情報を必要とする。テラバイト値域のデータセットは、もはや未知ではない。例えば、一部のシステムでは、固有のデータの約１．２テラバイトを含む公開録と、固有のデータの約２０ギガバイト（ＧＢ）を含む税および会計（ＴＡ）データとを用い得る。以前のシステムでは、通常、システムが固有の公開録データの５パーセントのみを格納し得るために、問題が生じている。さらに、そのシステムは、固有のＴＡデータに対して大き過ぎ、そのデータは、通常、別のデータプロバイダとサーバ空間を共有する。

データセットおよびシステムサイズのそのような分散は、（特にエンタープライズサーバに関連する、内在する可用性の問題も含めた）検索エンジンの性能に影響を及ぼす。例えば、メモリの欠陥がシステムのＣＰＵに生じる場合には、システムは、通常、その欠陥が解決されるまで検索サービスを作動することができず、また、フェイルオーバー機構には問題がある。通常、検索サービスはメモリ示強性でありＣＰＵに束縛されないために、これらの欠陥問題を解決するために資源が浪費される。

さらに、ファイルシステムキャッシュにおいて利用可能でない場合には、問い合わせ処理は、時には、検索エンジンにデータページ用のディスクへとアクセさせる。一部の場合には、データセットがＲＡＭに完全に保持するに十分小さい場合には、データは、通常ファイルシステムキャッシュに見つけられ得るが、問い合わせ処理がファイルシステムキャッシュレベルよりむしろディスクレベルにおいてしばしば生じるに十分データセットが大きくなる場合もしばしばある。さらに、今日のアーキテクチャでは、通常、同一の検索エンジンが同一のデータを一貫して処理することは保証されず、このことは、検索エンジンのキャッシュの利点を打ち消す。

従って、本願発明者は、オンラインデリバリプラットフォーム内に検索機能を提供するより優れたシステム、ツール、および方法の必要性を認めている。

（要約）
この必要性および／または別の必要性に対処するために、本願発明者は、法律事務所および別の企業において用いられるオンラインデリバリプラットフォームに分散型検索機能を提供する新規なシステムを考案した。例えば、本システム、方法、およびソフトウェアの一局面では、複数のデータセットを提供する。このデータセットは、別のデータセットへのインデックスを含み得る。少なくとも１つの検索エンジンは各データセットに関連する。検索要求を受信するシステムは、検索要求に含まれるデータセットに基づいて、どの検索エンジンを用いて検索要求を処理かを決定する。次いで、検索要求は、特定された検索エンジンに転送される。

特に、例示的な実施形態により、検索データが利用可能なＲＡＭにおいてキャッシュされる可能性が高くそれによって高価なディスク検索を避けるように、複数の検索エンジンにわたって分散した検索機能が提供される。

図および添付された請求項を取り込む記述は、一つ以上の発明の一つ以上の例示的な実施形態を記述および／または図示している。本発明を限定するためではなく、例証および教示するためにのみ提供されたこれらの実施形態は、当業者が本発明を作成し、使用することを可能とさせるために、十分詳細において記述されている。このように、一つ以上の発明を分かりにくくすることを避けるために適切となるように、本記述は、当業者に既知の情報を省略し得る。

（例示的な情報システム）
図１は、本発明の一つ以上の教示を取り込む例示的な分散検索システム１００を図示している。システム１００は、検索制御器１０２、メッセージスイッチ１０４、検索エンジン１０６、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、および、検索エンジン１０６とＮＡＳ１１０とを通信できるように結合するネットワーク１０８を含む。上述された構成要素は、一つ以上のサーバコンピュータにわたって分配され得る。一部の実施形態において、サーバコンピュータは、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ株式会社からのサービスコンピュータに基づいたブレードを含む。しかしながら、代替的な実施形態において、Ｉｎｔｅｌ（登録商標）プロセッサ設計に基づいたサーバが使用され得る。

検索制御器１０２は、検索要求を「聞く」。「分割−連結」（ｓｐｌｉｔ−ｍｅｒｇｅ）エンジンを利用し、検索制御器は要求を受信し、それらを構成要素要求（検索エンジン１０６によって提供された）へ分割する。いくつかの応答が検索エンジン１０６から受信された場合、検索制御器は、それらの応答を合併し、要求先に送る。プログラム的に「検索エンジン要求」と呼ばれる分割要求は、データ収集または収集セットを含む、または生成された様々なデータにされ得る。一部の実施形態において、データセットは、データ収集または収集セットへの、インデックスの一部を含む。

メッセージスイッチ１０４は、検索制御器１０２から一つ以上の検索エンジン１０６へのメッセージをルートするために動作する。メッセージは、一つ以上の検索エンジン１０６によって実行される検索要求を含み得る。本発明の一部の実施形態において、メッセージスイッチ１０４は、Ｊａｖａ（登録商標）メッセージサービス（ＪＭＳ）インターフェースを提供する。さらに、一部の実施形態において、メッセージは、ＩＢＭ Ｃｏｒｐ．の利用可能なＭＱメッセージングシステム（登録商標）のような、メッセージキューイングソフトウェアを使用し、ルートされ得る。しかしながら、本発明における実施形態は、特定のメッセージをルートするシステムに限定されるとは考えられてはおらず、代替的な実施形態において、Ｓｏｎｉｃ Ｓｏｆｔｗａｒｅ Ｃｏｒｐｏｒａｔｉｏｎのメッセージキューイングソフトウェアが利用され得る。

一部の実施形態において、検索エンジン１０６は、前−処理および後−処理データがサーバによって検索および決定されるＪａｖａ（登録商標）「ラッパー」（Ｊａｖａ（登録商標） ｗｒａｐｐｅｒ）を含む。一部の実施形態において、この処理は、ジャバネイティブインターフェース（Ｊａｖａ（登録商標） Ｎａｔｉｖｅ Ｉｎｔｅｒｆａｃｅ）を介して実行され得る。検索エンジン１０６は、検索エンジン要求（ＳｅａｒｃｈＥｎｇｉｎｅＲｅｑｕｅｓｔ）構成要素、および特定のインデックスセット（ＩｎｄｅｘＳｅｔ）を受信し、検索を、要求で指定されたＩｎｄｅｘＳｅｔの上で実行させる。

検索されるデータセットは、ネットワーク１０８を介して検索エンジン１０６へ通信可能となるように結合されるネットワーク接続ストレージ１１０に存在し得る。ネットワーク接続ストレージは、技術的に既知であり、ファイルサーバ、ストレージサーバ、および他のネットワーク接続ストレージメディアを含む。

ネットワーク１０８は、データ通信をサポート可能である有線またはワイヤレスネットワークの任意のタイプであり得る。本発明の一部の実施形態において、ネットワーク１０８は、プライベートギガビットイーサーネットネットワーク（Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ（登録商標））を含む。しかしながら、本発明の実施形態は、特定のネットワークタイプに限定されると考えられてはいない。

検索エンジン１０６は、リナックスＯＳ（Ｌｉｎｕｘ ＯＳ）（登録商標）がインストールされた一般的なＩｎｔｅｌのシステムの上で動作し得る。一部の実施形態におけるＩｎｄｅｘＳｅｔのためのデータは、ネットワーク接続ストレージ（ＮＡＳ）サーバ１１０から、ネットワークファイルシステム（ＮＦＳ：ｎｅｔｗｏｒｋ ｆｉｌｅ ｓｙｓｔｅｍ）プロトコルを介してアクセスされ得る。初期クエリが検索エンジンに入力された場合、検索エンジンは、検索クエリを満たすために、ＩｎｄｅｘＳｅｔの名前およびファイルネームを与えられる。

検索エンジン１０６は、ＮＡＳサーバ１１０にＮＦＳ要求をし得、それらのファイルのためのデータを要求し得る。このデータは、通常静的であり、ＮＦＳクライアントシステム上にキャッシュされる。その後、検索エンジンがその割り当てられたＩｎｄｅｘＳｅｔのためのデータにアクセスする場合、ファイル情報のためのＮＦＳサーバに、メタ−ディレクトリ（ｍｅｔａ−ｄｉｒｅｃｔｏｒｙ）要求をし得る。検索エンジン１０６は、ローカルのＲＡＭキャッシュからデータページを読み込み、ＲＡＭがクエリ語彙を迅速に検索することを許可する。

図２は、本発明における一つ以上の教示を取り込む例示的な分散型検索システム２００のさらなる詳細を提供する。システム２００は、図１に関連して上述された構成要素、および追加的に製品／クライアント２０２、リソースマネージャ２０６およびオンラインデリバリプラットホームエージェント（Ｏｎｌｉｎｅ Ｄｅｌｉｖｅｒｙ Ｐｌａｔｆｏｒｍ ａｇｅｎｔ）２０８を含む。

製品／クライアント２０２は、本発明における実施形態の教示にしたがって提供される分散型検索機能を使用する任意のクライアントソフトウェアモジュールであり得る。そのようなソフトウェアは、ブラウザ、文書管理システム、知識管理システム、文書情報検索システム、判例法検索システムなどを含む。製品／クライアント２０２は、メッセージスイッチ１０４に一つ以上の検索要求を出し、検索要求におけるデータに基づいたサービス制御器へ、要求をルートする。

オンラインデリバリプラットフォーム（ＯＤＰ：Ｏｎｌｉｎｅ Ｐｌａｔｆｏｒｍ）エージェントプロセス２０８は、検索エンジン１０２および検索エンジン１０６のようなサーバ上で処理を始め、これらの処理を監視および管理する。一部の実施形態において、ＯＤＰエージェントプロセス２０８はまた、個々の処理を記録し、報告掲示板データベースへそれらの処理状態を報告する。さらに、一部の実施形態において、欠陥または「長い処理」があった場合、ＯＤＰエージェントプロセス２０８は、検索制御器および検索エンジンを再起動する。ＯＤＰエージェント２０８は、ＯＤＰ環境を起動するホスティングエージェントプロセス（ｈｏｓｔｉｎｇ ａｇｅｎｔ ｐｒｏｃｅｓｓ）と考えられる。

システムがブートする場合、サーバ上のＯＤＰエージェント２０８は、ＯＤＰエージェント２０８をエージェントマネージャ（Ａｇｅｎｔ Ｍａｎａｇｅｒ）（図には示されていない）に割り当てるエンジンのために、（前もって設定された）リソースマネージャ２０６を始動およびクエリする。エージェントマネージャは、一つのドメインにおいて、エージェントおよび検索エンジンについての情報を含み、作業負荷をクエリするＯＤＰエージェントへ、ダイナミックに作業負荷を割り当てることができる。一部の実施形態において、エージェントマネージャは、ＬＤＡＰ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｄｉｒｅｃｔｏｒｙ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）エージェントを含む。一部の実施形態において、検索エンジンは、検索エンジン１０６に関連されたインデックスセット（ＩｎｄｅｘＳｅｔ）の名前に対応する名前を有する割り当てられたメッセージキューである。

一部の実施形態において、検索エンジン１０６が失敗した場合、そのエージェントは、失敗されたエンジンを検出し、それを再スタートさせる。検索エンジンの失敗時に処理されたクエリは失われ得、制御器要求は、「エラー」アウトされる。（一部の実施形態は、失敗されたクエリのコピーを、その主題のインデックスセット上で動作している他の検索エンジンに転送し得る。）しかしながら、失敗された検索エンジン１０６は、遅延なく新しいクエリが処理され得るように、再スタートされ得る。

一部の実施形態において、検索エンジンシステムがＣＰＵ、ＲＡＭ、または他のハードウェアの失敗に出くわす場合、メッセージスイッチエージェントは、ＩｎｄｅｘＳｅｔキューがそれに役立つ処理をしていないことを検出する。エージェントは、そのＩｎｄｅｘＳｅｔキューに役立つように、検索エンジンを再割り当てすることを、すぐにエージェントマネージャに警告を発する。

様々な実施形態の例示的なシステムデザインは、ブート処理の間に分散型検索構築におけるその役割を「学ぶ」、固定されたＯＳのイメージを有する、展開している一般的なシステムを組み込む。そのシステムの弾力性は処理またはハードウェアの失敗に順応し、その柔軟性は、失敗した構成要素のための追加的なリソースの割り当てを許可する。

さらに、一部の実施形態において、フェイルオーバーのために割り当てられた追加的なリソースは、「アイドル状態」（フェイルオーバーを待つ）がない。それらは、「作業量（ｗｏｒｋｌｏａｄ）ハンドラー」として展開され得、処理の障害が検出された場合、追加的な処理を提供する。この動作負荷は、メッセージスイッチ１０４またはＯＤＰエージェント２０８を介して検出され得、それぞれのＩｎｄｅｘＳｅｔキューの作業量パターンを検出および報告し得る。

追加的に、様々な実施形態の例示的なアーキテクチャは「弱い監視」スキームを助長する。構成要素の失敗は、すぐに検出または修正される必要がない。破局的な出来事が起こった場合、検出および通知が起こり得るが、それらの作業量を想定するための利用可能な追加のリソースが存在する限りにおいて、修正する（ｆｉｘｉｎｇ）構成要素はいつでも起こり得る。

（動作の例示的方法）
図３は、システム１００のような情報管理システムを動作する一つ以上の例示的な方法のフローチャート３００を表している。フローチャート３００はブロック３１０〜３４０を含み、例示的な本実施形態において、一連の実行手順において配置および記述される。しかしながら、他の実施形態は、複数のプロセッサ、またはプロセッサのような装置、または、二つ以上の仮想コンピュータまたはサブプロセッサとして組織される単一のプロセッサを使用し、二つ以上のブロックを同時に実行し得る。他の実施形態はまた、類似した結果を達成するために、プロセッサ手順を変更し、または、異なる機能的分割を提供する。さらに、他の実施形態は、モジュールとの間、および、モジュールを介して通信される関連された制御およびデータ信号とを用いる二つ以上の相互接続されたハードウェアモジュールとして、ブロックを実行する。このように、例示的な処理フローは、ソフトウェア、ハードウェア、ファームウェアの実行に応用される。

ブロック３１０において、本例示的方法は、一つ以上のデータセットを提供することで開始される。一部の実施例において、データセットは、データ収集またはデータ収集のセットへのインデックスの一部を含む。インデックスは、データベースのインデックスの範囲に基づいて、データセットを含むそれぞれの範囲に、分割され得る。データセットは、それゆえ、ＮＡＳ１１０のように、記録装置上に記憶される。

ブロック３２０は、検索要求を受信する。ブロック３３０で検索要求は、どのデータセットが要求されているのかを決定するために分析される。

ブロック３４０において、検索要求は、ブロック３３０で識別されたデータセットに対応して検索エンジンに転送される。本発明の一部の実施形態において、検索要求は、メッセージキューを介して、検索エンジンに転送される。さらに、一部の実施形態において、特定の検索エンジンに関連されたメッセージキューは、検索エンジンを設定するＩｎｄｅｘＳｅｔと同じ名前を与えられる。

（結論）
上記で記述された実施形態は、本発明を作成し利用する一つ以上の方法を図示および教示するためにのみ意図されたものであり、その広さや範囲に限定されるものではない。本発明の実際の範囲は、本発明の教示を実践または実行する全ての方法を取り込んでおり、一つ以上の提出された特許請求項およびそれらの同等物によってのみ限定されるものである。

図１は、本発明の一つ以上の実施形態に対応する例示的な分散型検索システム１００のブロック図である。 図２は、本発明の一つ以上の実施形態に対応する例示的な分散型検索システム２００のさらなる詳細を提供するブロック図である。 本発明を実施する例示的な分散型検索システムおよび関連される構成要素を動作するための、一つ以上の例示的方法に対応するフローチャートである。

Claims (24)

1. 複数のデータセットと複数の検索エンジンとを含むオンライン検索システムであって、該データセットの各々は該データセットに割り当てられた該複数の検索エンジンのうちのを少なくとも１つ有する、システム。
2. 複数のサーバをさらに含み、各サーバが少なくとも１つの前記検索エンジンにホスティングする、請求項１に記載のシステム。
3. 各サーバが、１つ以上のプロセッサと、関連したＬｉｎｕｘオペレーティングシステムとを含む、請求項２に記載のシステム。
4. 前記複数の検索エンジンに検索要求を分散させるように動作可能な複数の検索制御器をさらに含む、請求項１に記載のシステム。
5. 前記複数の検索制御器と前記複数の検索エンジンとの間に検索要求をルーティングさせるように動作可能なメッセージサーバをさらに含む、請求項４に記載のシステム。
6. 前記メッセージサービスがＪＡＶＡ（登録商標）メッセージサービスを含む、請求項５に記載のシステム。
7. 検索要求がメッセージキューにルーティングされる、請求項５に記載のシステム。
8. 前記メッセージキューがＩＢＭ／ＭＱメッセージキューソフトウェアの一バージョンによって提供される、請求項７に記載のシステム。
9. 前記データセットの各々がデータ収集へのインデックスの一部を含む、請求項１に記載のシステム。
10. 検索を行う方法であって、
    複数のデータセットを提供することと、
    検索要求を受信することと、
    該検索要求に応答して検索されるべき該複数のデータセットのうちの少なくとも１つのデータセットを識別することと、
    複数の検索エンジンのうちの少なくとも１つの検索エンジンに該検索要求を送信することであって、該検索エンジンは該少なくとも１つのデータセットとの関連性を有する、ことと
    を包含する、方法。
11. 前記データセットがデータ収集用のインデックスの一部を含む、請求項１０に記載の方法。
12. 前記検索要求を送信することが、メッセージキューに該検索要求を配置することを包含する、請求項１０に記載の方法。
13. 前記メッセージキューに関連した識別子は、前記データセットに関連した識別子と同一である、請求項１２に記載の方法。
14. 複数の前記検索エンジンに送信するために前記検索要求を分割することをさらに包含する、請求項１０に記載の方法。
15. 検索を行う方法を実行するための命令を有する機械可読媒体であって、該方法は、
    複数のデータセットを提供することと、
    検索要求を受信することと、
    該検索要求に応答して検索されるべき該複数のデータセットのうちの少なくとも１つのデータセットを識別することと、
    複数の検索エンジンのうちの少なくとも１つの検索エンジンに該検索要求を送信することであって、該検索エンジンは該少なくとも１つのデータセットとの関連性を有する、ことと
    を包含する、機械可読媒体。
16. 前記データセットがデータ収集用のインデックスの一部を含む、請求項１５に記載の機械可読媒体。
17. 前記検索要求を送信することが、メッセージキューに該検索要求を配置することを包含する、請求項１５に記載の機械可読媒体。
18. 前記メッセージキューに関連した識別子は、前記データセットに関連した識別子と同一である、請求項１７に記載の機械可読媒体。
19. 複数の前記検索エンジンに送信するために前記検索要求を分割することをさらに包含する、請求項１５に記載の機械可読媒体。
20. 検索を行うシステムであって、
    複数のデータセットを提供する手段と、
    検索要求を受信する手段と、
    該検索要求に応答して検索されるべき該複数のデータセットのうちの少なくとも１つのデータセットを識別する手段と、
    複数の検索エンジンのうちの少なくとも１つの検索エンジンに該検索要求を送信する手段であって、該検索エンジンは該少なくとも１つのデータセットとの関連性を有する、手段
    を備える、システム。
21. 前記データセットがデータ収集用のインデックスの一部を含む、請求項２０に記載のシステム。
22. 前記検索要求を送信する前記手段が、メッセージキューに該検索要求を配置することを含む、請求項２０に記載のシステム。
23. 前記メッセージキューに関連した識別子は、前記データセットに関連した識別子と同一である、請求項２２に記載のシステム。
24. 複数の前記検索エンジンに送信するために前記検索要求を分割する手段をさらに備える、請求項２０に記載のシステム。

Images