JP2000516005A - データアクセスシステム - Google Patents

Abstract

(57)【要約】 １組のカテゴリヘッディングであり、各カテゴリヘッディングに１組のキーワードが準備されているカテゴリヘッディングに基いて自動的にデータベース(112)を生成する方法を記載する。処理プラットフォーム(100)がキーワードを使用して、インターネット(120)を介して処理プラットフォーム(100)と接続している複数のサーチエンジン(130a,130b,130c)で行うサーチを定める。サーチ結果は処理プラットフォーム(100)によって処理され、サーチ結果に組込まれたＵＲＬを識別する。次にＵＲＬを使用して、ＵＲＬがインターネット(120)内の遠隔のデータソースから参照したページを検索する。次に処理プラットフォーム(100)はフィルタ処理を行って、ページに得点を付け、何れのページがもとのカテゴリに最も相関しているかを判断する。最も相関度の強いインターネット場所情報はデータベース(112)に記憶される。

Description

【発明の詳細な説明】 データアクセスシステム 本発明は、改良を加えたデータアクセス効率に関する。とくに本発明は、目的 に合わせた特別仕様のデータベース作成の分野に応用される。 データを著しく分散させて記憶する環境の例にはワールドワイドウエブ（ＷＷ Ｗ）がある。ＷＷＷは、膨大な情報を体系化せずに集めたものであり、インター ネットの多くの異なるサーバに記憶されている。最新の推定では、情報ページ数 は３，０００万を越え、サーバ数は２２５万を越えている。 何等かの補助なしにこの程度のデータ量をナビゲートする（操る）ことは非常 に困難である。ＷＷＷ用のインデックスとかディレクトリといったナビゲーショ ンの補助を作り、ＷＷＷ用の２つの主要なナビゲーション方法を示している。 インデックスの場合、いわゆるサーチエンジン、例えばAltaVista（http://al tavista.digital.com）は可能な限り多くのＷＷＷページを検索し、各ページ内 の単語にインデックスを付ける。通常、サーチエンジンはロボットまたはスパイ ダとして知られる処理を実行し、ＷＷＷから選択した領域内にある検索したペー ジに含まれる全てのハイパーリンクに完全にしたがう。大きなインターネットの サーチエンジンは何百万ものページについての記憶したインデックスをもつこと ができる。したがってユーザがキーワードを入力すると、キーワードはインデッ クスエントリと比較され、要求したキーワードを含むページのリストを受け取る 。これは情報を見付ける簡単な方法であるが、キーワードのインデックスがどの 程度包括的であり、しかも正確であるかによって効率が限定される。 ディレクトリ、例えばYahoo（http://www.yahoo.com/）は、特定のトピックに 関係するカテゴリの階層構造を含む。この階層構造はディレクトリの作成者によ って定められるが、最低レベルのカテゴリでは通常はディレクトリの監督者によ って、また時にはユーザによって加えられるエントリをもつ。ディレクトリでは 選択が既知のトピック領域カテゴリに制限されるので、サーチエンジンを使用す ることによって、ディレクトリで情報を見つけるほうが容易になる。しかしなが ら、ディレクトリ式のＷＷＷナビゲーションの有効性は正確な類別方法に限定さ れる。このため２つの欠点が生じる：第１に、特定のヘッディングを類別するこ とによって、ディレクトリを集中的にマニュアルで再作動させるように変えるこ とが必要になるときがある。第２に、この方法はあるユーザにとっては適してい ないことがあるし、また直観的(intuitive)でないときがある。 本発明の１つの態様にしたがって、あて先のデータベースを分布させる装置で あり： あて先のデータベースと； 装置を分散形ソースデータベースに接続する手段と； 所定の問題のカテゴリに関係するキーワード群を含むメモリ領域と； 前記メモリ領域に含まれるキーワード群に基いて、前記分散形ソースデータ ベースと関係付けられた少なくとも１つのサーチエンジンを制御して、前記キー ワードを含むドキュメントの場所に関する情報を含むサーチ結果を作り、該ドキ ュメントが該分散形ソースデータベースに記憶されているような制御用手段と； 所定の基準にしたがってそのそれぞれ内容に基いて前記少なくとも１つのサ ーチエンジンによって作られるサーチ結果内で識別された各ドキュメントに得点 をつける手段と； 各得点に基いて、前記得点をつける手段によって得点されたドキュメントの 少なくとも幾つかを選択する手段と； 前記選択手段によって選択された各ドキュメントごとに、前記分散形ソース データベース内のドキュメントの場所に関係する情報を前記あて先データベース に記憶する手段とを含むあて先データベースを分布させる装置を提供する。 本発明は、著しくより大きな分散形データベースからあて先のデータベースを 分布させる実際的な方法を与えることによって既知のサーチ方法に関係した問題 を克服する。 したがって、別に記載されない限り、“ページ”および“ドキュメント”とい う用語の両方は、単一のロケーション、例えばＷＷＷに記憶されたデータのコン パイルを表しており、したがって相互に交換できる。 本発明の実施形態を効果的に応用できる１つの例として、学校という環境があ り、そこでは先生が、生徒にとって使用できる情報の量および形式を制限したい とする。いったん決めてしまうと、データベース内のデータは生徒は不適切なま たは無関係の情報を得る心配なしに自由に“ブラウズ（閲覧）”することができ る。別の例には、会社内の環境において、一定の課題に関して学術的な情報では なく、市販の情報のみが必要な場合がある。 １組のキーワード群を含み、各キーワード群がそれぞれの所定の課題のカテゴ リに関係するようにメモリ領域を構成することができる。カテゴリは階層的に構 成し、例えば上述のディレクトリと同様に、最も包括的なカテゴリはディレクト リの最上レベルに置かれ、カテゴリが次第に特定されるにしたがって低いレベル に枝分かれするようにできる。 好ましい実施形態では、データが最終的にあて先のデータベースに記憶される 前に、検索したドキュメントファイル参照数を低減する別の段階を含む。これに より、不適切なまたは無関係のドキュメントの参照を省くことができる。例えば 、要求されるデータベースが“furniture（家具）”のカテゴリおよび“table（ 机）”のキーワードをもつとき、数学の“table（表）”に関係するドキュメン トへの参照を省くことが賢明であり望ましい。 本発明の第２の態様にしたがって、あて先データベースを分布する装置であり ： あて先データベースと； 所定の課題のカテゴリに関係するキーワード群を含むメモリ領域と； 前記あて先データベースおよび前記メモリ領域にアクセスでき、分散形ソー スデータベースに接続でき、かつ、 前記メモリ領域に含まれるキーワード群に基いて、前記分散形データベー スと関係する少なくとも１つのサーチエンジンを制御して、前記キーワードを含 み、前記分散形ソースデータベース内に記憶されるドキュメントの場所に関係す る情報を含むサーチ結果を作り； 所定の基準にしたがってそのそれぞれの内容に基いて前記サーチ結果内で 識別される各ドキュメントを得点し； それぞれの得点に基いてドキュメントの少なくとも幾つかを選択し；また 各選択したドキュメントごとに、前記分散形ソースデータベース内の場所 に関する情報を前記あて先データベースに記憶するようにされている処理プラッ トフォームとを含むあて先データベースを分布する装置が提供されている。 本発明の第３の態様にしたがって、あて先のデータベースを分布させる装置で あり、 ａ）この装置を分散形ソースデータベースに接続する手段と； ｂ）所定の課題のカテゴリに関係するキーワード群を記憶する第１のメモリ 領域と； ｃ）第１のメモリ領域からキーワードを読取り、分散形ソースデータベース へアクセスするサーチ手段へ前記キーワードを送る手段と； ｄ）前記サーチ手段からサーチの結果を受取り、第２のメモリ領域に前記結 果を記憶する手段であり、前記結果が前記キーワードを含む前記ソースデータベ ース内に記憶されるドキュメントの場所に関係する情報を含むような記憶する手 段と、 ｅ）第３のメモリ領域で前記ロケーション情報を識別し、かつ記憶する手段 と； ｆ）前記第３のメモリ領域からロケーション情報を読取り、要求をソースデ ータベースに送り、選択したロケーション情報に関係するドキュメントのコピー を装置へ戻すようにする手段と； ｇ）前記ドキュメントの前記コピーを受取り、第４のメモリ領域内に記憶す る手段と； ｈ）その各内容に基いて所定の基準にしたがって第４のメモリ領域に記憶し た各ドキュメントにアクセスし、かつ得点する手段と； ｉ）各得点に基いて前記ドキュメントの少なくとも幾つかを選択し、各選択 したドキュメントに対して、ソースデータベース内のドキュメントの場所に関係 する情報をデータベースに記憶する手段とを含むあて先データベースを分布させ る装置を提供する。 本発明の第４の態様にしたがって、あて先データベースを分布させる方法であ り： 所定の課題のカテゴリに関係するキーワード群に基いて、分散形ソースデー タベースに関係する少なくとも１つのサーチエンジンを制御して、前記キーワー ドを含み前記分散形ソースデータベース内に記憶されているドキュメントの場所 に関係する情報を含むサーチ結果を作る段階と； 所定の基準にしたがって各内容に基いて前記サーチ結果で識別される各ドキ ュメントを得点する段階と； 各得点に基いてドキュメントの少なくとも幾つかを選択する段階と； 各選択したドキュメントごとに、前記分散形ソースデータベース内のドキュ メントの場所に関係する情報を前記あて先データベースに記憶する段階とを含む 方法を提供する。 ここで本発明の実施形態を添付の図面を引用して例示的に記載する。 図１は、データベースを生成し、本発明を具現するシステムを示す模式図であ る。 図２は、図１のシステムで使用した主要なデータメモリ領域の模式図である。 図３は、データベースを構築する方法を示すフローチャートである。 図４は、データがデータベース内にどのように配置されているかを示す模式図 である。 図５は、データベースを構築するときにどのようにドキュメントを分散形デー タソースから検索するかを示すフローチャートである。 図６は、図１のシステムでどのようにサーチ結果が処理されるかを示すフロー チャートである。 図７は、図１のシステムでどのようにドキュメントが得点されるかを示すフロ ーチャートである。 図１では、本発明の実施形態にしたがってあて先データベースを構築して分布 させるのに適したシステムを示す。 このシステムでは、処理プラットフォーム（ＰＰ）100は、第２のメモリデバ イス110（例えば、ハードディスクドライブ）を接続し、第２のメモリデバイス1 10内に保持されるあて先データベース112へのアクセスを制御する。あて先デー タベース112はＰＰ100とは別々にかつ遠隔に配置することができる。データベー スを分布するとき、データベース112はコンパイルされたデータベース115に記憶 されたデータを含む。ＰＰ100はインターネット120を介して、複数のサーチエン ジン130a、130b、および130c（見やすくするために、この３つのみが示 されている）にも接続されている。これらの情報サーバが分散形ソースデータベ ースを構成している。 この実施形態においてＰＰ100は、ＵＮＩＸ(TM)応用計算プラットフォームで あり、適切なソフトエアを走行することができる。例えば、ＰＰ100はオフィス や学校のローカルエリアネットワークにおいてパーソナルコンピュータ（ＰＣ） 140a、140b、および140cを介してユーザにアクセスできる。各ＰＣ140a、140b、 および140cは、ＰＣ上を走行し、ＰＰ100と通信する適切な制御ソフトウエアの 制御のもとで、データベース112内の必要なデータにアクセスすることができる 。ＰＣ上のソフトウエアはローカルメモリ（図示されていない）に恒久的に記憶 できるか、または要求あるいは実行されるときにＰＰ100から検索することがで きる。ソフトウエアは起動時に、周知のディレクトリサーチソフトウエア、例え ばYahooに一緒に関係付けられたユーザにグラフィカルユーザインターフェイス （ＧＵＩ）を示す。したがってアクセスソフトウエアの詳細は、さらに詳しく記 載する必要はない。 図２はメインメモリ領域を示し、ここでは本発明の実施形態の実行中にアクセ スされるかまたは生成されるか、あるいはその両方が行われる。この場合、使用 されるメモリは第２のメモリ、例えばハードディスクであるが、メインメモリ、 例えばＲＡＭは通常データを記憶するか、または第２のメモリに再び記憶する前 にデータを操作するのに使用される。この実施形態では、メモリ領域は第２のメ モリデバイス110とデータベース112とで共用される。メモリ領域には：カテゴリ リスト200、キーワードリスト205、ＵＲＬ(Uniform Resource Locator)メモリ21 0、ドキュメントメモリ215、報告メモリ220、サーチエンジンリスト225、サーチ エンジン構文（シンタックス）230、サーチ結果ファイル235、およびＵＲＬの初 期リスト240がある。残りの領域は起動中に使用される。 図３は、次の説明と共に、データベース112を構築し分布させる本発明の１つ の方法を記載する。 段階300では、メモリ領域200内にヘッディングおよびカテゴリでデータベース 112内に含まれるもので成るカテゴリリストを準備する。ヘッディングおよびカ テゴリは、完全なデータベース内でユーザが選択できるものに対して１：１の マッピングを行う。次に段階302では、カテゴリリストに含まれる各カテゴリに 対するキーワードのリストを生成する。ヘッディング、カテゴリ、およびキーワ ードはさらに、どの程度正確にデータベース内で情報が互いに関係することを予 定されているかを示す関係付け情報を含む。カテゴリリストの構造は以下でより 詳しく説明することにする。キーワードは、データベースを構築するために準備 されているが、それだけでは最終的なデータベース構造の一部は形成しない。 キーワードが各カテゴリに与えられると、段階304でキーワードは単一のキー ワードリストに結合され、メモリ領域205に記憶される。 次に段階306でキーワードは、キーワードサーチのために１または複数のサー チエンジン130a、130b、および130cへ送られる。通常の方法では、各サーチエン ジンは、各キーワードに対してサーチ結果を生成する。各キーワード／サーチエ ンジンの組合わせごとに、サーチ結果はメモリ領域235内の個々のテキストファ イルに記憶される。 段階306では、メモリ領域235に記憶した各個々のテキストファイルに保持され ているサーチ結果からＵＲＬ(Uniform Resource Locators)を抽出する。その結 果、各サーチエンジンに対するサーチ結果の完全な組に対してＵＲＬの個々のリ ストが得られる。ＵＲＬは、各サーチエンジンで見つけたキーワードの候補のペ ージを示す。ＵＲＬのリストはメモリ領域240に記憶される。 段階308では、サーチによって生じたエラーは将来解析するためにメモリ領域2 20内のエラーログに記録される。 段階306の処理では、キーワードをサーチエンジンへ送ることによってサーチ を開始し、その結果を検索および記憶し、その結果を処理して、ＵＲＬリストを 得る。これは図５および６を引用して以下でより詳しく記載する。 次に段階312でサーチエンジンによって生成されるＵＲＬリストを結合し、キ ーワードによって構成されるＵＲＬの単一のリストを形成する。この単一のリス トはメモリ領域215に記憶される。この段階は、複製されたＵＲＬを削除するこ とを含む。複製されたＵＲＬがあるときは、２以上のサーチエンジンが同じキー ワードで同じＵＲＬを起こす。２以上のサーチエンジンを使用するとき、この段 階を実行することが必要となるのは明白である。この結果、効果的に各キーワー ドに対するＵＲＬのリストが生成される。 次に段階316では、ＵＲＬのリスト（上述のようにキーワードによって構成さ れている）は、段階302で生成したカテゴリおよびキーワードの元の記述に戻っ てそれを相互参照して、各カテゴリに対する候補のＵＲＬを識別する。次に段階 320で各カテゴリの各キーワードのＵＲＬをフィルタ処理して、処理されていな いページを消去する。この点で普通消去されるページには、ｈｔｔｐ以外の参照 および将来有望でないサイト、例えば外国語サイトを含む。この段階は、サイト についてブラック（実際をいうとホワイト）に対して各ＵＲＬを検査し、ブラッ クリストに入れられたサイトには適切なまたは関連の情報を明らかに供給せず、 ホワイトリストサイトでは適切で良好な品質の情報を供給することが知られてい る。この点で適切なフィルタ処理方法を使用して、所望の形式の辞書（ディクシ ョナリ）を生成できることが分かるであろう。 段階322ではフィルタ処理したＵＲＬの詳細をテキストファイルに報告して、 周期的な検査を実行して、有効な情報が拒絶されないことを保証できる。段階32 6では、統計をとることができ、将来のフィルタ処理（段階320）の改良を助ける ことができる。 段階330では、フィルタ処理段階320の後に残ってしまった各カテゴリの各ＵＲ Ｌを使用して、各ＷＷＷページを検索する。検索したページまたはドキュメント はメモリ領域215に記憶される。段階338は各検索したページが、提案されている カテゴリに対して得点される。得点プロセスは実質的に、検索したページの関連 、およびそれにしたがってこのページをデータベースに含むべきか否かを判断す る。得点プロセスは、図７を引用してより詳しく記載する。 ページが得点されると、第２のフィルタ処理段階342では、カットオフポイン トを適用して、どのページがカットオフポイントよりも高いスコアをもち、デー タベース112へ送られるかを示す。カットオフポイントは、例えば、ページの“ 関連”度（例えば、ページ内にキーワードが存在する数によって判断される）の 固定値を示し、各カテゴリ内の最大ページ数を制限することができる。その代り に、カットオフポイントは、特定のカテゴリで達成されるサーチ結果の類型に依 存して幾つかの特定の方法で判断することができる。 第２のフィルタ段階342の出力は、段階346で通常のデータベースローディング ルーチンを使用してデータベース112へ供給できるフォーマットに構成される。 データベース112用のデータベースの適切な１つの形式はリレーショナルデータ ベース、例えばＯｒａｃｌｅ(TM)である。 データベース112用の適切な論理データ構成を図４に示す。データベース112の 使用可能なヘッディングは、第１の表400に記憶されている。各ヘッディング（ ＨＥＡＤ１、ＨＥＡＤ２、など）は、このヘッディングのもとでユーザが使用で きるカテゴリをリストしたカテゴリ表410への参照を含む。各カテゴリは２つの 参照：すなわちＵＲＬ表420に対する第１の参照並びにタイトルおよび記述表430 に対する第２の参照を含む。タイトルおよび記述表430は、（閾値より高い得点 または最高のｎ得点をもつ）各ページのタイトルおよび簡潔な要約を記載してい る。各アクセス可能なページに対してＵＲＬを保持することによって、ＵＲＬ表 はタイトルおよび記述表を写す。ＵＲＬを使用して、必要なときにページを検索 する。 段階346からデータが上述のようなデータベースへロードするのに適した形態 に構成されると、段階360でローディングルーチンでデータをデータベース112へ 送り、予め作ったデータベース表にロードする。こうして、段階360でデータベ ース112を分布させる。この点でデータベース112は使用準備が完了する。 いったんデータをデータベース112に記憶すると、通常のやり方で標準データ ベーススクリプトを使用してアクセスできる。次にデータは“フロント−エンド ”ユーザインターフェイスを介してユーザヘ送られる。“フロント−エンド”ユ ーザインターフェイスは、例えば、通常のサーチエンジンまたはYahooのような ディレクトリに似せることができる。データベーススクリプトおよびインターフ ェイスの生成は従来の技術であり、本発明の技術的範囲内にはないので、より詳 しくは記載しないことにする。より詳しい情報を得るには、Ｏｒａｃｌｅ(TM)の ユーザガイドのようなテキストを参照すべきである。 例示的なカテゴリリストを抽出して、以下の記載と一緒に参照用に使用するた めに次に示す。カテゴリリストはデータベース112に必要なカテゴリを反映して いる。 カテゴリリストは、上述のものに類似した所定のフォーマット内のテキストフ ァイルとして準備され、キーワードがどのように相互に関係しているかを表す。 データベースの構築が開始されるとき、テキストファイルはシステムによって使 用される。 この例では、カテゴリレベルの上に“ヘッディング”レベルがある。都合上、 ２つのみのヘッディング（構文“＞＞＞＞＞”で表されている）、すなわち”ar tｓ & entertainment”および”hobbies & sports”が示されている。これらの ヘッディングは、実際はヘッディングのより長いリストの一部を形成し（都合上 、図示されていない）、所定のグループのユーザにとって重要である。データベ ース112が構築されると、ヘッディングを選択して、システムのユーザに送られ る最上レベルの選択の組を形成する。最後にこれらのヘッディングはデータベー スのヘッディング表400に記憶される。 各ヘッディングはカテゴリ（構文“＝＞”で表される）のリストをもつ。これ らのカテゴリは、選択されたヘッディングの１つ（この例では、各ヘッディング に対して３つのみのカテゴリが示されている）に応答してシステムのユーザへ送 られる。カテゴリはデータベース内のカテゴリ表に記憶される。各カテゴリは、 複数の関係付けられたキーワードをもち、これはコンマで分けられている。各キ ーワードは、データベース内のＵＲＬ表420に記憶される。各キーワードは相関 するＵＲＬ表320内のＵＲＬと、関連のタイトルおよび記述表430内のタイトルお よび記述データとのリンクをもつ。 例に示されているように、幾つかのカテゴリの後には“％％％”構文を最初に 記載して、別の単語または句が続く。この構文は次“See Also（また次も見よ） ”と翻訳される。See Alsoは有益で一般的に使用される方法であり、一定のトピ ックに関する別の情報を別の場所で見付けられることをユーザに気付かせること ができる。例として“films（フィルム）”のカテゴリを使用すると、see also のオプシヨンは”hobbies & sports: cinema（趣味とスポーツ：シネマ）”を参 照する。このときsee alsoは”hobbies & sports”ヘッディングのもとにある” cinema”カテゴリであることを意味する。see alsoのエントリは、図示されてい ないが別のデータベース表に記憶することができ、カテゴリ表410内のカテゴリ によっ て参照される。 上述の例から明らかなカテゴリリストの別の特徴は、各キーワードが２つの数 と関係付けられていることである。第１の番号は“意味(sense)”または単語の 意味である。例えば、”slide”には名詞も動詞もあり、名詞の"slide"は写真の スライドまたは公園で子供が滑り降りるつるつるした傾斜表面を意味する。意味 は辞書ソース、最も好ましくはコンピュータで読取り可能なフォーマットで使用 できる辞書ソースを参照することによって決定される。処理段階全体で同じ辞書 ソースを使用して、１つの単語に対する意味ラベルを一貫させることを保証する ことが明らかに重要である。 第２の数は、キーワードの加重値、またはキーワードが関係付けられたカテゴ リにどの程度関連しているかに関する。例えば、カテゴリ”photography（写真 ）”における”camera（カメラ）”に対する加重値は５であり（５は最高の関連 度を表す）、一方で”flash（フラッシュ）”に対する加重値は１だけである（ １は最低の関連度を表す）。データベースを生成するときに、これらの数が与え る影響を次により詳しく記載する。 カテゴリリスト、それ自身は何等かの方法、または何等かのやり方によって定 めることができる。ファイルを構築する最も簡単なやり方はマニュアルで、すな わちユーザ（またはデータベースの生成者）が全てのキーワードを、例えば試行 錯誤して入力し、必要なデータベースを構築するやり方である。しかしながら、 リストを構築する最も効果的な方法が考えだされた。例えば、アダプティブ（適 応性をもつ）ソフトウエアを準備（または例えばＷＷＷから選択）して、ユーザ が関心のある特定の課題に関係する多数の情報ページを提供することをユーザに 要求することができる。与えられたページに基いて、ソフトウエアは一緒に現れ る単語または句を決定し、重要な領域を示す。例えば、ユーザが写真に関心があ り、写真という課題に関して３ページを準備するとして、ソフトウエアは“カメ ラ”、“プロジェクタ”、“写真”、などの単語を写真を表すものとして十分に 強調することができる。この方法では、ユーザにとって重要な各課題に対して、 サンプルページが与えられ、キーワードが自動的に生成され、次にカテゴリリス トが自動的に生成されることになる。その代りに、コンピュータを応用したシソ ーラスを使用して、単一の入カカテゴリに対してキーワードを生成することがで きる。さらにこのようなシソーラスは、後でデータベースから捨てられるドキュ メントに基いて、一定のカテゴリと関係付けられた一定の単語を含めるかまたは 捨てる（あるいは単語に関係付けられた加重値を変化させる）ように適応させる ことができる。 最終的に、ソフトウエアを準備して、例えば、ユーザがインターネット上でア クセスする情報の最後のｘページから、最も一般的に持ち上がる課題領域に基い て、ユーザに対する主要な課題関心領域を決定することができる。したがって如 何なる段階にも人間が介入することなく、構築された実際のカテゴリリスト並び にキーワードリストをソフトウエアおよび最終的なデータベースによって定める ことができる。 カテゴリリストの生成を簡単にする別の方法は、この実施形態を読むことによ って当業者に明らかになるであろう。 したがって、この実施形態から、カテゴリリスト、おそらくはキーワードを供 給するのとは別に、必要なデータベースを自動的に生成することができる。 ここでサーチエンジンを使用して、ＵＲＬリストを生成するやり方を記載する 。サーチエンジンは、普通はＷＷＷと関係付けて使用される。サーチエンジンは 一般に、httpコマンドに応答してサーチを行なう。本質的に、このようなコマン ドはサーチエンジンおよび一定の構文用のＵＲＬを含み、このＵＲＬでサーチエ ンジンによって実行されるサーチを特定する。一般に、異なるサーチエンジンに ついての同じコマンドの構文は変っており、異なるサーチエンジンでこのやり方 でサーチが成功できるようにする前に構文が決められる必要がある。次のhttpコ マンドの例では、サーチエンジンに”AltaVista”を伝えて、キーワード”slide ”をサーチする。 http://altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=slide 明らかに、各サーチエンジンごとに正しい構文を学習しなければならないことは 面倒であり、サーチエンジンのプロバイダは、“ユーザが親しみやすい（ユーザ フレンドリイな）”フロントエンドのＧＵＩを準備して、ユーザのローカルコン ピュータシステム上で行なうことによってこの必要を克服できるであろう。Ｇ ＵＩによりユーザは、ディスプレイスクリーン上で、例えば適切なボックス内に キーワードを入力し、"submit"ボタンを押下する（すなわち、ディスプレイスク リーン上でマウスポインタをボタンに置き、マウスボタンを左クリックする）こ とによってサーチ要求を提示することができる。ＧＵＩは、ユーザ入力を非常に 簡略化したものであり、上述に示したものに類似したより複雑な形式にまとめ、 サーチエンジンへ送る。 これに応答して、サーチエンジンはそのデータベースをサーチして、相関する キーワードを見付け、キーワードを含むページに対してＵＲＬを含むデータを戻 す。サーチの結果は通常、見付けた各ページごとにページの内容のタイトルおよ び簡単な要約も含む。表示されたサーチ結果から、サーチエンジンがＵＲＬによ って示されたページを検索することに応答して、何れかのＵＲＬ上でクリックす ることができる。 一般的に、戻されたデータは通常、html(Hypertext Markup Language)形式の 情報ページである。ページはフォーマットされていないテキストおよび各htmlコ ードを含み、htmlコードはどのようにテキストを表示すべきかおよびＧＵＩ環境 内でどのようにユーザがそれと対話できるかを定める。通常、フォーマットされ ていないテキスト内では、ヘッディング、タイトル、本文テキストは異なるhtml コードを使用して区別される。ＧＵＩはhtmlページを採用し、ページごとにコー ドを翻訳し、適切にフォーマットされた、対話式のグラフィック表示の情報とし て、ユーザに送られる。 htmlは工業規格(industry-wide standard)であるので、ありのままのフォーマ ット化されていないテキストおよびhtmlコードを読取り、どのテキストが、例え ばＷＷＷページの記述に関係しているか、およびどのテキストがＵＲＬなどに関 係しているかを翻訳することは比較的に簡単な作業である。この実施形態で達成 したことはまさにこのことであり、次に記載する。 サーチエンジンを制御するプロセスを、図５を参照して次に記載する。段階51 0では、アクセスされるサーチエンジン（ＳＥ）は、メモリ領域225内のファイル に保持されている使用可能なサーチエンジンのリストから選択される。次に段階 520でこのサーチエンジンに対するサーチ要求を作るときに使用するために、 メモリ領域230内の別々のテキストファイルから選択したサーチエンジン用の構 文が読取られる。段階530では、キーワードリストにアクセスして、このリスト から第１のキーワードを読取る。段階540で、適切な構文を使用して、キーワー ドをhttpコマンドへ適用する。したがって次にこのプロセスは段階550でコマン ドをサーチエンジンへ送る。次に段階560で結果を受け取るまで、サーチ結果を 待つ。次に結果は、段階570でメモリ領域235内のテキストファイルに記憶され、 ここで各サーチエンジン／キーワードの組合せごとに新しいテキストファイルを 使用する。 このプロセスは全てのキーワードをサーチするまでリターンブランチＢにした がい、次にリターンブランチＡにしたがって（再びキーワードリストの最上部か ら始める）、全てのサーチエンジンにアクセスするまで、リスト上の次のサーチ エンジンを選択する。プロセスの結果は、全てのサーチ結果を含む１組のテキス トファイルであり、将来参照するために、メモリ領域235内に記憶される。 図５に示したプロセス（および次の各プロセス）は、例えば夜間、すなわち通 信コストが最低のときに、ＰＰ100上を走行するソフトウエアルーチンまたはバ ッチファイルによって定められる。 図５を引用して記載したプロセスは、サーチエンジンおよびサーチエンジンに 対するキーワード要求が応答しないときに、リスト内の次のサーチエンジン、ま たは次のキーワードに移し、一方でサーチエンジンの故障またはエラーログに対 するサーチエンジンの要求（エラー記録段階308は図３に示されている）を記録 することによっても反応することができる。 図６は、サーチ結果のテキストファイルに関係して実行する段階を示す。都合 上、１つのサーチエンジン／キーワードの組合わせを表す１つのみのテキストフ ァイルについて検討する。 図６では、段階605でサーチ結果のテキストファイルを開き、文字ごとに連続 的に読取る。ファイルの始めから、ファイルが終わる（ＥＯＦ）前に（段階610 ）から、段階615で１つの文字をファイルから読取る。段階620では、文字が＜文 字でないとき、ブランチＡは段階610へ戻り、文字カウンタ（図示されていない ）がインクリメントされて、ファイル内の文字を読取るところを示す。＜文字は ht mlを示し、次のテキスト（またはその一部分）は、通常のテキストとは対立して いるためにhtmlコードである。とくに、ＵＲＬは、ａ＜文字の後でhtmlラベルa ＿hrefによって識別される。 文字がａ＜であるとき、処理は段階625に進む。段階625では、次の６つの文字 をファイルから読取る。次の８つの文字は段階630で読取られる。次の８つの文 字がa＿herf=”であるとき、段階635で次の“文字まで、後続の全ての文字を読 取る。次の８つの文字がa herf=”でないとき、ブランチＢが続き、段階630か ら段階610へ戻り、文字カウンタが１だけインクリメントされる。別の試験（詳 しくは記載しない）は、検索した文字がＵＲＬまたはハイーパーテキストリンク に関係しているか否かを判断し、ここではハイパーテキストリンクはこの目的に 対して必要ない。 段階635の後で、段階640では、第１と第２の“文字の間のテキストは、ＵＲＬ を表し、メモリ領域240内のテキストファイルに記憶される。多くの文字が段階6 10と635との間で読取られているが、文字カウウンタはインクリメントされる。 次に、全テキストファイルが読取られるまで、ブランチＣが続く。全ファイル が読取られると、ファイルを閉じて、処理はこのサーチエンジン／キーワードの 組合わせを終了する。 図６に示した処理は、各サーチエンジン／キーワードの組合わせに対してテキ ストファイル上で実行される。その結果、各サーチエンジンに対するサーチの結 果から抽出したＵＲＬの個々のリストが得られる。これらのリストはメモリ領域 240に記憶される。メモリ領域240内にＵＲＬのこれらのリストを記憶した後で、 図３に示した全体的な処理は段階312から続く。 ここで図７を引用して検索したページを得点する方法を記載することにする。 ドキュメントの得点は組内の別のドキュメントの内容に部分的に関係しているの で、特定のカテゴリ、すなわちドキュメントの組に対して全てのドキュメントを 検索した後で、得点付けを行う。段階710では、ドキュメントの組内の全てのド キュメントを予備処理する。予備処理には幾つかの段階が必要である。第１に、 各ページはタイトル、ヘッディング、テキスト本文に分割される。テキストの本 文、すなわちページの実際の記述式テキストに関して、処理されるテキスト量を 固定して、全体的な処理量を制限する。例えば、最初の２０行のみを得点付けに 使用することができる。次に、意味のない単語および用語を消去して、得点付け をより効果的にする。例えば、"and","the","but","a","however"などの単語は 、ページの情報内容に何も加えないので、これらを全て消去する。予備処理の次 の段階では、全ての単語を単根の形に変換する。例えば、全ての名詞を単数形に 、全ての形容詞を副詞に、全ての動詞を不定詞形に変換する。 予備処理が完了すると、組内のドキュメントはより容易に比較でき、それに割 当てられた得点は大きな意味をもつ。 段階720では、“単語総数”と呼ばれる定数、すなわちドキュメントの組内に 残っている予備処理後の全単語数を計算する。次に段階730では、組内の全ての ドキュメントに対してカテゴリ内の各キーワードの“ワードカウント”の発生数 を計算する。 次に、各ドキュメントに対して手続きの残り（段階740,750,760,770）を実行 する。段階740は、各ドキュメントに対して実行される手続きの開始をマークす る。 段階750では、アルゴリズムＡを使用して、カテゴリ内の各単語に対してドキ ュメントのテキスト本文で演算を行い、各キーワードに対する個々の得点を生成 する。アルゴリズムＡを次に示す： 加重値 ：上述のようにカテゴリにおけるキーワードの組内の単語に付さ れた参照 カウント ：ワードがページに現れる回数 単語総数 ：上述のように、ページの組内の単語数 項目内の単語：ページ内の単語数 ワードカウント：単語がページの組内に現れる回数 オーダ(order)：キーワード内の単一の単語数 段階760では、アルゴリズムＢを使用して、カテゴリ内の各キーワードに対し てタイトルおよびヘッディングを得点して、各キーワードに対して１組の個々の 得点を生成する。アルゴリズムＢを次に示す： アルゴリズムＢ 得点（タイトル）＝１００×加重値×カウント×オーダ 得点（ヘッディング１）＝１００×加重値×カウント×オーダ 得点（ヘッディング２）＝５０×加重値×カウント×オーダ 得点（ヘッディング３）＝２０×加重値×カウント×オーダ 、など。 加重値：上述のように、カテゴリのキーワードの組内の単語に付する参照。 カウント：キーワードが各タイトルまたはヘッディングに現れる回数。 オーダ ：キーワード内の単一の単語数。 上述から分かるように、タイトルには主な重みが第１の主なヘッディングとと もに与えられる。次の課題のヘッディングは通常相関度は低いので、各より低い スコアを与える。 ページが予め処理され、上述のように得点されると、段階770で、ページに対 する合計得点が、アルゴリズムＡおよびＢからの全ての個々のキーワードのスコ アを加算することによって得られる。次に上述のように、得点がカテゴリに対す る一定の閾値よりも上であるときは、ページがカテゴリに相関していると考えら れ、結果的にデータベース内に含まれる。既に記載したように、閾値以外の方法 を使用して、どのドキュメントがデータベース内に含まれているか、例えば上位 ｎの得点ドキュメント、またはドキュメントの上位ｍパーセンタイルを使用でき るかを判断する。 この場合、得点を付けたページのサンプルをとって、それらを個々に検査して 、それがカテゴリにどの程度関連しているかを知り、そのカテゴリに対する閾値 を判定するために得点を使用して閾値を判断する。 明らかに、データベースから割当てられたカテゴリに対して誤った意味のキー ワードをもつ筋違いのドキュメントを除去することが望ましい。これは得点付け をする前に行って、得点付けに必要な処理量を低減することができる。明らかに 、人間がページを読取り、判断を行うことによって手動でこの段階を達成するこ とができる。しかしながら、文の中をみて、分の構造および意味論を理解するも の であり、これにより自然言語処理アルゴリズムは高精度に単語の意味を判断し、 人手による介入に取って代ることができる。このような方法を広く知られ、より 効果的になってきており、この記述の技術的範囲を越えている。この技術は本発 明の実施形態で好ましい形で使用されて、ページ内のキーワードの意味を判断で きたことを特記する。次に判断された意味を、上述のカテゴリリスト内に定めら れた要求される意味と比較する。 しかしながら、筋違いのドキュメントの除去は、如何なる点でも、例えばＵＲ Ｌエントリを削除することによって、データベースを形成した後でさえも行うこ とができる。 しかしながら、上述の得点付け処理それ自身は当然、要求される閾値未満の低 い得点を筋違いのドキュメントに割当てることによって、これらを除去できるこ とを示した。例えば、写真のスライド(slide)に関係するドキュメントを要求し て、子供の滑り台(slide)に関する幾つかの（無関係の）ドキュメントが検索さ れたとすると、得点付け処理（他の関連するキーワード、例えば"camera"、"pho tograph"、および"flash"などを探しているとき）は、他のキーワードを見付け 損なうことなく、子供の滑り台(slide)のドキュメントを対応する低い得点に一 致させ、このようなドキュメントを自然にフィルタ処理することになる。 上述のシステムでは、分散形ソースデータベースはインターネットに接続した 情報サーバの形をとるが、本発明のシステムは他の分散形ソースデータベースで 使用するのに適している。 Source:Alta Vista(www.altavista.digital.com)

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ， ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，Ｍ Ｘ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ， ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 アップルバイ、スティーブ イギリス国、シーオー７・９ジェイキュ ー、エセックス、コルチェスター、ウィー ベンホー、リチャード・アベニュー 23 (72)発明者 フェアマン、イアン イギリス国、アイピー３・８ジェイダブリ ュ、サフォーク、イプスウィッチ、カムデ ン・ロード 28 (72)発明者 アイレス、サラー イギリス国、アイピー１・４ジェイワイ、 サフォーク、イプスウィッチ、バロンスデ ール・クローズ 37

Claims (1)

1. 【特許請求の範囲】 １．あて先のデータベースを分布させる装置であり： あて先のデータベースと； 装置を分散形ソースデータベースに接続する手段と； 所定の課題のカテゴリに関係するキーワード群を含むメモリ領域と； 前記メモリ領域に含まれるキーワード群に基いて、前記分散形ソースデータ ベースと関係付けられた少なくとも１つのサーチエンジンを制御して、前記キー ワードを含むドキュメントの場所に関する情報を含むサーチ結果を作り、該ドキ ュメントは該分散形ソースデータベースに記憶されているような制御用手段と； 所定の基準にしたがってそのそれぞれの内容に基いて前記少なくとも１つの サーチエンジンによって作られるサーチ結果内で識別された各ドキュメントに得 点をつける手段と； 各得点に基いて、前記得点をつける手段によって得点されたドキュメントの 少なくとも幾つかを選択する手段と； 前記選択手段によって選択された各ドキュメントごとに、前記分散形ソース データベース内のドキュメントの場所に関係する情報を前記あて先データベース に記憶する手段とを含むあて先データベースを分布させる装置。 ２．前記少なくとも１つのサーチエンジンによって与えられたサーチ結果に含ま れる配置情報を識別し、第２のメモリ領域内に前記配置情報を記憶する手段をさ らに含む請求項１記載の装置。 ３．前記少なくとも１つのサーチエンジンによって与えられたサーチ結果におい て識別されるドキュメントを検索し、ドキュメントメモリ内に前記検索したドキ ュメントを記憶する手段をさらに含む請求項１記載の装置。 ４．前記メモリ領域がキーワード群の組を含むように構成され、各キーワード群 が各所定の課題のカテゴリに関係する請求項１乃至３の何れか１項記載の装置。 ５．あて先データベースを分布する装置であり： あて先データベースと； 所定の課題のカテゴリに関係するキーワード群を含むメモリ領域と； 前記あて先データベースおよび前記メモリ領域にアクセスでき、分散形ソー スデータベースに接続でき、かつ、 前記メモリ領域に含まれるキーワード群に基いて、前記分散形データベー スと関係する少なくとも１つのサーチエンジンを制御して、前記キーワードを含 み、前記分散形ソースデータベース内に記憶されるドキュメントの場所に関係す る情報を含むサーチ結果を作り； 所定の基準にしたがってそのそれぞれの内容に基いて前記サーチ結果内で 識別される各ドキュメントを得点し； それぞれの得点に基いてドキュメントの少なくとも幾つかを選択し；また 、 各選択したドキュメントごとに、前記分散形ソースデータベース内の場所 に関する情報を前記あて先データベースに記憶するようにされている処理プラッ トフォームとを含むあて先データベースを分布する装置。 ６．あて先のデータベースを分布させる装置であり： ａ）この装置を分散形ソースデータベースに接続する手段と； ｂ）所定の課題のカテゴリに関係するキーワード群を記憶する第１のメモリ 領域と； ｃ）第１のメモリ領域からキーワードを読取り、分散形ソースデータベース へアクセスするサーチ手段へ前記キーワードを送る手段と； ｄ）前記サーチ手段からサーチの結果を受取り、第２のメモリ領域に前記結 果を記憶する手段であり、前記結果が前記キーワードを含む前記ソースデータベ ース内に記憶されるドキュメントの場所に関係する情報を含むような記憶する手 段と； ｅ）第３のメモリ領域で前記場所情報を識別し、かつ記憶する手段と； ｆ）前記第３のメモリ領域から場所情報を読取り、要求をソースデータベー スに送り、選択した場所情報に関係するドキュメントのコピーを装置へ戻すよう にする手段と； ｇ）前記ドキュメントの前記コピーを受取り、第４のメモリ領域内に記憶す る手段と； ｈ）その各内容に基いて所定の基準にしたがって第４のメモリ領域に記憶し た各ドキュメントにアクセスし、かつ得点する手段と； ｉ）各得点に基いて前記ドキュメントの少なくとも幾つかを選択し、各選択 したドキュメントに対して、ソースデータベース内のドキュメントの場所に関係 する情報をデータベースに記憶する手段とを含むあて先データベースを分布させ る装置。 ７．あて先データベースを分布させる方法であり： 所定の課題のカテゴリに関係するキーワード群に基いて、分散形ソースデー タベースに関係する少なくとも１つのサーチエンジンを制御して、前記キーワー ドを含み前記分散形ソースデータベース内に記憶されているドキュメントの場所 に関係する情報を含むサーチ結果を作る段階と； 所定の基準にしたがって各内容に基いて前記サーチ結果で識別される各ドキ ュメントを得点する段階と； 各得点に基いてドキュメントの少なくとも幾つかを選択する段階と； 各選択したドキュメントごとに、前記分散形ソースデータベース内のドキュ メントの場所に関係する情報を前記あて先データベースに記憶する段階とを含む 方法。