JP2001282837A - 情報収集装置 - Google Patents

Abstract

(57)【要約】 【課題】 ある分野に対して関連性の深いサイトのみ
を、効率よく、高精度で収集する。 【解決手段】 文書ネットワーク１０は、種々の分野の
文書が分散して存在する文書群のネットワークである。
キーワードデータ格納部２７には、特定のサイトの文書
に含まれるキーワードが格納されている。キーワード解
析手段２６は、文書ネットワーク１０の任意のサイトの
文書に、キーワードデータ格納部２７に格納されている
キーワードがどの程度含まれるかを解析する。分野判定
手段２３は、キーワード解析手段２６の解析結果に基づ
き、任意のサイトが特定の分野のサイトであるかを判定
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ハイパーリンクな
どにより関連付けられた文書群の中から、ある特定の分
野を扱ったサイトの情報を効率よく高い精度で収集する
情報収集装置に関する。

【０００２】

【従来の技術】従来より、例えば、文献：特開平１０−
１０５５７２号公報等に示されるように、分散された文
書の中から関連性のある文書を抽出するようにしたもの
があった。この文献に示された技術は、文書の参照関係
を辿る範囲を限定することによって、意味的に関連性の
深い文書のみを収集するようにしたものである。即ち、
文献に示された技術は、文書中のキーワードの含有率を
調べ、含有率の大きいものを関連性のあるものとし、関
連のない文書のリンクを辿らないことによって、効率的
に関連性の深い文書だけを収集するようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、ある文
書からリンクされている文書があまり関連性のない文書
であっても、その文書からリンクされている文書は関連
性がある場合もあり得る。

【０００４】また、複数の文書で関連性があるかないか
をコンピュータにより１００％正しく判定することは不
可能である。そのため、あるリンクの部分で誤って関連
性がないと判断されてしまうと、そこからリンクされて
いる文書は収集されないことになってしまう。

【０００５】

【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。 〈構成１〉複数の文書からなる文書群中で特定の分野に
ついて記述された文書の集合を特定のサイトとし、その
サイトの文書を収集する情報収集装置であって、特定の
サイトの文書に含まれるキーワードを格納するキーワー
ドデータ格納部と、文書群上の任意のサイト内の文書
で、キーワードがどの程度含まれるかを解析するキーワ
ード解析手段と、キーワード解析手段での解析結果に基
づき、任意のサイトが特定の分野のサイトか否かを判定
する分野判定手段とを備えたことを特徴とする情報収集
装置。

【０００６】〈構成２〉複数の文書からなる文書群中で
特定の分野について記述された文書の集合を特定のサイ
トとして、そのサイトの文書を収集する情報収集装置で
あって、文書群上の任意のサイト内の文書と、予め登録
した特定の分野に属するサイトの文書との類似度を計算
する類似度計算手段と、類似度計算手段で計算された類
似度の値に基づき、対象となるサイトが特定の分野のサ
イトであるか否かを判定する分野判定手段とを備えたこ
とを特徴とする情報収集装置。

【０００７】〈構成３〉複数の文書からなる文書群中で
特定の分野について記述された文書の集合を特定のサイ
トとして、そのサイトの文書を収集する情報収集装置で
あって、文書群上の任意のサイト内の文書が、予め登録
した特定の分野に属するサイトの文書からリンクされて
いる数を計算するリンク状況管理手段と、リンク状況管
理手段で計算された値が所定値以上であった場合に、対
象となるサイトが特定の分野であると判定する分野判定
手段とを備えたことを特徴とする情報収集装置。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて詳細に説明する。

【０００９】《具体例１》 〈構成〉図１は、本発明の情報収集装置の具体例１を示
す構成図である。図において、１０は文書ネットワー
ク、２０は情報収集装置を示している。文書ネットワー
ク１０は、複数のサイトから構成され、更にそのサイト
には複数の文書（ハイパーテキスト）から構成されてい
る。それぞれの文書はリンクによって結ばれている。こ
の文書ネットワーク１０は、例えばインターネットとい
ったネットワーク上に分散して存在する文書群である。

【００１０】ここでは、ある特定の分野について記述さ
れた文書の集合のことをサイトと呼ぶことにする。例え
ば、ＵＲＬ（Uniform Resource Locator）が、 http://www.foo.co.jp/ というドメインに、 http://www.foo.co.jp/sports/soccer/ http://www.foo.co.jp/sports/baseball/ http://www.foo.co.jp/sports/basketball/ とあった場合、 http://www.foo.co.jp/sports/soccer/ を一つのサイトと呼び、 http://www.foo.co.jp/sports/soccer/index.htm http://www.foo.co.jp/sports/soccer/schedule.htm http://www.foo.co.jp/sports/soccer/results/990901.
htm などの文書がそのサイトに属する。

【００１１】図１で説明すると、例えば、サイトＡが
［http://www.foo.co.jp/sports/soccer/］、サイトＢ
が［http://www.foo.co.jp/sports/baseball/］、サイ
トＣが［http://www.foo.co.jp/sports/basketball/］
といったようになる。

【００１２】情報収集装置２０は、文書ネットワーク１
０から、特定のサイトの文書を収集する機能を有するも
ので、文書取得手段２１、文書保存手段２２、分野判定
手段２３、サイト判定手段２４、リンク検出手段２５、
キーワード解析手段２６、キーワードデータ格納部２
７、形態素解析手段２８を備えている。

【００１３】文書取得手段２１は、ＵＲＬで指定された
文書ネットワーク１０上の指定された文書を取得する機
能を有し、また、文書保存手段２２は、収集した文書を
保存する機能を有している。

【００１４】図２は、文書保存手段２２の一例を示す説
明図である。図示のように、文書保存手段２２は、ＩＤ
２２１、サイト認定２２２、ＵＲＬ２２３の項目からな
るテーブルである。

【００１５】ＩＤ２２１はサイト毎に一意に付与された
識別ＩＤである。サイト認定２２２は、そのサイトが、
特定分野に属するかどうかを示すデータであり、○が特
定分野に属するもの、×が属していないもの、印がない
のは未調査のものである。ＵＲＬ２２３はそのサイトの
ＵＲＬを示している。このＵＲＬ２２３は、それぞれの
サイトのトップディレクトリとその中の文書（複数）を
記憶している。例えば、［http://www.foo.co.jp/sport
s/soccer/］がある特定のサイトのトップディレクト
リ、［http://www.foo.co.jp/sports/soccer/index.ht
m］、［http://www.foo.co.jp/sports/soccer/main.ht
m］、［http://www.foo.co.jp/sports/soccer/sub.ht
m］がその中の文書である。

【００１６】文書保存手段２２は、文書自体を保存して
おいてもよいし、文書のＵＲＬのみを記憶しておき、必
要な時に文書ネットワーク１０に取りに行ってもよい。

【００１７】分野判定手段２３は、処理対象のサイトが
指定した分野に属するかを判別する。この手法として、
例えば、キーワード含有率が６０％以上あった場合に特
定分野に属する、といったように判定する。

【００１８】サイト判定手段２４は、指定された文書が
どのサイトに属しているかを判定する機能部である。こ
の判定方法としては、例えば他のサイトからリンクされ
ているＵＲＬからファイル名を除いたものをその文書が
属するサイトとする、といった方法を用いる。例えば、
http://www.abc.ac.jp/〜hanako/soccer/team/index.ht
mが他のサイトからリンクされていたとすると、http://
www.abc.ac.jp/〜hanako/soccer/の部分が共通ならば同
一サイトとみなす。

【００１９】リンク検出手段２５は、文書を解析し、他
の文書へリンクしている部分を判定する機能部である。
例えば、ＨＴＭＬ文書では、<a href="http://www.foo.
co.jp/">などと記述されている部分を検出する。

【００２０】キーワード解析手段２６は、文書中の単語
を解析し、キーワードデータ格納部２７に格納されてい
るキーワードがどの程度含まれているかを調査する機能
部である。例えば、１０００個の自立語があり、その中
にキーワードが３００個含まれているとするとキーワー
ド含有率は３０％である、といったように、そのサイト
のキーワード含有率を計算する。

【００２１】キーワードデータ格納部２７は、特定分野
の専門用語などのよく使われる単語データを格納するデ
ータベースである。

【００２２】形態素解析手段２８は、文書を単語単位に
分割し、品詞を推定し、自立語・付属語などの判定を行
う機能を有している。尚、この形態素解析手段２８は、
既存の形態素解析システムを利用することができる。

【００２３】〈動作〉図３は、本発明の情報収集装置の
具体例１の動作を示すフローチャートである。

【００２４】先ず、文書保存手段２２に未処理の文書が
あるかを調べ（ステップＳ１１）、ない場合は動作を終
了する。ステップＳ１１で未処理の文書があった場合、
文書取得手段２１は、文書保存手段２２内の未処理文書
のＵＲＬを一つ取得する（ステップＳ１２）。

【００２５】次に、取得されたＵＲＬをサイト判定手段
２４が解析し、登録サイト内の文書であるかどうかを調
べる（ステップＳ１３）。ここで、登録サイトとは、後
述するステップＳ１９またはステップＳ２１において、
分野判定手段２３が、認定／非認定サイトであると判定
したサイトを意味する。即ち、図２の場合、ＩＤ２０１
が“１”“２”“７”のサイトである。

【００２６】ステップＳ１３において、登録サイト内の
文書であった場合、分野判定手段２３は、次にその文書
が認定サイトの文書かを判定する（ステップＳ１４）。
判定の結果、認定サイト内の文書であった場合、リンク
検出手段２５は、その文書内のリンク情報を調べ、リン
ク先の文書のＵＲＬを未処理文書として文書保存手段２
２に追加する（ステップＳ１５）。また、ステップＳ１
５において、リンク情報を取得した時点で分野判定手段
２３はその文書を処理済みとする。

【００２７】一方、ステップＳ１４において、認定サイ
トの文書でなかった場合、サイト判定手段２４は、その
文書を文書保存手段２２から削除する（ステップＳ１
６）。

【００２８】上記ステップＳ１３において、その文書が
登録サイト内の文書ではなかった場合、分野判定手段２
３は、そのサイト内の文書が、特定分野の文書であるか
どうかを計算する（ステップＳ１７）。即ち、そのサイ
ト内に複数の文書がある場合は、全ての文書を含めて、
特定分野のサイトに属するかを計算する。このステップ
Ｓ１７の詳細については、図４を用いて後述する。

【００２９】次に、ステップＳ１７の計算の結果に基づ
いてそのサイト内の文書が特定分野の文書であるかを判
定し（ステップＳ１８）、そうであった場合は、判定し
たサイトを認定サイトとして文書保存手段２２に登録す
る（ステップＳ１９）。そして、サイト内の文書を未処
理文書として追加し（ステップＳ２０）、ステップＳ１
１に戻る。尚、このステップＳ２０にて追加された未処
理文書は、ステップＳ１５において処理される文書とな
る。

【００３０】一方、ステップＳ１８において、そのサイ
トが指定された分野に属してはいない場合、分野判定手
段２３は、判定したサイトを非認定サイトとして文書保
存手段２２に登録し（ステップＳ２１）、ステップＳ１
１に戻る。これにより、この非認定サイトの未処理文書
があった場合は、ステップＳ１６において、文書保存手
段２２から削除されることになる。

【００３１】図４は、分野判定処理（図３のステップＳ
１７）の詳細を示すフローチャートである。分野判定手
段２３は、先ず、文書保存手段２２中に、サイト内の文
書でかつ未処理の文書があるかどうかを調べる（ステッ
プＳ１０１）。尚、ここでの未処理文書とは、指定分野
判定処理における未処理文書であり、上述した図３のス
テップＳ１１等の未処理文書とは意味が異なる。

【００３２】ステップＳ１０１において、未処理文書が
あれば、この未処理文書を文書取得手段２１によって文
書ネットワーク１０から取得する（ステップＳ１０
２）。尚、ここでは、文書保存手段２２にはＵＲＬのみ
保存してある場合を説明しており、未処理文書とは、文
書保存手段２２に実際の文書がないことを意味してい
る。

【００３３】サイト内の未処理文書を取得し、これを文
書保存手段２２に保存すると、リンク検出手段２５は、
その文書からリンク情報を調べ、同一サイト内のリンク
があれば、分野判定手段２３はそのＵＲＬを文書保存手
段２２の未処理文書に追加する（ステップＳ１０３）。

【００３４】一方、ステップＳ１０１において、サイト
内で未処理文書がない場合、即ち、そのサイト内の全て
の文書が文書保存手段２２に保存された場合は、形態素
解析手段２８により、そのサイト内の全ての文書を形態
素解析し、単語に区切る（ステップＳ１０４）。次に、
キーワード解析手段２６は、文書中の自立語のみを抽出
して（ステップＳ１０５）、キーワードデータ格納部２
７のキーワードが、自立語中にどの程度含まれているか
を調べ、その割合を計算する（ステップＳ１０６）。

【００３５】このような処理により、そのサイトのキー
ワード含有率を調べ、ある閾値以上である場合に、指定
分野のサイトであると判定する。

【００３６】〈効果〉以上のように具体例１によれば、
関連性があるかないかを、サイト毎に判断するようにし
たので、従来のように、リンク元が関連性がないと判定
されたために、特定の分野に属していながら関連性のあ
る文書が収集されない、といったことがなく、ある事柄
（分野）に対して関連性の深いサイトのみを、効率よ
く、高い精度で収集することができる。また、文書のリ
ンク情報に基づいて収集しているため、特定の分野に関
連するサイトのリンク集などを簡単に作成することもで
きる。

【００３７】更に、関連性の判定として、予め登録した
キーワードがそのサイト内の文書にどの程度含まれるか
により判定を行うようにしたので、収集するための専門
サイトのＵＲＬは少なくてもよい（最低一つあればよ
い）といった効果がある。

【００３８】《具体例２》具体例２は、関連性の判定と
して、収集対象のサイトに対して予め登録した専門サイ
トとの類似度に基づき行うようにしたものである。

【００３９】〈構成〉図５は、具体例２の構成図であ
る。図において、１０は文書ネットワーク、３０は情報
収集装置を示している。文書ネットワーク１０は、複数
のサイトから構成された具体例１における文書ネットワ
ーク１０と同様のネットワークである。

【００４０】情報収集装置３０は、文書ネットワーク１
０から、特定のサイトの文書を収集する機能を有するも
ので、文書取得手段３１、文書保存手段３２、分野判定
手段３３、サイト判定手段３４、リンク検出手段３５、
類似度計算手段３６、形態素解析手段３７を備えてい
る。

【００４１】ここで、文書取得手段３１〜リンク検出手
段３５および形態素解析手段３７の基本的な機能は、具
体例１の文書取得手段２１〜リンク検出手段２５および
形態素解析手段２８と同様であるため、その説明は省略
する。

【００４２】類似度計算手段３６は、収集対象となる文
書が、予め蓄えられた特定の分野に属するサイトの文書
とどの程度類似しているかを計算する機能部である。具
体的には、文書をベクトルで表現し、ベクトル同士の類
似度を用いて比較を行う。ベクトルの各軸は文書中の単
語に対して重み付けしたものがよく用いられる。尚、類
似度計算手段３６は既存のシステムを用いることができ
る。

【００４３】また、分野判定手段３３は、この類似度計
算手段３６で計算された類似度の値に基づいて、対象と
なるサイトが特定の分野に属するかを判定するよう構成
されている。

【００４４】〈動作〉具体例２の全体の基本的な動作は
図３に示した具体例１の動作と同様である。一方、具体
例１と異なるのは図３におけるステップＳ１７で行うサ
イトの分野判定処理についてである。

【００４５】図６は、具体例２の分野判定処理の詳細を
示すフローチャートである。分野判定手段３３は、先
ず、文書保存手段３２中に、サイト内の文書でかつ未処
理の文書があるかどうかを調べる（ステップＳ２０
１）。未処理文書があれば、この未処理文書を文書取得
手段３１によって文書ネットワーク１０から取得する
（ステップＳ２０２）。尚、ここでは、文書保存手段３
２にはＵＲＬのみ保存してある場合を説明しており、未
処理文書とは、文書保存手段３２に実際の文書がない文
書を意味している。

【００４６】サイト内の未処理文書を取得し、これを文
書保存手段３２に保存すると、リンク検出手段３５は、
その文書からリンク情報を調べ、同一サイト内のリンク
があればそのＵＲＬを文書保存手段３２の未処理文書に
追加する（ステップＳ２０３）。

【００４７】一方、ステップＳ２０１において、サイト
内で未処理文書がない場合、即ち、そのサイト内の全て
の文書を文書保存手段３２に保存した場合は、形態素解
析手段３７により、そのサイト内の全ての文書を形態素
解析し、単語に区切る（ステップＳ２０４）。次いで、
類似度計算手段３６は、文書中の自立語のみを抽出し、
単語の出現頻度を表すベクトルを求める（ステップＳ２
０５）。そして、類似度計算手段３６は、ステップＳ２
０５で求めたベクトルと専門サイト（指定分野に属する
サイト）のベクトルと比較し、類似度を計算する（ステ
ップＳ２０６）。

【００４８】このような処理により、そのサイトと予め
登録した専門サイトとの類似度を計算し、ある閾値以上
である場合に指定分野のサイトであると判定する。

【００４９】〈効果〉以上のように具体例２によれば、
関連性があるかないかを、サイト毎に判断するようにし
たので、従来のように、リンク元が関連性がないと判定
されたために、特定の分野に属していながら関連性のあ
る文書が収集されない、といったことがなく、ある事柄
（分野）に対して関連性の深いサイトのみを、効率よ
く、高い精度で収集することができる。また、文書のリ
ンク情報に基づいて収集しているため、特定の分野に関
連するサイトのリンク集などを簡単に作成することもで
きる。

【００５０】更に、関連性の判定として、予め登録した
専門サイトとの類似度に基づいて判定を行うようにした
ので、収集するための必要なキーワードデータは不要で
あるという効果がある。

【００５１】《具体例３》具体例３は、関連性の判定と
して、収集対象のサイトが予め登録した専門サイトから
どの程度リンクされているかといったリンク数に基づい
て判定を行うようにしたものである。

【００５２】〈構成〉図７は、具体例３の構成図であ
る。図において、１０は文書ネットワーク、４０は情報
収集装置を示している。文書ネットワーク１０は、複数
のサイトから構成された具体例１、２における文書ネッ
トワーク１０と同様のネットワークである。

【００５３】情報収集装置４０は、文書ネットワーク１
０から、特定のサイトの文書を収集する機能を有するも
ので、文書取得手段４１、文書保存手段４２、分野判定
手段４３、サイト判定手段４４、リンク検出手段４５、
リンク状況管理手段４６を備えている。

【００５４】ここで、文書取得手段４１〜リンク検出手
段４５の基本的な機能は、具体例１の文書取得手段２１
〜リンク検出手段２５と同様であるため、その説明は省
略する。

【００５５】リンク状況管理手段４６は、どのサイトか
らどのサイトへリンクが張られているかを管理する手段
である。尚、分野判定手段４３は、このリンク状況管理
手段４６で計算された値が所定値以上であった場合に、
対象となるサイトが特定の分野に属すると判定するよう
構成されている。

【００５６】図８は、リンク状況管理手段４６における
リンク状況管理テーブルの説明図である。ＩＤ４６１
は、サイト毎に一意に付けられたＩＤである。サイト認
定４６２は、そのサイトが特定分野に属するかどうかを
示すフィールドであり、○が分野に属すると判定された
ものである。ＵＲＬ４６３は、そのサイトのＵＲＬを示
している。リンク数４６４は、他のサイト（専門サイト
と認定されたもの）からリンクされている数を示すもの
である。リンク関係４６５は、どのサイトからリンクさ
れているかをＩＤで示している。

【００５７】〈動作〉図９は、具体例３の動作を示すフ
ローチャートである。先ず、文書保存手段４２に未処理
の文書があるかを調べ（ステップＳ３１）、ない場合は
動作を終了する。ステップＳ３１で未処理の文書があっ
た場合、文書取得手段４１は、文書保存手段４２内の未
処理文書のＵＲＬを一つ取得する（ステップＳ３２）。

【００５８】次に、取得されたＵＲＬをサイト判定手段
４４が解析し、認定サイト内の文書であるかどうかを調
べる（ステップＳ３３）。尚、認定サイトとは、後述す
るステップＳ３７において、分野判定手段４３、認定サ
イトであると判定したサイトを意味する。即ち、図８の
場合、ＩＤ４６１が“１”“２”“３”“４”のサイト
である。

【００５９】ステップＳ３３において、認定サイトの文
書であった場合、分野判定手段４３は、その文書を処理
済みとし、かつ、リンク検出手段４５は、その文書内の
リンク情報を調べ、リンク先の文書のＵＲＬを未処理文
書として文書保存手段４２に追加する（ステップＳ３
４）。

【００６０】上記ステップＳ３３において、その文書が
認定サイトの文書ではなかった場合、リンク状況管理手
段４６は、そのサイトの文書が、他のサイトからリンク
されている数を調べる（ステップＳ３５）。

【００６１】ステップＳ３５の計算結果に基づき、分野
判定手段４３は、そのサイトの文書が予め決められたリ
ンク数を満たしているかどうかを判定する（ステップＳ
３６）。決められた数を満たしていた場合、分野判定手
段４３は、判定したサイトを認定サイトとして文書保存
手段４２に登録する（ステップＳ３７）。

【００６２】例えば、図８の例では、ＩＤが“５”のサ
イトは、ＩＤが“３”とＩＤが“４”のサイトからリン
クされている。ここで認定サイトの条件が二つ以上のサ
イトからリンクされている場合にその分野に属するよう
に設定されているとすると、ＩＤが“５”のサイトは条
件を満たすので、専門サイトに認定されることになる。

【００６３】その後、分野判定手段４３は、サイト内の
文書を未処理文書に追加し（ステップＳ３８）、ステッ
プＳ３１に戻る。一方、ステップＳ３６において、リン
ク数が予め決められた数を満たしていない場合は、その
ままステップＳ３１に戻る。

【００６４】〈効果〉以上のように具体例３によれば、
関連性があるかないかを、サイト毎に判断するようにし
たので、従来のように、リンク元が関連性がないと判定
されたために、特定の分野に属していながら関連性のあ
る文書が収集されない、といったことがなく、ある事柄
（分野）に対して関連性の深いサイトのみを、効率よ
く、高い精度で収集することができる。また、文書のリ
ンク情報に基づいて収集しているため、特定の分野に関
連するサイトのリンク集などを簡単に作成することもで
きる。

【００６５】更に、関連性の判定として、対象となるサ
イトが予め登録した専門サイトからリンクされている数
に基づいて判定を行うようにしたので、リンクの状況を
把握するために、ある程度の数の専門サイトのＵＲＬを
必要とするが、形態素解析等の処理が必要ないという効
果が得られる。

【００６６】尚、上記各具体例では、キーワード含有率
を求める方法や文書の類似度を求める方法は、説明の都
合上、単純な方法を示したが、情報検索などで用いられ
る、もっと複雑で精度の高い方法を使えば、更に情報収
集の精度を上げることができる。このような方法として
は、例えば、福本文代、鈴木良弥、福本淳一：“辞書の
語義文を用いた文書の自動分類”、情報処理学会論文
誌、Vol.37 No.10 pp.1789-1799(1996)に示されてい
る方法等を用いることができる。

【００６７】更に、上記各具体例では、文書ネットワー
ク１０がインターネットの例を示したが、文書データベ
ースであっても同様の効果が得られる。この場合も、サ
イトとは、特定の分野に属する文書群を意味する。

【００６８】また、上記各具体例は別の具体例として示
したが、各具体例を組み合わせてもよい。例えば、具体
例２と具体例３を組み合わせ、類似度とリンク数を用い
てそのサイトが特定分野に属するかを調べるよう構成す
るといった情報収集装置であってもよい。

【図面の簡単な説明】

【図１】本発明の情報収集装置の具体例１を示す構成図
である。

【図２】文書保存手段の一例を示す説明図である。

【図３】本発明の情報収集装置の具体例１の動作を示す
フローチャートである。

【図４】具体例１の分野判定処理の詳細を示すフローチ
ャートである。

【図５】本発明の情報収集装置の具体例２の構成図であ
る。

【図６】具体例２の分野判定処理の詳細を示すフローチ
ャートである。

【図７】本発明の情報収集装置の具体例３の構成図であ
る。

【図８】リンク状況管理テーブルの説明図である。

【図９】本発明の情報収集装置の具体例３の動作を示す
フローチャートである。

【符号の説明】

１０ 文書ネットワーク ２０、３０、４０ 情報収集装置 ２３、３３、４３ 分野判定手段 ２６ キーワード解析手段 ２７ キーワードデータ格納部 ３６ 類似度計算手段 ４６ リンク状況管理手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の文書からなる文書群中で特定の分
   野について記述された文書の集合を特定のサイトとし、
   当該サイトの文書を収集する情報収集装置であって、 前記特定のサイトの文書に含まれるキーワードを格納す
   るキーワードデータ格納部と、 前記文書群上の任意のサイト内の文書で、前記キーワー
   ドがどの程度含まれるかを解析するキーワード解析手段
   と、 前記キーワード解析手段での解析結果に基づき、前記任
   意のサイトが前記特定の分野のサイトか否かを判定する
   分野判定手段とを備えたことを特徴とする情報収集装
   置。
2. 【請求項２】 複数の文書からなる文書群中で特定の分
   野について記述された文書の集合を特定のサイトとし
   て、当該サイトの文書を収集する情報収集装置であっ
   て、 前記文書群上の任意のサイト内の文書と、予め登録した
   前記特定の分野に属するサイトの文書との類似度を計算
   する類似度計算手段と、 前記類似度計算手段で計算された類似度の値に基づき、
   対象となるサイトが前記特定の分野のサイトであるか否
   かを判定する分野判定手段とを備えたことを特徴とする
   情報収集装置。
3. 【請求項３】 複数の文書からなる文書群中で特定の分
   野について記述された文書の集合を特定のサイトとし
   て、当該サイトの文書を収集する情報収集装置であっ
   て、 前記文書群上の任意のサイト内の文書が、予め登録した
   前記特定の分野に属するサイトの文書からリンクされて
   いる数を計算するリンク状況管理手段と、 前記リンク状況管理手段で計算された値が所定値以上で
   あった場合に、対象となるサイトが前記特定の分野であ
   ると判定する分野判定手段とを備えたことを特徴とする
   情報収集装置。