JP2004246785A - 情報収集装置と情報収集方法およびプログラムと記録媒体 - Google Patents

Abstract

【課題】収集を行いたい文章のみを収集することができ不必要な文章の収集をできるだけ削減して収集処理の効率化を図る。
【解決手段】収集可否判定モジュール１０７は、文章の収集を行う際に、その文章のサイト情報とサイト種別をサイト情報ＤＢ５０４から読み出し、そのサイト種別とサイトＩＤにより一意に特定される収集対象特定ルールを収集対象特定ルールＤＢ５０５から読み出し、収集を行うとする文章の条件が読み出した収集対象特定ルールに合致する場合のみ、その文章の収集が必要であると判定する。また、収集可否判定モジュール１０７は、文章中に含まれる記事が１つである場合、一度収集を行った文章は収集対象としないようにし、その文章中に含まれる記事が複数である場合、収集した文章中に含まれる記事数が含まれる記事数の上限に達するまで、最終更新時間と最終収集時間との比較を行うことにより収集要否の判定を行う。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、インターネット等のコンピュータ上で公開される文章を収集する情報収集装置および情報収集方法に関する。
【０００２】
【従来の技術】
近年インターネット上で公開されるＷｅｂページの数は飛躍的に増大している。このインターネットでは、複数のＷｅｂページ（文章）が階層構造でリンクされることより１つのサイトが構成され、サイトの最上位のＷｅｂページ（トップ文章）に設定されたリンクをたどることにより下層のＷｅｂページを閲覧することが可能となっている。
【０００３】
インターネット上に存在する文章を収集する従来の情報収集装置として、ＷＷＷサーバが各文章について公開している最終更新時間に基づいて当該文章の収集の要否を判定する情報収集システムが存在する。このような従来の情報収集装置を含む情報処理システムの構成を図６に示す。
【０００４】
図６に示される従来の情報処理システムでは、蓄積されている文章の公開を行う複数のＷｅｂサーバ１０１と、文章の収集を行う情報収集装置１０２とが、インターネット等のコンピュータネットワーク１０３に接続されている。
【０００５】
Ｗｅｂサーバ１０１は、文章管理モジュール１０４を具備している。Ｗｅｂサーバ１０１は文章管理モジュール１０４を用いることにより、蓄積されている文章への最終更新時間要求に対し当該文章の最終更新時間を提供し、文章取得要求に対し蓄積されている当該文章の提供等の応答を行う。
【０００６】
情報収集装置１０２は、最終更新時間判定モジュール１０５と、情報収集モジュール１０６と、最終収集時間ＤＢ（データベース）４０１を具備している。
【０００７】
最終更新時間判定モジュール１０５は、公開されている文章の最新更新時間を取得し、当該文章の過去における最終収集時間と比較して、最新更新時間のほうが後である場合、つまりその文章の収集後に更新が行われている場合のみ、その文章の収集が必要であると判定する。情報収集モジュール１０６は、最終更新時間判定モジュール１０５において収集が必要と判定された場合のみ、その文章の収集を行う。最終収集時間ＤＢ４０１は、各文章を取得した最終の収集時間を各文章毎に格納しておく。
【０００８】
次に、この従来の情報収集装置１０２の動作について図７のシーケンスチャートを参照して説明する。
【０００９】
まず、情報収集装置１０２においては、最終更新時間判定モジュール１０５は、Ｗｅｂサーバ１０１の文章管理モジュール１０４に対して、公開されている文章の最新更新時間を要求して（ステップ２０１）、最終更新時間を取得する（ステップ２０２）。次に、最終更新時間判定モジュール１０５は、最終収集時間ＤＢ４０１に対して当該文章の最終収集時間を読み出す処理を行うことにより（ステップ２０３）、最終収集時間ＤＢ４０１から当該文章の最終収集時間を取得する（ステップ２０４）。そして、最終更新時間判定モジュール１０５は、文書管理モジュール１０４から得た最終更新時間と、最終収集時間ＤＢ４０１から得た最終収集時間とを比較し、最終更新時間が最終収集時間より後の場合、最終収集時間ＤＢ４０１中の最終収集時間を最終更新時間に更新し（ステップ２０５）、情報収集モジュール１０６に対し、当該文章について収集要との判定結果を渡す（ステップ２０６）。最終更新時間が最終収集時間より後の時間でない場合、最終更新時間判定モジュール１０５は、情報収集モジュール１０６に対し、当該文章について収集否との判定結果を渡す（ステップ２０６）。
【００１０】
次に、情報収集モジュール１０６は、最終更新時間判定モジュール１０５からの判定結果が収集要の場合のみ、Ｗｅｂサーバ１０１に対し当該文章に対する文章取得要求を行い、当該文章を収集する（ステップ２０７、２０８）。
【００１１】
さらに従来の他の情報収集装置として、公開されている文章の最終更新時間だけでなく、最終更新時間と文章中のキーワード、文章の場所を示すＵＲＬに基づいて当該文章の収集の要否を判定する情報収集システムが存在する。例えば、特許文献１のシステムでは、最終更新時間に加え、文章から抽出したキーワードとＵＲＬを元に収集要否を判定することで汎用的な文章収集処理に関する収集効率の向上を実現している。
【００１２】
しかし、このような従来の情報収集システムでは、最終更新時間と文章中のキーワードに基づいて収集済みの文章と現在公開されている文章の差分の有無を判定してその文章の収集要否を判定しているため、初回収集時には全ての文章を収集しなければならないという問題点があった。また、収集が必要な文章について、文章が更新されているかの判定を最終更新時間だけでなく、文章中のキーワードに基づいて行っているため、文章中に含まれる記事以外から抽出されたキーワードが変更された場合についても文章を再収集するという問題点があった。
【００１３】
【特許文献１】
特開２０００−２９３５２７号公報
【００１４】
【発明が解決しようとする課題】
上述した従来の情報収集装置では、下記のような問題点があった。
（１）従来の情報収集システムは、収集済みの文章と現在公開されている文章の差分を最終更新時間と文章中のキーワードに基づいて判定してその文章の収集の要否を判定しているため、初回収集時には全ての文章を収集しなければならない。
（２）また、収集が必要な文章について、文章が更新されているかの判定を最終更新時間に加え、文章中のキーワードから判定しているため、文章中に含まれる記事以外から抽出されたキーワードが変更された場合についても文章の再収集が行われてしまう。
【００１５】
本発明の目的は、収集を行いたい文章のみを収集することができ不必要な文章の収集をできるだけ削減して収集処理の効率化を図ることができる情報収集装置および情報収集方法を提供することである。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報収集装置は、コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤを含むサイト情報を格納しているサイト情報データベースと、
前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを格納している収集対象特定ルールデータベースと、
文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合のみ、当該文章の収集が必要であると判定する収集可否判定モジュールと、
前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する。
【００１７】
本発明によれば、収集の必要がある文章をサイト種別とサイトＩＤから一意に特定される収集対象特定ルールを用いて判定することにより、初回収集時にも必要な文章のみを収集することが可能となる。そのため、コンピュータネットワーク上において公開されている文章の収集処理を行う際に、収集処理の効率化を図ることができる。
【００１８】
また、本発明の他の情報収集装置は、コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を格納しているサイト情報データベースと、
各文章を取得した最終の収集時間である最終収集時間と、各文章の収集が完了したか否かを示す収集完了情報とが、各文章毎に格納されている収集履歴データベースと、
公開されている文章の最新更新時間を取得し、当該文章の前記最終収集時間を前記収集履歴データベースから読み出し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する最終更新時間判定モジュールと、
当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出し、読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集履歴データベースの収集完了情報を収集済みに変更し、読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照し、該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集履歴データベースの収集完了情報を収集済みに変更する収集可否判定モジュールと、
前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する。
【００１９】
本発明によれば、一度公開された記事は変更できないまたは変更されることが少ないという記事の特徴を利用して、収集しようとする文章に含まれる記事の数が１つの場合には、その文章に関しては一度収集を行った後は収集対象とはしないようにし、１つの文章中に複数の記事を含めることができる場合、収集した文章中に含まれる記事の数が、その文章に含めることができる記事の数の上限に達するまでは、その文章の最終更新時間と最終収集時間との比較を行うことにより収集要否の判定を行うにする。そのため、コンピュータネットワーク上に公開されている文章の収集処理を行う際に、不必要な文章の収集処理を削減して収集処理の効率化を図ることが可能となる。
【００２０】
さらに、本発明の他の情報収集装置は、コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を格納しているサイト情報データベースと、
前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを格納している収集対象特定ルールデータベースと、
各文章を取得した最終の収集時間である最終収集時間と、各文章の収集が完了したか否かを示す収集完了情報とが、各文章毎に格納されている収集履歴データベースと、
公開されている文章の最新更新時間を取得し、当該文章の前記最終収集時間を前記収集履歴データベースから読み出し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する最終更新時間判定モジュールと、
文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致しない場合、当該文章の収集は必要でないと判定し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合、当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出し、読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集履歴データベースの収集完了情報を収集済みに変更し、読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照し、該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集履歴データベースの収集完了情報を収集済みに変更する収集可否判定モジュールと、
前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する。
【００２１】
本発明によれば、収集対象特定ルールを用いてその文章の収集が必要であるか否かを判定するとともに、その文章に含まれる記事の数に基づいて収集が必要であるか否かの判定も行うようにしているので、コンピュータネットワーク上において公開されている文章の収集処理を行う際に、収集処理の効率化をさらに図ることができる
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
図１は、本発明の一実施形態の情報収集装置１１２を含む情報処理システムの構成を示す図である。図６中の構成要素と同一の構成要素には同一の符号を付し、説明を省略するものとする。
【００２４】
図１に示されるように、この情報処理システムでは、蓄積されている文章の公開を行うＷｅｂサーバ１０１と、文章の収集を行う情報収集装置１１２とがインターネット等のコンピュータネットワーク１０３に接続されている。
【００２５】
従来の情報収集装置では、文章中のキーワードを抽出し、この文章中のキーワードを用いて文章収集の要否の判定を行っているため、初回収集時には全ての文章を収集する必要があった。これに対して、本実施形態の情報収集装置１１２では、収集の必要がある文章をサイト種別とサイトＩＤから一意に特定される収集対象特定ルールを用いて収集の要否を判定することにより、初回収集時にも必要な文章のみを収集することを可能とする。
【００２６】
さらに、一般的には、一度公開された記事は変更できないまたは変更されることは少ない。そのため、１つの文章に１つの記事しか含まれない場合には、その文章の収集を行った後には再度その文章の収集が必要となる可能性は少ない。そのため、本実施形態の情報収集装置１１２では、記事を１つしか含まないような形態の文章に対しては一度収集を行った後は収集対象とはしないようにする。
【００２７】
ただし、１つの文章中に複数の記事を含めることができる場合、時間経過とともにその文章に含まれる記事が追加されていく場合がある。そのため、本実施形態の情報収集装置１１２では、文章中に含まれる記事の数が複数の場合、収集した文章中に含まれる記事の数が、その文章に含めることができる記事の数の上限に達するまでは、その文章の最終更新時間と最終収集時間との比較を行うことにより収集要否の判定を行う。
【００２８】
例えば、ある文章中に含まれる記事の上限が１００である場合、過去の収集においてその文章中に含まれる記事数が１００であることが確認された場合、その文章にはそれ以上記事が追加されることはないため、再度その文章を収集する必要はない。そのため、その文章に関しては、収集した文章中に含まれる記事数が１００となるまでは、従来と同様に最終更新時間と最終収集時間とを比較することにより収集要否の判定を行い、収集した文章中に含まれる記事数が１００になるとその文章の収集を行わないようにする。
【００２９】
本実施形態の情報収集装置１１２は、図１に示されるように、最終更新時間判定モジュール１０５と、情報収集モジュール１０６と、収集可否判定モジュール１０７と、サイト情報ＤＢ５０４と、収集対象特定ルールＤＢ５０５と、収集履歴ＤＢ５０６とを具備している。
【００３０】
本実施形態の情報収集装置１１２は、図６に示した従来の情報収集装置１０２に対して、最新更新時間判定モジュール１０５と情報収集モジュール１０６との間に、収集可否判定モジュール１０７を新たに追加し、最終収集時間ＤＢ４０１の替わりに収集履歴ＤＢ５０６を設け、さらに、サイト情報ＤＢ５０４、収集対象特定ルールＤＢ５０５を新たに設けたものである。
【００３１】
サイト情報ＤＢ５０４は、コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、その文章の集合のリンクにおける最上位のトップ文章と、その文章中に含まれる記事の数の上限を示す文章分類情報とから構成されるサイト情報を格納している。このサイト情報ＤＢ５０４に格納されるサイト情報の一例を図２に示す。
【００３２】
収集対象特定ルールＤＢ５０５は、サイト種別とサイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを格納している。
【００３３】
収集対象特定ルールの具体例としては、サイトのトップ文章からハイパーリンクによりリンクされている一段目の文章のみを収集対象とする、ｇｉｆファイルは収集対象とせずにｈｔｍｌファイルのみを収集対象とする、日付を含むファイル名のｈｔｍｌファイルのみを収集対象とする等の条件があげられる。
【００３４】
収集履歴ＤＢ５０６は、各文章を取得した最終の収集時間である最終収集時間と、その文章の収集が完了したか否かを示す収集完了情報とが、各文章毎に格納されている。この収集履歴ＤＢ５０６に格納される収集履歴情報の一例を図３に示す。
【００３５】
収集可否判定モジュール１０７は、文章の収集を行う際に、その文章のサイト情報とサイト種別をサイト情報ＤＢ５０４から読み出し、そのサイト種別とサイトＩＤにより一意に特定される収集対象特定ルールを収集対象特定ルールＤＢ５０５から読み出し、収集を行うとする文章の条件が読み出した収集対象特定ルールに合致する場合のみ、その文章の収集が必要であると判定する。
【００３６】
また、収集可否判定モジュール１０７は、文章の収集を行う際に、その文章の文章分類情報をサイト情報ＤＢより読み出すとともに、その文章の収集完了情報を収集履歴ＤＢ５０６から読み出し、読み出した文章分類情報がその文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集否と判定し、読み出した収集完了情報が未収集であることを示していれば収集要と判定するとともに収集履歴ＤＢ５０６の収集完了情報を収集済みに変更する。
【００３７】
また、収集可否判定モジュール１０７、読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集否と判定し、読み出した収集完了情報が未収集であることを示していれば、最終更新時間判定モジュール１０５による最終更新時間判定結果を参照し、この最終時間判定結果が収集否を示していれば収集否と判定し、収集要を示していれば収集要と判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば収集履歴ＤＢ５０６の収集完了情報を収集済みに変更する。
【００３８】
次に、本実施形態の情報収集装置１１２の動作について図４のシーケンスチャートを参照して詳細に説明する。また、収集が行われる文章の一例を図５に示す。この図５では、ある文章５０２には、複数の記事５０８が含まれている場合を示している。
【００３９】
まず、情報収集装置１１２において、最終更新時間判定モジュール１０５は、Ｗｅｂサーバ１０１の文書管理モジュール１０４に対して、公開されている文章の最終更新時間を要求して（ステップ３０１）、最終更新時間を取得する（ステップ３０２）。次に、最終更新時間判定モジュール１０５は、収集履歴ＤＢ５０６に対して当該文章の最終収集時間を読み出す処理を行うことにより（ステップ３０３）、収集履歴ＤＢ５０６から当該文章の最終収集時間を取得する（ステップ３０３）。そして、最終更新時間判定モジュール１０５は、収集履歴ＤＢ５０６から最終収集時間を取得できない場合は、収集可否判定モジュール１０７に対し当該文章について収集要との最終更新時間判定結果を渡し、取得できる場合は文書管理モジュール１０４から得た最終更新時間と、収集履歴ＤＢ５０６から得た最終収集時間との比較を行う。そして、この比較において、最終更新時間が最終収集時間より後の場合、最終更新時間判定モジュール１０５は、収集可否判定モジュール１０７に対し当該文章について収集要との最終更新時間判定結果を渡す（ステップ３０５）。最終更新時間が最終収集時間より後の時間でない場合、最終更新時間判定モジュール１０５は、収集可否判定モジュール１０７に対し当該文章について収集否との最終更新時間判定結果を渡す（ステップ３０５）。
【００４０】
次に、収集可否判定モジュール１０７は、当該文章に関するサイト種別（ニュース、掲示板、日記、個人ＨＰ、企業ＨＰ等）とサイトＩＤと文章分類情報をサイト情報ＤＢ５０４から取得し（ステップ３０６、３０７）、サイト種別とサイトＩＤを元に収集対象特定ルールＤＢ５０５から当該文章の収集対象特定ルールを取得する（ステップ３０８、３０９）。そして、収集可否判定モジュール１０７は、当該文章が取得した収集対象特定ルールに合致しない場合は、収集否と判定し情報収集モジュール１０６に対し当該文章について収集否との判定結果を渡す。合致する場合、収集可否判定モジュール１０７は、収集要と判定し次の収集履歴を用いた判定処理を行う。
【００４１】
収集履歴を用いた判定処理として、収集可否判定モジュール１０７は、当該文章に関する「文章中に含まれる記事が１つ」であるか「文章中に含まれる記事が複数」を判定する文章分類情報と、収集完了情報を収集履歴ＤＢ５０６から取得する（ステップ３１０、３１１）。当該文章の分類が「文章中に含まれる記事が１つ」であり、かつ収集完了情報が収集済みであれば収集否と判定する。当該文章の分類が「文章中に含まれる記事が１つ」であり、収集完了情報が未収集であれば収集要と判定し、収集履歴に収集済みと最終更新時間と合わせて記録する（ステップ３１２）。当該文章の分類が「文章中に含まれる記事が複数」であり、かつ収集履歴に記録されている当該文章の収集完了情報が収集済みであれば収集否と判定する。当該文章の分類が「文章中に含まれる記事が複数」であり、かつ収集履歴に記録されている当該文章の収集完了情報が未収集であれば、収集可否判定モジュール１０７は、最終更新時刻判定結果を確認する。最終更新時刻判定結果が収集要の場合は収集要と判定し、さらに収集した情報中に含まれる記事数が情報に達していれば収集済みと最終更新時間と合わせて収集履歴に記録し（ステップ３１２）、最終更新時刻判定結果が収集否の場合は収集否と判定する。収集要否の判定結果を情報収集モジュール１０６に対して渡す（ステップ３１３）。
【００４２】
次に、情報収集モジュール１０６は、最終更新時間判定モジュール１０５からの判定結果が収集要の場合のみ、Ｗｅｂサーバ１０１に対し当該文章に対する文章取得要求を行い、当該文章を収集する（ステップ３１４、３１５）。
【００４３】
本実施形態の情報収集装置１１２によれば、インターネット等のコンピュータネットワーク１０３上に公開されている文章の収集処理を行う際に、最終更新時間だけでなく、サイト種別とサイトＩＤにより一意に特定される収集対象特定ルールに基づいて収集要否の判定を行うようにしているので、初回収集時にも必要な文章のみを収集することが可能となる。そのため、コンピュータネットワーク１０３上において公開されている文章の収集処理を行う際に、収集処理の効率化を図ることができる。
【００４４】
本実施形態の情報収集装置１１２では、一度公開された記事は変更できないまたは変更されることが少ないという記事の特徴を利用して、収集しようとする文章に含まれる記事の数が１つの場合には、その文章に関しては一度収集を行った後は収集対象とはしないようにし、１つの文章中に複数の記事を含めることができる場合、収集した文章中に含まれる記事の数が、その文章に含めることができる記事の数の上限に達するまでは、その文章の最終更新時間と最終収集時間との比較を行うことにより収集要否の判定を行うにする。そのため、コンピュータネットワーク１０３上に公開されている文章の収集処理を行う際に、不必要な文章の収集処理を削減して収集処理の効率化を図ることが可能となる。
【００４５】
尚、本実施形態の情報収集装置１１２では、収集対象特定ルールを用いた収集要否の判定と、その文章に含まれる記事数に基づいた収集要否の判定を同時に行うものとして説明しているが、本発明はこのような場合に限定されるものではなく、それぞれ単独で行うようにしてもよい。
【００４６】
また、図には示されていないが、本実施形態の情報収集装置１１２は、上記で説明した情報収集方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から情報収集装置１１２に読み込まれ、情報収集装置１１２の動作を制御する。具体的には、情報収集装置１１２内のＣＰＵがこのプログラムの制御により情報収集装置１１２のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。
【００４７】
【発明の効果】
本発明によれば、インターネット等のコンピュータネットワーク上に公開されている文章を収集する際に、収集を行いたい文章のみを収集することができ不必要な文章の収集をできるだけ削減して収集処理の効率化が可能となるという効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の情報収集装置１１２を含む情報処理システムの構成を示す図である。
【図２】図１におけるサイト情報ＤＢ５０４に格納されるサイト情報の一例を示したものである。
【図３】図１における収集履歴ＤＢ５０６に格納される収集履歴情報の一例を示したものである。
【図４】図１に示した本発明の一実施形態の情報収集装置１１２における処理を示すシーケンス図である。
【図５】収集が行われる文章の構成の一例を示す図である。
【図６】従来の情報収集装置１０２を含む情報処理システムの構成を示す図である。
【図７】図６に示した従来の情報収集装置１０２における処理を示すシーケンス図である。
【符号の説明】
１０１ Ｗｅｂサーバ
１０２ 情報収集装置
１０３ コンピュータネットワーク
１０４ 文章管理モジュール
１０５ 最終更新時間判定モジュール
１０６ 情報収集モジュール
１０７ 収集可否判定モジュール
１１２ 情報収集装置
２０１〜２０８ ステップ
３０１〜３１５ ステップ
４０１ 最終収集時間ＤＢ
５０１ 最終更新時間
５０２ 文章
５０３ 最終更新時間判定結果
５０４ サイト情報ＤＢ
５０５ 収集対象特定ルールＤＢ
５０６ 収集履歴ＤＢ
５０７ 判定結果
５０８ 記事

Claims (12)

1. コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤを含むサイト情報を格納しているサイト情報データベースと、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを格納している収集対象特定ルールデータベースと、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合のみ、当該文章の収集が必要であると判定する収集可否判定モジュールと、
   前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する情報収集装置。
2. コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
   文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を格納しているサイト情報データベースと、
   各文章を取得した最終の収集時間である最終収集時間と、各文章の収集が完了したか否かを示す収集完了情報とが、各文章毎に格納されている収集履歴データベースと、
   公開されている文章の最新更新時間を取得し、当該文章の前記最終収集時間を前記収集履歴データベースから読み出し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する最終更新時間判定モジュールと、
   当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出し、読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集履歴データベースの収集完了情報を収集済みに変更し、読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照し、該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集履歴データベースの収集完了情報を収集済みに変更する収集可否判定モジュールと、
   前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する情報収集装置。
3. コンピュータネットワーク上に公開されている文章を収集するための情報収集装置であって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を格納しているサイト情報データベースと、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを格納している収集対象特定ルールデータベースと、
   各文章を取得した最終の収集時間である最終収集時間と、各文章の収集が完了したか否かを示す収集完了情報とが、各文章毎に格納されている収集履歴データベースと、
   公開されている文章の最新更新時間を取得し、当該文章の前記最終収集時間を前記収集履歴データベースから読み出し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する最終更新時間判定モジュールと、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致しない場合、当該文章の収集は必要でないと判定し、収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合、当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出し、読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集履歴データベースの収集完了情報を収集済みに変更し、読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照し、該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集履歴データベースの収集完了情報を収集済みに変更する収集可否判定モジュールと、
   前記収集可否判定モジュールにおいて収集が必要であると判定された場合のみ、当該文章の収集を行う情報収集モジュールとを有する情報収集装置。
4. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法であって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤを含むサイト情報を予めサイト情報データベースに格納するステップと、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを収集対象特定ルールデータベースに予め格納するステップと、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出すステップと、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合のみ、当該文章の収集が必要であると判定するステップと、
   収集が必要であると判定された場合のみ、当該文章の収集を行うステップとを有する情報収集方法。
5. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法であって、
   文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報をサイト情報データベースに格納するステップと、
   公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力するステップと、
   当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集が完了したか否かを示す収集完了情報を収集履歴データベースから読み出すステップと、
   読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更するステップと、
   読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定結果を参照するステップと、
   該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較して、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更するステップと、
   収集が必要であると判定された場合のみ当該文章の収集を行うステップとを有する情報収集方法。
6. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法であって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を予めサイト情報データベースに格納するステップと、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを予め収集対象特定ルールデータベースに格納するステップと、
   公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力するステップと、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出すステップと、
   読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出すステップと、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致しない場合、当該文章の収集は必要でないと判定するステップと、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合、当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出すステップと、
   読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更するステップと、
   読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照するステップと、
   該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更するステップと、
   収集が必要であると判定された場合のみ当該文章の収集を行うステップとを有する情報収集方法。
7. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータ実行させるためのプログラムであって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤを含むサイト情報を予めサイト情報データベースに格納する処理と、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを収集対象特定ルールデータベースに予め格納する処理と、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出す処理と、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合のみ、当該文章の収集が必要であると判定する処理と、
   収集が必要であると判定された場合のみ、当該文章の収集を行う処理とをコンピュータに実行させるためのプログラム。
8. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータに実行させるためのプログラムであって、
   文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報をサイト情報データベースに格納する処理と、
   公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する処理と、
   当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集が完了したか否かを示す収集完了情報を収集履歴データベースから読み出す処理と、
   読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更する処理と、
   読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定結果を参照する処理と、
   該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較して、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更する処理と、
   収集が必要であると判定された場合のみ当該文章の収集を行う処理とをコンピュータに実行させるためのプログラム。
9. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータに実行させるためのプログラムであって、
   コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を予めサイト情報データベースに格納する処理と、
   前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを予め収集対象特定ルールデータベースに格納する処理と、
   公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する処理と、
   文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出す処理と、
   読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出す処理と、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致しない場合、当該文章の収集は必要でないと判定する処理と、
   収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合、当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出す処理と、
   読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更する処理と、
   読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照する処理と、
   該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更する処理と、
   収集が必要であると判定された場合のみ当該文章の収集を行う処理とをコンピュータに実行させるためのプログラム。
10. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータ実行させるためのプログラムを記録した記録媒体であって、
    コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤを含むサイト情報を予めサイト情報データベースに格納する処理と、
    前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを収集対象特定ルールデータベースに予め格納する処理と、
    文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出し、読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出す処理と、
    収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合のみ、当該文章の収集が必要であると判定する処理と、
    収集が必要であると判定された場合のみ、当該文章の収集を行う処理とをコンピュータに実行させるためのプログラムを記録した記録媒体。
11. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
    文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報をサイト情報データベースに格納する処理と、
    公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する処理と、
    当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集が完了したか否かを示す収集完了情報を収集履歴データベースから読み出す処理と、
    読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更する処理と、
    読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定結果を参照する処理と、
    該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較して、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更する処理と、
    収集が必要であると判定された場合のみ当該文章の収集を行う処理とをコンピュータに実行させるためのプログラムを記録した記録媒体。
12. コンピュータネットワーク上に公開されている文章を収集するための情報収集方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
    コンピュータネットワーク上に公開されている文章の集合をその内容に応じて分類したサイト種別と、各文章を一意に特定するためのサイトＩＤと、文章中に含まれる記事の数の上限を示す文章分類情報を含むサイト情報を予めサイト情報データベースに格納する処理と、
    前記サイト種別と前記サイトＩＤに基づいて一意に特定され、収集対象とする文章の条件である収集対象特定ルールを予め収集対象特定ルールデータベースに格納する処理と、
    公開されている文章の最新更新時間を取得し、該最新更新時間と当該文章の過去における最終収集時間とを比較し、取得した前記最新更新時間のほうが読み出した前記最終収集時間よりも後である場合、当該文章の収集が必要であるとする最終更新時間判定結果を出力する処理と、
    文章の収集を行う際に、当該文章のサイト情報とサイト種別を前記サイト情報データベースから読み出す処理と、
    読み出した該サイト種別と該サイトＩＤにより一意に特定される収集対象特定ルールを前記収集対象特定ルールデータベースから読み出す処理と、
    収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致しない場合、当該文章の収集は必要でないと判定する処理と、
    収集を行うとする文章の条件が読み出した前記収集対象特定ルールに合致する場合、当該文章の文章分類情報を前記サイト情報データベースより読み出すとともに当該文章の収集完了情報を前記収集履歴データベースから読み出す処理と、
    読み出した文章分類情報が当該文章中に含まれる記事が１つであることを示している場合、読み出した収集完了情報が収集済みであることを示していれば収集は必要ないと判定し、読み出した収集完了情報が未収集であることを示していれば収集が必要であると判定するとともに前記収集完了情報を収集済みに変更する処理と、
    読み出した文章分類情報がその文章中に含まれる記事が複数であることを示している場合、読み出した収集完了情報が収集済みを示していれば収集は必要でないと判定し、読み出した収集完了情報が未収集であることを示していれば、前記最終更新時間判定モジュールによる最終更新時間判定結果を参照する処理と、
    該最終時間判定結果が収集が必要でないことを示していれば当該文章の収集は必要でないと判定し、前記最終時間判定結果が収集が必要であることを示していれば当該文章の収集は必要であると判定するとともに収集した文章中に含まれる記事数と文章分類情報の示す記事数とを比較し、収集した文章中に含まれる記事数が文章分類情報の示す記事数に達していれば前記収集完了情報を収集済みに変更する処理と、
    収集が必要であると判定された場合のみ当該文章の収集を行う処理とをコンピュータに実行させるためのプログラムを記録した記録媒体。

Images