JP2003303197A - 知識情報収集システムおよび知識情報収集方法 - Google Patents

Abstract

(57)【要約】 【課題】インターネット上からファイル形式の異なる様
々な種類の文書ファイルを知識情報として効率よく収集
する。 【解決手段】Ｗｅｂ収集モジュール１１１は、設定ファ
イル２０３に、収集するリンクの段数、各リンク毎の収
集ファイル個数のいずれか若しくは双方が設定されてい
るとき、その設定内容に従って、ネットワーク上から前
記文書情報を収集する。これにより、収集するリンクの
段数、および各リンク毎の収集ファイル個数を任意に指
定して文書ファイルを収集することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はナレッジマネジメン
トシステムで用いられる知識情報収集システムおよび知
識情報収集方法に関し、特に知識データベースに登録す
べき文書情報をネットワーク上から収集するための知識
情報収集システムおよび知識情報収集方法に関する。

【０００２】

【従来の技術】近年、企業を中心に複数のユーザ間で情
報共有を行うためのグループウェアの導入が進められて
いる。代表的なグループウェアとしては、電子メールシ
ステムやワークフローシステムなどが知られているが、
最近では、知識情報の共有支援を図るためのナレッジマ
ネジメントシステムも開発され始めている。

【０００３】このナレッジマネジメントシステムは、個
人のノウハウなどの知識情報を知識データベースに蓄積
・管理するためのものであり、自然言語検索などの検索
機能と組み合わせることにより、蓄積された知識情報の
効率的な活用が可能となる。

【０００４】ところで、このようなナレッジマネジメン
トシステムに於いては、知識情報をいかに効率よく収集
・蓄積するかが重要なポイントとなる。特にインターネ
ット上のＷｅｂ情報は知識の宝庫であるので、インター
ネット上から必要な情報を効率良く収集するための仕組
みが必要とされている。

【０００５】

【発明が解決しようとする課題】しかし、最近では、ホ
ームページにはＨＴＭＬドキュメントなどのテキストベ
ースの文書ファイルのみならず、各種アプリケーション
プログラムによって作成された様々なファイル形式の文
書ファイルも利用され始めている。この場合、インター
ネットから取得した文書ファイルをそのまま知識データ
ベースに登録したのでは知識データベース上の文書ファ
イルの検索が困難となり、知識の有効活用を行うことが
できなくなる。

【０００６】本発明はこのような事情を考慮してなされ
たものであり、インターネット上からファイル形式の異
なる様々な種類の文書ファイルを知識情報として効率よ
く収集することが可能な知識情報収集システムおよび知
識情報収集方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上述の課題を解決するた
め、本発明は、知識データベースに登録すべき文書情報
をネットワーク上から収集する知識情報収集システムに
於いて、前記知識データベースに登録すべき文書情報を
収集するサイトの設定を行う、起点ＵＲＬの設定フィー
ルド、および収集範囲を規定する項目を含んだ収集サイ
ト設定画面を表示する設定画面表示手段と、前記設定画
面表示手段により表示された設定画面上の設定内容をも
とに設定ファイルを作成する設定ファイル作成手段と、
前記設定ファイル作成手段で作成された設定ファイルの
内容をもとに前記知識データベースに登録すべき文書情
報をネットワーク上から収集する情報収集手段とを有
し、前記収集サイト設定画面には、起点ＵＲＬの設定フ
ィールドと、収集するリンクの段数を設定する設定フィ
ールドとを含む複数種の設定項目を有し、前記情報収集
手段は、前記設定ファイルに、起点ＵＲＬが設定され、
かつ収集するリンクの段数が設定されているとき、前記
設定された起点ＵＲＬおよび辿るリンク先のそれぞれに
ついて、前記設定された、収集するリンクの段数を上限
に、前記ネットワーク上から前記文書情報を収集するこ
とを特徴とする。

【０００８】この知識情報収集システムに於いては、ネ
ットワークからの情報の収集条件を指定する設定情報に
基づいて、ネットワーク上からの文書ファイルの収集が
情報収集手段によって実行される。前記情報収集手段
は、前記設定ファイルに、起点ＵＲＬが設定され、かつ
収集するリンクの段数が設定されているとき、前記設定
された起点ＵＲＬおよび辿るリンク先のそれぞれについ
て、前記設定された、収集するリンクの段数を上限に、
前記ネットワーク上から前記文書情報を収集する。これ
により、起点ＵＲＬおよび辿るリンク先のそれぞれにつ
いて、収集するリンクの段数を選択的に指定して収集す
ることができる。

【０００９】また、本発明は、知識データベースに登録
すべき文書情報をネットワーク上から収集する知識情報
収集システムに於いて、前記知識データベースに登録す
べき文書情報を収集するサイトの設定を行う、起点ＵＲ
Ｌの設定フィールド、および収集範囲を規定する項目を
含んだ収集サイト設定画面を表示する設定画面表示手段
と、前記設定画面表示手段により表示された設定画面上
の設定内容をもとに設定ファイルを作成する設定ファイ
ル作成手段と、前記設定ファイル作成手段で作成された
設定ファイルの内容をもとに前記知識データベースに登
録すべき文書情報をネットワーク上から収集する情報収
集手段とを有し、前記収集サイト設定画面には、起点Ｕ
ＲＬの設定フィールドと、収集するリンクの段数、およ
び各リンク毎の収集ファイル個数を設定する設定フィー
ルドとを含む複数種の設定項目を有し、前記情報収集手
段は、前記設定ファイルに、起点ＵＲＬが設定され、か
つ収集するリンクの段数、および各リンク毎の収集ファ
イル個数が設定されているとき、前記設定された起点Ｕ
ＲＬおよび辿るリンク先のそれぞれについて、前記設定
された、各リンク毎の収集ファイル個数、および収集す
るリンクの段数を上限に、前記ネットワーク上から前記
文書情報を収集することを特徴とする。

【００１０】この知識情報収集システムによれば、前記
情報収集手段に於いて、前記設定ファイルに、起点ＵＲ
Ｌが設定され、かつ収集するリンクの段数、および各リ
ンク毎の収集ファイル個数が設定されているとき、前記
設定された起点ＵＲＬおよび辿るリンク先のそれぞれに
ついて、前記設定された、各リンク毎の収集ファイル個
数、および収集するリンクの段数を上限に、前記ネット
ワーク上から前記文書情報を収集する。これにより、起
点ＵＲＬおよび辿るリンク先のそれぞれについて、収集
するリンクの段数および各リンク毎の収集ファイル個数
を選択的に指定して収集することができる。

【００１１】また、本発明は、知識データベースに登録
すべき文書情報をネットワーク上から収集する知識情報
収集方法に於いて、前記知識データベースに登録すべき
文書情報を収集するサイトの設定を行う、起点ＵＲＬの
設定フィールド、および収集範囲を規定する項目を含ん
だ収集サイト設定画面を表示する設定画面表示ステップ
と、前記設定画面表示ステップにより表示された設定画
面上の設定内容をもとに設定ファイルを作成する設定フ
ァイル作成ステップと、前記設定ファイル作成ステップ
で作成された設定ファイルの内容をもとに前記知識デー
タベースに登録すべき文書情報をネットワーク上から収
集する収集ステップとを有し、前記設定画面表示ステッ
プで表示される前記収集サイト設定画面には、起点ＵＲ
Ｌの設定フィールドと、収集するリンクの段数を設定す
る設定フィールドとを含む複数種の設定項目を有し、前
記収集ステップは、前記設定ファイルに、起点ＵＲＬが
設定され、かつ収集するリンクの段数が設定されている
とき、前記設定された起点ＵＲＬおよび辿るリンク先の
それぞれについて、前記設定された、収集するリンクの
段数を上限に、前記ネットワーク上から前記文書情報を
収集することを特徴とする。

【００１２】この知識情報収集方法によれば、前記設定
ファイルに、起点ＵＲＬが設定され、かつ収集するリン
クの段数が設定されているとき、前記設定された起点Ｕ
ＲＬおよび辿るリンク先のそれぞれについて、前記設定
された、収集するリンクの段数を上限に、前記ネットワ
ーク上から前記文書情報を収集する。これにより、起点
ＵＲＬおよび辿るリンク先のそれぞれについて、収集す
るリンクの段数を選択的に指定して収集することができ
る。

【００１３】また、本発明は、知識データベースに登録
すべき文書情報をネットワーク上から収集する知識情報
収集システムに於いて、前記知識データベースに登録す
べき文書情報を収集するサイトの設定を行う、起点ＵＲ
Ｌの設定フィールド、および収集範囲を規定する項目を
含んだ収集サイト設定画面を表示する設定画面表示ステ
ップと、前記設定画面表示ステップにより表示された設
定画面上の設定内容をもとに設定ファイルを作成する設
定ファイル作成ステップと、前記設定ファイル作成ステ
ップで作成された設定ファイルの内容をもとに前記知識
データベースに登録すべき文書情報をネットワーク上か
ら収集する収集ステップとを有し、前記設定画面表示ス
テップで表示される前記収集サイト設定画面には、起点
ＵＲＬの設定フィールドと、収集するリンクの段数、お
よび各リンク毎の収集ファイル個数を設定する設定フィ
ールドとを含む複数種の設定項目を有し、前記収集ステ
ップは、前記設定ファイルに、起点ＵＲＬが設定され、
かつ収集するリンクの段数、および各リンク毎の収集フ
ァイル個数が設定されているとき、前記設定された起点
ＵＲＬおよび辿るリンク先のそれぞれについて、前記設
定された、各リンク毎の収集ファイル個数、および収集
するリンクの段数を上限に、前記ネットワーク上から前
記文書情報を収集することを特徴とする。

【００１４】この知識情報収集方法によれば、前記設定
ファイルに、起点ＵＲＬが設定され、かつ収集するリン
クの段数、および各リンク毎の収集ファイル個数が設定
されているとき、前記設定された起点ＵＲＬおよび辿る
リンク先のそれぞれについて、前記設定された、各リン
ク毎の収集ファイル個数、および収集するリンクの段数
を上限に、前記ネットワーク上から前記文書情報を収集
する。これにより、起点ＵＲＬおよび辿るリンク先のそ
れぞれについて、収集するリンクの段数および各リンク
毎の収集ファイル個数を選択的に指定して収集すること
ができる。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。図１には、本発明の一実施形態に係
る知識情報収集システムを用いたナレッジマネジメント
システム全体の構成が示されている。このナレッジマネ
ジメントシステムは知識情報の収集・分析・検索等のサ
ービスを提供するためのものであり、Ｗｅｂ収集システ
ム１１、登録モジュール１２、および知識エンジン１３
などから構成されている。これらＷｅｂ収集システム１
１、登録モジュール１２および知識エンジン１３は、サ
ーバコンピュータ上で実行されるプログラムとして実現
されている。Ｗｅｂ収集システム１１および登録モジュ
ール１２は、ナレッジマネジメントシステムで用いられ
る知識情報を収集するための知識情報システムを構成す
る。この知識情報収集システムは、Ｗｅｂページなどの
文書をインターネット／イントラネット３０上から収集
して、その文書の内容をナレッジマネジメントシステム
の知識データベース（知識ＤＢ）１３１に登録するとい
う処理を実行する。Ｗｅｂ収集システム１１は、Ｗｅｂ
収集モジュール１１１、管理インターフェース１１２、
および登録ディレクトリ１１３から構成されている。

【００１６】Ｗｅｂ収集モジュール１１１は、インター
ネット/イントラネット３０上の各種文書ファイルを収
集して、それを知識ＤＢ１３１に登録できる形式で出力
するためプログラムである。このＷｅｂ収集モジュール
１１１は、マルチスレッド構造を有しており、ＨＴＴＰ
（HyperText Transfer Protocol）によるインターネッ
ト/イントラネット３０上からの文書ファイル取得処理
を並列的に行うことができる。ＨＴＴＰはインターネッ
ト/イントラネット３０上の情報サイトである各Ｗｅｂ
サーバ３１からＨＴＭＬ（Hyper Text Markup Languag
e）で記述された文書を取得するための通信プロトコル
である。Ｗｅｂ収集モジュール１１１は、Ｗｅｂ収集条
件を指定する設定情報で指定されたＵＲＬ（Uniform Re
source Locator）の文書ファイルをインターネット/イ
ントラネット３０上から取得し、取得した文書ファイル
にリンク先のＵＲＬが含まれていれば、そのＵＲＬの文
書ファイルをさらに取得する、という再帰的な処理を行
って、インターネット/イントラネット３０上から関連
する文書ファイル群を順次取得する。この場合、他の文
書ファイルへのリンク情報（ＵＲＬ）を検出するために
は取得した文書ファイルを解析することが必要となる
が、その解析処理の中では、リンク情報の検出のみなら
ず、知識ＤＢ１３１に登録すべきテキストデータの抽出
も併せて実行される。

【００１７】収集対象の文書ファイルは、他のファイル
へのリンク情報であるＵＲＬを記述可能なハイパーテキ
ストファイル（ＨＴＭＬファイル）のみならず、テキス
トファイル（plane text)、さらには各種アプリケーシ
ョンプログラムによって作成された様々なファイル形式
の文書ファイル（例えば、Ｐｏｒｔａｂｌｅ Ｄｏｃｕ
ｍｅｎｔ Ｆｏｒｍａｔ形式のファイル、ワードプロッ
セッサソフトウェアで作成した文書ファイル、表計算ソ
フトウェアで作成したファイル、プレゼンテーションデ
ータの作成ソフトウェアで作成したプレゼンテーション
データのファイルなど、各種汎用ファイル形式の添付フ
ァイル）も収集対象となる。

【００１８】Ｗｅｂ収集モジュール１１１では、インタ
ーネット/イントラネット３０上から収集した各文書フ
ァイルに対して知識ＤＢ１３１に登録すべき属性情報の
取得と上述のテキストデータの抽出が行われる。各文書
ファイルから取得される属性情報は、例えば、当該文書
ファイルのＵＲＬ、ファイル作成日時（更新日時）等で
ある。そして、Ｗｅｂ収集モジュール１１１では、それ
ら各文書ファイルの属性情報とテキストデータが記述さ
れた登録ファイルが作成されて、それが登録ディレクト
リ１１３上に出力される。ここで、登録ファイルとは、
ファイル形式の異なる複数種の文書ファイルそれぞれの
文書情報を知識ＤＢ１３１に登録するための共通インタ
ーフェースとして予め決められた記述形式を持つファイ
ルを意味する。この登録ファイルは、複数種の文書ファ
イルそれぞれの文書情報を知識ＤＢ１３１に共通フォー
マットで登録するために利用される。本実施形態では、
登録ファイルとしてＸＭＬ（eXtensible Markup Langua
ge）を使用する。

【００１９】管理インターフェース１１２は、Ｗｅｂ収
集モジュール１１１に実行させる各Ｗｅｂ収集処理（以
下、Ｗｅｂ収集処理タスクという）の内容を設定するた
めのプログラムであり、各Ｗｅｂ収集処理タスク毎にそ
のＷｅｂ収集条件の設定および管理、Ｗｅｂ収集モジュ
ール１１１の起動・停止の制御、さらには各Ｗｅｂ収集
処理タスクの収集状況の管理・提示等の機能を有してい
る。この管理インターフェース１１２は、管理者ユーザ
がそのユーザ端末のＷｅｂブラウザ２１上から必要な操
作を行えるように、Ｗｅｂサーバ２２がＣＧＩ（Common
Gateway Interface）を通じて起動可能な外部プログラ
ム（ＣＧＩプログラム）として実現されている。

【００２０】またＷｅｂ収集システム１１には、Ｗｅｂ
収集モジュール１１１の動作を管理・制御するためのフ
ァイルとして、図示のように、ロックファイル２０１、
制御ファイル２０２、設定ファイル２０３、結果ファイ
ル２０４、およびログファイル２０５が設けられてい
る。

【００２１】ロックファイル２０１はＷｅｂ収集モジュ
ール１１１の２重起動を防止するための排他制御用のフ
ァイルである。制御ファイル２０２は管理インターフェ
ース１１２がＷｅｂ収集モジュール１１１を停止させる
ために使用するファイルであり、例えば、管理者ユーザ
からの指示に応答して、実行中のＷｅｂ収集処理タスク
を途中で中断させる場合などに利用される。収集実行中
における中断の指定は、管理者ユーザが管理インターフ
ェース１１２を通じて行うことができる。

【００２２】設定ファイル２０３は、各Ｗｅｂ収集処理
タスク毎にそのＷｅｂ収集条件を指定する設定情報を記
述するためのファイルであり、ここには複数のＷｅｂ収
集処理タスクそれぞれに対応する複数の設定情報を保持
することができる。各Ｗｅｂ収集処理タスクのＷｅｂ収
集条件は、管理者ユーザによって設定される。Ｗｅｂ収
集条件には、少なくとも、インターネット/イントラネ
ット３０からの情報収集の起点とすべき文書ファイルの
所在を示す起点アドレス情報（起点ＵＲＬ）と、収集範
囲をドメイン内のみに指定したり、収集するＵＲＬのパ
ターン、収集しないＵＲＬのパターンを指定したり、収
集対象とすべき文書ファイル数またはリンク段数の上限
値を指定したり、収集するファイル形式を指定したりす
る複数種の収集範囲情報等が含まれている。このＷｅｂ
収集条件に基づいてＷｅｂ収集モジュール１１１のＷｅ
ｂ収集動作が制御される。すなわち、Ｗｅｂ収集モジュ
ール１１１は、起点ＵＲＬで指定される文書ファイルを
起点にそれに関連する文書ファイル群を、収集範囲情報
で規定される範囲内で順次収集する。尚、上記設定ファ
イル２０３に記述される複数種の収集範囲情報と、その
設定手段については、後にＧＵＩ画面を参照して説明す
る。

【００２３】また、Ｗｅｂ収集条件には、登録先の知識
データベースを指定する知識データベース名も含まれて
いる。すなわち、知識ＤＢ１３１に於いては蓄積文書の
種類が互いに異なる複数の知識データベースが定義され
ており、それら複数の知識データベースがそれぞれの知
識データベース名で管理されている。上記した設定ファ
イル２０３の設定情報によって、Ｗｅｂ収集タスク毎に
登録先の知識データベース名を指定することにより、収
集した文書情報を知識ＤＢ１３１内の任意の知識データ
ベースに登録することができる。

【００２４】さらに、収集範囲情報として、再収集を行
う時の収集条件を設定することもできる。ここで、再収
集とは、例えばＷｅｂ収集モジュール１１１に同一のＷ
ｅｂ収集処理タスクを定期的に実行させる場合における
２度目以降のＷｅｂ収集処理や、一旦中断したＷｅｂ収
集処理タスクを再開させた場合のＷｅｂ収集処理を言
う。

【００２５】結果ファイル２０４は、Ｗｅｂ収集処理の
結果として収集した文書ファイルの一覧等を各Ｗｅｂ収
集タスク毎に管理するためのファイルであり、ここに
は、Ｗｅｂ収集の結果として取得したＵＲＬのリスト、
取得した文書ファイル件数、などが各Ｗｅｂ収集処理タ
スク毎に出力される。この結果ファイル２０４はＷｅｂ
収集処理タスクそれぞれの収集状況をユーザに提示する
目的と、再収集の効率化の目的に用いられる。この結果
ファイル２０４を用いることにより、過去に収集済みの
文書ファイルの中でインターネット/イントラネット３
０上の情報サイトから削除された文書ファイルを検出し
たり、Ｗｅｂ収集処理を途中で中断した場合における再
開ポイントを検出することもできる。

【００２６】ログフィル２０５は、Ｗｅｂ収集モジュー
ル１１１による文書ファイルの取得の成否やエラーの種
類などを管理するファイルである。

【００２７】登録ディレクトリ１１３は、知識ＤＢ１１
３に登録すべき文書内容を出力するための記憶領域であ
る。ここには、Ｗｅｂ収集モジュール１１１によって各
文書ファイルから抽出された属性情報とテキストデータ
が記述された上述の登録ファイル１１４が出力される。
Ｗｅｂ収集モジュール１１１は、テキストデータの抽出
に関して第１および第２の２つの処理モードを有する。

【００２８】第１処理モードでは、全てのファイル形式
の文書ファイルを対象に解析処理を行ってテキストデー
タの抽出、さらにはリンク情報（ＵＲＬ）の検出が行わ
れる（ＵＲＬの検出はＨＴＭＬファイルのみが対象）。
第２処理モードでは、ＨＴＭＬファイルとテキストファ
イル（PlainText）のみを対象に解析処理を行ってテキ
ストデータの抽出、さらにはリンク情報（ＵＲＬ）の検
出が行われ（ＵＲＬの検出はＨＴＭＬファイルのみが対
象）、例えばＰｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆ
ｏｒｍａｔ形式のファイル等、他のファイル形式の文書
ファイル（以下、コンテンツファイルという）に対して
は解析処理は行われない。

【００２９】第２処理モードを使用した場合、ＨＴＭＬ
とＰｌａｉｎＴｅｘｔについては、そのテキストデータ
と属性情報が登録ファイル１１４上に記述されて登録デ
ィレクトリ１１３上に出力される。一方、Ｐｏｒｔａｂ
ｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ形式のファイル
など他の形式のファイルについてはそのコンテンツファ
イル１１５がそのまま登録ディレクトリ１１３上に出力
され、登録ファイル１１４上には当該ファイルの属性情
報とコンテンツファイル１１５のパス名が記述される。
尚、第２処理モードに於いては、リンク情報の検出のた
めの解析処理が必要なファイルを対象にその解析処理の
中でテキストデータの抽出も併せて実行するという点が
肝要であるので、ＨＴＭＬファイルのみを対象にテキス
トデータの抽出を行うようにしてもよい。

【００３０】第１および第２のどちらの処理モードに於
いても、Ｗｅｂ収集モジュール１１１は実行中のＷｅｂ
収集タスクの処理が完了した時に、登録モジュール１２
に対して登録要求ファイルを発行して、文書の登録を登
録モジュール１２に要求する。登録要求ファイルには、
登録ファイルのファイル名、登録先の知識データベース
名などが記述されている。

【００３１】登録モジュール１２は、Ｗｅｂ収集モジュ
ール１１１によって収集された各文書ファイルの属性情
報およびテキストデータを知識ＤＢ１３１に登録する。
すなわち、登録モジュール１２は、Ｗｅｂ収集モジュー
ル１１１からの登録要求に応答して該当する登録ファイ
ル１１４を取得し、その登録ファイル１１４上に文書フ
ァイル毎に記述されている属性情報およびテキストデー
タを取り出して、知識ＤＢ１３１の登録先知識データベ
ースに登録する。また、この登録モジュール１２はテキ
ストデータの抽出機能も有しており、登録ファイル１１
４にコンテンツファイル１１５のパス名が記述されてい
る場合は、登録モジュール１２は、そのパス名で指定さ
れるコンテンツファイル１１５からテキストデータを抽
出して知識ＤＢ１３１の該当する登録先知識データベー
スに登録する。

【００３２】さらに、登録モジュール１２は、Ｗｅｂ収
集モジュール１１１以外の他の収集モジュールによって
収集された文書の登録処理も実行する。他の収集モジュ
ールとしては、例えば、電子ファイリングシステムのフ
ァイルサーバから文書情報を収集するファイル収集モジ
ュール、ＲＤＢデータベースサーバからそこに管理され
ている文書情報を収集するＲＤＢ収集モジュール、電子
掲示板形式のコミュニティからそこに投稿された文書情
報を収集するコミュニティ収集モジュール、ユーザが任
意の各種アプリケーションプログラムの文書ファイルを
登録ファイル（ＸＭＬ）の出力形式に変換するために使
用するユーザ収集モジュール等がある。登録モジュール
１２はこれら各収集モジュールによって共通に利用され
る。どの収集モジュールについても、登録モジュール１
２に対するインターフェースとしては上述のＸＭＬ形式
の登録ファイルが用いられる。

【００３３】知識エンジン１３は、知識ＤＢ１３１に蓄
積された情報を活用するための知識分析処理を行う。こ
の知識分析処理では、知識ＤＢ１３１に蓄積された大量
の文書情報それぞれの特徴を分析して重要語を抽出する
処理や、特徴別に複数のカテゴリに分類および整理する
クラスタリング処理などが行われる。この知識エンジン
１３には自然言語検索を行うための知識エンジン１３２
が設けられており、各ユーザはそのユーザ端末のＷｅｂ
ブラウザ４１からＷｅｂサーバ４２を通じて知識エンジ
ン１３２をアクセスすることにより、Ｗｅｂブラウザ４
１上から知識ＤＢ１３１に蓄積された知識の検索を行う
ことができる。知識ＤＢ１３１に蓄積された各文書の属
性情報にはその文書のＵＲＬも含まれているので、その
オリジナル文書を該当する情報サイトから取得してＷｅ
ｂブラウザ４１上に表示することができる。尚、、検索
処理は、ある知識データベース名を選択してその選択し
た知識データベースのみを対象に行ったり、あるいは知
識ＤＢ１３１内の全ての知識データベースを対象に行う
ことができる。

【００３４】次に、図２を参照して、Ｗｅｂ収集モジュ
ール１１１の機能構成について説明する。Ｗｅｂ収集モ
ジュール１１１は、図示のように、収集制御部３０１、
属性抽出部３０２、テキスト抽出部３０３、およびフォ
ーマット変換部３０４を有している。収集制御部３０１
は、設定ファイル２０３に保持されている全ての設定情
報それぞれについて、その設定情報で指定されたＷｅｂ
収集タスクを順番に一つずつ実行する。各Ｗｅｂ収集タ
スク毎に設定情報で指定された起点ＵＲＬを起点とし
て、インターネット/イントラネット３０から関連する
文書ファイル群を順次収集する。取得した文書ファイル
に含まれるリンク先文書へのＵＲＬはＵＲＬリスト３０
５に追加されて行き、ＵＲＬリスト３０５からＵＲＬを
取得しながらが収集処理が再帰的に実行される。ＵＲＬ
リスト３０５としては、上述の結果ファイル２０４を用
いることができる。収集範囲は設定ファイル２０３に保
持されている収集条件によって制限される。

【００３５】収集された各文書ファイルは、まず属性抽
出部３０２に送られ、そこで各文書ファイルの属性情報
が取得される。次いで、テキスト抽出部３０３にて文書
の解析処理が行われ、知識ＤＢ１３１に登録すべきテキ
ストデータと、次に取得すべきリンク先ＵＲＬの抽出が
行われる。例えば、ＨＴＭＬファイルに対しては、テキ
ストデータの抽出は、ＨＴＭＬのタグ以外の部分を抜き
出すことによって行う。抽出されたテキストはタイトル
とボディ(本文)とに分けられる。リンク先ＵＲＬの取得
は、Ａタグ、ＡＲＥＦタグのＨＲＥＦの値、ＦＲＡＭＥ
タグ、ＩＦＲＡＭＥタグ、ＬＡＹＥＲタグのＳＲＣの
値、ＭＥＴＡタグのＲＥＦＲＥＳＨの値を取得すること
によって行われる。上述の第２の処理モードで動作する
場合には、テキスト抽出部３０３の処理はＨＴＭＬファ
イルとテキストファイルに対してのみ行われ、Ｐｏｒｔ
ａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ形式のファ
イル等、他のファイル形式の文書ファイルに対しては行
われない。

【００３６】各文書ファイルから取得された属性情報と
テキストデータは、フォーマット変換部３０４に送ら
れ、そこでＸＭＬの登録ファイルの記述形式に従う出力
フォーマットに整形されて登録ディレクトリ１１３上に
出力される。一つの登録ファイル１１４には、例えば１
０００個程度の文書ファイルについての属性情報および
テキストデータが記述される。テキスト抽出が行われな
かった文書ファイルについては属性情報とパス名が登録
ファイル１１４上に記述される。

【００３７】次に、図３および図４を参照して、登録フ
ァイル１１４の出力フォーマットの例を説明する。

【００３８】図３は、テキスト抽出部３０３にてテキス
ト抽出を行う場合の出力フォーマットの例を示してい
る。ファイルの先頭のタグ＜?xml version="1.0" encod
ing="Shift_JIS"?＞、＜KnowledgeSystem＞はファイル
の始まりを示し、また末尾のタグ＜/KnowledgeSystem＞
はファイルの終わりを示している。

【００３９】＜RECORD＞と＜/RECORD＞で囲まれた各レ
コード内に、１つの文書ファイルの属性情報とテキスト
データが記述される。各レコード内のタグの意味は次の
通りである。

【００４０】MODE ：登録モジュール１２の動作モード
を指定するモード情報である。このモード情報は、各文
書ファイル毎に知識ＤＢ１３１に対する文書情報（テキ
ストデータおよび属性）の登録または削除を指示する。
2＝登録(上書き)か、0＝削除、のいずれかとなる。削除
の場合は、下記のタグのうち、TYPEとUNIQUE以外は出力
されない。

【００４１】TYPE ：収集のタイプを示す。本例では常
に“Ｗｅｂ収集”となる。 UNIQUE ：知識ＤＢ１３１に登録される当該文書ファイ
ルを識別するためのユニークキーである。通常は、当該
文書のＵＲＬがユニークキーとして用いられる。

【００４２】ORGDATE ：文書ファイルの作成日時（ま
たは更新日時)を示す。 TITLE ：文書ファイルのタイトルを示す。ＨＴＭＬフ
ァイルのタイトル部から抽出されたテキストデータがタ
イトルとなる。ＨＴＭＬファイル以外のファイルについ
てはタイトルは出力されない。このタイトルは、検索画
面上の文書ファイルのタイトルとして出力される。

【００４３】AUTHOR ：文書ファイルを所有する情報サ
イトのホスト名（ＵＲＬのホストアドレス）を記述す
る。 DATE ：上記ORGDATEの日付部分を記述する。 URL ：文書ファイルのＵＲＬ。UNIQUEと同じ値であ
る。 BODY ：文書ファイルから抽出されたテキストデータが
記述される。

【００４４】図４は、テキスト抽出部３０３にてテキス
ト抽出を行わなかった文書ファイルに関する出力フォー
マットの例を示している。

【００４５】BODYにはテキストデータは記述されず、＜
BDYFILE＞＜/BDYFILE＞で囲まれた領域のPATH1に、登録
ディレクトリ１１３上に出力される上記コンテンツファ
イル１１５へのパス名が記述される。DEL＝1は、登録モ
ジュール１２に対してコンテンツファイル１１５からの
テキストデータの抽出後に登録ディレクトリ１１３上の
元ファイルを削除することを指示するものである。Ｗｅ
ｂ収集モジュール１１１が第２処理モードで動作する場
合には、ＨＴＭＬファイルとプレーンテキストについて
はBODYにはテキストデータが記述され、他のファイル形
式の文書ファイル（コンテンツファイル）についてはBD
YFILEにそのコンテンツファイルのパス名が記述される
ことになる。

【００４６】次に、図５のフローチャートを参照して、
収集した文書ファイルに対してＷｅｂ収集モジュール１
１１内で実行される一連の処理の手順について説明す
る。

【００４７】まず、収集した文書ファイルから知識ＤＢ
１３１に登録すべき属性情報（URL、AUTHOR、ORGDATE、
DATE）が取得される（ステップＳ１０１）。属性情報の
取得は、ＨＴＴＰによって情報サイトから返される値
や、収集した文書ファイル内に付加されている値などを
用いることができる。この後、第２処理モードに於いて
は、収集した文書ファイルの拡張子などに基づいてその
ファイル種別が判定され、ＨＴＭＬファイルまたはプレ
ーンテキストファイルであるか、あるいはそれ以外の他
のファイル形式のファイルであるかが判別される（ステ
ップＳ１０２，Ｓ１０３）。収集した文書ファイルがＨ
ＴＭＬファイルまたはプレーンテキストファイルである
場合には（ステップＳ１０３のＹＥＳ）、上述のテキス
ト抽出処理（ＨＴＭＬファイルの場合はテキスト抽出と
リンクＵＲＬの検出）が実行され（ステップＳ１０
４）、そして属性情報とテキストデータを上述の形式で
登録ファイル１１４上に記述する処理（テキストデータ
をBODYに挿入）が行われる（ステップＳ１０５）。一
方、ＨＴＭＬファイルまたはプレーンテキストファイル
以外の他のファイル形式のファイルであれば（ステップ
Ｓ１０３のＮＯ）、当該ファイルが登録ディレクトリ１
１３上にそのまま出力され（ステップＳ１０６）、その
後、属性情報と当該ファイルのパス名を登録ファイル１
１４上に記述する処理（パス名をBDYFILEに記述）が行
われる（ステップＳ１０７）。

【００４８】尚、、目的のＵＲＬの文書ファイルがイン
ターネット／イントラネット３０上から取得できなかっ
た場合には、当該文書ファイルの内容が既に知識ＤＢ１
３１に登録されていることを条件に、モード情報（MOD
E）＝0（削除）が登録ファイル１１４上に記述される。

【００４９】また、第１処理モードに於いては、ステッ
プＳ１０２，Ｓ１０３の処理は行われず、全ての取得フ
ァイルを対象にステップＳ１０４，Ｓ１０５の処理が実
行される。

【００５０】次に、図６のフローチャートを参照して、
登録モジュール１２によって実行される登録処理の手順
を説明する。

【００５１】Ｗｅｂ収集モジュール１１１から登録要求
を受けた登録モジュール１２は、Ｗｅｂ収集モジュール
１１１からの登録要求ファイルで指定された登録ファイ
ル（ＸＭＬファイル）から１つずつレコードを取り出し
ながら、レコード毎に以下の処理を行う。まず、処理対
象レコード内のモード情報がMODE＝０であるかMODE＝２
であるかが調べられる（ステップＳ１１１，Ｓ１１
２）。

【００５２】MODE＝２の場合は、登録モジュール１２
は、レコード内の各タグに従って、そのタグ内に記述さ
れたデータ項目（TYPE、UNIQUE、ORGDATE、TITLE、AUTH
OR、DATE、URL、BODYそれぞれの内容）を、登録要求フ
ァイルで指定された知識ＤＢ１３１内の登録先知識デー
タベースに登録する（ステップＳ１１３）。BODYのタグ
内にテキストデータが存在しない場合には、そのテキス
トデータの登録は行われない。次いで、BDYFILEのタグ
内にパス名が記述されているかどうかが判定される（ス
テップＳ１１４）。パス名が記述されている場合には
（ステップＳ１１４のＹＥＳ）、そのパス名で指定され
る記憶領域から該当するコンテンツファイルが取得され
（ステップＳ１１５）、そのコンテンツファイルからテ
キストデータを抽出する処理が行われる（ステップＳ１
１６）。そして、その抽出された内容が該当する文書フ
ァイルのテキストデータとして登録先知識データベース
に登録される（ステップＳ１１７）。

【００５３】MODE＝０の場合は、レコード内のUNIQUEで
指定される登録済みの文書ファイルの属性情報とテキス
トデータが知識ＤＢ１３１からサーチされ、その登録内
容が登録先知識データベースから削除される（ステップ
Ｓ１１８）。

【００５４】図７には、インターネット／イントラネッ
ト３０上における文書ファイル（Ｗｅｂコンテンツ）の
状態と知識ＤＢ１３１に対して行うべき登録／削除処理
との関係が示されている。本実施形態に於いては、でき
る限りインターネット／イントラネット３０上における
最新のＷｅｂコンテンツの状態を知識ＤＢ１３１に反映
させるというポリシーに基づき、以下の処理が行われ
る。

【００５５】（１）更新されたＷｅｂコンテンツは、知
識ＤＢ１３１に上書きする（MODE＝２）。更新されたＷ
ｅｂコンテンツの属性情報およびテキストデータを登録
する場合、そのUNIQUEは、知識ＤＢ１３１に既に登録さ
れている更新前のＷｅｂコンテンツのUNIQUEと同一であ
る。よって、MODE＝２により、知識ＤＢ１３１に既に登
録されている更新前のＷｅｂコンテンツの属性情報およ
びテキストデータが、更新されたＷｅｂコンテンツの属
性情報およびテキストデータに更新（上書き）される。

【００５６】（２）追加されたＷｅｂコンテンツは、知
識ＤＢ１３１に追加登録する（MODE＝２）。追加された
Ｗｅｂコンテンツの属性情報およびテキストデータを登
録する場合、そのUNIQUEは、知識ＤＢ１３１に未登録で
ある。よって、MODE＝２により、追加されたＷｅｂコン
テンツの属性情報およびテキストデータを知識ＤＢ１３
１に追加登録することができる。

【００５７】（３）削除されたＷｅｂコンテンツは、知
識ＤＢ１３１からも削除する（MODE＝０）。

【００５８】次に、管理インターフェース１１２によっ
て提供される機能を具体的に説明する。管理インターフ
ェース１１２は上述のようにＷｅｂ収集タスクの設定・
管理・実行を行うためのユーザインタフェースであり、
１）Ｗｅｂ収集タスクの設定を複数個作成して設定ファ
イル２０４に保存する機能、２）収集の設定の、一覧、
削除、などの管理作業を行う機能、３）収集の起動と終
了（中断と再開）を行う機能、４）収集の状況や実績を
リアルタイムに確認する機能、を管理者ユーザに提供す
る。

【００５９】管理インターフェース１１２によって管理
者ユーザのＷｅｂブラウザ２１に表示される画面は、図
８に示すように、「一覧画面」、「設定画面」、「状況
画面」の３つの画面より構成され、管理インターフェー
ス１１２を起動すると、一覧画面が最初に表示される。
３つの画面は各画面上で管理者ユーザによって行われる
操作に応じて遷移する。一覧画面には、現在作成されて
いる設定の一覧と各設定の最新の収集結果が表示され
る。この一覧画面上で、例えば、作成済みの設定を選択
してその選択して設定に関する設定画面または状況画面
に遷移した場合には、設定画面上では当該設定内容の追
加／削除等を行うことが出来、また状況画面上では当該
設定に関する起動と終了（中断と再開）の指定などを行
うことができる。また、一覧画面上で、設定の新規作成
を選択すると設定画面に遷移し、その設定画面上で設定
の新規作成のための処理を行うことができる。以下、一
覧画面、設定画面、状況画面それぞれについて具体的に
説明する。

【００６０】図９には、一覧画面の例が示されている。
この一覧画面上には、図示のように、「一覧」アンカ５
０１、「設定アンカ」５０２、「状況」アンカ５０３が
表示される。これら「一覧」アンカ５０１、「設定アン
カ」５０２、「状況」アンカ５０３は、それぞれ一覧画
面、設定画面、状況画面それぞれに対するリンクであ
る。一覧画面上で「一覧」アンカ５０１がクリックされ
ると、一覧画面の表示内容が最新状態に更新される。さ
らに、一覧画面上には、「新規設定」フィールド５０
４、「作成」ボタン５０５、および状態一覧表示部５０
６が設けられている。新規作成すべきＷｅｂ収集タスク
の設定名を「新規設定」フィールド５０４に入力して、
「作成」ボタン５０５をクリックすると、設定画面に遷
移してその設定名に関する設定情報を新規作成すること
ができる。

【００６１】状態一覧表示部５０６には、上述の結果フ
ァイル２０４に保持されている内容等に基づき、既に作
成・登録済みのＷｅｂ収集タスクそれぞれについての収
集状況が一覧表示される。Ｗｅｂ収集タスク毎に以下の
項目が表示される。

【００６２】「設定名」：登録してある設定の名称 「知識データベース名」：収集したデータを登録するデ
ータベース名 「状態」：設定の現在の状態（未収集/収集中/終了/中
断/異常終了のいずれか） 「開始」：最後に起動した日時 「終了」：最後に終了した日時 「ファイル」：前回のタスク実行で収集したファイル数
(今回)と、これまでに実行した中で収集されたファイル
の総数の最大値(全体) このように、本実施形態に於いては、複数のＷｅｂ収集
タスクを設定することが出来、しかもそれら複数のＷｅ
ｂ収集タスクそれぞれの収集状況を一覧画面上で確認す
ることができる。

【００６３】次に、図１０を参照して、設定画面の例に
ついて説明する。設定画面上には、図示のように、上述
の「一覧」アンカ５０１、「設定アンカ」５０２、「状
況」アンカ５０３の他、「設定名」フィールド６０１、
「知識データベース名」フィールド６０２、「プロキシ
サーバ」設定フォーム６０３、「収集ファイル形式」設
定フォーム６０４、「取得要求」設定フォーム６０５、
「認証情報」設定フォーム６０６、および収集サイト設
定画面を構成する「収集サイト」設定フォーム６０７等
が設けられており、これらを用いて以下の設定編集操作
を行うことができる。

【００６４】（１）設定名： 「設定名」フィールド６
０１には一覧画面にて新規設定の作成または既存の設定
の選択により指定された設定名が表示される。 （２）ＤＢ選択： 「知識データベース名」フィールド
６０２に知識データベース名を入力することにより、収
集したデータを登録する登録先知識データベースを選択
する。

【００６５】（３）プロキシ： 「プロキシサーバ」設
定フォーム６０３を用いて、収集に使用するプロキシサ
ーバの設定を行う。 （４）収集するファイル形式： 「収集ファイル形式」
設定フォーム６０４上で収集対象のファイル形式を選択
する。本実施形態では、ＨＴＭＬおよびＴＥＸＴファイ
ルは、デフォルトで選択されており（ＨＴＭＬおよびＴ
ＥＸＴファイルの指定を解除できない）、この他、例え
ば、Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａ
ｔ形式のファイル、ワードプロッセッサソフトウェアで
作成した文書ファイル、表計算ソフトウェアで作成した
ファイル、プレゼンテーションデータの作成ソフトウェ
アで作成したプレゼンテーションデータのファイルな
ど、各種汎用ファイル形式の添付ファイルを収集対象と
して選択することができる。本実施形態では収集可能な
文書ファイルのファイル形式を６種とした例を示し、そ
れぞれチェックボックスにより、任意に指定することが
できる。例えば６種のファイル形式（ＨＴＭＬ，ＰＤ
Ｆ，ＰＰＴ，ＤＯＣ，ＸＬＯＳ，ＪＢＷ）のすべてをチ
ェックボックスで指定することにより、その指定された
すべてのファイル形式の文書ファイルを収集対象とする
ことができる。また、不要となったファイル形式の文書
ファイルについて、チェックボックスで指定を解除する
ことにより、そのファイル形式の文書ファイルが、知識
ＤＢ１３１から削除される。

【００６６】（５）取得要求： 「取得要求」設定フォ
ーム６０５上でＵＲＬ取得時のタイムアウト時間、リト
ライ回数を指定する。 （６）認証情報： 「認証情報」設定フォーム６０６上
で、ユーザ認証が必要なＵＲＬをアクセスするときに必
要な認証情報を設定する。

【００６７】（７）収集サイト： 「収集サイト」設定
フォーム６０７上では以下の項目の設定を行う。

【００６８】・起点ＵＲＬの設定 ： 収集の起点とな
るＵＲＬを指定する。本実施形態では、起点ＵＲＬの設
定フィールド上で、半角、特殊文字を除いた最大１００
０文字まで入力可能としている。

【００６９】・リンク段数の上限設定： 収集する起点
ＵＲＬからの最大リンク段数を指定する。起点ＵＲＬか
らの指定数までのリンクを辿って収集を行う。本実施形
態では、０〜５０の範囲で、任意の指定数の設定が可能
である。 ・ファイル数の上限設定： 収集する最大ファイル数を
指定する。指定しない場合は、無制限となる。本実施形
態では、１〜１，０００，０００の範囲で、任意のファ
イル数の設定が可能である。 ・収集範囲： 「ドメイン内のみ収集する」を指定する
と、起点ＵＲＬのドメイン内のみ収集を行う。デフォル
トは指定無しである。この「ドメイン内のみ収集する」
をチェックボックスで指定すると、上記起点ＵＲＬの設
定フィールドに設定された起点ＵＲＬについて、そのド
メイン内のみを対象に、インターネット／イントラネッ
ト３０上の該当する情報サイトから文書情報を収集す
る。

【００７０】・収集するＵＲＬのパターン： 収集対象
とすべきＵＲＬの文字列のパターンを指定する。収集し
ようとするＵＲＬの中で、指定された文字列のパターン
を含んだＵＲＬのファイルのみが収集される。本実施形
態では、この収集するＵＲＬのパターンを設定する設定
フィールドに、１行に１パターンずつ、最大１０００バ
イトの設定を可能としている。

【００７１】収集しないＵＲＬのパターン： 収集対象
から除外すべきＵＲＬの文字列のパターンを指定する。
収集しようとするＵＲＬの中で、指定された文字列のパ
ターンを含んだＵＲＬのファイルは収集されない。本実
施形態では、この収集しないＵＲＬのパターンを設定す
る設定フィールドに、１行に１パターンずつ、最大１０
００バイトの設定を可能としている。

【００７２】尚、収集するパターンと、収集しないパタ
ーンの両方に適合するＵＲＬが存在した場合は、収集し
ないパターンが優先する。即ち、収集するパターンと、
収集しないパターンの両方に適合するＵＲＬが存在した
場合は、そのＵＲＬのファイルは収集されない。

【００７３】・再収集の設定： 設定対象の収集タスク
が同じ起点ＵＲＬからの再収集を行った時の振る舞いを
指定する。再収集には３つのモード（「全てのファイル
を新たに収集」、「未収集のファイルのみ収集」、「更
新されたファイルのみ収集(削除機能あり)」）があり、
任意の一つのモードを指定することができる。ここで、
「全てのファイルを新たに収集」モードとは、収集対象
のＵＲＬを全て再収集するモードを意味する。即ち、過
去に取得したどうかにかかわらず、起点ＵＲＬから新た
に収集しなおす。また、「未収集のファイルのみ収集」
モードは、以前収集したＵＲＬは収集しないモードであ
る。「更新されたファイルのみ収集(削除機能あり)」モ
ードは、以前の収集時点から更新された文書ファイルの
み収集するモードである。更新の有無のチェック対象と
なる文書は、以前の収集に於いて、現在よりも指定日数
以上前に収集したＵＲＬである。「更新チェック頻度」
フィールドに入力された値が指定日数となる。指定日数
のデフォルトは「１日」である。以前の収集に於いて、
現在よりも指定日数以上前に収集したＵＲＬがインター
ネット／イントラネット３０上の該当する情報サイトか
ら削除されており、当該ＵＲＬから文書ファイルを取得
できなかった場合には、その文書ファイルに対応する登
録情報は知識ＤＢ１３１から削除される。

【００７４】図１１には、状況画面の例が示されてい
る。例えば、一覧画面または設定画面上で「状況」アン
カ５０３を選択することで、現在表示しているタスクの
状況画面に遷移する。この状況画面上には、当該タスク
の「設定名」、「知識データベース名」、「状態」等が
表示される。「設定名」の横には、収集開始／中止（再
開／中断）を指示するためのボタン７０１が表示されて
いる。「状態」には、タスクの状態（収集中／終了／未
収集／中断／異常終了）が表示され、さらに、当該タス
クの起点ＵＲＬ、収集したリンク段数(今回/最大/上
限)、およびファイル数(今回/全体/上限)等の状況情報
７０２も表示される。

【００７５】当該タスクの状態が未収集、終了、または
中断の場合には、図１１に示すように、ボタン７０１に
は「収集開始」と表示される。「収集開始」ボタン７０
１を選択すると、当該タスクの実行がＷｅｂ収集モジュ
ール１１１によって開始される。現在の状態が終了また
は中断の場合には、再収集が開始されることになる。ま
た、当該タスクの現在の状態が収集中である場合には、
図１２に示すように、ボタン７０１には「収集中断」と
表示される。「収集中断」ボタン７０１を選択すると、
稼働中の収集タスクは中断される。中断される以前まで
に収集されたＵＲＬのリストは結果ファイル２０４内に
保持される。

【００７６】次に、図１３乃至図１５を参照して、状況
画面上のボタン操作による収集処理の中断および再開
（再収集）動作について具体的に説明する。

【００７７】この中断・再開機能は、実行中のＷｅｂ収
集処理を一旦停止して、後日再開する様な場合に利用さ
れる機能である。Ｗｅｂ収集モジュール１１１によるＷ
ｅｂ収集処理は、インターネット/イントラネット３０
からの文書ファイルの取得を行う度にそのＵＲＬや成否
を示すステータスコード等を進捗状況情報として結果フ
ァイル２０４に書き込みながら実行される。取得した文
書ファイルにリンク先のＵＲＬがあればそのＵＲＬが結
果ファイル２０４に追加され、結果ファイル２０４に未
収集のＵＲＬが無くなるまで、処理が繰り返される。こ
の収集処理の途中で「収集中断」ボタン７０１が押され
ると、実行中のＷｅｂ収集タスクはその時点で中断され
る。そして、後に、その中断されたＷｅｂ収集タスクを
選択した状態で「収集開始」ボタン７０１が押される
と、中断されていたＷｅｂ収集タスクが再開されて再収
集が開始される。例えば、再収集モードとして「未収集
のファイルのみ収集」モードが選択されていた場合に
は、結果ファイル２０４に保持されている未収集のＵＲ
Ｌから収集処理が再開されることになる。

【００７８】図１４には、結果ファイル２０４に進捗状
況情報として保持されるＵＲＬリストの例が示されてい
る。結果ファイル２０４には、図示のように、取得対象
のＵＲＬ毎にその「ＵＲＬ」に加え、「収集日」、「収
集日時」、「ステータスコード」、「起点ＵＲＬ」、お
よび「リンク段数」が記録される。「リンク段数」は、
起点ＵＲＬから見た場合の取得対象ＵＲＬのリンクの段
数を示す。未収集のＵＲＬについては「収集日」、「収
集日時」、「ステータスコード」の情報は空欄となる。
これにより、Ｗｅｂ収集処理を途中で中断した場合にお
ける再開ポイントを検出することができる。「ステータ
スコード」は収集処理の成否を示すものであり、これ
は、Ｗｅｂページ取得先の相手先Ｗｅｂサーバから返さ
れるＨＴＴＰステータスコードである。このＨＴＴＰス
テータスコードの種類には、ファイル取得が成功したこ
と（正常終了）を示す「２００」、アクセス権限による
エラーを示す「４０３」、該当ファイルが見つからない
（削除された文書ファイルの取得要求に対するレスポン
ス）場合のエラーを示す「４０４」、タイムアウトエラ
ー「４０８」等が含まれる。

【００７９】図１５のフローチャートには、Ｗｅｂ収集
が開始されてから中断されるまでの一連の処理手順が示
されている。

【００８０】Ｗｅｂ収集モジュール１１１は、最初に、
起点ＵＲＬで指定される文書ファイルの取得を行い（ス
テップＳ１２１）、その結果（収集日、収集日時、ステ
ータスコード、起点ＵＲＬ、リンク段数、ＵＲＬ（起点
ＵＲＬと同じ）を結果ファイル２０４に登録して進捗状
況情報の更新を行う（ステップＳ１２２）。取得が成功
した場合には、収集した文書ファイルから知識ＤＢ１３
１に登録すべき属性情報が取得され（ステップＳ１２
２）、次いでテキスト抽出処理（ＨＴＭＬファイルの場
合はテキスト抽出とリンク先ＵＲＬの検出）が実行され
る（ステップＳ１２４）。リンク先ＵＲＬが検出された
場合には、そのＵＲＬと、上述の起点ＵＲＬおよびリン
ク段数が結果ファイル２０４のＵＲＬリストに追加登録
される（ステップＳ１２５）。この後、属性情報とテキ
ストデータを登録ファイル上に記述する処理が行われる
（ステップＳ１２６）。ここで、中断指示の有無が判定
される（ステップＳ１２７）。中断指示が無い場合には
（ステップＳ１２７のＮＯ）、結果ファイル２０４に未
収集のＵＲＬが登録されているかどうかによってＷｅｂ
収集処理が完了したかどうかが判断される（ステップＳ
１２８）。

【００８１】結果ファイル２０４に未収集のＵＲＬが登
録されている場合には（ステップＳ１２８のＮＯ）、上
述のステップＳ１２１からの処理が繰り返される。すな
わち、結果ファイル２０４に追加されたＵＲＬで指定さ
れる文書ファイルの取得を行い（ステップＳ１２１）、
その結果（収集日、収集日時、ステータスコード）を結
果ファイル２０４に登録して進捗状況情報の更新を行う
（ステップＳ１２２）。取得が成功した場合には、収集
した文書ファイルから知識ＤＢ１３１に登録すべき属性
情報が取得され（ステップＳ１２２）、次いでテキスト
抽出処理（ＨＴＭＬファイルの場合はテキスト抽出とリ
ンク先ＵＲＬの検出）が実行される（ステップＳ１２
４）。リンク先ＵＲＬが検出された場合には、そのＵＲ
Ｌと、起点ＵＲＬおよびリンク段数が結果ファイル２０
４のＵＲＬリストに追加登録される（ステップＳ１２
５）。この後、属性情報とテキストデータを登録ファイ
ル１１４上に記述する処理が行われる（ステップＳ１２
６）。このようなＷｅｂ収集処理が、設定ファイル２０
３に設定されたＷｅｂ収集条件の収集範囲に於いて収集
完了となるまで再帰的に実行される。このＷｅｂ収集時
に於いて、「収集中断」ボタン７０１が押されると、制
御ファイル２０２を通じて管理インターフェース１１２
からＷｅｂ収集モジュール１１１に中断指示が発行され
され（ステップＳ１２７のＹＥＳ）、Ｗｅｂ収集モジュ
ール１１１によって実行中のＷｅｂ収集タスクが中断さ
れる。

【００８２】ここで、収集範囲として、図１０に示す設
定画面の「収集ファイル形式」設定フォーム６０４上
で、収集するリンクの段数、各リンク毎の収集ファイル
個数等が設定された場合のＷｅｂ収集モジュール１１１
で実行されるＷｅｂ収集処理について、図１６に示すフ
ローチャートを参照して説明する。

【００８３】図９に示される一覧画面上で「設定アン
カ」５０２をクリックすると、図８の画面遷移図に示す
ように、図９に示される一覧画面から図１０に示される
設定画面に遷移し、当該設定画面上で、「収集ファイル
形式」設定フォーム６０４、「収集サイト」設定フォー
ム６０７等の設定を行うことにより、その各設定フォー
ムの設定内容を含んだ設定ファイル２０３が作成される
（ステップＳ２６１，２６２）。

【００８４】本実施形態では、上記「収集サイト」設定
フォーム６０７に於いて、起点ＵＲＬの設定フィールド
上で、収集するサイトの起点ＵＲＬを設定し、更に、必
要に応じて、リンク段数の上限設定フィールド上で、収
集するリンクの段数を設定し、ファイル数の上限設定フ
ィールド上で、各リンク毎の収集ファイル個数を設定す
る。この際、「収集サイト」設定フォーム６０７上で、
上記した収集するリンクの段数、各リンク毎の収集ファ
イル個数の各設定以外に、収集するＵＲＬの文字列パタ
ーンの設定、収集しないＵＲＬの文字列パターンの設
定、ドメイン内のみ収集の設定、収集するファイル形式
の設定等、複数種の収集範囲が同時に設定可能である
が、本実施形態では、収集するリンクの段数を設定する
設定フィールド、各リンク毎の収集ファイル個数を設定
する設定フィールドの設定以外の収集範囲の設定につい
ては特に言及しない。

【００８５】図１０に示される設定画面上で、上記した
ように「収集サイト」設定フォーム６０７の設定を行っ
た後、当該設定画面上で「状況アンカ」５０３をクリッ
クすると、図８の画面遷移図に示すように、図１０に示
される設定画面から図１１に示される状況画面に遷移し
（ステップＳ２６３）、当該状況画面上で、「収集開
始」ボタン７０１を選択すると、図１５に示したＷｅｂ
収集の処理が開始され、当該Ｗｅｂ収集処理に於いて、
上記「収集サイト」設定フォーム６０７の設定内容に従
う収集範囲の絞り込みによるＷｅｂ収集が可能となる。

【００８６】この収集範囲の絞り込みとして、本実施形
態では、収集するリンクの段数を設定された上限値をも
とに規制する収集処理、および各リンク毎の収集ファイ
ル個数を設定された上限値をもとに規制する収集処理を
行う。

【００８７】この収集処理では、設定ファイル２０３を
参照して、まず起点ＵＲＬを読み込み（ステップＳ２６
４〜Ｓ２６６）、収集する文書ファイルの個数が、設定
された上限値の範囲内に収まっていることを確認して
（ステップＳ２６７のＮＯ）、収集処理を実行する（ス
テップＳ２６８）。

【００８８】ここで、上記する文書ファイルの個数が、
設定された上限値に達した際、若しくは設定された上限
値に達する以前のファイル個数で収集が終了した際（ス
テップＳ２６７のＹＥＳ）は、起点ＵＲＬから辿るすべ
てのリンク先（ＵＲＬ）について、設定されたリンク段
数に達するまで、リンク先が更新され、上記した設定フ
ァイル個数の範囲内での収集が繰り返し実行される（ス
テップＳ２６９のＮＯ，Ｓ２６６，Ｓ２６７のＮＯ，Ｓ
２６８，Ｓ２６７，…，Ｓ２６９のＹＥＳ）。

【００８９】このようにして、Ｗｅｂ収集モジュール１
１１は、設定ファイル２０３に、収集するリンクの段
数、各リンク毎の収集ファイル個数のいずれか若しくは
双方が設定されているとき、その設定内容に従って、ネ
ットワーク上から前記文書情報を収集する。これによ
り、収集するリンクの段数、および各リンク毎の収集フ
ァイル個数を任意に指定して文書ファイルを収集するこ
とができる。

【００９０】更に、上記した、収集するリンクの段数、
各リンク毎の収集ファイル個数の各設定に加えて、収集
するＵＲＬのパターンの設定、収集しないＵＲＬのパタ
ーンの設定、ドメイン内のみ収集の設定、収集するファ
イル形式の設定等、複数種の収集範囲が同時に設定可能
であり、これらを組み合わせて、収集する文書ファイル
に、フィルタリングを施すことで、所望する知識情報
を、より適切に絞り込んで収集することができ、これに
より、より高度の知識データベースを容易かつ迅速に効
率よく構築できる。例えば、上記した、収集するリンク
の段数、および各リンク毎の収集ファイル個数と、収集
するファイル形式と、収集するＵＲＬのパターンと、収
集しないＵＲＬのパターンとを組み合わせて設定するこ
とにより、指定した（設定した）、収集するリンクの段
数、および各リンク毎の収集ファイル個数の中で、更
に、収集するＵＲＬのパターン、収集しないＵＲＬのパ
ターン、文書ファイルの形式等を指定して、所望の知識
情報を収集することができる。

【００９１】尚、本実施形態の知識情報収集システムの
機能は全てコンピュータプログラムにより実現されてい
るので、そのコンピュータプログラムをコンピュータ読
み取り可能な記憶媒体に記憶しておき、その記憶媒体を
通じて本コンピュータプログラムを、コンピュータネッ
トワーク接続可能な通常のコンピュータに導入して実行
させるだけで、本実施形態と同様の効果を容易に得るこ
とができる。

【００９２】また本発明は、上記実施形態に限定される
ものではなく、実施段階ではその要旨を逸脱しない範囲
で種々に変形することが可能である。更に、上記実施形
態には種々の段階の発明が含まれており、開示される複
数の構成要件における適宜な組み合わせにより種々の発
明が抽出され得る。例えば、実施形態に示される全構成
要件から幾つかの構成要件が削除されても、発明が解決
しようとする課題の欄で述べた課題が解決でき、発明の
効果の欄で述べられている効果が得られる場合には、こ
の構成要件が削除された構成が発明として抽出され得
る。

【００９３】

【発明の効果】以上説明したように、本発明によれば、
インターネット上からファイル形式の異なる様々な種類
の文書ファイルを知識情報として効率よく収集すること
が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る知識情報収集システ
ムの構成を示すブロック図。

【図２】同実施形態の知識情報収集システムに設けられ
たＷｅｂ収集モジュールの機能構成を示すブロック図。

【図３】同実施形態の知識情報収集システムで用いられ
る登録ファイルの出力形式の例を示す図。

【図４】同実施形態の知識情報収集システムで用いられ
る登録ファイルの出力形式の他の例を示す図。

【図５】同実施形態の知識情報収集システムに設けられ
たＷｅｂ収集モジュールの処理手順を示すフローチャー
ト。

【図６】同実施形態の知識情報収集システムに設けられ
た登録モジュールの処理手順を示すフローチャート。

【図７】同実施形態の知識情報収集システムおけるＷｅ
ｂコンテンツとその登録処理との関係を示す図。

【図８】同実施形態の知識情報収集システムによる提供
される３つの画面とその遷移を説明するための図。

【図９】同実施形態の知識情報収集システムで用いられ
る一覧画面の例を示す図。

【図１０】同実施形態の知識情報収集システムで用いら
れる設定画面の例を示す図。

【図１１】同実施形態の知識情報収集システムで用いら
れる状況画面の例を示す図。

【図１２】同実施形態の知識情報収集システムで用いら
れる状況画面の例を示す図。

【図１３】同実施形態の知識情報収集システムにおける
Ｗｅｂ収集処理の中断／再開動作を説明するための図。

【図１４】同実施形態の知識情報収集システムに設けら
れた結果ファイルの内容の例を示す図。

【図１５】同実施形態の知識情報収集システムにおける
Ｗｅｂ収集処理の開始から中断までの処理手順を示すフ
ローチャート。

【図１６】同実施形態の知識情報収集システムにおけ
る、収集するリンクの段数、および各リンク毎の収集フ
ァイル個数の設定、並びにその設定に伴うＷｅｂ収集処
理の手順を示すフローチャート。

【符号の説明】

１１…Ｗｅｂ収集システム １２…登録モジュール １３…知識エンジン ３０…インターネット／イントラネット １１１…Ｗｅｂ収集モジュール １１２…管理インターフェース １１３…登録ディレクトリ １３１…知識データベース １３２…検索エンジン ２０１…ロックファイル ２０２…制御ファイル ２０３…設定ファイル ２０４…結果ファイル ２０５…ログファイル ３０１…収集制御部 ３０２…属性抽出部 ３０３…テキスト抽出部 ３０４…フォーマット変換部 ６０７…「収集サイト」設定フォーム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０６Ｆ 13/00 ５２０ Ｇ０６Ｆ 13/00 ５２０Ｄ (72)発明者 塩田 弘二 東京都青梅市末広町２丁目９番地 株式会 社東芝青梅工場内 Ｆターム(参考） 5B075 ND03 NK44 QP01

Claims (7)

【特許請求の範囲】
1. 【請求項１】 設定手段により設定された情報をもと
   に、ネットワーク上から、知識データベースに登録すべ
   き文書情報を収集する知識情報収集システムに於いて、 前記設定手段に、収集するリンクの段数を設定する手段
   を含み、 前記設定手段により前記リンクの段数が設定されている
   とき、起点ＵＲＬおよび辿るリンクのすべてについて、
   前記設定されたリンクの段数を上限に、文書情報を収集
   する収集処理手段を具備したことを特徴とする知識情報
   収集システム。
2. 【請求項２】 設定手段により設定された情報をもと
   に、ネットワーク上から、知識データベースに登録すべ
   き文書情報を収集する知識情報収集システムに於いて、 前記設定手段に、収集するリンクの段数、および各リン
   ク毎の収集ファイル個数を設定する手段を含み、 前記設定手段により、前記リンクの段数、および収集フ
   ァイル個数が設定されているとき、起点ＵＲＬおよび辿
   るリンクのすべてについて、前記設定された収集ファイ
   ル個数、および前記設定されたリンクの段数を上限に、
   前記ネットワーク上から文書情報を収集する収集処理手
   段を具備したことを特徴とする知識情報収集システム。
3. 【請求項３】 知識データベースに登録すべき文書情報
   をネットワーク上から収集する知識情報収集システムに
   於いて、 前記知識データベースに登録すべき文書情報を収集する
   サイトの設定を行う、起点ＵＲＬの設定フィールド、お
   よび収集範囲を規定する項目を含んだ収集サイト設定画
   面を表示する設定画面表示手段と、 前記設定画面表示手段により表示された設定画面上の設
   定内容をもとに設定ファイルを作成する設定ファイル作
   成手段と、 前記設定ファイル作成手段で作成された設定ファイルの
   内容をもとに前記知識データベースに登録すべき文書情
   報をネットワーク上から収集する情報収集手段とを有
   し、 前記収集サイト設定画面には、起点ＵＲＬの設定フィー
   ルドと、収集するリンクの段数を設定する設定フィール
   ドとを含む複数種の設定項目を有し、 前記情報収集手段は、前記設定ファイルに、起点ＵＲＬ
   が設定され、かつ収集するリンクの段数が設定されてい
   るとき、前記設定された起点ＵＲＬおよび辿るリンク先
   のそれぞれについて、前記設定された、収集するリンク
   の段数を上限に、前記ネットワーク上から前記文書情報
   を収集することを特徴とする知識情報収集システム。
4. 【請求項４】 知識データベースに登録すべき文書情報
   をネットワーク上から収集する知識情報収集システムに
   於いて、 前記知識データベースに登録すべき文書情報を収集する
   サイトの設定を行う、起点ＵＲＬの設定フィールド、お
   よび収集範囲を規定する項目を含んだ収集サイト設定画
   面を表示する設定画面表示手段と、 前記設定画面表示手段により表示された設定画面上の設
   定内容をもとに設定ファイルを作成する設定ファイル作
   成手段と、 前記設定ファイル作成手段で作成された設定ファイルの
   内容をもとに前記知識データベースに登録すべき文書情
   報をネットワーク上から収集する情報収集手段とを有
   し、 前記収集サイト設定画面には、起点ＵＲＬの設定フィー
   ルドと、収集するリンクの段数、および各リンク毎の収
   集ファイル個数を設定する設定フィールドとを含む複数
   種の設定項目を有し、 前記情報収集手段は、前記設定ファイルに、起点ＵＲＬ
   が設定され、かつ収集するリンクの段数、および各リン
   ク毎の収集ファイル個数が設定されているとき、前記設
   定された起点ＵＲＬおよび辿るリンク先のそれぞれにつ
   いて、前記設定された、各リンク毎の収集ファイル個
   数、および収集するリンクの段数を上限に、前記ネット
   ワーク上から前記文書情報を収集することを特徴とする
   知識情報収集システム。
5. 【請求項５】 前記設定画面表示手段により表示される
   設定画面には、収集するＵＲＬの文字列パターンを設定
   する項目、収集範囲をドメイン内に設定する項目、収集
   するＵＲＬの文字列パターンを設定する項目、収集しな
   いＵＲＬの文字列パターンを設定する項目、収集するリ
   ンクの上限を設定する項目の少なくともいずれかを含
   み、前記各項目の設定内容が前記収集するリンクの段数
   の設定項目の設定内容に反映される請求項３または４記
   載の知識情報収集システム。
6. 【請求項６】 知識データベースに登録すべき文書情報
   をネットワーク上から収集する知識情報収集方法に於い
   て、 前記知識データベースに登録すべき文書情報を収集する
   サイトの設定を行う、起点ＵＲＬの設定フィールド、お
   よび収集範囲を規定する項目を含んだ収集サイト設定画
   面を表示する設定画面表示ステップと、 前記設定画面表示ステップにより表示された設定画面上
   の設定内容をもとに設定ファイルを作成する設定ファイ
   ル作成ステップと、 前記設定ファイル作成ステップで作成された設定ファイ
   ルの内容をもとに前記知識データベースに登録すべき文
   書情報をネットワーク上から収集する収集ステップとを
   有し、 前記設定画面表示ステップで表示される前記収集サイト
   設定画面には、起点ＵＲＬの設定フィールドと、収集す
   るリンクの段数を設定する設定フィールドとを含む複数
   種の設定項目を有し、 前記収集ステップは、前記設定ファイルに、起点ＵＲＬ
   が設定され、かつ収集するリンクの段数が設定されてい
   るとき、前記設定された起点ＵＲＬおよび辿るリンク先
   のそれぞれについて、前記設定された、収集するリンク
   の段数を上限に、前記ネットワーク上から前記文書情報
   を収集することを特徴とする知識情報収集方法。
7. 【請求項７】 知識データベースに登録すべき文書情報
   をネットワーク上から収集する知識情報収集システムに
   於いて、 前記知識データベースに登録すべき文書情報を収集する
   サイトの設定を行う、起点ＵＲＬの設定フィールド、お
   よび収集範囲を規定する項目を含んだ収集サイト設定画
   面を表示する設定画面表示ステップと、 前記設定画面表示ステップにより表示された設定画面上
   の設定内容をもとに設定ファイルを作成する設定ファイ
   ル作成ステップと、 前記設定ファイル作成ステップで作成された設定ファイ
   ルの内容をもとに前記知識データベースに登録すべき文
   書情報をネットワーク上から収集する収集ステップとを
   有し、 前記設定画面表示ステップで表示される前記収集サイト
   設定画面には、起点ＵＲＬの設定フィールドと、収集す
   るリンクの段数、および各リンク毎の収集ファイル個数
   を設定する設定フィールドとを含む複数種の設定項目を
   有し、 前記収集ステップは、前記設定ファイルに、起点ＵＲＬ
   が設定され、かつ収集するリンクの段数、および各リン
   ク毎の収集ファイル個数が設定されているとき、前記設
   定された起点ＵＲＬおよび辿るリンク先のそれぞれにつ
   いて、前記設定された、各リンク毎の収集ファイル個
   数、および収集するリンクの段数を上限に、前記ネット
   ワーク上から前記文書情報を収集することを特徴とする
   知識情報収集方法。