JP2000293527A

JP2000293527A - Ｈｔｍｌ文書検索システムへのデータ登録システム、方法および記録媒体

Info

Publication number: JP2000293527A
Application number: JP11095403A
Authority: JP
Inventors: Hideki Ishii; 秀城石井
Original assignee: NEC Software Chubu Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 1999-04-01
Filing date: 1999-04-01
Publication date: 2000-10-20
Anticipated expiration: 2019-04-01
Also published as: JP3430066B2

Abstract

(57)【要約】【課題】文書検索システムへ効率的なデータ登録を実
現し、検索効率を向上させる。【解決手段】Ｗｅｂロボット２０はＨＴＭＬ文書デー
タ２１に保存する。データ登録システム１０のコード変
換処理部１１は、日本語文字コードの変換を行い、キー
ワード抽出部１２は、ＨＴＭＬ文書を形態素解析してす
べての名詞をキーワードとして抽出する。データ比較部
１３は、過去に保存された保存キーワード１４内のキー
ワードとキーワード抽出部１２で抽出されたキーワード
との比較を行う。登録ＵＲＬ決定部１５は、文書検索シ
ステム３０に登録するＵＲＬ、タイトルを決定し、デー
タ登録部１６は、ＵＲＬ、タイトルとキーワード抽出部
１２で抽出したキーワードとを文書検索システム３０に
登録する処理を行い、保存キーワード１４にも、保存情
報として保存する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＨＴＭＬ文書検索
システムへのデータ登録システム、方法および記録媒体
に関し、特に、利用者の検索効率を向上させるＨＴＭＬ
文書検索システムへのデータ登録システム、方法および
記録媒体に関する。

【０００２】

【従来の技術】この種の従来技術としては、「特開平１
０−９１６３８号公報」記載の技術が存在する。この技
術は、ネットワーク（たとえば、インターネットのＷＷ
Ｗ）上でロボットを用いて収集したデータ（たとえばペ
ージのようなハイパーメディアデータ）をもとにデータ
ベースを作成し、検索要求に応じてデータベース検索を
行う検索システムであって、データベース化の対象とす
べきデータの更新頻度（たとえば、統計的な更新頻度、
あるいは最終更新時刻）の範囲がデータベース固有に割
り当てられ、データの更新頻度が該割り当てられた更新
頻度の範囲内にあることまたはデータの属するデータ群
（たとえば、サイト）における平均的な更新頻度が該割
り当てられた更新頻度の範囲内にあることを少なくとも
条件として、該当するデータを収集し所定の構造のデー
タベースを作成するデータベース作成手段を備えたもの
である。

【０００３】また、その他の従来技術としては、インタ
ーネット上でサービスされているＨＴＭＬ文書データの
検索システムのデータ登録処理をＨＴＭＬ文書の更新実
施をＷＷＷサーバから送信される最終更新日付で判断
し、最終更新日付に変更があったＨＴＭＬ文書データを
必ず更新する技術が存在する。

【０００４】

【発明が解決しようとする課題】上述した従来技術の第
１の問題点は、ＨＴＭＬ文書の内容が変更されていない
にも関わらず、ＨＴＭＬ文書の更新を行ってしまう場合
があることである。

【０００５】その理由は、ＷＷＷサーバの種類、および
その設定方法によって、ＨＴＭＬ文書の内容が変更され
ているかどうかに関わらず、最終更新日を更新してしま
うＷＷＷサーバがインターネット上に存在するからであ
る。

【０００６】また、第２の問題点は、文書検索システム
に利用者が探したい条件を入力して検索を実行すると、
同種のＨＴＭＬ文書が多数検索され、求めるＨＴＭＬ文
書を探すために時間がかかることである。

【０００７】その理由は、同一ディレクトリ下の多数の
ＨＴＭＬ文書が、別のデータとして登録されているから
である。

【０００８】本発明の目的は、以上の問題点を解決し、
利用者の検索効率を向上させるＨＴＭＬ文書検索システ
ムへのデータ登録システム、方法および記録媒体を実現
することである。

【０００９】

【課題を解決するための手段】本発明の第１のＨＴＭＬ
文書検索システムへのデータ登録システムは、インター
ネットから採取したＨＴＭＬ文書からＵＲＬ、およびキ
ーワードを抽出して保存情報として保存し、新たに採取
したＨＴＭＬ文書のＵＲＬと前記保存情報内のＵＲＬと
を比較し、一致しなければ、前記新たに採取したＨＴＭ
Ｌ文書のＵＲＬ、およびキーワードを前記保存情報とし
て別に保存し、かつ、文書検索システムに与えるための
第１の処理に進み、一致すれば、前記新たに採取したＨ
ＴＭＬ文書から抽出したキーワードとＵＲＬが一致した
前記保存情報内のキーワードとを比較し、一致しなけれ
ば、前記新たに採取したＨＴＭＬ文書のＵＲＬ、および
キーワードを前記保存情報として別に保存し、かつ、前
記文書検索システムに与えるための第２の処理に進み、
一致すれば、前記保存情報を変更せず、前記文書検索シ
ステムにＵＲＬ、キーワードを与えないようにする手段
を有する。

【００１０】本発明の第２のＨＴＭＬ文書検索システム
へのデータ登録システムは、前記第１のＨＴＭＬ文書検
索システムへのデータ登録システムであって、前記第１
または前記第２の処理に進んだ場合に、前記新たに採取
したＨＴＭＬ文書のＵＲＬのファイル名部分がディレク
トリの代表となるＨＴＭＬ文書ファイル名であれば、前
記新たに採取したＨＴＭＬ文書のＵＲＬ、およびキーワ
ードを前記保存情報として別に保存し、かつ、文書検索
システムに与え、ディレクトリの代表となるＨＴＭＬ文
書ファイル名でなければ、同一ディレクトリあるいは上
位ディレクトリでかつファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名を含むＵＲＬが前記
保存情報が存在すれば、存在した前記保存情報のキーワ
ードを前記新たに採取したＨＴＭＬから抽出したキーワ
ードに置き換え、存在した前記保存情報内のＵＲＬおよ
び前記新たに採取したＨＴＭＬから抽出したキーワード
を前記文書検索システムに与える手段を有する。

【００１１】本発明の第３のＨＴＭＬ文書検索システム
へのデータ登録システムは、前記第１のＨＴＭＬ文書検
索システムへのデータ登録システムであって、前記第１
または前記第２の処理に進んだ場合に、前記新たに採取
したＨＴＭＬ文書のＵＲＬのファイル名部分がディレク
トリの代表となるＨＴＭＬ文書ファイル名であれば、同
一ディレクトリでかつファイル名部分がディレクトリの
代表ではないＨＴＭＬファイル名を含むＵＲＬが前記保
存情報に存在すれば、存在した前記保存情報のＵＲＬ
を、前記新たに採取したＨＴＭＬ文書のＵＲＬで置き換
え、前記新たに採取したＨＴＭＬ文書のＵＲＬ、および
前記新たに採取したＨＴＭＬから抽出したキーワードを
前記検索システムに登録し、存在しなければ、前記新た
に採取したＨＴＭＬ文書のＵＲＬ、および前記新たに採
取したＨＴＭＬから抽出したキーワードを前記検索シス
テムに登録し、前記新たに採取したＨＴＭＬ文書のＵＲ
Ｌのファイル名部分がディレクトリの代表となるＨＴＭ
Ｌ文書ファイル名でなければ、同一ディレクトリあるい
は上位ディレクトリでかつファイル名部分がディレクト
リの代表となるＨＴＭＬ文書ファイル名を含むＵＲＬが
前記保存情報に存在すれば、存在した前記保存情報のキ
ーワードを前記新たに採取したＨＴＭＬから抽出したキ
ーワードに置き換え、存在した前記保存情報内のＵＲＬ
および前記新たに採取したＨＴＭＬから抽出したキーワ
ード文書検索システムに与える手段を有する。

【００１２】本発明の第４のＨＴＭＬ文書検索システム
へのデータ登録システムは、前記第１、第２、または第
３のＨＴＭＬ文書検索システムへのデータ登録システム
であって、（ａ）インターネットに接続されている多数
のＷｅｂサーバからＨＴＭＬ文書の取得を行い、ＵＲＬ
を含むＨＴＭＬ文書データとして保存するＷｅｂロボッ
トと、（ｂ）前記ＨＴＭＬ文書データからのＨＴＭＬ文
書の日本語文字コードの統一を行うため日本語文字コー
ドの変換を行うコード変換処理部と、（ｃ）前記コード
変換処理部において変換されたＨＴＭＬ文書を形態素解
析してすべての名詞をキーワードとして抽出するキーワ
ード抽出部と、（ｄ）すでに保存されている前記保存情
報内のキーワードと前記キーワード抽出部で抽出された
キーワードとの比較を行うデータ比較部と、（ｅ）前記
保存情報を１以上保存する保存キーワードと、（ｆ）前
記コード変換処理部において変換されたＨＴＭＬ文書か
ら前記文書検索システムに登録するＵＲＬ、タイトルを
決定する登録ＵＲＬ決定部と、（ｇ）前記登録ＵＲＬ決
定部で決定したＵＲＬ、タイトルと前記キーワード抽出
部で抽出したキーワードとを前記文書検索システムに登
録する処理を行い、同時に前記キーワード抽出部で抽出
したキーワード、および前記コード変換処理部において
変換されたＨＴＭＬ文書からのＵＲＬを１組の保存情報
として前記保存キーワードに保存するデータ登録部と、
を有する。

【００１３】本発明の第１のＨＴＭＬ文書検索システム
へのデータ登録方法は、インターネットから採取したＨ
ＴＭＬ文書からＵＲＬ、およびキーワードを抽出して保
存情報として保存し、新たに採取したＨＴＭＬ文書のＵ
ＲＬと前記保存情報内のＵＲＬとを比較し、一致しなけ
れば、前記新たに採取したＨＴＭＬ文書のＵＲＬ、およ
びキーワードを前記保存情報として別に保存し、かつ、
文書検索システムに与えるための第１の処理に進み、一
致すれば、前記新たに採取したＨＴＭＬ文書から抽出し
たキーワードとＵＲＬが一致した前記保存情報内のキー
ワードとを比較し、一致しなければ、前記新たに採取し
たＨＴＭＬ文書のＵＲＬ、およびキーワードを前記保存
情報として別に保存し、かつ、前記文書検索システムに
与えるための第２の処理に進み、一致すれば、前記保存
情報を変更せず、前記文書検索システムにＵＲＬ、キー
ワードを与えないようにする手順を有する。

【００１４】本発明の第２のＨＴＭＬ文書検索システム
へのデータ登録方法は、前記第１のＨＴＭＬ文書検索シ
ステムへのデータ登録方法であって、前記第１または前
記第２の処理に進んだ場合に、前記新たに採取したＨＴ
ＭＬ文書のＵＲＬのファイル名部分がディレクトリの代
表となるＨＴＭＬ文書ファイル名であれば、前記新たに
採取したＨＴＭＬ文書のＵＲＬ、およびキーワードを前
記保存情報として別に保存し、かつ、文書検索システム
に与え、ディレクトリの代表となるＨＴＭＬ文書ファイ
ル名でなければ、同一ディレクトリあるいは上位ディレ
クトリでかつファイル名部分がディレクトリの代表とな
るＨＴＭＬ文書ファイル名を含むＵＲＬが前記保存情報
が存在すれば、存在した前記保存情報のキーワードを前
記新たに採取したＨＴＭＬから抽出したキーワードに置
き換え、存在した前記保存情報内のＵＲＬおよび前記新
たに採取したＨＴＭＬから抽出したキーワードを前記文
書検索システムに与える手順を有する。

【００１５】本発明の第３のＨＴＭＬ文書検索システム
へのデータ登録方法は、前記第１のＨＴＭＬ文書検索シ
ステムへのデータ登録方法であって、前記第１または前
記第２の処理に進んだ場合に、前記新たに採取したＨＴ
ＭＬ文書のＵＲＬのファイル名部分がディレクトリの代
表となるＨＴＭＬ文書ファイル名であれば、同一ディレ
クトリでかつファイル名部分がディレクトリの代表では
ないＨＴＭＬファイル名を含むＵＲＬが前記保存情報に
存在すれば、存在した前記保存情報のＵＲＬを、前記新
たに採取したＨＴＭＬ文書のＵＲＬで置き換え、前記新
たに採取したＨＴＭＬ文書のＵＲＬ、および前記新たに
採取したＨＴＭＬから抽出したキーワードを前記検索シ
ステムに登録し、存在しなければ、前記新たに採取した
ＨＴＭＬ文書のＵＲＬ、および前記新たに採取したＨＴ
ＭＬから抽出したキーワードを前記検索システムに登録
し、前記新たに採取したＨＴＭＬ文書のＵＲＬのファイ
ル名部分がディレクトリの代表となるＨＴＭＬ文書ファ
イル名でなければ、同一ディレクトリあるいは上位ディ
レクトリでかつファイル名部分がディレクトリの代表と
なるＨＴＭＬ文書ファイル名を含むＵＲＬが前記保存情
報に存在すれば、存在した前記保存情報のキーワードを
前記新たに採取したＨＴＭＬから抽出したキーワードに
置き換え、存在した前記保存情報内のＵＲＬおよび前記
新たに採取したＨＴＭＬから抽出したキーワード文書検
索システムに与える手順を有する。

【００１６】本発明の第４のＨＴＭＬ文書検索システム
へのデータ登録方法は、（ａ）Ｗｅｂロボットによっ
て、インターネットから収集されたＨＴＭＬ文書の日本
語文字コードを統一するため、日本語文字コードの変換
を行い変換後ＨＴＭＬ文書を出力する第１のステップ
と、（ｂ）前記変換後ＨＴＭＬ文書に対して形態素解析
を行い、全ての名詞をキーワードとして抽出し、ＵＲＬ
とともに出力する第２のステップと、（ｃ）前記第２の
ステップから与えられたＵＲＬと同一のＵＲＬを含む保
存情報が存在するかどうか検索する第３のステップと、
（ｄ）前記第３のステップにおいて、存在しないと判定
された場合には、前記第２のステップから与えられたＵ
ＲＬおよびキーワードを出力する第４のステップと、
（ｅ）前記第３のステップにおいて、同一のＵＲＬが存
在すると判定された場合には、前記第２のステップにお
いて抽出されたキーワード全体とそのＵＲＬを含む保存
情報に含まれるキーワード全体とを比較する第５のステ
ップと、（ｆ）前記第５のステップにおける比較で一致
が検出されないと、前記第２のステップから与えられた
ＵＲＬおよびキーワードを出力する第６のステップと、
（ｇ）前記第５のステップにおける比較で一致が検出さ
れると、ＵＲＬ、キーワードを出力しない第７のステッ
プと、（ｈ）前記第４のステップまたは第６のステップ
から与えられたＵＲＬのファイル名部分の抽出を行う第
８のステップと、（ｉ）前記第８のステップにおいて抽
出されたファイル名部分が、前記インターネットから収
集されたＨＴＭＬ文書が存在するディレクトリの代表と
なるＨＴＭＬ文書ファイル名かどうか、チェックを行う
第９のステップと、（ｊ）前記第９のステップにおいて
抽出されたファイル名部分がディレクトリの代表となる
ＨＴＭＬ文書ファイル名である場合には、前記第２のス
テップから与えられたＵＲＬを登録するＵＲＬとして出
力する第１０のステップと、（ｋ）前記第９のステップ
において抽出されたファイル名部分がディレクトリの代
表となるＨＴＭＬ文書ファイル名ではない場合には、同
一ディレクトリ下で、かつファイル名部分がディレクト
リの代表となるＨＴＭＬ文書ファイル名に対応するＵＲ
Ｌが、前記保存情報に登録されているかどうか検索を行
う第１１のステップと、（ｌ）前記第１１のステップに
おいて検索できた場合には、検索された保存情報に含ま
れるＵＲＬと同じＵＲＬを登録するＵＲＬとして出力す
る第１２のステップと、（ｍ）前記第１１のステップに
おいて検索できなかった場合には、１つ上位のディレク
トリ下で、かつファイル名部分がディレクトリの代表と
なるＨＴＭＬ文書ファイル名が保存情報に含まれている
かどうか検索を行う第１３のステップと、（ｎ）前記第
１３のステップにおいて検索できた場合には、検索され
たＵＲＬと同じＵＲＬを登録するＵＲＬとして出力する
第１４のステップと、（ｏ）前記第１３のステップにお
いて検索されなかった場合には、前記第２のステップか
ら与えられたＵＲＬを登録するＵＲＬとして出力する第
１５のステップと、（ｐ）前記第２のステップからのキ
ーワード、前記登録するＵＲＬを文書検索システムに登
録し、さらに、前記第２のステップからのキーワードキ
ーワード、ＵＲＬを、１組の保存情報として登録する第
１６のステップと、を含む。

【００１７】本発明の記録媒体は、（ａ）Ｗｅｂロボッ
トによって、インターネットから収集されたＨＴＭＬ文
書の日本語文字コードを統一するため、日本語文字コー
ドの変換を行い変換後ＨＴＭＬ文書を出力する第１のス
テップと、（ｂ）前記変換後ＨＴＭＬ文書に対して形態
素解析を行い、全ての名詞をキーワードとして抽出し、
ＵＲＬとともに出力する第２のステップと、（ｃ）前記
第２のステップから与えられたＵＲＬと同一のＵＲＬを
含む保存情報が存在するかどうか検索する第３のステッ
プと、（ｄ）前記第３のステップにおいて、存在しない
と判定された場合には、前記第２のステップから与えら
れたＵＲＬおよびキーワードを出力する第４のステップ
と、（ｅ）前記第３のステップにおいて、同一のＵＲＬ
が存在すると判定された場合には、前記第２のステップ
において抽出されたキーワード全体とそのＵＲＬを含む
保存情報に含まれるキーワード全体とを比較する第５の
ステップと、（ｆ）前記第５のステップにおける比較で
一致が検出されないと、前記第２のステップから与えら
れたＵＲＬおよびキーワードを出力する第６のステップ
と、（ｇ）前記第５のステップにおける比較で一致が検
出されると、ＵＲＬ、キーワードを出力しない第７のス
テップと、（ｈ）前記第４のステップまたは第６のステ
ップから与えられたＵＲＬのファイル名部分の抽出を行
う第８のステップと、（ｉ）前記第８のステップにおい
て抽出されたファイル名部分が、前記インターネットか
ら収集されたＨＴＭＬ文書が存在するディレクトリの代
表となるＨＴＭＬ文書ファイル名かどうか、チェックを
行う第９のステップと、（ｊ）前記第９のステップにお
いて抽出されたファイル名部分がディレクトリの代表と
なるＨＴＭＬ文書ファイル名である場合には、前記第２
のステップから与えられたＵＲＬを登録するＵＲＬとし
て出力する第１０のステップと、（ｋ）前記第９のステ
ップにおいて抽出されたファイル名部分がディレクトリ
の代表となるＨＴＭＬ文書ファイル名ではない場合に
は、同一ディレクトリ下で、かつファイル名部分がディ
レクトリの代表となるＨＴＭＬ文書ファイル名に対応す
るＵＲＬが、前記保存情報に登録されているかどうか検
索を行う第１１のステップと、（ｌ）前記第１１のステ
ップにおいて検索できた場合には、検索された保存情報
に含まれるＵＲＬと同じＵＲＬを登録するＵＲＬとして
出力する第１２のステップと、（ｍ）前記第１１のステ
ップにおいて検索できなかった場合には、１つ上位のデ
ィレクトリ下で、かつファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名が保存情報に含まれ
ているかどうか検索を行う第１３のステップと、（ｎ）
前記第１３のステップにおいて検索できた場合には、検
索されたＵＲＬと同じＵＲＬを登録するＵＲＬとして出
力する第１４のステップと、（ｏ）前記第１３のステッ
プにおいて検索されなかった場合には、前記第２のステ
ップから与えられたＵＲＬを登録するＵＲＬとして出力
する第１５のステップと、（ｐ）前記第２のステップか
らのキーワード、前記登録するＵＲＬを文書検索システ
ムに登録し、さらに、前記第２のステップからのキーワ
ードキーワード、ＵＲＬを、１組の保存情報として登録
する第１６のステップと、をコンピュータに実行させる
プログラムを記録する。

【００１８】

【発明の実施の形態】次に、本発明の第１の実施の形態
について図面を参照して詳細に説明する。図１は、本発
明の第１の実施の形態を示すブロック図である。図１を
参照すると、本発明の第１の実施の形態は、データ登録
システム１０と、Ｗｅｂロボット２０と、文書検索シス
テム３０とから構成される。

【００１９】Ｗｅｂロボット２０はインターネットに接
続されており、インターネットに接続されている多数の
Ｗｅｂサーバ（図示せず）からＨＴＭＬ文書の取得を行
い、ＨＴＭＬ文書データ２１（ＵＲＬを含むデータ）と
して内蔵する記憶装置に保存する。

【００２０】データ登録システム１０と、Ｗｅｂロボッ
ト２０と、文書検索システム３０とは、それぞれ別々の
サーバ上に構成されても、１つのサーバ上に構成されて
もよい。また、ＨＴＭＬ文書データ２１を保存する記憶
装置は、データ登録システム１０に内蔵されていてもよ
い。

【００２１】データ登録システム１０は、コード変換処
理部１１と、キーワード抽出部１２と、データ比較部１
３と、保存キーワード１４と、登録ＵＲＬ決定部１５
と、データ登録部１６とを備える。

【００２２】コード変換処理部１１は、ＨＴＭＬ文書デ
ータ２１からのＨＴＭＬ文書の日本語文字コードの統一
を行うため、日本語文字コードの変換を行う。たとえ
ば、シフトＪＩＳ、ＪＩＳ等からＵＮＩＸで使用される
ＥＵＣコードへの変換を行う。

【００２３】キーワード抽出部１２は、コード変換処理
部１１において変換されたＨＴＭＬ文書を形態素解析し
てすべての名詞をキーワードとして抽出する。データ比
較部１３は、過去に保存された保存キーワード１４内の
キーワードとキーワード抽出部１２で抽出されたキーワ
ードとの比較を行う。

【００２４】保存キーワード１４は、データ登録部１６
により文書検索システム３０に登録されたキーワード、
およびコード変換処理部１１で変換されたＨＴＭＬ文書
からのＵＲＬを保存する。

【００２５】登録ＵＲＬ決定部１５は、コード変換処理
部１１において変換されたＨＴＭＬ文書から文書検索シ
ステム３０に登録するＵＲＬ、タイトルを決定する。

【００２６】データ登録部１６は、登録ＵＲＬ決定部１
５で決定したＵＲＬ、タイトルとキーワード抽出部１２
で抽出したキーワードとを文書検索システム３０に登録
する処理を行い、同時にキーワード抽出部１２で抽出し
たキーワード、およびコード変換処理部１１において変
換されたＨＴＭＬ文書からのＵＲＬを１組の保存情報と
して保存キーワード１４に保存する。

【００２７】文書検索システム３０は、データ登録シス
テム１０からの指示により、内蔵する記憶装置に、ＵＲ
Ｌ、タイトル、およびキーワードを１組にして保存す
る。また、インターネットに接続されており、利用者か
ら検索キーワードを受け付け、その検索キーワードがデ
ータ登録システム１０によって登録されたキーワードと
適合するかどうか検索を行い、検索されたキーワードと
一緒に登録されたＵＲＬおよびタイトルを出力する。

【００２８】次に、本発明の第１の実施の形態の動作に
ついて図面を参照して説明する。図２は、本発明の第１
の実施の形態の動作を示すフローチャートである。図３
は、データ比較部１３の動作を示す詳細フローチャート
である。図４は、登録ＵＲＬ決定部１５の動作を示す詳
細フローチャートである。図５は、コード変換処理部１
１、キーワード抽出部１２の動作を示す説明図である。
図６、図７は、データ比較部１３の動作を示す説明図で
ある。図８、図９は、登録ＵＲＬ決定部１５の動作を示
す説明図である。図１０は、登録ＵＲＬ決定部１５、デ
ータ登録部１６の動作を示す説明図である。

【００２９】Ｗｅｂロボット２０によって、インターネ
ットから収集されたＨＴＭＬ文書データ２１内のＨＴＭ
Ｌ文書は、データ登録システム１０のコード変換処理部
１１に供給される。インターネットから収集されたＨＴ
ＭＬ文書は様々な日本語文字コードで記述されているた
め、そのままでは形態素解析やキーワードの比較などが
困難である。コード変換処理部１１では、供給されたＨ
ＴＭＬ文書の日本語文字コードを統一するため、日本語
文字コードの変換を行う（図２ステップＳ１）。たとえ
ば、図５Ｄ０に示すシフトＪＩＳのＨＴＭＬ文書はＵＮ
ＩＸでは、文字が正確に表示されないので、ＥＵＣコー
ドに変換し、図５Ｄ１に示すように、正確に表示させ
る。

【００３０】日本語文字コードの変換が行われたＨＴＭ
Ｌ文書は、キーワード抽出部１２に与えられる。キーワ
ード抽出部１２では、与えられたＨＴＭＬ文書に対して
形態素解析を行い、全ての名詞をキーワードとして抽出
する（図２ステップＳ２）。たとえば、図５Ｄ２に示す
ように、図５Ｄ１から＜ＨＴＭＬ＞、＜ＢＯＤＹ＞、＜
／ＢＯＤＹ＞、＜／ＨＴＭＬ＞といったＨＴＭＬのタグ
と、「の」、「へ」、「で渡った。」といった名詞以外
の文字列を取り除き、図５Ｄ２を生成する。

【００３１】抽出されたキーワードおよびコード変換処
理部１１からのＵＲＬは、データ比較部１３に与えられ
る。データ比較部１３では、与えられたキーワードおよ
びＵＲＬと保存キーワード１４内の保存情報との比較を
行う（図２ステップＳ３）。

【００３２】詳細には、まず、与えられたＵＲＬと同一
のＵＲＬを含む保存情報が保存キーワード１４に存在す
るかどうか検索する（図３ステップＳ３１）。存在しな
い場合（図３ステップＳ３２ＮＯ）には、新しく収集さ
れたＨＴＭＬ文書に基づくものであるから、与えられた
ＵＲＬおよびキーワードを登録ＵＲＬ決定部１５に与え
る（図３ステップＳ３５）。

【００３３】同一のＵＲＬが存在する場合（図３ステッ
プＳ３２ＹＥＳ）には、与えられたキーワード全体とそ
のＵＲＬを含む保存情報に含まれるキーワード全体とを
比較する（図３ステップＳ３３）。この比較において一
致が検出されないと（図３ステップＳ３４ＮＯ、図６Ｄ
２３、Ｄ２４、Ｄ２５）、新しく収集されたＨＴＭＬ文
書に基づくものであるから、与えられたＵＲＬおよびキ
ーワードを登録ＵＲＬ決定部１５に与える（図３ステッ
プＳ３５）。

【００３４】一致が検出されると（図３ステップＳ３４
ＹＥＳ、図７Ｄ１２、Ｄ１３、Ｄ１４、Ｄ１５）、すで
に収集されているＨＴＭＬ文書に基づくものであり、か
つ更新されていないものであるから、登録ＵＲＬ決定部
１５には与えない（図３ステップＳ３６）。

【００３５】次に、登録ＵＲＬ決定部１５では、文書検
索システム３０に登録するＵＲＬを決定する（図２ステ
ップＳ４）。

【００３６】詳細には、まず、データ比較部１３から与
えられたＵＲＬからファイル名部分の抽出を行う（図４
ステップＳ４１）。たとえば、与えられた文書のＵＲＬ
がｈｔｔｐ：／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｉｎｄｅ
ｘ．ｈｔｍｌである場合は、ファイル名部分としてｉｎ
ｄｅｘ．ｈｔｍｌを抽出する（図８Ｕ１およびＵ２）。

【００３７】次に、抽出したファイル名部分が、与えら
れた文書が存在するディレクトリの代表となるＨＴＭＬ
文書ファイル名かどうか、チェックを行う（図４ステッ
プＳ４２）。たとえば、ディレクトリの代表となるＨＴ
ＭＬ文書ファイル名には、ｉｎｄｅｘ．ｈｔｍｌやｈｏ
ｍｅ．ｈｔｍｌなどを設定し、あらかじめどのような順
番でチェックを行うか、順位を決定しておく。

【００３８】以下、ｉｎｄｅｘ．ｈｔｍｌおよびｈｏｍ
ｅ．ｈｔｍｌを、ディレクトリの代表となるＨＴＭＬ文
書ファイル名とし、ｉｎｄｅｘ．ｈｔｍｌ、ｈｏｍｅ．
ｈｔｍｌの順でチェックするものとする。

【００３９】抽出したファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名である場合（図４ス
テップＳ４２ＹＥＳ）には、与えられた文書のＵＲＬ
を、登録するＵＲＬとして、データ登録部１６に与える
（図４ステップＳ４７）。

【００４０】たとえば、与えられた文書のＵＲＬがｈｔ
ｔｐ：／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｉｎｄｅｘ．ｈ
ｔｍｌである場合、ファイル名部分はｉｎｄｅｘ．ｈｔ
ｍｌであり、ディレクトリの代表となるＨＴＭＬ文書フ
ァイル名であるから、ｈｔｔｐ：／／ａａ．ｂｂ．ｃｃ
／ｄｉｒ／ｉｎｄｅｘ．ｈｔｍｌを登録するＵＲＬとし
てデータ登録部１６に与える（図８Ｕ１、Ｕ２、Ｕ
３）。

【００４１】抽出したファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名ではない場合（図４
ステップＳ４２ＮＯ）には、同一ディレクトリ下で、か
つファイル名部分がディレクトリの代表となるＨＴＭＬ
文書ファイル名に対応するＵＲＬが、保存キーワード１
４の保存情報に登録されているか検索を行う（図４ステ
ップＳ４３）。

【００４２】たとえば、与えられたＵＲＬがｈｔｔｐ：
／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｆｉｌｅ．ｈｔｍｌで
ある場合、同一ディレクトリ下で、かつファイル名部分
がディレクトリの代表となるＨＴＭＬ文書ファイル名で
ある文書のＵＲＬはｈｔｔｐ：／／ａａ．ｂｂ．ｃｃ／
ｄｉｒ／ｉｎｄｅｘ．ｈｔｍｌあるいはｈｔｔｐ：／／
ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｈｏｍｅ．ｈｔｍｌである
から、このＵＲＬが保存キーワード１４内の保存情報に
含まれているかどうか検索を行う（図９Ｕ１１、Ｕ１
２）。

【００４３】検索できた場合（図４Ｓ４４ＹＥＳ）に
は、検索された保存情報に含まれるＵＲＬと同じＵＲＬ
を登録するＵＲＬとして、データ登録部１６に与える
（図４ステップＳ４８）。

【００４４】たとえば、与えられた文書のＵＲＬがｈｔ
ｔｐ：／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｆｉｌｅ．ｈｔ
ｍｌであり、かつ保存キーワード１４にＵＲＬがｈｔｔ
ｐ：／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｉｎｄｅｘ．ｈｔ
ｍｌである文書が登録されている場合、ｈｔｔｐ：／／
ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｉｎｄｅｘ．ｈｔｍｌを登
録するＵＲＬとしてデータ登録部１６に与える（図９Ｕ
１３、Ｕ１４）。

【００４５】検索できなかった場合（図４Ｓ４４ＮＯ）
には、１つ上位のディレクトリ下で、かつファイル名部
分がディレクトリの代表となるＨＴＭＬ文書ファイル名
が、保存キーワード１４内の保存情報に含まれているか
どうか検索を行う（図４ステップＳ４５）。

【００４６】たとえば、与えられた文書のＵＲＬがｈｔ
ｔｐ：／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｆｉｌｅ．ｈｔ
ｍｌである場合、１つ上位のディレクトリ下で、かつフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名である文書のＵＲＬはｈｔｔｐ：／／ａａ．
ｂｂ．ｃｃ／ｉｎｄｅｘ．ｈｔｍｌあるいはｈｔｔｐ：
／／ａａ．ｂｂ．ｃｃ／ｈｏｍｅ．ｈｔｍｌであるか
ら、このＵＲＬが保存キーワード１４内の保存情報に保
存されているか検索を行う（図１０Ｕ２１〜Ｕ２４）。

【００４７】検索できた場合（図４ステップＳ４６ＹＥ
Ｓ）には、検索されたＵＲＬと同じＵＲＬを登録するＵ
ＲＬとして、データ登録部１６に与える（図４ステップ
Ｓ４８）。

【００４８】たとえば、与えられたＵＲＬがｈｔｔｐ：
／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｆｉｌｅ．ｈｔｍｌで
あり、かつ保存キーワード１４内の保存情報にＵＲＬが
ｈｔｔｐ：／／ａａ．ｂｂ．ｃｃ／ｉｎｄｅｘ．ｈｔｍ
ｌが登録されている場合、ｈｔｔｐ：／／ａａ．ｂｂ．
ｃｃ／ｉｎｄｅｘ．ｈｔｍｌを登録するＵＲＬとしてデ
ータ登録部１６に与える（図１０Ｕ２５、Ｕ２６）。

【００４９】検索されなかった場合（図４ステップＳ４
６ＮＯ）には、与えられた文書のＵＲＬを登録するＵＲ
Ｌとして、データ登録部１６に与える（図４ステップＳ
４７）。

【００５０】次に、データ登録部１６では、データ比較
部１３からのキーワード、登録ＵＲＬ決定部１５からの
登録するＵＲＬ、およびコード変換処理部１１からの対
応するタイトルを文書検索システム３０に登録する。ま
た、さらに、データ比較部１３からのキーワード、コー
ド変換処理部１１からデータ比較部１３に与えられた元
々のＵＲＬを、保存キーワード１４に１組の保存情報と
して登録し処理を終了する（図２ステップＳ５）。

【００５１】たとえば、与えられたＵＲＬがｈｔｔｐ：
／／ａａ．ｂｂ．ｃｃ／ｄｉｒ／ｆｉｌｅ．ｈｔｍｌで
あり、かつ保存キーワード１４にＵＲＬがｈｔｔｐ：／
／ａａ．ｂｂ．ｃｃ／ｉｎｄｅｘ．ｈｔｍｌである保存
情報が登録されている場合、ＵＲＬをｈｔｔｐ：／／ａ
ａ．ｂｂ．ｃｃ／ｉｎｄｅｘ．ｈｔｍｌとして、文書検
索システム３０にキーワード、およびタイトルを登録
し、さらに、ＵＲＬがｈｔｔｐ：／／ａａ．ｂｂ．ｃｃ
／ｄｉｒ／ｆｉｌｅ．ｈｔｍｌでキーワードを含む保存
情報を保存キーワード１４に登録する（図１０Ｕ２
６）。

【００５２】次に、本発明の第２の実施の形態について
図面を参照して詳細に説明する。図１１は、本発明の第
２の実施の形態の登録ＵＲＬ決定部１５の動作を示すフ
ローチャートである。図１２、図１３は、本発明の第２
の実施の形態の動作を示す説明図である。

【００５３】本発明の第２の実施の形態は、登録ＵＲＬ
決定部１５の動作が第１の実施の形態と異なる（詳細に
は、図１１ステップＡ１０３〜Ａ１０６の処理を有する
点が異なる）。

【００５４】具体例として、保存キーワード１４に図１
２Ｄ１２２に示すような保存情報が既に登録されてお
り、Ｗｅｂロボット２０から、図１２Ｄ１２１に示すよ
うなＨＴＭＬ文書データ２１が入力された場合について
説明する。

【００５５】コード変換処理部１１、キーワード抽出部
１２、およびデータ比較部１３については、第１の実施
の形態の動作と同一であるので説明は省略する。

【００５６】登録ＵＲＬ決定部１５では、与えられた文
書のＵＲＬからファイル名部分の抽出を行う（図１１ス
テップＡ１０１）。たとえば、与えられた文書のＵＲＬ
がｈｔｔｐ：／／ａ．ｂ．ｃ／ｄｄ／ｉｎｄｅｘ．ｈｔ
ｍｌであると、ファイル名部分としてｉｎｄｅｘ．ｈｔ
ｍｌを抽出する（図１３Ｕ１３１、Ｕ１３２）。

【００５７】次に、抽出したファイル名部分が、与えら
れた文書が存在するディレクトリの代表となるＨＴＭＬ
文書ファイル名かどうか、チェックを行う（図１１ステ
ップＡ１０２）。

【００５８】抽出したファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名でない場合（図１１
Ａ１０２ＮＯ）には、動作は第１の実施の形態と同一で
ある。

【００５９】抽出したファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名である場合（図１１
Ａ１０２ＹＥＳ）には、与えられた文書が存在するディ
レクトリ下に存在し、かつファイル名部分がディレクト
リの代表となるＨＴＭＬ文書ファイル名ではないＵＲＬ
を含む保存情報が、保存キーワード１４に登録されてい
るかどうか検索を行う（図１１ステップＡ１０３）。

【００６０】たとえば、与えられたＵＲＬがｈｔｔｐ：
／／ａ．ｂ．ｃ／ｄｄ／ｉｎｄｅｘ．ｈｔｍｌである
と、ｈｔｔｐ：／／ａ．ｂ．ｃ／ｄｄ／下に存在し、か
つファイル名部分がｉｎｄｅｘ．ｈｔｍｌあるいはｈｏ
ｍｅ．ｈｔｍｌではないＵＲＬについて検索を行う（図
１３Ｕ１３３）。

【００６１】検索できた場合（図１１Ａ１０４ＹＥＳ）
には、検索できたＵＲＬを含む保存情報のＵＲＬを与え
られたＵＲＬに変更するように、かつ、与えられたＵＲ
Ｌを文書検索システム３０に登録するＵＲＬとして渡す
ように、データ登録部１６指示する（図１１ステップＡ
１０５）。

【００６２】たとえば、ＵＲＬがｈｔｔｐ：／／ａ．
ｂ．ｃ／ｄｄ／ｅｅ．ｈｔｍｌである保存情報（図１３
Ｕ１３４）が検索されると、この検索された文書のＵＲ
Ｌを、ｈｔｔｐ：／／ａ．ｂ．ｃ／ｄｄ／ｅｅ．ｈｔｍ
ｌからｈｔｔｐ：／／ａ．ｂ．ｃ／ｄｄ／ｉｎｄｅｘ．
ｈｔｍｌに変更し（図１３Ｕ１３５）、文書検索システ
ム３０に登録するＵＲＬはｈｔｔｐ：／／ａ．ｂ．ｃ／
ｄｄ／ｉｎｄｅｘ．ｈｔｍｌに決定する（図１３Ｕ１３
６）。

【００６３】検索されなかった場合（図１１ステップＡ
１０４ＮＯ）には、与えられたＵＲＬを文書検索システ
ム３０に登録するＵＲＬとして、データ登録部１６に与
える（図１１Ａ１０６）。

【００６４】データ登録部１６では、データ比較部１３
からのキーワード、登録ＵＲＬ決定部１５からの登録す
るＵＲＬ、およびコード変換処理部１１からの対応する
タイトルを文書検索システム３０に登録する。また、さ
らに、保存キーワード１４内の登録ＵＲＬ決定部１５に
おいて検索できたＵＲＬを含む保存情報のＵＲＬをコー
ド変換処理部１１からデータ比較部１３に与えられた元
々のＵＲＬで置き換える（図２ステップＳ５）。

【００６５】たとえば、与えられたＵＲＬがｈｔｔｐ：
／／ａ．ｂ．ｃ／ｄｄ／ｉｎｄｅｘ．ｈｔｍｌであり、
かつ保存キーワード１４にＵＲＬがｈｔｔｐ：／／ａ．
ｂ．ｃ／ｄｄ／ｅｅ．ｈｔｍｌである保存情報が登録さ
れている場合、ＵＲＬをｈｔｔｐ：／／ａ．ｂ．ｃ／ｄ
ｄ／ｉｎｄｅｘ．ｈｔｍｌとして、文書検索システム３
０にキーワード、およびタイトルを登録し、さらに、保
存キーワード１４内のＵＲＬがｈｔｔｐ：／／ａ．ｂ．
ｃ／ｄｄ／ｅｅ．ｈｔｍｌである保存情報のＵＲＬをｈ
ｔｔｐ：／／ａ．ｂ．ｃ／ｄｄ／ｉｎｄｅｘ．ｈｔｍｌ
に変更する。

【００６６】したがって、本発明の第２の実施の形態
は、ＵＲＬのファイル名部分がディレクトリの代表とな
るＨＴＭＬ文書ファイル名ではない保存情報が、すでに
保存キーワード１４に登録されている場合、ＵＲＬのフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名である文書が、新たにデータ登録システム１
０に入力されると、すでに登録されている保存情報のＵ
ＲＬが、ＵＲＬのファイル名部分がディレクトリの代表
となるＨＴＭＬ文書ファイル名に統合されるという、新
たな効果を生じる。

【００６７】次に、本発明の第３の実施の形態について
図面を参照して説明する。

【００６８】本発明の第３の実施の形態は、Ｗｅｂロボ
ット２０によって、インターネットから収集されたＨＴ
ＭＬ文書データ２１内のＨＴＭＬ文書の日本語文字コー
ドを統一するため、日本語文字コードの変換を行う第１
のステップ（図２ステップＳ１）と、与えられたＨＴＭ
Ｌ文書に対して形態素解析を行い、全ての名詞をキーワ
ードとして抽出する第２のステップ（図２ステップＳ
２）と、与えられたＵＲＬと同一のＵＲＬを含む保存情
報が保存キーワード１４に存在するかどうか検索する第
３のステップ（図３ステップＳ３１）と、存在しない場
合（図３ステップＳ３２ＮＯ）には、与えられたＵＲＬ
およびキーワードを出力する第４のステップ（図３ステ
ップＳ３５）と、同一のＵＲＬが存在する場合（図３ス
テップＳ３２ＹＥＳ）には、与えられたキーワード全体
とそのＵＲＬを含む保存情報に含まれるキーワード全体
とを比較する第５のステップ（図３ステップＳ３３）
と、この比較において一致が検出されないと（図３ステ
ップＳ３４ＮＯ、図６Ｄ２３、Ｄ２４、Ｄ２５）、与え
られたＵＲＬおよびキーワードを出力する第６のステッ
プ（図３ステップＳ３５）と、一致が検出されると（図
３ステップＳ３４ＹＥＳ、図７Ｄ１２、Ｄ１３、Ｄ１
４、Ｄ１５）、与えられたＵＲＬ、キーワードを出力し
ない第７のステップ（図３ステップＳ３６）と、与えら
れたＵＲＬからファイル名部分の抽出を行う第８のステ
ップ（図４ステップＳ４１）と、抽出したファイル名部
分が、与えられた文書が存在するディレクトリの代表と
なるＨＴＭＬ文書ファイル名かどうか、チェックを行う
第９のステップ（図４ステップＳ４２）と、抽出したフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名である場合（図４ステップＳ４２ＹＥＳ）に
は、与えられた文書のＵＲＬを、登録するＵＲＬとし
て、出力する第１０のステップ（図４ステップＳ４７）
と、抽出したファイル名部分がディレクトリの代表とな
るＨＴＭＬ文書ファイル名ではない場合（図４ステップ
Ｓ４２ＮＯ）には、同一ディレクトリ下で、かつファイ
ル名部分がディレクトリの代表となるＨＴＭＬ文書ファ
イル名に対応するＵＲＬが、保存キーワード１４の保存
情報に登録されているか検索を行う第１１のステップ
（図４ステップＳ４３）と、検索できた場合（図４Ｓ４
４ＹＥＳ）には、検索された保存情報に含まれるＵＲＬ
と同じＵＲＬを登録するＵＲＬとして出力する第１２の
ステップ（図４ステップＳ４８）と、検索できなかった
場合（図４Ｓ４４ＮＯ）には、１つ上位のディレクトリ
下で、かつファイル名部分がディレクトリの代表となる
ＨＴＭＬ文書ファイル名が、保存キーワード１４内の保
存情報に含まれているかどうか検索を行う第１３のステ
ップ（図４ステップＳ４５）と、検索できた場合（図４
ステップＳ４６ＹＥＳ）には、検索されたＵＲＬと同じ
ＵＲＬを登録するＵＲＬとして出力する第１４のステッ
プ（図４ステップＳ４８）と、検索されなかった場合
（図４ステップＳ４６ＮＯ）には、与えられた文書のＵ
ＲＬを登録するＵＲＬとして出力する第１５のステップ
（図４ステップＳ４７）と、キーワード、登録するＵＲ
Ｌ、対応するタイトルを文書検索システム３０に登録
し、さらに、キーワード、与えられた元々のＵＲＬを、
保存キーワード１４に１組の保存情報として登録する第
１６のステップ（図２ステップＳ５）とを含むＨＴＭＬ
文書検索システムへのデータ登録方法である。

【００６９】次に、本発明の第４の実施の形態について
図面を参照して説明する。

【００７０】本発明の第４の実施の形態は、ＵＲＬの決
定部の動作が第３の実施の形態と異なる。詳細には、第
３の実施の形態において抽出したファイル名部分がディ
レクトリの代表となるＨＴＭＬ文書ファイル名である場
合（図４ステップＳ４２ＹＥＳ）の処理が異なる。

【００７１】本発明の第４の実施の形態は、本発明の第
３の実施の形態であって、与えられた文書のＵＲＬから
ファイル名部分の抽出を行う第１７のステップ（図１１
ステップＡ１０１）と、抽出したファイル名部分が、与
えられた文書が存在するディレクトリの代表となるＨＴ
ＭＬ文書ファイル名かどうか、チェックを行う第１８の
ステップ（図１１ステップＡ１０２）と、抽出したファ
イル名部分がディレクトリの代表となるＨＴＭＬ文書フ
ァイル名である場合（図１１Ａ１０２ＹＥＳ）には、与
えられた文書が存在するディレクトリ下に存在し、かつ
ファイル名部分がディレクトリの代表となるＨＴＭＬ文
書ファイル名ではないＵＲＬを含む保存情報が、保存キ
ーワード１４に登録されているかどうか検索を行う第１
９のステップ（図１１ステップＡ１０３）と、検索でき
た場合（図１１Ａ１０４ＹＥＳ）には、検索できたＵＲ
Ｌを含む保存情報のＵＲＬを与えられたＵＲＬに変更す
るように、かつ、与えられたＵＲＬを文書検索システム
３０に登録するＵＲＬとして出力する第２０のステップ
（図１１ステップＡ１０５）と、検索されなかった場合
（図１１ステップＡ１０４ＮＯ）には、与えられたＵＲ
Ｌを文書検索システム３０に登録するＵＲＬとして出力
する第２１のステップ（図１１Ａ１０６）と、キーワー
ド、登録するＵＲＬ、対応するタイトルを文書検索シス
テム３０に登録し、保存キーワード１４内の検索できた
ＵＲＬを含む保存情報のＵＲＬを元々のＵＲＬで置き換
える第２２のステップ（図２ステップＳ５）とを含むＨ
ＴＭＬ文書検索システムへのデータ登録方法である。

【００７２】次に、本発明の第５の実施の形態について
図面を参照して説明する。図１４は、本発明の第５の実
施の形態を示すブロック図である。図１４を参照する
と、本発明の第５の実施の形態は、本発明の第３の実施
の形態の各ステップをコンピュータ１００に実行させる
プログラムを記録した記録媒体１２０である。このプロ
グラムは、記録媒体１２０からコンピュータ１００（た
とえば、本発明の第１の実施の形態のデータ登録システ
ム１０等）にロードされ、実行される。

【００７３】詳細には、本発明の第５の実施の形態は、
Ｗｅｂロボット２０によって、インターネットから収集
されたＨＴＭＬ文書データ２１内のＨＴＭＬ文書の日本
語文字コードを統一するため、日本語文字コードの変換
を行う第１のステップ（図２ステップＳ１）と、与えら
れたＨＴＭＬ文書に対して形態素解析を行い、全ての名
詞をキーワードとして抽出する第２のステップ（図２ス
テップＳ２）と、与えられたＵＲＬと同一のＵＲＬを含
む保存情報が保存キーワード１４に存在するかどうか検
索する第３のステップ（図３ステップＳ３１）と、存在
しない場合（図３ステップＳ３２ＮＯ）には、与えられ
たＵＲＬおよびキーワードを出力する第４のステップ
（図３ステップＳ３５）と、同一のＵＲＬが存在する場
合（図３ステップＳ３２ＹＥＳ）には、与えられたキー
ワード全体とそのＵＲＬを含む保存情報に含まれるキー
ワード全体とを比較する第５のステップ（図３ステップ
Ｓ３３）と、この比較において一致が検出されないと
（図３ステップＳ３４ＮＯ、図６Ｄ２３、Ｄ２４、Ｄ２
５）、与えられたＵＲＬおよびキーワードを出力する第
６のステップ（図３ステップＳ３５）と、一致が検出さ
れると（図３ステップＳ３４ＹＥＳ、図７Ｄ１２、Ｄ１
３、Ｄ１４、Ｄ１５）、与えられたＵＲＬ、キーワード
を出力しない第７のステップ（図３ステップＳ３６）
と、与えられたＵＲＬからファイル名部分の抽出を行う
第８のステップ（図４ステップＳ４１）と、抽出したフ
ァイル名部分が、与えられた文書が存在するディレクト
リの代表となるＨＴＭＬ文書ファイル名かどうか、チェ
ックを行う第９のステップ（図４ステップＳ４２）と、
抽出したファイル名部分がディレクトリの代表となるＨ
ＴＭＬ文書ファイル名である場合（図４ステップＳ４２
ＹＥＳ）には、与えられたＵＲＬを、登録するＵＲＬと
して、出力する第１０のステップ（図４ステップＳ４
７）と、抽出したファイル名部分がディレクトリの代表
となるＨＴＭＬ文書ファイル名ではない場合（図４ステ
ップＳ４２ＮＯ）には、同一ディレクトリ下で、かつフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名に対応するＵＲＬが、保存キーワード１４の
保存情報に登録されているかどうか検索を行う第１１の
ステップ（図４ステップＳ４３）と、検索できた場合
（図４Ｓ４４ＹＥＳ）には、検索された保存情報に含ま
れるＵＲＬと同じＵＲＬを登録するＵＲＬとして出力す
る第１２のステップ（図４ステップＳ４８）と、検索で
きなかった場合（図４Ｓ４４ＮＯ）には、１つ上位のデ
ィレクトリ下で、かつファイル名部分がディレクトリの
代表となるＨＴＭＬ文書ファイル名が、保存キーワード
１４内の保存情報に含まれているかどうか検索を行う第
１３のステップ（図４ステップＳ４５）と、検索できた
場合（図４ステップＳ４６ＹＥＳ）には、検索されたＵ
ＲＬと同じＵＲＬを登録するＵＲＬとして出力する第１
４のステップ（図４ステップＳ４８）と、検索されなか
った場合（図４ステップＳ４６ＮＯ）には、与えられた
文書のＵＲＬを登録するＵＲＬとして出力する第１５の
ステップ（図４ステップＳ４７）と、キーワード、登録
するＵＲＬ、対応するタイトルを文書検索システム３０
に登録し、さらに、キーワード、与えられた元々のＵＲ
Ｌを、保存キーワード１４に１組の保存情報として登録
する第１６のステップ（図２ステップＳ５）とをコンピ
ュータ１００に実行させるプログラムを記録した記録媒
体１２０である。

【００７４】次に、本発明の第６の実施の形態について
図面を参照して説明する。図１４を参照すると、本発明
の第６の実施の形態は、本発明の第４の実施の形態の各
ステップをコンピュータ１００に実行させるプログラム
を記録した記録媒体１２０である。このプログラムは、
記録媒体１２０からコンピュータ１００（たとえば、本
発明の第１の実施の形態のデータ登録システム１０等）
にロードされ、実行される。

【００７５】詳細には、本発明の第６の実施の形態は、
本発明の第３の実施の形態に含まれる各ステップと、与
えられた文書のＵＲＬからファイル名部分の抽出を行う
第１７のステップ（図１１ステップＡ１０１）と、抽出
したファイル名部分が、与えられた文書が存在するディ
レクトリの代表となるＨＴＭＬ文書ファイル名かどう
か、チェックを行う第１８のステップ（図１１ステップ
Ａ１０２）と、抽出したファイル名部分がディレクトリ
の代表となるＨＴＭＬ文書ファイル名である場合（図１
１Ａ１０２ＹＥＳ）には、与えられた文書が存在するデ
ィレクトリ下に存在し、かつファイル名部分がディレク
トリの代表となるＨＴＭＬ文書ファイル名ではないＵＲ
Ｌを含む保存情報が、保存キーワード１４に登録されて
いるかどうか検索を行う第１９のステップ（図１１ステ
ップＡ１０３）と、検索できた場合（図１１Ａ１０４Ｙ
ＥＳ）には、検索できたＵＲＬを含む保存情報のＵＲＬ
を与えられたＵＲＬに変更するように、かつ、与えられ
たＵＲＬを文書検索システム３０に登録するＵＲＬとし
て出力する第２０のステップ（図１１ステップＡ１０
５）と、検索されなかった場合（図１１ステップＡ１０
４ＮＯ）には、与えられたＵＲＬを文書検索システム３
０に登録するＵＲＬとして出力する第２１のステップ
（図１１Ａ１０６）と、キーワード、登録するＵＲＬ、
対応するタイトルを文書検索システム３０に登録し、保
存キーワード１４内の検索できたＵＲＬを含む保存情報
のＵＲＬを元々のＵＲＬで置き換える第２２のステップ
（図２ステップＳ５）とをコンピュータ１００に実行さ
せるプログラムを記録した記録媒体１２０である。

【００７６】

【発明の効果】本発明の第１の効果は、文書検索システ
ムに効率的なデータ登録が可能となることである。

【００７７】その理由は、新規に登録するＨＴＭＬ文書
のキーワードと、過去に文書検索システムに登録されて
いるキーワードとを比較し、変更がある場合にのみ登録
を行うからである。

【００７８】第２の効果は、文書検索システムにおける
検索効率が向上することである。

【００７９】その理由は、ＵＲＬのファイル名部分が、
ディレクトリの代表となるＨＴＭＬ文書ファイル名（ｉ
ｎｄｅｘ．ｈｔｍｌ，ｈｏｍｅ．ｈｔｍｌなど）以外の
ＨＴＭＬ文書は、同一ディレクトリ、あるいは上位ディ
レクトリの代表となるＨＴＭＬ文書ファイル名で登録を
行う点にある。この結果、文書検索システムに利用者が
探したい条件を入力して検索を実行したときに、同種の
ＨＴＭＬ文書が多数検索される場合を軽減することがで
きるからである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】本発明の第１の実施の形態の動作を示すフロー
チャートである。

【図３】図１のデータ比較部の動作を示す詳細フローチ
ャートである。

【図４】図１の登録ＵＲＬ決定部の動作を示す詳細フロ
ーチャートである。

【図５】図１のコード変換処理部、キーワード抽出部の
動作を示す説明図である。

【図６】図１のデータ比較部の動作を示す説明図であ
る。

【図７】図１データ比較部の動作を示す説明図である。

【図８】図１の登録ＵＲＬ決定部の動作を示す説明図で
ある。

【図９】図１の登録ＵＲＬ決定部の動作を示す説明図で
ある。

【図１０】図１の登録ＵＲＬ決定部、データ登録部の動
作を示す説明図である。

【図１１】本発明の第２の実施の形態の登録ＵＲＬ決定
部の動作を示すフローチャートである。

【図１２】本発明の第２の実施の形態の動作を示す説明
図である。

【図１３】本発明の第２の実施の形態の動作を示す説明
図である。

【図１４】本発明の第５の実施の形態を示すブロック図
である。

【符号の説明】

１０データ登録システム１１コード変換処理部１２キーワード抽出部１３データ比較部１４保存キーワード１５登録ＵＲＬ決定部１６データ登録部２０Ｗｅｂロボット２１ＨＴＭＬ文書データ３０文書検索システム１００コンピュータ１２０記録媒体

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/419 ３２０

Claims

【特許請求の範囲】

【請求項１】インターネットから採取したＨＴＭＬ文
書からＵＲＬ、およびキーワードを抽出して保存情報と
して保存し、新たに採取したＨＴＭＬ文書のＵＲＬと前
記保存情報内のＵＲＬとを比較し、一致しなければ、前
記新たに採取したＨＴＭＬ文書のＵＲＬ、およびキーワ
ードを前記保存情報として別に保存し、かつ、文書検索
システムに与えるための第１の処理に進み、一致すれ
ば、前記新たに採取したＨＴＭＬ文書から抽出したキー
ワードとＵＲＬが一致した前記保存情報内のキーワード
とを比較し、一致しなければ、前記新たに採取したＨＴ
ＭＬ文書のＵＲＬ、およびキーワードを前記保存情報と
して別に保存し、かつ、前記文書検索システムに与える
ための第２の処理に進み、一致すれば、前記保存情報を
変更せず、前記文書検索システムにＵＲＬ、キーワード
を与えないようにする手段を有することを特徴とするＨ
ＴＭＬ文書検索システムへのデータ登録システム。
【請求項２】前記第１または前記第２の処理に進んだ
場合に、前記新たに採取したＨＴＭＬ文書のＵＲＬのフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名であれば、前記新たに採取したＨＴＭＬ文書
のＵＲＬ、およびキーワードを前記保存情報として別に
保存し、かつ、文書検索システムに与え、ディレクトリ
の代表となるＨＴＭＬ文書ファイル名でなければ、同一
ディレクトリあるいは上位ディレクトリでかつファイル
名部分がディレクトリの代表となるＨＴＭＬ文書ファイ
ル名を含むＵＲＬが前記保存情報が存在すれば、存在し
た前記保存情報のキーワードを前記新たに採取したＨＴ
ＭＬから抽出したキーワードに置き換え、存在した前記
保存情報内のＵＲＬおよび前記新たに採取したＨＴＭＬ
から抽出したキーワードを前記文書検索システムに与え
る手段を有することを特徴とする請求項１記載のＨＴＭ
Ｌ文書検索システムへのデータ登録システム。
【請求項３】前記第１または前記第２の処理に進んだ
場合に、前記新たに採取したＨＴＭＬ文書のＵＲＬのフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名であれば、同一ディレクトリでかつファイル
名部分がディレクトリの代表ではないＨＴＭＬファイル
名を含むＵＲＬが前記保存情報に存在すれば、存在した
前記保存情報のＵＲＬを、前記新たに採取したＨＴＭＬ
文書のＵＲＬで置き換え、前記新たに採取したＨＴＭＬ
文書のＵＲＬ、および前記新たに採取したＨＴＭＬから
抽出したキーワードを前記検索システムに登録し、存在
しなければ、前記新たに採取したＨＴＭＬ文書のＵＲ
Ｌ、および前記新たに採取したＨＴＭＬから抽出したキ
ーワードを前記検索システムに登録し、前記新たに採取
したＨＴＭＬ文書のＵＲＬのファイル名部分がディレク
トリの代表となるＨＴＭＬ文書ファイル名でなければ、
同一ディレクトリあるいは上位ディレクトリでかつファ
イル名部分がディレクトリの代表となるＨＴＭＬ文書フ
ァイル名を含むＵＲＬが前記保存情報に存在すれば、存
在した前記保存情報のキーワードを前記新たに採取した
ＨＴＭＬから抽出したキーワードに置き換え、存在した
前記保存情報内のＵＲＬおよび前記新たに採取したＨＴ
ＭＬから抽出したキーワード文書検索システムに与える
手段を有することを特徴とする請求項１記載のＨＴＭＬ
文書検索システムへのデータ登録システム。
【請求項４】（ａ）インターネットに接続されている多
数のＷｅｂサーバからＨＴＭＬ文書の取得を行い、ＵＲ
Ｌを含むＨＴＭＬ文書データとして保存するＷｅｂロボ
ットと、（ｂ）前記ＨＴＭＬ文書データからのＨＴＭＬ
文書の日本語文字コードの統一を行うため日本語文字コ
ードの変換を行うコード変換処理部と、（ｃ）前記コー
ド変換処理部において変換されたＨＴＭＬ文書を形態素
解析してすべての名詞をキーワードとして抽出するキー
ワード抽出部と、（ｄ）すでに保存されている前記保存
情報内のキーワードと前記キーワード抽出部で抽出され
たキーワードとの比較を行うデータ比較部と、（ｅ）前
記保存情報を１以上保存する保存キーワードと、（ｆ）
前記コード変換処理部において変換されたＨＴＭＬ文書
から前記文書検索システムに登録するＵＲＬ、タイトル
を決定する登録ＵＲＬ決定部と、（ｇ）前記登録ＵＲＬ
決定部で決定したＵＲＬ、タイトルと前記キーワード抽
出部で抽出したキーワードとを前記文書検索システムに
登録する処理を行い、同時に前記キーワード抽出部で抽
出したキーワード、および前記コード変換処理部におい
て変換されたＨＴＭＬ文書からのＵＲＬを１組の保存情
報として前記保存キーワードに保存するデータ登録部
と、を有することを特徴とする請求項１、請求項２、ま
たは請求項３記載のＨＴＭＬ文書検索システムへのデー
タ登録システム。
【請求項５】インターネットから採取したＨＴＭＬ文
書からＵＲＬ、およびキーワードを抽出して保存情報と
して保存し、新たに採取したＨＴＭＬ文書のＵＲＬと前
記保存情報内のＵＲＬとを比較し、一致しなければ、前
記新たに採取したＨＴＭＬ文書のＵＲＬ、およびキーワ
ードを前記保存情報として別に保存し、かつ、文書検索
システムに与えるための第１の処理に進み、一致すれ
ば、前記新たに採取したＨＴＭＬ文書から抽出したキー
ワードとＵＲＬが一致した前記保存情報内のキーワード
とを比較し、一致しなければ、前記新たに採取したＨＴ
ＭＬ文書のＵＲＬ、およびキーワードを前記保存情報と
して別に保存し、かつ、前記文書検索システムに与える
ための第２の処理に進み、一致すれば、前記保存情報を
変更せず、前記文書検索システムにＵＲＬ、キーワード
を与えないようにする手順を有することを特徴とするＨ
ＴＭＬ文書検索システムへのデータ登録方法。
【請求項６】前記第１または前記第２の処理に進んだ場
合に、前記新たに採取したＨＴＭＬ文書のＵＲＬのファ
イル名部分がディレクトリの代表となるＨＴＭＬ文書フ
ァイル名であれば、前記新たに採取したＨＴＭＬ文書の
ＵＲＬ、およびキーワードを前記保存情報として別に保
存し、かつ、文書検索システムに与え、ディレクトリの
代表となるＨＴＭＬ文書ファイル名でなければ、同一デ
ィレクトリあるいは上位ディレクトリでかつファイル名
部分がディレクトリの代表となるＨＴＭＬ文書ファイル
名を含むＵＲＬが前記保存情報が存在すれば、存在した
前記保存情報のキーワードを前記新たに採取したＨＴＭ
Ｌから抽出したキーワードに置き換え、存在した前記保
存情報内のＵＲＬおよび前記新たに採取したＨＴＭＬか
ら抽出したキーワードを前記文書検索システムに与える
手順を有することを特徴とする請求項５記載のＨＴＭＬ
文書検索システムへのデータ登録方法。
【請求項７】前記第１または前記第２の処理に進んだ
場合に、前記新たに採取したＨＴＭＬ文書のＵＲＬのフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名であれば、同一ディレクトリでかつファイル
名部分がディレクトリの代表ではないＨＴＭＬファイル
名を含むＵＲＬが前記保存情報に存在すれば、存在した
前記保存情報のＵＲＬを、前記新たに採取したＨＴＭＬ
文書のＵＲＬで置き換え、前記新たに採取したＨＴＭＬ
文書のＵＲＬ、および前記新たに採取したＨＴＭＬから
抽出したキーワードを前記検索システムに登録し、存在
しなければ、前記新たに採取したＨＴＭＬ文書のＵＲ
Ｌ、および前記新たに採取したＨＴＭＬから抽出したキ
ーワードを前記検索システムに登録し、前記新たに採取
したＨＴＭＬ文書のＵＲＬのファイル名部分がディレク
トリの代表となるＨＴＭＬ文書ファイル名でなければ、
同一ディレクトリあるいは上位ディレクトリでかつファ
イル名部分がディレクトリの代表となるＨＴＭＬ文書フ
ァイル名を含むＵＲＬが前記保存情報に存在すれば、存
在した前記保存情報のキーワードを前記新たに採取した
ＨＴＭＬから抽出したキーワードに置き換え、存在した
前記保存情報内のＵＲＬおよび前記新たに採取したＨＴ
ＭＬから抽出したキーワード文書検索システムに与える
手順を有することを特徴とする請求項５記載のＨＴＭＬ
文書検索システムへのデータ登録方法。
【請求項８】（ａ）Ｗｅｂロボットによって、インター
ネットから収集されたＨＴＭＬ文書の日本語文字コード
を統一するため、日本語文字コードの変換を行い変換後
ＨＴＭＬ文書を出力する第１のステップと、（ｂ）前記
変換後ＨＴＭＬ文書に対して形態素解析を行い、全ての
名詞をキーワードとして抽出し、ＵＲＬとともに出力す
る第２のステップと、（ｃ）前記第２のステップから与
えられたＵＲＬと同一のＵＲＬを含む保存情報が存在す
るかどうか検索する第３のステップと、（ｄ）前記第３
のステップにおいて、存在しないと判定された場合に
は、前記第２のステップから与えられたＵＲＬおよびキ
ーワードを出力する第４のステップと、（ｅ）前記第３
のステップにおいて、同一のＵＲＬが存在すると判定さ
れた場合には、前記第２のステップにおいて抽出された
キーワード全体とそのＵＲＬを含む保存情報に含まれる
キーワード全体とを比較する第５のステップと、（ｆ）
前記第５のステップにおける比較で一致が検出されない
と、前記第２のステップから与えられたＵＲＬおよびキ
ーワードを出力する第６のステップと、（ｇ）前記第５
のステップにおける比較で一致が検出されると、ＵＲ
Ｌ、キーワードを出力しない第７のステップと、（ｈ）
前記第４のステップまたは第６のステップから与えられ
たＵＲＬのファイル名部分の抽出を行う第８のステップ
と、（ｉ）前記第８のステップにおいて抽出されたファ
イル名部分が、前記インターネットから収集されたＨＴ
ＭＬ文書が存在するディレクトリの代表となるＨＴＭＬ
文書ファイル名かどうか、チェックを行う第９のステッ
プと、（ｊ）前記第９のステップにおいて抽出されたフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名である場合には、前記第２のステップから与
えられたＵＲＬを登録するＵＲＬとして出力する第１０
のステップと、（ｋ）前記第９のステップにおいて抽出
されたファイル名部分がディレクトリの代表となるＨＴ
ＭＬ文書ファイル名ではない場合には、同一ディレクト
リ下で、かつファイル名部分がディレクトリの代表とな
るＨＴＭＬ文書ファイル名に対応するＵＲＬが、前記保
存情報に登録されているかどうか検索を行う第１１のス
テップと、（ｌ）前記第１１のステップにおいて検索で
きた場合には、検索された保存情報に含まれるＵＲＬと
同じＵＲＬを登録するＵＲＬとして出力する第１２のス
テップと、（ｍ）前記第１１のステップにおいて検索で
きなかった場合には、１つ上位のディレクトリ下で、か
つファイル名部分がディレクトリの代表となるＨＴＭＬ
文書ファイル名が保存情報に含まれているかどうか検索
を行う第１３のステップと、（ｎ）前記第１３のステッ
プにおいて検索できた場合には、検索されたＵＲＬと同
じＵＲＬを登録するＵＲＬとして出力する第１４のステ
ップと、（ｏ）前記第１３のステップにおいて検索され
なかった場合には、前記第２のステップから与えられた
ＵＲＬを登録するＵＲＬとして出力する第１５のステッ
プと、（ｐ）前記第２のステップからのキーワード、前
記登録するＵＲＬを文書検索システムに登録し、さら
に、前記第２のステップからのキーワードキーワード、
ＵＲＬを、１組の保存情報として登録する第１６のステ
ップと、を含むことを特徴とするＨＴＭＬ文書検索シス
テムへのデータ登録方法。
【請求項９】（ａ）Ｗｅｂロボットによって、インター
ネットから収集されたＨＴＭＬ文書の日本語文字コード
を統一するため、日本語文字コードの変換を行い変換後
ＨＴＭＬ文書を出力する第１のステップと、（ｂ）前記
変換後ＨＴＭＬ文書に対して形態素解析を行い、全ての
名詞をキーワードとして抽出し、ＵＲＬとともに出力す
る第２のステップと、（ｃ）前記第２のステップから与
えられたＵＲＬと同一のＵＲＬを含む保存情報が存在す
るかどうか検索する第３のステップと、（ｄ）前記第３
のステップにおいて、存在しないと判定された場合に
は、前記第２のステップから与えられたＵＲＬおよびキ
ーワードを出力する第４のステップと、（ｅ）前記第３
のステップにおいて、同一のＵＲＬが存在すると判定さ
れた場合には、前記第２のステップにおいて抽出された
キーワード全体とそのＵＲＬを含む保存情報に含まれる
キーワード全体とを比較する第５のステップと、（ｆ）
前記第５のステップにおける比較で一致が検出されない
と、前記第２のステップから与えられたＵＲＬおよびキ
ーワードを出力する第６のステップと、（ｇ）前記第５
のステップにおける比較で一致が検出されると、ＵＲ
Ｌ、キーワードを出力しない第７のステップと、（ｈ）
前記第４のステップまたは第６のステップから与えられ
たＵＲＬのファイル名部分の抽出を行う第８のステップ
と、（ｉ）前記第８のステップにおいて抽出されたファ
イル名部分が、前記インターネットから収集されたＨＴ
ＭＬ文書が存在するディレクトリの代表となるＨＴＭＬ
文書ファイル名かどうか、チェックを行う第９のステッ
プと、（ｊ）前記第９のステップにおいて抽出されたフ
ァイル名部分がディレクトリの代表となるＨＴＭＬ文書
ファイル名である場合には、前記第２のステップから与
えられたＵＲＬを登録するＵＲＬとして出力する第１０
のステップと、（ｋ）前記第９のステップにおいて抽出
されたファイル名部分がディレクトリの代表となるＨＴ
ＭＬ文書ファイル名ではない場合には、同一ディレクト
リ下で、かつファイル名部分がディレクトリの代表とな
るＨＴＭＬ文書ファイル名に対応するＵＲＬが、前記保
存情報に登録されているかどうか検索を行う第１１のス
テップと、（ｌ）前記第１１のステップにおいて検索で
きた場合には、検索された保存情報に含まれるＵＲＬと
同じＵＲＬを登録するＵＲＬとして出力する第１２のス
テップと、（ｍ）前記第１１のステップにおいて検索で
きなかった場合には、１つ上位のディレクトリ下で、か
つファイル名部分がディレクトリの代表となるＨＴＭＬ
文書ファイル名が保存情報に含まれているかどうか検索
を行う第１３のステップと、（ｎ）前記第１３のステッ
プにおいて検索できた場合には、検索されたＵＲＬと同
じＵＲＬを登録するＵＲＬとして出力する第１４のステ
ップと、（ｏ）前記第１３のステップにおいて検索され
なかった場合には、前記第２のステップから与えられた
ＵＲＬを登録するＵＲＬとして出力する第１５のステッ
プと、（ｐ）前記第２のステップからのキーワード、前
記登録するＵＲＬを文書検索システムに登録し、さら
に、前記第２のステップからのキーワードキーワード、
ＵＲＬを、１組の保存情報として登録する第１６のステ
ップと、をコンピュータに実行させるプログラムを記録
したことを特徴とする記録媒体。