JP2004185303A

JP2004185303A - Ｗｗｗサイト履歴検索装置及び方法並びにプログラム

Info

Publication number: JP2004185303A
Application number: JP2002351405A
Authority: JP
Inventors: Takayuki Tamura; 孝之田村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-12-03
Filing date: 2002-12-03
Publication date: 2004-07-02
Anticipated expiration: 2022-12-03
Also published as: JP4259858B2

Abstract

【課題】ＷＷＷ文書の収集規模を抑えながら、ＷＷＷサイトの無効ＵＲＬを防止することができ、閲覧者が初めて辿ったＵＲＬが指定するＷＷＷ文書内容に変更があった場合にも、リアルタイムに元のＷＷＷ文書内容やこれに類似する内容を指定するＵＲＬを返信するＷＷＷサイト履歴検索装置を提供する。
【解決手段】インターネット４を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集するＷＷＷ文書収集部５と、ＷＷＷ文書をそのＵＲＬに関連付けて保存するＷＷＷ文書履歴格納部６と、履歴検索要求されたＵＲＬに基づいてＷＷＷ文書履歴格納部６内のＷＷＷ文書を検索する履歴検索部９と、履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬをＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して履歴検索部９に出力するＵＲＬ正規化部８とを備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明はＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ、ウェブ）サイトで公開される情報を構成するＷＷＷ文書を定期的に収集・保存し、無効になったＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）でのアクセス要求に対して適切なＷＷＷ文書内容を出力することができるＷＷＷサイト履歴検索装置及びＷＷＷサイト履歴検索方法並びにＷＷＷサイト履歴検索装置としてコンピュータを機能させるプログラムに関するものである。
【０００２】
【従来の技術】
今日、インターネット上では急速に普及したＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ、ウェブ）サービスに基づく種々の情報が公開されている。このＷＷＷにおける情報は、ＷＷＷ文書と呼ばれるＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）で記述されたテキストファイルを中心とした情報で構成されている。また、複数のコンピュータ（ＷＷＷサーバ）によりインターネットを介して提供される種々の情報は、ＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）と呼ばれる文字列により一意に識別される。
【０００３】
ここで、ＵＲＬ文字列の例を以下に示す。
ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔｓ／ｏｒｄｅｒ．ｈｔｍｌ
【０００４】
ＵＲＬは、通信プロトコルとしてＨＴＴＰ（ＨｙｐｅｒＴｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）を用いることを示すキーワード「ｈｔｔｐ：／／」で始まり、続いてＷＷＷサーバ名（ドメイン名）を示す「ｗｗｗ．ｘｘｘ．ｃｏ．ｊｐ」、ＷＷＷサーバ内識別子として「／ｐｒｏｄｕｃｔｓ／ｏｒｄｅｒ．ｈｔｍｌ」が記述される。通常、ＵＲＬは、ＷＷＷサーバに内容が静的に（予め）管理されたファイルに対応しており、静的ＵＲＬと呼ばれる。
【０００５】
一方、下記のＵＲＬは、動的ＵＲＬと呼ばれるものである。
ｈｔｔｐ：／／ｗｗｗ．ｘｘｘ．ｃｏ．ｊｐ／ｖｉｅｗ．ｃｇｉ？ｉｔｅｍ＝１２３＆ｓｏｒｔｂｙ＝ｄａｔｅ
【０００６】
ＷＷＷサーバ内識別子に対応する文字列のうち、「？」以降の部分は、パラメータ名（「ｉｔｅｍ」及び「ｓｏｒｔｂｙ」）とパラメータ値（１２３及び「ｄａｔｅ」）の組を列挙したものである。この部分は、「？」以前の文字列「ｖｉｅｗ．ｃｇｉ」にて指定されるＷＷＷサーバ上のプログラムに設定されるパラメータを示している。つまり、動的ＵＲＬは、内容が静的に管理されたファイルを指定するものではなく、上記パラメータが設定されたプログラムをＷＷＷサーバが実行することで動的に得られる情報を指定する。以降、静的ＵＲＬ及び動的ＵＲＬにおけるパラメータに関する部分（パラメータ名及びパラメータ値）以外をＵＲＬパスと呼ぶこととする。
【０００７】
また、動的ＵＲＬは、静的ＵＲＬと同様にＷＷＷ文書中のリンクとして指定される一方、ＷＷＷブラウザによってフォームと呼ばれる形式のＷＷＷ文書から動的に生成される。ここで、フォームとは、ＵＲＬパスと各パラメータとが個別に記述される形式であり、ＷＷＷブラウザを介して閲覧者が各パラメータの値を選択することや記述することができる。
【０００８】
フォームで使用されるＷＷＷサーバへのアクセス方法としては２種類が一般的である。すなわち、１つはＵＲＬパスとパラメータから動的ＵＲＬを生成するＧＥＴメソッド、もう１つはＵＲＬパスとパラメータを別々の情報としてＷＷＷサーバに送るＰＯＳＴメソッドである。以降では、ＧＥＴメソッドを例として説明する。
【０００９】
先ず、一般的なＷＷＷサーバの構成及び動作について説明する。
ＷＷＷサーバは、インターネットを介してＷＷＷブラウザが動作する端末装置と通信可能なコンピュータによって具現化される。ＷＷＷサーバには、ＷＷＷブラウザからのＨＴＴＰ要求に応答するプログラムであるＨＴＴＰサーバが動作している。このＨＴＴＰサーバは、静的ＵＲＬによる要求があると静的にファイル内容を記憶する記憶装置から静的ＵＲＬに対応するファイルを取得する。この記憶装置は、ＷＷＷサーバを具現化するコンピュータに標準的に搭載された磁気ディスク装置等により構成され、ファイルの読み出しや書き込みを制御する処理部を含めたファイル管理システムとして実現される。このとき、上記記憶装置は、静的ＵＲＬのＷＷＷサーバ内識別子をファイル名として解釈し、これに対応するファイルの内容を特定する。
【００１０】
一方、動的ＵＲＬによる要求があると、ＨＴＴＰサーバは、当該動的ＵＲＬに設定されたパラメータと、動的コンテンツとして提供すべき情報をまとめた動的コンテンツデータベースから読み出される情報とに基づいて、動的ＵＲＬによる要求がある度に動的コンテンツ内容を生成する。
【００１１】
上述したようなＷＷＷ文書を指定するＵＲＬ自体は、ブックマークとしてＷＷＷブラウザに格納されたり、リンクとして他のＷＷＷ文書に埋め込まれたりする。一方、ＵＲＬとＷＷＷ文書との関連付けは、ＷＷＷサーバの運用者に一任されている。これにより、ＷＷＷサーバの運用者は、随時ＷＷＷ文書の内容を変更したり、ＵＲＬの変更や廃止を行うことができる。
【００１２】
また、動的ＵＲＬでは、動的コンテンツ生成プログラムである上記機能部の変更や、動的コンテンツデータベースの更新によってもＷＷＷ文書の内容やＵＲＬが変更され得る。このため、上述した変更がＷＷＷサーバにおいて頻繁に行われると、閲覧者が指定したＵＲＬが無効になっていたり、以前と内容が異なっているという事態が発生する。
【００１３】
特に、企業の商業サイトなど多くの商品を扱うようなＷＷＷサイトでは、掲載内容が刻々と変化する上、より多くの顧客を引き付けようとサイトの構成（具体的には、ＷＷＷ文書の配置など）も頻繁に変更される場合が多々ある。これにより、無効なＵＲＬを作らないように作業することや過去のＷＷＷ文書の内容を網羅的に保存しておくことが極めて困難になっている。この結果として生じる無効ＵＲＬは、閲覧者の利便性を阻害するだけでなく、ＷＷＷサーバの運用者にとっても閲覧者に不快感を与えることによる損失を被る可能性がある。
【００１４】
このような不具合を解消する技術として、あるＵＲＬで指定されるＷＷＷ文書の内容を当該ＵＲＬに関連付けてＷＷＷブラウザ側に予め保存しておき、当該ＵＲＬが指定するＷＷＷ文書のＷＷＷサイト内での配置変更の有無を閲覧時に検知して移動先などを探索するシステムが提案されている（例えば、特許文献１参照）。このシステムは、アクセス要求したＵＲＬで指定されるＷＷＷ文書がＷＷＷサイト内で配置変更されていると、当該ＵＲＬに関連付けて保存されたＷＷＷ文書から抽出したキーワードにてＷＷＷサイト内から配置変更後のＷＷＷ文書を検出し、閲覧者に提供する。このように、本システムでは、閲覧者が過去に参照したＷＷＷ文書に関して、参照時点の内容を保存したり、移動先を追跡することが可能である。
【００１５】
しかしながら、閲覧者が管理するＷＷＷブラウザ側からＷＷＷサーバにアクセスしてＷＷＷ文書の移動の有無の検出や移動情報の取得を行うことから、これらの処理を実行する際に必要とする通信費用は、ＷＷＷブラウザを管理する閲覧者が負担しなければならない。このように、特許文献１に開示される発明では、閲覧者の自発的な協力を前提としており、ＷＷＷサイトの運営者側があらゆる閲覧者に不快感を抱かせず、当該サイトに閲覧者を引き止めるための方法としては効果を期待できない。
【００１６】
また、上述したものの他に、無効なＵＲＬが要求された場合に、ＷＷＷサーバ側から「ＮＯＴＦＯＵＮＤ」などのエラーメッセージを返す代わりに、ＵＲＬ文字列の一部から推定した移動先ＵＲＬの候補を提示したり、移動先をキーワードで検索するインタフェースを提示する技術もある。しかしながら、当該技術を適用したシステムでは、ＷＷＷサイトのエントランスページなどのように移動先が明確な場合を除き、アクセス要求したＵＲＬに対応する移動先ＵＲＬを閲覧者が上記移動先ＵＲＬ候補のうちから判断する必要がある。また、キーワードによる検索では必ずしも移動先のＷＷＷ文書の内容が検索結果として抽出されるかどうか定かではない。このように、当該技術では、上述した不具合の抜本的な解決にはなっておらず、閲覧者の利便性の向上には至っていない。
【００１７】
一方、第３者であるインターネット検索エンジンにおいて、例えばＧｏｏｇｌｅ（登録商標）（ｈｔｔｐ：／／ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ／）では検索結果のＵＲＬだけではなく、内容をキャッシュとして保存し、利用者に提供するサービスを実施している。これにより、当該検索エンジンが検索対象としたＷＷＷ文書に関しては、オリジナルのＷＷＷサーバ上のＵＲＬが無効になっても元の内容を参照することができる。
【００１８】
また、インターネットアーカイブが提供するＷａｙＢａｃｋＭａｃｈｉｎｅ（ｈｔｔｐ：／／ｗｅｂ．ａｒｃｈｉｖｅ．ｏｒｇ／）では、定期的に収集したインターネット上のＷＷＷサイトの網羅的なスナップショットを保存しており、ＵＲＬに対する過去の内容を提供するサービスを提供している。これにより、収集されたＵＲＬに関しては、内容が上書きされた場合に元の内容を参照することが可能である。
【００１９】
上述したような第３者の検索エンジンによって収集・保存されたＷＷＷ文書の内容を利用する技術では、第３者の検索エンジンによる収集対象がインターネット上の全てのＷＷＷ文書となる。このようにインターネット上の全てのＷＷＷ文書を収集対象とすると、多大な通信費用が必要となる上、収集した情報を格納する大容量の記憶装置などの高価なハードウェア資源も必要となる。これにより、上述したような第３者の検索エンジンを利用するシステムでは、情報収集の間隔を空けざるを得なくなり、その周期は通常１ヵ月程度と比較的長い。また、ＷＷＷ文書を収集するＷＷＷサイトも特定のものに限られる場合が一般的であり、必ずしも全てのＷＷＷ文書が保存される保証はない。
【００２０】
また、動的ＵＲＬでは、パラメータ名とパラメータ値との組み合わせが膨大な数になる可能性があり、これら全ての組み合わせに関するＵＲＬで指定される情報を収集するには通信量が増加して通信費用も膨大なものになる。このため、情報収集を実行する周期を長くせざるを得ない。これにより、ＷＷＷサイトの構成変更を完全に網羅することができず、必ずしも望ましい処理内容を閲覧者に提供することができない。
【００２１】
【特許文献１】
特開２０００−２０７４１８
【００２２】
【発明が解決しようとする課題】
特許文献１に開示される従来のシステムでは、ＷＷＷブラウザ側に保存しておいたＷＷＷ文書から抽出したキーワードにてＷＷＷサイト内から配置変更後の上記ＷＷＷ文書の内容及びそのＵＲＬを検出することから、閲覧者が当該ＷＷＷサイト内において初めて辿ったＵＲＬについては全く対応することができないという課題があった。つまり、閲覧者が過去にアクセスして内容及びＵＲＬが保存されたＷＷＷ文書でないと、配置変更後のＷＷＷ文書を検出することができない。
【００２３】
この発明は上記のような課題を解決するためになされたもので、ＷＷＷサイト上で本質的に重要なＷＷＷ文書を収集対象として設定する収集ルールを設け、当該収集ルールに従ってＷＷＷ文書内容を網羅的に収集・保存しておくことで、本質的な内容が不足しない程度にＷＷＷ文書の収集規模を抑えながら、ＷＷＷサイトの無効ＵＲＬを防止することができ、上記収集ルールに基づいて収集対象外とされたＵＲＬを収集済みのＵＲＬに変換することで、閲覧者が初めて辿ったＵＲＬが指定するＷＷＷ文書内容に変更があった場合にも、リアルタイムに元のＷＷＷ文書内容やこれに類似する内容を指定するＵＲＬを返信することができるＷＷＷサイト履歴検索装置及びＷＷＷサイトの履歴検索方法並びにＷＷＷサイト履歴検索装置としてコンピュータを機能させるプログラムを得ることを目的とする。
【００２４】
【課題を解決するための手段】
この発明に係るＷＷＷサイト履歴検索装置は、電気通信回線を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集する収集部と、上記収集部が収集したＷＷＷ文書をそのＵＲＬに関連付けて保存する履歴格納部と、履歴検索要求として入力されたＵＲＬに基づいて上記履歴格納部に保存したＷＷＷ文書を検索する履歴検索部と、上記履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して上記履歴検索部に出力するＵＲＬ正規化部とを備えるものである。
【００２５】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるＷＷＷサイト履歴検索装置の構成及びその動作に関与する装置を示す図である。ＷＷＷサイト履歴検索装置１は、インターネット（電気通信回線）４を介して、ＷＷＷサイトを管理するＷＷＷサーバ２及びＷＷＷブラウザが動作する端末装置３と双方向の通信が可能な状態で接続している。ＷＷＷサーバ２は、従来の技術で説明したものと同様に構成され、同様な動作をするものとする。また、ＷＷＷサーバ２は、ＷＷＷサイト履歴検索装置１においてＷＷＷ文書の収集対象に設定されているものとする。端末装置３としては、ＷＷＷブラウザとしてのソフトウェアが動作するパーソナルコンピュータ（以下、ＰＣと略す）、携帯情報端末や携帯電話などが考えられる。
【００２６】
また、ＷＷＷサイト履歴検索装置１は、ＷＷＷ文書収集部（収集部）５、ＵＲＬリスト５ａ、ＷＷＷ文書履歴記憶部（履歴格納部）６、収集ルール記憶部７、ＵＲＬ正規化部８、履歴検索部９、文書特徴抽出部１０、文書特徴索引記憶部１１、及び、類似文書検索部１２から構成される。
各構成部の概要を説明すると、ＷＷＷ文書収集部５は、インターネット４を介してＷＷＷサーバ２と通信接続し、ＵＲＬリスト５ａから読み出したＵＲＬで指定されるＷＷＷ文書を収集ルールに従って自動的に収集する。ＵＲＬリスト５ａは、ＷＷＷ文書収集部５が収集すべきＷＷＷ文書のＵＲＬを格納するリスト情報である。ＷＷＷ文書履歴記憶部６は、ＷＷＷ文書収集部５が収集したＷＷＷ文書を格納する記憶部である。
【００２７】
ここで、収集ルールとは、予め定めたＷＷＷサイトにて公開される情報を構成するＷＷＷ文書を指定するＵＲＬ群のうち、本質的に重要な情報を指定するＵＲＬを収集対象として定めた情報である。具体例を挙げて説明すると、一部のパラメータ値のみが異なる複数の動的ＵＲＬが類似した内容のＷＷＷ文書をそれぞれ指定する場合である。このような類似した内容のＷＷＷ文書群は、互いに新規な情報を与えるものではなく、上記ＷＷＷサイトで公開される情報を構成する上で本質的に重要なものではない。そこで、これらＷＷＷ文書群をそれぞれ指定するＵＲＬ群から代表して少なくとも１つのＵＲＬを選択して収集対象とし、収集ルールを構成する。この収集ルールに従ってＷＷＷ文書を収集することで、収集対象のＷＷＷサイトで公開される情報を構成する上で本質的に重要なもののみが収集され、収集すべき情報量の増加を抑えることができる。この収集ルールの具体的な内容については、後述する。
【００２８】
収集ルール記憶部７は、収集ルールを格納する記憶部であって、ＷＷＷ文書収集部５及びＵＲＬ正規化部８によって収集ルールが適宜読み出されるよう構成されている。ＵＲＬ正規化部８は、履歴検索部９がＷＷＷ文書履歴記憶部６からＷＷＷ文書を検索する際に用いるＵＲＬを収集ルールに従って既に収集されたＷＷＷ文書に対応するＵＲＬに書き換える、いわゆるＵＲＬ正規化を実行する。履歴検索部９は、ＷＷＷ文書履歴記憶部６からＷＷＷ文書を検索する。文書特徴抽出部１０は、ＷＷＷ文書の特徴を抽出する。文書特徴索引記憶部１１は、文書特徴と各ＷＷＷ文書との対応を格納する。類似文書検索部１２は、指定されたＷＷＷ文書と文書特徴が類似するＷＷＷ文書を検索する。
【００２９】
図２は図１中のＷＷＷサイト履歴検索装置を具現化するコンピュータの構成を示す図であり、図１中に示した各構成部の機能をコンピュータに実現させるＷＷＷサイト履歴検索プログラムを実行することでＷＷＷサイト履歴検索装置１を具現化した例を示している。ＣＰＵ１３は、内部バス１９を介して、ＷＷＷサイト履歴検索プログラムやプログラムの実行に必要なデータを格納するメモリ１４、現在時刻を得るためのリアルタイムクロック部１５、コンソール入出力装置２０との入出力を中継するコンソールインタフェース部１６、図１中の各記憶部６，７，１１などを具現化するハードディスク装置２１とのアクセスを中継するディスクインタフェース部１７、インターネット４などの外部通信網に接続するためのネットワークインタフェース部１８と接続している。ＷＷＷサイト履歴検索プログラムからの制御指令によって、ＣＰＵ１３が上記ハードウェア部を動作させることで、図１中のＷＷＷサイト履歴検索装置１内の各構成部が具現化される。詳細な動作については、後述する。
【００３０】
図３は図１中の収集ルール記憶部に格納される収集ルールの具体的な内容を示した図である。上述したように、収集ルール７ａは、予め定めたＷＷＷサイトにて公開される情報を構成するＷＷＷ文書を指定するＵＲＬ群のうち、収集対象として定めたＵＲＬをまとめた情報である。図示の例において、ＵＲＬパス７ｂは、収集対象のＵＲＬを構成する文字列のうち、ＷＷＷサーバ２に内容が静的に（予め）管理されたファイル（静的コンテンツ）を指定したり、動的コンテンツを生成するプログラム名を指定する部分である。また、収集ルール７ａには、動的コンテンツを生成するプログラム名を指定するＵＲＬパス７ｂに対応して、上記プログラムの実行時に利用されるパラメータ及びその値を指定するパラメータ名７ｃ及びパラメータ値７ｄが設定される。
【００３１】
ここで、パラメータ名７ｃに「−」以外の値が指定されている場合、当該ＵＲＬパスのパラメータとしてパラメータ値７ｄに指定された値に対応するもののみを収集対象とすることを意味する。例えば、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ」で指定されるプログラムに設定されるパラメータ「ｓｏｒｔｂｙ」の値としては、文字列「ｉｄ」のみが収集対象とされる。一方、パラメータ「ｃａｔｅｇｏｒｙ」の値としては、特殊な値「＊」が指定されているので全ての値を収集対象とする。また、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ」で指定されるプログラムは、一般にＣＧＩ（ＣｏｍｍｏｎＧａｔｅｗａｙＩｎｔｅｒｆａｃｅ）プログラムなどと呼ばれている。
【００３２】
ＷＷＷ文書収集部５は、この収集ルール７ａに従ってＷＷＷサーバ２からＷＷＷ文書を収集する。このとき、収集ルール７ａに設定されている「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」は収集対象であり、パラメータ「ｓｏｒｔｂｙ」の値が文字列「ｉｄ」でない「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ａｕｄｉｏ＆ｓｏｒｔｂｙ＝ｄａｔｅ」は収集対象とされない。また、同様に「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｓｕｐｐｏｒｔ．ｐｌ」で指定されるプログラムに対しては、パラメータ「ｓｕｂｊｅｃｔ」の値として「ｔｒｏｕｂｌｅ」、「ｕｐｇｒａｄｅ」、または「ｃｏｎｔａｃｔ」のいずれかに該当するものが収集対象となる。
【００３３】
一方、パラメータ名７ｃの値として「−」が指定されている場合は、当該ＵＲＬパスで始まるＵＲＬを全て収集対象外とすることを意味する。例えば、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｓｅａｒｃｈ．ａｓｐ」で始まる「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｓｅａｒｃｈ．ａｓｐ？ｑｕｅｒｙ＝ｄｖｄ」は、収集対象外となる。
【００３４】
なお、収集ルールは、ＷＷＷサーバ２の管理者などが自己の提供する情報を構成する上で重要なＷＷＷ文書（例えば、閲覧者に最も提示したいＷＷＷ文書）を指定するＵＲＬを予め設定しておくことによって構成する。この場合、例えば装置１の管理者は、コンソール入出力装置２０を用いて、コンソールインタフェース部１６及び内部バス１９を介して収集ルール記憶部７として機能するハードディスク装置２１に適宜収集ルール内容を設定するように構成する。
【００３５】
次に動作について説明する。
図４は図１中のＷＷＷ文書収集部の動作を示すフローチャートであり、この図に沿ってＷＷＷサイト履歴検索装置１によるＷＷＷ文書収集を説明する。
ＷＷＷ文書収集部５は、検索エンジンなどにおいてＷＷＷ文書の収集に用いられるクローラやロボットなどと呼ばれるプログラムと同様に動作するが、収集ルール記憶部７から読み出した収集ルールに従って収集すべきＷＷＷ文書のＵＲＬを決定する点が異なる。
【００３６】
先ず、ＷＷＷ文書収集部５は、管理者から指示されたＵＲＬや特定のファイルから読み込んだＵＲＬを、ＵＲＬリスト５ａに設定して初期化する（ステップＳＴ１）。当該処理を図２の構成で説明すると、例えば、ＣＰＵ１３が、メモリ１４に格納されたＷＷＷサイト履歴検索プログラムからの制御指令によって、ディスクインタフェース部１７及び内部バス１９を介して、ＵＲＬリスト５ａとして機能するメモリ１４かハードディスク装置２１に収集対象のＵＲＬを設定することに対応する。
【００３７】
次に、ＷＷＷ文書収集部５は、ＵＲＬリスト５ａ内にＵＲＬが設定されているか否かを判定する（ステップＳＴ２）。このとき、ＵＲＬリスト５ａにＷＷＷ文書を収集すべきＵＲＬがなければ（空であれば）、処理を終了する。また、ＵＲＬリスト５ａにＷＷＷ文書を収集すべきＵＲＬがある場合は、ＵＲＬリスト５ａからＵＲＬを１つ取り出して当該ＵＲＬに対応するＷＷＷ文書をＷＷＷサーバ２から取得する（ステップＳＴ３）。
【００３８】
図２の構成で説明すると、ＣＰＵ１３が、メモリ１４上のＷＷＷサイト履歴検索プログラムからの制御指令によって、ＵＲＬリスト５ａとして機能するメモリ１４かハードディスク装置２１から収集対象のＵＲＬを逐次読み出し、ネットワークインタフェース部１８及びインターネット４を介して、当該ＵＲＬによって指定されるＷＷＷサーバ２にアクセスしてＷＷＷ文書を収集する。一方、ＵＲＬリスト５ａ内に収集対象のＵＲＬがなければ、ＷＷＷ文書収集の終了処理に移行する。
【００３９】
続いて、ＷＷＷ文書収集部５は、ＷＷＷサーバ２から取得したＷＷＷ文書の形式がＨＴＭＬあるいはＸＨＴＭＬ（ｅＸｔｅｎｓｉｂｌｅＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）などで記述されたハイパーテキスト形式であるか否かを判別する（ステップＳＴ４）。当該処理は、例えばＷＷＷサーバ２から取得した情報のＨＴＴＰヘッダ情報からファイル種別情報（Ｃｏｎｔｅｎｔ−Ｔｙｐｅヘッダ）などを抽出してファイル形式を判別する機能をＷＷＷサイト履歴検索プログラムに設けておくことで実現することができる。
【００４０】
ここで、ＷＷＷサーバ２から取得したＷＷＷ文書がハイパーテキスト形式の文書であると、ＷＷＷ文書収集部５は、当該ＷＷＷ文書中のリンク又はフォームが参照するＵＲＬを抽出し、後述する方法で収集対象のＵＲＬが生成される。このとき、収集対象とされたＵＲＬは、ＵＲＬリスト５ａの末尾に追加される（ステップＳＴ５）。
【００４１】
ステップＳＴ５の処理が完了すると、ＷＷＷ文書収集部５は、ステップＳＴ６の処理に移行する。また、ステップＳＴ４において、ＷＷＷサーバ２から取得したＷＷＷ文書の形式がハイパーテキスト形式ではなく、その他の単純なテキスト形式や画像などであると、ＷＷＷ文書収集部５は、ステップＳＴ６の処理に移行する。
【００４２】
ステップＳＴ６において、ＷＷＷ文書収集部５は、取得したＷＷＷ文書の内容、ＵＲＬ、その取得日時をＷＷＷ文書履歴記憶部６に格納して、ステップＳＴ２の処理に戻る。これにより、ＵＲＬリスト５ａに未処理のＵＲＬがなくなるまで、上述した処理が繰り返される。
【００４３】
図５は図４中のステップＳＴ５におけるＷＷＷ文書収集部の詳細な動作を示すフローチャートであり、この図に沿って上述した収集対象ＵＲＬの判定処理を詳細に説明する。
先ず、ＷＷＷ文書収集部５は、ＷＷＷサーバ２から取得したＷＷＷ文書からリンクまたはフォームを１つ読み込む（ステップＳＴ１ａ）。そして、リンク又はフォームを読み込む度に、ＷＷＷ文書収集部５は、当該ＷＷＷ文書の終端位置に到達したか否かを判定する（ステップＳＴ２ａ）。このとき、ＷＷＷ文書の終端位置に到達していれば、当該処理を終了し、未だに終端位置に到達していなければ、ステップＳＴ３ａの処理に移行する。
【００４４】
上述した動作を図２の構成と関連付けて説明すると、ＷＷＷサイト履歴検索プログラムを実行するＣＰＵ１３の制御によって、図４中のステップＳＴ４にてハイパーテキスト形式と判定されたＷＷＷ文書について、その文書の始めからリンク又は当該ＷＷＷ文書に対してデータ書き込みをするためのフォーム（記入フォーム）を定義するタグの検出が実行される。そして、リンク又はフォームを定義するタグが検出されるごとに、当該ＷＷＷ文書中の終端位置を定義するタグの有無を検査して、検査対象の文書内位置が終端位置であるか否かが判定される。
【００４５】
ステップＳＴ３ａにおいて、ＷＷＷ文書収集部５は、読み込んだリンク又はフォームが参照するＵＲＬが収集対象のＷＷＷサーバ２に対応するか否かを判断し、対応していればステップＳＴ４ａの処理に進み、そうでなければステップＳＴ１ａに戻ってＷＷＷ文書の残りの部分を処理する。ここで、収集対象のＷＷＷサーバ２は、複数であってもよい。これは、例えば検索用サーバや購買用サーバなどのように、ＷＷＷサイトの構成として利用者に提供するサービスに応じて異なるＷＷＷサーバを用いることも一般的だからである。
【００４６】
続いて、ＷＷＷ文書収集部５は、ステップＳＴ１ａで読み込んだリンク又はフォームが参照するＵＲＬの文字列の先頭部分が、収集ルール７ａ中で収集対象外、即ちパラメータ名７ｃの値が「−」と指定されたＵＲＬパスのいずれかと一致するかどうかを判定する（ステップＳＴ４ａ）。このとき、一致する場合はステップＳＴ１ａの処理に戻り、一致しない場合はステップＳＴ５ａの処理に進む。
【００４７】
ステップＳＴ５ａで、ＷＷＷ文書収集部５は、ステップＳＴ１ａで読み込んだ内容にて参照されるＵＲＬ中にパラメータ名及びパラメータ値を表す文字列があるかどうかを調べて、当該内容が静的ＵＲＬを参照するリンクであるか否かを判断する。ここで、静的ＵＲＬであるか否かは、履歴検索要求されたＵＲＬ中に動的ＵＲＬを特定するＵＲＬパスとパラメータ名の区切り文字「？」が含まれるかどうかで判断することができる。
【００４８】
このとき、静的ＵＲＬへのリンクでなければ、ＷＷＷ文書収集部５は、ステップＳＴ１ａで読み込んだ内容がＷＷＷサーバ２に対するアクセスメソッドがＨＴＴＰのＰＯＳＴを用いるフォームであるかどうかを判断する（ステップＳＴ６ａ）。例えば、フォームを定義するタグの有無及び当該タグ内にＰＯＳＴが設定されているかどうかで判断する。
【００４９】
ステップＳＴ６ａにおいてＰＯＳＴ型のフォームと判断されれば、ＷＷＷ文書収集部５は、ステップＳＴ１ａの処理に戻り、ＰＯＳＴメソッドに対する処理を行なわない。これは、ＰＯＳＴの場合ではパラメータの値がＵＲＬ内に設定されないことによる。つまり、ＰＯＳＴでアクセスした結果に対してリンクを張ってもパラメータの値を渡すことができず、同じ結果が得られないため、当該ＵＲＬについては収集対象外とする。
【００５０】
一方、ステップＳＴ６ａにおいてＰＯＳＴ型フォームと判断されなければ、ＷＷＷ文書収集部５は、後述する方法に従って、ステップＳＴ１ａにて読み込んだリンク又はフォーム内のパラメータと収集ルール７ａに基づいて、収集対象のＵＲＬを生成する。このとき生成される収集対象のＵＲＬ数は、条件によって異なるが０個、１個、あるいは複数個となる。
【００５１】
最後に、ＷＷＷ文書収集部５は、ステップＳＴ５ａで判別されたリンクが参照する静的ＵＲＬや、ステップＳＴ７ａで生成された動的ＵＲＬのうち、ＷＷＷ文書が未収集であるものを抽出し、ＵＲＬリスト５ａの末尾に追加する（ステップＳＴ８ａ）。このあと、再びステップＳＴ１ａからの処理に戻り、ステップＳＴ２ａにて当該ＷＷＷ文書の終端位置が検出されるまで、ＷＷＷ文書収集部５は、上述した処理を繰り返す。また、ステップＳＴ７ａにおいて収集対象のＵＲＬが生成されなかった場合も同様に、ステップＳＴ１ａからの処理に戻り、上述した処理が繰り返される。
【００５２】
図６は図５中のステップＳＴ７ａにおけるＷＷＷ文書収集部の詳細な動作を示すフローチャートであり、この図に沿って上述した収集対象ＵＲＬの生成動作の詳細を説明する。
先ず、ＷＷＷ文書収集部５は、リンク又はフォームを定義するタグの有無から図５中のステップＳＴ１ａにて読み込まれた内容がリンクかフォームかを判定する（ステップＳＴ１ｂ）。このとき、上記内容がリンクであれば、当該リンクが参照するＵＲＬの文字列をパス部分とパラメータ名及びパラメータ値との組み合わせに分解する（ステップＳＴ２ｂ）。
【００５３】
一方、ステップＳＴ１ｂにて上記内容をフォームと判定すると、ＷＷＷ文書収集部５は、当該フォームに設定されている各入力項目のパラメータ名とその取り得る値（パラメータ値）の全ての組み合わせを生成する（ステップＳＴ３ｂ）。例えば、アクション部のパスが「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ」で示されるフォームにおいて、パラメータ「ｃａｔｅｇｏｒｙ」が「ｃａｍｅｒａ」、「ａｕｄｉｏ」、「ＰＣ」からの択一であり、パラメータ「ｓｏｒｔｂｙ」が「ｉｄ」、「ｄａｔｅ」、「ｐｒｉｃｅ」からの択一である場合、９通りのパラメータ名及びパラメータ値の組み合わせが生成される。一般に、フォームにおいては、入力項目毎の入力パターン数の直積に対応する組み合わせが生じる。
【００５４】
続いて、ＷＷＷ文書収集部５は、リンクが参照するＵＲＬから取り出したＵＲＬパス又はフォームのアクション部に指定されたパス（ＵＲＬパス）が、収集ルール７ａ中のＵＲＬパスと一致するか否かを判定する（ステップＳＴ４ｂ）。ここで、ＵＲＬパスが一致するものがあると、ＷＷＷ文書収集部５は、当該リンクが参照するＵＲＬから取り出したパラメータ名及びパラメータ値の組み合わせ、又は、当該フォームの入力項目から生成したパラメータ名及びパラメータ値の組み合わせのうち、収集ルール７ａ中のＵＲＬパス７ｂに対応するものとして設定されたパラメータ名７ｃ及びパラメータ値７ｄの組み合わせに含まれるもののみを残し、それ以外の組み合わせを除去する（ステップＳＴ５ｂ）。但し、収集ルール７ａ中のパラメータ値７ｄとして「＊」が指定されていた場合には、全ての値を含むとみなす。
【００５５】
例えば、図３中の収集ルール７ａが与えられていたとすると、「ｃａｔｅｇｏｒｙ」に対応するパラメータ値に「＊」が設定されていることから、ステップＳＴ５ｂの処理後に除去されずに残るのは、「ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ，ｓｏｒｔｂｙ＝ｉｄ」、「ｃａｔｅｇｏｒｙ＝ａｕｄｉｏ，ｓｏｒｔｂｙ＝ｉｄ」、及び「ｃａｔｅｇｏｒｙ＝ＰＣ，ｓｏｒｔｂｙ＝ｉｄ」の３通りの組み合わせとなる。このように、本発明では、収集ルール７ａを設け、ステップＳＴ５ｂにおける除去処理を施すことによって、パラメータ名及びパラメータ値の組み合わせから本質的に重要なもののみを選択して、類似するＷＷＷ文書が不要に収集されることを防止している。
【００５６】
次に、ＷＷＷ文書収集部５は、ステップＳＴ４ｂにて収集ルール７ａに設定されたＵＲＬパスと一致しないと判定されたリンク又はフォームに係るパラメータ名及びパラメータ値の組み合わせや、ステップＳＴ５ｂにて除去されずに残ったパラメータ名及びパラメータ値の組み合わせを用いて、収集対象とすべきＵＲＬの文字列を生成する（ステップＳＴ６ｂ）。
【００５７】
上述した例のように、「ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ，ｓｏｒｔｂｙ＝ｉｄ」、「ｃａｔｅｇｏｒｙ＝ａｕｄｉｏ，ｓｏｒｔｂｙ＝ｉｄ」、及び「ｃａｔｅｇｏｒｙ＝ＰＣ，ｓｏｒｔｂｙ＝ｉｄ」の３通りの組み合わせがステップＳＴ５ｂにて除去されずに残ったとすると、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ａｕｄｉｏ＆ｓｏｒｔｂｙ＝ｉｄ」、及び「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ＰＣ＆ｓｏｒｔｂｙ＝ｉｄ」の３つのＵＲＬ文字列が生成される。また、パラメータ名及びパラメータ値の全ての組み合わせが除去された場合、ＵＲＬ文字列は生成しない。
【００５８】
次にＷＷＷ文書収集部５による処理を具体例を挙げて説明する。
先ず、ＷＷＷ文書収集部５によるＷＷＷ文書収集の周期処理を説明する。
図７は図１中のＷＷＷ文書収集部によるＷＷＷ文書の収集処理の時間シーケンスを示す図である。図中のＴ０，Ｔ１，・・・，Ｔ１１は、時刻を表している。図に示すように、本発明のＷＷＷ文書収集部５によるＷＷＷ文書の収集は、時間間隔を空けて繰り返し行なわれる。ここで、時刻Ｔ１からＴ４までの期間で第ｎ次の収集を実施し、Ｔ５＞Ｔ４となる時刻Ｔ５からＴ８にかけての期間で第ｎ＋１次の収集を実施する。時刻Ｔ９からＴ１１までの期間は、Ｔ１１から現在日時Ｔ０までの期間に収集が実施されていないことから、最終収集期間と呼ぶこととする。但し、ｎは１以上の正の整数とする。
【００５９】
図２の構成で説明すると、ＣＰＵ１３が、メモリ１４上のＷＷＷサイト履歴検索プログラムからの制御指令によって、ＵＲＬリスト５ａとして機能するメモリ１４かハードディスク装置２１から収集対象のＵＲＬを逐次読み出し、リアルタイムクロック部１５によって取得日時を記録しながら、ネットワークインタフェース部１８及びインターネット４を介して、当該ＵＲＬによって指定されるＷＷＷサーバ２にアクセスしてＷＷＷ文書を取得する。これにより、取得日時とそのＵＲＬとを関連付けて記録することができる。
【００６０】
また、第ｎ次収集期間において、ＷＷＷ文書収集部５が、あるＵＲＬ（例えば、ＵＲＬｘとする）が指定するＷＷＷ文書内容を取得した日時を、当該ＵＲＬｘの第ｎ次取得日時と呼び、最も大きなｎに対応するものを当該ＵＲＬｘの最終取得日時と呼ぶことにする。図７の例では、時刻Ｔ６はＵＲＬｘの第ｎ＋１次取得日時であり、時刻Ｔ７はＵＲＬｙの第ｎ＋１次取得日時である。ここで、ＵＲＬｙについては、時刻Ｔ７以降にＷＷＷ文書内容が取得されていないので、当該時刻Ｔ７が最終取得日時となる。一方、ＵＲＬｘについては、最終収集期間でもＷＷＷ文書内容が取得されており、時刻Ｔ１０が最終取得日時となっていることがわかる。なお、上述した収集日時に関する用語定義は、以下の説明においても同様であるものとする。
【００６１】
次に、ＷＷＷ文書収集部５によって異なる時点で収集されたＷＷＷ文書の具体的な処理について説明する。
図８は同一ＷＷＷサイトで公開されるＷＷＷ文書の異なる時点における内容を示す図であり、（Ａ）は例えば２００２年１月１日の時点の内容を示し、（Ｂ）は（Ａ）の時点より時間経過した例えば２００２年２月１日の時点の内容を示している。（Ａ）で示す時点において、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」というＵＲＬで指定されるＷＷＷ文書は、製品の発売日とこれに対応する製品番号（図中にＡ０１０、Ｄ２２Ｍ、Ｘ１２３で示す）との組み合わせが、製品番号順（図示の例では、製品番号の先頭文字のアルファベット順）に配置された内容を示している。
【００６２】
また、当該ＷＷＷ文書には、「新着順へ」というリンクがはられている。当該リンクが参照するＵＲＬは「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｄａｔｅ」であり、これが指定するＷＷＷ文書は、製品の発売日と製品番号との組み合わせが、新着順（製品の発売日順）に配置されたものを示している。さらに、各製品番号には、それぞれの製品概要を参照するリンクがはられている。例えば、製品番号Ｘ１２３では、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｘ１２３．ｈｔｍｌ」なるＵＲＬによって上記製品番号にて特定される製品の概要を示すＷＷＷ文書が指定される。
【００６３】
一方、（Ｂ）で示す時点においても、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」という同一のＵＲＬでＷＷＷ文書を指定することができる。但し、（Ｂ）で示す時点では、製品名と製品番号との組み合わせが、製品番号順に配置された内容となっている。また、当該ＷＷＷ文書には、各製品番号についてそれぞれに対応する製品の特徴を示すＷＷＷ文書を参照するリンクがはられている。
【００６４】
例えば、製品番号Ｘ１２３には、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｉｎｆｏ．ｃｇｉ？ｉｄ＝ｘ１２３＆ｓｈｏｗ＝ｆｅａｔｕｒｅ」というＵＲＬで指定される、当該製品番号Ｘ１２３にて特定されるカメラの高画質機の特徴を示すＷＷＷ文書を参照することができる。さらに、当該製品の特徴を示すＷＷＷ文書中に、その仕様を示すＷＷＷ文書を参照するリンクがはられている。図示の例において、上記製品の特徴を示すＷＷＷ文書中の「仕様」では、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｉｎｆｏ．ｃｇｉ？ｉｄ＝ｘ１２３＆ｓｈｏｗ＝ｓｐｅｃ」というＵＲＬによって上記製品の仕様を示すＷＷＷ文書が指定される。
【００６５】
図９は図１中のＷＷＷ文書履歴記憶部に記憶される内部情報形式の一例を示す図であり、図８中のＷＷＷサイトで公開される２つの時点（Ａ）及び（Ｂ）におけるＷＷＷ文書内容が記憶されている。ＷＷＷ文書アーカイブ２２は、ＷＷＷ文書収集部５が取得したＷＷＷ文書の内容を格納するアーカイブであって、ＷＷＷ文書履歴記憶部６として機能する記憶装置、例えば図２中のハードディスク装置２１の記憶領域に設けられる。このＷＷＷ文書アーカイブ２２では、ＷＷＷ文書収集部５が取得した複数のＷＷＷ文書がそれぞれ連結されてディスク装置２１上のファイルとして格納される。
【００６６】
図示の例では、個々のＵＲＬにて指定される複数のＷＷＷ文書（図中、文書１、文書２、・・・で示す）を連結して構成したファイル２を示している（ファイル１も同様にＷＷＷ文書を複数連結して構成する）。このように複数のＷＷＷ文書を１つのファイルにまとめることで、ファイル毎に発生する未使用ディスク領域を減らし、また管理を容易にする効果が得られる。１つのファイルにいくつのＷＷＷ文書を格納するかは任意であり、例えば格納すべき文書数を一定にする、ファイルのサイズを一定値以下にする、あるいは一定期間内に取得したＷＷＷ文書を同一のファイルに格納する、などの方法が考えられる。
【００６７】
ＷＷＷ文書索引２３は、ＷＷＷ文書を指定するＵＲＬ及びその最終取得日時とＷＷＷ文書アーカイブ２２中での格納位置を対応付ける情報であって、ＷＷＷ文書履歴記憶部６として機能する記憶装置、例えば図２中のハードディスク装置２１のＷＷＷ文書アーカイブ２２とは別の記憶領域に設けられる。このＷＷＷ文書索引２３には、ＷＷＷ文書毎に、例えばＵＲＬ、最終取得日時、ＷＷＷ文書アーカイブ２２中のファイル名、及び当該ファイル中に占めるバイト位置を表す開始オフセットとサイズを格納する。図中のバイト位置欄に記載されたハイフン（−）を挟んで示される２つの数値のうち、ハイフンの前がＷＷＷ文書のファイル中の開始オフセットであり、その後に続く数値が当該ＷＷＷ文書内容のサイズである。
【００６８】
ＷＷＷ文書収集部５は、新たなＷＷＷ文書の収集により、同一ＵＲＬで指定される取得結果が得られた場合、ＷＷＷ文書索引２３の当該ＵＲＬに対応するエントリを上書きする。反対に、同一ＵＲＬで指定される取得結果が以前の内容と同一であった場合、最終取得日時は変化するので、前回取得日時の内容及び最終取得日時でＷＷＷ文書索引２３の当該ＵＲＬに対応するエントリを上書きする。
【００６９】
また、図９中でＷＷＷ文書索引２３を表形式で示したが、例えばＢ木の構造でディスク装置上に格納するように構成しても良い。このようにすることで、ＵＲＬをキーとした検索を高速化することができる。
【００７０】
ここで、ＷＷＷ文書収集部５によって図８中の２つの時点（Ａ）、（Ｂ）で収集したＷＷＷ文書内容を、図９で示したＷＷＷ文書履歴記憶部６の内部情報形式にて格納する場合について説明する。
先ず、図８中のＷＷＷ文書において、同一のＵＲＬである「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」にて指定されるＷＷＷ文書は、（Ａ）及び（Ｂ）のいずれの時点においてもアクセスすることができる。このため、両時点にて上記ＷＷＷ文書を収集した場合、図９に示すように、ＷＷＷ文書索引２３には、最終取得日時となる時点（Ｂ）の内容が記録される。
【００７１】
一方、時点（Ａ）において、製品番号Ｘ１２３にて特定される製品の概要を示すＷＷＷ文書を指定するＵＲＬである「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｘ１２３．ｈｔｍｌ」は、時点（Ｂ）においてアクセスすることができない。このため、当該ＷＷＷ文書については、時点（Ａ）が最終取得日時となり、ＷＷＷ文書索引２３には、時点（Ａ）での内容の記録が残る。
【００７２】
また、時点（Ａ）で「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」なるＵＲＬで指定されるＷＷＷ文書からリンクされている、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｄａｔｅ」なるＵＲＬにて指定されるＷＷＷ文書については、図３で示した収集ルール７ａによって収集対象外となるので収集されない。これにより、当該ＷＷＷ文書の内容は、ＷＷＷ文書履歴記憶部６に格納されない。
【００７３】
これに対して、図３で示した収集ルール７ａによって収集対象となるＵＲＬである「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｉｎｆｏ．ｃｇｉ？ｉｄ＝ｘ１２３＆ｓｈｏｗ＝ｆｅａｔｕｒｅ」及び「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｉｎｆｏ．ｃｇｉ？ｉｄ＝ｘ１２３＆ｓｈｏｗ＝ｓｐｅｃ」でそれぞれ指定される、時点（Ｂ）における各ＷＷＷ文書の内容は、最終取得日時を時点（Ｂ）としてＷＷＷ文書索引２３に記録される。
【００７４】
このように、ＷＷＷサイトで公開される情報のうち、収集ルール７ａによって本質的に重要なＷＷＷ文書のみを選択して記憶することで、ＷＷＷ文書の収集規模を抑えることができる。
【００７５】
次に上述のようにして収集したＷＷＷ文書の特徴抽出処理について説明する。
ＷＷＷ文書特徴抽出部１０は、ＷＷＷ文書履歴記憶部６内のＷＷＷ文書索引２３に記録されたファイル名やバイト位置に従ってＷＷＷ文書アーカイブ２２から読み出したＷＷＷ文書の形式に応じてその特徴を抽出し、当該ＷＷＷ文書に関する文書特徴ベクトルを生成する。文書特徴ベクトルとしては、例えば単純なテキスト形式の文書に対してはその内容を形態素解析により単語ごとに分割し、各単語の出現頻度を要素とするベクトルを使用する。また、ＨＴＭＬやＸＭＬ（ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）などの言語で記述された文書に対しては、単語の出現頻度の他に文書中の見出しや強調文字などの属性に応じた重み付けを加えた要素を含むベクトルを文書特徴ベクトルとしてもよい。
【００７６】
ここで、図１０は図１中の文書特徴索引記憶部に格納される文書特徴索引情報の一例を示す図である。文書特徴索引情報１１ａは、ＷＷＷ文書特徴抽出部１０が生成した文書特徴ベクトルを、これに対応するＷＷＷ文書のＵＲＬやその取得日時に関連付けて文書特徴索引記憶部１１に記憶した情報である。図示の例は、図８に示したＷＷＷ文書の文書特徴ベクトルをまとめたもので、例えば２００２／０１／０１が最終取得日時であるＸ１２３製品の概要を示すＷＷＷ文書が、その取得日時及びＵＲＬ「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｘ１２３．ｈｔｍｌ」に関連づけられて、文書特徴ベクトルを構成する各単語の出現頻度（例えば、単語「Ｘ１２３」は５回、単語「概要」が５回、単語「画素」が４回など）が格納されている。
【００７７】
また、ＷＷＷ文書特徴抽出部１０は、例えば図２中の構成を用いると、ＷＷＷサイト履歴検索プログラムを実行するＣＰＵ１３の制御によって、ＷＷＷ文書履歴記憶部６として機能するハードディスク装置２１からＷＷＷ文書を読み出し、メモリ１４上に展開して上記文書特徴の抽出処理を実行することで具現化することができる。
【００７８】
さらに、文書特徴索引記憶部１１は、文書特徴索引情報３１を文書特徴ベクトルをキーとした多次元索引の構造として格納する記憶部であって、例えば図２中のハードディスク装置２１のＷＷＷ文書履歴記憶部６とは別の記憶領域に設けられる。多次元索引の手法としては、既存の技術を適宜利用する。例えば、Ｒ木構造の索引とすれば、特徴ベクトル空間上で近傍の要素、すなわち類似した特徴を持つ文書の検索を効率的に行うことができる。
【００７９】
続いて、ＷＷＷブラウザ機能を有する端末装置３からアクセス要求されたＷＷＷ文書がＷＷＷサーバ２に存在しなかった場合におけるＷＷＷサーバ２及びＷＷＷサイト履歴検索装置１の動作について説明する。
先ず、端末装置３からＷＷＷ文書のアクセスが要求されると、ＷＷＷサーバ２は、当該アクセス要求されたＷＷＷ文書が存在するか否かを判定する。ここで、ＵＲＬに対応づけて管理しているＷＷＷ文書群のうち、アクセス要求されたＷＷＷ文書のＵＲＬに合致するものが存在しないことを検出すると、ＷＷＷサーバ２は、ＷＷＷサイト履歴検索装置１に対して履歴検索要求を発行する。そして、当該履歴検索要求に応じてＷＷＷサイト履歴検索装置１から検索結果が返信されると、ＷＷＷサーバ２は、当該検索結果を上記アクセス要求を行った端末装置３に送信する。
【００８０】
上述したような履歴検索処理は、ＷＷＷサーバ２からの検索要求に基づいて、ＷＷＷサイト履歴検索装置１内の履歴検索部９と類似文書検索部１２によって、随時実行される。
図１１は図１中のＷＷＷサイト履歴検索装置による履歴検索処理を示すフローチャートであり、この図に沿って履歴検索処理を詳細に説明する。
先ず、ＷＷＷサーバ２は、端末装置３からのアクセス要求されたＷＷＷ文書が存在しないことを検出すると、当該アクセス要求に関するＵＲＬを含む履歴検索要求をＷＷＷサイト履歴検索装置１に送信する。ＷＷＷサイト履歴検索装置１内の履歴検索部９は、ＷＷＷサーバ２から履歴検索要求を受けると、当該要求に含まれる検索対象のＵＲＬを抽出して、ＵＲＬ正規化部８に出力する。
【００８１】
ＵＲＬ正規化部８は、履歴検索部９から受け取った検索対象ＷＷＷ文書のＵＲＬを正規化する（ステップＳＴ１ｃ）。図２中の構成で説明すると、ＣＰＵ１３が、メモリ１４上のＷＷＷサイト履歴検索プログラムからの制御指令によって、ネットワークインタフェース部１８及びインターネット４を介してＷＷＷサーバ２からの履歴検索要求中のＵＲＬを取得してメモリ１４の処理作業領域上に展開し、さらに、収集ルール記憶部７として機能するハードディスク装置２１の記憶領域から収集ルール（以下、説明の簡単のため、図３中の収集ルール７ａを用いることとする）を適宜読み出して、メモリ１４上に展開されたＵＲＬに対して、後述する要領で正規化処理を実行する。
【００８２】
ここで、図１２は図１中のＵＲＬ正規化部の動作を示すフローチャートであり、この図に沿ってＵＲＬの正規化処理について説明する。
ＵＲＬ正規化部８は、履歴検索要求に関するＵＲＬがパラメータを含む動的ＵＲＬか否かを判定する（ステップＳＴ１ｄ）。ここで、動的ＵＲＬであれば、ステップＳＴ２ｄの処理に進み、動的ＵＲＬでなければステップＳＴ６ｄの処理を実行する。前述したように、動的ＵＲＬであるか否かは、履歴検索要求されたＵＲＬ中にＵＲＬパスとパラメータ名の区切り文字「？」を含むかどうかで判断することができる。
【００８３】
ステップＳＴ２ｄにおいて、ＵＲＬ正規化部８は、収集ルール記憶部７から収集ルール７ａを読み出し、履歴検索要求されたＵＲＬのパス部分が当該収集ルール７ａ中のＵＲＬパスと一致するかどうかを判定する。ここで、一致するものがある場合はステップＳＴ３ｄの処理に進み、一致するものがない場合はステップＳＴ６ｄの処理を実行する。ＵＲＬ正規化部８は、履歴検索要求されたＵＲＬのパス部分が収集ルール７ａ中のＵＲＬパスと一致すると、履歴検索要求されたＵＲＬの文字列をパス部分とパラメータ名及びパラメータ値の組に分解する（ステップＳＴ３ｄ）。
【００８４】
続いて、ＵＲＬ正規化部８は、分解したパラメータ名及びパラメータ値の組のうち、図３中の収集ルール７ａのＵＲＬパス７ｂに対応するパラメータ名７ｃ及びパラメータ値７ｄの組と一致するものはそのまま処理をせず、一致しないものを収集ルール７ａ中のパラメータ名７ｃやパラメータ値７ｄで置き換える（ステップＳＴ４ｄ）。但し、収集ルール７ａのパラメータ値７ｄとして「＊」が指定されている場合には全ての値と一致するとみなす。また、収集ルール７ａのパラメータ値７ｄとして複数の値が指定されている場合は、デフォルト値としていずれかの値を用いることとする。
【００８５】
履歴検索要求されたＵＲＬのうち、ステップＳＴ２ｄにて収集ルール７ａのＵＲＬパス７ｂにパス部分が一致し、ステップＳＴ４ｄにて収集ルール７ａのＵＲＬパス７ｂに対応するパラメータ名７ｃ及びパラメータ値７ｄの組と一致するＵＲＬは、まさに収集ルール７ａ中に設定されていたＵＲＬと一致する。従って、当該ＵＲＬついては、ＷＷＷ文書収集部５によって収集対象とされて対応するＷＷＷ文書が収集されている。このため、当該ＵＲＬの変更処理を実行する必要がない。
【００８６】
一方、ステップＳＴ２ｄにて収集ルール７ａのＵＲＬパス７ｂにパス部分が一致し、ステップＳＴ４ｄにて収集ルール７ａのＵＲＬパス７ｂに対応するパラメータ名７ｃ及びパラメータ値７ｄの組と一致しないＵＲＬは、収集ルール７ａに従って選択的に収集対象外に設定された動的ＵＲＬに相当する。つまり、収集対象のＷＷＷサーバ２が提供する情報を構成するＷＷＷ文書を指定する動的ＵＲＬであるが、パラメータ値が異なるだけで類似した内容を指定する本質的に重要でないＵＲＬである。
【００８７】
このようなＵＲＬについて履歴検索要求された場合、本発明では、ＷＷＷサーバ２で公開される情報を構成する上で本質的に重要であるものとして収集ルール７ａに設定された動的ＵＲＬに当該ＵＲＬを変換することで、ＷＷＷ文書収集部５が既に収集したＷＷＷ文書内容を返信する。この際、履歴検索要求されたＵＲＬを、収集ルール７ａに従って既に収集されたＷＷＷ文書内容のうち最も関連深い内容を指定するＵＲＬに置換するために、ＵＲＬパス及びこれに対応するパラメータ名までが一致する場合、収集ルール中のパラメータ値で置換する。また、パラメータ名及びパラメータ値が両方一致しなければ、収集ルール中のパラメータ名及びパラメータ値の組み合わせで置換する。
【００８８】
このように、本発明におけるＵＲＬの正規化とは、履歴検索要求された動的ＵＲＬのうち、収集ルール７ａ中に設定されたＵＲＬと一致しないものを、収集ルール７ａ中に設定されたＷＷＷ文書内容が既に収集済みのＵＲＬに変換することをいうものとする。
【００８９】
次に、ステップＳＴ５ｄにおいて、ＵＲＬ正規化部８は、置換後のパラメータ名及びパラメータ値の組み合わせを元にして、これに対応するＵＲＬ文字列を生成し、正規化結果のＵＲＬとして履歴検索部９に出力する。一方、ステップＳＴ６ｄにて、履歴検索要求されたＵＲＬのうち、動的ＵＲＬでなかったり、動的ＵＲＬでも収集ルール７ａ中のＵＲＬパスと一致しないものは正規化処理されず、ＵＲＬ正規化部８から履歴検索部９に出力される。
【００９０】
図２中の構成で説明すると、ＣＰＵ１３が、メモリ１４上のＷＷＷサイト履歴検索プログラムからの制御指令によって、メモリ１４内の処理作業領域上に履歴検索要求されたＵＲＬ及び収集ルール７ａを展開し、上述したＵＲＬ正規化部８によるＵＲＬのパス部分とパラメータ名及びパラメータ値との分解処理及び収集ルール７ａとの比較処理並びにＵＲＬ正規化処理を実行する。
【００９１】
ここで、図３及び図８の例を用いて具体的に説明すると、ＷＷＷサーバ２から受け取ったＵＲＬが、図８（Ａ）に示す「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｄａｔｅ」であった場合、図３中の収集ルール７ａに従ってＵＲＬの正規化を行なうと、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」が得られる。また、ＷＷＷサーバ２から受け取ったＵＲＬが、図８（Ａ）に示す「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｘ１２３．ｈｔｍｌ」であった場合、当該ＵＲＬは、動的ＵＲＬではないので正規化による変更を受けない。
【００９２】
図１１のフローの説明に戻ると、履歴検索部９は、ＵＲＬ正規化部８から取得したＵＲＬに基づいてＷＷＷ文書履歴記憶部６を検索する（ステップＳＴ２ｃ）。このとき、当該ＵＲＬに対応するＷＷＷ文書が存在しなければ、ステップＳＴ６ｃの処理に進み、存在する場合はステップＳＴ３ｃの処理に進む。ステップＳＴ６ｃにおいて、履歴検索部９は、ＷＷＷサーバ２に対して履歴検索が失敗したことを示す応答を送信して履歴検索処理を終了する。この場合、ＷＷＷサーバ２は、端末装置３に対してアクセス要求したＵＲＬが無効である旨を示すエラー応答を返信する。
【００９３】
一方、ステップＳＴ３ｃにおいて、履歴検索部９は、ＷＷＷ文書履歴記憶部６内のＷＷＷ文書索引２３を読み出して、当該ＵＲＬの最終取得日時と、ＷＷＷ文書収集部５が最後にＷＷＷ文書の収集を行った期間、即ち最終収集期間とを比較する。このとき、当該ＵＲＬの最終取得日時が最終収集期間内であれば、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、当該ＵＲＬの最終取得日時における内容を返し、履歴検索処理を終了する（ステップＳＴ７ｃ）。
【００９４】
ここで、最終収集期間は、例えばＷＷＷ文書収集部５によりＷＷＷ文書索引２３に記憶しておく。ＵＲＬの最終取得日時が最終収集期間内である場合は、当該ＵＲＬがまだ有効であることを意味する。また、最終収集期間に取得されなかったＵＲＬは、当該ＵＲＬで指定されるＷＷＷ文書がＷＷＷサーバ２から削除又は移動されて無効になったことに対応している。
【００９５】
ステップＳＴ３ｃにて、当該ＵＲＬの最終取得日時が最終収集期間内でないと判断されると、履歴検索部９は、ＷＷＷ文書索引２３に基づいて当該ＵＲＬの最終取得日時に対応するＷＷＷ文書内容をＷＷＷ文書アーカイブ２２から読み出して類似文書検索部１２に出力する。このあと、類似文書検索部１２は、当該ＵＲＬの最終取得日時に対応するＷＷＷ文書内容を文書特徴抽出部１０に出力する。
【００９６】
これにより、文書特徴抽出部１０は、当該ＷＷＷ文書内容から、上述した要領で文書特徴ベクトルを抽出して類似文書検索部１２に返信する。類似文書検索部１２では、文書特徴抽出部１０が抽出した文書特徴ベクトルに類似する文書特徴ベクトルを有する文書を文書特徴索引記憶部１１から検索する。ここまでの処理がステップＳＴ４ｃに相当する。
【００９７】
ステップＳＴ４ｃにて一定の類似度を満たす文書が検索されると、類似文書検索部１２は、検索結果の文書のうち、最終取得日時が最終収集期間内のものが存在するか否かを判定する（ステップＳＴ５ｃ）。このとき、最終取得日時が最終収集期間内のものが存在すればステップＳＴ８ｃの処理に進み、存在しなければ、その旨を履歴検索部９に通知してステップＳＴ７ｃの処理に進む。
【００９８】
上述したように、ステップＳＴ７ｃにおいて、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、当該ＵＲＬの最終取得日時における内容を返し、履歴検索処理を終了する。この場合、当該ＵＲＬにて指定されるＷＷＷ文書内容が最終取得日時における収集データに含まれず、最終取得日時における収集データ中に類似するＷＷＷ文書もないため、当該ＵＲＬで指定されるＷＷＷ文書内容は削除されたものと考えられる。
【００９９】
最終取得日時が最終収集期間内の類似内容のＷＷＷ文書が存在する場合、類似文書検索部１２は、その旨の通知と類似内容のＷＷＷ文書を指定するＵＲＬとを履歴検索部９に送信する。このあと、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、類似文書検索部１２から取得した類似文書のＵＲＬを返信して、履歴検索処理を終了する（ステップＳＴ８ｃ）。この場合、ＷＷＷ文書内容が最終取得日時における収集データに含まれず、最終取得日時における収集データ中に類似するＷＷＷ文書が含まれるので、当該ＵＲＬで指定されるＷＷＷ文書は新たなＵＲＬに移動したと考えられる。
【０１００】
ここで、類似文書の最終取得日時の内容ではなく、ＵＲＬをＷＷＷサーバ２に返信するのは、ＷＷＷサーバ２上で最終収集期間後に更新された内容を端末装置３に返すことができるからである。一方、ＷＷＷサーバ２上で類似文書のＵＲＬが存在しなくなっている場合は、ＷＷＷサーバ２から類似文書のＵＲＬに対する履歴検索要求が再度発行され、類似文書の最終取得日時の内容が返される。
【０１０１】
図３及び図８の例を用いて具体的に説明すると、ＷＷＷサーバ２から受け取ったＵＲＬが図８（Ａ）に示す「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｄａｔｅ」であった場合、ＵＲＬ正規化部８が、図３中の収集ルール７ａに従ってＵＲＬの正規化を行なうと、「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」が得られる。その結果、履歴検索部９は、ＷＷＷ文書履歴記憶部６に格納された「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｐｒｏｄｕｃｔｓ．ｃｇｉ？ｃａｔｅｇｏｒｙ＝ｃａｍｅｒａ＆ｓｏｒｔｂｙ＝ｉｄ」の内容を取得する。
【０１０２】
また、ＷＷＷサーバ２から受け取ったＵＲＬが「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｘ１２３．ｈｔｍｌ」であった場合、当該ＵＲＬは、動的ＵＲＬでないので正規化による変更を受けない。一方、当該ＵＲＬについて図９中のＷＷＷ文書索引２３の最終取得日時は時点（Ａ）のものであり、最終収集期間のものではない。これにより、図１１中のステップＳＴ４ｃの処理に進んで、類似文書検索部１２は、最終収集期間に取得された類似文書を検索する。その結果「ｈｔｔｐ：／／ｗｗｗ．ａａａ／ｉｎｆｏ．ｃｇｉ？ｉｄ＝ｘ１２３＆ｓｈｏｗ＝ｓｐｅｃ」が得られる。
【０１０３】
なお、上述した履歴検索部９及び類似文書検索部１２は、ＷＷＷサイト履歴検索プログラムを実行するＣＰＵ１３の制御によって、ＷＷＷ文書履歴記憶部６や文書特徴索引記憶部１１として機能するハードディスク装置２１の各記憶領域からそれぞれの処理に使用するデータを適宜読み出して、メモリ１４上に展開されたＵＲＬに対して履歴検索処理や類似文書検索処理を実行することで具現化することができる。
【０１０４】
以上のように、この実施の形態１によれば、収集ルール７ａに従ってＷＷＷサイトで公開される情報を構成する上で本質的に重要なＷＷＷ文書内容を網羅的に収集しておき、各ＷＷＷ文書内容の履歴を保持しておくことで、過去に有効だったＵＲＬが指定するＷＷＷ文書がＷＷＷサイト内で削除や移動された場合、当該ＵＲＬについてのアクセス要求があると削除前の内容や、上述した本質的に重要なＷＷＷ文書内容を即座に提供することができる。これにより、ＷＷＷサイト内で無効になったＵＲＬでアクセスした閲覧者に対する利便性を向上させることができる。
【０１０５】
また、この実施の形態１によれば、ＷＷＷサイト内で収集対象のＷＷＷ文書の内容が変更されて異なるＵＲＬに移動したと考えられる場合、類似文書検索部１２によって当該ＷＷＷサイトの最新の収集期間（最終取得期間）における収集データから当該ＷＷＷ文書の特徴に基づいた類似文書検索を行なうことで、無効になったＵＲＬでアクセスした閲覧者を新たなＵＲＬに導き、最新のＷＷＷ文書内容を提供することができる。
【０１０６】
さらに、この実施の形態１によれば、動的ＵＲＬにて指定されるＣＧＩプログラムなどの動的な手段で生成されたＷＷＷ文書に対して、当該ＣＧＩプログラムに渡すパラメータの値を予め指定したものに制限する収集ルールに基づいてＷＷＷ文書の収集を行なうことで、類似した大量のＷＷＷ文書を収集することを避けることができ、ＷＷＷ文書収集の効率化や高速化を実現することができる。
【０１０７】
さらに、この実施の形態１によれば、ＵＲＬ正規化部８が、ＷＷＷ文書履歴を検索する際に使用した収集ルールに基づいて、アクセス無効とされたＵＲＬをＷＷＷ文書内容が収集済みのＵＲＬに変換する、いわゆるＵＲＬの正規化を実行することで、収集ルールに基づいて収集対象とされなかったＷＷＷ文書を指定するＵＲＬが、これと類似してほぼ等価な内容の収集済みのＷＷＷ文書を指定するＵＲＬに置換される。これにより、閲覧者が初めて辿ったＵＲＬが指定するＷＷＷ文書内容に変更があった場合にも、元の内容やそれに類似する内容を返信することができ、閲覧者に対する利便性を向上させることができる上に、実効的により広範なＵＲＬを網羅することができる。
【０１０８】
実施の形態２．
図１３はこの発明の実施の形態２によるＷＷＷサイト履歴検索装置の構成及びその動作に関与する装置を示す図である。上記実施の形態１の構成と比較して、ＷＷＷサーバ２内に暗号化部２４と復号化部２５とを備える点と、装置１内で文書特徴抽出部１０、文書特徴索引記憶部１１、及び類似文書検索部１２が除かれている点が異なる。
【０１０９】
本実施の形態２では、ＷＷＷ文書収集部５が収集するＷＷＷ文書内容がＷＷＷサーバ２の暗号化部２４により暗号化されたものであり、ＷＷＷ文書履歴記憶部６には暗号化された内容が格納される。また、履歴検索部９は、暗号化された内容を取得するため、類似文書の検索は行なわない。即ち、図１１に示したフローチャートのうちステップＳＴ３ｃからステップＳＴ５ｃまでの処理、及びステップＳＴ８ｃの処理が除かれる。
【０１１０】
さらに、ステップＳＴ２ｃにおいて、履歴検索部９は、ＷＷＷ文書履歴記憶部６から正規化されたＵＲＬに対応する内容の検索に成功した場合、ステップＳＴ７ｃの処理に進み、その内容をＷＷＷサーバ２に返す。ＷＷＷサーバ２では、復号化部２５によって、履歴検索部９から取得したＷＷＷ文書内容が復号され、当該内容をＷＷＷブラウザに返信する。なお、ＷＷＷサーバ２にて使用されるＷＷＷ文書の暗号化及び復号処理は、既存の技術を適宜利用する。
【０１１１】
以上のように、この実施の形態２によれば、ＷＷＷ文書内容の履歴を暗号化した状態で格納し、ＷＷＷサーバ２のみによって復号化を可能とすることで、特に、ＷＷＷサイト履歴検索装置１がＷＷＷサーバ２と異なる主体により運用・管理される場合において、装置１に収集させたＷＷＷ文書の内容が不正に利用される危険を防ぐことができる。
【０１１２】
実施の形態３．
図１４はこの発明の実施の形態３によるＷＷＷサイト履歴検索装置のＷＷＷ文書履歴記憶部に記憶される内部情報形式の一例を示す図である。この実施の形態３の基本的な構成は上記実施の形態１と同様であるが、ＷＷＷ文書履歴記憶部６中にＷＷＷ文書アーカイブ２２内に格納されたＷＷＷ文書をその取得日時に関連付けて格納するＷＷＷ文書索引２３ａを設けた点と、ＷＷＷサーバ２が端末装置３からアクセス要求されたＵＲＬが無効である旨を検出すると、ＷＷＷサイト履歴検索装置１に対して当該ＵＲＬと共に基準日時を含めた履歴検索要求を送信する点で異なる。
【０１１３】
ＷＷＷ文書索引２３ａには、最終取得日時の代わりに取得日時を格納し、同一ＵＲＬに対して取得日時毎に複数のエントリが用いられる。上記実施の形態１におけるＷＷＷ文書索引２３では、ＵＲＬに対応する内容が変化してもその内容を有効とみなし、新たな内容で古いエントリを上書きする。一方、ＷＷＷ文書索引２３ａでは、あるＵＲＬが指定するＷＷＷ文書の過去の時点における内容を検索可能にするために、取得日時毎にエントリが割り当てられる。
【０１１４】
ＨＴＴＰでは、ＵＲＬが指定するＷＷＷ文書の内容が以前に取得したものと変わっている場合だけ実際のデータ転送を行なうためのＩｆ−Ｍｏｄｉｆｉｅｄ−Ｓｉｎｃｅヘッダ情報が用意されている。このヘッダ情報には、ＷＷＷブラウザがそのページを最後に取得した日時が格納されており、基本的にはＷＷＷサーバ２に対して「この日時以降に更新されている場合にだけページを送る」旨を指示する情報である。
【０１１５】
通常、上記ヘッダ情報は、端末装置３のＷＷＷブラウザがキャッシュした内容の有効性を確認するために用いられているが、閲覧者が保存したＷＷＷブラウザのブックマークを介してアクセスする際に、当該ブックマークの作成日時をＷＷＷサーバ２に通知することもできる。そこで、本発明では、端末装置３のＷＷＷブラウザから受け取ったＵＲＬが指定するＷＷＷ文書がＷＷＷサーバ２内に存在しない場合、あるいはＷＷＷブラウザから上記ヘッダ情報を介して受け取った日時以降に更新されていることを検出した場合、ＷＷＷサーバ２によって、ＷＷＷサイト履歴検索装置１に対して上記ヘッダ情報から抽出した日時を指定する日時指定付きの履歴検索要求が発行される。
【０１１６】
図１５は実施の形態３によるＷＷＷサイト履歴検索装置の履歴検索部及び類似文書検索部の動作を示すフローチャートであり、この図に沿って日時指定付き履歴検索要求に対する処理について説明する。
先ず、ＷＷＷサーバ２は、端末装置３からのアクセス要求されたＷＷＷ文書が存在しないことを検出すると、当該アクセス要求に関するＵＲＬ及び指定日時を含む履歴検索要求をＷＷＷサイト履歴検索装置１に送信する。
ＷＷＷサイト履歴検索装置１内の履歴検索部９は、ＷＷＷサーバ２から履歴検索要求を受けると、当該要求に含まれる検索対象のＵＲＬを抽出して、ＵＲＬ正規化部８に出力する。
【０１１７】
ＵＲＬ正規化部８は、履歴検索部９から受け取った検索対象ＷＷＷ文書のＵＲＬを正規化する（ステップＳＴ１ｅ）。図２中の構成で説明すると、ＣＰＵ１３が、メモリ１４上のＷＷＷサイト履歴検索プログラムからの制御指令によって、ネットワークインタフェース部１８及びインターネット４を介してＷＷＷサーバ２からの履歴検索要求中のＵＲＬ及び日時（指定日時であり、履歴検索の基準日時となる）を取得してメモリ１４の処理作業領域上に展開し、上記実施の形態１と同様の手順でＵＲＬの正規化処理を実行する。
【０１１８】
ＵＲＬ正規化部８からＵＲＬを受け取ると、履歴検索部９は、当該ＵＲＬに基づいてＷＷＷ文書履歴記憶部６を検索する（ステップＳＴ２ｅ）。このとき、当該ＵＲＬに対応するＷＷＷ文書が存在しなければ、ステップＳＴ６ｅの処理に進み、存在する場合はステップＳＴ３ｅの処理に進む。ステップＳＴ６ｅにおいて、履歴検索部９は、ＷＷＷサーバ２に対して履歴検索が失敗したことを示す応答を送信して履歴検索処理を終了する。この場合、ＷＷＷサーバ２は、端末装置３に対してアクセス要求したＵＲＬが無効である旨を示すエラー応答を返信する。
【０１１９】
一方、ステップＳＴ３ｅにおいて、履歴検索部９は、ＷＷＷ文書履歴記憶部６内のＷＷＷ文書索引２３ａを読み出して、当該ＵＲＬに対応する１つ以上の取得日時のうち、指定日時直前の収集期間中の取得日時が存在するか判断する。このような取得日時が存在すれば、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、当該ＵＲＬの最終取得日時及び当該最終取得日時におけるＷＷＷ文書内容を返し、履歴検索処理を終了する（ステップＳＴ７ｅ）。
【０１２０】
ステップＳＴ３ｅにて、当該ＵＲＬに対応する１つ以上の取得日時のうちには、指定日時直前の収集期間中の取得日時が存在しないと判断されると、履歴検索部９は、ＷＷＷ文書索引２３ａに基づいて、当該ＵＲＬの指定日時以前の最終取得日時に対応するＷＷＷ文書内容をＷＷＷ文書アーカイブ２２から読み出して類似文書検索部１２に出力する。このあと、類似文書検索部１２は、当該ＵＲＬの指定日時以前の最終取得日時に対応するＷＷＷ文書内容を文書特徴抽出部１０に出力する。
【０１２１】
これにより、文書特徴抽出部１０は、当該ＷＷＷ文書内容から上記実施の形態１と同様な要領で文書特徴ベクトルを抽出して類似文書検索部１２に返信する。類似文書検索部１２では、文書特徴抽出部１０が抽出した文書特徴ベクトルに類似する文書特徴ベクトルを有する文書を文書特徴索引記憶部１１から検索する。ここまでの処理がステップＳＴ４ｅに相当する。
【０１２２】
ステップＳＴ４ｅにて一定の類似度を満たす文書が検索されると、類似文書検索部１２は、検索結果の文書のうち、最終取得日時が指定日時以前の収集期間に対応するものが存在するか否かを判定する（ステップＳＴ５ｅ）。このとき、最終取得日時が指定日時以前の収集期間に対応するものが存在すればステップＳＴ８ｅの処理に進み、存在しなければ、その旨を履歴検索部９に通知してステップＳＴ７ｅの処理に進む。
【０１２３】
上述したように、ステップＳＴ７ｅにおいて、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、当該ＵＲＬの指定日時以前の最終取得日時及び当該最終取得日時におけるＷＷＷ文書内容を返し、履歴検索処理を終了する。
【０１２４】
最終取得日時が指定日時以前の収集期間に対応するものが存在する場合、類似文書検索部１２は、その旨の通知と類似内容のＷＷＷ文書の内容及び指定日時以前の収集期間における最終取得日時とを履歴検索部９に送信する。このあと、履歴検索部９は、ＷＷＷサーバ２に対して検索の成功を示す応答を送信すると共に、類似文書検索部１２から取得した類似文書の指定日時以前の取得日時とこの取得日時における内容を返信して履歴検索処理を終了する（ステップＳＴ８ｅ）。
【０１２５】
以上のように、この実施の形態３によれば、収集ルールに従って収集したＷＷＷ文書を収集日時ごとに時系列に保存しておき、当該ＷＷＷサイトのＵＲＬと指定された日時に基づいて上記ＷＷＷ文書を抽出し、閲覧者に提供するので、ＷＷＷ文書の過去にわたる履歴が維持され、過去に有効だったＵＲＬが削除や更新を受けた場合にも元の内容を表示することができる。
【０１２６】
なお、上記実施の形態１から３では、ＷＷＷサーバ２及び端末装置３と別個の装置としてＷＷＷサイト履歴検索装置１を設ける例について説明したが、ＷＷＷサーバ２又は端末装置３の１つの機能としてＷＷＷサイト履歴検索装置１を設けても良い。例えば、装置１をＷＷＷサーバ２に設けた場合、収集ルールによって自己が管理する情報のうち、バックアップすべき内容を本質的に重要なものに抑えることができ、本発明を適用することにより必要な記憶装置などのハードウェア資源を最小限に抑えることができる。
【０１２７】
また、端末装置３のＷＷＷブラウザの１つの機能として装置１を設ける場合、例えば記憶部６，７，１１を構成する記憶装置を別個のデータサーバにて実現し、当該データサーバと連携して動作させることで、本発明を適用することにより必要な記憶装置などのハードウェア資源を最小限に抑えながら、その効果を得ることができる。この場合、記憶部６，７，１１は、装置１として機能するコンピュータに実行されることで、上記データサーバとの間で本発明の処理に使用するデータを送受する機能を備えたプログラムによって実現される。さらに、装置１としてコンピュータを機能させるＷＷＷサイト履歴検索プログラムをＡＳＰ（ＡｐｐｌｉｃａｔｉｏｎＳｅｒｖｉｃｅＰｒｏｖｉｄｅｒ）にて提供し、端末装置３にて利用できるようにしても良い。
【０１２８】
さらに、上記実施の形態１から３では、履歴検索要求をＷＷＷサーバ２からＷＷＷサイト履歴検索装置１に発行する例を示したが、ＷＷＷサーバ２からアクセス要求したＵＲＬが無効である旨の通知を受けた端末装置３が直接装置１に履歴検索要求を送信するようにしても構わない。
【０１２９】
【発明の効果】
以上のように、この発明によれば、電気通信回線を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集する収集部と、上記収集部が収集したＷＷＷ文書をそのＵＲＬに関連付けて保存する履歴格納部と、履歴検索要求として入力されたＵＲＬに基づいて上記履歴格納部に保存したＷＷＷ文書を検索する履歴検索部と、上記履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して上記履歴検索部に出力するＵＲＬ正規化部とを備えたので、過去に有効だったＵＲＬが指定するＷＷＷ文書がＷＷＷサイト内で削除や移動された場合、当該ＵＲＬについてのアクセス要求があると削除前の内容や、上述した本質的に重要なＷＷＷ文書内容を即座に提供することができるという効果がある。これにより、ＷＷＷサイト内で無効になったＵＲＬでアクセスした閲覧者に対する利便性を向上させることができる。
【０１３０】
また、履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換することで、閲覧者が初めて辿ったＵＲＬが指定するＷＷＷ文書内容に変更があった場合にも、元の内容やそれに類似する内容を返信することができ、閲覧者に対する利便性を向上させることができる上に、実効的により広範なＵＲＬを網羅することができるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１によるＷＷＷサイト履歴検索装置の構成及びその動作に関与する装置を示す図である。
【図２】図１中のＷＷＷサイト履歴検索装置を具現化するコンピュータの構成を示す図である。
【図３】図１中の収集ルール記憶部に格納される収集ルールの具体的な内容を示した図である。
【図４】図１中のＷＷＷ文書収集部の動作を示すフローチャートである。
【図５】図４中のステップＳＴ５におけるＷＷＷ文書収集部の詳細な動作を示すフローチャートである。
【図６】図５中のステップＳＴ７ａにおけるＷＷＷ文書収集部の詳細な動作を示すフローチャートである。
【図７】図１中のＷＷＷ文書収集部によるＷＷＷ文書の収集処理の時間シーケンスを示す図である。
【図８】同一ＷＷＷサイトで公開されるＷＷＷ文書の異なる時点における内容を示す図である。
【図９】図１中のＷＷＷ文書履歴記憶部に記憶される内部情報形式の一例を示す図である。
【図１０】図１中の文書特徴索引記憶部に格納される文書特徴索引情報の一例を示す図である。
【図１１】図１中のＷＷＷサイト履歴検索装置による履歴検索処理を示すフローチャートである。
【図１２】図１中のＵＲＬ正規化部の動作を示すフローチャートである。
【図１３】この発明の実施の形態２によるＷＷＷサイト履歴検索装置の構成及びその動作に関与する装置を示す図である。
【図１４】この発明の実施の形態３によるＷＷＷサイト履歴検索装置のＷＷＷ文書履歴記憶部に記憶される内部情報形式の一例を示す図である。
【図１５】実施の形態３によるＷＷＷサイト履歴検索装置の履歴検索部及び類似文書検索部の動作を示すフローチャートである。
【符号の説明】
１ＷＷＷサイト履歴検索装置、２ＷＷＷサーバ、３端末装置、４インターネット（電気通信回線）、５ＷＷＷ文書収集部（収集部）、５ａＵＲＬリスト、６ＷＷＷ文書履歴記憶部（履歴格納部）、７収集ルール記憶部、７ａ収集ルール、７ｂＵＲＬパス、７ｃパラメータ名、７ｄパラメータ値、８ＵＲＬ正規化部、９履歴検索部、１０文書特徴抽出部、１１文書特徴索引記憶部、１１ａ文書特徴索引情報、１２類似文書検索部、１３ＣＰＵ、１４メモリ、１５リアルタイムクロック部、１６コンソールインタフェース部、１７ディスクインタフェース部、１８ネットワークインタフェース部、１９内部バス、２０コンソール入出力装置、２１ハードディスク装置、２２ＷＷＷ文書アーカイブ、２３，２３ａＷＷＷ文書索引、２４暗号化部、２５復号化部。

Claims

電気通信回線を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集する収集部と、
上記収集部が収集したＷＷＷ文書をそのＵＲＬに関連付けて保存する履歴格納部と、
履歴検索要求として入力されたＵＲＬに基づいて上記履歴格納部に保存したＷＷＷ文書を検索する履歴検索部と、
上記履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して上記履歴検索部に出力するＵＲＬ正規化部と
を備えたＷＷＷサイト履歴検索装置。
履歴格納部に保存されたＷＷＷ文書のうち、内容が類似するＷＷＷ文書を検索して出力する類似文書検索部を備え、
収集部は、ＷＷＷ文書の収集を定期的に実行し、
履歴格納部は、上記収集部が収集したＷＷＷ文書をそのＵＲＬ及び最新の収集日時に関連付けて保存し、
履歴検索部は、履歴検索要求されたＵＲＬに基づいて上記履歴格納部から抽出したＷＷＷ文書の収集日時が、上記履歴検索要求されたＵＲＬに対応するＷＷＷサイトについて最後にＷＷＷ文書収集処理が実施された期間内にない場合、当該期間内で最新の収集日時を有し、且つその内容が類似するＷＷＷ文書を履歴検索結果とすることを特徴とする請求項１記載のＷＷＷサイト履歴検索装置。
電気通信回線を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に且つ定期的に収集する収集部と、
上記収集部が収集したＷＷＷ文書をそのＵＲＬに関連付けて収集日時ごとに時系列に保存する履歴格納部と、
履歴検索要求として入力されたＵＲＬ及び指定日時に基づいて上記履歴格納部に保存したＷＷＷ文書を検索し、検索結果として抽出したＷＷＷ文書のうち上記指定日時以前で最も新しい日時に対応する内容のＷＷＷ文書を履歴検索結果とする履歴検索部と、
上記履歴検索に用いるＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して上記履歴検索部に出力するＵＲＬ正規化部と
を備えたＷＷＷサイト履歴検索装置。
履歴格納部に保存されたＷＷＷ文書のうち、内容が類似するＷＷＷ文書を検索して出力する類似文書検索部を備え、
収集部は、ＷＷＷ文書の収集を定期的に実行し、
履歴検索部は、履歴検索要求されたＵＲＬに基づいて上記履歴格納部から抽出したＷＷＷ文書の収集日時が、上記履歴検索要求にて指定された指定日時以前で最新の収集日時以前の場合、上記指定日時以前で最新の収集日時を有し、且つその内容が類似するＷＷＷ文書を履歴検索結果とすることを特徴とする請求項３記載のＷＷＷサイト履歴検索装置。
収集部は、ＵＲＬパラメータの値に応じて異なる内容のＷＷＷ文書を指定するＵＲＬのうち、予め定めたパラメータ値のＵＲＬのみを選択的に収集対象とし、
ＵＲＬ正規化部は、履歴検索に用いるＵＲＬが上記収集部によって選択的に収集されなかったパラメータ値を有する場合、当該ＵＲＬを上記収集部が収集を行ったＷＷＷ文書を指定するＵＲＬのパラメータ値に置換して上記履歴検索部に出力することを特徴とする請求項１から請求項４のうちのいずれか１項記載のＷＷＷサイト履歴検索装置。
収集部は、暗号化されたＷＷＷ文書を収集し、
履歴検索部は、暗号化されたＷＷＷ文書を格納し、
履歴検索部は、暗号化されたＷＷＷ文書を出力することを特徴とする請求項１又は請求項３記載のＷＷＷサイト履歴検索装置。
収集部が、電気通信回線を介してＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集する収集ステップと、
履歴格納部が、上記収集ステップにて収集されたＷＷＷ文書をそのＵＲＬに関連付けた電子情報としてメモリ領域に保存する履歴格納ステップと、
履歴検索部が、履歴検索要求として入力されたＵＲＬに基づいて上記メモリ領域内のＷＷＷ文書を検索する履歴検索ステップと、
ＵＲＬ正規化部が、上記履歴検索用に入力されたＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して上記履歴検索ステップにおける履歴検索用のＵＲＬとするＵＲＬ正規化ステップと
を備えたＷＷＷサイト履歴検索方法。
電気通信回線を介して、ＷＷＷサイトで公開されるＷＷＷ文書のうちの一部を選択的に収集する収集部、
収集されたＷＷＷ文書をそのＵＲＬに関連付けた電子情報としてメモリ領域に保存する履歴格納部、
履歴検索要求として入力されたＵＲＬに基づいて上記メモリ領域内のＷＷＷ文書を検索する履歴検索部、
上記履歴検索用に入力されたＵＲＬが選択的に収集されなかったＷＷＷ文書を指定する場合、当該ＵＲＬを上記ＷＷＷサイトにおいて既に収集を行ったＷＷＷ文書を指定するＵＲＬに変換して履歴検索用のＵＲＬとするＵＲＬ正規化部
としてコンピュータを機能させるプログラム。