JP2007249481A

JP2007249481A - ウェブサイトの更新検出システムおよびウェブサイトの更新検出方法

Info

Publication number: JP2007249481A
Application number: JP2006070652A
Authority: JP
Inventors: Hirosuke Hamaguchi; 弘介濱口; Toshiro Muramatsu; 寿郎村松
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-03-15
Filing date: 2006-03-15
Publication date: 2007-09-27

Abstract

【課題】ウェブサイトが提供する情報を異なる記述言語の文書に変換した後もウェブサイトが提供する情報の更新を検出することができる更新検出システムを提供する。
【解決手段】ＨＴＴＰのＨＥＡＤメソッドを使用してウェブサイト２が提供する情報のヘッダ情報を取得する。ヘッダ情報から最終更新日の情報とコンテンツのデータサイズの情報を取得する。更新検出部１０５において、取得した最終更新日の情報とコンテンツのデータサイズの情報と、前回取得して情報管理部１０４に記憶している最終更新日の情報とコンテンツのデータサイズの情報とを比較する。最終更新日の情報とコンテンツのデータサイズの情報とが変更されている場合はウェブサイトが提供する情報が更新されたものと判定する。
【選択図】図１

Description

本発明は、ウェブサイトが提供する情報の更新を検出する更新検出システムおよび更新検出方法に関する。

ウェブ（ Web ）サイトが提供する情報の更新を監視し、更新があればその情報を取得し、取得した情報をユーザに配信する情報取得システムが従来技術として知られている（特許文献１）。また、ＨＴＭＬ（ Hyper Text Markup Language ）文書で記述されているウェブサイトが提供する情報をＸＭＬ（ Extensible Markup Language ）文書に変換する記述言語変換方法が従来技術として知られている（特許文献２）。
特開２００３−１５０４８６号公報特開２００２−３２８９１６号公報

現在、ウェブサイトが提供する情報のほとんどがＨＴＭＬによって記述されているため、特許文献１の情報取得システムにおいても、ＨＴＭＬ文書よりウェブページの記事やデジタルコンテンツなどの更新状況を確認することになる。このため、データ処理や情報の更新を容易に行えるようにするためにウェブサイトが提供する情報のＨＴＭＬ文書をＸＭＬ文書に変換すると、ウェブサイトが提供する情報の更新が検出できないという問題点がある。

本発明は、ウェブサイトが提供する第１の記述言語の情報を取得し、取得した第１の記述言語の情報のヘッダ情報を記憶し、取得した第１の記述言語の情報を第２の記述言語に変換し、新たに取得したヘッダ情報と、記憶したヘッダ情報とを比較することによって、第２の記述言語に変換した情報が更新されたか判定することにより、ウェブサイトが提供する情報の更新を検出することを特徴とする。

本発明によれば、ウェブサイトが提供する情報のヘッダ情報を記憶し、記憶しているヘッダ情報とウェブサイトから新たに取得したヘッダ情報とを比較することによって、ウェブサイトが提供する情報を異なる記述言語の文書に変換した後もウェブサイトが提供する情報の更新を検出することができる。

本発明の実施形態の更新検出システムの構成を図１に示す。更新検出システム１００は、サーバ１と所定の記憶装置に記憶されているウェブサイト２とから構成される。サーバ１とウェブサイト２とはインターネットのネットワーク３を通じてつながっている。クライアント（ユーザエージェントとも呼ぶ）４は、ウェブブラウザを使用してサーバ１に対してウェブサイト２の情報を要求し、ウェブサイト２が提供する情報をホームページとして閲覧することができる。

サーバ１は、通信装置１０１、制御部１０２、記憶部１０３、情報管理部１０４、更新検出部１０５、ウェブサーバ１０６および変換処理部１０７を有する。

通信装置１０１は、特定の通信プロトコルを用いてネットワーク３に接続し、他の情報機器と通信を行うための装置である。制御部１０２は、マイクロコンピュータとその周辺回路から成り、後述する更新検出処理制御プログラムを実行し、ウェブサイト２の更新検出処理を制御する。記憶部１０３は、後述する変換処理部１０７においてＨＴＭＬ文書からＸＭＬ文書に変換したテキストファイルを記憶する。

情報管理部１０４は、ウェブサイト２から取得したヘッダ情報、つまりデータサイズや最終更新日時などの基本情報をウェブサイト２のコンテンツごとに記憶し、その基本情報を記憶部１０３に保存されているＸＭＬ文書のテキストファイルに関連付けることによって、記憶部１０３に保存されているテキストファイルを管理する。

更新検出部１０５は、ウェブサイト２が提供する情報のヘッダ情報と、情報管理部１０４に記憶されているヘッダ情報とを比較してウェブサイト２が提供する情報の更新を検出する。

ウェブサーバ１０６は、ＷＷＷ（ World Wide Web ）システムの情報送信機能を持ったアプリケーションによって実現される。ウェブブラウザなどからのクライアント４の要求に応じて、ウェブサイト２が提供するＨＴＭＬ文書や画像などの情報をクライアント４に送信する。クライアント４は、ウェブサイト２が提供するＨＴＭＬ文書や画像などの情報をホームページとして閲覧することができる。

変換処理部１０７は、ウェブサイト２が提供するＨＴＭＬ文書を特定のルールにしたがってＸＭＬ文書に変換する。また、変換したＸＭＬ文書をＨＴＭＬ文書に戻す。ＸＭＬ文書に変換する特定のルールは、図２に示す変換テーブル２００に定義しておく。そして、変換テーブル２００を参照して、ＨＴＭＬ文書をＸＭＬ文書に変換する。たとえば、図２に示す変換テーブル２００によって「 <html> 」の部分は、「 <xml version="1.0"> 」と変換される。

次に、本発明の実施形態の更新検出システム１００の更新検出処理について、図３および図４のフローチャートを参照して説明する。図３および図４の処理は、更新検出制御プログラムにより、制御部１０２において実行される。ここで、ウェブサーバ１０６が管理しているウェブサイト２のＨＴＭＬ文書は、予めＸＭＬ文書に変換されて記憶部１０３に記憶されているものとする。

ステップＳ３０１では、ＨＴＴＰ（ Hypertext Transfer Protocol ）のＨＥＡＤメソッドを使用して、ウェブサイト２が提供する情報のヘッダ情報を取得する。ステップＳ３０２では、ヘッダ情報から最終更新日の情報（ Last-Modified ）とコンテンツのデータサイズの情報（ Content-Length ）とが取得できたか判定する。取得できた場合はステップＳ３０２が肯定判定され、ステップＳ３０３へ進む。取得できなかった場合はステップＳ３０２が否定判定され、ステップＳ４０１に進む。

ステップＳ３０３では、更新検出部１０５において、取得したヘッダ情報と、情報管理部１０４で記憶している同ウェブサイト２から取得したヘッダ情報とを比較し、最終更新日とコンテンツのデータサイズとが変更されたか判定する。変更された場合はステップＳ３０３が肯定判定され、ステップＳ３０４へ進む。変更されていない場合はステップＳ３０３が否定判定され、ステップＳ３０８へ進む。ステップＳ３０４では、ウェブサイト２が提供した情報のヘッダ情報を情報管理部１０４に記憶する。

ステップＳ３０５では、ＨＴＴＰのＧＥＴメソッドを使用してウェブサイト２のＨＴＭＬ文書を取得する。ステップＳ３０６では、変換処理部１０７においてウェブサイト２が提供した情報のＨＴＭＬ文書をＸＭＬ文書に変換する。ステップＳ３０７では、変換したＸＭＬ文書を記憶部１０３に記憶する。

ステップＳ３０８では、クライアント４から、ウェブサイト２に対するリクエストがあったか判定する。リクエストがあった場合はステップＳ３０８が肯定判定され、ステップＳ３０９へ進む。リクエストがない場合はステップＳ３０８が否定判定され、リターンする。ステップＳ３０９では、変換後のＸＭＬ文書を含んだレスポンスをクライアントに送信する。そして、リターンする。

図４のステップＳ４０１では、ＨＴＴＰのＧＥＴメソッドを使用してウェブサイト２のＨＴＭＬ文書を取得する。ステップＳ４０２では、ＨＴＭＬ文書同士の比較を容易にするため、ＨＴＭＬ文書の簡略化を行う。ＨＴＭＬ文書の簡略化は、ＨＴＭＬ文書の記述子の中から、変換の対象とならない要素や属性を取り除くことによって行う。つまり、変換テーブル２０の中で使用されていない要素や属性をＨＴＭＬ文書から取り除く処理を行う。

ステップＳ４０３では、変換処理部１０７において記憶部１０３に記憶している同ウェブサイト２のＸＭＬ文書をＨＴＭＬ文書に変換する。ここで、ＸＭＬ文書からＨＴＭＬ文書への変換は、図２の変換テーブル２００を参照して変換後のＸＭＬ文書を変換前のＨＴＭＬ文書に逆変換する。

ステップＳ４０４では、更新検出部１０５においてウェブサイト２から取得したＨＴＭＬ文書の文字列と、ＸＭＬ文書から変換したＨＴＭＬ文書の文字列とを比較する。文字列の比較は、１文字目から双方の文字列を順次比較し、全ての文字列について行う。ステップＳ４０５では、全ての文字列が一致したか判定する。全ての文字列が一致する場合は、ウェブサイト２が提供したＨＴＭＬ文書が更新されていないものとみなすことができる。全ての文字列が一致する場合はステップＳ４０５が肯定判定され、図３のステップＳ３０８へ進む。一致しない場合はステップＳ４０５が否定判定され、ステップＳ４０６へ進む。

ステップＳ４０６では、変換処理部１０７において、ＸＭＬ文書から変換したＨＴＭＬ文書の文字列と一致しない、ウェブサイト２から取得したＨＴＭＬ文書の文字列をＸＭＬ文書に変換する。ステップＳ４０７では、変換したＸＭＬ文書を記憶部１０３に記憶する。

ステップＳ４０８では、クライアント４から、ウェブサイト２に対するリクエストがあったか判定する。リクエストがあった場合はステップＳ４０８が肯定判定され、ステップＳ４０９へ進む。リクエストがない場合はステップＳ４０８が否定判定され、リターンする。ステップＳ４０９では、更新された部分、つまりＸＭＬ文書から変換した後のＨＴＭＬ文書と一致しない文字列のみをＸＭＬ文書に変換したコンテンツを含んだレスポンスをクライアント４に送信する。そして、リターンする。

以上の実施の形態によるウェブサイト２が提供する情報の更新検出システム１００は次のような作用効果を奏する。
（１）ウェブサイト２が提供する情報のヘッダ情報を記憶し、記憶しているヘッダ情報とウェブサイト２から取得したヘッダ情報とを比較することによって、ウェブサイト２が提供する情報をＨＴＭＬ文書からＸＭＬ文書に変換した後も、ウェブサイト２が提供する情報の更新を検出することができる。

（２）記憶部１０３に記憶しているＸＭＬ文書をＨＴＭＬ文書に変換し、変換したＨＴＭＬ文書の文字列とウェブサイト２から取得したＨＴＭＬ文書とを比較することによって、ウェブサイト２が提供する情報をＨＴＭＬ文書からＸＭＬ文書に変換した後も、ウェブサイト２が提供する情報の更新を検出することができる。

（３）ウェブサイト２が提供する情報が更新されたときのみにＨＴＭＬ文書からＸＭＬ文書に変換する処理を行うことができるので、サーバ１の処理負担を大幅に軽減することができる。

以上の実施の形態の更新検出システム１００を次のように変形することができる。
（１）ウェブサイト２が提供する情報のヘッダ情報より取得する情報は、ウェブサイト２が提供する情報の更新が判定できれば、最終更新日の情報とコンテンツのデータサイズの情報に限定されない。また、最終更新日の情報およびコンテンツのデータサイズの情報のうちのどちらかの情報を取得してウェブサイト２が提供する情報の更新を判定してもよい。

（２）ウェブサイト２が提供する情報のヘッダ情報から最終更新日の情報とコンテンツのデータサイズの情報とを取得できないとき、記憶部１０３に記憶しているＸＭＬ文書をＨＴＭＬ文書に変換し、ＨＴＭＬ文書の文字列を比較してウェブサイト２が提供する情報の更新を検出したが、ＨＴＭＬ文書の記述子を除いたコンテンツ部分のデータサイズを比較してウェブサイト２が提供する情報の更新を検出するようにしてもよい。

また、ウェブサイト２が提供する情報のＨＴＭＬ文書の記述子を除いたコンテンツ部分のデータサイズと、予め記憶してあるヘッダ情報のコンテンツのデータサイズの情報とを比較してウェブサイト２が提供する情報の更新を検出するようにしてもよい。

さらに、更新検出部１０５の処理負荷を軽減するために、コンテンツの任意の位置（たとえば、ＨＴＭＬ文書のはじめとおわりの数バイトの部分のみ）のデータサイズを比較するようにしてもよい。更新検出部１０５の処理負荷を軽減することができる。

上記、文字列の比較とデータサイズの比較とを組み合わせて、どちらもウェブサイト２が提供する情報の更新がされていないと判定した場合にのみ、更新されていないと判定するようにしてもよい。ウェブサイト２が提供する情報の更新を確実に検出することができる。

（３）ウェブサイト２が提供する情報のヘッダ情報から最終更新日の情報とコンテンツのデータサイズの情報とを取得できないとき、記憶部１０３に記憶しているＸＭＬ文書をＨＴＭＬ文書に変換し、全ての文字列を比較してウェブサイト２が提供する情報の更新を検出したが、ＨＴＭＬ文書の所定の箇所（たとえば、ＨＴＭＬ文書のはじめとおわり）の文字列を比較するようにしてもよい。更新検出部１０５の処理負荷を軽減することができる。

また、上記、データサイズの比較と組み合わせて、どちらもウェブサイト２が提供する情報の更新がされていないと判定した場合にのみ、更新されていないと判定するようにしてもよい。ウェブサイト２が提供する情報の更新を確実に検出することができる。

（４）ウェブサイト２が提供する情報が画像データである場合、画像ファイルのバイト数を比較することによって、画像データの更新を検出するようにしてもよい。この場合、記憶部１０３に画像ファイルを記憶し、記憶部１０３に記憶している画像ファイルのバイト数とウェブサイト２から取得した画像ファイルのバイト数を比較する。このとき、記憶部１０３に記憶しているＸＭＬ文書をＨＴＭＬ文書に変換し、ＨＴＭＬ文書の先頭から同じ位置に記述された相対アドレスの指定先の画像ファイルのバイト数をそれぞれ比較し、全ての画像ファイルのバイト数が一致する場合は、画像データは更新されていないものと判定する。ウェブサイト２が提供する情報をＨＴＭＬ文書からＸＭＬ文書に変換した後も、画像データのみの更新を検出することができる。

また、画像ファイルの画像データに添付されている付属情報を比較することによって画像データの更新を検出するようにしてもよい。この場合、記憶部１０３に記憶しているＸＭＬ文書をＨＴＭＬ文書に変換し、ＨＴＭＬ文書の先頭から同じ位置に記述された相対アドレスの指定先の画像ファイルの付属情報をそれぞれ比較し、全ての付属情報が一致する場合は、画像データは更新されていないものと判定する。

（５）ウェブサイト２が提供する情報の更新が検出されると、クライアント４にウェブサイト２が更新した旨の情報や更新した部分の情報などの更新情報を送信するようにしてもよい。更新した部分の情報は、ＸＭＬ文書に変換して送信するようにしてもよい。クライアント４自身が定期的に更新状況を参照する時間および労力を削減することができる。

（６）本発明は、異なる記述言語の文書に変換するものであれば、ＨＴＭＬ文書からＸＭＬ文書の変換に限定されない。たとえば、ＨＴＭＬ文書からＸＨＴＭＬ（ Extensible Hypertext Markup Language ）に変換する場合に適用してもよい。

本発明は、ウェブサイトが提供する第１の記述言語で記述された第１情報を取得する取得手段と、取得した第１情報のヘッダ情報を記憶するヘッダ情報記憶手段と、取得手段によって取得した第１情報を第２の記述言語による第２情報に変換する第１の記述言語変換手段と、新たに取得手段によって取得した第１情報のヘッダ情報と、ヘッダ情報記憶手段によって記憶した第１情報のヘッダ情報とを比較することによって、第２情報が更新されたか判定する判定手段とを備えることを特徴とする構成を有していれば、以上説明した実施の形態になんら限定されない。

本発明の実施形態のウェブサイトが提供する情報の更新検出システムの構成を示すブロック図である。変換テーブルを説明するための図である。本発明の実施形態のウェブサイトが提供する情報の更新検出システムの更新検出処理を説明するためのフローチャートである。本発明の実施形態のウェブサイトが提供する情報の更新検出システムの更新検出処理を説明するためのフローチャートである。

符号の説明

１サーバ２ウェブサイト
３ネットワーク４クライアント
１００更新検出システム１０１通信装置
１０２制御部１０３記憶部
１０４情報管理部１０５更新検出部
１０６ウェブサーバ１０７変換処理部

Claims

ウェブサイトが提供する第１の記述言語で記述された第１情報を取得する取得手段と、
前記取得した第１情報のヘッダ情報を記憶するヘッダ情報記憶手段と、
前記取得手段によって取得した第１情報を第２の記述言語による第２情報に変換する第１の記述言語変換手段と、
新たに前記取得手段によって取得した第１情報のヘッダ情報と、前記ヘッダ情報記憶手段によって記憶した第１情報のヘッダ情報とを比較することによって、前記第２情報が更新されたか判定する判定手段とを備えることを特徴とするウェブサイトの更新検出システム。
請求項１に記載のウェブサイトの更新検出システムにおいて、
前記ヘッダ情報は、前記ウェブサイトの最終更新日の情報であることを特徴とするウェブサイトの更新検出システム。
請求項１に記載のウェブサイトの更新検出システムにおいて、
前記ヘッダ情報は、前記ウェブサイトの最終更新日の情報および前記ウェブサイトが提供するコンテンツのデータサイズの情報、または前記ウェブサイトが提供するコンテンツのデータサイズの情報であることを特徴とするウェブサイトの更新検出システム。
請求項３に記載のウェブサイトの更新検出システムにおいて、
前記判定手段は、新たに前記取得手段によって第１情報のヘッダ情報を取得できないときは、前記ヘッダ情報記憶手段によって記憶されているウェブサイトが提供するコンテンツのデータサイズと、新たに前記取得手段によって第１情報を取得した際に検出したデータサイズとを比較することによって、前記第２情報が更新されたか判定することを特徴とするウェブサイトの更新検出システム。
請求項１乃至４のいずれか１項に記載のウェブサイトの更新検出システムにおいて、
前記第２情報をさらに第１の記述言語による第３情報に変換する第２の記述言語変換手段を備え、
前記判定手段は、新たに前記取得手段によって第１情報のヘッダ情報を取得できないときは、前記第３情報と、新たに前記取得手段によって取得した第１情報とを比較することによって、前記第２情報が更新されたか判定することを特徴とするウェブサイトの更新検出システム。
請求項５に記載のウェブサイトの更新検出システムにおいて、
前記判定手段は、新たに前記取得手段によって第１情報のヘッダ情報を取得できないときは、前記第３情報のコンテンツの文字列と、新たに前記取得手段によって取得した第１情報のコンテンツの文字列とを一文字目から比較し、両文字列が全て一致する場合は前記第２情報が更新されていないと判定し、一致しない文字列がある場合は前記第２情報が更新されたと判定することを特徴とするウェブサイトの更新検出システム。
請求項６に記載のウェブサイトの更新検出システムにおいて、
新たに前記取得手段によって取得した第１情報のコンテンツの文字列のうち、前記第３情報のコンテンツの文字列と一致しない文字列を、前記第１の記述言語変換手段によって第２の記述言語に変換してユーザに送信する送信手段を備えることを特徴とするウェブサイトの更新検出システム。
請求項５に記載のウェブサイトの更新検出システムにおいて、
前記判定手段は、新たに前記取得手段によって第１情報のヘッダ情報を取得できないときは、前記第３情報のコンテンツの文字列と、新たに前記取得手段によって取得した第１情報のコンテンツの文字列とを所定の箇所から抜き出して比較し、前記抜き出した両文字列が全て一致する場合は、前記第２情報が更新されていないと判定し、一致しない文字列がある場合は、前記第２情報が更新されたと判定することを特徴とするウェブサイトの更新検出システム。
請求項６乃至８のいずれか１項に記載のウェブサイトの更新検出システムにおいて、
前記判定手段は、さらに、前記ヘッダ情報記憶手段によって記憶した第１情報のコンテンツのデータサイズと、新たに前記取得手段によって第１情報を取得した際に検出したデータサイズとを比較することによって、前記第２情報が更新されたか判定することを特徴とするウェブサイトの更新検出システム。
請求項１に記載のウェブサイトの更新検出システムにおいて、
前記取得手段は、前記ウェブサイトより画像ファイルを取得し、
前記取得した画像ファイルを記憶する記憶手段と、
前記第２情報をさらに第１の記述言語による第３情報に変換する第２の記述言語変換手段とを備え、
前記判定手段は、前記第３情報と、新たに前記取得手段によって取得した第１情報とを比較し、前記２つの情報の同じ位置に記述されている相対アドレスが指定する前記取得手段によって取得した画像ファイルのバイト数と前記記憶手段によって記憶した画像ファイルのバイト数とを比較することによって、前記第２情報が更新されたか判定することを特徴とするウェブサイトの更新検出システム。
請求項１に記載のウェブサイトの更新検出手段において、
前記取得手段は、前記ウェブサイトより画像ファイルを取得し、
前記取得した画像ファイルを記憶する記憶手段と、
前記第２情報をさらに第１の記述言語による第３情報に変換する第２の記述言語変換手段とを備え、
前記判定手段は、前記第３情報と、新たに前記取得手段によって取得した第１情報とを比較し、前記２つの情報の同じ位置に記述されている相対アドレスが指定する前記取得手段によって取得した画像ファイルの付属情報と前記記憶手段によって記憶した画像ファイルの付属情報とを比較することによって、前記第２情報が更新されたか判定することを特徴とするウェブサイトの更新検出システム。
請求項１乃至１１のいずれか１項に記載のウェブサイトの更新検出システムにおいて、
前記判定手段によって前記第２情報の更新を判定すると、ユーザに前記ウェブサイトが提供する第１情報が更新されたことを通知する通知手段を備えることを特徴とするウェブサイトの更新検出システム。
請求項１乃至１２のいずれか１項に記載のウェブサイトの更新検出システムにおいて、
前記第１の記述言語はＨＴＭＬであり、前記第２の記述言語はＸＭＬであることを特徴とするウェブサイトの更新検出システム。
ウェブサイトが提供する第１の記述言語の情報を取得し、
前記取得した第１の記述言語の情報のヘッダ情報を記憶し、
前記取得した第１の記述言語の情報を第２の記述言語に変換し、
新たに取得したヘッダ情報と、前記記憶したヘッダ情報とを比較することによって、前記第２の記述言語に変換した情報が更新されたか判定することによって、ウェブサイトが提供する情報の更新を検出することを特徴とするウェブサイトの更新検出方法。