JP2005301437A - 適応型ウエブページデータ抽出装置および抽出プログラム - Google Patents

Abstract

【課題】
ＨＴＭＬ構造に変更が生じた場合においても、適応するデータ抽出することのできる適応型ウエブページデータ抽出装置を提供する。
【解決手段】
ウエブページから所定の文字列を予め抽出基本データとして抽出して格納するデータ抽出手段１３１と、前記ウエブページが変更されたとき、変更後のウエブページから前記抽出基本データを検索し、検索した抽出基本データのＨＴＭＬ構造における位置を表す情報をもとに、変更前のウエブページのＨＴＭＬ構造における抽出基本データ位置に対応する文字列を変更後のウエブページと同じＨＴＭＬ構造であって内容が異なるウエブページから抽出するデータ抽出手段を再構築するデータ抽出再構築手段１３２を備えた。
【選択図】 図１

Description

本発明は、適応型ウエブページデータ抽出装置および抽出プログラムに係り、特に、ウエブページが変更されてもウエブページから必要な文字列を容易に抽出することのできる適応型ウエブページデータ抽出装置および抽出プログラムに関する。

ウエブページはＷＷＷシステムを利用しインターネット上で公開されている文書であり、主にＨＴＭＬというマークアップ言語で記述されている。インターネット利用の急激な普及に伴い、公開されるウエブページの数も膨大となり、計算機を用いて自動的にウエブページ内の重要な文字列を抽出しデータベース化して管理したいというニーズが高まっている。しかし、ＨＴＭＬは人に対しての見栄えを記述するために使用される言語であるため、計算機を用いて自動的にウエブページから目的の文字列を抽出することは困難である。

この問題を解決するため、抽出したい文字列の前後のタグ情報を元にデータ抽出プログラムを構築し、ウエブページをデータベース化する手法がある。この手法に用いるデータ抽出プログラムは、ウエブページのＨＴＭＬ構造が同じである限り、文字列が異なっていても各ウエブページから目的の文字列を抽出することが可能である（非特許文献１参照）。

例えば、多数のパッケージ旅行の情報を、各パッケージ旅行ごとに１つのウエブページを用いて提供するウエブサイトがあるとする。

このウエブサイトでは各パッケージ旅行のウエブページは、それぞれ内容は異なるが同じＨＴＭＬ構造で構成されている。このような場合、任意のパッケージ旅行のウエブページを参照して抽出したい特定の文字列の前後のタグ情報を元にデータを抽出するプログラムを構築することができる。このデータ抽出プログラムを利用することで、他のパッケージ旅行のウエブページからも同種の文字列を抽出することを可能になる。抽出してデータベース化した情報は、類似するパッケージ旅行商品の価格の比較などに利用できる。
小島剛著 「Ｃｏｓｍｉｎｅｘｕｓ Ｌｅａｐ０１−００Ａ 取扱説明書」日立製作所 ２００３年

前記従来技術によれば、ウエブページのＨＴＭＬ構造が同じである限り、文字列が異なっていても各ウエブページから目的の文字列を抽出することが可能である。しかしながら、ＨＴＭＬ構造に変更が生じた場合、その都度データ抽出プログラムを人手を介して再構築しなければならない。

本発明は、これらの問題点に鑑みてなされたもので、ＨＴＭＬ構造に変更が生じた場合においても、適応するデータを抽出することのできる適応型ウエブページデータ抽出装置を提供する。

本発明は上記課題を解決するため、次のような手段を採用した。

ウエブページから所定の文字列を予め抽出基本データとして抽出して格納するデータ抽出手段と、前記ウエブページが変更されたとき、変更後のウエブページから前記抽出基本データを検索し、検索した抽出基本データのＨＴＭＬ構造における位置を表す情報をもとに、変更前のウエブページのＨＴＭＬ構造における抽出基本データ位置に対応する文字列を変更後のウエブページと同じＨＴＭＬ構造であって内容が異なるウエブページから抽出するデータ抽出手段を再構築するデータ抽出再構築手段を備えた。

本発明は、以上の構成を備えるため、ＨＴＭＬ構造に変更が生じた場合においても、適応するデータ抽出プログラムを生成することのできる適応型ウエブぺージデータ抽出装置を提供することができる。

以下、最良の実施形態を添付図面を参照しながら説明する。図１は、本発明の第１の実施形態にかかる適応型ウエブページデータ抽出装置を説明する図である。この例では、ウエブページの内容は不変でＨＴＭＬ構造が変化する場合について説明する。図に示すように適応型ウエブページデータ抽出装置１０は、ウエブサーバ２０と接続し、ウエブページのＨＴＭＬ構造が変更される以前に抽出した文字列やその前後のタグパターンを記憶装置１３に記憶している。

図１において、１０は適応型ウエブページデータ抽出装置であり、ウエブサーバ２０とインターネットまたはＬＡＮなどのネットワークを用いて接続される。２０はウエブページを提供するウエブサーバ２０である。１１はＬＡＮボードやモデムなどの通信装置、１２はＣＰＵなどの中央処理装置１２である。

また、１３は記憶装置であり、バスを介して通信装置１１および中央処理装置１２と接続する。また、１３１は通信装置１１を介してウエブサーバからウエブページデータを抽出するデータ抽出手段であり、中央処理装置１２および該装置が実行するプログラム（データ抽出プログラム）で構成することができる。１３２はデータ抽出再構築手段であり、前記ウエブページのＨＴＭＬ構造が変更された場合においても、適応するデータを抽出することのできるようにデータ抽出手段１３１を再構成する。なお、データ抽出再構築手段１３２は中央処理装置１２および該装置が実行するプログラム（データ抽出再構築プログラム）で構成することができる。１３３はデータ抽出手段により抽出したウエブページデータ（抽出データ）である。１３４は抽出基本データであり、データ抽出手段により抽出したウエブページデータ１３３の１つをウエブページの格納場所を示すＵＲＬと共に格納する。

図２は、ウエブサーバ２０が提供するウエブページの一例を示す図であり、ウエブページ２０１は変更が施される以前ウエブページ、ウエブページ２０２は変更後のウエブページである。ウエブページ２０１および２０２は同一内容のパッケージ旅行についてＨＴＭＬを用いて記述している。すなわち、ウエブページ２０１と２０２はウエブページブラウザで閲覧する際に読み取ることのできる情報は同じであるがＨＴＭＬ構造（この例ではテーブルの構造）が異なっている。

図３は、データ抽出手段１３１を用いて、例えばウエブページ２０１から抽出した抽出データ１３３の一例を示す図である。

抽出データ１３３は、ウエブページから抽出する各データの項目のセット３１１と、その項目のセット３１１に対応する値のセット３１２を有する。抽出データ１３３はウエブページ２０１あるいは２０２と１対１の関係にある。なお、抽出データ１３３はデータベースにＣＳＶファイルあるいはＸＭＬファイルなどとして蓄積される。

ウエブページ２０１から抽出データ１３３を抽出するに際しては、ウエブページ２０１から、抽出データの項目である「名称」、「料金」、「利用ホテル」、および「航空会社」にそれぞれ対応する値である「ハワイ６日間の旅」、「５４８００円〜８９８００円」、「ハワイリゾート」、および「全日本航空」を抽出する。

このデータ抽出処理を行うデータ抽出手段１３１は、最初から１番目の＜ｈ１＞タグと最初から１番目の＜／ｈ１＞タグの間の文字列、最初から２番目の＜ｔｄ＞タグと最初から２番目の＜／ｔｄ＞タグの間の文字列、最初から４番目の＜ｔｄ＞タグと最初から４番目の＜／ｔｄ＞タグの間の文字列、および最初から６番目の＜ｔｄ＞タグと最初から６番目の＜／ｔｄ＞タグの間の文字列を読み出して記憶装置１３に蓄積する処理を行う。

なお、このデータ抽出手段１３１は、ウエブページ２０１と同じＨＴＭＬ構造で異なるパッケージ旅行について記述しているウエブページからも同様に値を読み出して記憶装置１３に蓄積することができる。

図４は、抽出基本データ１３４の一例を示す図である。抽出基本データ１３４は、ウエブページから抽出したデータの項目のセット４１１、項目のセット４１１に対応する値のセット４１２およびウエブページの格納場所を示すＵＲＬ４２１を備える。抽出基本データ１３４は、後述するようにデータ抽出手段１３１を再構築する際に参照する。

図５は、データ抽出再構築手段１３２の処理を説明するフローチャートである。

データ抽出再構築手段１３２は、定期的にウエブサーバ２０からウエブページを取得し、以前に取得したウエブページと比較して、ＨＴＭＬ構造に変更が生じたか否かを判断する。なお、定期的にデータ抽出手段１３１を起動しデータ抽出が可能かどうか監視することにより、ＨＴＭＬ構造に変更があるか否かを判断しても良い。また、ウエブサーバ２０の管理者からＨＴＭＬ構造を変更したという信号を受信するようにしても良い。ＨＴＭＬ構造に変更が無いと判断した場合はデータ抽出手段１３１を実行する（ステップ１００１，１００５）。

一方、ＨＴＭＬ構造に変更があった場合は、抽出基本データ１３４のＵＲＬ４２１を参照して新しいＨＴＭＬ構造のウエブページ２０２を取得する（ステップ１００２）。

次いで、図４に示す抽出基本データ１３４の値のセット４１２（「ハワイ６日間の旅」、「５４８００円〜８９８００円」、「ハワイリゾート」、「全日本航空」）のそれぞれを図２に示す変更後のウエブページ２０２から検索し、それぞれの前後のタグを調べる。例えば、項目「名称」に対応する値「ハワイ６日間の旅」の直前のタグは最初から１番目の＜ｂ＞タグであり、直後のタグは最初から１番目の＜／ｂ＞タグであることがわかり、項目「料金」に対応する値「５４８００円〜８９８００円」の直前のタグは最初から６番目の＜ｔｄ＞タグであり、直後のタグは最初から５番目の＜／ｔｄ＞タグであることがわかり、項目「利用ホテル」に対応する値「ハワイリゾート」の直前のタグは最初から７番目の＜ｔｄ＞タグであり、直後のタグは最初から６番目の＜／ｔｄ＞タグであることがわかり、項目「航空会社」に対応する値「全日本航空」の直前のタグは最初から８番目の＜ｔｄ＞タグであり、直後のタグは最初から７番目の＜／ｔｄ＞タグであることがわかる（ステップ１００３）。

次いで、ステップ１００３の結果に基づいて、ウエブページ２０２の最初から１番目の＜ｂ＞タグと最初から１番目の＜／ｂ＞タグの間の文字列、最初から６番目の＜ｔｄ＞タグと最初から５番目の＜／ｔｄ＞タグの間の文字列、最初から７番目の＜ｔｄ＞タグと最初から６番目の＜／ｔｄ＞タグの間の文字列、および最初から８番目の＜ｔｄ＞タグと最初から７番目の＜／ｔｄ＞タグの間の文字列をそれぞれ読み出し、読み出した文字列を記憶装置１３に蓄積するようなデータ抽出手段１３１を再構築する（ステップ１００４）。

すなわち、ステップ１００３において、各抽出基本データ１３４の値の前後に位置するタグ（抽出基本データに近接するタグでも良い）を検出し、ステップ１００４において、前記検出したタグを用いて、すなわち、検出した抽出基本データのＨＴＭＬ構造における位置を表す情報をもとに変更後のウエブページから目的のデータを抽出するデータ抽出プログラムを再構成する。

このように、ウエブページから文字列を抽出するためには、抽出する文字列の前後のタグ情報が重要であることから、ＨＴＭＬ構造が変更される以前に、抽出する文字列、あるいは、後述するその前後のタグパターンを保存しておく。そして、ＨＴＭＬ構造が変更された後、保存した文字列あるいはタグパターンをキーとしてウエブページから抽出する文字列を検索し、検索した文字列前後のタグ情報からデータ抽出プログラムを再構築することができる。

次いで、再構築したデータ抽出手段１３１を起動する（ステップ１００５）。

データ抽出手段１３１はウエブページ２０２と同じＨＴＭＬ構造のウエブページから目的のデータを抽出し記憶装置１３の抽出データ１３３として蓄積することができる。

この方法により再構築したデータ抽出手段１３１を用いる場合、取得するウエブページのＨＴＭＬ構造に変更があっても、ウエブページの文字列（項目および対応する値）を表にしてデータベース化することができる。このため統合ウエブアプリケーションであるポータルサイトやウエブサービスなどの用途に適用できる。

図６は、第２の実施形態を説明する図である。この例では、ウエブページの内容とＨＴＭＬ構造が共に変わる場合について説明する。

図６は、ウエブサーバ２０が提供するウエブページ２０３とウエブページ２０３に対する抽出基本データ１３４の一例を示す図である。

ウエブページ２０３は、図２に示す変更前のウエブページ２０１とは、その内容もＨＴＭＬ構造も異なっている。

一方、抽出基本データ１３４として、例えば、項目のセット４１１、項目のセット４１１に対応するタグパターンのセット４１３、およびＵＲＬ４２１を設定する。なお、各項目毎の抽出すべきデータとその前後のタグパターンの関連は、ウエブページの内容とＨＴＭＬ構造が共に変更されても維持されているとする。また、前記抽出基本データ（タグパターン）はデータ抽出手段により抽出したウエブページデータの１つをもとに作成し、ウエブページの格納場所を示すＵＲＬと共に格納する。

タグパターンのセット４１３としては、例えば、文字列とタグの組合せで設定する。図の例では、項目「名称」に対応するタグパターンとして、最初の＜ｈ１＞タグと最初の＜／ｈ１＞タグの間の文字列を指定する。

タグパターンに含まれる値をウエブページ２０３から検索するとき、検索タグの属性や空白などの意味を持たない文字や大文字と小文字の差等は無視するとよい。例えば、タグパターンが「“料金＜／ｔｄ＞＜ｔｄ＞”と“＜／ｔｄ＞”の間」であるとき、ウエブページに「＜ＴＤ＞＜Ｂ＞料 金＜／Ｂ＞＜／ＴＤ＞＜ＴＤ ｂｇｃｏｌｏｒ＝＃ＣＣＣＣＣＣ＞９８０００円＜／ＴＤ＞」という文字列があれば、「９８０００円」を抽出するように設定しておく。

このように設定しておくことにより、データ抽出再構築手段１３２は、抽出基本データ１３４のタグパターンのセット４１３を順次ウエブページ２０３から検索することができる。例えば、ウエブページ２０３の最初の＜ｈ１＞タグと最初の＜／ｈ１＞タグの間の文字列を読み出して、「ハワイ６日間の旅」を取得し、
また、ウエブページ２０３の最初の＜ｔａｂｌｅ＞タグと最初の＜／ｔａｂｌｅ＞タグの間にある２番目の＜ｔｄ＞タグと２番目の＜／ｔｄ＞タグの間の文字列を読み出して、「４９８００円〜９４８００円」を取得し、
また、最初から２番目の＜ｔａｂｌｅ＞タグと最初から２番目の＜／ｔａｂｌｅ＞タグの間にある２番目の＜ｔｄ＞タグと２番目の＜／ｔｄ＞タグの間の文字列を読み出して、「ハワイホテル」を取得し、
また、最初から３番目の＜ｔａｂｌｅ＞タグと最初から３番目の＜／ｔａｂｌｅ＞タグの間にある２番目の＜ｔｄ＞タグと２番目の＜／ｔｄ＞タグの間の文字列を読み出して、「東京航空」を取得し、取得した値を記憶装置１３に蓄積するプログラム（データ抽出プログラム）を再構築することができる。

すなわち、この例では、抽出基本データである、抽出すべきデータの値付近のタグパターン（抽出基本データのＨＴＭＬ構造における位置を表す）をもとに変更後のウエブページから目的のデータを抽出するデータ抽出プログラムを再構成する。

このようにして、データ抽出プログラムを再構築するので、ウエブページの内容およびＨＴＭＬ構造が共に変更された場合においても、ウエブページの文字列を取得してデータベース化することができる。このため、統合ウエブアプリケーションであるポータルサイトやウエブサービスなどの用途に適用することができる。

また、本発明の装置は、他の企業が運営するパッケージ旅行情報の提供ウエブサイトのようなＨＴＭＬ構造が異なる２つ以上の同種ウエブサイトに対して、企業共通の１つのパッケージ旅行情報を抽出基本データとして設定し、各企業が運営するパッケージ旅行情報の提供ウエブサイトごとにデータ抽出手段１３１を構築することができるので、各企業が提供するウエブページの文字列を表にしてデータベース化することにも応用できる。

本発明の第１の実施形態にかかる適応型ウエブページデータ抽出装置を説明する図である。 ウエブサーバが提供するウエブページの一例を示す図である。 データ抽出手段を用いて、ウエブページから抽出した抽出データの一例を示す図である。 抽出基本データの一例を示す図である。 データ抽出再構築手段の処理を説明するフローチャートである。 第２の実施形態を説明する図である。

符号の説明

１０ 適応型ウエブページデータ抽出装置
１１ 通信装置
１２ 中央処理装置
１３ 記憶装置
２０ ウエブサーバ
１３１ データ抽出手段
１３２ データ抽出再構築手段
１３３ 抽出データ
１３４ 抽出基本データ

Claims (6)

1. ウエブページから所定の文字列を予め抽出基本データとして抽出して格納するデータ抽出手段と、
   前記ウエブページが変更されたとき、変更後のウエブページから前記抽出基本データを検索し、検索した抽出基本データのＨＴＭＬ構造における位置を表す情報をもとに、変更前のウエブページのＨＴＭＬ構造における抽出基本データ位置に対応する文字列を変更後のウエブページと同じＨＴＭＬ構造であって内容が異なるウエブページから抽出するデータ抽出手段を再構築するデータ抽出再構築手段を備えたことを特徴とする適応型ウエブページデータ抽出装置。
2. 請求項１記載の適応型ウエブページデータ抽出装置において、
   前記抽出基本データは抽出データの値であることを特徴とする適応型ウエブページデータ抽出装置。
3. 請求項１記載の適応型ウエブページデータ抽出装置において、
   前記抽出基本データは抽出データの値付近のタグパターンであることを特徴とする適応型ウエブページデータ抽出装置。
4. ウエブページから所定の文字列を予め抽出基本データとして抽出して格納するデータ抽出プログラムと、
   前記ウエブページが変更されたとき、変更後のウエブページから抽出基本データを検索し、検索した抽出基本データのＨＴＭＬ構造における位置を表す情報をもとに、前記データ抽出プログラムを、変更前のウエブページのＨＴＭＬ構造における抽出基本データ位置に対応する文字列を変更後のウエブページと同じＨＴＭＬ構造であって内容が異なるウエブページから抽出するプログラムに再構築するデータ抽出再構築プログラムを備えたことを特徴とする適応型ウエブページデータ抽出プログラム。
5. 請求項４記載の適応型ウエブページデータ抽出プログラムにおいて、
   前記抽出基本データは抽出データの値であることを特徴とする適応型ウエブページデータ抽出プログラム。
6. 請求項４記載の適応型ウエブページデータ抽出プログラムにおいて、
   前記抽出基本データは抽出データの値付近のタグパターンであることを特徴とする適応型ウエブページデータ抽出プログラム。
   
   
   
   

Images