JP3451981B2 - インターネットのホームページデータ収集方法 - Google Patents

インターネットのホームページデータ収集方法

Info

Publication number
JP3451981B2
JP3451981B2 JP12413299A JP12413299A JP3451981B2 JP 3451981 B2 JP3451981 B2 JP 3451981B2 JP 12413299 A JP12413299 A JP 12413299A JP 12413299 A JP12413299 A JP 12413299A JP 3451981 B2 JP3451981 B2 JP 3451981B2
Authority
JP
Japan
Prior art keywords
server
cache
data
client
url address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12413299A
Other languages
English (en)
Other versions
JP2000315171A (ja
Inventor
光洋 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP12413299A priority Critical patent/JP3451981B2/ja
Priority to US09/559,805 priority patent/US6868453B1/en
Publication of JP2000315171A publication Critical patent/JP2000315171A/ja
Application granted granted Critical
Publication of JP3451981B2 publication Critical patent/JP3451981B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、インターネット
のホームページデータ(WWWホームページのハイパー
テキストのブラウジング内容)を自動で取得するインタ
ーネットのホームページデータ収集方法に関し、電話や
携帯電話などの回線を占有する通信路において実質的に
回線の接続時間を軽減することのできるインターネット
のホームページデータ収集方法に関するものである。
【0002】
【従来の技術】従来、インターネットのホームページデ
ータの一斉取得の管理は、クライアント側が行ってい
た。また、キャッシュの管理については、クライアント
側はもちろん、サーバ側でも行っており、過去にアクセ
スのあったホームページデータは、サーバ側のキャッシ
ュにため込んで行くことで、WWWサーバへの実質的な
アクセス量を減らす方法が考えられていた。
【0003】その例として特開平10−21174号公
報に示された「データ転送システム」があり、WWWサ
ーバに特化せずLAN上のクライアントからWANに接
続されたデータサーバに格納されたデータを要求、転送
する際の通信時間の増加を抑制するために、クライアン
トからデータサーバへのデータ要求に対し、まず「キャ
ッシュサーバ内に該当するデータが存在する場合、キャ
ッシュサーバからクライアントに該当データを転送し、
キャッシュサーバ内に該当するデータが存在しないデー
タサーバに対してデータ要求を行い、キャッシュサーバ
を通してクライアントにデータを転送する方法が採られ
ていた。
【0004】また、ネットサーフィンなどのユーザーが
1つ1つURLを辿って行きWWWサーバのデータを閲
覧して行くような環境下では、例えば特開平10−24
0604号公報に示されているように、WWWサーバの
ホームページデータのうち変更のあった部分のみWWW
サーバが送信することでネットワークのアクセス量を減
らそうとする方法が考えられていた。
【0005】また、特開平10−207759号公報の
「ハイパーテキスト自動取得装置」に示されるように、
携帯端末などの少ないキャッシュエリアでユーザに有効
なページを効率よく自動的に取得出来るハイパーテキス
トの自動取得装置を提供するために、データを取得する
クライアント部にハイパーテキストを解析して、ハイパ
ーテキストのリンクタグから、基となるハイパーテキス
トのリンクをたどったときにダウンロードされると考え
られるファイルをユーザがリンクをたどる前に先読みし
て自キャッシュ内にため込むという方法で、ネットワー
クに接続している時間を減らすという方法が考えられて
いた。
【0006】
【発明が解決しようとする課題】しかしながら、従来の
インターネットのホームページデータの一斉取得の管理
をクライアント側に行わせる方法においては、次のよう
な問題がある。
【0007】先ず、第1に、クライアント側が1つ1つ
のURLアドレスに接続し、データを引き取るという方
法を取っていたため、対象のURLが存在するWWWサ
ーバが混雑していてなかなかWWWサーバにアクセスす
ることができないというような場合、タイムアウトにな
るまでホームページデータの引き取りを待ちつづける。
このため、混雑しているWWWサーバが多くなると、必
要とする全てのURLアドレスのホームページデータを
ダウンロードしようと考えたときに莫大な時間がかかっ
てしまい、電話などの回線で接続を行っているときに回
線の占有率が逼迫してしまうという問題が生じる。
【0008】同様なことは、ハイパーテキスト自動取得
装置にも起こり、ユーザがハイパーテキストのリンクを
たどって行き目的の情報を得る方法に比較すると回線の
占有率を減らすことが可能であるが、このような形でフ
ァイルをダウンロードするとユーザが本来必要としない
ファイルもクライアント内に自動的にダウンロードして
しまうため、必要以上にネットワークのトラフィックを
増大させてしまう可能性が高いため、本来回線の接続時
間を減らすために行った処理のために、サーバへの負荷
が増大し、サーバからの応答が遅くなり、結果的にネッ
トワークへの接続時間が増大してしまう可能性が生じて
しまう。第2に、WWWサーバ側からホームページデー
タの更新部分のみを送信するという機能も絶えるため
に、やはり接続時間を軽減することができないという問
題が生じる。
【0009】本発明はこのような課題を解決するために
なされたもので、その目的とするところは、クライアン
トがWWWサーバに接続するときの無駄な待ち時間を軽
減させることのできるインターネットのホームページデ
ータ収集方法を提供することにある。
【0010】
【課題を解決するための手段】このような課題を解決す
るために本発明のホームページデータ収集方法は、クラ
イアント装置にサーバ蓄積巡回フォルダとクライアント
蓄積巡回フォルダとを設け、このクライアント装置のサ
ーバ蓄積巡回フォルダにキャッシュサーバに巡回を任せ
たいURLアドレスのアクセスリストを格納し、クライ
アント装置のクライアント蓄積巡回フォルダに当該クラ
イアント装置に巡回を行わせたいURLアドレスのアク
セスリストを格納し、クライアント装置のサーバ蓄積巡
回フォルダに格納されているアクセスリストを巡回リス
トとしてキャッシュURLアドレス格納サーバへ転送
し、このキャッシュURLアドレス格納サーバに転送し
た巡回リストをもとにキャッシュサーバにホームページ
データの収集を行わせ、このキャッシュサーバが収集し
たホームページデータをクライアント装置に引き取らせ
るようにする一方、クライアント装置のクライアント蓄
積巡回フォルダに格納されているアクセスリストをもと
に当該クライアント装置にホームページデータを収集さ
せるようにしたものである。
【0011】この発明によれば、クライアント装置のサ
ーバ蓄積巡回フォルダに格納されている巡回リストがキ
ャッシュURLアドレス格納サーバへ転送され、キャッ
シュURLアドレス格納サーバに格納される。この時点
で、クライアント装置とキャッシュURLアドレス格納
サーバとの接続は切断してよく、キャッシュサーバはキ
ャッシュURLアドレス格納サーバに格納されている巡
回リストをもとにホームページデータを独立して収集す
る。このキャッシュサーバが収集したホームページデー
タはクライアント装置に引き取られる。この引き取り時
にクライアント装置とキャッシュサーバとを接続すれば
よい。また、クライアント装置は、クライアント蓄積巡
回フォルダに格納されているアクセスリストをもとにホ
ームページデータを収集する。
【0012】
【0013】
【発明の実施の形態】以下、本発明を実施の形態に基づ
き詳細に説明する。 〔実施の形態1〕図1は本発明に係るインターネットの
ホームページデータ収集方法が適用されたネットワーク
システム(巡回データ取得システム)のシステム構成図
である。
【0014】このネットワークシステムは、ホームペー
ジデータを閲覧(取得し表示する)するためのクライア
ント装置としてクライアント(有線クライアント)A・
101およびクライアント(無線クライアント)B・1
02と、クライアントA・101が回線に接続するため
に必要な公衆回線網104と、クライアントB・102
が回線に接続するために必要な基地局103およびワイ
ヤレスネットワーク105と、公衆回線網104を通し
てインターネット網111に接続するために予め登録さ
れたユーザーのみネットワークに接続することを可能に
するためのアクセスサーバA・107と、ワイヤレスネ
ットワーク105を通してインターネット網111に接
続するために予め登録されたユーザーのみネットワーク
に接続することを可能にするためのアクセスサーバB・
106とを備えている。
【0015】また、クライアントA・101,クライア
ントB・102からキャッシュ要求のあったホームペー
ジのURLアドレス(キャッシュURLアドレス)を格
納し管理するためのキャッシュURLアドレス格納サー
バ109と、アクセスサーバA・107,B・106と
キャッシュサーバ110とキャッシュURLアドレス格
納サーバ109とをネットワークで接続するためのロー
カルネットワーク108と、各ホームページデータを格
納し、インターネット網111を通して世界中にそのホ
ームページのハイパーテキストの内容を配信するための
WWWサーバA・112,B・113,C・114とを
備えている。
【0016】なお、図1において、WWWサーバは、イ
ンターネット網111を通して無数に存在するが、ここ
では説明上A,B,Cの3つのWWWサーバ112,1
13,114を示している。この実施の形態では、目的
のホームページデータをキャッシュサーバ110上に保
存しておくために、まず最初にクライアントA・10
1,B・102において、ユーザーが閲覧したいホーム
ページのURLアドレスのアクセスリスト(巡回リス
ト)を作成しておく。
【0017】このアクセスリストをクライアントA・1
01,B102側のURLリスト保存フォルダに保存し
ておく。URLリスト保存フォルダは、それぞれ属性を
持っており、そのうちの一つにサーバ蓄積巡回フォルダ
が存在する。このサーバ蓄積巡回フォルダにはユーザが
まとめてキャッシュを行いたいURLアドレスのアクセ
スリスト(巡回リスト)を保存しておく。
【0018】クライアントA・101,B・102側の
ブラウザは、サーバ蓄積巡回フォルダに保存されている
アクセスリストをもとに、キャッシュURLアドレス格
納サーバ109のフォーマットに則したリストデータを
作成する。回線接続時、クライアントA・101,B・
102側のブラウザは、キャッシュURLアドレス格納
サーバ109へ作成したキャッシュURLアドレスのア
クセスリストを転送した後、回線を切断する。
【0019】キャッシュサーバ110は、キャッシュU
RLアドレス格納サーバ109に転送されてきたアクセ
スリストをもとにホームページの検索を行い、対象UR
Lアドレスを発見したらホームページデータの保存を次
々に行う。そして、ホームページのデータが全てそろっ
た時点で、キャッシュサーバ110からクライアントA
・101,B・102に対し回線を接続し、クライアン
トA・101,B・102にデータ引き取り要求を発行
する。クライアントA・101,B・102は、データ
引き取り要求を受け取ったら、キャッシュサーバ110
からホームページデータを引き取る。
【0020】なお、別の方法として、クライアントA・
101,B・102側から定期的にキャッシュサーバ1
10に対し、キャッシュデータの保存状況を確認しに行
き、キャッシュ済みのデータのみを引き取るという方法
がある。この場合、キャッシュサーバ110は、ホーム
ページデータの収集にかかる時間等の状況から、クライ
アントA・101,B・102に対し次にデータを引き
取りにくるべき時間を教えてあげることで、ネットワー
ク上に発生する余計なトラフィックを避けることができ
る。
【0021】また、キャッシュサーバ110は複数のク
ライアントA・101,B・102に対してのホームペ
ージデータのキャッシュを行う為、それぞれのクライア
ントA・101,B・102ごとのホームページデータ
を同じ時間だけ保存していてはキャッシュサーバ110
のメモリの無駄になってしまう。このため、データの保
存時間をそれぞれのホームページのアクセス件数により
変化させる。この場合、アクセス件数の多いホームペー
ジのデータについてはより長い時間、データの保存を行
うようにする。アクセス件数の少ないホームページにつ
いては、クライアントA・101,B・102がデータ
を引き取った時点でデータを破棄する。このような方法
を取ることで、ネットワークのトラフィックを減らすよ
うにする。
【0022】このようにして、本実施の形態では、ユー
ザーが一斉にデータを引き取りたいと考えているホーム
ページのURLアドレスのアクセスリストをキャッシュ
URLアドレス格納サーバ109に送り、ホームページ
データの収集は常時ネットワークに接続されているキャ
ッシュサーバ110で行うことで、短い接続時間でホー
ムページのデータを取得することが可能になる。
【0023】また、クライアントA・101,B・10
2側のフォルダに巡回専用などの特別な意味を持たせる
ことで、巡回を行いたいURLアドレスのアクセスリス
ト(巡回リスト)をこのフォルダに入れておくだけで、
回線接続時にキャッシュURLアドレス格納サーバ10
9にこのアクセスリストを転送し、このアクセスリスト
をもとにキャッシュサーバ110にホームページデータ
を収集させることで、ホームページアドレス検索時の待
ち時間を減らすことができ、回線の接続時間を減らすこ
とが可能となる。
【0024】〔実施の形態2〕図2において、201は
ホームページデータを閲覧するためのブラウザを搭載し
たクライアント、202はローカルネットワーク、20
3はキャッシュURLアドレス格納サーバ、204はキ
ャッシュサーバ、205はインターネット網、206は
WWWサーバである。キャッシュURLアドレス格納サ
ーバ203は、クライアント201から転送されてくる
キャッシュURLアドレスのアクセスリスト(巡回リス
ト)をもとに、キャッシュサーバ204にWWWサーバ
206におけるホームページデータを収集させる。
【0025】キャッシュサーバ204は、図3に示すよ
うに、巡回を行うURLアドレスのアクセス状況を確認
する対象アドレスアクセス率検出部204−1、キャッ
シュデータの保存時間を計測するための経過時間計測部
204−2、収集してきたホームページのデータを格納
するためのホームページデータキャッシュ部204−
3、キャッシュされているデータが最新のものかどうか
を比較するためのキャッシュ比較部204−4を備えて
いる。
【0026】キャッシュURLアドレス格納サーバ20
3の構成要素を図4に示す。キャッシュURLアドレス
格納サーバ203は、クライアントが要求するキャッシ
ュURLアドレス(巡回URLアドレス)を引き取るた
めの巡回URLアドレス引き取り部203−1と、引き
取ったキャッシュURLアドレスリストのアクセスリス
ト(巡回URLアドレスリスト)をクライアント毎に保
存しておくための巡回URLアドレスリスト保存部20
3−2と、クライアントのIDを確認しクライアント毎
のデータをキャッシュする領域を確保するための情報を
管理したり、クライアント毎のデータ引き取り要求方法
を管理するクライアントID管理部203−3とを備え
ている。
【0027】クライアント201は、キャッシュURL
アドレス格納サーバ203に対し、キャッシュURLア
ドレスのアクセスリストを転送するが、そのアクセスリ
ストはフォルダ毎に管理するものとしている。そのフォ
ルダ構造を図5に示す。
【0028】クライアント201において、URLアド
レスのアクセスリストは、フォルダをサーバ蓄積巡回フ
ォルダH1と、クライアント蓄積巡回フォルダH2の2
つに分解して管理している。サーバ蓄積巡回フォルダH
1に格納されたアクセスリストをキャッシュURLアド
レスのアクセスリスト(巡回リスト)とし、キャッシュ
URLアドレス格納サーバ203へ転送する。このフォ
ルダ数はいくつでもよいが説明のため2つのフォルダで
行う。
【0029】実際に巡回させるのをキャッシュサーバ2
04側に任せたいときは、そのURLアドレスのアドレ
ス情報をサーバ蓄積巡回フォルダH1にコピーしてお
く。実際に巡回させるのをクライアント201側に行わ
せたいものに関しては、そのURLアドレスのアドレス
情報をクライアント蓄積巡回フォルダH2にコピーして
おく。
【0030】クライアント201は、回線接続時に、キ
ャッシュURLアドレス格納サーバ203にサーバ蓄積
巡回フォルダH1に格納されている「URL11」、
「URL12」、「URL13」のアドレス情報を転送
する。これを受けて、キャッシュURLアドレス格納サ
ーバ203は、情報収集の準備を行う。
【0031】図6にキャッシュURLアドレス格納サー
バ203側の管理情報(アクセスリスト)を例示する。
キャッシュURLアドレス格納サーバ203はクライア
ント毎および各クライアントのキャッシュ状況を管理す
る。なお、図2において、インターネット網205、W
WWサーバ206は当業者にとってよく知られており、
また本発明とは直接関係しないので、その詳細な構成は
省略する。
【0032】次に、図7に示したフローチャートを参照
しながら、このネットワークシステムでの特徴的な動作
を説明する。クライアント201は、回線接続時(ステ
ップ701)、先ず、キャッシュURLアドレス格納サ
ーバ203との接続を図る(ステップ702)。そし
て、クライアント201は、キャッシュURLアドレス
格納サーバ203との接続後、巡回を行いたいキャッシ
ュURLアドレスをサーバ蓄積巡回フォルダH1から取
り出してきて、キャッシュURLアドレス格納サーバ2
03へ転送する(ステップ703)。
【0033】URLアドレスの転送が完了したら、一
度、キャッシュURLアドレス格納サーバ203との接
続を切り(ステップ704)、回線を切断する(ステッ
プ705)。その後は、このキャッシュURLアドレス
格納サーバ203に格納されたキャッシュURLのアク
セスリストをもとに、キャッシュサーバ204がインタ
ーネット網205を通し対象URLアドレスのホームペ
ージからホームページデータを収集及びキャッシュを行
う。
【0034】当然のことながら、キャッシュサーバ20
4内に存在するデータと日付及びサイズの同じデータに
関しては同一のデータと見なし、WWWサーバ206か
らのデータの取得は行わなず、新規のデータのみを格納
して行くようにする。
【0035】しかし、アクセスしたホームページのデー
タを全て保存していては、メモリ容量がいくらあっても
足らなくなってしまう。そこで、キャッシュサーバ20
4において、各ホームページのアクセス率に対応して、
キャッシュデータの保存時間を変化させて行くようにす
る。
【0036】アクセス率の高いホームページのデータに
ついては、保存期間をより長くし、アクセス率の低いホ
ームページのデータについては保存期間をより短くする
ことで、効率的なデータキャッシュが行えるようにな
る。なお、アクセス率については、クライアント201
がデータの収集を要求するURLの登場頻度をもとに算
出するとよい。
【0037】以上説明したように、本実施の形態では、
常時インターネットに接続しているキャッシュサーバ2
04側にデータ収集機能を持たせ、クライアント201
側はキャッシュURLアドレス格納サーバ203を介し
てキャッシュサーバ204に対しホームページデータの
収集要求を行い、ホームページデータがそろった時点で
キャッシュサーバ204に対し、データを引き取りに行
くため、WWWサーバアクセス時の待ち時間が軽減され
る。これにより、電話などの回線の接続時間を減らすこ
とが可能となる。
【0038】また、本実施の形態では、クライアント2
01側のフォルダに巡回専用等の特別な意味を持たせ、
回線接続時にそのフォルダに設定された行動を取ること
で、巡回したいURLアドレスを簡単に設定できること
が可能である。
【0039】〔実施の形態3〕この実施の形態3では、
その基本的構成を実施の形態2と同様とするが、キャッ
シュURLアドレス格納サーバ203にURLアドレス
を引き渡す方法についてさらに工夫している。図8は、
この実施の形態3において、URLアドレスの設定をW
WWのホームページで行うことを示している。
【0040】ホームページ上でURLの設定を行うこと
で、キャッシュURLアドレス格納サーバ203にキャ
ッシュURLアドレスを送るために専用のソフトウェア
を必要とすること無しに、通常のWWWブラウザで設定
を行うことを可能にしている。ただし、蓄積されたUR
Lデータの引き取り方法は実施の形態2と同様である。
【0041】〔実施の形態4〕図9にクライアントとキ
ャッシュサーバとの接続状況の他の実施の形態を示す。
同図に示されるように、公衆回線網904とワイヤレ
スネットワーク905とで別々にキャッシュサーバ90
9,913を持つことで、それぞれのネットワークに適
したクライアントへのデータ引き渡しを行うことが可能
となる。
【0042】例えば、ワイヤレス方式のクライアントB
・902は、電波の状況などからデータの引き取り状況
が困難になる場合があるため、キャッシュサーバ913
内でデータの縮小化を行うなど実行する。これにより、
公衆回線網904でアクセスするより更に短い時間でデ
ータの引き取りを行うようにするなど、ネットワーク環
境に合わせたデータの転送方法を実現することが可能に
なる。
【0043】
【発明の効果】以上説明したことから明らかなように本
発明によれば、クライアント装置のサーバ蓄積巡回フォ
ルダに格納されている巡回リストをキャッシュURLア
ドレス格納サーバへ転送し、このキャッシュURLアド
レス格納サーバに転送されてきた巡回リストをもとにキ
ャッシュサーバにホームページデータを収集させ、この
収集したホームページデータをクライアント装置に引き
取らせるようにしたので、ホームページデータの収集を
常時ネットワークに接続されているキャッシュサーバで
行わせることにより、短い接続時間でホームページのデ
ータを取得することが可能になり、クライアント装置
WWWサーバに接続するときの無駄な待ち時間を軽減す
ることができる。
【0044】また、本発明によれば、サーバ蓄積巡回フ
ォルダにキャッシュURLアドレス格納サーバへ転送す
るアクセスリストを保存させることにより、キャッシュ
URLアドレス格納サーバへ転送すべきデータが特定さ
れるものとなり、転送すべきデータを明確として、巡回
をより簡単に行うことが可能となる。
【図面の簡単な説明】
【図1】 本発明に係るインターネットのホームページ
データ収集方法が適用されたネットワークシステムのシ
ステム構成図(実施の形態1)である。
【図2】 本発明に係るインターネットのホームページ
データ収集方法が適用されたネットワークシステムのシ
ステム構成図(実施の形態2)である。
【図3】 キャッシュサーバの内部構成の要部を示す図
である。
【図4】 キャッシュURLアドレス格納サーバの内部
構成の要部を示す図である。
【図5】 クライアント側においてアクセスリストを管
理するフォルダ構造を示す図である。
【図6】 キャッシュURLアドレス格納サーバ側の管
理情報)を例示する図である。
【図7】 図2に示したネットワークシステムでの特徴
的な動作を説明するためのフローチャートである。
【図8】 WWWのホームページからのURLアドレス
の設定を説明する図である。
【図9】 本発明に係るインターネットのホームページ
データ収集方法が適用されたネットワークシステムのシ
ステム構成図(実施の形態4)である。
【符号の説明】
101…クライアント(有線クライアント)A、102
…クライアント(無線クライアント)B、103…基地
局、104…公衆回線網、105…ワイヤレスネットワ
ーク、106…アクセスサーバB、107…アクセスサ
ーバA、108…ローカルネットワーク、109…キャ
ッシュURLアドレス格納サーバ、110…キャッシュ
サーバ、111…インターネット網、112…WWWサ
ーバA、113…WWWサーバB、114…WWWサー
バC、201…クライアント、202…ローカルネット
ワーク、203…キャッシュURLアドレス格納サー
バ、204…キャッシュサーバ、205…インターネッ
ト網、206…WWWサーバ、204−1…対象アドレ
スアクセス率検出部、204−2…経過時間計測部、2
04−3…ホームページデータキャッシュ部、204−
4…キャッシュ比較部、203−1…巡回URLアドレ
ス引き取り部、203−2…巡回URLアドレスリスト
保存部、203−3…クライアントID管理部、H1…
サーバ蓄積巡回フォルダ、H2…クライアント蓄積巡回
フォルダ、901…クライアント(有線クライアント)
A、902…クライアント(無線クライアント)B、9
03…基地局、904…公衆回線網、905…ワイヤレ
スネットワーク、906…アクセスサーバB、907…
ローカルネットワーク、908…キャッシュURLアド
レス格納サーバ、909…キャッシュサーバ、910…
アクセスサーバB、911…ローカルネットワーク、9
12…キャッシュURLアドレス格納サーバ、913…
キャッシュサーバ、914…インターネット網、915
…WWWサーバA、916…WWWサーバB、917…
WWWサーバC。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 12/00 G06F 13/00 G06F 17/30

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 ホームページデータを取得し表示するク
    ライアント装置と、このクライアント装置から送られて
    くるURLアドレスのアクセスリストを巡回リストとし
    て保存するキャッシュURLアドレス格納サーバと、こ
    のキャッシュURLアドレス格納サーバに保存されてい
    る巡回リストをもとにホームページデータを収集し一時
    保存するキャッシュサーバとを備えたネットワークシス
    テムにおいて、 前記クライアント装置にサーバ蓄積巡回フォルダとクラ
    イアント蓄積巡回フォルダとを設け、 このクライアント装置のサーバ蓄積巡回フォルダに前記
    キャッシュサーバに巡回を任せたいURLアドレスのア
    クセスリストを格納し、 前記クライアント装置のクライアント蓄積巡回フォルダ
    に当該クライアント装置に巡回を行わせたいURLアド
    レスのアクセスリストを格納し、 前記クライアント装置のサーバ蓄積巡回フォルダに格納
    されているアクセスリストを前記巡回リストとして前記
    キャッシュURLアドレス格納サーバへ転送し、 このキャッシュURLアドレス格納サーバに転送した巡
    回リストをもとに前記キャッシュサーバにホームページ
    データの収集を行わせ、このキャッシュサーバが 収集したホームページデータを
    前記クライアント装置に引き取らせるようにする一方、 前記クライアント装置のクライアント蓄積巡回フォルダ
    に格納されているアクセスリストをもとに当該クライア
    ント装置にホームページデータを収集させるようにした
    ことを特徴とするインターネットのホームページデータ
    収集方法。
  2. 【請求項2】 請求項1に記載されたインターネットの
    ホームページデータ収集方法において、 前記クライアント装置は、前記巡回リストを前記キャッ
    シュURLアドレス格納サーバへ転送した後、回線を切
    断し、 前記キャッシュサーバは、前記巡回リストに記載された
    URLアドレスの全て のホームページデータがそろった
    時点で、収集したホームページデータを前記クライアン
    ト装置に引き取らせる ことを特徴とするインターネット
    のホームページデータ収集方法。
  3. 【請求項3】 請求項1に記載されたインターネットの
    ホームページデータ収集方法において、 前記キャッシュサーバは、前記クライアント装置に対し
    て次にホームページデータを引き取る時間を通知する
    とを特徴とするインターネットのホームページデータ収
    集方法。
  4. 【請求項4】 請求項1〜3の何れか1項において、 前記キャッシュサーバは、前記クライアント装置からの
    アクセス件数が多いホームページデータをより長い時間
    保存し、アクセス件数が少ないホームページデータにつ
    いては前記クライアント装置がそのホームページデータ
    を引き取った時点で破棄する ことを特徴とするインター
    ネットのホームページデータ収集方法。
JP12413299A 1999-04-30 1999-04-30 インターネットのホームページデータ収集方法 Expired - Fee Related JP3451981B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP12413299A JP3451981B2 (ja) 1999-04-30 1999-04-30 インターネットのホームページデータ収集方法
US09/559,805 US6868453B1 (en) 1999-04-30 2000-04-26 Internet home page data acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12413299A JP3451981B2 (ja) 1999-04-30 1999-04-30 インターネットのホームページデータ収集方法

Publications (2)

Publication Number Publication Date
JP2000315171A JP2000315171A (ja) 2000-11-14
JP3451981B2 true JP3451981B2 (ja) 2003-09-29

Family

ID=14877722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12413299A Expired - Fee Related JP3451981B2 (ja) 1999-04-30 1999-04-30 インターネットのホームページデータ収集方法

Country Status (2)

Country Link
US (1) US6868453B1 (ja)
JP (1) JP3451981B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721780B1 (en) * 1999-11-09 2004-04-13 Fireclick, Inc. Predictive pre-download of network objects
US7260600B1 (en) * 2000-11-17 2007-08-21 International Business Machines Corporation User specified parallel data fetching for optimized web access
US7269784B1 (en) 2001-01-22 2007-09-11 Kasriel Stephane Server-originated differential caching
KR20020085996A (ko) * 2001-05-10 2002-11-18 주식회사 메일북 클라이언트 캐쉬 메모리를 이용한 웹 페이지 제공 방법
US7185063B1 (en) 2001-06-22 2007-02-27 Digital River, Inc. Content delivery network using differential caching
US7092997B1 (en) * 2001-08-06 2006-08-15 Digital River, Inc. Template identification with differential caching
US7188214B1 (en) 2001-08-07 2007-03-06 Digital River, Inc. Efficient compression using differential caching
US7296051B1 (en) 2002-02-19 2007-11-13 Digital River, Inc. Predictive predownload of templates with delta encoding
US7487261B1 (en) * 2002-02-22 2009-02-03 Digital River, Inc. Delta caching service
US7330880B1 (en) * 2002-04-22 2008-02-12 Network Appliance, Inc. Method and apparatus for reliable download to a network cache while limiting origin server load
US20040073604A1 (en) * 2002-10-11 2004-04-15 Kazuhiro Moriya Cache control method of proxy server with white list
US20060149730A1 (en) * 2004-12-30 2006-07-06 Curtis James R Client authenticated web browser with access approval mechanism
US7676475B2 (en) * 2006-06-22 2010-03-09 Sun Microsystems, Inc. System and method for efficient meta-data driven instrumentation
KR20100008046A (ko) * 2008-07-15 2010-01-25 (주)씨디네트웍스 콘텐츠 전송 서비스 제공 방법 및 장치
US8135912B2 (en) 2009-05-18 2012-03-13 Hola Networks, Ltd. System and method of increasing cache size
US8560604B2 (en) 2009-10-08 2013-10-15 Hola Networks Ltd. System and method for providing faster and more efficient data communication
JP5433538B2 (ja) * 2010-09-17 2014-03-05 日立オートモティブシステムズ株式会社 通信量削減方法
US9241044B2 (en) 2013-08-28 2016-01-19 Hola Networks, Ltd. System and method for improving internet communication by using intermediate nodes
WO2015148508A1 (en) * 2014-03-24 2015-10-01 Brightedge Technologies, Inc. Content management systems
US11057446B2 (en) 2015-05-14 2021-07-06 Bright Data Ltd. System and method for streaming content from multiple servers
EP4311204A3 (en) 2017-08-28 2024-04-10 Bright Data Ltd. Method for improving content fetching by selecting tunnel devices
US11190374B2 (en) 2017-08-28 2021-11-30 Bright Data Ltd. System and method for improving content fetching by selecting tunnel devices
LT3780547T (lt) 2019-02-25 2023-03-10 Bright Data Ltd. Turinio parsisiuntimo, naudojant url bandymų mechanizmą, sistema ir būdas
EP4030318A1 (en) 2019-04-02 2022-07-20 Bright Data Ltd. System and method for managing non-direct url fetching service

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047356A (en) * 1994-04-18 2000-04-04 Sonic Solutions Method of dynamically allocating network node memory's partitions for caching distributed files
JPH1021174A (ja) 1996-07-01 1998-01-23 Ricoh Co Ltd データ転送システム
US6108655A (en) * 1996-07-19 2000-08-22 Cisco Technology, Inc. Method and apparatus for transmitting images and other objects over a computer network system
US5991306A (en) * 1996-08-26 1999-11-23 Microsoft Corporation Pull based, intelligent caching system and method for delivering data over a network
KR100212029B1 (ko) * 1996-08-29 1999-09-01 서평원 무선 랜에서의 스테이션 위치 이동방법
US5931904A (en) * 1996-10-11 1999-08-03 At&T Corp. Method for reducing the delay between the time a data page is requested and the time the data page is displayed
JP3445912B2 (ja) * 1997-01-24 2003-09-16 シャープ株式会社 ハイパーテキスト自動取得装置
US5961602A (en) * 1997-02-10 1999-10-05 International Business Machines Corporation Method for optimizing off-peak caching of web data
JP3313604B2 (ja) 1997-02-25 2002-08-12 中部日本電気ソフトウェア株式会社 インターネットのホームページ管理システム
JPH10260890A (ja) * 1997-03-18 1998-09-29 Sharp Corp ハイパーテキストデータブラウジングシステム
JPH10334026A (ja) * 1997-06-03 1998-12-18 Nec Software Ltd Web情報提供サーバおよびWeb情報提供方法
US6587836B1 (en) * 1997-09-26 2003-07-01 Worldcom, Inc. Authentication and entitlement for users of web based data management programs
US6635324B1 (en) * 1998-01-21 2003-10-21 Baxter International, Inc. Medical grade tubing and methods for coupling same
US6292825B1 (en) * 1998-11-12 2001-09-18 International Business Machines Corporation Service application with pull notification
US6490615B1 (en) * 1998-11-20 2002-12-03 International Business Machines Corporation Scalable cache
US6421717B1 (en) * 1999-09-10 2002-07-16 Avantgo, Inc. System, method, and computer program product for customizing channels, content, and data for mobile devices
US6721780B1 (en) * 1999-11-09 2004-04-13 Fireclick, Inc. Predictive pre-download of network objects

Also Published As

Publication number Publication date
JP2000315171A (ja) 2000-11-14
US6868453B1 (en) 2005-03-15

Similar Documents

Publication Publication Date Title
JP3451981B2 (ja) インターネットのホームページデータ収集方法
US7363291B1 (en) Methods and apparatus for increasing efficiency of electronic document delivery to users
US6816944B2 (en) Apparatus and methods for providing coordinated and personalized application and data management for resource-limited mobile devices
JP3534027B2 (ja) コンテンツ提供装置及びプログラムを記録した機械読み取り可能な記録媒体
GB2317723A (en) Caching system for information retrieval
JP3613550B2 (ja) ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置
US6738766B2 (en) Apparatus and methods for providing personalized application search results for wireless devices based on user profiles
JP3968119B2 (ja) キャッシュ間情報転送方法
Joshi et al. On disconnected browsing of distributed information
KR20160030381A (ko) 웹 페이지 액세스 방법, 장치, 라우터, 프로그램 및 기록매체
US20120054295A1 (en) Method and apparatus for providing or acquiring the contents of a network resource for a mobile device
CN107391664A (zh) 基于web的页面数据处理方法和系统
CN100579122C (zh) 无线应用协议网关浏览业务cookie的实现方法
US6467029B1 (en) Data management apparatus and a data management method
CN100527106C (zh) 增加对于可从数据网得到的内容的存取速度的方法
JP2002140224A (ja) コンテンツ変更管理方法
JP3984086B2 (ja) キャッシュサーバ、データ転送装置及びプログラム
CN106557584A (zh) 一种网址收藏方法及装置
JP2002525749A (ja) インターネットキャッシングシステム、方法およびそのシステムの構成
JP5405190B2 (ja) コンテンツ管理情報収集システム、及びコンテンツ管理情報収集方法
JP3416647B2 (ja) インターネット上のWebコンテンツのデータ量を削減して中継転送するコンテンツ中継サービス装置
JP2002056028A (ja) ホームページ閲覧システム、携帯情報端末及びコンピュータ読み取り可能な記録媒体
CN101917418A (zh) 通过无线应用协议访问云服务器的方法及wap服务器
US7908345B2 (en) Method and device for access to a digital document in a communication network of the station to station type
WO2010054554A1 (zh) 一种网络服务集中管理的方法、系统及服务器

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees