CN101163156B - 获取网络资源的方法、客户端与系统 - Google Patents

获取网络资源的方法、客户端与系统 Download PDF

Info

Publication number
CN101163156B
CN101163156B CN2007101517138A CN200710151713A CN101163156B CN 101163156 B CN101163156 B CN 101163156B CN 2007101517138 A CN2007101517138 A CN 2007101517138A CN 200710151713 A CN200710151713 A CN 200710151713A CN 101163156 B CN101163156 B CN 101163156B
Authority
CN
China
Prior art keywords
page
connects
request
opened
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007101517138A
Other languages
English (en)
Other versions
CN101163156A (zh
Inventor
方斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN2007101517138A priority Critical patent/CN101163156B/zh
Publication of CN101163156A publication Critical patent/CN101163156A/zh
Application granted granted Critical
Publication of CN101163156B publication Critical patent/CN101163156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种获取网络资源的方法，该方法包括：接收打开页面请求，该请求中包括页面连接信息；通过页面连接信息判断是否本地已经打开相同的页；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接的种子信息，建立通道下载打开页面需要的文件；若否则获取相应的文件，新创建一页。本发明还公开了一种客户端，该客户端包括：接收单元、判断单元、处理单元。本发明还公开了一种获取资源的系统，该系统包括：客户端，网络服务器，点对点服务器，其他客户端。本发明通过将客户端已经存在的页url与打开页面请求中包含的页url相关联，避免了每个单独的打开页面请求都需要重新获取页url对应的文件，提高了资源利用率。

Description

获取网络资源的方法、客户端与系统
技术领域
本发明涉及互联网领域，尤其涉及获取网络资源的方法、客户端与系统。
背景技术
随着网络技术的不断发展，每个网页上出现了很多丰富多彩的内容，例如图片、音乐、动画等等。但是单单从WEB服务器下载所有的内容，会导致打开网页的速度非常慢。那么现在出现了一种通过HTTP+P2P的方式加速网页文件的下载方法。首先介绍一下用户通过这种加速方法每打开一个网页可以用到的网络设备，例如：WEB服务器，用于存储网页具体内容的服务器。P2P服务器，用于存储对应于某个url((Uniform Resource Locator统一资源定位符，也被称为网页地址)最近下载过的客户端地址，并将每个客户端地址按照分别所归属的网络运营商分别存储在例如电信用户、网通用户、教育网用户等形式的列表中。客户端，作为HTTP代理服务器获取需要下载的打开页面请求，通过HTTP+P2P的方式加速网页文件的下载。
目前网络用户每打开一个网页的过程参见图1：
步骤101：客户端接收打开页面请求，该打开页面请求包括url；
步骤102：向WEB服务器请求下载url对应的文件；
步骤103：将带有url的打开页面请求发送至P2P服务器；
步骤104：P2P服务器接收到该请求后查找到P2P服务器上查询种子信息，所谓种子信息就是指曾经访问过同样url的其他客户端地址；并将查找到种子信息反馈给客户端；
步骤105：客户端在接收到P2P服务器反馈的种子信息后，若还没有从WEB服务器下载完url对应的文件，则建立P2P通道，启动P2P下载文件。
但是由于客户端收到的是一个一个的独立的打开页面请求，也就是一个一个单独的url，那么会对这些一个一个独立的请求向P2P服务器查询，导致通信包过多，P2P服务器的同时在线容量较小。并且P2P服务器只有接收到打开页面请求时，才会查找种子信息，等客户端接收到种子信息后才会去与其他客户端创建通道，开始下载。由于查找、建立通道的时间依然比较长，造成了用户感觉打开网页速度比较慢。
发明内容
本发明实施例要解决的技术问题是提供一种获取网络资源的方法，该方法具体为：
接收打开页面请求，该请求中包括页面连接；
判断所述的请求中是否包括标识字段；若不包含则不更改所述页面连接；若包含则将标识字段中包含的页面连接设置为所述请求的页面连接；
通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；若否则获取相应的文件，新创建一页。
其中，通过本地已经打开相同的页面连接获取实际要打开的页面所需要的文件的过程具体为：获取实际要打开的页面连接的种子信息时，并获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
本发明提供了一种客户端，该客户端包括：
接收单元，用于接收打开页面请求，该请求中包括页面连接信息；
判断单元，包括第一判断单元和第二判断单元；第一判断单元，用于在判断是否本地已经打开相同的页前，先判断该打开页面请求中是否包含有标识字段；第二判断单元，用于通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；
处理单元，包括第一处理单元和第二处理单元；第一处理单元，用于当所述的打开页面请求中不包含标识字段时，不更改所述请求中的页面连接；当包含标识字段时，将标识字段中包含的页面连接设置为所述请求的页面连接；第二处理单元，用于当本地打开相同的页面连接时，通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；当本地未打开相同的页面连接时，获取相应的文件，新创建一页。
其中，所述的第二处理单元还用于通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件，且获取实际要打开的页面连接的种子信息时，获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
本发明提供了一种获取资源的系统，该系统包括：
客户端，用于接收打开页面请求，该请求中包括页面连接；判断所述的请求中是否包括标识字段；若不包含则不更改所述页面连接；若包含则将标识字段中包含的页面连接设置为所述请求的页面连接；通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；若否则获取相应的文件，新创建一页；
网络服务器，用于存储打开页面的文件；
点对点服务器，用于存储种子信息；
其他客户端，用于存储打开页面的文件。
其中，所述的客户端，进一步用于通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件，且获取实际要打开的页面连接的种子信息时，获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
综上所述，本发明有效的利用每个页面url之间的内在联系，也就是页面标识，使得通过具有相同的页面标识并且在本地已经打开的情况下，从本地获取已经保存了的种子信息，这样就不需要再次向服务器获取种子信息，减少了服务器查找种子信息及向客户端传送种子信息的时间，有效的缩短了获取打开网页文件的时间，因此提高了网页的浏览速率。
附图说明
图1为现有技术方法流程图；
图2为本发明实施例1方法流程图；
图3为本发明实施例2客户端结构图。
具体实施方式
实施例1，由于现有技术中每个用户通过浏览器访问的是一个一个的网页，而通常情况下用户访问了一个页面，都会访问该页中存在的其他子页面。因此如果将这些一个一个的网页能够联系起来，有效的利用每个页面url之间的内在联系，就能够提高网页的浏览速率。由于打开页面请求头部一般会包括一个标识字段，即referer字段，referer字段表示请求下载的url从属于哪个页面。
例如，当用户请求www.qq.com时没有带referer字段，但是当用户请求该页中的其他子链接时，带有referer：www.qq.com，这样的信息；
当用户请求www.qq.com时请求头部信息为：
//HTTP Request Commend
Accept：image/gif，image/x-xbitmap，image/jpeg，image/pjpeg，application/x-shockwave-flash，                  application/vnd.ms-excel，application/vnd.ms-powerpoint，application/msword，*/*
Accept-Language：zh-cn
UA-CPU：x86
Accept-Encoding：gzip，deflate
User-Agent：Mozilla/4.0(compatible；MSIE 7.0；Windows NT 5.1；.NETCLR 1.1.4322；.NET CLR 2.0.50727)
Host：www.qq.com
Connection：Keep-Alive
Cookie：pvid＝4567330370；flv＝9.0；aduid＝+iiF2wxR//
当用户访问www.qq.com时页面中另外一个URLhttp://www.qq.com/www/images/12/nsoft.gif时携带了referer字段：
HTTP Request Commend
GET
/pingd？dm＝www.qq.com&url＝/&tt＝％u817E％u8BAF％u9996％u9875&rdm＝-&rurl＝-&pvid＝4567330370&scr＝1280×1024&scl＝32-bit&lang＝zh-cn&java＝1&cc＝x86&pf＝Win32&tz＝-8&ct＝lan&vs＝3.1&rand＝49425 HTTP/1.1
Accept：*/*
Referer：http://www.qq.com/
Accept-Language：zh-cn
UA-CPU：x86
Accept-Encoding：gzip，deflate
User-Agent：Mozilla/4.0(compatible；MSIE 7.0；Windows NT 5.1；.NETCLR 1.1.4322；.NET CLR 2.0.50727)
Host：pingfbre.qq.com
Connection：Keep-Alive
Cookie：pvid＝4567330370；flv＝9.0；aduid＝+iiF2wxR
那么这种内在联系可以是利用打开页面请求头部一般会包括的referer字段来将url分页处理。
为此，本发明实施例提供了一种获取WEB资源的方法，该方法是通过将打开页面请求整合起来，也就是通过打开页面请求的结构特点，将每个单独的打开页面请求相互关联。该方法是通过以下步骤实现的，参见图2：
步骤201：接收浏览器发来的打开页面请求，该请求中包括url；
步骤202：判断请求头中是否包含referer字段，若包含则执行步骤203，若不包含则执行步骤204；
步骤203：将referer字段中包含的url临时设置为该打开页面请求的页url，执行步骤205；
步骤204：以打开页面请求中包含的url作为页url；
步骤205：通过临时设置为打开页面请求的页url或本身请求中包含的页url，判断是否本地已经打开相同的页url；若是则执行步骤206；若否则执行步骤207；
步骤206：通过本地已经打开相同的页url获取实际要打开的页url的种子信息，然后建立通道下载打开页面需要的文件，结束本流程；
这里能够获取种子信息的原因是本地已经打开相同的页url时就已经获取了相关页url的种子信息并保存了。那么在打开子页的时候就可以直接获取子页url的种子信息进行下载。
步骤207：由于本地没有对应的页url，那么新建一页；向WEB服务器请求下载url对应的文件；
步骤208：将带有url的打开页面请求发送至P2P服务器；
步骤209：P2P服务器接收到该请求后查找到P2P服务器上查询种子信息，并将查找到的客户端地址反馈给客户端；
步骤210：客户端在接收到P2P服务器反馈的种子信息后，若还没有从WEB服务器下载完url对应的文件，则建立P2P通道，启动P2P下载文件。
在实施例1的基础上，更进一步的，为了有效提高资源利用率，还可以设置在获取页url种子信息时，进一步获取种子客户端对应保存的页url文件的存储容量，这样可以方便用户在下载时有选择的进行。由于其他步骤与实施例1基本一致，在此不再累述。
实施例2，为了实现上述实施例1的方法，本发明实施例还提供了一种客户端，参见图3，该客户端包括：
接收单元301，用于接收打开页面请求，该请求中包括页面连接信息；
判断单元302，包括第一判断单元302A，用于在判断是否本地已经打开相同的页前，先判断该打开页面请求中是否包含有标识字段；
第二判断单元302B，用于通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；
处理单元303，包括第一处理单元303A，用于当所述的打开页面请求中不包含标识字段时，不更改所述请求中的页面连接；当包含标识字段时，将标识字段中包含的页面连接设置为所述请求的页面连接；
第二处理单元303B，用于当本地打开相同的页面连接时，通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；当本地未打开相同的页面连接时，获取相应的文件，新创建一页。
更进一步的，为了有效提高资源利用率，还可以设置在获取页url种子信息时，进一步获取种子客户端对应保存的页url文件的存储容量，这样可以方便用户在下载时有选择的进行。因此所述的第二处理单元还用于通过本地已经打开相同的页面连接获取实际要打开的页面所需要的文件，且获取实际要打开的页面连接的种子信息时，获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
实施例3，对应于实施例1与实施例2，本发明还提供了一种获取资源的系统，该系统包括：
客户端，用于接收打开页面请求，该请求中包括页面连接；判断所述的请求中是否包括标识字段；若不包含则不更改所述页面连接；若包含则将标识字段中包含的页面连接设置为所述请求的页面连接；通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；若否则获取相应的文件，新创建一页；
网络服务器，用于存储打开页面的文件；
点对点服务器，用于存储种子信息；
其他客户端，用于存储打开页面的文件。
更进一步的，为了有效提高资源利用率，还可以设置在获取页url种子信息时，进一步获取种子客户端对应保存的页url文件的存储容量，这样可以方便用户在下载时有选择的进行。因此所述的客户端，还可以进一步用于在获取实际要打开的页面连接的种子信息时，进一步获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，存储介质可以是只读存储器，磁盘或光盘等。
综上所述，本发明有效的利用每个页面url之间的内在联系，也就是页面标识，使得通过具有相同的页面标识并且在本地已经打开的情况下，从本地获取已经保存了的种子信息，这样就不需要再次向服务器获取种子信息，减少了服务器查找种子信息及向客户端传送种子信息的时间，有效的缩短了获取打开网页文件的时间，因此提高了网页的浏览速率。
以上对本发明所提供的一种获取网络资源的方法、客户端与系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种获取网络资源的方法，其特征在于，该方法包括：
接收打开页面请求，该请求中包括页面连接；
判断所述的请求中是否包括标识字段；若不包含则不更改所述页面连接；若包含则将标识字段中包含的页面连接设置为所述请求的页面连接；
通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；若否则获取相应的文件，新创建一页。
2.根据权利要求1所述的获取网络资源的方法，其特征在于，
通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件的过程具体为：获取实际要打开的页面连接的种子信息时，并获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
3.一种客户端，其特征在于，该客户端包括：
接收单元，用于接收打开页面请求，该请求中包括页面连接信息；
判断单元，包括第一判断单元和第二判断单元；第一判断单元，用于在判断是否本地已经打开相同的页前，先判断该打开页面请求中是否包含有标识字段；第二判断单元，用于通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；
处理单元，包括第一处理单元和第二处理单元；第一处理单元，用于当所述的打开页面请求中不包含标识字段时，不更改所述请求中的页面连接；当包含标识字段时，将标识字段中包含的页面连接设置为所述请求的页面连接；第二处理单元，用于当本地打开相同的页面连接时，通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；当本地未打开相同的页面连接时，获取相应的文件，新创建一页。
4.根据权利要求3所述的客户端，其特征在于，所述的第二处理单元还用于通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件，且获取实际要打开的页面连接的种子信息时，获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
5.一种获取资源的系统，其特征在于，该系统包括：
客户端，用于接收打开页面请求，该请求中包括页面连接；判断所述的请求中是否包括标识字段；若不包含则不更改所述页面连接；若包含则将标识字段中包含的页面连接设置为所述请求的页面连接；通过所述请求中包括的页面连接或设置为所述请求的页面连接，判断本地是否已经打开相同的页面连接；若是则通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件；若否则获取相应的文件，新创建一页；
网络服务器，用于存储打开页面的文件；
点对点服务器，用于存储种子信息；
其他客户端，用于存储打开页面的文件。
6.根据权利要求5所述的获取资源的系统，其特征在于，所述的客户端，进一步用于通过本地已经打开相同的页面连接获取实际要打开的页面连接所需要的文件，且获取实际要打开的页面连接的种子信息时，获取对应种子保存的页面连接对应文件的存储容量；选择存储容量完整的种子建立通道下载。
CN2007101517138A 2007-09-27 2007-09-27 获取网络资源的方法、客户端与系统 Active CN101163156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101517138A CN101163156B (zh) 2007-09-27 2007-09-27 获取网络资源的方法、客户端与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101517138A CN101163156B (zh) 2007-09-27 2007-09-27 获取网络资源的方法、客户端与系统

Publications (2)

Publication Number Publication Date
CN101163156A CN101163156A (zh) 2008-04-16
CN101163156B true CN101163156B (zh) 2010-07-21

Family

ID=39297977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101517138A Active CN101163156B (zh) 2007-09-27 2007-09-27 获取网络资源的方法、客户端与系统

Country Status (1)

Country Link
CN (1) CN101163156B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668029B (zh) * 2008-09-04 2012-08-08 华为技术有限公司 一种网络设备和网络通讯的方法
CN101883079B (zh) * 2009-05-08 2016-01-27 上海聚力传媒技术有限公司 在互联网中用于加速点播多媒体内容的方法与装置
US8863000B2 (en) * 2010-04-07 2014-10-14 Yahoo! Inc. Method and system for action suggestion using browser history
CN102098328B (zh) * 2010-12-10 2014-06-11 华为技术有限公司 超文本传输协议http流关联方法和设备
EP2808794A1 (en) * 2013-05-30 2014-12-03 Siemens Aktiengesellschaft Rearranging a server response
CN103455632B (zh) * 2013-09-22 2018-11-23 深圳市金蝶精斗云网络科技有限公司 一种网页显示方法和客户端
CN103944994A (zh) * 2014-04-25 2014-07-23 中国联合网络通信集团有限公司 分布式资源获取方法及装置
CN105610909B (zh) * 2015-12-21 2019-01-18 北京大学 一种基于云-端协同的移动浏览器资源加载优化方法
CN106911747A (zh) * 2015-12-23 2017-06-30 北京奇虎科技有限公司 文件获取方法、装置与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技（深圳）有限公司 实现文件下载的网络通信系统及方法
EP1802079A1 (en) * 2005-12-22 2007-06-27 Microsoft Corporation Connection management in peer-to-peer content distribution clouds
CN101009568A (zh) * 2006-01-24 2007-08-01 腾讯科技（深圳）有限公司 一种p2p网络中实现数据下载的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925403A (zh) * 2005-09-02 2007-03-07 腾讯科技（深圳）有限公司 实现文件下载的网络通信系统及方法
EP1802079A1 (en) * 2005-12-22 2007-06-27 Microsoft Corporation Connection management in peer-to-peer content distribution clouds
CN101009568A (zh) * 2006-01-24 2007-08-01 腾讯科技（深圳）有限公司 一种p2p网络中实现数据下载的方法及系统

Also Published As

Publication number Publication date
CN101163156A (zh) 2008-04-16

Similar Documents

Publication Publication Date Title
CN101163156B (zh) 获取网络资源的方法、客户端与系统
US10860567B2 (en) Storing state in a dynamic content routing network
US7127720B2 (en) Storing state in a dynamic content routing network
EP1886470B1 (en) Method and system for object prediction
EP1784963B1 (en) Techniques for delivering personalized content with a real-time routing network
US7043525B2 (en) Techniques for updating live objects at clients using a dynamic routing network
CN107025234B (zh) 一种信息推送方法及缓存服务器
US8949368B2 (en) Method for cache object aggregation
DE60212339T2 (de) Ein digitales fernsehen anwendungsprotokoll zum interaktiven fernsehen
US9871850B1 (en) Enhanced browsing using CDN routing capabilities
US20140136952A1 (en) Improving web sites performance using edge servers in fog computing architecture
US8620999B1 (en) Network resource modification for higher network connection concurrence
CN100562873C (zh) 获取网页中网页元素的系统及方法
WO2001063485A2 (en) Content distribution system
US7051111B1 (en) Multiple source proxy management system
WO2019243890A2 (en) Multi-port data transmission via udp
CN112243013A (zh) 一种实现跨域资源缓存的方法、系统、服务器和存储介质
CN104615597A (zh) 浏览器中清除缓存文件的方法、装置和系统
Mineki et al. Spdy accelerator for improving web access speed
Bach et al. Exploring HTTP/2 advantages and performance analysis using Java 9
EP2850809B1 (en) Providing data to a network terminal
US9516111B2 (en) Communication apparatus, communication method, and computer program product
EP3525419A1 (en) Connectionless protocol with bandwidth and congestion control
EP3525413A1 (en) Connectionless protocol with bandwidth and congestion control
EP3525412A1 (en) Improved connectionless data transport protocol

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant