CN101075242A - 获取网页中网页元素的系统及方法 - Google Patents

Abstract

本发明公开了一种获取网页中网页元素的系统，包括：网页服务器，用于提供网页中的网页元素及其标识；P2P服务器，用于存储下载过的网页元素的标识及对应的下载该网页元素的客户端信息；客户端，用于从P2P服务器上查询与网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载网页元素，以及在下载完网页元素后将该网页元素的标识及对应的本客户端信息发布给P2P服务器。本发明还公开了一种获取网页中网页元素的方法。通过本发明的实施，客户端可以不直接从WEB服务器下载所需要的网页元素，而是从就近的其它客户端下载，从而加速客户端浏览网页的速度。

Description

获取网页中网页元素的系统及方法

技术领域

本发明涉及网页浏览技术领域，特别是一种获取网页中网页元素的系统以及一种获取网页中网页元素的方法。

背景技术

随着因特网的发展和网页制作技术的进步，WEB网页上的网页元素越来越多，例如，有普通的html网页、jpg图片、gif图片、swf文件、脚本文件等等。同时，网页元素的尺寸也越来越大。

由于受到硬件条件和网络带宽的限制，海量的用户从少数服务器下载这些网页元素需要花费大量的等待时间。另外，由于用户和WEB服务器(SERVER)所处的地域的差异以及运营商的差异，也会导致用户终端浏览网页的速度存在显著的差别，其中有些浏览非常慢。

为了解决WEB浏览的速度问题，现有技术中采用了很多方法，例如：

现有技术一：采用WEB SERVER+内容分发网络(CDN)的方式让用户就近接入，从较近的CDN下载网页元素，从而提高网页浏览的速度。

但是，该技术需要投入大量的资金和设备，一般只有大的门户网站才有能力采取这种技术。

现有技术二：使用加速客户端，如谷歌网页加速器(Google WebAccelerator)，其利用Google自己提供的服务器缓存(cache)网页元素，在用户端将用户的浏览请求重定向到所提供的服务器上，通过访问该服务器上的cache加速浏览。

上述方法都是利用服务器cache网页内容的方式来加速用户对网页的浏览速度。但是，当用户数量增大时，从服务器下载网页元素的流量也随之增大，此时很难再保持较快的速度。

发明内容

有鉴于此，本发明提出了一种获取网页中网页元素的系统，其目的在于加速用户端获取网页元素的速度。本发明的另一个目的是提出一种获取网页中网页元素的方法。

根据上述目的，本发明提供了一种获取网页中网页元素的系统，该系统包括：

网页服务器，用于提供网页中的网页元素及其标识；

点对点P2P服务器，用于存储下载过的网页元素的标识及对应的下载该网页元素的客户端信息；

客户端，用于从P2P服务器上查询与网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载网页元素，以及在下载完网页元素后将该网页元素的标识及对应的本客户端信息发布给P2P服务器。

在上述技术方案中，所述P2P服务器为多个，每个P2P服务器分别存储不同分段的标识及对应的客户端信息；该系统进一步包括分段服务器，用于向客户端提供不同分段的标识与P2P服务器之间的对应关系；所述客户端进一步从所述分段服务器上下载所述不同分段的标识与P2P服务器之间的对应关系，并根据该对应关系和所要下载网页元素的标识确定对应的P2P服务器。

所述客户端包括浏览器和加速客户端，其中：浏览器的代理服务器设置为加速客户端，通过加速客户端获取网页元素；加速客户端，用于从P2P服务器上查询与该网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载网页元素，以及在下载完网页元素后将该网页元素的标识及对应的本客户端信息发布给P2P服务器。

所述客户端进一步用于判断所下载的网页元素是否最新，并在不是最新时重新下载该网页元素；和/或，所述客户端进一步用于对所下载的网页元素进行校验，并在校验没有通过时重新下载该网页元素。

所述客户端进一步利用HTTP方式下载网页元素，并结合HTTP方式和P2P方式下载的结果得到该网页元素。

本发明还提供了一种获取网页中网页元素的方法，该方法包括：

客户端从P2P服务器上查询与网页中网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载该网页元素；

客户端在下载完网页元素后，向P2P服务器发布该网页元素的标识以及对应的本客户端信息。

另外，该方法预先设置分段服务器和多个P2P服务器，每个P2P服务器分别存储不同分段的标识及对应的客户端信息，分段服务器保存不同分段的标识与P2P服务器之间的对应关系；该方法还包括：客户端从所述分段服务器上下载所述不同分段的标识与P2P服务器之间的对应关系，并根据该对应关系和所要下载网页元素的标识确定对应的P2P服务器。

在上述技术方案中，所述分段为根据标识的HASH值进行分段。

该方法进一步包括：客户端判断所下载的网页元素是否最新，并在不是最新时重新下载该网页元素；和/或，客户端对所下载的网页元素进行校验，并在校验没有通过时重新下载该网页元素。

优选地，所述客户端还利用HTTP方式下载网页元素，并结合HTTP方式和P2P方式下载的结果得到该网页元素。

从上述方案中可以看出，由于本发明中客户端在需要下载网页元素时从P2P服务器上查询与该网页元素URL对应的客户端信息，并根据客户端信息建立P2P通道以P2P方式下载该网页元素，然后根据所下载的网页元素显示网页并在本地缓存所下载的网页元素，以及在下载完网页元素后，向P2P服务器发布该网页元素的URL以及对应的本客户端信息，以供后来的客户端使用，这样，客户端可以不直接从WEB SERVER下载所需要的网页元素，而是从就近的其它客户端下载，这样可以加速客户端下载网页元素的速度，从而可以进一步提高浏览网页的速度。并且，由于采用的是P2P技术，还可以解决海量用户和海量流量以及地域差异的瓶颈。

附图说明

图1为本发明实施例中的系统结构示意图；

图2为本发明实施例的P2P SERVER中保存的客户端信息的示意图；

图3为本发明实施例中客户端的结构示意图；

图4为本发明实施例中多个P2P SERVER与分段SERVER的关系示意图；

图5为本发明实施例中加速客户端进行下载以及发布的流程示意图；

图6为本发明实施例中客户端确认下载网页元素最新的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。

网页元素可以通过多种标识来区别，例如URL、IP地址或者其它的字符串，在下面的描述中以URL为例进行说明，但是本发明并不局限与此。

本发明的核心思想是：在一个客户端下载了某个URL的网页元素之后，将其缓存在本地，当其它客户端需要下载该URL的网页元素时，可以通过P2P方式从该客户端下载。换言之，在系统中设置点对点(P2P)Server，其中存储了下载过的网页元素的URL及对应的客户端信息，在其它客户端需要访问某个URL的网页元素时，从P2P Server上查询对应的客户端信息，然后建立P2P通道并通过P2P方式从对应的客户端下载网页元素，另外，在客户端下载完某个网页元素后，将该网页元素的URL以及对应的本客户端信息发布(PUB)给P2P服务器。

为了与现有的协议和技术更完美地结合，本发明实施例中的cache机制完全遵从HTTP协议关于cache的规定，亦即在下面的实施例中只加速处理HTTP响应头里规定可以cache的文件。当然，具体实现时，可以对任何文件进行下面描述的加速处理。

图1所示的是本发明实施例中下载网页元素的系统的结构示意图。

参照图1，该系统包括WEB SERVER、P2P SERVER、客户端。另外，该系统还可以进一步包括分段SERVER。

其中，WEB SERVER是提供网页、网页中的网页元素的URL等等的HTTP服务器，WEB SERVER与现有技术一样，这里不在赘述。

P2P SERVER存储网页元素的URL与下载过该网页元素的客户端信息。优选地，根据客户端自身所处的运营商，分别将客户端信息存储在对应的运营商列表中，这样客户端可以在同一个运营商网内进行P2P下载，进一步提高了浏览网页的速度。例如，如图2所示，将电信用户的客户端信息存储在电信用户列表中，网通用户的客户端信息存储在网通用户列表中，教育网用户的客户端信息存储在教育网用户列表中。

由于URL的数目非常庞大，为了减少P2P SERVER需要处理的URL数目，可以只在P2P SERVER中存储KEYURL。下面简要说明KEYURL：在HTTP 1.1协议中，为了节约新建TCP连接带来的网络和时间开销，规定了持久连接的概念，如果浏览器到WEB SERVER的路径上的结点(包括代理服务器)都支持持久连接，那么在该连接中浏览器可能会请求下载多个文件。优选地，本发明实施例中的客户端支持这种持久连接，并且将持久连接中的第一个URL称为KEYURL。进一步，客户端发布和查询客户端信息都是以KEYURL来进行的。例如在一个持久连接里浏览器按先后顺序向WEBSERVER请求下载了URL为URLA、URLB、URLC的三个网页元素，则将URLA称为KEYURL。向SERVER查询和发布客户端信息都只会对URLA进行，但是查询回来的客户端信息对于URLB和URLC是可复用的。

通常来说，图2中用户列表的数目是有限的，如果超过了预定的大小时，P2P SERVER删除最老的客户端信息，即存储时间最长的客户端信息。另外，同时保存的KEYURL数目也是有限的，超过预定的数目之后，则删除最久未更新的条目。

图1所示的客户端在下载完成某个URL的网页元素时，会将该网页元素的URL以及对应的本客户端信息发布给该SERVER，让SERVER记录下自己的网络信息，供后来要下载该网页元素的其他客户端查询使用。新的客户端需要访问某个URL下载网页元素时，从P2P SERVER上查询已经下载过该网页元素的客户端信息，然后与这些客户端进行P2P交互下载网页元素。

在客户端，cache的文件可以都存放在本地的一个文件夹下，每个URL对应于一个文件。文件中存储的内容包括HTTP响应头、URL等数据，另外为了保证系统的安全性还进一步存储了对文件的HASH值等相关信息，防止用户纂改cache中的数据。Cache文件格式如表1所示：

文件格式	说明
		Expires	Cache条目的过期时间
Last_Modified	HTTP响应头中的Last_Modified
		LastValidateTime	Cache条目的上次生成时间
FileDataLen	实际文件部分长度
		FileHashLen	文件部分hash值的长度
UrlHashLen	URL HASH值的长度
		RespHeadLen	响应头的长度
FileData	实际文件部分
		UrlHash	Url Hash值
FileHash	File Hash值
		RcspHead	相应头

                   表1

在表1中，FileHashLen表示文件部分hash值的长度，UrlHashLen表示URL HASH值的长度，UrlHash表示URL的Hash值，FileHash表示File的Hash值，其余的都是现有HTTP协议中的内容，这里不再赘述。

另外，为了更好地与现有技术接轨，上述客户端可以由现有的浏览器(Brower)和新增的加速客户端组成。如图3所示，本发明实施例中的浏览器与现有的浏览器相同，并且在浏览器中设置该浏览器的HTTP代理服务器为加速客户端。而加速客户端执行本发明实施例中客户端的下载并缓存网页元素以及向P2P SERVER发布本客户端信息等功能。

由于URL的数目至少是上亿级的，而且KEYURL的数目也非常庞大，如果只有一台P2P SERVER处理，那么处理量非常巨大，对于浏览速度提高的效果不是很明显。为了进一步提高处理速度，可以在系统中提供多个P2PSERVER，每个P2P SERVER处理一部分KEYURL的网页元素及其对应的客户端信息。也就说，本发明实施例将URL分段，然后各个P2P SERVER分别负责一段URL的相关处理。分段的方式可以有多种，例如按照URL的字母顺序分段，即分成a*.*、b*.*至c*.*、da*.*至dk*.*……等等，其中*为通配符。下面详细介绍按照URL的HASH值来进行分段的方法。

每个URL都包含一个主机名，例如http：//game.qq.com/ad.swf的主机名为game.qq.com。可以直接对主机名计算HASH值，但是主机名的数量巨大，如果这么做，会产生很大的数据量，为了减少数据量，这里以采用二级域名qq.com计算HASH值为例说明，当然也可以采用三级域名等。

为此，如图1所示，本发明实施例中的系统进一步包括分段SERVER。分段SERVER对上面所述的二级域名的HASH值做一个分段，每台P2PSERVER只负责其中一段的用户信息的保存和查询。

例如，采用的HASH算法是映射到整型(INT)数据空间，分段SERVER选择分为4段：[0-10亿)、[10亿-20亿)、[20亿-30亿)以及[30亿-40亿)，分别对应于4台P2P SERVER。该分段情况如图4所示。

假设qq.com计算出来的hash值落在[10亿-20亿)这个分段中，那么客户端对于二级域名是qq.com的URL的发布和查询请求都会发送到P2PSERVER B上来处理。

另外，为了获取最新并且准确的分段情况，加速客户端在启动的时候可以登录到分段SERVER获取URL与P2P SERVER的对应关系或者URL二级域名的HASH值与P2P SERVER的对应关系，如以表格存在的分段表，同时还获取其他的运行时参数，如发布和查询的时间间隔等等。

下面参照图5，描述本发明实施例中客户端下载网页元素以及发布信息的流程。

如图5所示，该流程包括主要包括以下步骤：

步骤101，加速客户端启动，并监听代理端口，准备处理浏览器的代理请求。

步骤102，加速客户端登录分段SERVER，获取分段表和其它运行参数，如发布和查询的时间间隔等。

步骤103，加速客户端接收到浏览器请求的URL，例如浏览器请求的URL为http：//game.qq.com/ad.swf。

步骤104，计算URL二级域名的HASH值，根据从分段SERVER获取分段表得知其属于P2P SERVER B处理，然后向P2P SERVER B发送查询种子的请求，即查询与URL对应的客户端信息的请求，该请求中至少携带网页元素的URL。

P2P SERVER B接收到请求后会将与上述URL对应的客户端信息返回给请求的加速客户端。

步骤105，加速客户端接收到查询种子的回应，根据其中的客户端信息创建P2P连接通道，并开始以P2P方式下载网页元素。

在执行步骤104至步骤105的时候，可以同时执行下述步骤106，以使用HTTP方式和P2P方式协同下载网页元素。当然以可以只执行步骤104至步骤105。

步骤106，加速客户端根据网页元素的URL启动HTTP方式的从WEBSERVER下载网页元素。

需要注意的是，当前的HTTP标准只能支持HTTP方式下载文件时从前往后下载，所以使用HTTP和P2P协同下载时，可以选择HTTP方式从前往后下载，而P2P方式从后往前下载，当两者到达结合点时，下载完成。这样可以避免资源的浪费，节约HTTP方式以及P2P方式的下载流量。

步骤107，使用P2P方式或者HTTP和P2P协同的方式下载网页元素完成。

步骤108，在下载完成之后，加速客户端将所下载的网页元素缓存在本地，并向P2P SERVER B发布下载完成信息，即发布URL和与其对应的本客户端信息。

另外，下载完成之后，客户端的浏览器可以根据所下载的网页元素浏览该网页。

另外，由于Web网页元素的更新非常频繁，需要解决使用P2P下载的文件是否是网页中最新的文件的问题，或者P2P下载的文件和HTTP下载的是否同一个文件的问题。在HTTP协议里有个Last Modified的标识表示文件的修改时间，本发明实施例根据该标识来判断所下载的文件是否是最新的。该流程如图6所示，包括以下步骤：

步骤201，在开始下载的时候，加速客户端设置Last_Modified的初始默认值timel。

步骤202，按照上述步骤104至105以及步骤106启动P2P以及HTTP下载。

步骤203，判断在交互过程中是否得到新的Last_Modified，即所获得的Last_Modified是否与本地Last_Modified不同，如果是，则执行步骤204及其后续步骤，否则执行步骤205及其后续步骤。

步骤204，将本地Last_Modified更新为新的Last_Modified，并执行步骤202。

步骤205，下载完成，执行步骤206。

步骤206，判断是否通过HTTP方式得到了Last_Modified，如果是则执行步骤207，否则执行步骤208。

步骤207，根据从HTTP方式获取的作为标准，验证所下载的文件是否是最新，如果是，则执行步骤209，确认下载最终完成，并结束流程；否则，执行步骤204。

步骤208，判断HTTP方式是否超时，如果是，则执行步骤207，否则再次执行步骤206。

根据上述流程，可以使得客户端下载的网页元素是WEB SERVER上最新的网页元素。

另外，在P2P下载方式中，校验问题一直比较突出，常规的做法是WEBSERVER保存文件的HASH值供客户端下载，然后客户端根据从WEBSERVER下载的HASH值和对下载文件计算得到的HASH值进行验证，如果一致，则验证出下载的文件是正确的，否则下载的文件不正确，需要重新下载。但是在WEB浏览的场景下文件太多，WEB SERVER即使可以保存HASH值，客户端获取这些HASH值的通讯包量也过大，极大地延迟了下载和浏览速度。

在本发明实施例中，优选地采用多客户端验证的策略，即：在P2P方式下载网页元素时同时下载HASH值，并且验证所下载的HASH值和根据下载数据计算得到的HASH值，进一步对于通过P2P方式获取到的网页元素，只有经过其他2个以上的客户端的HASH值验证过以后才能确认是正确的，否则重新下载。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种获取网页中网页元素的系统，其特征在于，该系统包括：

网页服务器，用于提供网页中的网页元素及其标识；

点对点P2P服务器，用于存储下载过的网页元素的标识及对应的下载该网页元素的客户端信息；

客户端，用于从P2P服务器上查询与网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载网页元素，以及在下载完网页元素后将该网页元素的标识及对应的本客户端信息发布给P2P服务器。

2、根据权利要求1所述的系统，其特征在于，所述P2P服务器为多个，每个P2P服务器分别存储不同分段的标识及对应的客户端信息；

该系统进一步包括分段服务器，用于向客户端提供不同分段的标识与P2P服务器之间的对应关系；

所述客户端进一步从所述分段服务器上下载所述不同分段的标识与P2P服务器之间的对应关系，并根据该对应关系和所要下载网页元素的标识确定对应的P2P服务器。

3、根据权利要求1所述的系统，其特征在于，所述客户端包括浏览器和加速客户端，其中：

浏览器的代理服务器设置为加速客户端，通过加速客户端获取网页元素；

加速客户端，用于从P2P服务器上查询与该网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载网页元素，以及在下载完网页元素后将该网页元素的标识及对应的本客户端信息发布给P2P服务器。

4、根据权利要求1所述的系统，其特征在于，所述客户端进一步用于判断所下载的网页元素是否最新，并在不是最新时重新下载该网页元素；和/或，

所述客户端进一步用于对所下载的网页元素进行校验，并在校验没有通过时重新下载该网页元素。

5、根据权利要求1所述的系统，其特征在于，所述客户端进一步利用HTTP方式下载网页元素，并结合HTTP方式和P2P方式下载的结果得到该网页元素。

6、一种获取网页中网页元素的方法，其特征在于，该方法包括：

客户端从P2P服务器上查询与网页中网页元素的标识对应的客户端信息，并根据客户端信息以P2P方式下载该网页元素；

客户端在下载完网页元素后，向P2P服务器发布该网页元素的标识以及对应的本客户端信息。

7、根据权利要求6所述的方法，其特征在于，该方法预先设置分段服务器和多个P2P服务器，每个P2P服务器分别存储不同分段的标识及对应的客户端信息，分段服务器保存不同分段的标识与P2P服务器之间的对应关系；

该方法还包括：客户端从所述分段服务器上下载所述不同分段的标识与P2P服务器之间的对应关系，并根据该对应关系和所要下载网页元素的标识确定对应的P2P服务器。

8、根据权利要求7所述的方法，其特征在于，所述分段为根据标识的HASH值进行分段。

9、根据权利要求6所述的方法，其特征在于，该方法进一步包括：

客户端判断所下载的网页元素是否最新，并在不是最新时重新下载该网页元素；和/或，

客户端对所下载的网页元素进行校验，并在校验没有通过时重新下载该网页元素。

10、根据权利要求6所述的方法，其特征在于，所述客户端还利用HTTP方式下载网页元素，并结合HTTP方式和P2P方式下载的结果得到该网页元素。

Images