CN101159762A

CN101159762A - 加速网页内容下载的方法及装置

Info

Publication number: CN101159762A
Application number: CNA2007101873109A
Authority: CN
Inventors: 吴波; 方斌; 王海波; 唐晓平
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2007-11-19
Filing date: 2007-11-19
Publication date: 2008-04-09
Anticipated expiration: 2027-11-19
Also published as: CN101159762B

Abstract

本发明公开了一种加速网页内容下载的方法，包括：判断下载请求所请求的URL是否是定位URL的网页上的资源URL，如果是，利用已为所述定位URL创建的P2P通道，下载所述资源URL的网页内容。使用本发明所提供的技术方案，能够加速网页内容的下载，且减少带宽的消耗。

Description

加速网页内容下载的方法及装置

技术领域

本发明涉及通讯技术领域，特别涉及一种加速网页内容下载的方法及装置。

背景技术

在浏览器浏览网页时，除需要下载网页本身以外，网页里面还内嵌了许多相关的内容，比如图片、Flash文件，音视频文件等，在下载网页后，接着要下载上述相关内容。为了加快下载网页内容的速度，业内采用了点对点的对等联网(Peer-to-peer，P2P)技术，该技术采用客户端从已经访问过的临近的其他客户端获取数据的方式，来加速网页内容的下载。

现有的P2P技术将加速客户端做成一个HTTP代理服务器，在HTTP代理服务器上设置浏览器的代理服务器。现有技术提供的下载网页内容的方法流程如图1所示，该方法具体包括：

步骤101、监听代理端口，以查看用户是否登陆服务器。

步骤102、登陆HASH分段服务器，并获得分段表。

步骤103、截获浏览器的下载请求。

步骤104、向Web Server转发该下载请求，以启动HTTP下载。

步骤105、以下载请求所请求的统一资源定位符(Uniform ResourceLocator，URL)为关键字向P2P服务器查询种子，在获得种子后创建P2P通道，以启动P2P下载。

例如，假定URL是qq.com，根据以上获取的分段表，确定HASH(qq.com)落在P2P服务器B上，向P2P服务器B发送查询种子请求，在获得种子后创建P2P通道，以启动P2P下载，从种子所对应的P2P结点上下载数据。

其中，步骤104与步骤105是同时执行的。

步骤106、在浏览器的代理服务器上将HTTP下载的数据和P2P下载的数据合成完整数据提交给浏览器。

步骤107、将用户登陆的客户端作为qq.com的种子发布到P2P服务器B。

在对现有技术的研究和实践过程中，发明人发现现有技术存在以下问题：

1、由于现有技术对浏览器下载请求所请求的每个URL都要向P2P服务器查询种子，当网页元素比较多时，也就是说网页内嵌的图片、Flash文件，音视频文件比较多时，需要频繁的去查询每个网页元素的种子和创建P2P通道，使下载的速度降低，且带宽消耗严重。

2、由于现有技术对浏览器下载请求所请求的每个URL都要向P2P服务器查询种子，对于尺寸较小的网页元素，往往种子还没有查询回来或者P2P通道还未创建成功，该网页元素已经通过HTTP下载完了，造成了资源的不必要的浪费。

发明内容

本发明实施例要解决的技术问题是提供一种加速网页内容下载的方法及装置，能够加速网页内容的下载。

有鉴于此，本发明实施例提供：

一种加速网页内容下载的方法，包括：

接收来自浏览器的下载请求；

判断所述下载请求所请求的统一资源定位符URL是否是定位URL网页上的资源URL，如果是，利用已为所述定位URL创建的对等联网P2P通道，下载所请求的URL的网页内容。

一种加速网页内容下载的装置，包括：

下载请求接收单元，用于接收下载请求；

判断单元，用于判断所述下载请求所请求的URL是否是定位URL网页上的资源URL；

资源URL网页下载单元，用于当所述判断单元的判断结果为是时，利用已为所述定位URL创建的P2P通道，下载所请求的URL的网页内容。

上述技术方案中的一个技术方案具有如下有益效果：

1、本发明实施例判断下载请求所请求的URL是否是定位URL网页上的资源URL，当所请求的URL是定位URL网页上的资源URL时，直接利用已为定位URL所创建的P2P通道，下载资源URL的网页内容，不需要频繁的去查询每个资源URL所能共享的种子，也不需要为每个资源URL创建P2P通道，能够加速资源URL的网页内容的下载，且减少带宽的消耗。

2、本发明实施例判断下载请求所请求的URL是否是定位URL网页上的资源URL，当所请求的URL是定位URL网页上的资源URL时，直接利用已为定位URL所创建的P2P通道，下载资源URL的网页内容。对于尺寸较小的网页元素，直接利用已为定位URL所创建的P2P通道下载该网页元素的内容，避免像现有技术那样，在种子还没有查询回来或者P2P通道还未创建成功就已经通过HTTP下载完了而造成的资源浪费。

附图说明

图1为现有技术提供的网页内容下载流程图；

图2为本发明实施例一提供的加速网页内容下载的方法流程图；

图3为本发明实施例二提供的加速网页内容下载的方法流程图；

图4为本发明实施例三提供的加速网页内容下载的装置结构图；

图5为本发明实施例四提供的加速网页内容下载的装置结构图。

具体实施方式

本发明实施例提供一种加速网页内容下载的方法，该方法包括：接收来自浏览器的下载请求；判断所述下载请求所请求的统一资源定位符URL是否是定位URL网页上的资源URL，如果是，利用已为所述定位URL创建的对等联网P2P通道，下载所请求的URL的网页内容。使用本发明实施例提供的技术方案，能够加速网页内容的下载。

参阅图2，本发明实施例一提供了一种加速网页内容下载的方法，该方法利用HTML文本解释技术获取网页的资源URL，以确定资源URL与定位URL的从属关系，该方法具体包括：

步骤201、浏览器的代理服务器截获浏览器的下载请求，向Web Server转发该下载请求，以启动HTTP下载；同时以下载请求所请求的定位URL为关键字向P2P服务器查询种子，在获得种子后创建P2P通道，以启动P2P下载，并在浏览器的代理服务器上将HTTP下载的数据和P2P下载的数据合成完整数据提交给浏览器。

本步骤中的定位URL可以是用户直接输入的URL，也可以是点击超链接得到的导航URL。

步骤202、利用HTML文本解释技术，分析定位URL网页内容中的HTML文本和/或脚本文本中的各种标签，提取标签中包含的资源URL，将资源URL加入到URL集合中。

本步骤可以在将HTTP下载的数据和P2P下载的数据合成完整数据并提交给浏览器的同时执行。

步骤203、判断浏览器发送的下载请求所请求的URL是否是URL集合中的URL，如果是，执行步骤204；如果否，该下载请求所请求的URL是新的定位URL或者其他URL集合中的资源URL，结束本流程。

步骤204、利用已为定位URL创建的P2P通道，下载数据内容。

步骤205、向Web Server转发该下载请求，以启动HTTP下载。

其中，步骤205可以与步骤203或步骤204同时执行，不影响本发明的实现。

步骤206、将HTTP下载的数据和P2P下载的数据合成完整数据提交给浏览器。

参阅图3，本发明实施例二提供了一种加速网页内容下载的方法，该方法利用浏览器的下载请求中头部所携带的Referer字段，并辅以浏览器事件截获技术，确定资源URL与定位URL的从属关系，该方法具体包括：

步骤301、利用浏览器事件截获技术，获取Before Navigate事件中携带的的定位URL，将定位URL加入URL集合。

在该步骤之前，浏览器的代理服务器获取浏览器的Web Browser Event的连接点，并从该连接点接收浏览器的Before Navigate事件，其中，BeforeNavigate事件是用户在地址栏中输入地址或者点击超链接时所触发的事件。当利用浏览器事件截获技术截获到Before Navigate事件时，就能确定BeforeNavigate事件中所携带的是定位URL。

步骤302、浏览器的代理服务器向Web Server发送定位URL的下载请求，以启动HTTP下载；同时以定位URL为关键字向P2P服务器查询种子，在获得种子后创建P2P通道，以启动P2P下载，并在浏览器的代理服务器上将HTTP下载的数据和P2P下载的数据合成完整数据提交给浏览器。

步骤303、接收浏览器发送的携带referer字段的下载请求。

步骤304、判断下载请求所请求的URL是否是URL集合中的URL，如果是，执行步骤307；如果否，执行步骤305。

步骤305、判断该下载请求所携带的referer字段所指示的URL是否是URL集合中的URL，如果是，执行步骤306；如果否，该下载请求所请求的URL是其它URL集合中的URL，结束本流程。

其中，referer字段用于指示当前的下载请求所请求的URL是引用哪个页面的。如果当前请求的URL是属于某个页面的，则referer字段指示的值是该页面的URL。如果当前请求的URL是由点击超链接发出的，则referer字段指示的值是包含该超链接页面的URL。如果一个页面包含了几个窗口Frame，当下载请求所请求的URL是某个Frame内的资源URL时，该下载请求中携带的referer字段指示的值是该Frame的URL。

步骤306、将该下载请求所请求的URL加入URL集合。

步骤307、获得该页面的定位URL，利用已为定位URL创建的P2P通道，下载数据。

其中，也可以先执行步骤307，再执行步骤306，或者两个步骤同时执行，不影响本发明的实现。

步骤308、向Web Server转发该下载请求，以启动HTTP下载。

其中，步骤308可以与步骤304-步骤307同时执行，不影响本发明的实现。

步骤309、将HTTP下载的数据和P2P下载的数据合成完整数据提交给浏览器。

为使本发明实施例二的技术方案更加清楚明白，下面举具体例子对本发明实施例二的技术方案进行详细描述。假定Before Navigate事件中携带的浏览器当前显示网页的定位URL是qq.com。浏览器下载请求所请求的URL是a.qq.com，该下载请求中的referer字段所指示的URL是：qq.com，首先在URL集合中查找是否存在a.qq.com，如果存在，执行步骤307，如果不存在，继续在URL集合中查找是否存在referer字段所指示的URL，即qq.com，如果存在，执行步骤306将a.qq.com加入URL集合，继续执行步骤307。继续接收浏览器的下载请求，假定浏览器下载请求所请求的URL是b.a.qq.com，该下载请求中的referer字段所指示的URL是：a.qq.com，首先在URL集合中查找是否存在b.a.qq.com，如果存在，执行步骤307，如果不存在，继续在URL集合中查找是否存在referer字段所指示的URL，即a.qq.com，如果存在，执行步骤306将b.a.qq.com加入URL集合，继续执行步骤307。

参阅图4，本发明实施例三提供一种加速网页内容下载的装置，该装置包括：

下载请求接收单元401，接收来自浏览器的多个下载请求，包括：请求定位URL的下载请求和请求资源URL的下载请求；

定位URL获取单元402，从上述请求定位URL的下载请求中获取定位URL；

通道创建单元403，根据定位URL所共享的种子创建P2P通道；

定位URL网页下载单元404，利用上述创建的P2P通道，下载定位URL网页的内容；

资源URL提取单元405，分析定位URL网页内容中文本的标签，提取所述标签中包含的URL，将所提取的URL加入到URL集合408；

判断单元406是第一判断单元，判断下载请求所请求的URL是否是URL集合408中的URL；

资源URL网页下载单元407，当第一判断单元406的判断结果为是时，利用已为定位URL创建的P2P通道，下载所请求的URL的网页内容。

参阅图5，本发明实施例四提供一种加速网页内容下载的装置，该装置包括：

浏览器监测单元501，监测是否有浏览器打开；

浏览器事件处理单元502，获取打开的浏览器的Web Browser Event连接点；

注册事件接收单元503，从Web Browser Event连接点接收浏览器的BeforeNavigate事件；

定位URL获取单元504，从Before Navigate事件中获取定位URL，将定位URL加入URL集合511；

通道创建单元505，根据定位URL所共享的种子创建P2P通道；

定位URL网页下载单元506，利用已创建的P2P通道，下载定位URL网页的内容；

下载请求接收单元507，接收请求资源URL的下载请求；

判断单元508包括：第二判断单元5081和第三判断单元5082，

第二判断单元5081，判断所请求的URL是否是URL集合511中的URL；

第三判断单元5082，在第二判断单元5081的判断结果为否时，判断下载请求中所携带的referer字段所指示的URL是否是URL集合511中的URL；

资源URL网页下载单元509，当第二判断单元5081的判断结果为是，或者第三判断单元5082的判断结果为是时，利用已为所述定位URL创建的P2P通道，下载资源URL的网页内容；

加入单元510，当第二判断单元5081的判断结果为否，且，第三判断单元5082的判断结果为是时，将所请求的URL加入URL集合511。

从以上分析可以看出，本发明实施例具有如下有益效果：

以上对本发明所提供的一种加速网页内容下载的方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种加速网页内容下载的方法，其特征在于，包括：

接收来自浏览器的下载请求；

2.根据权利要求1所述的方法，其特征在于：

在判断下载请求所请求的URL是否是定位URL网页上的资源URL之前，该方法还包括：

获取定位URL；

根据所述定位URL，查询种子；

根据查询得到的种子，创建P2P通道；

利用所述P2P通道，下载所述定位URL网页的内容。

3.根据权利要求2所述的方法，其特征在于：

所述获取定位URL具体为：

接收请求所述定位URL的下载请求，并从请求所述定位URL的下载请求中获取所述定位URL。

4.根据权利要求2所述的方法，其特征在于：

在下载所述定位URL网页的内容之后，判断所述下载请求所请求的URL是否是定位URL网页上的资源URL之前，该方法还包括：

分析所述定位URL网页内容中文本的标签；

提取所述标签中包含的URL，将所提取的URL加入到URL集合；

判断下载请求所请求的URL是否是定位URL网页上的资源URL具体为：

判断所请求的URL是否是所述URL集合中的URL。

5.根据权利要求2所述的方法，其特征在于：

所述获取定位URL具体为：

接收携带定位URL的导航Before Navigate事件，并从所述Before Navigate事件中获取所述定位URL；

该方法还包括：

将所获取的定位URL加入URL集合。

6.根据权利要求5所述的方法，其特征在于：

判断所请求的URL是否是所述URL集合中的URL，如果是，继续执行下载所请求的URL的网页内容的步骤；如果不是，判断所述下载请求中所携带的referer字段所指示的URL是否是所述URL集合中的URL，如果是，继续执行下载所请求的URL的网页内容的步骤。

7.根据权利要求6所述的方法，其特征在于：

当所请求的URL不是所述URL集合中的URL，且，所述下载请求中所携带的referer字段所指示的URL是所述URL集合中的URL时，该方法还包括：

将所请求的URL加入到所述URL集合。

8.一种加速网页内容下载的装置，其特征在于，包括：

下载请求接收单元，用于接收下载请求；

9.根据权利要求8所述的装置，其特征在于：

所述下载请求接收单元接收的下载请求包括：请求定位URL的下载请求和请求资源URL的下载请求；

该装置还包括：

定位URL获取单元，用于从所述请求定位URL的下载请求中获取定位URL；

通道创建单元，用于根据所述定位URL所共享的种子创建P2P通道；

定位URL网页下载单元，用于利用所述P2P通道，下载所述定位URL网页的内容。

10.根据权利要求9所述的装置，其特征在于：

该装置还包括：

资源URL提取单元，用于分析所述定位URL网页内容中文本的标签，提取所述标签中包含的URL，将所提取的URL加入到URL集合；

所述判断单元是第一判断单元，

所述第一判断单元，用于判断所述下载请求所请求的URL是否是所述URL集合中的URL。

11.根据权利要求8所述的装置，其特征在于：

该装置还包括：

注册事件接收单元，用于接收携带定位URL的Before Navigate事件；

定位URL获取单元，用于从所述Before Navigate事件中获取定位URL，将所获取的定位URL加入URL集合；

通道创建单元，用于根据所述定位URL所共享的种子创建P2P通道。

12.根据权利要求11所述的装置，其特征在于：

所述判断单元包括：第二判断单元和第三判断单元，

所述第二判断单元，用于判断所请求的URL是否是所述URL集合中的URL；

所述第三判断单元，用于在所述第二判断单元的判断结果为否时，判断所述下载请求中所携带的referer字段所指示的URL是否是所述URL集合中的URL；

所述资源URL网页下载单元，用于当所述第二判断单元的判断结果为是，或者所述第三判断单元的判断结果为是时，利用已为所述定位URL创建的P2P通道，下载所请求的URL的网页内容。

13.根据权利要求12所述的装置，其特征在于：

该装置还包括：

加入单元，用于当所述第二判断单元的判断结果为否，且，所述第三判断单元的判断结果为是时，将所请求的URL加入所述URL集合。