CN103825919B

CN103825919B - 一种缓存数据资源的方法、装置及系统

Info

Publication number: CN103825919B
Application number: CN201210465452.8A
Authority: CN
Inventors: 姜欣; 吴茜; 杜建凤; 彭勇; 李鹏; 张静; 郭志刚; 白爱军; 李智伟; 赵伟
Original assignee: China Mobile Group Beijing Co Ltd
Current assignee: China Mobile Group Beijing Co Ltd
Priority date: 2012-11-16
Filing date: 2012-11-16
Publication date: 2017-06-20
Anticipated expiration: 2032-11-16
Also published as: CN103825919A

Abstract

本发明实施例提供一种缓存数据资源的方法、装置及系统，包括：通过下载测试的方式，获得属于非指定运营商提供的同一域名的页面文件和/或内嵌文件的下载信息，并可以根据其中的下载属性信息，来确定待缓存的域名，并对该域名中的数据资源进行缓存。从而可以通过缓存的数据资源的准确定位，有效提高缓存的数据资源的可用性，使得缓存的数据资源可以更好地满足用户互联网访问的需求。

Description

一种缓存数据资源的方法、装置及系统

技术领域

本发明涉及通信领域，尤其涉及一种缓存数据资源的方法、装置及系统。

背景技术

用户进行互联网业务访问时，由于单个运营商网内数据资源不足，用户经常需要到其他运营商网内获取数据资源（以网页形式提供）。用户跨网访问互联网数据资源至少存在以下两方面问题：一是需要经过互连互通关口，给用户感知带来较大影响；二是会产生一定的互连互通结算费用。因此，网页缓存系统应运而生。利用网页缓存系统可以有效吸纳互联网上的热点流量，加快网络访问速度，提高用户的互联网体验，并减少用户跨网访问的发生。

在网页缓存系统中，一般通过域名服务器（DNS）劫持、DNS forward或者策略路由方式（策略路由方式又可以分为代理模式和透明模式）将DNS的流量路由至网页缓存系统。当网页缓存系统发现已经配置了请求域名的缓存服务功能时，网页缓存系统将伪造一个DNS响应报文返回给用户，其中域名还是用户请求的域名，因特网协议（IP）地址是网页缓存系统中针对该域名的缓存服务器地址，于是用户针对该域名所有统一资源定位符（URL）的请求都会被路由至该缓存服务器。如果用户请求的是静态数据资源，缓存服务器将从自己的缓存中取出数据资源反馈给用户，如果用户请求的动态数据资源，缓存服务器将代理用户向源站进行请求和响应。

下面以用户通过北京中国移动互联网（CMNET）城域网访问互联网，CMNET骨干网网内数据资源不足，从电信/联通骨干网，或网页缓存系统获取互联网数据资源为例，分别针对通过DNS劫持方式将DNS的流量路由至网页缓存系统、通过DNS forward方式将DNS的流量路由至网页缓存系统、通过策略路由方式中的代理模式将DNS的流量路由至网页缓存系统、以及通过策略路由方式中的透明模式将DNS的流量路由至网页缓存系统的方案进行说明。

方案一、DNS劫持方式

如图1所示，DNS劫持方式下，用户访问互联网数据资源的过程包括：

（1）、用户发起DNS请求；

（2）、本地（Local）DNS查询自身缓存中是否有结果，如果有，直接回复用户，如果没有，发起迭代查询；

（3）迭代查询报文经分光设备，DPI获得DNS请求报文。重定向设备判断请求的域名是否是在网页缓存（webcache）服务器中预先配置的缓存域名；

（4）若重定向设备判断请求的域名是在webcache服务器中预先配置的缓存域名，伪造一个DNS解析结果，其IP地址是webcache服务器地址；

（5）同时互联网接入服务提供商（ICP）DNS服务器也会反馈一个正常的DNS解析结果；

（6）用户先收到哪个解析结果，就访问相应的服务器。

方案二、DNS forward方式

如图2所示，DNS forward方式下，用户访问互联网数据资源的过程包括：

（1）用户发起DNS请求；

（2）Local DNS查询自身缓存中是否有结果，如果有，直接回复用户，如果没有，将域名解析权forward给网页缓存系统的DNS服务器；

（3）网页缓存系统如果查询出访问的明细域名是网页缓存系统可服务的域名，则伪造一个DNS解析结果，其IP地址是webcache服务器地址，将该解析结果反馈给Local DNS服务器；

（4）网页缓存系统如果查询出访问的明细域名不是网页缓存系统可服务的域名，则通过正常的迭代查询获得解析结果；

（5）网页缓存系统将迭代查询获得的解析结果反馈给Local DNS服务器；

（6）Local DNS服务器将解析结果反馈给用户；

（7）用户访问webcache服务器（用户请求访问的明细域名是网页缓存系统可服务的明细域名）或访问IDC服务器（用户请求访问的明细域名是网页缓存系统不可服务的明细域名）。

需要说明的是，在方案二中，在网页缓存系统应用之前，Local DNS服务器需要把网页缓存系统能够缓存的域名通过forward配置的方式，将这部分域名的解析权交给网页缓存系统中的DNS服务器（通常采用的是泛域名的forward方式）。

方案三、策略路由方式中的代理模式

如图3所示，策略路由方式中的代理模式下，用户访问互联网数据资源的过程包括：

（1）用户发起HTTP请求，源IP＝用户的源IP、目的IP＝IDC中相应的服务器地址；

（2）城域网边缘路由器通过策略路由将流量牵引至webcache代理服务器，源IP＝用户的源IP、目的IP＝网络数据中心（IDC）中相应的服务器地址；

（3）webcache代理服务器代理用户向IDC发起HTTP请求，源IP＝webcache同步流量的IP地址、目的IP＝IDC中相应的服务器地址；

（4）IDC向webcache代理服务器响应网页内容，源IP＝IDC中相应的服务器地址、目的IP＝webcache代理服务器同步流量的IP地址；

（5）webcache代理服务器重新封装IP头部，向用户反馈网页内容，源IP＝IDC中相应的服务器地址、目的IP＝用户的IP地址。

方案四、策略路由方式中的透明模式

如图4所示，策略路由方式中的透明模式下，用户访问互联网数据资源的过程包括：

（2）城域网边缘路由器通过策略路由将流量牵引至webcache代理服务器，源IP＝用户的源IP、目的IP＝IDC中相应的服务器地址；

（3）webcache代理服务器代理用户向IDC发起HTTP请求，源IP＝用户的IP地址（与代理模式的区别所在）、目的IP＝IDC中相应的服务器地址；

（4）IDC反馈网页的响应内容至城域网边缘路由器，源IP＝IDC中相应的服务器地址、目的IP＝用户的IP地址；

（5）城域网边缘路由器将IDC响应的网页内容牵引至webcache代理服务器，源IP＝IDC中相应的服务器地址、目的IP＝用户的IP地址；

（6）webcache代理服务器将网页内容反馈用户，源IP＝IDC中相应的服务器地址、目的IP＝用户的IP地址。

在目前的用户访问互联网数据资源的过程中，网页缓存机制采用静态配置的方法对数据资源进行缓存，无法通过有效的手段对缓存的数据资源进行有效的选择，使得缓存数据资源的可用性难以得到保证。

发明内容

本发明实施例提供一种缓存数据资源的方法、装置及系统，用于实现对缓存的数据资源的有效选择，提高缓存数据资源的可用性。

一种缓存数据资源的方法，所述方法包括：

确定一个网站中待进行下载测试的网页；

对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息；

将具有相同域名的指定文件划分为一组，并确定提供该组指定文件的服务器归属的运营商；

确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名；

将确定出的所述待缓存的域名发送给网页缓存服务器，指示网页缓存服务器缓存接收到的域名中的数据资源。

一种缓存数据资源的装置，所述装置包括：

下载测试模块，用于确定一个网站中待进行下载测试的网页；对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息；

域名确定模块，用于将具有相同域名的指定文件划分为一组，并确定提供该组指定文件的服务器归属的运营商；确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名；

发送模块，用于将确定出的所述待缓存的域名发送给网页缓存服务器，指示网页缓存服务器缓存接收到的域名中的数据资源。

一种缓存数据资源的系统，所述系统包括：包括所述缓存数据资源的装置的服务器和网页缓存服务器，其中：

包括所述缓存数据资源的装置的服务器，用于确定一个网站中待进行下载测试的网页；对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息；将具有相同域名的指定文件划分为一组，并确定提供该组指定文件的服务器归属的运营商；确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名；将确定出的所述待缓存的域名发送给网页缓存服务器；

所述网页缓存服务器，用于缓存接收到的域名中的数据资源。

根据本发明实施例提供的方案，可以通过下载测试的方式，获得属于非指定运营商提供的同一域名的页面文件和/或内嵌文件的下载信息，并可以根据其中的下载属性信息，来确定待缓存的域名，并对该域名中的数据资源进行缓存。从而可以通过缓存的数据资源的准确定位，有效提高缓存的数据资源的可用性，使得缓存的数据资源可以更好地满足用户互联网访问的需求。

附图说明

图1为现有技术提供的DNS劫持方式下，用户访问互联网数据资源的过程示意图；

图2为现有技术提供的DNS forward方式下，用户访问互联网数据资源的过程示意图；

图3为现有技术提供的策略路由方式中的代理模式下，用户访问互联网数据资源的过程示意图；

图4为现有技术提供的策略路由方式中的透明模式下，用户访问互联网数据资源的过程示意图；

图5为本发明实施例一提供的缓存数据资源的方法的步骤流程图；

图6为本发明实施例二提供的缓存数据资源的装置的结构示意图；

图7为本发明实施例三提供的缓存数据资源的系统的结构示意图；

图8为本发明实施例四提供的缓存数据资源的方法的步骤流程图。

具体实施方式

针对现有技术中网页缓存机制采用静态配置的方法对数据资源进行缓存，无法通过有效的手段对缓存的数据资源进行有效的选择，使得缓存数据资源的可用性难以得到保证的问题，本发明实施例提出可以通过下载测试的方式，定位到每个网站中满足信息容量最多、需求最高、本地用户感知最差至少一项的域名中的数据资源进行缓存，从而实现对缓存内容的有效选择，提高缓存数据资源的可用性和有效性，并可以在不增加缓存数据量的前提下，使得缓存的数据资源可以更好地保证用户的访问需求，有效提高用户感知。

下面结合说明书附图和各实施例对本发明方案进行说明。

实施例一、

本发明实施例一提供一种缓存数据资源的方法，该方法的步骤流程可以如图5所示，包括：

步骤101、进行下载测试。

具体的，在本实施例中，针对每个需要进行数据资源缓存的网站，可以确定该网站中待进行下载测试的网页，并对确定出的网页进行下载测试，在本实施例中，可以对确定出的网页的页面文件和内嵌文件分别进行下载测试。

具体的，在本步骤中，可以对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息。

较优的，每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数。

当然，下载信息还可以包括其他内容，例如，下载信息还可以包括提供该指定文件的服务器的IP地址，从而后续可以利用内容更加丰富的下载信息进一步提高选择出的需要进行缓存的数据资源的可用性。

较优的，为了提高下载测试的效率，可以利用抽样的方式，仅对一个网站中的部分网页进行下载测试，后续可以根据对该部分网页的下载测试结果，确定需要进行缓存的数据资源。

则在本步骤中，可以根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符（URL）。并对所述URL对应的数据资源中的页面文件和内嵌文件进行下载测试。

例如，可以根据预先设定的下载测试网页数量为5000，确定所述网站中5000个网页的URL。根据确定出的URL，对每个URL对应的数据资源中的页面文件和内嵌文件进行下载测试。

又如，可以根据预先设定的下载测试网页级别为1~3级，确定需要对所述网站的主页面（可以定义网页级别为第1级）、二级链接页面（可以定义网页级别为第2级）和三级链接页面（可以定义网页级别为第3级）进行下载测试，则可以确定所述网站中主页面、所有二级链接页面和所有三级链接页面的URL。根据确定出的URL，对每个URL对应的数据资源中的页面文件和内嵌文件进行下载测试。

具体的，在获得网站主页面的URL后，可以通过以下方式获得非第1级页面（非主页面）的URL：

以网站主页面为入口，获得网站主页面的html源代码，对该html源代码进行检索和过滤，获得所有的二级链接页面URL。然后通过请求获得所有二级链接页面的html源代码，对该html源代码进行过滤后，获得所有三级链接页面的URL，以此类推，可以获得任一非第1级页面的UR。

步骤102、按照域名进行分组。

在本实施例中，可以利用进行下载测试的网页中，对属于同一域名的页面文件和内嵌文件进行下载测试得到的下载信息，来表示该域名下数据资源的特性。

具体的，在本步骤中，可以将具有相同域名的指定文件划分为一组。

例如，将所有下载测试结果根据域名进行分组得到的结果可以如表1所示：

表1

步骤103、确定待缓存的域名。

为了减少缓存的数据量，在提供数据资源的服务器归属的运营商为需要访问该数据资源的用户所属的运营商时，可以无需对该数据资源进行缓存，因此，在本步骤中，可以针对每组指定文件，确定提供该组指定文件的服务器归属的运营商，例如，如表1所示。

确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名。

如果，每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数；

则，根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名，具体包括：

根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量（可以为该组指定文件中，所有指定文件的下载容量之和）、下载该组指定文件的下载速度（下载速度可以理解为下载容量和下载时间的比值）（可以为该组指定文件中，所有指定文件的下载速度的平均值，或者，为该组指定文件中，每个指定文件的下载速度中，下载速度的最小值），以及该组指定文件的已下载次数（可以为该组指定文件中，所有指定文件的已下载次数之和），例如，如表1所示；

根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名。

具体的，可以确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；

将确定出的前M组指定文件的域名、前N组指定文件的域名以及前L组指定文件的域名中，去除重复的域名后得到的域名，作为待缓存的域名。

步骤104、发送待缓存的域名。

在本步骤中，可以将确定出的所述待缓存的域名发送给网页缓存服务器，指示网页缓存服务器缓存接收到的域名中的数据资源。具体的，可以指示网页缓存服务器在接收到的域名中的数据资源为静态数据资源时，开启针对该域名中的数据资源的缓存功能，在接收到的域名中的数据资源为动态数据资源时，开启针对该域名中的数据资源的代理功能。

在网页缓存服务器缓存数据资源之后，本发明实施例还可以进一步包括以下步骤：

步骤105、接收并发送映射关系。

在本步骤中，可以接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系，并将该映射关系发送给DNS服务器，指示DNS服务器将接收到的映射关系写入自身缓存，以便DNS服务器在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

根据本发明实施例一提供的方案，实现了网站中资源最多、需求最高、本地用户感知最差等需要进行缓存的域名资源的定位，大大提高了缓存数据资源的有效性。同时，实现用户通过DNS服务器反馈的IP地址直接访问网页缓存服务器，也可以有效解决现有的DNS劫持方式实现缓存域名服务，容易产生正常DNS解析结果反馈时间早于DNS劫持报文的反馈时间，导致网页缓存系统不可服务；DNS forward方式实现缓存域名服务，当采用泛域名的DNSforward应用时，没有被网页缓存系统提供服务的域名也会被转发至网页缓存系统，网页缓存系统要么不为其提供服务，超时后由Local DNS提供服务，会加大DNS的解析时间；网页缓存系统要么代理Local DNS进行解析服务，使得代理解析的DNS服务器的解析策略与LocalDNS的解析策略会有一定矛盾；策略路由方式实现缓存域名服务，需在城域网核心路由器配置策略路由，增大网络维护及故障排查难度；策略路由链路故障时无法发现，容易导致业务流量丢失；当配置策略路由的路由器发生故障时，没有任何办法能够导致大批域名资源无法被访问到的风险问题，规避了DNS劫持、DNS forward和策略路由三种网页缓存实现方式的弊端，提高了缓存数据资源的可服务性并减少了系统的风险。并且，通过本发明实施例一提供的方案，还可以对需要缓存的数据资源进行实时动态调整，进一步提高缓存的数据资源的可用性。

与本发明实施例一基于同一发明构思，本发明实施例二和实施例三提供以下的装置和系统。

实施例二、

本发明实施例二提供一种缓存数据资源的装置，该装置可以集成在服务器中，该装置的结构可以如图6所示，包括：

下载测试模块11用于确定一个网站中待进行下载测试的网页；对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息；

域名确定模块12用于将具有相同域名的指定文件划分为一组，并确定提供该组指定文件的服务器归属的运营商；确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名；

发送模块13用于将确定出的所述待缓存的域名发送给网页缓存服务器，指示网页缓存服务器缓存接收到的域名中的数据资源。

域名确定模块12具体用于在每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数时，根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数；根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名。

所述装置还包括接收模块14：

接收模块14用于接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系；

所述发送模块13还用于将所述接收模块接收到的所述映射关系发送给DNS服务器，指示DNS服务器将接收到的映射关系写入自身缓存，以便DNS服务器在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

所述下载测试模块11具体用于根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符URL，对所述URL对应的数据资源中的页面文件进行下载测试，以及对所述URL对应的数据资源中的每个内嵌文件进行下载测试。

所述域名确定模块12用于根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名，具体为，确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；将确定出的前M组指定文件的域名、前N组指定文件的域名以及前L组指定文件的域名中，去除重复的域名后得到的域名，作为待缓存的域名。

当然，实施例二提供的装置还可以进一步拆分为多个装置。下面以将实施例二提供的装置拆分为两个装置：流量调度装置和资源探测装置（即分别集成在不同的服务器中），将下载测试模块的功能单独由资源探测装置为例进行说明。

流量调度装置，除了包括上述缓存数据资源的装置包括的域名确定模块12、发送模块13和接收模块14及其原有的功能之外：

流量调度装置包括的发送模块，还可以用于向资源探测装置发送需要进行数据资源缓存的网站列表；

资源探测装置，除了包括上述缓存数据资源的装置包括的下载测试模块11及其原有的功能之外：

还可以包括接收模块，用于接收流量调度装置发送的所述网站列表；

下载测试模块，具体用于针对所述网站列表中的每个网站，对该网站中的网页进行下载测试。并可以将进行下载测试确定出的每组指定文件的信息发送给流量调度装置，使得流量调度装置的域名确定模块可以根据该信息来确定待缓存的域名。

实施例三、

本发明实施例三提供一种缓存数据资源的系统，该系统的结构可以如图7所示，包括：包括所述缓存数据资源的装置的服务器21和网页缓存服务器22，其中：

包括所述缓存数据资源的装置的服务器21用于确定一个网站中待进行下载测试的网页；对每个网页的指定文件进行下载测试，其中，每个网页的指定文件包括页面文件和内嵌文件，确定每个指定文件的下载信息，每个指定文件的下载信息包括该指定文件对应的域名，提供该指定文件的服务器归属的运营商以及该指定文件的下载属性信息；将具有相同域名的指定文件划分为一组，并确定提供该组指定文件的服务器归属的运营商；确定域名所关联的服务器归属的运营商非指定运营商的每组指定文件，并根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名；将确定出的所述待缓存的域名发送给网页缓存服务器；

所述网页缓存服务器22用于缓存接收到的域名中的数据资源。

包括所述缓存数据资源的装置的服务器21具体用于在每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数时，根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数；根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名。

所述网页缓存服务器22具体用于在接收到的域名中的数据资源为静态数据资源时，开启针对该域名中的数据资源的缓存功能，在接收到的域名中的数据资源为动态数据资源时，开启针对该域名中的数据资源的代理功能。

所述系统还包括DNS服务器23：

包括所述缓存数据资源的装置的服务器21还用于接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系，并将该映射关系发送给所述DNS服务器；

所述DNS服务器23用于将接收到的映射关系写入自身缓存，并在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

具体的，所述DNS服务器23可以将接收到的所述映射关系写入缓存，并向所述缓存数据资源的装置反馈映射关系写入缓存完成的信息。在接收到用户访问所述待缓存的域名的访问请求时，将所述网页缓存服务器IP地址反馈给用户。

包括所述缓存数据资源的装置的服务器21具体用于根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符URL，对所述URL对应的数据资源中的页面文件进行下载测试，以及对所述URL对应的数据资源中的每个内嵌文件进行下载测试。

包括所述缓存数据资源的装置的服务器21具体用于确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；将确定出的前M组指定文件的域名、前N组指定文件的域名以及前L组指定文件的域名中，去除重复的域名后得到的域名，作为待缓存的域名。

当然，所述系统还包括提供各内嵌文件和页面文件的数据资源服务器24，包括所述缓存数据资源的装置的服务器21从各数据资源服务器24进行内嵌文件和页面文件的下载，实现对内嵌文件和页面文件的下载测试。

下面通过一个具体的实例对本发明实施例一~三的方案进行说明。

实施例四、

本发明实施例四提供一种缓存数据资源的方法，以缓存数据资源的装置包括流量调度装置（集成在的服务器可以以流量调度服务器标识）和资源探测装置（集成在的服务器可以以资源探测服务器标识）为例，该方法的步骤流程可以如图8所示，包括：

步骤201、流量调度装置发送网站列表。

在本步骤中，流量调度装置（即流量调度服务器）可以向资源探测装置（即资源探测服务器）发送需要进行数据资源缓存的网站列表。

步骤202、资源探测装置确定下载测试规模。

在本步骤中，资源探测装置针对网站列表中的每个网站，确定预先设定的下载测试网页数量和/或网页级别。

步骤203、资源探测装置获取网页URL。

在本步骤中，资源探测装置针对一个网站预先设定的下载测试网页数量和/或网页级别，可以确定对应的网页URL。

步骤204、资源探测装置进行下载测试，获得相关信息。

在本步骤中，资源探测装置可以根据确定出的URL，从对应的数据资源服务器对所述URL对应的数据资源中的页面文件和内嵌文件进行下载测试。

并可以将具有相同域名的指定文件划分为一组，针对划分出的每一组指定文件，根据该组指定文件中每个指定文件的下载信息，确定提供该组指定文件的服务器归属的运营商，该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数。

步骤205、资源探测装置反馈信息。

在本步骤中，资源探测装置可以向流量调度装置反馈获得的每组指定文件的信息。

步骤206、流量调度装置决策待缓存的域名。

在本步骤中，流量调度装置可以针对域名所关联的服务器归属的运营商非指定运营商的每组指定文件，分别按照下载容量、下载速度和已下载次数进行排名，并按照由高到低的顺序分别取前M、N、L组指定文件的域名，将M、N、L组指定文件的域名中重复的域名去除，即可以得到待缓存的域名。

步骤207、流量调度装置下发域名。

在本步骤中，流量调度装置可以将确定出的所述待缓存的域名发送给网页缓存服务器。

步骤208、网页缓存服务器开启缓存或代理功能。

网页缓存服务器在接收到的域名中的数据资源为静态数据资源时，开启针对该域名中的数据资源的缓存功能，在接收到的域名中的数据资源为动态数据资源时，开启针对该域名中的数据资源的代理功能。

步骤209、网页缓存服务器上报映射关系。

在本步骤中，网页缓存服务器所述待缓存的域名与网页缓存服务器IP地址的映射关系上报给流量调度装置。

步骤210、流量调度装置下发映射关系。

在本步骤中，流量调度装置可以将所述映射关系下发给DNS服务器。

步骤211、DNS服务器写缓存。

在本步骤中，DNS服务器可以将接收到的所述映射关系写入自身的缓存。

步骤212、DNS服务器反馈信息。

在本步骤中，DNS服务器向所述流量调度装置反馈映射关系写入缓存完成的信息。

步骤213、DNS服务器反馈IP地址。

在本步骤中，DNS服务器在接收到用户访问所述待缓存的域名的访问请求时，将所述网页缓存服务器IP地址反馈给用户。用户可以根据该IP地址直接访问网页缓存服务器。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种缓存数据资源的方法，其特征在于，所述方法包括：

确定一个网站中待进行下载测试的网页；

2.如权利要求1所述的方法，其特征在于，每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数；

根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的域名是否为待缓存的域名，具体包括：

根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数；

3.如权利要求1或2所述的方法，其特征在于，指示网页缓存服务器缓存接收到的域名中的数据资源，具体包括：

指示网页缓存服务器在接收到的域名中的数据资源为静态数据资源时，开启针对该域名中的数据资源的缓存功能，在接收到的域名中的数据资源为动态数据资源时，开启针对该域名中的数据资源的代理功能。

4.如权利要求1或2所述的方法，其特征在于，将确定出的所述待缓存的域名发送给网页缓存服务器之后，所述方法还包括：

接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系，并将该映射关系发送给DNS服务器，指示DNS服务器将接收到的映射关系写入自身缓存，以便DNS服务器在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

5.如权利要求1或2所述的方法，其特征在于，确定一个网站中待进行下载测试的网页，具体包括：

根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符URL；

对每个所述网页的页面文件进行下载测试，具体包括：

对所述URL对应的数据资源中的页面文件进行下载测试；

对每个所述网页中的每个内嵌文件进行下载测试，具体包括：

对所述URL对应的数据资源中的每个内嵌文件进行下载测试。

6.如权利要求2所述的方法，其特征在于，根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名，具体包括：

确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；

7.一种缓存数据资源的装置，其特征在于，所述装置包括：

8.如权利要求7所述的装置，其特征在于，域名确定模块，具体用于在每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数时，根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数；根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名。

9.如权利要求7或8所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系；

所述发送模块，还用于将所述接收模块接收到的所述映射关系发送给DNS服务器，指示DNS服务器将接收到的映射关系写入自身缓存，以便DNS服务器在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

10.如权利要求7或8所述的装置，其特征在于，所述下载测试模块，具体用于根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符URL，对所述URL对应的数据资源中的页面文件进行下载测试，以及对所述URL对应的数据资源中的每个内嵌文件进行下载测试。

11.如权利要求8所述的装置，其特征在于，所述域名确定模块，用于根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名，具体为，确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；将确定出的前M组指定文件的域名、前N组指定文件的域名以及前L组指定文件的域名中，去除重复的域名后得到的域名，作为待缓存的域名。

12.一种缓存数据资源的系统，其特征在于，所述系统包括：包括如权利要求7~11任一所述的缓存数据资源的装置的服务器和网页缓存服务器，其中：

13.如权利要求12所述的系统，其特征在于，包括所述缓存数据资源的装置的服务器，具体用于在每个指定文件的下载属性信息包括该指定文件的下载容量、下载该指定文件占用的时间，以及该指定文件的已下载次数时，根据该组指定文件中每个指定文件的下载属性信息，确定该组指定文件的下载容量、下载该组指定文件的下载速度，以及该组指定文件的已下载次数；根据该组指定文件的下载容量，下载该组指定文件的下载速度，以及该组指定文件的已下载次数中的至少一项，确定该组指定文件的域名是否为待缓存的域名。

14.如权利要求12或13所述的系统，其特征在于，所述网页缓存服务器，具体用于在接收到的域名中的数据资源为静态数据资源时，开启针对该域名中的数据资源的缓存功能，在接收到的域名中的数据资源为动态数据资源时，开启针对该域名中的数据资源的代理功能。

15.如权利要求12或13所述的系统，其特征在于，所述系统还包括DNS服务器：

包括所述缓存数据资源的装置的服务器，还用于接收网页缓存服务器上报的所述待缓存的域名与网页缓存服务器IP地址的映射关系，并将该映射关系发送给所述DNS服务器；

所述DNS服务器，用于将接收到的映射关系写入自身缓存，并在接收到用户访问所述待缓存的域名的访问请求时，将写入缓存的所述网页缓存服务器IP地址反馈给用户。

16.如权利要求12或13所述的系统，其特征在于，包括所述缓存数据资源的装置的服务器，具体用于根据预先设定的下载测试网页数量和/或网页级别，确定所述网站中待进行下载测试的网页的统一资源定位符URL，对所述URL对应的数据资源中的页面文件进行下载测试，以及对所述URL对应的数据资源中的每个内嵌文件进行下载测试。

17.如权利要求13所述的系统，其特征在于，包括所述缓存数据资源的装置的服务器，具体用于确定下载容量由高到低的前M组指定文件的域名，下载速度由高到低的前N组指定文件的域名，以及已下载次数由高到低的前L组指定文件的域名，所述M、N、L均为整数；将确定出的前M组指定文件的域名、前N组指定文件的域名以及前L组指定文件的域名中，去除重复的域名后得到的域名，作为待缓存的域名。