CN106790322B - 缓存策略形成方法及装置 - Google Patents

Abstract

本发明公开了一种缓存策略形成方法及装置，所述方法包括：获取指定站点或指定域名的所有网络内容的标识信息；对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

Description

缓存策略形成方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种缓存策略形成方法及装置。

背景技术

随着互联网业务的快速发展，互联网站点内容用户访问量不断增加，网络拥塞和源站服务器超载现象日益频繁突出，互联网内容缓存技术应运而生，但现有的内容缓存技术得到的缓存策略，在使用过程中发现往往到不到预期的缓存效果。

发明内容

有鉴于此，本发明实施例期望提供一种缓存策略形成方法及装置，至少部分解决达不到预期换粗效果的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种缓存策略形成方法，所述方法包括：

获取指定站点或指定域名的所有网络内容的标识信息；

对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

基于上述方案，所述获取指定站点或指定域名的所有网络内容的标识信息，包括：

探测所述指定站点或所述指定域名下的网络内容，获得第一标识信息；

筛选记录的所述指定站点或所述指定域名下的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；

合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息。

基于上述方案，所述方法还包括：

验证所述缓存策略是否有效；

若所述缓存策略无效，则调整所述缓存策略生成算法并返回所述依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略的步骤。

基于上述方案，所述验证所述缓存策略是否有效，包括：

第一验证所述缓存策略是否有效；

将第一验证有效的所述缓存策略发送给缓存系统；

获取所述缓存系统利用所述缓存系统返回的缓存状态数据；

根据所述缓存状态数据进行所述缓存策略的第二验证。

基于上述方案，所述第一验证所述缓存策略是否有效，包括：

向所述指定站点或指定域名发送访问请求；

接收基于所述访问请求获取的网络内容；

利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；

判断所述缓存结果是否达到预设缓存效果；

若所述缓存结果达到所述预设缓存效果，确定所述缓策略第一验证有效。

基于上述方案，所述获取所述缓存系统利用所述缓存系统返回的缓存状态数据，包括：

将第一验证有效的所述缓存策略发送给缓存系统；

接收所述缓存系统返回的缓存状态数据；

分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；

若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

基于上述方案，所述方法还包括：

若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。

本发明实施例第二方面还提供一种缓存策略形成装置，所述装置包括：

获取单元，用于获取指定站点或指定域名的所有网络内容的标识信息；

拨测单元，用于对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

策略生成单元，用于依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

基于上述方案，所述获取单元，具体用于探测所述指定站点或所述指定域名下的网络内容，获得第一标识信息；筛选记录的所述指定站点或所述指定域名下的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息。

基于上述方案，所述装置还包括：

验证单元，用于验证所述缓存策略是否有效；

策略调整单元，用于若所述缓存策略无效，则调整所述缓存策略生成算法并将所述缓存策略算法输入所述策略生成单元，以使所述策略生成单元依据调整后的所述缓存策略生成算法对所述指定属性信息进行处理，重新形成缓存策略。

基于上述方案，所述验证单元，具体用于第一验证所述缓存策略是否有效；将第一验证有效的所述缓存策略发送给缓存系统；获取所述缓存系统利用所述缓存系统返回的缓存状态数据；根据所述缓存状态数据进行所述缓存策略的第二验证。

基于上述方案，所述验证单元，具体用于向所述指定站点或指定域名发送访问请求；接收基于所述访问请求获取的网络内容；利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；判断所述缓存结果是否达到预设缓存效果；若所述缓存结果达到所述预设缓存效果，确定所述缓策略第一验证有效。

基于上述方案，所述验证单元，还用于将第一验证有效的所述缓存策略发送给缓存系统；接收所述缓存系统返回的缓存状态数据；分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

基于上述方案，所述获取单元，用于若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。

本发明实施例提供的缓存策略形成方法及装置，在形成缓存策略时，将获取指定站点或指定域名下所有网络内容的标识信息，基于这些标识信息获取指定属性信息，进而形成缓存策略。显然首先在本实施例中是基于所有网络内容的，是能够避免在进行缓存策略生成时部分网络内容被遗漏导致的形成的缓存策略达不到预设缓存效果的问题；同时本实施例所述缓存策略是基于站点或域名下各个网络内容进行的，操作粒度小，提高了基于缓存策略进行缓存的精确度。

附图说明

图1为本发明实施例提供的第一种缓存策略形成方法的流程示意图；

图2为本发明实施例提供的获取标识信息的流程示意图；

图3为本发明实施例提供的第二种缓存策略形成方法的流程示意图；

图4为本发明实施例提供的第一种缓存策略形成装置的结构示意图；

图5为本发明实施例提供的第二种缓存策略形成装置的结构示意图；

图6为本发明实施例提供的内容抓取单元的结构示意图；

图7为本发明实施例提供的内容分析及策略生成单元的结构示意图；

图8为本发明实施例提供的策略验证单元的结构示意图；

图9为本发明实施例提供的第三种缓存策略形成方法的流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

实施例一：

如图1所示，本实施例提供一种内容缓存策略形成及验证方法，所述方法包括：

步骤S110：获取指定站点或指定域名的所有网络内容的标识信息；

步骤S120：基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

步骤S130：依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

通过研究发现在现有缓存策略的生成过程中，仅能够获取指定站点或指定域名下的部分网络内容，从而导致在形成缓存内容时，由于缺乏部分网络内容，从而导致无法完全覆盖到用户可能请求访问的内容，从而导致生成缓存策略不能达到预期的缓存效果。在本实施例步骤S110中将首先获得所述指定站点或指定域名下的所有网络内容。这里的所述网络内容的标识信息可包括网络内容的统一资源地址等信息。本实施例中所述的指定站点或指定域名，不专指具体的某一个站点或域名，在本实施例中可认为是待确定缓存内容的站点或域名。在本实施例进行缓存策略生成时，是基于指定站点或指定域名的下的具体的每一个网络内容，显然本实施例生成的缓存策略是以站点或域名下的网络内容为缓存粒度的，相对于现有技术中以域名或以网站为缓存粒度仅能确定是否需要缓存该站点或域名的缓存策略，能够提升缓存策略在缓存过程中的精确度及缓存效果。

在步骤S120中将基于所述标识信息对所有网络内容拨测，从而获得每一个所述网络内容的指定属性信息。这里的所述拨测包括根据所述标识信息对每一个网络内容发送拨测请求，获取每一个网络内容的指定属性信息。通过所述拨测请求将可以获得缓存准许、网络协议(Internet Protocol，IP)地址、域名服务器(Domain Name Server，DNS)延时、传输控制协议(Transmission Control Protocol，TCP)延时、超文本传输协议(Hyper TextTransport Protocol，http)首个数据包延时等信息。再根据所述DNS延时及TCP延时等访问延时信息确定出所述网络内容的资源质量，根据所述IP地址可以获得资源归属的网络服务提供者(Internet Service Provider,ISP)等所述指定属性信息。当然所述指定属性信息可以包括资源质量和/或ISP，还可以包括网络内容的网络存储位置等信息，不局限于上述信息。

在步骤S130中将根据所述缓存策略生成算法对所述指定属性信息进行处理器，确定出缓存策略。此处的所述缓存策略生成算法可包括指定了所述指定属性信息对应于哪些属性值是需要缓存的内容，或对应于哪些属性值是不需要缓存的内容。这里的缓存策略可包括确定需要缓存的网络内容。这样本实施例中就完成了缓存策略的生成，在本实施例中所述缓存策略的生成是基于所有网络内容来进行处理的，显然不会存在漏缺了哪一项网络内容导致的无法预期的缓存效果，并最终使得用户在进行对应内容的访问时，因缺乏缓存导致网络延时大等不良的客户体验。显然依据本实施例所述缓存策略能够提高缓存效果及用户使用满意度。

如图2所示，在本实施例中所述步骤S110具体可包括：

步骤S111：探测所述指定站点或所述指定域名下的网络内容，获得第一标识信息；

步骤S112：筛选记录的所述指定站点或所述指定域名下的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；

步骤S113：合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息。

在本实施例中探测指定站点或指定域名下的网络内容，可能获得第一标识信息。例如利用爬虫技术探测指定站点或指定域名下的网络内容，获得探测到的网络内容的标识信息；此时获得网络内容的标识信息成为第一标识信息。在探测的过程中，为了避免出现部分网络探测不到，在本实施例中同时还会获取记录的指定站点或指定域名下的文件请求，并分析该文件请求，获得网络内容过的标识信息，这个时候的标识信息成为第二标识信息。在步骤S113中将第一标识信息和第二标识信息合并，去掉重复的标识信息，就可以得到指定站点或指定域名下所有网络内容的标识信息。

所述文件请求可为记录在外部平台中的文件请求。这的外部平台可包括深度报文解析平台或人工输入平台。故在步骤S112可包括接收所述文件请求。在本实施例中所述步骤S111和步骤S112可以没有一定的先后顺序。

作为本实施例的进一步改进，如图3所示，本实施例所述方法还包括：

步骤S140：验证所述缓存策略是否有效；

步骤S150：若所述缓存策略无效，则调整所述缓存策略生成算法，并将调整后的缓存策略算法返回给步骤S130，重新执行步骤S130。即在本实施例中所述步骤S150可包括若所述缓存策略无效，则调整所述缓存策略生成算法并返回所述依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略的步骤。

为了获得更好的缓存效果，避免缓存策略下发到缓存系统之后达不到预设缓存效果，在本实施例中首先会验证所述缓存效果是否有效，若无效则调整缓存策略生成算法返回所述步骤S120，重新形成新的缓存策略。这样缓存策略就形成了一个生成闭环，能够确保实际使用的缓存策略能够达到预设缓存效果。

在验证所述缓存策略是否有效时，可以进行第一验证、第二验证或结合第一验证和第二验证两种方式。以下分别介绍一下第一验证和第二验证。

所述第一验证可包括：

向所述指定站点或指定域名发送访问请求；

接收基于所述访问请求获取的网络内容；

利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；

判断所述缓存结果是否达到预设缓存效果；

若所述缓存结果达到所述预设缓存效果，确定所述缓策略第一验证有效。

例如，这里的判断所述缓存结果是否达到预设缓存效果可包括：判断当前缓存的缓存内容是否为指定缓存的内容，若是可认为达到所述预设缓存效果，若否则可认为没有达到所述预设缓存效果。

所述第二验证可包括：

将所述缓存策略发送给缓存系统；

接收所述缓存系统返回的缓存状态数据；

分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；

若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

本实施例中所述缓存状态数据可包括缓存系统的工作状态、工作日志等信息。该工作日志中可记录有缓存的内容的参数等信息。所述工作状态可包括缓存时缓存的数据量等。这样根据达到预设缓存效果所需缓存内容的数据量，可以确定出是否有达到预设缓存效果。当然这里仅是举例说明如何根据所述缓存状态信息确定是否预设缓存效果，实际操作过程中还有其他判断是否达到预设缓存效果的方法，在这里就不一一举例了。

在本实施例中当然可以结合第一验证和第二验证，在结合第一验证和第二验证时，可以简单的将分别执行第一验证和第二验证，这样的话，只要有一个验证没有通过，就可通过调整缓存策略生成算法返回步骤S120；此时，发送给缓存系统用于验证缓存的缓存策略可能是没有经过第一验证的。在本实施例中为了减少第二验证导致的问题，在本实施例中做了进一步改进，此时，所述步骤S140可包括：

第一验证所述缓存策略是否有效；

将第一验证有效的所述缓存策略发送给缓存系统；

获取所述缓存系统利用所述缓存系统返回的缓存状态数据；

根据所述缓存状态数据进行所述缓存策略的第二验证。

在本实施例中先进行第一验证，第一验证有效之后，发送给缓存系统进行第二验证，这样发送到缓存系统的缓存策略至少经过了第一验证，减少了缓存策略在缓存系统中使用导致的缓存达不到预设缓存效果的概率。

在本实施例中

所述方法还包括：若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。调整所述缓存策略生成算法后生成的缓存策略依然无法通过验证，可能就是在抓取网络内容的标识信息或分析过程中出现了问题，在本实施例中为了减少这种现象，将重新返回步骤S110重新执行缓存策略生成。

综合上述，本实施例提供了一种缓存策略形成方法，是基于指定站点或指定域名下所有网络内容进行的，且会对形成的缓存策略进行验证，在验证不通过时进行重复迭代处理，从而形成了一个缓存策略生成的闭环，这样形成的缓存策略大大提升了利用该缓存策略缓存达到预设缓存效果的概率，提升了缓存效果，减少了网络访问过程中因缓存效果差导致的访问延时大或访问拥堵等问题。

实施例二：

如图4所示，本实施例提供一种缓存策略形成装置，所述装置包括：

获取单元110，用于获取指定站点或指定域名的所有网络内容的标识信息；

拨测单元120，用于对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

策略生成单元130，用于依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

本实施例所述的缓存策略形成装置，可为缓存系统的组成部分或缓存系统以外的提供网络内容的网络平台的组成部分，也可以是第三方系统平台。

在本实施例所述获取单元110可包括接收接口，例如从指定站点或指定域名所在的网页发送的标识信息，或从第三方平台接收素数标识信息。

所述拨测单元120对应于通信接口及具有信息处理功能的处理器或处理电路；所述通信接口可用于向指定站点或指定域名发送拨测请求；并从指定站点或指定域名基于所述拨测请求返回的信息。所述处理器可包括中央处理器、微处理器、数字信号处理器、可编程阵列或应用处理器等结构。所述处理电路可包括专用集成电路。

所述策略生成单元130也可对应于处理器或处理电路，依据策略生成算法生成所述缓存策略。所述处理器或处理电路的结构可参见前述部分，在此就不重复了。

本实施例所述的装置，能够对指定站点或指定域名下的所有网络内容进行是否需要进行缓存，且缓存粒度为每一项网络内容，这样生成的缓存策略具有缓存效果的特点。

进一步地，所述获取单元110，具体用于探测所述指定站点或所述指定域名下的网络内容，获得第一标识信息；筛选记录的所述指定站点或所述指定域名下的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息。

在本实施例中所述获取单元110可包括能够发送拨测请求并接收拨测请求返回的第一标识信息的通信接口，还可包括能够从第三平台或本地数据库中获取所述文件请求的通信接口，还包括能够进行去重合并的信息处理结构。这里的信息处理结构同样可对应于前述的处理器或处理电路。

本实施例所述装置还包括：

验证单元，用于验证所述缓存策略是否有效；

策略调整单元，用于若所述缓存策略无效，则调整所述缓存策略生成算法并将所述缓存策略算法输入所述策略生成单元，以使所述策略生成单元依据调整后的所述缓存策略生成算法对所述指定属性信息进行处理，重新形成缓存策略。

在本实施例中所述验证单元和所述策略调整单元均可对应于处理器或处理电路。当然所述策略调整单元还可包括通信接口，该通信接口可从外设接收所述调整参数或调整后的缓存策略生成算法。所述策略调整单元还可对应于人机交互接口，用于接收操作指示，再根据所述操作指示调整所述缓存策略生成算法。

在本实施例中所述缓存策略会进行是否有效，在这里验证所述缓存策略是否有效可包括验证所述缓存策略是否满足预设缓存效果；这样能够确保被反复使用在缓存系统中的缓存策略能够达到预设缓存效果。

当然，所述验证单元，具体用于第一验证所述缓存策略是否有效；将第一验证有效的所述缓存策略发送给缓存系统；获取所述缓存系统利用所述缓存系统返回的缓存状态数据；根据所述缓存状态数据进行所述缓存策略的第二验证。

在本实施例中所述验证单元可用于进行第一验证和/或第二验证。但是在本实施例中为了进一步保证新生成的缓存策略的缓存效果，将首先被进行第一验证，通过第一验证的缓存策略发送到缓存系统试用，再根据试用中产生的缓存状态信息，进行第二验证。对所述缓存策略进行双重验证，确保所述缓存策略的缓存效果。

在进行所述第一验证时，所述验证单元，具体用于向所述指定站点或指定域名发送访问请求；接收基于所述访问请求获取的网络内容；利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；判断所述缓存结果是否达到预设缓存效果；若所述缓存结果达到所述预设缓存效果，确定所述缓策略第一验证有效。

在进行所述第二验证时，所述验证单元，还用于将第一验证有效的所述缓存策略发送给缓存系统；接收所述缓存系统返回的缓存状态数据；分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

在本实施例中所述缓存策略形成装置在生成的缓存策略没有通过验证时，就将调整缓存策略生成算法，重新缓存策略，这样本实施例所述的缓存策略形成装置就能够进行缓存策略生成、验证、调整缓存策略生成算法，返回重新生成缓存策略的环路信息处理流程，这样能够保证缓存策略尽可能打到预设缓存效果。

此外，所述获取单元110，用于若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。这样的话，获取单元110将在依据调整后的缓存策略生成算法形成的缓存策略依然验证无效，为了避免因网络内容的标识信息的获取不够全面或指定属性信息提取过程中的问题导致的无法生成理想的缓存策略，本实施例所述获取单元110将在依据调整后的缓存策略生成算法生成的缓存策略验证无效的时候，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，这样可以有更大的几率形成理想的缓存策略。

本实施例所述缓存策略形成装置，能够作为实现实施例一所述缓存策略形成方法的硬件结构，同样具有生成的缓存策略能够对每一项网络级别的缓存，且是基于所有网络内容形成的缓存策略，具有缓存效果好的特点，且具有结构简单及实现简便的特点。

以下结合上述实施例提供几个具体示例：

示例一：

如图5所示，本示例提供一种缓存策略形成装置，包括：

内容抓取单元、内容拨测单元、内容分析及策略生成单元、策略验证单元、策略下发单元及策略效果评估单元。这里的内容抓取单元相当于前述实施例中的获取单元110。这里的内容拨测单元可为前述实施例中拨测单元120的组成结构。这里的内容分析及策略生成单元可为前述实施例中策略生成单元130的组成部分。所述策略验证单元和策略效果评估单元都可为前述实施例中的验证单元的组成部分。所述策略下发单元可为与缓存系统连接的通信接口。

如图6所示，内容抓取单元可由主动探测模块、外部系统输入模块、和内容合并模块组成。主动探测模块可主动发起互联网某站点或某域名的内容探测请求，竭尽所能获取该站点或该域名下所有互联网内容的URL地址等其他信息。外部系统输入模块可通过配置过滤规则，筛选外部平台(如深度报文解析系统、人工导入等)记录的某站点或某域名下文件请求，以获取该站点或该域名下所有互联网内容的URL地址等其他信息。内容合并模块即将以上两个单元获取到的某站点或某域名的所有文件信息进行去重合并，得到两个模块输入的元素的全集作为该模块的输出结果。这里的元素可对应于前述实施例中网络内容的标识信息。

内容抓取单元，要求主动探测模块以互联网爬虫模块为核心，将爬虫模块获取的互联网站点内容以URL为索引，存储在本地；外部系统输入模块以与深度包解析系统(DPI)接口为核心，获取DPI的现网用户访问数据，以URL为索引存储在本地。之后将来自于两个模块存储的数据通过筛选索引的方式进行去重合并，得到可获取到的某站点/域名的全量元素内容。

内容拨测单元，用于获取内容抓取单元输出的某站点或某域名的全集元素列表，逐个发起拨测请求，以获取每个元素的具体属性，如缓存准许、IP地址、DNS时延、TCP时延、http首包时延等信息，用于策略生成的判断。

如图7所示，内容分析及策略生成单元可由数据预处理模块、数据过滤模块、策略算法调整模块、策略生成单元4个模块组成。数据预处理模块负责对拨测单元输出的拨测结果进行预处理，如根据资源访问时延生成资源质量、根据资源IP地址获取资源归属的ISP等；策略算法调整模块负责制定缓存策略生成的算法依据，通过该单元可设置缓存策略的判别规则；数据过滤模块负责将策略算法应用到预处理后的数据中，将计算结果提供给策略生成单元，生成相应的缓存策略。

本方案中的缓存策略除了以域名为粒度的黑白名单之外，仍支持内容元素级的缓存策略，指导缓存系统对具有相应特征的元素执行具体的缓存操作，由粗粒度的缓存策略优化为精细化的缓存运营。

如图8所示，策略验证单元主要负责验证新生成的缓存策略是否正确有效，它由测试策略下发模块、测试缓存模块、测试数据拨测模块及测试策略结果反馈模块组成。测试策略下发模块将新生成的缓存策略通过制定接口下发至测试缓存模块；测试缓存模块即为一最小化的互联网内容缓存系统，具备基本的互联网内容缓存能力，且仅为测试新增缓存策略使用。测试缓存配置生效后，使用测试数据拨测模块发起该策略对应的互联网内容的访问请求，并在测试策略结果反馈模块记录并依据一定算法判别测试缓存对该内容的缓存效果是否正确；如正确，表示该策略为有效缓存策略，可以下发至商用的缓存系统中；如不正确，则仍需重新分析错误原因或重新调整缓存策略生成算法。

为减少由于原始缓存策略生成有误，直接配置到生产环境中造成大量用户访问失败的风险，策略验证单元对生成的原始策略进行测试验证，并输出测试缓存在该缓存策略下的工作效率、用户日志等，通过整合反馈的测试结果得到测试参数，由测试参数结合下发算法决定是否最终下发至缓存系统。

策略下发单元，用于提供与缓存系统的接口，将验证后的缓存策略下发至缓存系统。

策略效果评估单元，用于提供缓存系统工作状态、日志上报等信息上传接口，并分析上传数据，根据一定算法得到缓存策略的生效情况。

示例二：

如图9所示，本示例提供一种缓存策略形成方法，包括：

步骤1：内容抓取单元将抓取某站点或某域名下元素的全集URL信息传至给内容拨测单元；

步骤2：内容拨测单元基于URL信息进行网络内容拨测，获取每个网络内容的重要属性及关键信息，将拨测结果传送至策略分析及生成单元。这里的重要属性及关键信息可为所述指定属性信息的组成部分。

步骤3：策略分析及生成单元将新生成缓存策略传送至测试验证单元，用以验证测试是否有效。

步骤4.1：若策略验证通过，将该缓存策略传送至策略下发单元；

步骤4.2：若策略验证不通过，调整策略生成算法重新生成缓存策略。

步骤4.3：若缓存策略验证还不通过，重新获取URL信息，重新生成缓存策略。

步骤5：将缓存策略下发给缓存系统；

步骤6：获取缓存工作信息判断缓存策略是否有效，具体可包括：获取缓存系统的报表及日志等缓存工作信息，并进行分析，按照一定算法得到缓存策略是否有效。

步骤7.1：如果缓存策略无效，调整策略生成算法重新生成缓存策略。这步骤7.1包括通知策略分析及生成单元重新调整生成算法，重新生成策略；

步骤7.2：若缓存策略无效，重新获取URL信息，重新生成缓存策略。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种缓存策略形成方法，其特征在于，所述方法包括：

探测指定站点或指定域名下的网络内容，获得第一标识信息；

筛选记录在外部平台中的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；

合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息；

对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

2.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

验证所述缓存策略是否有效；

若所述缓存策略无效，则调整所述缓存策略生成算法并返回所述依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略的步骤。

3.根据权利要求2所述的方法，其特征在于，

所述验证所述缓存策略是否有效，包括：

第一验证所述缓存策略是否有效；

将第一验证有效的所述缓存策略发送给缓存系统；

获取所述缓存系统利用所述缓存系统返回的缓存状态数据；

根据所述缓存状态数据进行所述缓存策略的第二验证。

4.根据权利要求3所述的方法，其特征在于，

所述第一验证所述缓存策略是否有效，包括：

向所述指定站点或指定域名发送访问请求；

接收基于所述访问请求获取的网络内容；

利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；

判断所述缓存结果是否达到预设缓存效果；

若所述缓存结果达到所述预设缓存效果，确定所述缓存策略第一验证有效。

5.根据权利要求3所述的方法，其特征在于，

所述获取所述缓存系统利用所述缓存系统返回的缓存状态数据，包括：

将第一验证有效的所述缓存策略发送给缓存系统；

接收所述缓存系统返回的缓存状态数据；

分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；

若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

6.根据权利要求2所述的方法，其特征在于，

所述方法还包括：

若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。

7.一种缓存策略形成装置，其特征在于，所述装置包括：

获取单元，用于探测指定站点或指定域名下的网络内容，获得第一标识信息；筛选记录在外部平台中的文件请求，获取所述指定站点或指定域名下的网络内容的第二标识信息；合并所述第一标识信息和所述第二标识信息，获得所述指定站点或所述指定域名下的所有网络内容的标识信息；

拨测单元，用于对基于所有网络内容的所述标识信息对所有网络内容进行拨测，获取每一个所述网络内容的指定属性信息；

策略生成单元，用于依据缓存策略生成算法对所述指定属性信息进行处理，形成缓存策略。

8.根据权利要求7所述的装置，其特征在于，

所述装置还包括：

验证单元，用于验证所述缓存策略是否有效；

策略调整单元，用于若所述缓存策略无效，则调整所述缓存策略生成算法并将所述缓存策略生成算法输入所述策略生成单元，以使所述策略生成单元依据调整后的所述缓存策略生成算法对所述指定属性信息进行处理，重新形成缓存策略。

9.根据权利要求8所述的装置，其特征在于，

所述验证单元，具体用于第一验证所述缓存策略是否有效；将第一验证有效的所述缓存策略发送给缓存系统；获取所述缓存系统利用所述缓存系统返回的缓存状态数据；根据所述缓存状态数据进行所述缓存策略的第二验证。

10.根据权利要求9所述的装置，其特征在于，

所述验证单元，具体用于向所述指定站点或指定域名发送访问请求；接收基于所述访问请求获取的网络内容；利用所述缓存策略对所述网络内容进行缓存，形成缓存结果；判断所述缓存结果是否达到预设缓存效果；若所述缓存结果达到所述预设缓存效果，确定所述缓存策略第一验证有效。

11.根据权利要求9所述的装置，其特征在于，所述验证单元，还用于将第一验证有效的所述缓存策略发送给缓存系统；接收所述缓存系统返回的缓存状态数据；分析所述缓存状态数据，判断所述缓存策略的缓存效果是都达到预设缓存效果；若所述缓存策略的缓存效果满足所述预设缓存效果，则确定缓存策略第二验证有效。

12.根据权利要求7所述的装置，其特征在于，

所述获取单元，用于若依据调整后的缓存策略生成算法生成的缓存策略验证无效，则重新获取所述指定站点或指定域名的所有网络内容的标识信息，以重新生成缓存策略。

Images