CN103841045B - 一种互联网缓存处理方法、内容探测子系统和Cache系统 - Google Patents

Abstract

本发明公开了一种互联网缓存处理方法、内容探测子系统和Cache系统，其中，该方法包括：获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；根据质量探测任务列表，对网站的状态及质量进行探测；对探测结果进行统计分析，根据统计分析结果对所述网站进行缓存处理。本发明的互联网缓存处理方法、内容探测子系统和Cache系统，根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

Description

一种互联网缓存处理方法、内容探测子系统和Cache系统

技术领域

本发明涉及通信领域中数据业务技术领域，具体地，涉及互联网缓存处理方法、内容探测子系统和Cache系统。

背景技术

互联网内容缓存系统部署于IP承载网络中，存储互联网中的热点或特定内容，并引导用户的访问请求转发到系统中，当请求内容访问命中，内容缓存系统直接将本地缓存的web数据返回给用户，从而降低客户访问互联网的时延，提升用户访问速度和业务质量、解决互联网出口的拥挤问题，从技术上解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题，增强用户的数据业务体验；同时也可以降低因网间流量产生的网间数据流量结算费用。

如图1所示，现有的内容缓存系统主要由3部分组成，包括重定向子系统（Redirector）、缓存子系统和管理子系统。

重定向子系统：包括深度包解析功能和全局负载均衡功能。

深度包解析功能：对链路中用户发出的内容查询报文和内容请求报文进行监测，将符合特定规则的数据报文转发至全局负载均衡功能；

全局负载均衡功能：处理由深度包解析功能转发的用户请求数据报文，根据缓存子系统的状态和IP地址配置情况，生成重定向消息并发送至用户终端，对用户的请求进行引导。

缓存子系统：包括负载均衡功能和缓存服务功能。

负载均衡功能：对互联网流量和内容进行管理分配，提供多种负载均衡算法将数据流量转发到服务器组。

缓存服务功能：通过缓存策略存储Internet网络资源，响应用户请求，对于命中的内容直接向用户提供服务。

管理子系统：包括网络管理功能和系统管理功能，管理子系统用以提供各节点缓存系统各功能实体的参数配置等功能。具体功能如下：

系统配置：对系统的工作模式、参数、策略进行配置管理，可以依据用户、URL等维度实施区分处理，支持对缓存内容的监管配置管理，提供热点管理相关策略等参数的配置。

报表日志：对监控产生的各种数据进行记录和分析，自动生成常规报表和个性化报表，支撑各类分析管理需要；

告警管理：对系统中产生的告警信息进行统一收集，根据告警级别调用相应的策略进行处理。

运营商在网络中广泛部署了内容缓存系统（以下简称Cache系统），对网内用户访问互联网提供内容的缓存、加速服务。Cache系统对于互联网内容通常采用配置域名白名单和黑名单机制提供服务，即对于所有白名单内的域名进行缓存加速服务，对于黑名单内的域名不进行缓存加速服务。白名单和黑名单为管理维护人员根据手工配置维护，根据用户投诉慢、网站访问数量增大等因素判断某个网站应当进行加速时，由管理人员手工将对应的域名配置到Cache系统的白名单中。

由于白名单、黑名单均为手工方式配置，带来的运行成本较高，对用户的需求响应速度慢，无法实现网站的自动配合和选择性加速。在部分网站出现访问质量问题，如因网站硬件资源或链路问题导致访问速度慢、可用性低、无法访问等场景下，或者由于用户至源站点之间的网络条件限制导致的访问速度慢，Cache系统不能做到及时发现、及时更新，也无法及时为这类服务提供服务。

发明内容

本发明是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本发明的一个方面，提出一种互联网缓存处理方法。

根据本发明实施例的互联网缓存处理方法，包括：

获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；

根据质量探测任务列表，对网站的状态及质量进行探测；

对探测结果进行统计分析，根据统计分析结果对所述网站进行缓存处理。

本发明是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本发明的另一个方面，提出一种内容探测子系统。

根据本发明实施例的内容探测子系统，包括：

任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；

状态探测模块，用于根据所述质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块，用于对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理。

本发明是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本发明的另一个方面，提出一种Cache系统。

根据本发明实施例的Cache系统，包括重定向子系统、缓存子系统、管理子系统和内容探测子系统：

重定向子系统，用于深度包解析和全局负载均衡；

缓存子系统，用于负载均衡和缓存服务；

管理子系统，用于网络管理和系统管理，提供各节点缓存系统各功能实体的参数配置；

内容探测子系统包括：

任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；

状态探测模块，用于根据质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块，用于对探测结果进行统计分析，根据统计分析结果对网站进行缓存处理。

本发明的互联网缓存处理方法、内容探测子系统和Cache系统，通过主动获取可缓存的互联网内容及业务系统域名相关的全量信息并生成网站的质量探测任务列表，根据该质量探测任务列表对网站的状态及质量进行探测，如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理；根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为现有技术中内容缓存系统的逻辑架构示意图；

图2为本发明引入内容探测子系统的Cache系统的逻辑架构示意图；

图3为本发明面向互联网内容的缓存处理方法实施例1的流程图；

图4为本发明面向互联网内容的缓存处理方法实施例2的流程图；

图5为本发明面向互联网内容的缓存处理方法实施例3的流程图；

图6为本发明内容探测子系统实施例的结构示意图；

图7为本发明Cache系统实施例的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

本发明通过在内容缓存系统中增加对应的功能模块，同时引入内容的探测机制和缓存策略动态调整方法，实现内容缓存系统对于互联网内容的主动探测及缓存内容的动态调整，解决现有内容缓存系统因手工配置而带来的运维复杂度提升及响应速度慢等问题，实现最优化的互联网内容缓存与加速，对于提升Cache系统的加速效率和改善用户体验等具有重要的价值。

如图2所示，本发明在原有的Cache系统中新增内容探测子系统，包括四个功能模块：

任务管理模块：提取缓存配置数据库中包含的全量互联网域名信息，对域名信息进行管理，并将每一个域名信息作为独立任务进行管理，对于设定的任务，应将任务传送至状态探测模块。

状态探测模块：负责接收任务管理模块提交的各项探测任务，对每个域名发起主动的状态探测请求。状态探测方式包括但不限于DNS解析、Ping、HTTP GET、TraceRout等，通过探测可以获知对应的业务系统的服务质量，并将探测结果通过内部接口发送至统计分析模块。

统计分析模块：统计分析功能模块接收状态探测模块获取的探测结果，并对结果进行实时分析与判断。判断依据包括但不限于如下维度：

服务器是否部署于某个运营商的网络内部；

服务器归属于哪个IP地址段，对应的地理位置信息；

服务质量是否满足一定要求，例如端到端时延、丢包、时延、路由跳数等；

根据预设定的阈值及策略，如果探测到某域名满足特定的条件，则将该域名通过接口发送至缓存配置数据库，重新设置此类网站的服务开关。例如：

访问质量低于设定阈值的网站，将其加入缓存白名单，由Cache系统对该网站进行加速；

访问质量高于设定阈值的网站，将其移除缓存白名单，不对该网站进行加速；

判定服务端部署于某网络外部，将其加入缓存白名单，由Cache系统对该网站进行加速；

判定服务端部署于某网络内部，将其移除缓存白名单，不对该网站进行加速。

数据管理模块：用于管理包括重定向子系统、缓存子系统中与重定向、缓存、存储、安全相关的所有参数配置信息。与本发明相关的白名单配置、黑名单配置、服务域名相关信息等。

如图3所示，本发明提出了一种面向互联网内容的缓存处理方法实施例1，具体实现步骤如下：

步骤301：任务管理模块从缓存配置数据库中读取缓存配置相关信息，从而获取可缓存的互联网内容及业务系统域名相关的全量信息；

步骤303：任务管理模块根据上述全量信息生成当前网站的质量探测任务列表，并将质量探测任务列表下发至状态探测模块；

步骤305：状态探测模块根据下发的质量探测任务列表，以特定周期或者规则对网站的状态及质量进行探测；

步骤307：状态探测模块将探测得到的结果实时提交至统计分析模块；

步骤309：统计分析模块根据定义的策略和阈值对质量探测结果进行统计与分析；

步骤311：当满足策略设定的条件时触发白名单配置，触发向缓存配置数据库的写操作，包含将白名单内的某个域名移出白名单，以及将新域名加入白名单；

其中，将白名单内的某个域名移出白名单具体包括：

如果某个内容为互联网数据中心（International Data Corporation，以下简称IDC）已引入的内容，但当前该内容所处的当前网站的服务质量较高，如访问速度快时，此时可以将该内容的域名移出白名单，用户直接通过该内容的域名访问IDC引入的内容；

如果某个内容已经被相邻地区的Cache系统引入，此时可以将该内容的域名移出白名单，由相邻地区的Cache系统提供内容，而本地的Cache系统提供更加热点内容的缓存加速服务。

将新域名加入白名单具体包括：

如果某个内容已经引入IDC，该内容的域名原来不在白名单内，但当监测到该内容所处的当前网站已经出现服务质量不佳，如访问速度慢的情况时，此时主动将该内容的域名加入白名单，由本地的Cache系统提供缓存服务。

步骤313：缓存配置数据库中的配置更新后，数据管理模块主动同步至重定向子系统，重定向子系统刷新内部的黑白名单配置。

如图4所示，本发明提出了一种面向互联网内容的缓存处理方法实施例2，在本实施例中，原来内容缓存系统对某网站提供缓存加速服务，当缓存策略刷新后，如果判断该网站的访问质量可以满足要求或该网站已经更新为网内资源，如网站的访问速度较快等，则Cache系统将该网站的域名从白名单中移除，对该网站不进行缓存加速处理。具体实现步骤如下：

步骤401：用户向重定向子系统发送DNS（Domain Name System，域名系统）解析请求；

步骤403：重定向子系统向用户发送DNS重定向响应；

步骤405：用户向缓存子系统发送HTTP（Hyper Text Transfer Protocol，超文本传输协议）请求；

步骤407：缓存子系统向业务系统转发用户的HTTP请求；

步骤409：业务系统向缓存子系统发送HTTP响应；

步骤411：缓存子系统向用户发送HTTP响应；

步骤413：内容探测子系统进行缓存策略动态调整；

其中，缓存策略动态调整包括：

加入白名单：将域名信息写入白名单数据，Cache系统重新加载白名单，白名单在本地生效；

删除白名单：将域名信息从白名单数据中删掉，Cache系统重新加载白名单，更新后的白名单在本地生效。

步骤415：用户按照现有的正常流程进行DNS解析请求；

步骤417：用户从原网站获取到真实的DNS解析响应；

步骤419：用户向原网站发起HTTP请求；

步骤421：用户直接从原网站获取内容。

如图5所示，本发明提出了一种面向互联网内容的缓存处理方法实施例3，在本实施例中，原来内容缓存系统对某网站不提供缓存加速服务，当缓存策略刷新后，则Cache系统将该网站的域名加入到白名单，对该网站启动缓存加速处理。具体实现步骤如下：

步骤501：用户按照现有的正常流程向业务系统发送DNS解析请求；

步骤503：用户从原网站获取真实的DNS解析响应；

步骤505：用户向原网站发起HTTP请求；

步骤507：用户直接从原网站获取业务内容；

步骤509：内容探测子系统进行缓存策略动态调整；

步骤511：用户向重定向子系统发起DNS解析请求；

步骤513：重定向子系统向用户发送DNS重定向响应；

步骤515：用户向缓存子系统发送HTTP请求；

步骤517：缓存子系统向业务系统转发用户的HTTP请求；

步骤519：业务系统向缓存子系统发送HTTP响应；

步骤521：缓存子系统向用户转发HTTP响应。

本发明的互联网缓存处理方法，通过主动获取可缓存的互联网内容及业务系统域名相关的全量信息并生成网站的质量探测任务列表，根据该质量探测任务列表对网站的状态及质量进行探测，如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理；根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

如图6所示，为本发明内容探测子系统实施例的结构示意图，包括：

任务管理模块100，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；

状态探测模块200，用于根据质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块300，用于对探测结果进行统计分析，根据统计分析结果对网站进行缓存处理。

其中：

统计分析模块300包括：

质量判断子模块310，用于判断网站的访问质量是否满足要求或是否已更新为网内资源；

缓存处理子模块320，用于根据质量判断子模块310的判断结果，对网站进行缓存加速处理：如果网站的访问质量满足要求或已更新为网内资源，则对网站不进行缓存加速处理，如果网站的访问质量不满足要求，则对网站进行缓存加速处理。

其中：

统计分析模块300进一步包括：

配置触发子模块330，用于当满足条件时触发白名单配置，触发向缓存配置数据库的写操作；

写操作包括：将白名单内的域名移出白名单，将新域名加入白名单。

配置触发子模块330包括：

内容判断单元331，用于判断某个内容是否为互联网数据中心或相邻地区的Cache系统已引入的内容；

白名单移出单元332，用于根据内容判断单元331的判断结果对内容的域名进行移出白名单的处理：如果某个内容为互联网数据中心已引入的内容，当内容所处网站的访问速度快时，将内容的域名移出白名单，通过内容的域名访问互联网数据中心引入的内容；

如果某个内容为相邻地区的Cache系统已引入的内容，将内容的域名移出白名单，由相邻地区的Cache系统提供内容。

配置触发子模块330还包括：

白名单加入模块333，用于根据内容判断单元331的判断结果对内容的域名进行加入白名单的处理：如果某个内容为互联网数据中心已引入的内容，内容的域名未在白名单内，当内容所处网站的访问速度慢时，将内容的域名加入白名单，由本地的Cache系统进行缓存加速处理。

本发明的内容探测子系统，通过主动获取可缓存的互联网内容及业务系统域名相关的全量信息并生成网站的质量探测任务列表，根据该质量探测任务列表对网站的状态及质量进行探测，如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理；根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

如图7所示，为本发明Cache系统实施例的结构示意图，包括重定向子系统、缓存子系统、管理子系统和内容探测子系统：

重定向子系统，用于深度包解析和全局负载均衡；

缓存子系统，用于负载均衡和缓存服务；

管理子系统，用于网络管理和系统管理，提供各节点缓存系统各功能实体的参数配置；

内容探测子系统包括：

任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；

状态探测模块，用于根据质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块，用于对探测结果进行统计分析，根据统计分析结果对网站进行缓存处理。

其中，上述的重定向子系统、缓存子系统、管理子系统为本发明背景技术中的现有技术。

本发明的Cache系统，在原有的Cache系统中新增内容探测子系统，通过主动获取可缓存的互联网内容及业务系统域名相关的全量信息并生成网站的质量探测任务列表，根据该质量探测任务列表对网站的状态及质量进行探测，如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理；根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

本发明能有多种不同形式的具体实施方式，上面以图2-图7为例结合附图对本发明的技术方案作举例说明，这并不意味着本发明所应用的具体实例只能局限在特定的流程或实施例结构中，本领域的普通技术人员应当了解，上文所提供的具体实施方案只是多种优选用法中的一些示例，任何体现本发明权利要求的实施方式均应在本发明技术方案所要求保护的范围之内。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种互联网缓存处理方法，其特征在于，包括：

获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；

根据所述质量探测任务列表，对网站的状态及质量进行探测；

对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理；

所述根据统计分析结果对所述网站进行缓存处理的步骤包括：

如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；

如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理。

2.根据权利要求1所述的方法，其特征在于，所述根据统计分析结果对所述网站进行缓存处理的步骤进一步包括：

当满足条件时触发白名单配置，触发向缓存配置数据库的写操作；

所述写操作包括：将白名单内的域名移出白名单，将新域名加入白名单。

3.根据权利要求2所述的方法，其特征在于，所述将白名单内的域名移出白名单的步骤包括：

如果某个内容为互联网数据中心已引入的内容，当所述内容所处网站的访问速度快时，将所述内容的域名移出白名单，通过所述内容的域名访问互联网数据中心引入的内容；

如果某个内容为相邻地区的Cache系统已引入的内容，将所述内容的域名移出白名单，由相邻地区的Cache系统提供所述内容。

4.根据权利要求2所述的方法，其特征在于，所述将新域名加入白名单的步骤包括：

如果某个内容为互联网数据中心已引入的内容，所述内容的域名未在白名单内，当所述内容所处网站的访问速度慢时，将所述内容的域名加入白名单，由本地的Cache系统进行缓存加速处理。

5.一种内容探测子系统，其特征在于，包括：

任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；

状态探测模块，用于根据所述质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块，用于对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理；所述统计分析模块包括：

质量判断子模块，用于判断网站的访问质量是否满足要求或是否已更新为网内资源；

缓存处理子模块，用于根据所述质量判断子模块的判断结果，对所述网站进行缓存加速处理：如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理，如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理。

6.根据权利要求5所述的子系统，其特征在于，所述统计分析模块进一步包括：

配置触发子模块，用于当满足条件时触发白名单配置，触发向缓存配置数据库的写操作；

所述写操作包括：将白名单内的域名移出白名单，将新域名加入白名单。

7.根据权利要求6所述的子系统，其特征在于，所述配置触发子模块包括：

内容判断单元，用于判断某个内容是否为互联网数据中心或相邻地区的Cache系统已引入的内容；

白名单移出单元，用于根据所述内容判断单元的判断结果对所述内容的域名进行移出白名单的处理：如果某个内容为互联网数据中心已引入的内容，当所述内容所处网站的访问速度快时，将所述内容的域名移出白名单，通过所述内容的域名访问互联网数据中心引入的内容；

如果某个内容为相邻地区的Cache系统已引入的内容，将所述内容的域名移出白名单，由相邻地区的Cache系统提供所述内容。

8.根据权利要求7所述的子系统，其特征在于，所述配置触发子模块还包括：

白名单加入模块，用于根据所述内容判断单元的判断结果对所述内容的域名进行加入白名单的处理：如果某个内容为互联网数据中心已引入的内容，所述内容的域名未在白名单内，当所述内容所处网站的访问速度慢时，将所述内容的域名加入白名单，由本地的Cache系统进行缓存加速处理。

9.一种Cache系统，其特征在于，包括重定向子系统、缓存子系统、管理子系统和内容探测子系统：

所述重定向子系统，用于深度包解析和全局负载均衡；

所述缓存子系统，用于负载均衡和缓存服务；

所述管理子系统，用于网络管理和系统管理，提供各节点缓存系统各功能实体的参数配置；

所述内容探测子系统包括：

任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；

状态探测模块，用于根据所述质量探测任务列表，对网站的状态及质量进行探测；

统计分析模块，用于对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理；

所述统计分析模块包括：

质量判断子模块，用于判断网站的访问质量是否满足要求或是否已更新为网内资源；

缓存处理子模块，用于根据所述质量判断子模块的判断结果，对所述网站进行缓存加速处理：如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理，如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理。