CN110661862A - 一种预热资源文件的方法和中心管理系统 - Google Patents

Abstract

本发明公开了一种预热资源文件的方法和中心管理系统，属于网络通信技术领域。所述方法包括：根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。采用本发明，可以降低CDN集群的中间节点的带宽成本。

Description

一种预热资源文件的方法和中心管理系统

技术领域

本发明涉及网络通信技术领域，特别涉及一种预热资源文件的方法和中心管理系统。

背景技术

在CDN集群中，数据资源大多预先部署在相对于源站、距离用户终端更近的边缘节点上。当用户终端需要获取数据资源时，可以以更短的时间从附近的边缘节点处进行下载，从而达到加速访问网络的效果。

现有CDN集群的网络架构中普遍添加有中间节点，中间节点部署于边缘节点和源站之间，用于缓存源站的数据资源，从而降低源站的带宽压力。具体来说，边缘节点在接收到用户终端的资源获取请求时，如果本地未存储有相应的数据资源，边缘节点则可以从其对应的中间节点处获取该数据资源，而无需回溯到源站去下载数据资源。在中间节点的缓存文件过期或者不存在的时候，中间节点可以回源站获取相应的缓存文件，并将缓存文件传输给边缘节点，同时在本地进行缓存，以供后续其他边缘节点下载。

目前中间节点的带宽计费方式大多是按照带宽峰值进行计费，即以实际的带宽峰值为标准选取一个计费带宽值(如选取第4高的带宽峰值、或者选取带宽峰值的95％)，然后基于该计费带宽值进行带宽计费。对于CDN厂家而言，引入了中间节点意味着更高的带宽成本，因此在竞争激烈的CDN市场中，如何有效降低中间节点所产生的带宽成本已成为领域内的关键问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种预热资源文件的方法和中心管理系统。所述技术方案如下：

第一方面，提供了一种预热资源文件的方法，所述方法包括：

根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；

在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。

第二方面，提供了一种中心管理系统，所述中心管理系统应用于CDN集群，所述中心管理系统，用于：

根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；

在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，根据目标中间节点的历史带宽数据，确定目标中间节点的带宽低谷期；在目标中间节点的带宽低谷期内，在目标中间节点对应的边缘节点上预先缓存资源文件。这样，中心管理系统利用用户访问习惯和中间节点的计费规则，在中间节点的带宽低谷期内，提前在边缘节点上缓存资源文件，从而使得在带宽高峰期内，边缘节点的资源命中率增高，回中间节点的流量减少，进而可以降低中间节点的带宽峰值和计费带宽值，最终达到降低中间节点的带宽成本的目的。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种CDN集群的网络框架图；

图2是本发明实施例提供的一种预热资源文件的方法流程示意图；

图3是本发明实施例提供的一种中间节点的带宽消耗曲线示意图：

图4是本发明实施例提供的一种中间节点的带宽消耗曲线示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种预热资源文件的方法，该方法的执行主体可以是CDN集群的中心管理系统，如图1所示，中心管理系统可以用于对用户的业务请求、节点的负载均衡、资源的缓存状态进行统一的管理和调度。中心管理系统至少可以包括负载均衡层、HTTP调度层、资源管理层等多部分，其中，负载均衡层可以用于响应用户的DNS解析请求，以将用户的资源获取请求引导至HTTP调度层；HTTP调度层可以基于接收到的资源获取请求，为用户分配提供CDN加速服务的边缘节点；资源管理层可以用于对CDN集群中各节点上的数据资源进行管理，包括对资源文件的缓存、删除和更新等处理。本实施例以整体的中心管理系统作为执行主体进行说明，必要处会对中心管理系统内各部分间信息交互作具体介绍。图1所示的中心管理系统的内部结构仅为一种可行的划分方式，在不同的实施例下，中心管理系统的功能基本一致，而具体结构划分可以视不同的需求而定。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，根据目标中间节点的历史带宽数据，确定目标中间节点的带宽低谷期。

在实施中，中心管理系统可以对CDN集群中各中间节点的带宽数据进行监控和记录，并基于中间节点上的带宽数据对中间节点进行调控和管理。具体的，中间节点在运行过程中，主要用于接收边缘节点的资源获取请求，然后根据本地资源的存储情况，对资源获取请求进行响应或者回源下载相关数据资源。在上述过程中，中间节点上将消耗大量的带宽资源，中心管理系统可以对中间节点的带宽资源消耗情况进行记录，生成中间节点的历史带宽数据。进而，以目标中间节点为例，中心管理系统可以根据目标中间节点的历史带宽数据，确定出目标中间节点的带宽低谷期，即消耗的带宽资源较低的时段。例如，如图3所示的中间节点的带宽消耗曲线，其中横轴为时刻，纵轴为带宽消耗量，基于预设标准(如选取带宽消耗低于预设阈值，或带宽消耗小于带宽峰值的70％)，可以将一天内13:00-17:00、2:00-7:00等多个时段确定为带宽低谷期。

可以理解，受用户上网行为的影响，不同中间节点的带宽低谷期可以不同，同一中间节点在不同时期(如月份、季度)内的带宽低谷期也可以不同，故而，中心管理系统可以优选地在每天0:00时刻，根据目标中间节点的前一天或多天的历史带宽数据，确定当天目标中间节点的带宽低谷期。当然，中间节点的带宽低谷期也可以直接由技术人员人工输入中心管理系统。

步骤202，在目标中间节点的带宽低谷期内，在目标中间节点对应的边缘节点上预先缓存资源文件。

其中，若当边缘节点A需要获取新的数据资源时，边缘节点A向目标中间节点发送相应的资源获取请求，则边缘节点A即为目标中间节点对应的边缘节点。

在实施中，中心管理系统在确定了目标中间节点的带宽低谷期后，可以在目标中间节点的带宽低谷期内，在目标中间节点对应的边缘节点上预先缓存资源文件。具体的，中心管理系统中的资源管理层可以通过向目标中间节点发送资源分发指令的方式，触发目标中间节点主动向边缘节点发送相关资源文件的处理；或者，中心管理系统中的资源管理层可以通过向目标中间节点对应的边缘节点发送资源获取指令的方式，触发边缘节点主动从目标中间节点处请求相关资源文件的处理。可以理解，由于中间节点的带宽计费方式是基于一个计费周期内的带宽峰值选取计费带宽值，再以计费带宽值为标准进行计费，故而在带宽低谷期对边缘节点进行资源文件的预先缓存，一方面中间节点在带宽低谷期内的带宽消耗很难达到带宽峰值，另一方面可以减少带宽高峰期内边缘节点向中间节点请求数据资源的流量，即降低带宽峰值，这样可以有效降低计费带宽值，从而降低中间节点的带宽成本。

值得一提的是，在边缘节点上预热文件会导致边缘节点上流入带宽的增加，因此在带宽低谷期内进行文件预热，可以降低边缘节点因流入带宽过高而产生额外的带宽费用。同时由于带宽的计费方式是选取流出带宽和流入带宽二者的较高值进行计费，而边缘节点上的流入带宽一般远小于流出带宽，故而上述文件预热处理在降低了中间节点的带宽成本的同时，也不会造成边缘节点的带宽成本增加。

参考图4所示的中间节点的带宽消耗图，利用带宽低谷期在边缘节点上预热资源文件，等同于将中间节点在带宽高峰期内的部分流量调度至带宽低谷期，从而可以降低中间节点在带宽高峰期的带宽峰值，以及中间节点的带宽成本。

可选的，预热资源文件的触发机制多种多样，如下给出了2种可行的方式：

方式一，周期性根据预设的资源预热条件确定待添加文件，并在目标中间节点对应的边缘节点上缓存待添加文件。

其中，资源预热条件可以是预先设置在中心管理系统中的资源筛选条件，用于筛选需要在边缘节点上进行预热的资源文件，如可以是资源的访问次数大于预设数值，或可以是属于资源提供方指定的数据资源等。

在实施中，在目标中间节点的带宽低谷期内，中心管理系统可以周期性地根据预设的资源预热条件确定待添加文件，如可以每隔1小时确定一次是否出现新的符合资源预热条件的资源文件，如果出现，则可以将该资源文件确定为待添加文件。之后，中心管理系统可以在目标中间节点对应的边缘节点上缓存上述待添加文件。这样，按照预设周期在边缘节点上统一缓存资源文件，可以一定程度上减少缓存次数，节省设备处理资源。

方式二，当检测到满足预设的资源预热条件的目标资源文件时，在目标中间节点对应的边缘节点上缓存目标资源文件。

在实施中，在目标中间节点的带宽低谷期内，中心管理系统可以基于预设的资源预热条件对所有资源文件进行实时检测。当检测到满足预设的资源预热条件的目标资源文件时，中心管理系统可以在目标中间节点对应的边缘节点上缓存上述目标资源文件。这样，当出现满足资源预热条件的资源文件时，可以及时对其进行缓存，有效避免在边缘节点上缓存资源文件时出现遗漏的情况。

可选的，可以预先在边缘节点上缓存热门资源文件，相应的，步骤202的处理可以如下：根据用户的历史资源获取请求，确定热门资源文件；在目标中间节点对应的边缘节点上预先缓存热门资源文件。

在实施中，当用户通过终端访问某个域名时，终端可以向DNS系统发送相应的DNS解析请求。如果该域名开通了CDN加速服务，则DNS系统中该域名的CNAME将会指向CDN集群的负载均衡层，故而DNS系统在接收到上述DNS解析请求后，可以递归/迭代查询到对应的CNAME信息，然后从负载均衡层处获取到HTTP调度层的IP地址，再将该IP地址反馈给终端。终端在获取了IP地址之后，可以与HTTP调度层建立连接，并向HTTP调度层发送资源获取请求，HTTP调度层可以根据终端IP所在区域、边缘节点的负载情况等，选出最优边缘节点，并向终端返回302跳转请求，从而终端可以通过302跳转请求指向的IP地址去访问最优边缘节点。这样，由于有HTTP调度层，一方面可以基于终端的资源获取请求，为终端分配最优边缘节点，另一方面可以统计用户的资源获取请求，以确定各个数据资源的冷热程度。故而，在目标中间节点的带宽低谷期内，中心管理系统可以根据统计出的用户的历史资源获取请求，确定热门资源文件，然后在目标中间节点对应的边缘节点上预先缓存该热门资源文件。这样，中心管理系统可以预先缓存热门资源文件，不仅可以大幅降低高峰时期边缘节点向中间节点的资源请求量；还可以提高边缘节点上的资源命中率，减少无效的资源预热。

可选的，可以仅在高峰备用边缘节点上预先进行资源缓存，相应的，步骤202的处理可以如下：在目标中间节点对应的高峰备用边缘节点上预先缓存资源文件。

其中，高峰备用边缘节点可以是仅在带宽高峰期内提供CDN加速服务，以缓解普通边缘节点的负载压力，而在非带宽高峰期内的持续处于闲置状态的边缘节点。

在实施中，为了保证CDN加速服务质量，同时兼顾服务成本，CDN集群中可以专门设置有高峰备用边缘节点，仅用于在带宽高峰期内投入使用以响应用户请求。考虑到普通边缘节点在带宽高峰期外，大概率基于用户请求已从中间节点或源站获取了大量的数据资源，故而，中心管理系统无需对普通边缘节点预先进行额外的资源文件预热处理，而可以仅在高峰备用边缘节点上预先缓存资源文件。这样，在目标中间节点的带宽低谷期内，中心管理系统可以在目标中间节点对应的高峰备用边缘节点上预先缓存资源文件。不难理解，目标中间节点对应的高峰备用边缘节点即为在运行过程中，需要从目标中间节点处获取数据资源的高峰备用边缘节点。

可选的，在进行资源预热时，可以根据不同区域内的用户需求，在不同的高峰备用边缘节点上预热不同的资源文件，相应的处理可以如下：对于目标中间节点对应的目标高峰备用边缘节点，确定目标高峰备用边缘节点所属的目标服务区域；根据目标服务区域内用户的历史资源获取请求，确定目标服务区域对应的热门资源文件；在目标高峰备用边缘节点上预先缓存热门资源文件。

在实施中，在目标中间节点的带宽低谷期内，中心管理系统可以预先在目标中间节点对应的高峰备用边缘节点上针对性地预热不同的资源文件。以目标高峰备用边缘节点为例，中心管理系统可以先确定目标高峰备用边缘节点所属的目标服务区域，再在历史资源获取请求的记录中筛选出目标服务区域内用户的历史资源获取请求。进而，中心管理系统可以根据筛选出的历史资源获取请求，确定出目标服务区域对应的热门资源文件，并在目标高峰备用边缘节点上预先缓存这些热门资源文件。可以理解，用户的爱好、关注点与用户所处的区域环境存在一定关联性，故而不同服务区域内的热门资源也可能存在不同，这样，在不同服务区域内的高峰备用边缘节点上针对性地预热热门资源文件，可以提高高峰备用边缘节点上资源文件的命中率，从而可以进一步降低带宽高峰期内中间节点的带宽消耗，以降低中间节点的带宽成本。

可选的，可以直接通过资源预热指令的方式触发资源文件的预热处理，相应的，步骤202的处理可以如下：接收携带有目标节点标识和目标URL的映射关系的资源预热指令；在目标节点标识对应的边缘节点上预先缓存目标URL对应的资源文件。

其中，目标节点标识可以是边缘节点的IP地址、设备编号、边缘节点的部署位置信息或边缘节点的服务区域等可以用于标识一个或多个边缘节点的信息。

在实施中，CDN集群的技术人员可以综合考虑用户的资源访问情况和各数据资源的发布状态等因素，人工判断需要在哪些边缘节点上预先部署哪些资源文件。继而，技术人员可以通过资源预热指令的形式将上述判断结果输入中心管理系统，该资源预热指令中可以携带有目标节点标识和目标URL。中心管理系统在接收到上述资源预热指令后，可以根据其携带的目标节点标识和目标URL进行资源文件的预热处理，即在目标节点标识对应的边缘节点上预先缓存目标URL对应的资源文件。此外，上述资源预热指令可以是CDN客户(即开通了CDN加速服务的资源提供方)发送至中心管理系统的，CDN客户可以通过资源缓存指令触发中心管理系统在指定的边缘节点上预先部署指定的资源文件。值得一提的是，如果资源预热指令中仅携带有目标URL，而未携带有任意节点标识，则可以默认在所有边缘节点上均缓存目标URL对应的资源文件。

可选的，预热资源文件的结束机制多种多样，如下给出了2种可行的方式：

方式一，当带宽低谷期结束时，停止对目标中间节点对应的边缘节点缓存资源文件。

在实施中，中心管理系统在目标中间节点对应的边缘节点上预热资源文件时，可以实时监测当前时刻是否仍旧处于目标中间节点的带宽低谷期。当检测到带宽低谷期结束时，中心管理系统则可以停止对目标中间节点对应的边缘节点缓存资源文件，以避免目标中间节点处因带宽消耗过高，而出现计费带宽值提高、带宽成本增加的情况。

方式二，当检测到目标中间节点的实时带宽超过目标中间节点的计费带宽值时，停止对目标中间节点对应的边缘节点缓存资源文件。

在实施中，中心管理系统在目标中间节点对应的边缘节点上预热资源文件时，可以实时监测目标中间节点的实时带宽。当检测到目标中间节点的实时带宽超过目标中间节点的计费带宽值时，中心管理系统则可以停止对目标中间节点对应的边缘节点缓存资源文件，以避免目标中间节点处因带宽消耗过高，而出现计费带宽值提高、带宽成本增加的情况。可以理解，除计费带宽值之外，还可以设定其它合理的带宽预警值，当目标中间节点超过带宽预警值时，中心管理系统即可以停止相应的资源文件的缓存处理。

本发明实施例中，根据目标中间节点的历史带宽数据，确定目标中间节点的带宽低谷期；在目标中间节点的带宽低谷期内，在目标中间节点对应的边缘节点上预先缓存资源文件。这样，中心管理系统利用用户访问习惯和中间节点的计费规则，在中间节点的带宽低谷期内，提前在边缘节点上缓存资源文件，从而使得在带宽高峰期内，边缘节点的资源命中率增高，回中间节点的流量减少，进而可以降低中间节点的带宽峰值和计费带宽值，最终达到降低中间节点的带宽成本的目的。

基于相同的技术构思，本发明实施例还提供一种中心管理系统，所述中心管理系统应用于CDN集群，所述中心管理系统，用于：

根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；

在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。

可选的，所述中心管理系统，具体用于：

周期性根据预设的资源预热条件确定待添加文件，并在所述目标中间节点对应的边缘节点上缓存所述待添加文件。

可选的，所述中心管理系统，具体用于：

当检测到满足预设的资源预热条件的目标资源文件时，在所述目标中间节点对应的边缘节点上缓存所述目标资源文件。

可选的，所述中心管理系统，具体用于：

根据用户的历史资源获取请求，确定热门资源文件；

在所述目标中间节点对应的边缘节点上预先缓存所述热门资源文件。

可选的，所述中心管理系统，具体用于：

在所述目标中间节点对应的高峰备用边缘节点上预先缓存资源文件。

可选的，所述中心管理系统，具体用于：

对于所述目标中间节点对应的目标高峰备用边缘节点，确定所述目标高峰备用边缘节点所属的目标服务区域；

根据所述目标服务区域内用户的历史资源获取请求，确定目标服务区域对应的热门资源文件；

在所述目标高峰备用边缘节点上预先缓存所述热门资源文件。

可选的，所述中心管理系统，具体用于：

接收携带有目标节点标识和目标URL的映射关系的资源预热指令；

在所述目标节点标识对应的边缘节点上预先缓存所述目标URL对应的资源文件。

可选的，所述中心管理系统，还用于：

当所述带宽低谷期结束时，停止对所述目标中间节点对应的边缘节点缓存资源文件。

可选的，所述中心管理系统，还用于：

当检测到所述目标中间节点的实时带宽超过所述目标中间节点的计费带宽值时，停止对所述目标中间节点对应的边缘节点缓存资源文件。

本发明实施例中，根据目标中间节点的历史带宽数据，确定目标中间节点的带宽低谷期；在目标中间节点的带宽低谷期内，在目标中间节点对应的边缘节点上预先缓存资源文件。这样，中心管理系统利用用户访问习惯和中间节点的计费规则，在中间节点的带宽低谷期内，提前在边缘节点上缓存资源文件，从而使得在带宽高峰期内，边缘节点的资源命中率增高，回中间节点的流量减少，进而可以降低中间节点的带宽峰值和计费带宽值，最终达到降低中间节点的带宽成本的目的。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种预热资源文件的方法，其特征在于，所述方法包括：

根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；

在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。

2.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件，包括：

周期性根据预设的资源预热条件确定待添加文件，并在所述目标中间节点对应的边缘节点上缓存所述待添加文件。

3.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件，包括：

当检测到满足预设的资源预热条件的目标资源文件时，在所述目标中间节点对应的边缘节点上缓存所述目标资源文件。

4.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件，包括：

根据用户的历史资源获取请求，确定热门资源文件；

在所述目标中间节点对应的边缘节点上预先缓存所述热门资源文件。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件，包括：

在所述目标中间节点对应的高峰备用边缘节点上预先缓存资源文件。

6.根据权利要求5所述的方法，其特征在于，所述在所述目标中间节点对应的高峰备用边缘节点上预先缓存资源文件，包括：

对于所述目标中间节点对应的目标高峰备用边缘节点，确定所述目标高峰备用边缘节点所属的目标服务区域；

根据所述目标服务区域内用户的历史资源获取请求，确定目标服务区域对应的热门资源文件；

在所述目标高峰备用边缘节点上预先缓存所述热门资源文件。

7.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件，包括：

接收携带有目标节点标识和目标URL的映射关系的资源预热指令；

在所述目标节点标识对应的边缘节点上预先缓存所述目标URL对应的资源文件。

8.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件之后，还包括：

当所述带宽低谷期结束时，停止对所述目标中间节点对应的边缘节点缓存资源文件。

9.根据权利要求1所述的方法，其特征在于，所述在所述目标中间节点对应的边缘节点上预先缓存资源文件之后，还包括：

当检测到所述目标中间节点的实时带宽超过所述目标中间节点的计费带宽值时，停止对所述目标中间节点对应的边缘节点缓存资源文件。

10.一种中心管理系统，其特征在于，所述中心管理系统应用于CDN集群，所述中心管理系统，用于：

根据目标中间节点的历史带宽数据，确定所述目标中间节点的带宽低谷期；

在所述目标中间节点的带宽低谷期内，在所述目标中间节点对应的边缘节点上预先缓存资源文件。

Images