CN112104752B - 一种内容分发网络缓存节点的热点均衡方法及系统 - Google Patents

Abstract

本发明公开一种内容分发网络缓存节点的热点均衡方法，该方法应用于内容分发网络的边缘节点系统，所述边缘节点系统包括网关、缓存节点、回源模块，所述缓存节点至少有两个，其中，所述方法包括以下步骤，所述方法包括接收并解析客户端的请求链接；于所述请求链接，获取第一缓存节点；构建缓存请求，将所述缓存请求转发给所述第一缓存节点处理；接收返回的缓存数据，将所述缓存数据返回给客户端。本发明还公开一种内容分发网络缓存节点的热点均衡的系统，利用本发明公开的方法和系统，使得内容分发网络服务具备过载保护、热点均衡的能力，降低了服务单点失效的风险，提高了服务的高可用性，故具有明显的技术优势和有益效果。

Description

一种内容分发网络缓存节点的热点均衡方法及系统

技术领域

本发明涉及内容分发网络领域，尤其涉及一种内容分发网络缓存节点的热点均衡方法及系统。

背景技术

通常一个内容分发网络的边缘节点的组成包含网关、缓存模块和回源模块。其中，网关首先会具备访问权限控制，其次具备限流限量的控制，最后通过一致性hash算法，将url（uniform resource locator）请求转发给缓存模块；而缓存模块通常是负责将其他内容分发网络的响应数据缓存下来，当一个url访问缓存模块，缓存模块首先会查询其节点上是否保存有该url的缓存数据，如果不存在，则将请求转发给回源模块；回源模块主要是负责将url请求转发给源站或者其他内容分发网络，并获取响应数据，并响应给缓存模块。

现有的内容分发网关的负载均衡一般是这样实现的：当接收到客户端向内容分发网络节点发来请求链接，内容分发网络网关模块判断该域名是否具有访问内容分发网络的权限，如该域名具备访问权限，则将该url推入负载均衡器，负载均衡器根据一致性hash算法以及热点均衡策略，将该url发送到其中一个缓存节点。通过一致性hash算法，将不同的url调度到不同的缓存节点，起到一定的均衡负载的作用，然而同一个url将会被固定分配到同一个缓存节点，来保证该url的缓存数据能够在下一次被访问时能被准确命中。

但是，当某个缓存节点出现故障时，网关模块会将该缓存节点从hash算法中剔除，因此原来被hash到该缓存节点的url会被hash到其他缓存节点，而其他缓存节点上不存在该url的缓存，则通过回源模块将请求转发给源站或其他内容分发网络。因此这些原本保存在该异常缓存节点上的url，这些原本不需要回源获取缓存数据，都将因为该缓存节点的异常，同时需要回源拉取该url对应的资源。这将导致源站或其他内容分发网络节点压力陡增，造成雪崩效应，一些源站可能无法承受该压力，从而导致源站崩溃。

针对上述问题，现有的解决方案大多数产品是将热点url手动或者半自动的方式转移到其他节点，来保证整个边缘服务的可用性，现有方案在具体实施过程中发现存在下列问题：

1）手动/半自动的方式，全凭经验，无法做到精准调度，即无法保证将热点url转移后，该节点负载能够恢复；

2）url 转移到其他节点后，该节点没有该url的缓存数据，造成回源，变相提高了源站的压力，如果超过了源站能承受的压力，将造成用户服务不可用；

3）手动的方式，带来就是不能及时处理热点问题，对于突发流量，往往无法及时响应；

4）当缓存节点出现异常的时候，改缓存节点的所有url将全部迁移到其他缓存节点，而其他缓存节点没有这些url的缓存数据，将造成回源流量放大的问题。

综上所述，针对现有存在的缺陷，目前该领域尚无精准的解决方案，是该领域亟需解决的技术问题。

发明内容

本发明的目的在于克服现有技术中存在的部分缓存节点负载过大，节点之间负载不均匀的缺陷，提供了一种在内容分发网络中，均匀分配缓存节点负载的技术方案。

为达到上述目的，本发明第一方面公开一种内容分发网络缓存节点的热点均衡方法，该方法应用于内容分发网络的边缘节点系统，所述边缘节点系统包括网关、缓存节点、回源模块，所述缓存节点至少有两个，其中，所述方法包括以下步骤：

步骤S1：所述网关接收并解析客户端的请求链接；

步骤S2：所述网关基于所述请求链接，获取第一缓存节点，具体包括以下步骤：步骤S201：所述网关查询策略配置中心，获取与所述请求相关的热点均衡策略，所述策略配置中心存放动态生成的热点均衡策略；步骤S202：所述网关从所述热点均衡策略中获取配置有均衡策略的缓存节点的配置信息；步骤S203：所述网关从缓存节点hash表中剔除所述获取的被均衡的缓存节点地址，获得新的缓存节点hash表，所述缓存节点hash表存放可以被分配用于处理请求的所有缓存节点；步骤S204：所述网关基于所述新的缓存节点hash表做一致性hash算法，获取缓存节点；

步骤S3：所述网关构建缓存请求，将所述缓存请求转发给所述第一缓存节点处理，所述缓存请求包含请求链接；

步骤S4：接收返回的缓存数据，将所述缓存数据返回给客户端。

优选的，所述热点均衡策略包括所述请求链接的配置信息及需要被均衡的缓存节点的配置信息。

优选的，所述的缓存节点处理缓存请求的步骤包括：

接收缓存请求，判断请求方是网关还是其他缓存节点，所述缓存请求包含请求链接；

当请求方是网关时，判断本地是否存储所述请求链接相关的缓存；当本地未存储所述请求链接相关的缓存时，则通过一致性hash算法，从所述缓存节点hash表中获得第二缓存节点，并将所述请求链接转发给所述第二缓存节点处理；接收并保存所述第二缓存节点返回的缓存数据；

当请求方是其他缓存节点时，判断本地是否存储所述请求链接相关的缓存，当本地未存储所述请求链接相关的缓存时，则将所述请求链接转发到所述回源模块；接收并保存回源模块返回的缓存数据；

所述缓存节点保存所述缓存数据；将缓存数据返回给请求方。

优选的，所述回源模块返回缓存数据的方法是：将所述请求转发给源站或者其他内容分发网络节点，获取所述请求链接的缓存数据。

优选的，所述的动态生成的热点均衡策略的步骤包括：在所述边缘节点系统中设置监控模块和策略配置中心；所述监控模块定时监控缓存节点的服务状况，当其中任何一个缓存节点的服务出现为带宽超限时，所述监控模块获取所述带宽超限的缓存节点上占用带宽最大的请求链接；所述监控模块基于所述获得的占用带宽最大的请求链接和所述带宽超限的缓存节点，产生热点均衡策略并提交到所述策略配置中心；所述策略配置中心记录热点均衡策略。

优选的，所述获取的占用带宽最大的请求链接为3个。

优选的，步骤S204还包括：当所述缓存节点中存在无法提供服务的缓存节点时，在使用一致性hash算法获取缓存节点之前，从缓存节点hash表中删除所述无法提供服务的缓存节点。

基于相同的发明构思，本发明第二方面公开一种内容分发网络缓存节点的自动化热点均衡系统，所述系统包括网关、缓存节点、回源模块，其中，所述系统还包括热点均衡模块、监控模块、策略模块、策略配置中心，其中，热点均衡模块：设置于网关中，用于根据热点均衡策略获取缓存节点；监控模块：定时监控缓存节点的服务状况，当某缓存节点的服务出现异常状态时，产生告警信息；策略模块：用户根据告警信息，动态产生和调整热点均衡策略；策略配置中心：用于提供在线的热点均衡策略配置和查询服务。

优选的，所述系统还包括服务发现单元，其中：服务发现单元：用于管理在线的缓存节点的信息，所述信息包括状态、ip地址、端口，并以心跳的形式监控所述在线的缓存节点的状态。

本发明还公开一种电子设备，所述设备包括处理器以及存储器，所述存储器用于存储可执行程序；所述处理器用于执行本发明实施例第一方面公开的任意一种内容分发网络缓存节点的热点均衡方法。

基于本发明公开的上述方法和系统，在实际应用中具有以下的技术优势：

（1）本发明针对现有技术方案存在的弊端，系统采用多处缓存的方案，实现了主备缓存，当一个缓存节点过载时自动切换到其他缓存节点进行处理，有效避免了单点失效，提高了系统资源的均衡分配和资源的利用率，降低了负载均衡的成本；

（2）整个热点均衡的方案支持热点自动监控和负载策略精准调整，不需要人工参与，可及时处理突发的流量和过载，将请求分配到其他的缓存节点缓解热点节点压力，避免造成服务的不可用。

由此可见，本发明相比现有技术使得内容分发网络服务具备过载保护、热点均衡的能力，降低了服务单点失效的风险，提高了服务的高可用性，故具有明显的技术优势和有益效果。

本发明公开的方法和系统中的模块，在实际应用中，即可以在一台服务器上部署多个模块，也可以每一模块独立部署在不同的服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群服务器上。

为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种实施例中自动化热点均衡的流程示意图；

图2示出了一种实施例中缓存节点处理缓存请求的流程示意图；

图3示出了一种实施例中动态生成的热点均衡策略的流程示意图；

图4示出了一种实施例中内容分发网络缓存节点的自动化热点均衡系统的框架示意图。

具体实施方式

请参阅图1，图1示出了一种实施例中自动化热点均衡的流程示意图，具体包括步骤S1至S4：

步骤S1：网关接收并解析客户端的请求链接；

当客户端向内容分发网络节点发送请求链接时，网关接收并解析客户端的请求链接，获得该请求链接的源地址、目标地址、目标链接等信息；

步骤S2：网关基于所述请求链接，获取第一缓存节点；

在本发明实施例中，获取缓存节点的步骤主要包括：

步骤S201：所述网关查询策略配置中心，获取与所述请求相关的热点均衡策略；

网关从热点均衡策略中根据请求链接获取被均衡的节点地址,策略配置中心存放动态生成的热点均衡策略，热点均衡策略包括所述请求链接的配置信息及需要被均衡的缓存节点的配置信息。

当节点环境正常时，一般没有对该节点和该请求链接配置热点均衡策略，当节点环境过载或者不正常时。

步骤S202：所述网关从所述热点均衡策略中获取被均衡的缓存节点的配置信息；

步骤S203：所述网关从缓存节点hash表中剔除所述获取的被均衡的缓存节点地址，获得调整后的缓存节点hash表；其中，缓存节点hash表存放可以被分配用于处理请求的所有缓存节点。

步骤S204：所述网关基于所述调整后的缓存节点hash表做一致性hash算法，获取缓存节点；

在一个实施例中，缓存节点hash表中存在5个缓存节点：node1、node2、node3、node4、node5。

当该请求链接没有开启热点均衡，那么node1这个缓存节点就是网关需要转发的缓存节点，获取过程如下：

hash = Consistenthash.New(node1,node2,node3,node4,node5)

node1 = hash(url)

当该请求链接开启了热点均衡，那么计算出来这个node1就是需要被均衡的缓存节点，需要从缓存节点hash表中去掉，调整后的缓存节点hash表是：(node2,node3,node4,node5)，基于调整后的缓存节点hash表重新计算一致性hash，获得缓存节点为node2，计算过程如下：

hash2 = Consistenthash.New(node2,node3,node4,node5)

node2 = hash2(url)

由此，网关需要被转发到node2缓存节点。

上述是网关获取缓存节点的过程。

步骤S3：所述网关构建缓存请求，将所述缓存请求转发给所述第一缓存节点处理，所述缓存请求包含请求链接；

第一缓存节点处理缓存请求的步骤请参阅图2所述的流程示意图，此时，缓存请求的发送方是网关。

步骤S4：接收返回的缓存数据，将所述缓存数据返回给客户端。

在一个实施例中，当缓存节点中存在异常或无法提供服务的缓存节点时，在使用一致性hash算法获取主备缓存节点之前，从缓存节点hash表中删除所述异常缓存节点。

请参阅图2，图2示出了一种实施例中缓存节点处理缓存请求的流程示意图，包括步骤S21至S24：

步骤S21：接收缓存请求，判断请求方是网关还是其他缓存节点，所述缓存请求包含请求链接；

步骤S22：当发送方是网关时，判断本地是否存储所述请求链接相关的缓存；当本地未存储所述请求链接相关的缓存时，则通过一致性hash算法，从所述缓存节点hash表中获得第二缓存节点，并将所述请求链接转发给所述第二缓存节点处理；接收并保存所述第二缓存节点返回的缓存数据。

当缓存节点本地没有请求链接的缓存时，需要将缓存转发给其他备用缓存节点。作为一种举例，例如上述5个节点中，请求首先被转发到了node1缓存节点，当node1缓存节点上的缓存数据不存在时，node1会通过一致性hash算法在其他缓存节点中找出第二缓存节点，此时剩下的缓存节点nodes为：{node2，node3，node4，node5}。

假设：f(key,nodes)=node2

然后，node1将缓存请求转发至第二缓存节点进行处理，接收并保存第二缓存节点返回的缓存数据。

第二缓存节点处理缓存请求的过程也是图2所述的缓存节点处理缓存请求的流程，经过步骤S21，判断出缓存请求来自其他缓存节点，因此进入步骤S23。

步骤S23：当请求方是其他缓存节点时，判断本地是否存储所述请求链接相关的缓存，当本地未存储所述请求链接相关的缓存时，则将所述请求链接转发到所述回源模块；接收并保存回源模块返回的缓存数据。

当请求方是其他缓存节点时，首先判断本地是否有与请求链接相关的缓存，如果没有，则需要将所述请求链接转发到所述回源模块。

其中，回源模块返回缓存数据的方法是：回源模块将请求转发给内容分发网络节点，通过内容分发网络节点获取缓存数据，并将请求资源返回给请求的缓存节点。

步骤S24：将缓存数据返回给请求方。

第二缓存节点保存该缓存数据，并将缓存数据返回给第一缓存节点；

第一缓存节点保存该缓存数据，并将缓存数据返回给网关。

综上所述，该请求链接的缓存数据就在两个缓存节点上。

作为一种举例，假设有5个缓存节点，node1，node2，node3，node4，node5。一致性hash算法使用f(key，nodes)函数表示，key为需要进行一致性hash的键值，通常其值为url，nodes为候选分发的缓存节点，其中：

f（key，nodes）=node1

则该请求被转发到了node1缓存节点，当node1缓存节点上的缓存数据不存在时，在剩下的缓存节点中做一致性hash算法得到备用缓存节点，此时剩下的缓存节点nodes为，node2，node3，node4，node5，假设获取做一致性hash算法得到node2节点：

f（key，nodes）=node2

于是请求被转发到了node2缓存节点，如果该节点缓存不存在，则将该url转发到回源模块，当回源模块返回相应数据后，缓存节点node1、node2分别将缓存数据进行保存，因此该请求链接的缓存数据就在两个缓存节点上。

当node1出现异常时，网关在剔除node1，并在配置中心记录热点均衡的配置，例如【url，node1】：对请求链接的请求排除node1节点。

当针对该url的下一次访问内容分发节点时，网关获取到该url需要做热点均衡，则将剔除配置文件中的node1节点，则此时剩余的节点hash表为node2，node3，node4，node5，此时通过一致性hash算法获取的缓存节点为假设为node2：

f(key，nodes)=node2

因为node2上保存有该url的缓存数据，则不会造成重复回源。

请参阅图3，图3示出了一种实施例中动态生成的热点均衡策略的流程示意图，具体包括步骤S31~S34：

步骤S31：在边缘节点系统中设置监控模块和策略配置中心；

步骤S32：监控模块定时监控缓存节点的服务状况，当某缓存节点的服务出现为带宽超限时，监控模块获取缓存节点上占用带宽最大的请求链接；

在具体实施中，获取的带宽最大的请求链接有多个，在本实施例中，经过测试，发现3个的均衡效果比较理想。

步骤S33：监控模块向策略配置中心提交热点均衡策略，热点均衡策略包括占用带宽最大的请求链接及需要被均衡的缓存节点地址；

步骤S34：策略配置中心提供在线热点均衡策略查询服务。

综上所述，在一个实施例中，当某个缓存节点异常时包括热点均衡策略的产生、热点均衡策略的生效和热点均衡策略的撤销三个流程，分别描述如下：

首先，热点均衡策略的产生过程是：

1、监控模块捕获到该缓存节点的负载压力过大时；

2、监控模块查询该缓存节点占用带宽最大的URL地址，并产生热点均衡策略；

3、监控模块向配置中心提交该URL的热点均衡策略。

其次，热点均衡策略的生效过程是：

1、网关向配置中心获取热点均衡策略；

2、当该URL访问时，网关查询到该URL配置了热点均衡策略；

3、网关采取本文前面的计算方式，计算出需要转发的缓存节点；

4、因为该URL配置了热点均衡，所以计算出来的缓存节点，不是未配置热点均衡时的缓存节点，而是未配置热点均衡时的主缓存节点所访问的备用缓存节点；

5、因为访问到的是备用的缓存节点，所以该缓存节点上保存有该请求的缓存；

6、备用缓存节点返回保存的缓存内容。

再次，热点均衡策略的撤销过程是：

1、当监控模块检测到异常的缓存节点恢复后；

2、监控模块向配置中心发起请求，撤销该节点的url热点均衡策略；

3、之后该url访问到网关后，网关恢复将url转发给该缓存节点。

请参阅图4，图4示出了一种实施例中内容分发网络缓存节点的自动化热点均衡系统的框架示意图，该系统主要包括：带热点均衡功能的网关11、缓存节点12（共三个，包括12-1、12-2、12-3）、回源模块13、监控模块14、策略模块15、消息队列16、服务发现模块17、策略配置中心18，其中：

带热点均衡功能的网关11：热点均衡模块设置于网关中，用于根据热点均衡策略获取缓存节点。

缓存节点12：负责将其他内容分发网络的响应数据缓存下来；

回源模块13：负责一些回源的控制，如回源带宽控制，主备回源等等；

监控模块14：定时监控缓存节点的服务状况，当某缓存节点的服务出现为带宽超限时，则产生告警信息；

策略模块15：用户根据告警信息，动态产生和调整热点均衡策略；

消息队列16：在消息传递过程中临时存放消息的容器；

服务发现模块 17：用于管理在线的缓存节点的信息，信息包括状态、ip地址、端口，并以心跳的形式，来监控在线的缓存节点的状态；

策略配置中心18：用于提供在线的热点均衡策略配置和查询服务。

本申请实施例还提供一种电子设备，该电子设备中包括处理器及存储器，该存储器中存储有可执行程序，当可执行程序在计算机上运行时，该计算机执行上述任一实施例的方法和系统。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储于计算机可读存储介质中，存储介质可以包括但不限于：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种内容分发网络缓存节点的热点均衡方法，应用于内容分发网络的边缘节点系统，所述边缘节点系统包括网关、缓存节点、回源模块，所述缓存节点至少有两个为第一缓存节点和第二缓存节点，其特征在于，所述方法包括以下步骤：

步骤S1：所述网关接收并解析客户端的请求链接；

步骤S2：所述网关基于所述请求链接，获取第一缓存节点，具体包括以下步骤：

步骤S201：所述网关查询策略配置中心，获取与请求相关的热点均衡策略，所述策略配置中心存放动态生成的热点均衡策略；

步骤S202：所述网关从所述热点均衡策略中获取配置有均衡策略的缓存节点的配置信息；

步骤S203：所述网关从缓存节点hash表中剔除获取的被均衡的缓存节点地址，获得新的缓存节点hash表，所述缓存节点hash表存放可以被分配用于处理请求的所有缓存节点；

步骤S204：所述网关基于所述新的缓存节点hash表做一致性hash算法，获取缓存节点；

步骤S3：所述网关构建缓存请求，将所述缓存请求转发给所述第一缓存节点处理，所述缓存请求包含请求链接；

步骤S4：接收返回的缓存数据，将所述缓存数据返回给客户端；

其中，步骤S3中缓存请求具体包括：

接收缓存请求，判断请求方是网关还是其他缓存节点，所述缓存请求包含请求链接；

当请求方是网关时，判断本地是否存储所述请求链接相关的缓存；当本地未存储所述请求链接相关的缓存时，则通过一致性hash算法，从所述缓存节点hash表中获得第二缓存节点，并将所述请求链接转发给所述第二缓存节点处理；接收并保存所述第二缓存节点返回的缓存数据；

当请求方是其他缓存节点时，判断本地是否存储所述请求链接相关的缓存，当本地未存储所述请求链接相关的缓存时，则将所述请求链接转发到所述回源模块；接收并保存回源模块返回的缓存数据；

将缓存数据返回给请求方。

2.如权利要求1所述的方法，其特征在于，所述热点均衡策略包括所述请求链接的配置信息及需要被均衡的缓存节点的配置信息。

3.如权利要求1所述的方法，其特征在于，所述回源模块返回缓存数据的方法是：将所述请求转发给源站或者其他内容分发网络节点，获取所述请求链接的缓存数据。

4.如权利要求1所述的方法，其特征在于，所述的动态生成的热点均衡策略的步骤包括：

在所述边缘节点系统中设置监控模块和策略配置中心；

所述监控模块定时监控缓存节点的服务状况，当其中任何一个缓存节点的服务出现为带宽超限时，所述监控模块获取所述带宽超限的缓存节点上占用带宽最大的请求链接；

所述监控模块基于所述获得的占用带宽最大的请求链接和所述带宽超限的缓存节点，产生热点均衡策略并提交到所述策略配置中心；

所述策略配置中心记录热点均衡策略。

5.如权利要求4所述的方法，其特征在于，所述获取的占用带宽最大的请求链接为3个。

6.如权利要求1所述的方法，其特征在于，步骤S204还包括：

当所述缓存节点中存在无法提供服务的缓存节点时，在使用一致性hash算法获取缓存节点之前，从缓存节点hash表中删除所述无法提供服务的缓存节点。

7.一种内容分发网络缓存节点的自动化热点均衡系统，所述系统用以实现权利要求1-6任一所述的方法，包括网关、缓存节点、回源模块，其特征在于，所述系统还包括热点均衡模块、监控模块、策略模块、策略配置中心，其中：

热点均衡模块：设置于网关中，用于根据热点均衡策略获取缓存节点；

监控模块：定时监控缓存节点的服务状况，当某缓存节点的服务出现异常状态时，产生告警信息；

策略模块：用户根据告警信息，动态产生和调整热点均衡策略；

策略配置中心：用于提供在线的热点均衡策略配置和查询服务。

8.如权利要求7所述的系统，其特征在于，所述系统还包括服务发现单元，其中：

服务发现单元：用于管理在线的缓存节点的信息，所述信息包括状态、ip地址、端口，并以心跳的形式监控所述在线的缓存节点的状态。

9.一种电子设备，其特征在于，所述设备包括处理器以及存储器，

所述存储器用于存储可执行程序；

所述处理器用于执行所述可执行程序以实现权利要求1-6所述的任意一种内容分发网络缓存节点的热点均衡方法。

Images