CN112929456B - 一种集中回源和源站异常状态保护方法 - Google Patents

Abstract

本发明公开了一种集中回源和源站异常状态保护方法，包括：集中回源：通过数据中心调度，将所属于指定用户空间的请求调度至指定的一个中转节点回源或多个中转节点集中回源；源站异常保护：通过记录每个用户空间的状态码数据，对于数据异常的用户，计算需要设置的异常缓存时间，并设置异常缓存，保护处于异常的用户源站。本发明区别于传统修改路由或DNS解析的方式，通过Redis集群主从同步的方式，实现动态的集中回源配置，实现回源高速、高命中、高可靠的目的。以及源站异常状态保护，通过收集源站响应的异常状态码的数量、频率和持续时间，计算设置异常缓存，降低源站压力，对发生异常错误的源站起到保护作用。

Description

一种集中回源和源站异常状态保护方法

技术领域

本发明涉及内容分发网络技术领域，具体涉及一种集中回源和源站异常状态保护方法。

背景技术

CDN (Content Delivery Network)，即内容分发网络，旨在解决互联网数据传输瓶颈，通过在各个边缘节点缓存资源数据，用户可在就近的边缘节点缓存中直接获取资源，避免去往源站，减少用户在网络传输过程中耗费的时间。

目前传统CDN回源线路的选择大多是基于网络线路测速结果、用户回源IP所属地址等信息。当用户请求量极大时，即使在中转节点做了二级缓存，因为缓存分配不均，透过缓存到达客户源站的请求量也会大大增加，同时也会对同一条回源线路的其他用户的请求造成影响。很多时候，我们都希望能够很方便地为这个请求量极大的客户可以单独划分一条线路，把请求转发到指定中转节点，这样既不影响其他用户，也不会被其他客户影响，同时缓存命中率也得到了极大提升。

另外，传统CDN对于用户源站的保护措施也比较匮乏，当用户源站返回大量异常状态码时，说明源站本身出现故障，这时应该及时降低回源站的请求数量，一方面减少无用的CDN资源消耗，另一方也能减少源站的压力防止进一步的崩溃。而传统的保护措施都是根据回源过程中收集的用户源站信息，判断出异常后以类似报警的方式反馈出来，然后人为的选择并操作相应的防护措施，这样做往往会导致不能及时处理问题，导致问题进一步扩大，这是非常不智能的。一种能够不用人为干涉，实现自我动态调控的源站异常保护方法显然是非常必要的。

公开号为CN106911511A（申请号为CN201710140021.7）的中国发明专利申请公开了一种CDN客户源站的防护方法，所述方法包括：从客户源站采集指标参数，从CDN边缘节点采集维度参数；将所述指标参数和维度参数进行处理得到源站负载数据、回源状态数据及客户行为数据；根据所述源站负载数据、回源状态数据及客户行为数据得到预测数据；根据预测数据判断源站服务状态；当所述源站服务状态异常时，判断不同异常情况，结合采集的所述指标参数和维度参数生成相应的控制策略；执行所述控制策略；通过较为精准的预测，更加实时和准确的对于源站进行防护。该技术方案无法在源站出现较多异常的情况下，合理降低回源的请求，减少源站压力和无用的CDN资源消耗。

发明内容

本发明的目的是能够精确分配用户空间级别的回源请求线路，并灵活地为某个用户空间划分出独立回源线路，减少来自同一个用户空间的大量请求对其他用户的影响，增加该用户空间回源缓存命中率。并在源站出现较多异常的情况下，能够合理降低回源的请求，减少源站压力和无用的CDN资源消耗。

为解决上述技术问题，本发明提供一种集中回源和源站异常状态保护方法，该方法包括以下步骤：

一、集中回源：通过数据中心调度，将所属于指定用户空间的请求调度至指定的一个中转节点回源或多个中转节点集中回源；

二、源站异常保护：通过记录每个用户空间的状态码数据，对于数据异常的用户，计算需要设置的异常缓存时间，并设置异常缓存，保护处于异常的用户源站。

步骤一中，集中回源的调度信息来自数据中心，通过 Redis集群主从同步的方式，主节点机器位于数据中心，将集中回源调度信息下发至每台从节点服务器，所述的从节点服务器作为中转节点回源。

集中回源的调度信息来自数据中心，主Redis（Reidsmaster）位于数据中心，每台中转机器上都布有一个从Redis（redisslaver），当对某个用户进行集中回源调度时，通过修改数据中心主Redis中的配置数据，由主Redis借由主从同步的方式，将配置数据的更新同步到每台从Redis上，中转机器通过查询本地的从Redis得知集中回源调度信息。

优选的，在多个中转节点集中回源时，支持基于URL（统一资源标定位符）的一致性哈希和随机调度两种策略，前者拥有更高的缓存命中率，后者可以避免某个资源过热造成的负载不均衡的问题。

在集中回源调度配置中，每个中转节点以域名形式标识，通过DNS（Domain NameSystem，域名系统）解析到对应节点的VIP（virtual IP，虚拟IP），再由LVS（Linux VirtualServer）将请求分配到中转节点中的某台机器，并且在每台中转机器上都配备了二级缓存。

在集中回源调度下发的配置信息中，每个中转节点以域名形式标识，通过DNS解析到对应节点的VIP（virtual IP），再由LVS（Linux Virtual Server，Linux虚拟服务器）地做一次均衡负载的行为，将请求分配到中转节点中的某台中转机器，并且在每台中转机器上都配备了二级缓存。

优选的，计算需要设置的异常缓存时间，具体包括：将用户空间名、时间戳、状态码类型（正常与异常）的混合值与状态码数量作为键值对（key-value），将每个用户空间的状态码数据存储在一张映射表中，然后基于这张映射表中的数据计算动态的异常缓存时间，每个时段（2~10 s ，优选为5s）刷新一次缓存时间。

计算动态的异常缓存时间的公式如下：T = G + B；T为当前时段总状态码数量，G为当前时段正常状态码数量，B为当前时段异常状态码（500、502、503等）数量，每个时段的时长为5s。

当G / T < 60%，即正常状态码数在总状态码数中所占的比例小于60%，则采用如下的公式计算得出所需的异常缓存时间：Cache = max(OldCache + OldCache*0.8, 300)。

当G/ T > 80%，即正常状态码数在总状态码数中所占的比例大于80%，则采用如下的公式计算得出所需的异常缓存时间：Cache = min(OldCache - OldCache*0.8, 0) 。

当 60% <= G/T<= 80%，即正常状态码数在总状态码数中所占的比例在60%～80%之间，则缓存时间保持不变：Cache = OldCache，其中，Cache为当前时段需要设置的异常缓存时间，OldCache 为上一个时段设置的异常缓存时间。

与现有的技术方案相比，本发明的技术方案具有以下优点。

本发明区别于传统修改路由或DNS解析的方式，集中回源是基于应用做的，可精确指定用户空间将其所属的回源请求调度至特定的一个或多个节点，同时支持一致性哈希、随机分配等调度策略，同时通过Redis集群主从同步的方式，实现动态的集中回源配置，实现回源高速、高命中、高可靠的目的。本发明的源站异常状态保护方法，通过收集源站响应的异常状态码的数量、频率和持续时间，计算设置异常缓存，降低源站压力，对发生异常错误的源站起到保护作用。

本发明通过集中回源的方式，能方便灵活地将指定的大流量用户的请求调度至专属节点，排除对其他客户的影响以及其他客户可能带来的意外因素的干扰，同时因为是指定的回源线路，不会存在缓存分散不均的情况，回源命中率会得到很大提高，减少了请求带给用户源站的压力。并且使用主从同步下发调度配置，然后中转机器直接查询本地Redis得到配置的方式，避免了每次请求数据中心带来的网络耗时。

本发明通过提供源站异常保护的功能，使得用户源站在发生异常时，能够有效避免回源请求增加用户源站压力，加速用户源站崩溃的情况，同时也节约了无效的CDN机器资源消耗。

附图说明

图1为集中回源配置下发示意图。

图2为单节点集中回源示意图。

图3为源站异常保护示意图。

具体实施方式

本发明的核心是提供一种集中回源和源站异常保护方法，提供回源高速、高命中、高可靠的CDN服务。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施案例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种集中回源和源站异常保护方法，该方法包括：

提供了集中回源方案，通过数据中心调度，将所属于指定用户空间的请求调度至指定的一个或多个中转节点回源；

提供了源站异常保护方案，通过记录每个用户空间的状态码数据，对于数据异常的用户，计算并设置异常缓存，保护处于异常的用户源站；

集中回源的调度信息来自数据中心，主Redis（Reidsmaster）位于数据中心，每台中转机器上都布有一个从Redis（redisslaver），当对某个用户进行集中回源调度时，通过修改数据中心主Redis中的配置数据，由主Redis借由主从同步的方式，将配置数据的更新同步到每台从Redis上，中转机器通过查询本地的从Redis得知集中回源调度信息。

在多节点集中回源时，支持基于URL（统一资源标定位符）的一致性哈希和随机调度两种策略，前者拥有更高的缓存命中率，后者可以避免某个资源过热造成的负载不均衡的问题。

在集中回源调度下发的配置信息中，每个中转节点以域名形式标识，通过DNS解析到对应节点的VIP（virtual IP），再由LVS（Linux虚拟服务器，Linux Virtual Server）简单地做一次均衡负载的行为，将请求分配到中转节点中的某台机器，并且在每台中转机器上都配备了二级缓存。

将用户空间名、时间戳、状态码类型（正常与异常）的混合值与状态码数量作为键值对（key-value），将每个用户空间的状态码数据存储在一张映射表中。然后基于这张映射表中的数据计算动态的异常缓存时间，每个时段（5s）刷新一次缓存时间。

异常缓存的计算过程如下：T = G + B；T为当前时段总状态码数量，G为当前时段正常状态码数量，B为当前时段异常状态码（500、502、503等）数量，一个时段的时长为 5s。

当G / T < 60%，即正常状态码数在总状态码数中所占的比例小于60%，则采用如下的公式计算得出所需的异常缓存时间：Cache = max(OldCache + OldCache*0.8, 300) 。

当G/ T > 80%，即正常状态码数在总状态码数中所占的比例大于80%，则采用如下的公式计算得出所需的异常缓存时间： Cache = min(OldCache - OldCache*0.8, 0) 。

当 60% <= G/T<= 80%，即正常状态码数在总状态码数中所占的比例在60%～80%之间，则缓存时间保持不变：Cache = OldCache ；上述的Cache为当前时段需要设置的异常缓存时间，OldCache 为上一个时段设置的异常缓存时间。

然后，通过将Cache时间加入到缓存响应头中，借由中转机器上部署的二级缓存实现异常缓存的功能。

以下结合附图进一步详细说明。

图1为本发明中数据中心集中回源配置下发的流程图，该方法包括：当使用者向数据中心发送集中回源调度信息，数据中心则会生成一份新的集中回源配置写入主Reids（Remote Dictionary Server，即远程字典服务），借由Redis集群自带的主从同步模式，将主Redis中的集中回源配置同步到每台中转机器的从Redis上，中转机器（中转机器1、中转机器2和中转机器3）通过查询本地的从Redis中得到最新的集中回源配置，由此实现集中回源调度信息的下发。

图2为本发明中集中回源流程图，该方法包括：当开启集中了集中回源功能，一个用户请求到达一台集中回源机器时，具体过程如下：

1）若命中中转机器上的缓存，则直接返回；

2）若未命中，则查询本地Redis获得集中回源配置；

3）检查当前节点是否已经是需要转发的集中回源节点，若是则直接回源，反之请求转发给集中回源节点；

4）转发的请求经过LVS （(Linux Virtual Server，做了一层简单的负载均衡）后，被转发至节点内的某一台中转机器，然后重复1）至 3）中的步骤。

如图3所示，图3为本发明中的源站异常保护示意图，具体过程如下：基于Openresty，将用户空间名、时间戳、状态码类型（正常与异常）的混合值与状态码数量作为键值对（key-value），将每个用户空间的状态码数据存储在映射表中（lua_shared_dict）。然后基于这张映射表中的数据计算动态的异常缓存时间，每个时段（5s）刷新一次缓存时间。

异常缓存的计算过程如下：T = G + B；T为当前时段总状态码数量，G为当前时段正常状态码数量，B为当前时段异常状态码（500、502、503等）数量，一个时段的时长为 5s。

当G/T < 60%，即正常状态码数在总状态码数中所占的比例小于60%，则采用如下的公式计算得出所需的异常缓存时间：Cache = max(OldCache + OldCache*0.8, 300) 。

当G/ T > 80%，即正常状态码数在总状态码数中所占的比例大于80%，则采用如下的公式计算得出所需的异常缓存时间：Cache = min(OldCache - OldCache*0.8, 0) 。

当 60% <= G/T<= 80%，即正常状态码数在总状态码数中所占的比例在60%～80%之间，则缓存时间保持不变：Cache = OldCache；上述的Cache为当前时段需要设置的异常缓存时间，OldCache 为上一个时段设置的异常缓存时间。然后将Cache缓存时间通过请求响应头带给本机器上的缓存组件，当缓存组件接收到后，就设置时长为Cache的异常缓存。当用户下一个回源请求到来时，若是相同的URL则会命中异常缓存直接返回，避免了回源。

综上，本发明一种集中回源和源站异常保护方法，能够精确地分配用户空间级别的回源请求线路，并灵活地为某个用户空间划分出独立回源线路，减少来自同一个用户空间的大量请求对其他用户的影响，增加该用户空间回源缓存命中率。并在源站出现较多异常的情况下，能够合理降低回源的请求，减少源站压力和无用的CDN资源消耗。

以上对本发明所提供的一种集中回源和源站异常保护方法进行了详细介绍。本发明中应用了具体个例对本发明的原理及实施方式的阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (3)

1.一种集中回源和源站异常状态保护方法，其特征在于，包括以下步骤：

一、集中回源：通过数据中心调度，将所属于指定用户空间的请求调度至指定的一个中转节点回源或多个中转节点集中回源；

集中回源的调度信息来自数据中心，主Redis位于数据中心，每台中转机器上都布有一个从Redis，当对某个用户进行集中回源调度时，通过修改数据中心主Redis中的配置数据，由主Redis借由主从同步的方式，将配置数据的更新同步到每台从Redis上，中转机器通过查询本地的从Redis得知集中回源调度信息；

在多个中转节点集中回源时，支持基于统一资源标定位符的一致性哈希和随机调度两种策略；

二、源站异常保护：通过记录每个用户空间的状态码数据，对于数据异常的用户，计算需要设置的异常缓存时间，并设置异常缓存，保护处于异常的用户源站；

计算需要设置的异常缓存时间，具体包括：

将用户空间名、时间戳、状态码类型正常与异常的混合值与状态码数量作为键值对，将每个用户空间的状态码数据存储在一张映射表中，然后基于这张映射表中的数据计算动态的异常缓存时间，每个时段刷新一次缓存时间；

计算动态的异常缓存时间的公式如下：

T＝G+B；

T为当前时段总状态码数量，G为当前时段正常状态码数量，B为当前时段异常状态码数量；

当G/T<60％，即正常状态码数在总状态码数中所占的比例小于60％，则采用如下的公式计算得出所需的异常缓存时间：

Cache＝max(OldCache+OldCache*0.8,300)；

当G/T>80％，即正常状态码数在总状态码数中所占的比例大于80％，则采用如下的公式计算得出所需的异常缓存时间：

Cache＝min(OldCache-OldCache*0.8,0)；

当60％<＝G/T<＝80％，即正常状态码数在总状态码数中所占的比例在60％～80％，则缓存时间保持不变：

Cache＝OldCache；

其中，Cache为当前时段需要设置的异常缓存时间，OldCache为上一个时段设置的异常缓存时间。

2.根据权利要求1所述的集中回源和源站异常状态保护方法，其特征在于，步骤一中，每个中转节点以域名形式标识，通过DNS解析到对应节点的虚拟IP，再由Linux虚拟服务器地做一次均衡负载的行为，将请求分配到中转节点中的某台中转机器，并且在每台中转机器上都配备了二级缓存。

3.根据权利要求1所述的集中回源和源站异常状态保护方法，其特征在于，每个时段为2～10s。

Images