CN107094096A - 一种自适应的cdn业务分析监控系统 - Google Patents

Abstract

本发明公开了一种自适应的CDN业务分析监控系统，设有一套策略机、一个聚合分析模块，形成一个从挖掘规则阀值到数据分析、再到生成结论标记、最终将结论标记用于规则阀值池中的处理闭环，规则阀值的设置建立在历史数据的基础之上，并在实际的业务处理环节中不断循环优化，形成了一种自学习机制，因此本发明的阀值设置较传统的模式更科学，更精准；整个处理流程有系统的两大模块自动完成，完全免除了人工处理的工作量，因此能大大节省人力开支；系统根据一定的周期挖掘规则阀值，而且这个挖掘的周期可以根据业务的需要自行定义，可以说是紧随业务的变化，因此本发明对于规则的调整具有很强的灵活性和时效性。

Description

一种自适应的CDN业务分析监控系统

技术领域

本发明涉及互联网技术领域，尤其是涉及一种自适应的CDN业务分析监控系统。

背景技术

随着社会的发展，互联网用户快速增长带动了互联网经济的蓬勃发展，移动互联网、电子商务、网络视频、品牌网络广告、网上招聘、网络游戏等在极短的时间得到快速发展并积累了众多用户，成为了人们生活中不可或缺的一部分。

在现有CDN技术中，需要实时监控CDN业务的各项基础数据，包括带宽、状态码、请求数、下载速度、分省份运营商详情等，这样才能及时分析影响CDN服务质量的原因，包括各机房的网络服务质量、CDN配置异常、上线程序bug等因素，并因此作为CDN运维及调度的依据。在这个过程中，建设一套监控分析系统对上述数据进行采集和分析是解决上述问题的关键。目前传统的监控方式是采用简单阀值的方法，其方式是通过预先设置相关的阀值，并通过是否触发阀值来判断是否网络服务的质量是否出现异常；同时根据业务的变化对阀值进行适当的调整。传统的方法在实际过程中存在着一些弊端，主要包括如下几个方面：

1.阀值的设置主要依靠历史数据和经验进行判断。

(1)历史数据可作为设置阀值的参考，但在实际环境中，业务是经常变化的，存在很多不确定性，因此如何及时、准确地挖掘历史数据是设置阀值的关键因素。而传统方法采用人工的方式进行挖掘和分析，在时效性和准确性上将受到很大的影响。

(2)此外运维人员因工作经历、技术能力、教育背景等问题，其经验也不尽相同，因此根据经验进行阀值的设置受个人主观因素的影响非常大。

2.工作量巨大。由于CDN业务众多(包括页面加速、下载加速、点播加速、直播加速等业务)，因此在设置阀值时会遇到需要设置的阀值多，设置业务量大等问题。

3.灵活度不够。业务是随时变化的，对于网络质量的要求也是随之发生变化，因此需要运维人员根据业务的需要不断地进行阀值的调整，而且调整的过程完全是人工的。因此传统的模式在灵活度上存在着很大的缺陷。

滞后性。运维人员接收到报警之后需要进行各类关联分析，包括是否是机房问题、源站问题、或者是骨干网问题等。整个分析过程耗时较长，如果未设置合理的收敛规则，甚至会出现报警轰炸的情况，就有可能影响到几乎所有业务的正常运行。

发明内容

本发明的目的在于提供一种自适应的CDN业务分析监控系统，以解决上述背景技术中提出的问题和缺陷,形成一个从挖掘规则阀值到数据分析、再到生成结论标记、最终将结论标记用于规则阀值池中的处理闭环。

为实现上述目的，本发明提供如下技术方案：

一种自适应的CDN业务分析监控系统，设有一套策略机、一个聚合分析模块，形成一个从挖掘规则阀值到数据分析、再到生成结论标记、最终将结论标记用于规则阀值池中的处理闭环，其监控分析步骤如下：

Q1:由人工通过数据挖掘模块从历史业务数据中挖掘出各类规则阈值，进行人工标记，挖掘出来的规则阀值都被输入到策略机；

Q2:所有经过CDN的实时业务数据都由数据输入模块输入到策略机，策略机根据规则阀值对数据进行处理，判断业务数据是否满足规则阀值，处理完成以后由策略机输出带有标签的数据；

Q3:带有标签的实时数据从策略机输出以后，进入到聚合分析模块，聚合分析模块根据业务通常的逻辑关系，对带有标签的业务数据再次进行分析；

Q4：由人工根据业务的变化，对阈值进行相应的调整；

Q5：聚合分析模块对本轮分析结果进行汇总，并得出最终的结论标记，结论标记将会再返回到步骤1中，作为阈值的一部分再输入到策略机中，最终用于后续规则阈值的深挖掘，并由此形成一个正向反馈的循环。

作为上述技术方案的优选，Q1步骤中的规则阀值挖掘的周期根据需要自行定义，通常设置为一天挖掘一次。

作为上述技术方案的优选，Q2步骤中输出的每个标签具有特定的含义，标明业务数据是否满足规则阀值或标明带宽是突增还是突降。

作为上述技术方案的进一步说明，Q3步骤中的聚合分析模块对带有标签的业务数据再次进行分析，具体为，

当带宽数、请求数处于平稳状态，则意味着业务量相对平稳；

当发生带宽上涨、请求数增加的情况，则意味着业务量的增加；

当同区域多业务异常状态码突然激增，则意味着发生了区域性的网络问题。

本发明的优点：

本发明实施例提供的一种自适应的CDN业务分析监控系统，规则阀值的设置建立在历史数据的基础之上，并在实际的业务处理环节中不断循环优化，形成了一种自学习机制，因此本发明的阀值设置较传统的模式更科学，更精准；整个处理流程有系统的两大模块自动完成，完全免除了人工处理的工作量，因此能大大节省人力开支；系统根据一定的周期挖掘规则阀值，而且这个挖掘的周期可以根据业务的需要自行定义，可以说是紧随业务的变化，因此本发明对于规则的调整具有很强的灵活性和时效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种自适应的CDN业务分析监控系统的结构示意图。

图2为本发明实施例的一种自适应的CDN业务分析监控系统的流程步骤示意图。

图3为本发明实施例的一种自适应的CDN业务分析监控系统的出现异常时的流程步骤示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，对于网络域名一般会进行分级，根据域名的95带宽和有量5分点个数(均属于CDN的计费方法)排序,按照比例(20％,50％,10％,20％)来定级。无量域名默认为最低级.除去最低级别的域名后，其余的均纳入本发明实施例监控分析的范围，而不在监控域名之内的域名数据会在预处理阶段被过滤掉。

如图1-2所示，本发明实施例提供的一种自适应的CDN业务分析监控系统，其监控分析步骤如下：

Q1:由人工通过数据挖掘模块从历史业务数据中挖掘出各类规则阈值，进行人工标 记，挖掘出来的规则阀值都被输入到策略机；规则阀值挖掘的周期根据需要自行定义，通常设置为一天挖掘一次。

Q2:所有经过CDN的实时业务数据都由数据输入模块输入到策略机，策略机根据规则阀值对数据进行处理，判断业务数据是否满足规则阀值，处理完成以后由策略机输出带有标签的数据；输出的每个标签具有特定的含义，标明业务数据是否满足规则阀值或标明带宽是突增还是突降。

Q3:带有标签的实时数据从策略机输出以后，进入到聚合分析模块，聚合分析模块根据业务通常的逻辑关系，对带有标签的业务数据再次进行分析；本步骤中所述逻辑关系通常涉及到业务的特点，比如带宽数、请求数、以及异常代码的变化可以反映出业务情况的变化，具体指标包括带宽数、请求数、异常代码数。

Q4：由人工根据业务的变化，对阈值进行相应的人工调整；

Q5：聚合分析模块对本轮分析结果进行汇总，并得出最终的结论标记，结论标记将会再返回到步骤1中作为阈值的一部分，最终用于后续规则阈值的再次深挖掘，再输入到策略机中，并由此形成一个正向反馈的循环，这样做的好处是形成一种自学习机制，从而提高监控的准确性。

实施例

在图3中，我们展示了本发明实施例中的自适应的CDN业务分析监控系统的出现异常时的步骤流程，即同区域多业务异常状态码突然激增、发生了区域性的网络问题，根据在该状况下得到的数据进行处理，例如，带宽数的异常变化主要包括带宽数的突增和突降，

(1)如果在带宽突降的情况下：

如果请求数突降，则需要考虑应用最大落差策略。

如果请求数突增，则意味着网络出现异常；

(2)如果在带宽突增的情况下，则需要监控带宽的最大值。

如果状态码超出阈值，则需要考虑应用最小请求数策略，并将策略输入到状态机中，同时将这种情况标明为异常。

这个状况下的处理方法，我们选择维度指带宽、请求数、状态码进行监控分析，

首先，系统针对域名带宽波形图计算方差,波动较大的域名只监控带宽最大值(图3中max_bd)；未纳入监控项的相关数据会被策略机过滤掉；

其次，对目前带宽/请求数/状态码阈值进行设置：

带宽/请求数单独计算相邻两个点的增减幅度排序,取95值,再乘以35％；状态码目前自动设置分为两类规则:5xx,0和4xx,手动的话可任意组合和设置,计算每个点的规则比例排序,取98值,再乘以20％；

在图3中，我们设置了3个策略：max_bd(最大值策略)、bd_drop(最大落差策略)、lowest_hcode(最小请求数策略)，这三个策略即Q3步骤中的逻辑关系，max_bd(最大值策略)体现带宽的最大变化值；bd_drop(最大落差策略)体现的是带宽突降关系；

lowest_hcode(最小请求数策略)用于状态码比例判断。数据采集模块采用业务数据，其中包括带宽数、请求数、状态码数等信息；预处理模块对上述3个策略进行预处理分析，对数据进行分类整理；策略机对预处理后的数据进行分析处理，提炼出阈值，形成相应的监控策略。

他们分别为：

1.max_bd(最大值策略):

每个域名变化不同,有些是突增,有些是缓慢增长到一个非预期的数值(巨人域名,比如并未达到监控阈值),两种均需要监控,最大值策略用于后一类.

max_bd取值为带宽峰值乘以一定系数,系数目前为

(0.1,1000),

(1,100),//代表带宽在[0.1,1)范围内时,阈值设置为峰值100倍.

(10,20),

(100,3),

(1000,1.5),//代表带宽在[100,1000)范围内时,阈值设置为峰值1.5倍.

(10000,1.2),

(100000,1.1),

(200000,1.05),

(1000000,1),

2.bd_drop(最大落差策略):

主要用于突降判断,有些域名在某时间段内带宽落差很大,带宽降低比例达到阈值之后如果落差也超过此值才算突降；

3.lowest_hcode(最小请求数策略):

用于状态码比例判断,有些域名在某段时间请求数较少,无效/请求比例凸显。

作为上述技术方案的优选，我们还可以增设报警策略,对同区域多业务异常状态码进行监控，一旦发现就报出来,连续两次(可设置),后每隔半小时(可配置)报一次；对带宽突增数进行监控:一旦发现报出来,如果上一个点也突增,则本次不报。

以上所述仅为本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，本发明实施例还可以在不脱离本专利宗旨的前提下做出各种变化。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种自适应的CDN业务分析监控系统，其特征在于，设有一套策略机、一个聚合分析模块，形成一个从挖掘规则阀值到数据分析、再到生成结论标记、最终将结论标记用于规则阀值池中的处理闭环，其监控分析步骤如下：

Q1:由人工通过数据挖掘模块从历史业务数据中挖掘出各类规则阈值，进行人工标记，挖掘出来的规则阀值都被输入到策略机；

Q2:所有经过CDN的实时业务数据都由数据输入模块输入到策略机，策略机根据规则阀值对数据进行处理，判断业务数据是否满足规则阀值，处理完成以后由策略机输出带有标签的数据；

Q3:带有标签的实时数据从策略机输出以后，进入到聚合分析模块，聚合分析模块根据业务通常的逻辑关系，对带有标签的业务数据再次进行分析；

Q4：由人工根据业务的变化，对阈值进行相应的调整；

Q5：聚合分析模块对本轮分析结果进行汇总，并得出最终的结论标记，结论标记结论标记将会再返回到步骤Q1中，作为阈值的一部分再输入到策略机中，最终用于后续规则阈值的深挖掘，并由此形成一个正向反馈的循环。

2.根据权利要求1所述的一种自适应的CDN业务分析监控系统，其特征在于，所述Q1步骤中的规则阀值挖掘的周期根据需要自行定义，通常设置为一天挖掘一次。

3.根据权利要求1所述的一种自适应的CDN业务分析监控系统，其特征在于，所述Q2步骤中输出的每个标签具有特定的含义，标明业务数据是否满足规则阀值或标明带宽是突增还是突降。

4.根据权利要求1所述的一种自适应的CDN业务分析监控系统，其特征在于，所述Q3步骤中的逻辑关系涉及到业务的特点，包括带宽数、请求数、异常代码数的具体指标。

5.根据权利要求1所述的一种自适应的CDN业务分析监控系统，其特征在于，所述Q3步骤中的逻辑关系具体为最大值策略、最大落差策略或最小请求数策略。

6.根据权利要求1所述的一种自适应的CDN业务分析监控系统，其特征在于，所述Q3步骤中的聚合分析模块对带有标签的业务数据再次进行分析，具体为，

当带宽数、请求数处于平稳状态，则意味着业务量相对平稳；

当发生带宽上涨、请求数增加的情况，则意味着业务量的增加；

当同区域多业务异常状态码突然激增，则意味着发生了区域性的网络问题。