CN113535515A

CN113535515A - 一种基于Zabbix监控系统的高效动态采集方法

Info

Publication number: CN113535515A
Application number: CN202110762485.8A
Authority: CN
Inventors: 苏占毅; 赵乃良; 袁俊峰; 欧东阳; 张纪林
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2021-07-06
Filing date: 2021-07-06
Publication date: 2021-10-22

Abstract

本发明涉及一种基于Zabbix监控系统的动态采集方法。本发明包括通过Zabbix采集数据并存储在数据库中，对节点按照负载状态评估分为Green、Yellow、Red三种状态，节点负载处于Green时通过BP神经网络预测模型预测下一次采集周期；节点负载处于Yellow时将监控频率的间隔周期分段，根据得到的差值和分级各段的时间计算下一次采集周期；节点负载处于Red,使用系统默认采集周期进行数据采集，不做改变。本发明能够准确的根据节点负载进行Zabbix采集周期的动态调整，在保证节点负载正常的前提下提高了对业务数据监控的精准度。

Description

一种基于Zabbix监控系统的高效动态采集方法

技术领域

发明涉及运维监控的数据采集方法，尤其针对Zabbix实时监控大规模集群业务的动态采集方法。

背景技术

随着人工智能AI、云计算产业的飞速发展，基于云计算的应用服务开始由点到面的渗透到各个领域，大规模数据中心往往由上万台物理机及外围设备构成，经过整合和抽象之后通过网络以按需分配的方式向用户提供计算、存储、通讯等服务，这些服务在运行过程中将产生种类繁多、体量巨大的实时监控数据。

从监控数据的特点来说，监控数剧价值密度分布并不均匀，并且采集的监控数据允许少量误差；另一方面，从监控数据所能提供的价值来讲，在波动相对剧烈的地方，价值密度相对较高，在波动平缓和远离阈值地方，由于数据本身特征相对集中，因此价值密度相对低，在价值密度高的地方密集采集，在价值密度低的地方稀疏采集，在采集同样数据点的条件下就能够保留更多能够表征监控数据整体特征的数据点，从而在整体上提高了采集数据的价值密度，降低了监控任务的负载和监控系统的成本。

当前云平台下的以Zabbix为首的现有成熟监控都是以固定监控频率采集，这在数据中心结构简单、负载稳定的时候非常有利。但随着云计算的深入发展，数据中心的复杂性越来越高，节点面临的压力也越来越大，传统的监控模式难以有效应对越来越复杂的安全环境。如若采用固定监控频率，当监控频率较低时，则可能难以及时发现负载威胁，迟一刻发现则意味着对系统更大的威胁；而当监控频率长期处于较高状态时，监控任务占据大量负载资源的同时产生海量的监控数据。因此，应该采取措施提高对云服务的监控效率。

发明内容

本发明提供了一种用于Zabbix监控的动态数据采集方法，能够根据监控数据当前的波动程度以及节点的负载状态来动态调整数据采集周期，通过对Zabbix监控进行接口扩展，以在数据采集和系统负载之间达到平衡。

本发明解决技术的方案是：

一种基于Zabbix监控系统的高效动态采集方法，该方法的步骤包括：

步骤1.通过从Zabbix-Agent采集各个监控节点的监控数据，并上传到Zabbix-Server后端对应的数据库中进行保存；

步骤2.根据各Zabbix-Agent监控节点的系统负载数据特征，选用对应的负载评估模型和负载评估指标，对存储在数据库的中对应监控数据进行负载评估，同时将评估后的各Zabbix监控节点的负载状态保存在数据库中；

步骤3.根据各Zabbix-Agent节点负载状态值，采用三种颜色代表三种节点负载状态状态，其中绿色代表节点负载正常、黄色代表负载正常但值偏高、红色代表节点负载压力过大；

当节点负载状态处于绿色时，执行以下操作：

步骤3-1.根据具体监控项连续相邻采集点的差值，维护一个描述数据项波动程度长度为N的环形队列；

步骤3-1.构建含有一个隐层的三层多输入单输出的BP神经网络波动预测模型，设定网络隐层和输出层激励函数，初始化参数：最大迭代次数、期望误差、学习速率；

步骤3-3.以输入Zabbix数据库中具体一监控项历史数据为训练数据，利用三层BP神经网络算法逐层迭代，更新权值阈值，判断是否到达最大循环次数或适应度值达到目标值，若是则BP神经网络波动预测模型训练完成进入步骤3-4，否则循环步骤3-3；

步骤3-4.将步骤3-1中环形队列存储的连续采集差值作为输入神经元，输入到步骤3-3训练完成的BP神经网络波动预测模型中，即可输出下一次采集周期的预测值；

当节点负载状态处于黄色时，执行以下操作：

步骤3-5.进行监控频率调整，计算得到监控频率最大监控周期和最小监控周期的间隔周期，再根据监控节点负载状态值的等级划分，将所述间隔周期划分为与所述等级相同数值的段，计算出各段的间隔大小；

步骤3-6.计算出最近两次Zabbix-Agent监控节点的负载状态值的差值，根据得到的差值和所述间隔周期划分的各段时间计算下一次的监控节点的数据采集频率；

当节点负载状态处于红色时，执行以下操作：

采集频率不变，保持默认采集周期。

综上，为了能够适应情况本发明根据监控节点的负载状态特征，将监控节点的负载状态分为了三种分别进行处理，一种为监控节点的负载状态值处于正常区间，一种为监控节点的负载值是处于正常区间但是偏高的状态，另一种是监控节点负载过高。针对这三种类型分别进行了相应策略的监控频率调整，如果监控节点的负载状态符合低负载状态类型时，通过Zabbix监控历史数据作为输入构建含有一个隐层的三层多输入单输出的BP神经网络波动预测模型，来预测下一采集周期频率；如果监控节点的负载状态值处于健康区间但是偏高接近临界值时，则依据当前的负载状态值根据最大监控周期和最小监控周期的间隔周期的差值划分为等级相同数值的段并以此调整监控频率；在节点负载状态过高时，监控频率按照默认频率不做改变，不再添加监控节点自身的监控任务负荷。这样使得在负载状态较好时能够降低监控频率以减少监控的系统开销，以及在负载状态偏高时能够提高监控频率以及时捕捉系统安全事件，在系统负载和业务的资源消耗之间达到了自适应的动态平衡。

本发明能够准确的根据监控节点的负载状态变化，实现对Zabbix监控系统动态调整采集间隔，有效保证了节点负载健康状态的同时提高了对监控业务的敏感度。该方法与现有技术相比的有益效果是：

本发明能够实现对业务的在线实时监控的基础上，并根据监控节点负载状态数据的变化设置自适应的动态采集频率。

本发明提高了数据采集的精度，这对云环境下维护节点负载状态与监控任务之间的平衡意义重大，且对把握线上业务的动态变化具有现实意义。

附图说明

图1为本发明提出的根据负载状态调整采集频率方法的流程图。

图2为图1中节点负载状态为Green时的监控频率动态调整的流程图。

图3为图1中节点负载状态为Yellow时的监控频率动态调整的流程图。

具体实施方式

下面对本发明作进一步阐述。

以下结合附图对本发明作进一步说明，请参阅图1。图1给出了本发明提出的用于Zabbix监控的动态采集方法，在Zabbix监控平台采集各节点数据后，根据Zabbix-Agent节点负载状态进行评估分类，并以此作为依据判断监控节点状态。根据节点负载状态不同选择不同的采集调整策略，最后将调整后监控频率提交给Zabbix接口执行。其中节点负载状态评估分类分为了三部分，分别是负载正常、负载正常但值偏高和负载过高。节点负载状态处于正常时构建BP神经网络波动预测模型，来预测下一采集周期频率；当节点负载状态处于正常但值偏高时按照对应等级进行频率调整；当节点负载过高时按照默认频率采集，不做改变。

图2表示的是负载状态为Green时的监控频率动态调整的流程图，对负载状态值处于正常区间的监控节点进行监控频率调整时，通过构建含有一个隐层的三层多输入单输出的BP神经网络波动预测模型，预测下一采集周期频率。构建预测模型步骤如下：

(1)针对BP神经网络预测模型，首先将从Zabbix后端数据库提取业务历史数据进行特征筛选和数据预处理，同时将网络参数进行初始化：在区间[-1,1]任选各神经元相接的初始权值w和隐含层与输出层初始阈值c,d；设定算法满足误差e时迭代终止。

(2)从预处理过的历史数据集提取连续监控项值作为输入，设定网络激励函数g(x)，计算网络隐含层和输出层的值。

网络激励函数设为：

隐含层和输出层节点数目分别设为1和m，则有：

网络隐藏层值为：

j＝1,2,...l

网络输出层值为：

k＝1,2,...m

(3)得出网络误差：理论输出值Y与真正计算所得的输出值U的差值，从而得到误差值Ek。

E_k＝Y_k—U_k

(4)网络权值阈值更新迭代：设网络迭代速度为λ，则计算新的权值(w_ij,w_jk)和阈值(c_j,d_k)为：

w_jk＝w_jk+λM_jE_k

d_k＝d_k+E_k

(5)误差判别：判断第k+1次时误差E_k+1与设定值ε，若两者之差大于0，则继续返回第(2)步循环计算，直至满足要求为止；否则，迭代终止，BP神经网络预测模型训练完成。

(6)相邻两个采集点之间的差的绝对值作为δ，选取最近的N个δ值维护一个长度为N的环形队列，作为BP神经网络预测模型的输入神经元，并输出预测最优解，即下一次数据采集周期。

其中，在(2)中，输入层包括监控项相邻两个的差值，输出层为下一采集点的监控频率；隐含层节点数由公式

确定，其中，q为隐含层节点数；n为输入层节点数；m为输出层节点数；a为0～10之间的常数；

图3表示的是节点负载状态为Yellow时的监控频率动态调整的流程图。监控节点的负载状态有可能会出现负载状态正常，但是状态值偏高临近状态变化节点，众所周知，平均负载最理想的情况是等于CPU核数，而在实际生产环境中，当平均负载低于CPU数量70％最为稳妥，例如某节点平均负载超过其CPU核数*70％，此时该监控节点的负载状态虽处于正常区间但是即将超过其理想状态，不能按照负载健康状态下评估下一采集点是否需要调整的概率。因此针对监控节点负载状态为正常区间但是偏高的情况下进行监控频率调整时，需要将监控频率限定在一定的监控周期T内，然后根据节点负载状态值N，将监控周期时间段T划分为N段，每段时间间隔为Δt。以当前节点平均负载状态值减去上次节点平均负载状态值的差值作为频率调整系数c，最终频率调整结果为上次监控频率加上调整系数c乘以分段间隔Δt，最终结果即为调整后的监控频率。

计算得到监控频率的最大监控周期和最小监控周期的间隔周期，设最小监控周期为T_min，最大监控周期为T_max，则频率间隔周期求解方法为：

T＝T_max—T_min

再根据监控节点的平均负载状态值N将频率间隔周期划分为n段，各段间隔时间为：

Δt＝T/n

从Zabbix-Server后端数据库读取最近两次监控节点的平均负载状态值，分别记为S(t₀)和S(t₁)，计算出二者的差值：

c＝S(t₁)-S(t₀)

根据差值c所述间隔周期划分的各段时间计算出下一次的监控节点的数据采集频率：

t＝S(t₁)+cΔt

本发明提出的基于Zabbix监控动态采集方法的具体实施步骤是：

步骤2.根据各Zabbix-Agent监控节点的系统负载数据特征选用对应的状态评估模型对存储在数据库的对应的监控数据进行状态评估，同时将评估后的各Zabbix监控节点的运行状态值保存在数据库中；

步骤3.根据各Zabbix-Agent节点的状态值，可分为绿色(Green)代表节点负载正常和黄色(Yellow)代表负载正常但值偏高、红色(Red)代表节点负载压力过大三种状态。当节点负载状态处于Green时，执行步骤4、步骤5、步骤6、步骤7；节点负载状态处于Yellow时，按照步骤8、步骤9处理；当节点超负荷运行时，则按照步骤10进行操作；

步骤4.对于节点负载状态处于Green时，根据具体监控项连续相邻采集点的差值维护一个描述数据项波动程度长度为N的环形队列；

步骤5.构建含有一个隐层的三层多输入单输出的BP神经网络波动预测模型，设定网络隐层和输出层激励函数和初始化参数：最大迭代次数、期望误差、学习速率；

步骤6.输入Zabbix数据库中具体一监控项历史数据为训练数据，利用三层BP神经网络算法逐层迭代，更新权值阈值；判断是否到达最大循环次数或适应度值达到目标值，若是则BP神经网络预测模型训练完成进入步骤7，否则循环步骤6；

步骤7.将环形队列存储的连续采集差值输入到步骤6拟合的BP神经网络中即可输出下一次采集周期的预测值；

步骤8.若Zabbix-Agent节点状态为Yellow时进行监控频率调整时，计算得到监控频率的最大监控周期和最小监控周期的间隔周期，再根据监控节点负载状态值的等级划分，将所述间隔周期划分为与所述等级相同数值的段，计算出各段的间隔大小；

步骤9.计算出最近两次Zabbix-Agent监控节点的负载状态值的差值，根据得到的差值和所述间隔周期划分的各段时间计算下一次的监控节点的数据采集时刻；

步骤10.对于节点负载状态处于Red时，系统自身负载已过高，不宜调整新的采集频率增大节点负载压力，故采集频率不变，保持默认采集周期；

下面分别对上述实施步骤进行详细说明；

(1)步骤1：

通过从Zabbix-Agent采集各个监控节点的连续的监控数据，包括监控节点系统运行状态数据和具体业务数据，并通过Zabbix-Server存储在其后端对应的Mysql数据库中进行保存。

(2)步骤2：

根据Zabbix-Server和各Zabbix-Agent监控节点的系统负载数据特征选用对应的负载状态评估模型对存储在数据库的对应的监控数据进行状态评估，同时将评估后的各Zabbix各监控节点的运行状态值保存在数据库中。

(3)步骤3：

根据各Zabbix-Agent节点的状态值，可分为绿色(Green)代表节点负载正常和黄色(Yellow)代表负载正常但值偏高、红色(Red)代表节点负载压力过大三种种状态。

当节点负载状态处于Green时，执行步骤4、步骤5、步骤6，步骤7；

当节点负载状态处于Yellow时，按照步骤8、步骤9处理；

当节点超负荷运行时，则按照步骤10进行操作。

(4)步骤4：

对于节点负载状态处于Green时，根据具体监控项连续相邻采集点的差值维护一个描述数据项波动程度长度为N的环形队列。

(5)步骤5：

构建含有一个隐层的三层多输入单输出的BP神经网络波动预测模型，针对BP神经网络预测模型，首先将网络参数进行初始化：在区间[-1,1]任选各神经元相接的初始权值w和隐含层与输出层初始阈值c,d；设定算法满足误差e时迭代终止。

(6)步骤6：

输入Zabbix数据库中具体一监控项历史数据为训练数据，利用三层BP神经网络算法将数据在完成正向训练后，得到与之相对应的输出结果，然后计算与正确值误差，再将误差逆向传播，逐层迭代更新各个神经层级间的连接权值和阈值。重复以上步骤，直至训练次数达到额定值或误差满足要求后终止训练。基于BP神经网络的预测模型通过反复训练调整，尽量使得实际输出与期望输出的误差值保持在预设范围之内，以此获得训练成熟且适合训练数据样本的网络权值和阈值。

(7)步骤7：

相邻两个采集点之间的差的绝对值作为δ，选取最近的N个δ值维护一个长度为N的环形队列，作为BP神经网络预测模型的输入神经元，并输出预测最优解，即下一次数据采集周期。

(8)步骤8：

若Zabbix-Agent节点状态为Yellow时进行采集频率调整时，此时监控节点负载状态值偏高临近状态，计算得到采集频率的最大监控周期和最小监控周期的间隔周期，再根据监控节点的负载状态值的等级划分，将所述间隔周期划分为与所述等级相同数值的段，计算出各段的间隔大小。

(9)步骤9：

计算出最近两次Zabbix-Agent监控节点的负载状态值的差值，根据得到的差值和所述间隔周期划分的各段时间计算下一次的监控节点的数据采集时刻。

(10)步骤10：

对于节点负载状态处于Red时，系统自身平均负载已过高，不宜调整新的采集频率增大节点负载压力，故采集频率不变，保持默认采集周期。

Claims

1.一种基于Zabbix监控系统的高效动态采集方法，其特征在于该方法包括如下步骤：

当节点负载状态处于绿色时，执行以下操作：

步骤3-4.将步骤3-1中环形队列存储的连续采集差值作为输入，输入到步骤3-3训练完成的BP神经网络波动预测模型中，即可输出下一次采集周期的预测值；

当节点负载状态处于黄色时，执行以下操作：

当节点负载状态处于红色时，执行以下操作：

采集频率不变，保持默认采集周期。

2.根据权利要求1所述的一种基于Zabbix监控系统的高效动态采集方法，其特征在于：步骤1中所述的监控数据包括监控节点系统运行状态数据和具体业务数据。