CN110083508B - 一种数据监控方法及装置 - Google Patents

Abstract

本发明公开了一种数据监控方法及装置，其中方法为：确定第一监控项是否在预设取值范围内；所述第一监控项为信息系统的性能指标；若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

Description

一种数据监控方法及装置

技术领域

本发明涉及信息系统安全领域，尤其涉及一种数据监控方法及装置。

背景技术

信息系统是一个包括计算机设备、通信设备等设备，且按照预定规则运行各种软件实现信息交互的系统。信息系统包括多个运行参数、运行指标，如某一台计算机设备的内存占用率，某一个通信设备的上行带宽。信息系统涉及范围较广，因此信息系统的安全维护至关重要。在运行过程中，需要对信息系统中进行监控，及时排查异常情况，及时告警，被监控的运行参数或运行指标等称为监控项。

目前对信息系统通过设定阈值的方式进行监控，确定监控项是否异常，举例来说，当监控项的值大于某个阈值时，则确定监控项为异常，并发送告警信息。但是，这种方式很容易产生误报或漏报，举例来说，某监控项存在高峰期和低谷期，在高峰期时监控项数值有一定波动，略高于阈值是正常的，但由于大于阈值会发出告警信息，造成误报，另一方面，监控项数值在低谷期出现了陡升陡降是异常的，但却因为监控项数值小于阈值，并不会发出告警信息，造成漏报。

因此，现有技术中，通过设定阈值的方式确定监控项是否异常，容易出现漏报或误报，是一个亟待解决的问题。

发明内容

本申请实施例提供一种数据监控方法及装置，解决了现有技术中通过设定阈值的方式确定监控项是否异常，容易出现漏报或误报的问题。

本申请实施例提供了一种数据监控方法，包括：确定第一监控项是否在预设取值范围内；所述第一监控项为信息系统的性能指标；若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

可选的，所述根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值，包括：将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

可选的，所述根据所述至少一个异常概率值，确定所述第一监控项是否异常，包括：根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

可选的，所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器是进行过训练的，具体训练过程如下：将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项异常的概率值；分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值；根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行更新。

可选的，所述确定第一监控项是否在预设取值范围之前，还包括：若所述第一监控项在第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第一预设周期内每个第二预设时段的数据进行分解，获取分解后所述第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；根据所述第一残差函数，确定所述第一监控项的残差余项在该第二预设时段的取值范围；将所述第一趋势函数、所述第一周期函数以及所述残差余项之和在所述该第二预设时段的取值范围，作为所述第一监控项所述预设取值范围在该第二预设时段的取值范围。

可选的，所述确定第一监控项是否在预设取值范围之前，还包括：若所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；确定所述第二趋势函数在该第三预设时段的趋势均值；将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

可选的，所述确定第一监控项是否在预设取值范围内之后，还包括：若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

本申请实施例中，首先确定第一监控项是否在预设取值范围内，若第一监控项不在所述预设取值范围内，且存在与第一监控项关联的至少一个第二监控项，则将所述第一监控项以及所述至少一个第二监控项一同分别输入高斯朴素贝叶斯分类器、逻辑回归分类器和渐进梯度决策树分类器，通过分别输出的第一分值、第二分值和第三分值分别表征第一监控项正常或异常；之后，再根据第一分值、第二分值和第三分值，第二次确定第一监控项为正常或异常，因此，通过对监控项的两次确定，从而降低了第一监控项的误报率。

本发明实施例提供了一种数据监控装置，包括：确定模块，用于确定第一监控项是否在预设取值范围内；所述第一监控项为信息系统的性能指标；处理模块，用于若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；以及用于根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

可选的，所述处理模块具体用于：将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

可选的，所述处理模块具体用于：根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

可选的，所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器是进行过训练的，具体训练过程如下：将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项异常的概率值；分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值；根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行更新。

可选的，所述确定模块还用于：若所述第一监控项在第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第一预设周期内每个第二预设时段的数据进行分解，获取分解后所述第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；根据所述第一残差函数，确定所述第一监控项的残差余项在该第二预设时段的取值范围；将所述第一趋势函数、所述第一周期函数以及所述残差余项之和在所述该第二预设时段的取值范围，作为所述第一监控项所述预设取值范围在该第二预设时段的取值范围。

可选的，所述确定模块还用于：若所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；确定所述第二趋势函数在该第三预设时段的趋势均值；将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

可选的，所述确定模块还用于：若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

附图说明

图1为本申请实施例提供的一种数据监控方法的第一个流程示意图；

图2为本申请实施例提供的一种数据监控方法中一种数据处理方法的示意图；

图3为本申请实施例提供的一种数据监控方法的第二个流程示意图；

图4为本申请实施例提供的一种数据监控装置的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。

信息系统是一个包括计算机设备、通信设备等设备，且按照预定规则运行各种软件实现信息交互的系统。信息系统包括多个运行参数、运行指标，在运行过程中，需要对信息系统中进行监控，及时排查异常情况，及时告警，被监控的运行参数或运行指标等称为监控项。

现有技术中，对信息系统通过设定阈值的方式进行监控，确定监控项是否异常，但是，这种方式很容易产生误报或漏报，举例来说，为降低误报率，须根据峰值设定监控阈值，而这样会导致在低谷时段，容易出现漏报情况，反之，为降低漏报率，须根据低谷值设定监控阈值，而这样会导致在高峰时段，容易出现误报情况。监控阈值的设定十分依赖运维、业务人员的经验，若无法把握监控项的变化规律，往往只能采用默认值进行配置，在大量的误/漏报问题出现后，根据问题再调整阈值，配置周期较长，投入人力较多。阈值更新完全由人工主导，更新周期漫长，监控阈值的时效性较低。

为此，本申请提出一种数据监控方法，以解决现有技术中，通过设定阈值的方式确定监控项是否异常，容易出现漏报或误报的问题。

本申请提出的数据监控方法分为两个阶段：学习阶段和监控阶段。在学习阶段，采集一定时段范围内的历史监控数据，按照监控数据的不同类型，对监控异常决策器进行数据训练，对根据监控异常决策器每次的训练结果对监控异常决策器进行优化，使得监控异常决策器输出的结果越来越精确。在监控阶段，根据输入监控数据类型，对监控数据做不同处理，再结合训练之后的监控异常决策器再次判断监控数据是否异常。

如图1，为示例性地本申请实施例提供的一种数据监控方法的第一个流程示意图。

步骤101：从信息系统数据。

从信息系统采集一定时间段内的历史监控数据，如采集当前时刻前3天至前30天内的监控数据。而且，采集的方式不做限定，举例来说，通过批量方式进行采集。

步骤102：对数据进行清洗。

步骤103：根据数据的不同类型对数据进行不同处理。

步骤104：对处理后的数据进行训练。

步骤102中，由于获取到的监控数据格式参杂一些错误的数据，会影响异常监控决策器最终输出结果的精确性，因此需要对采集到的数据进行清晰，以一个具体案例来说明该步骤：

通过信息总中心的时间序列数据库(使用开源数据库opentsdb，版本2.3.1)，抽取相应数据，输出信息为json字符串格式。通过python将数据解析后写入到mysql数据库中，数据格式以及样例如表1：

主机名	监控位置	监控项	监控时刻	监控值
					主机01	中央处理器	处理核	2018-11-01 00:00:00	2.10
主机01	中央处理器	处理核	2018-11-01 00:01:00	3.09
					主机01	中央处理器	处理核	2018-11-01 00:02:00	1.23
主机01	中央处理器	处理核	2018-11-01 00:03:00	5.68
					主机01	中央处理器	处理核	2018-11-01 00:04:00	3.09

表1

具体的数据清洗方式为：

对监控数据中缺失的值通过线性插值算法进行补全，对异常的离群点通过局部异常因子算法LOF进行标记并去除。

首先由数据清洗脚本将数据从mysql中抽取出来，举例来说，每日完整数据应存在1440条数据(1分钟1条)，对缺失数据，使用线性插值法进行补全。随后，通过python的sklearn包中的局部异常因子算法LOF，对所有数据进行聚类，输出类别编号(-1则为离群点)，随后将离群点进行清洗。LOF的聚类器参数如表2所示：

参数名	参数值
		一类数据中的数据条数	20
算法	自动局部异常因子算法
		叶节点的最大值	30
预期离群点的比例	0.05

表2

表2中主要的参数是预期离群点的比例，这里定义为5％，即预期数据内含有5％的异常离群数据。

步骤103中，针对数据的变化趋势，采用有监督学习的方式，训练分类器，将监控项划分为第一类型数据、第二类型数据、其它数据。

监控项分类：完成了数据清洗的数据，便交由监控项分类器进行训练。这里的分类器主要是通过将数据的均值、方差、峰值、峰值时间、抖动幅度等统计信息输入到逻辑回归的分类器中进行有监督训练，将监控项分类为第一类型数据、第二类型数据、其它数据。其中，大体上看，第一类型数据指变化趋势与交易情况类似的数据，其往往在09:00～10:00、04:00～05:00出现峰值，抖动幅度较小。第二类型数据指类似批量任务的数据，其往往出现突升突降的情况，且均值、方差较高，且非常频繁达到峰值。其它数据往往变化趋势比较平缓，不定期出现少量突增。数据类型的规定可以根据具体场景来确定，举例来说，第一类型数据为第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段的数据；第二类型数据为在第二预设周期内的方差大于预设方差阈值的数据。

下面详细介绍对三种不同类型数据的处理方式：

(1)对于第一类型数据：使用时间序列解耦算法，如图2所示，为本申请实施例提供的一种数据监控方法中一种数据处理方法的示意图。将第一类型数据分解成趋势值、周期值、残差，利用分解出的趋势值、周期值、残差，再辅以交易量t，可以设定多时间段阈值：L1＝T+S₁±Δr。

其中，L1为上限阈值，T为趋势值，S₁为第一类型数据的周期值，Δr为波动范围，由T与交易量t的关系算出，举例来说，T＝k·t+b，波动范围Δr可以根据残差r进行估计，也可以根据具体场景进行设定。举例来说，Δr取r_max的5％或r的点估计值。随后在监控阶段，可根据该阈值对监控项进行初步判断，其变化趋势是否与往常一致。

(2)对于第二类型数据：首先试用上述的时间序列解耦算法，将批处理数据分解成趋势值、周期值、残差，取趋势值的均值T_Avg，计算得到标准波形：Standard＝T_Avg+S₂；S₂为批处理数据的周期值。随后，使用动态时间规整算法，计算每个周期中数据对于标准波形的相位差Δθ。在监控阶段，可对该相位差进行初步判断，当相位差处于预期范围内，则说明当前的批处理任务执行时间与平时一致。

(3)对于其它数据：仍旧采用固定上限阈值的方式进行监控。

步骤104中，将步骤101～步骤103生成的数据输入到关联混合决策器中进行训练。关联混合决策器：这是一个由多个二分类器组成的决策器，负责在上述三种数据判定为不在阈值范围内时，进行进一步判定。举例来说，在实施中，采用了3个分类器，分别是：高斯朴素贝叶斯、逻辑回归分类器、渐进梯度决策树分类器。在训练时，同时训练3个分类器，并根据3个的准确率，调整3个分类器的投票权重。

高斯朴素贝叶斯是一项根据先验概率进行分类判断的分类器，由于在训练数据较少的情况下，它仍然能够具有较好的准确率，故针对刚上线数据量较少的系统，它会具有较高的投票权重。如表3所示，实施中配置的参数如下：

参数名	参数值
		迭代值	<![CDATA[1/e<sup>9</sup>]]>

表3

逻辑回归是根据数值之间线性拟合关系进行计算，并通过sigmoid激活函数进行激活的分类器，具有较好的抗干扰性。故当监控数据中存在较多的干扰因素，且通过数据清洗无法完全去除的情况下，该项决策器的投票权重将比较高。如表4所示，实施中使用的参数如下：

参数名	参数值
		惩罚项	L1
不同样本的权重值	均衡

表4

这里在惩罚项的参数设定了L1范数惩罚项，这在回归算法中被称为Lasso回归，会对特征进行稀疏化，自动选择相关的特征，减少无关因素对于决策的干扰。

渐进梯度决策树是一种基于多颗决策树进行结果组合的分类器，对于非线性的数据有较好的分类效果，同时可以比较有效地避免过拟合的问题。故在非线性较强的场景中，会有比较高的投票权重。如表5所示，实施中使用的参数如下：

参数名	参数值
		决策树的数量	20
学习率	0.5
		采样率	0.8
损失函数	最大似然估计函数

表5

这里参数是根据最佳效果调整的学习参数。损失函数采用了对数似然损失函数，它对于二元分类和多元分类都有较好的优化效果。

如图3，为示例性地本申请实施例提供的一种数据监控方法的第一个流程示意图。

步骤301：确定第一监控项是否在预设取值范围内。

其中，第一监控项为信息系统的性能指标。

步骤302：若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值。

步骤303：根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

步骤301中，根据第一监控项的不同数据类型采用不同判别方式。若第一监控项为第一类型数据，则根据步骤101～步骤104确定出的时间段阈值确定第一监控项是否在预设取值范围内。举例来说，第一监控项在第一预设周期内的峰值和谷值均在第一预设周期内的第一预设时段，则根据以下方式确定预设取值范围：

对第一监控项在第一预设周期内每个第二预设时段的数据进行分解，获取分解后第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；之后，根据第一残差函数，确定第一监控项的残差余项在该第二预设时段的取值范围；将第一趋势函数、第一周期函数以及残差余项之和在该第二预设时段的取值范围，作为第一监控项预设取值范围在该第二预设时段的取值范围。

若第一监控项为第二类型数据，举例来说，所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：

对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；确定所述第二趋势函数在该第三预设时段的趋势均值；将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

步骤301之后，一种可选实施方式为，若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

步骤302中，高斯朴素贝叶斯分类器、逻辑回归分类器和渐进梯度决策树分类器是进行过训练的，训练过程如下：

第一步、将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项正常或异常的概率值。

第二步、分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值。

第三步、根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行调整。

基于上述训练过程，获取所述第一监控项的至少一个异常概率值的一种可选实施方式为：

将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

另一种可选实施方式为：

第一类型数据：采用上下限阈值型监控，通过时间序列周期解耦算法或长短期记忆网络算法，生成多时间段阈值。同时，若数据关联了其它监控项，则同时将数据输入多个决策器(包括支持向量机、渐进梯度决策树、贝叶斯分类、逻辑回归等)，训练各个决策器，并同时根据分类器的效果设定决策器的投票权值。第二类型数据：采用相位型监控，通过时间序列周期解耦算法，训练出标准周期波形，并计算每一天数据与标准波形的相位差。将相位差数据与关联监控项数据输入多个决策器(包括支持向量机、渐进梯度决策树、贝叶斯分类、逻辑回归等)，训练各个决策器，并同时根据分类器的效果设定决策器的投票权值。其它数据：根据其每日峰值设定固定上限阈值。

步骤303中，一种可选实施方式具体为：

根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

另外一种可选实施方式如下：

第一类型数据：根据多时间段阈值，首先判断监控项是否在预设的上下限范围内：若在范围内，则不进行告警；若不在范围内且配置有关联监控项，则将监控项以及其关联监控项一同输入混合决策器，决策是否存在异常；若不在范围内且没有配置关联配置项，则直接告警。第二类型数据：根据存储在数据库中的标准周期波形，使用动态时间规整算法，计算目前实施波形与标准波形的相位差距。若相位差在预期范围内，则不进行告警；若相位差不在预期范围内且配置有关联监控项，则将相位差以及其关联监控项一同输入混合决策器，决策是否存在异常；若不在范围内且没有配置关联配置项，则直接告警；其它数据：判断是否超过其固定上限阈值，若超过，则告警，否则不进行告警。

根据上述方法、参数，使用python语言编写的装置，在实际使用中验证可以灵活地对大部分监控项进行个性化的监控；同时，在营销等场景时，可以根据交易量的变化，有效地避免主机资源使用冲高情况的误报。在实际使用过程中，对比传统的监控方法，可以减少70％的误报，同时，对异常侦测成功率高达98％。该装置包括学习模块和监控模块。其中学习模块用于执行步骤101～步骤104；监控模块用于执行步骤301～步骤303。其中，在最初学习模块制定了阈值后，便进入“待机”状态：仅接受数据，不进行阈值更新；当监控模块判定需要进行告警时，根据告警结果的反馈，将触发学习模块更新阈值。根据这样的机制，可以保证当前的阈值的时效性，同时又不会过多地消耗无谓的计算力。学习模块在初始的阈值生成后，便进入“待机状态”，仅接受数据，不进行阈值更新；监控模块判断算法简单，消耗计算力、耗时都较少，可以在0.1秒级的时间对目标进行监控；在监控模块告警后，再触发学习模块对阈值进行更新调整，可以保证阈值的时效性。

一些具体例子如下：

11月23日，监控装置告警，查看发现是某系统批量子系统的任务执行晚开始了3个小时(原每日4:00开始执行，告警时，发现其相位差偏差了3个小时，从7点才开始执行)。

11月28日、30日，在营销前进行压测，虽然发现CPU值急剧上升，但根据关联决策器，发现当时的交易量也同比例急剧增加，故在容量充裕时不进行告警，符合预期。

本申请有如下的优点：

(1)采用智能算法针对监控值本身的变化特点对监控项进行分类，减少人工参与，提高效率。

(2)对于阈值型监控，基于时间序列分解算法设定多时间段阈值，使得监控阈值跟随监控项的变化趋势变化，灵活机动，避免“一刀切”导致的问题；

(3)对于存在关联关系的监控项，由支持向量机、渐进梯度决策树、贝叶斯分类、逻辑回归等算法进行学习、投票、判断，可避免各种营销场景中的误报现象。

如图4所示，为本申请实施例提供的一种数据监控装置的结构示意图。

本发明实施例提供了一种数据监控装置，包括：确定模块401，用于确定第一监控项是否在预设取值范围内；所述第一监控项为信息系统的性能指标；处理模块402，用于若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；以及用于根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

可选的，所述处理模块402具体用于：将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

可选的，所述处理模块402具体用于：根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

可选的，所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器是进行过训练的，具体训练过程如下：将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项异常的概率值；分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值；根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行更新。

可选的，所述确定模块401还用于：若所述第一监控项在第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第一预设周期内每个第二预设时段的数据进行分解，获取分解后所述第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；根据所述第一残差函数，确定所述第一监控项的残差余项在该第二预设时段的取值范围；将所述第一趋势函数、所述第一周期函数以及所述残差余项之和在所述该第二预设时段的取值范围，作为所述第一监控项所述预设取值范围在该第二预设时段的取值范围。

可选的，所述确定模块401还用于：若所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；确定所述第二趋势函数在该第三预设时段的趋势均值；将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

可选的，所述确定模块401还用于：若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种数据监控方法，其特征在于，包括：

若第一监控项在第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段，则根据以下方式确定预设取值范围：对所述第一监控项在所述第一预设周期内每个第二预设时段的数据进行分解，获取分解后所述第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；根据所述第一残差函数，确定所述第一监控项的残差余项在该第二预设时段的取值范围；将所述第一趋势函数、所述第一周期函数以及所述残差余项之和在所述该第二预设时段的取值范围，作为所述第一监控项所述预设取值范围在该第二预设时段的取值范围；

确定所述第一监控项是否在所述预设取值范围内；所述第一监控项为信息系统的性能指标；

若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；

根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值，包括：

将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

3.如权利要求2所述的方法，其特征在于，所述根据所述至少一个异常概率值，确定所述第一监控项是否异常，包括：

根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；

若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

4.如权利要求2所述的方法，其特征在于，所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器是进行过训练的，具体训练过程如下：

将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项异常的概率值；

分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值；

根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行更新。

5.如权利要求1-3任一所述的方法，其特征在于，所述确定第一监控项是否在预设取值范围之前，还包括：

若所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：

对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；

确定所述第二趋势函数在该第三预设时段的趋势均值；

将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；

将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

6.如权利要求1-3任一所述的方法，其特征在于，所述确定第一监控项是否在预设取值范围内之后，还包括：

若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

7.一种数据监控装置，其特征在于，包括：

确定模块，用于若第一监控项在第一预设周期内的峰值和谷值均在所述第一预设周期内的第一预设时段，则根据以下方式确定预设取值范围：对所述第一监控项在所述第一预设周期内每个第二预设时段的数据进行分解，获取分解后所述第一监控项在该第二预设时段的第一趋势函数、第一周期函数和第一残差函数；根据所述第一残差函数，确定所述第一监控项的残差余项在该第二预设时段的取值范围；将所述第一趋势函数、所述第一周期函数以及所述残差余项之和在所述该第二预设时段的取值范围，作为所述第一监控项所述预设取值范围在该第二预设时段的取值范围；确定所述第一监控项是否在所述预设取值范围内；所述第一监控项为信息系统的性能指标；

处理模块，用于若所述第一监控项不在所述预设取值范围内，且存在与所述第一监控项关联的至少一个第二监控项，则根据所述第一监控项以及所述至少一个第二监控项，获取所述第一监控项的至少一个异常概率值；以及用于根据所述至少一个异常概率值，确定所述第一监控项是否异常；若所述第一监控项异常，则所述信息系统的性能存在异常。

8.如权利要求7所述的装置，其特征在于，所述处理模块具体用于：

将所述第一监控项以及所述至少一个第二监控项一同输入以下至少一个分类器：高斯朴素贝叶斯分类器；逻辑回归分类器；渐进梯度决策树分类器；所述至少一个异常概率值包括以下至少一项：第一异常概率值；第二异常概率值；第三异常概率值；其中，所述第一异常概率值是所述高斯朴素贝叶斯分类器输出的异常概率值；所述第二异常概率值是所述逻辑回归分类器输出的异常概率值；所述第三异常概率值是所述渐进梯度决策树分类器输出的异常概率值。

9.如权利要求8所述的装置，其特征在于，所述处理模块具体用于：

根据第一乘积、第二乘积和第三乘积中至少一项，确定所述第一监控项为正常或异常的判决分值；所述第一乘积为所述第一异常概率值与所述高斯朴素贝叶斯分类器的投票权值的乘积；所述第二乘积为所述第二异常概率值与所述逻辑回归分类器的投票权值的乘积；所述第三乘积为所述第三异常概率值与所述渐进梯度决策树分类器的投票权值的乘积；

若所述判决分值位于预设正常分值区间内，则确定所述第一监控项为正常；否则，确定所述第一监控项为异常。

10.如权利要求9所述的装置，其特征在于，所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器是进行过训练的，具体训练过程如下：

将预采集的训练数据集中第一训练样本分别输入至所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器，分别对应获取输出的第一训练值、第二训练值和第三训练值；所述第一训练样本为所述训练数据集中任一训练样本，所述第一训练样本为：所述第一监控项和所述至少一个第二监控项的一组取值以及确定了所述第一监控项为正常或异常标签值的一组数据；所述第一训练值、所述第二训练值和所述第三训练值均为表征所述第一监控项异常的概率值；

分别确定所述第一训练值与所述标签值之间的第一误差值、所述第二训练值与所述标签值之间的第二误差值以及所述第三训练值与所述标签值之间的第三误差值；

根据所述第一误差值、所述第二误差值和所述第三误差值，对所述高斯朴素贝叶斯分类器、所述逻辑回归分类器和所述渐进梯度决策树分类器中每个分类器的参数和投票权值进行更新。

11.如权利要求7-9任一所述的装置，其特征在于，所述确定模块还用于：

若所述第一监控项在第二预设周期内的方差大于预设方差阈值，则根据以下方式确定所述预设取值范围：

对所述第一监控项在所述第二预设周期内每个第三预设时段的数据进行分解，获取分解后所述第一监控项在该第三预设时段的第二趋势函数、第二周期函数；

确定所述第二趋势函数在该第三预设时段的趋势均值；

将该第三预设时段的趋势均值和所述第二周期函数之和，作为所述第一监控项在该第三预设时段的标准函数；

将所述标准函数与该第三预设时段的趋势均值在该第三预设时段的相位差范围，作为所述预设取值范围在该第三预设时段的取值范围。

12.如权利要求7-9任一所述的装置，其特征在于，所述确定模块还用于：

若所述第一监控项不在所述预设取值范围内，且不存在与所述第一监控项关联的第二监控项，则确定所述第一监控项为异常。

Images