CN113064796B - 一种无监督指标异常检测方法 - Google Patents

Abstract

本发明涉及一种无监督指标异常检测方法，该方法包括：预先将指标突变异常进行分类；根据指标突变异常的不同类别的性质，将对应的指标类型划分为不同类型；获取待检测指标数据，对于一条指标及其一定长度的历史数据，对其所属指标类型进行判断；判断指标类型后，对指标数据进行预处理；对指标逐点提取稳定性特征，并将其转变为平稳型指标，随后通过计算上、下阈值并与上、下阈值比较的方法来进行异常检测，当平稳型指标的实际值大于上阈值时，检测为突增异常，当平稳型指标的实际值小于下阈值时，检测为突降异常。与现有技术相比，本发明具有提高召回率和准确率、检测效率高、拓宽检测适用场景等优点。

Description

一种无监督指标异常检测方法

技术领域

本发明涉及计算机技术领域，尤其是涉及一种无监督指标异常检测方法。

背景技术

运维系统的异常指标检测模型负责监控运维系统中关于应用、硬件等多个分支的指标。每个指标的数据均进行采集，并输入模型及时反馈异常情况。目前常用的异常指标检测方法主要以下三种类型：

1、传统的统计学模型。例如设定固定阈值的检测模型，滑动平均模型，ARIMA模型等。

2、监督集成方法。例如EGADS，Opprentice等，这些模型以传统的统计模型(平均取多个参数)计算出来的异常分数作为数据的特征向量，以用户标注数据的异常状态作为标签来训练一个集成模型(如随机森林模型等)作为异常分类器(二元分类器)，随后利用训练出来的模型去检测异常。

3、基于VAE等的无监督预测模型，例如DONUT。

然而上述常用的异常指标检测方法存在以下不足：

a)传统的统计学模型需要大量的调参工作，且调试出来的模型准确率低，误报率高。

b)监督集成方法需要大量的人工标注工作，现实情况是，一家机构或者公司监测的指标并非一条两条而是成百上千，成千上万条，且随着系统的更新，会有新的指标纳入监测系统，且对于同一条指标，在系统更新后旧的模型也有可能不适用。这将导致基于监督的模型的使用场景大大受限。

c)基于VAE的DONUT模型的缺点，一是需要一定的人工调参才能有较好的效果；二是在模型训练的时候因为没有标签数据，导致模型会把历史数据中的异常数据当作正常数据去学习，降低了模型的检测效果；三是需要大量的历史数据才能学到一个较好的模型并且召回率高但是准确率低(误判率高)；四是适用场景有限，只适用于周期型的指标数据。

发明内容

本发明的目的就是提供一种无监督指标异常检测方法，以至少部分地解决上述现有技术存在的缺陷。

本发明的目的可以通过以下技术方案来实现：

一种无监督指标异常检测方法，该方法包括如下步骤：

预先将指标突变异常进行分类；

根据指标突变异常的不同类别的性质，将对应的指标类型划分为不同类型；具体划分为周期型指标、稳定型指标和长期波动大、短期波动小指标。

获取待检测指标数据，对于一条指标及其历史数据，对其所属指标类型进行判断；首先判断待检测指标数据是否为周期型数据，若不是，则在根据其长期和短期波动的大小判断其为稳定型指标还是长期波动大短期波动小的指标。首先判断待检测指标数据是否为周期型数据的具体内容为：计算待检测指标数据的历史数据相邻周期之间的SBD，取其平均值，若该平均值小于一个固定阈值，则判断待检测指标数据为周期型指标，反之则不是。

判断指标类型后，对指标数据进行预处理；具体地，对指标数据进行标准化处理，对标准化后的数据利用邻近值的均值补全缺失值；对于周期型指标的预处理过程，还包括在补全缺失值后，采用滑窗内数据的均值替代原始数据以减小数据的波动性。

对指标逐点提取稳定性特征，并将其转变为平稳型指标，随后通过计算上、下阈值并与上、下阈值比较的方法来进行异常检测，当平稳型指标的实际值大于上阈值时，检测为突增异常，当平稳型指标的实际值小于下阈值时，检测为突降异常。其中，对指标数据进行预处理后，对周期型指标进行稳定性特征提取的具体内容为：

11)首先将同时刻不同周期的数据进行排序；

12)设定比率阈值q％，将排序后的数据截断其位于排序前侧q％和排序后侧q％的数据，将其余数据的均值作为此时刻的基本值并保留其方差；

13)将历史数据按时刻减去步骤12)中的基本值，并除以方差获取周期型指标的稳定性特征x`。

对周期型指标通过计算阈值进行异常检测的具体内容为：

通过周期型指标的历史数据提取平稳性特征数据，根据平稳型指标的异常检测方法获取上、下阈值；对获取的周期型指标的稳定性特征x`与上、下阈值进行判断，若x`的值大于上阈值，则报突增异常，若x`的值小于下阈值，则报突降异常。

对长期波动大、短期波动小指标通过计算阈值进行异常检测的具体内容为：

21)将长期波动大、短期波动小指标逐点进行窗口差分比处理，获取长期波动大，短期波动小指标的稳定性的特征；

22)根据平稳型指标的异常检测方法获取上、下阈值；

23)对获取长期波动大，短期波动小指标的稳定性的特征x`与上、下阈值进行判断，若x`大于上阈值，则报突增异常，若x`小于下阈值，则报突降异常。

根据平稳型指标的异常检测方法获取上、下阈的具体内容为：

确定指标数值的正常取值区间，若指标观测值不在正常取值区间时，则将指标视为异常；所述指标数值的正常取值区间利用机器学习算法KDE和统计学规律对指标的历史数据进行拟合获取。

进一步地，所述指标数值的正常取值区间利用机器学习算法KDE和指标的历史数据拟合获取的具体内容为：

首先利用机器学习算法KDE和指标的历史数据拟合指标的概率分布P，训练得到指标的概率分布P后，设定一个概率阈值p，计算P(X>x_up)＝p和P(X<x_down)＝p，进而获取上阈值x_up和下阈值x_down，其中p为极小的异常概率阈值，X为随机变量，X符合正太分布Ν(μ,σ²)。

本发明提供的无监督指标异常检测方法，相较于现有技术至少包括如下有益效果：

一、提出了基于指标数据的内在稳定性提取指标数据的稳定性特征，将其转换为稳定型数据，然后基于机器学习算法KDE和统计学分析进行异常检测的算法框架，即通过指标数据的内在稳定性将其它类型的突变异常转变为全局突变异常，然后通过机器学习算法KDE和统计学分析对全局异常进行异常检测的算法框架，可使得异常检测的召回率和准确率能够远远高于传统的统计分析模型；

二、本发明方法为无监督指标异常检测方法，无需或只需要少量的人工调参，无论是否更新，都适用于周期型、稳定型、长期波动大短期波动小的指标，且检测时无需大量的历史数据进行处理，处理效率更快，检测效率更高；

三、相比于现有技术，本发明适用于周期型、稳定型、长期波动大短期波动小的指标，大幅度拓宽了检测适用场景，且基于本发明方法的检测方案，可以将指标异常检测扩展到其它类型的指标数据上，更有利于拓宽适用场景。

附图说明

图1为实施例中本发明无监督指标异常检测方法的原理流程示意图；

图2为实施例中利用本发明方法对不同指标类型进行异常检测的结果显示图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

为了解决现有指标异常检测算法的不足，本发明提供了一种无监督指标异常检测方法，该方法针对运维系统提出了新的指标异常检测框架，在现有模型的基础上避免了监督模型需要大量的人工标志，传统统计模型需要大量调参，DONUT模型适用场景有限且需要人工调参的缺点，并且提高了指标异常检测的召回率和准确率。

在新的指标异常检测框架中，所有类型的指标的一种共性是极大多数数据(>99％)都是正常的，即指标数据都是内在稳定的，各指标的稳定性是“正常“，而本发明方法的核心是研究各种类型指标的内在稳定性，提取稳定性特征，将其转换为”稳定型“指标数据，然后使用机器学习模型+统计分析方法来进行异常检测。

异常的定义：异常的定义有多种，比如孤立森林中将异常定义为“容易被孤立的离群点”，在指标异常检测领域，异常基本就是指突变(突增和突降)，经过深入研究和测试，本发明方法进一步将这种突变异常分为以下三类：

周期型突变，即相对于历史同周期数据而言的突变，这种突变适用于周期型指标；

全局突变，即相对于历史所有数据而言的突变，这种突变适用于稳定型指标；

局部突变，即相对于短期历史数据而言的突变，这种突变适用于长期波动大短期波动小的指标。

根据指标的性质，将对应的指标类型划分为以下几类：

周期型指标：周期型指标在不同周期的相同时刻有相近的取值，而且周期基本是一天；

稳定型指标：数据无规律波动，但正常基本在一个较小的波动范围(即围绕一个均值上下波动)；

趋势型指标：长期波动大、短期波动小：数据无规律波动，但是正常情况下短期波动小，不应有突增、突降；

其它。

依据上述的划分内容，在指标异常检测过程中，首先进行指标类型判断，具体地：

获取待检测指标数据，对于一条指标和其一定长度(一般为一个月)的历史数据，先判断其是否为周期型数据，如若不是，在根据其长期和短期波动的相对大小判断其是稳定型指标还是长期波动大短期波动小的指标。

对于周期型判断：计算历史数据相邻周期(天)之间的SBD(shape-baseddistance)，取其平均值，若其小于一个固定阈值(这个阈值可用已知周期型指标计算出来，经验取值为0.07)则是周期型指标，反之则不是。

对于稳定型和长期波动大、短期波动小的指标判断：数据方差可以直接表达全局波动大小，对数据施加小尺度的小波变换可以得到局部波动，局部波动的方差反应了局部波动的大小。若局部波动和全局波动相近则是稳定型指标，若相差较大且局部波动较小则视为长期波动大、短期波动小的指标，即趋势型指标。其中长期波动是通过计算一定时间(长时间窗口，比如一周)内数据的方差(记为std1)来衡量的。短期波动是通过计算多个短时间窗口(比如一小时)内的数据的方差的平均值(记为std2)来衡量的。如果std1-std2>thres，则表示波动相近，否则为较大。thres是设定的阈值(该值是通过多个有波动大小标签的指标数据的std1-std2值训练出来的，例如得到的一个实验数据为0.215)。

指标类型判断后，对指标数据进行预处理，处理过程包括：

标准化：即将原始数据标准化为均值为0方差为1的数据。

缺失值补全：用邻近值的均值补全缺失值。

滑动窗口平滑：使用滑窗内数据的均值替代原始数据以减小数据的波动性，此数据预处理只在判断指标是否为周期型指标时使用。

对指标数据预处理后，对周期型和长期波动大、短期波动小的指标逐点提取稳定性特征，将其转变为平稳型指标(即将异常中的周期型突变和短期突变转变为全局突变)，然后使用机器学习算法KDE(核密度估计)和统计分析方法来计算阈值(上、下阈值)的方法来检测异常。当平稳型指标的实际值大于上阈值的时候检测为突增异常，当实际值小于下阈值的时候检测为突降异常。

其中，周期型指标的稳定性特征提取过程如下：

周期型指标的特点是在不同周期的相同时刻有相近的取值，这也是周期型指标的稳定性，即“在不同周期的相同时刻有相近的取值“，且周期基本是一天，所以，所谓的周期型突变就是相比于历史数据不同周期相同时刻而言的突增突降。如何准确的区分正常的波动和异常的突变是提升异常检测效果的关键，另外，历史数据可能存在一些异常值，这些值会干扰模型的判断，经过深入研究发现，将同时刻不同周期的数据排序后，异常值只会在两端极小的区域出现，因此本发明的方案是设定一个较大比率阈值q(可优先采用3％，3％可以看做是异常发生概率，一般系统发生异常的占比(或者概率)是很小的(可优先采用<1％的值)，所以截断前后3％的数据能够保证留下来的数据是正常的数据。这里之所以是前后各3％是因为，有些系统的异常累积在较小端，有些系统的异常累积在较大端，有些则在两端都有)，将前后两端的比率阈值的数据给过滤掉，以剩下的数据的均值作为此时刻的基本值并保留其方差，具体计算方法为：

设l＝[l_1,l_2,…,l_n]是排完序后的时刻k的历史取值，length＝int(n*p)(int(x)表示取x的下整数，比如int(4.5)＝4)，那么时刻k的基本值baseline_k＝mean([l_length,l_length+1,…,l_n-length])，方差std_k＝std([l_length,l_length+1,…,l_n-length])。用同样的方法取得其它时刻的基本值就可以得到一个周期(一天)的基本值baseline＝[baseline_1,baseline_2,…,baseline_m](m是一天数据点的总数，可以通过采集间隔计算得到)和方差std＝[std_1,std_2,…,std_m]。然后将历史数据按时刻减去基本值除以方差进行稳定性特征提取，设X＝[x_1,x_2,…,x_m]为一天的数据，减去基本值除以方差，得到：

X`＝[(x_1-baseline_1)/std_1,(x_2-baseline_2)/std_2,…,(x_m-baseline_m)/std_m]

X`即是稳定性特征值，本发明将这种特征提取方法称为截断z-score转换，这种特征提取方法可以有效的避免异常值的影响。提取后的数据符合平稳型指标的特征，然后通过提取出的历史数据的平稳性特征数据按照平稳型指标的异常检测方法(见下文)得到上、下阈值，实时检测时，先对观测数据(观测数据就是指指标的实际的数据(即观测到的数据)，对应的是模型的拟合数据(或者叫预测数据))x进行标准化，然后减去同时刻的基本值并除以同时刻的方差得到其平稳性特征值x`，如果x`大于上阈值则报突增异常，小于下阈值则报突降异常。并且，基本值和方差会用最近的一定时长(3～6个月)的数据实时更新。

趋势型指标的稳定性特征提取的过程如下：

这种类型的指标的数据特点是长期波动大，正常情况下短期波动小，没有突增突降，对应的异常类型是局部突变，为了提高算法对这种类型的异常的检测准确率和召回率，本发明经过深入研究和大量测试，发现将其转换为全局性突变(即提取稳定性特征)是一种十分有效的方法。这种类型的指标数据的稳定性在于“短期波动小“，籍此可以提取出稳定性特征值。一种直观的办法是一阶差分，但是为了剔除毛刺和考虑数据的累加性，本发明采用了更加平滑的方法，即窗口差分比，将长期波动大、短期波动小的指标逐点进行窗口差分比处理，得到稳定性特征值，计算式为：

x_t`＝(sum_t_w-sum_t_w-1)/sum_t_w-1

其中，t指时间，指标是时序数据，每个数据点包含两个数值(ts,value)，ts为时间戳，value为指标在这个时间点的取值；x_t则是指t时刻指标的取值，x_t-1是指t-1时刻指标的取值。指标异常检测是实时的，这里的t的含义就是指检测时的时间点，sum_t_w是指标t-w+1时刻到t时刻指标取值的和。sum_t_w-1是t-2w+1时刻到t-w时刻指标取值的和。w是指时间窗口大小，即sum_t_w是t时刻往前第一个w时间窗口内指标取值之和，sum_t_w-2是t时刻往前第二个w时间窗口内指标取值之和。x_t’是sum_t_w减去sum_t_w-1的差值除以sum_t_w-1得到的值，称为窗口差分比，即sum_t_w＝sum([x_t,x_t-1,…,x_t-w+1])，sum_t_w-1＝sum([x_t-w,x_t-w-1,…,x_t-2w+1])。经过窗口差分比转换后，可以得到稳定性的特征值，其满足稳定型指标的特征，然后按照平稳型指标的异常检测方法(见下文)得到稳定性特征值的上、下阈值，实时检测时，先对观测数据(观测数据就是指实际的数据(即观测到的数据)，对应的是模型的拟合数据(或者叫预测数据))x进行标准化转换，然后按照窗口差分比计算稳定性特征x`，如果x`大于上阈值则报突增异常，小于下阈值则报突降异常。

稳定型指标的异常检测方法：

稳定型指标的数据特点是数据无规律波动，但正常基本在一个较小的波动范围(即围绕一个均值小范围上下波动)，其对应的异常是全局突变。所以，稳定型指标的异常检测方法是确定指标数值的正常取值区间，当观测值不在正常取值区间时视为异常。如何准确的找到取值区间是提升异常检测准确率和召回率的关键。本发明的算法模型来源于统计学规律(3-sigma原则)：设随机变量X符合正太分布Ν(μ,σ²)，那么概率P(X>μ+3δ)＝0.0013，P(X<μ-3δ)＝0.0013，即可以将不在区间[μ-3δ,μ+3δ]里的数据视作噪音或者异常点，对于稳定型的指标数据，因其数据特性“围绕一个均值小范围上下波动“符合这种规律，但是其数据分布不完全符合正太分布Ν(μ,σ²)，所以可用类似的方法来确定其正常取值区间(即上下阈值)。首先，利用机器学习算法KDE(核密度估计)和指标的历史数据来拟合其概率分布P，因为稳定型数据符合正太分布的特性，所以kernel(核)取的是高斯核。训练得到指标的概率分布P后，设定一个概率阈值p，然后计算P(X>x_up)＝p和P(X<x_down)＝p，即可得到上阈值x_up和下阈值x_down，其中p是极小的异常概率阈值，为了提高模型的泛化性能和普适性，经过深入研究和多次测试，证实p＝0.0013的平均召回率和精确率最高，这也与通过3-sigma原则理论分析得到的阈值一致。

图2为利用本发明方法进行异常检测的实际检测结果附图，对于不同指标类型进行了检测，给出了异常状态和正常状态的检测结果，并给出了指标出现的关联主机。

本发明提出了基于指标数据的内在稳定性提取指标数据的稳定性特征，将其转换为稳定型数据，然后基于机器学习算法KDE和统计学分析进行异常检测的算法框架。也即通过指标数据的内在稳定性将其它类型的突变异常转变为全局突变异常，然后通过机器学习算法KDE和统计学分析对全局异常进行异常检测的算法框架，异常检测的召回率和准确率能够远远高于传统的统计分析模型，如基于VAE的DONUT(无监督下)模型，且本发明方法不需要或者只需要少量的人工调参，适用于周期型、稳定型、长期波动大短期波动小的指标。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种无监督指标异常检测方法，其特征在于，该方法包括：

预先将指标突变异常进行分类；

根据指标突变异常的不同类别的性质，将对应的指标类型划分为不同类型；

获取待检测指标数据，对于一条指标及其历史数据，对其所属指标类型进行判断；

判断指标类型后，对指标数据进行预处理；

对指标逐点提取稳定性特征，并将其转变为平稳型指标，随后通过计算上、下阈值并与上、下阈值比较的方法来进行异常检测，当平稳型指标的实际值大于上阈值时，检测为突增异常，当平稳型指标的实际值小于下阈值时，检测为突降异常；

根据指标突变异常的不同类别的性质，将对应的指标类型划分为周期型指标、稳定型指标和长期波动大、短期波动小指标；

对指标数据进行预处理的具体内容为：

对指标数据进行标准化处理，对标准化后的数据利用邻近值的均值补全缺失值；对于周期型指标的预处理过程，还包括在补全缺失值后，采用滑窗内数据的均值替代原始数据以减小数据的波动性；

对指标数据进行预处理后，对周期型指标进行稳定性特征提取的具体内容为：

11)首先将同时刻不同周期的数据进行排序；

12)设定比率阈值q％，将排序后的数据截断其位于排序前侧q％和排序后侧q％的数据，将其余数据的均值作为此时刻的基本值并保留其方差；

13)将历史数据按时刻减去步骤12)中的基本值，并除以方差获取周期型指标的稳定性特征x`。

2.根据权利要求1所述的无监督指标异常检测方法，其特征在于，对其所属指标类型进行判断的具体内容为：

首先判断待检测指标数据是否为周期型数据，若不是，则在根据其长期和短期波动的大小判断其为稳定型指标还是长期波动大短期波动小的指标。

3.根据权利要求2所述的无监督指标异常检测方法，其特征在于，首先判断待检测指标数据是否为周期型数据的具体内容为：

计算待检测指标数据的历史数据相邻周期之间的SBD，取其平均值，若该平均值小于一个固定阈值，则判断待检测指标数据为周期型指标，反之则不是。

4.根据权利要求1所述的无监督指标异常检测方法，其特征在于，对周期型指标通过计算阈值进行异常检测的具体内容为：

通过周期型指标的历史数据提取平稳性特征数据，根据平稳型指标的异常检测方法获取上、下阈值；对获取的周期型指标的稳定性特征x`与上、下阈值进行判断，若x`的值大于上阈值，则报突增异常，若x`的值小于下阈值，则报突降异常。

5.根据权利要求1所述的无监督指标异常检测方法，其特征在于，对长期波动大、短期波动小指标通过计算阈值进行异常检测的具体内容为：

21)将长期波动大、短期波动小指标逐点进行窗口差分比处理，获取长期波动大，短期波动小指标的稳定性的特征；

22)根据平稳型指标的异常检测方法获取上、下阈值；

23)对获取长期波动大，短期波动小指标的稳定性的特征x`与上、下阈值进行判断，若x`大于上阈值，则报突增异常，若x`小于下阈值，则报突降异常。

6.根据权利要求5所述的无监督指标异常检测方法，其特征在于，根据平稳型指标的异常检测方法获取上、下阈的具体内容为：

确定指标数值的正常取值区间，若指标观测值不在正常取值区间时，则将指标视为异常；所述指标数值的正常取值区间利用机器学习算法KDE和统计学规律对指标的历史数据进行拟合获取。

7.根据权利要求6所述的无监督指标异常检测方法，其特征在于，所述指标数值的正常取值区间利用机器学习算法KDE和统计学规律对指标的历史数据进行拟合获取的具体内容为：

首先利用机器学习算法KDE和指标的历史数据拟合指标的概率分布P，训练得到指标的概率分布P后，设定一个概率阈值p，计算P(X＞x_up)＝p和P(X＜x_down)＝p，进而获取上阈值x_up和下阈值x_down，其中p为极小的异常概率阈值，X为随机变量，X符合正太分布Ν(μ,σ²)。

Images