CN110807024A - 动态阈值异常检测方法、系统、存储介质及智能设备 - Google Patents

Abstract

本发明公开了一种动态阈值异常检测方法、系统、存储介质及智能设备，所述方法包括：获取对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据；根据所述清洗数据确定当前业务数据的序列类型；根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值；将当前真实数据输入异常检测模块，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型。本发明能够提高业务监控过程中的波动预警准确率、阈值的适应性，节约人工维护成本，满足了实际应用需求。

Description

动态阈值异常检测方法、系统、存储介质及智能设备

技术领域

本发明涉及时间序列的异常检测技术领域，特别是涉及一种动态阈值异常检测方法、系统、存储介质及智能设备。

背景技术

随着电信业务和大数据技术的不断发展，运营商服务类别及业务指标持续增多，同时业务数据的规模也飞速增长。因此面对数据异常波动时，维持的系统稳定性尤为重要，相关的异常检测方法也在持续更新。

目前常用的业务应用监控系统通常通过相关应用阀值设置，以实现数据中心服务器及业务应用系统故障前主动预警。其中，对于相关应用阀值设置，当前主流方法是通过同比、环比等方法设置静态经验阈值，它是将当前时刻数据和前一时刻数据(环比)或者前一天同一时刻数据(同比)比较，超过阈值即认为该点异常。然而该阈值通常依靠人工定义经验阈值，用当前时刻和前一时刻的数据作比较，超过阈值上下限即产生报警，阈值过大则易产生漏报，阈值过小则会产生更多误报，因此该阈值的适应性差，监控视野局限，且人工维护成本高。

发明内容

为了解决上述问题，本发明的目的是提供一种能够提高业务监控过程中的波动预警准确率、阈值的适应性，节约人工维护成本的动态阈值异常检测方法、系统、存储介质及智能设备。

一种动态阈值异常检测方法，所述方法包括：

对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据；

根据所述清洗数据确定当前业务数据的序列类型；

根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值；

获取待监控时刻点的预测值，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。根据本发明提供的动态阈值异常检测方法，通过对被监控业务指标的历史数据及当前数据进行数据清洗操作，得到清洗数据，从而剔除被监控业务指标中历史数据中的脏数据，修改数据格式为模型可识别的类型，进而提高预设时间周期内的对清洗数据进行数据序列划分的可靠性；通过根据所述清洗数据确定当前业务数据的序列类型，以便于及时确定符合要求的预测模型；通过根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，得到待监控时刻点的阈值基准值，以便于根据该阈值上下限范围进行异常点检测，并过滤异常数据；通过获取待监控时刻点的预测值，输入待监控时刻点的真实值进行检测，当真实值为异常时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记，以避免历史监测点若存在异常而影响后续待检测点检测的准确性，为后续告警提供参考。本发明能够适用于复杂多变的业务场景、能够快速有效地识别业务数据中的异常情况，减少误报与漏报，为业务生产提供告警与支撑，满足了实际应用需求。

另外，根据本发明上述的动态阈值异常检测方法，还可以具有如下附加的技术特征：

进一步地，对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据的方法包括：

获取被监控业务指标的历史数据及当前数据，对该被监控业务指标的历史数据及当前数据进行抽取与分解形成清洗因子；

根据所述清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗操作；

将预设时间周期内的所述清洗数据划分为若干段数据序列。

进一步地，所述清洗数据的序列类型包括周期序列、趋势序列及随机序列，根据所述清洗数据确定当前业务数据的序列类型的方法包括：

计算每段数据序列与标准数据序列的相似度，当该段数据序列与标准数据序列的相似度大于预设阈值时，则该段数据序列的序列类型为周期序列；

分别对每段数据序列及清洗数据进行小波变换，以得到每段数据序列的局部波动及清洗数据的全局波动，当清洗数据的全局波动大于或等于该段数据序列的局部波动时，则该段数据序列的序列类型为趋势序列；

当该段数据序列既不满足周期序列的条件也不满足趋势序列的条件时，则该段数据序列的序列类型为随机序列。

进一步地，根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值的方法包括：

根据时间窗口将所述清洗数据划分为若干清洗数据段，并对各清洗数据段进行差分处理，以得到数据平稳的样本数据；

根据所述样本数据的数据类型，将所述样本数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。

进一步地，当所述样本数据的数据类型周期序列时，所述清洗数据的预测模型为：

Y_t+1＝a_t+b_t+S_t+1-k

其中，a_t为随机分量，b_t为趋势分量，S_t为周期分量。

进一步地，将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型的方法包括：

通过将待监控时刻点的真实值同获取到的待监控时刻点的预测值进行对比，计算所述预测值与真实值的误差值，当所述误差值的绝对值大于预测均值的预设倍数的标准差时，则该待监控时刻点的真实值存在异常；

划分时间窗口，分别计算待监控时间窗口及前一监控窗口的误差值均值，当所述误差值均值大于前一监控时间窗口的标准差的预设倍数时，则该待监控窗口的第一个待监控点的真实值存在异常；

当该待监控时刻点在上述两步检测中同时为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。

进一步地，当所述误差值的绝对值大于预测均值的2.5倍的标准差时，则该待监控时刻点的真实值存在异常；

当所述误差值均值大于前监控窗口标准差的2倍时，则该待监控窗口的第一个监控时刻点的真实值存在异常。

本发明的另一实施例提出一种动态阈值异常检测系统，解决了现有阈值的确定通常依靠人工定义经验阈值，用当前时刻和前一时刻的数据作比较，超过阈值上下限即产生报警，阈值过大则易产生漏报，阈值过小则会产生更多误报，因此该阈值的适应性差，监控视野局限，且人工维护成本高的问题。

根据本发明实施例的动态阈值异常检测系统，包括：

清洗模块，用于对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据；

分类模块，用于根据所述清洗数据确定当前业务数据的序列类型；

预测模块，用于根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值；

检测模块，用于将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型。

本发明的另一个实施例还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明的另一个实施例还提出一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

图1是本发明第一实施例提出的动态阈值异常检测方法的流程图；

图2是图1中步骤S101的具体流程图；

图3是图1中步骤S102的具体流程图；

图4是图1中步骤S103的具体流程图；

图5是图1中步骤S104的具体流程图；

图6是本发明第一实施例提出的动态阈值异常检测方法的实施示意图；

图7是本发明第二实施例提出的动态阈值异常检测系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图6，本发明第一实施例提出的一种动态阈值异常检测方法，其中，包括步骤S101～S104：

步骤S101，对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据。

其中，业务数据根据时间发展变化形成一时间序列，在该时间序列的形成过程中通常会出现空值、无效数据及异常数据，从而使数据获取的可靠性降低，因此需对所获取的数据中的空值、无效数据及异常数据进行剔除、替换与预警。具体的，在现有技术中，通常通过静态阈值对异常数据进行剔除，然而该静态阈值为人工定义经验阈值，即用当前时刻和前一时刻的数据作比较，超过阈值上下限即产生报警，阈值过大则易产生漏报，阈值过小则会产生更多误报；面对当今复杂多变且体量日益增大的业务指标，静态阈值适应性差，监控视野局限，且人工维护成本高。本发明实施例中，为了解决这一问题，实时的根据业务数据的历史数据及当前数据对待监控时刻点阈值基准值进行预测，并能够在待监控时刻点的预测值为异常值时，对该待监控时刻点的预测值进行阈值基准值替换与异常标记，从而能够提高业务监控过程中的波动预警准确率、阈值的适应性，节约人工维护成本。

在本实施例中，通过对被监控业务指标的历史数据及当前数据进行数据清洗操作，以对被监控业务指标的历史数据及当前数据进行数据的整合及异常数据的清除，避免由于数据获取的差异性而造成误差的累积，提高了数据获取的可靠性。

请参阅图2，对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据的方法包括如下步骤：

步骤S1011，获取被监控业务指标的历史数据及当前数据，对该被监控业务指标的历史数据及当前数据进行抽取与分解形成清洗因子。

步骤S1012，根据所述清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗操作。

步骤S1013，将预设时间周期内的所述清洗数据划分为若干段数据序列。

如上所述，通过对被监控业务指标的历史数据及当前数据的实时获取，以提高数据获取的及时性，避免了由于数据的时域性特点而影响数据获取的可靠性；通过对被监控业务指标的历史数据及当前数据进行抽取与分解形成清洗因子，以便于根据清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗。其中，对被监控业务指标的历史数据及当前数据进行抽取与分解的方法如：通过ETL(Extract-Transform-Load)将系统采集到的历史业务数据及当前数据如工单量、话务呼入量、下单量进行有效数据及典型数据的抽取，并将抽取的数据根据时间周期、业务类型、成本数据等通过ETL(Extract-Transform-Load)进行数据的分解，从而得到所述清洗因子。通过根据所述清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗操作，提高数据清洗的可靠性。通过将预设时间周期内的清洗数据划分为若干段数据序列，以便于根据各段数据序列的类型对预设时间周期内的清洗数据进行类型划分。

步骤S102，根据所述清洗数据确定当前业务数据的序列类型。

如上所述，为提高阈值预测的可靠性，因此需根据对被监控业务指标的历史数据及当前数据进行数据清洗操作所得到的清洗数据的类型确定当前业务数据的序列类型，为下一步确定待监控时刻点的阈值基准值提供必要条件。

请参阅图3，所述清洗数据的序列类型包括周期序列、趋势序列及随机序列，根据所述清洗数据确定当前业务数据的序列类型的方法包括如下步骤：

步骤S1021，计算每段数据序列与标准数据序列的相似度，当该段数据序列与标准数据序列的相似度大于预设阈值时，则该段数据序列的序列类型为周期序列。

步骤S1022，分别对每段数据序列及清洗数据进行小波变换，以得到每段数据序列的局部波动及清洗数据的全局波动，当清洗数据的全局波动大于或等于该段数据序列的局部波动时，则该段数据序列的序列类型为趋势序列。

步骤S1023，当该段数据序列既不满足周期序列的条件也不满足趋势序列的条件时，则该段数据序列的序列类型为随机序列。

如上所述，由于时间序列通常包含三种分量：周期分量、趋势分量和随机分量，因此当前业务数据的序列类型包括：周期序列、趋势序列及随机序列。业务数据一般是周期为24h的时间序列，以此为周期将当前业务数据划分为N段数据序列，计算每段数据序列与标准数据序列的相似度，当该段数据序列与标准数据序列的相似度大于预设阈值如95％时，则该段数据序列的序列类型为周期序列，否则，该段数据序列的序列类型为非周期序列。

当该段数据序列的序列类型为非周期序列时，分别对每段数据序列及清洗数据进行小波变换，以得到每段数据序列的局部波动及清洗数据的全局波动，当清洗数据的全局波动大于或等于该段数据序列的局部波动时，则该段数据序列的序列类型为趋势序列。其中，小波变换将清洗数据所形成的时间序列中的低频分量和高频分量分离，低频部分代表清洗数据的整体波动趋势，高频部分包含了清洗数据的突变部分，若一段数据序列的局部波动大于全局波动，则该段数据序列不具有整体趋势特征，否则说明该段数据序列具备整体向上或向下的趋势；若该段数据序列既不满足周期序列的条件也不满足趋势序列的条件时，则该段数据序列的序列类型为随机序列。

步骤S103，根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。

如上所述，为保证预测准确性，输入的历史数据需确保平稳，故在预测之前增加样本截取步骤，选择最平稳的最近一段时间窗口数据作为训练样本。

请参阅图4，根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值的方法包括如下步骤：

步骤S1031，根据时间窗口将所述清洗数据划分为若干清洗数据段，并对各清洗数据段进行差分处理，以得到数据平稳的样本数据。

步骤S1032，根据所述样本数据的数据类型，将所述样本数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。

具体的，划分时间窗口分段求均值后做数据平稳性检验，通过ADF-Test(Augmented Dickey-Fuller test，单位根检验)后说明截取的样本数据平稳，可以输入预测模块，否则进行差分直至平稳后进行预测。以样本截取后的数据输入模型进行阈值基准值的预测。根据序列分类的分类结果，当所述样本数据的数据类型周期序列时，所述清洗数据的预测模型(即三次指数平滑模型)为：

Y_t+1＝a_t+b_t+S_t+1-k

a_t＝a(Y_t-s_t-k)+(1-α)(a_t-1+b_t-1)

b_t＝β(a_t-a_t-1)+(1-β)b_t-1

S_t＝Y(Y_t-a_t)+(1-γ)S_t-k

其中，a_t为随机分量，b_t为趋势分量，S_t为周期分量α，β，γ为模型参数，值都位于[0，1]之间，k为周期。

可以理解的，若所述样本数据的数据类型不具有周期特性，具有趋势特性，使用二次指数平滑法预测，参数选择趋势分量；当所述样本数据的数据类型只包含随机特性，使用恒定阈值法预测，阈值基准值为窗口均值。通过均值漂移不断截取最接近待预测时间的历史平稳样本来进行预测，三次指数平滑法利用历史数据和相关统计信息，根据厚近薄远的原则进行加权并修匀数据，因此该模型具有检索异常数据影响的功能。操作上简单且计算成本要求较低，节省数据处理时间和空间，同时确保了阈值基准值的预测准确性。

步骤S104，将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型。

如上所述，由于待监控时刻点的业务数据的真实值，还需要与预测模型输出的预测值进行比较来判断是否出现异常，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。对比传统静态阈值方法更加灵活，适应度更高，更适合体量更大、更复杂的指标异常检测，同时在保证检测准确性的同时降低了误报率。

请参阅图5，获取待监控时刻点的预测值，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记的方法包括如下步骤：

步骤S1041，通过将待监控时刻点的真实值同获取到的待监控时刻点的预测值进行对比，计算所述预测值与真实值的误差值，当所述误差值的绝对值大于预测均值的预设倍数的标准差时，则该待监控时刻点的真实值存在异常。具体的，当所述误差值的绝对值大于预测均值的2.5倍的标准差时，则该待监控时刻点的真实值存在异常。

步骤S1042，划分时间窗口，分别计算待监控时间窗口及前一监控窗口的误差值均值，当所述误差值均值大于前一监控时间窗口的标准差的预设倍数时，则该待监控窗口的第一个待监控点的真实值存在异常。具体的，当所述误差值均值大于前一监控时刻点的标准差的2倍时，则该待监控时刻点的真实值存在异常。

步骤S1043，当该待监控时刻点在上述两步检测中同时为异常时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。

可以理解的，历史监测点若存在异常则会影响后续待检测点的检测准确性，故检测到异常后，将该异常点进行标注，并将该点实时数据用预测的阈值基准值替换后进行异常值检测，为后续告警提供参考。在本发明其他实施例中，也可以在步骤S1041、步骤S1042的检测结果同时为异常时则判定待检测点为异常点。

根据本发明提供的动态阈值异常检测方法，通过对被监控业务指标的历史数据及当前数据进行数据清洗操作，得到清洗数据，从而剔除被监控业务指标中历史数据及当前数据的无效数据，进而提高预设时间周期内的对清洗数据进行数据序列划分的可靠性；通过根据所述清洗数据确定当前业务数据的序列类型，以便于及时确定符合要求的预测模型；通过根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，得到待监控时刻点的阈值基准值，以便于根据该阈值上下限范围进行异常点检测，并过滤异常数据；通过将待监控时刻点的真实值同获取到的待监控时刻点的预测值进行对比，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记，以避免历史监测点若存在异常而影响后续待检测点检测的准确性，为后续告警提供参考。本发明能够适用于复杂多变的业务场景、能够快速有效地识别业务数据中的异常情况，减少误报与漏报，为业务生产提供告警与支撑，满足了实际应用需求。

请参阅图7，基于同一发明构思，本发明第二实施例提供的动态阈值异常检测系统，包括：

清洗模块10，用于对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据。

具体的，获取被监控业务指标的历史数据及当前数据，对该被监控业务指标的历史数据及当前数据进行抽取与分解形成清洗因子；根据所述清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗操作；将预设时间周期内的所述清洗数据划分为若干段数据序列。

分类模块20，用于根据所述清洗数据确定当前业务数据的序列类型。其中当前业务数据的序列类型包括，周期序列、趋势序列及随机序列。

具体的，计算每段数据序列与标准数据序列的相似度，当该段数据序列与标准数据序列的相似度大于预设阈值时，则该段数据序列的序列类型为周期序列；分别对每段数据序列及清洗数据进行小波变换，以得到每段数据序列的局部波动及清洗数据的全局波动，当清洗数据的全局波动大于或等于该段数据序列的局部波动时，则该段数据序列的序列类型为趋势序列；当该段数据序列既不满足周期序列的条件也不满足趋势序列的条件时，则该段数据序列的序列类型为随机序列。

预测模块30，用于根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。

具体的，根据时间窗口将所述清洗数据划分为若干清洗数据段，并对各清洗数据段进行差分处理，以得到数据平稳的样本数据；根据所述样本数据的数据类型，将所述样本数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。当所述样本数据的数据类型周期序列时，所述清洗数据的预测模型为：

Y_t+1＝a_t+b_t+S_t+1-k

其中，a_t为随机分量，b_t为趋势分量，S_t为周期分量。

检测模块40，用于将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型。

具体的，获取待监控时刻点的预测值，计算所述预测值与实际值的误差值，当所述误差值的绝对值大于预测均值的预设倍数的标准差时，则该待监控时刻点的真实值存在异常；设定时间窗口，分别计算待检测时间窗口与其前一时间窗口的误差值均值，当所述误差值均值大于前一监控时刻点的标准差的预设倍数时，则待监控窗口的第一个监控时刻点的真实值存在异常；当该待监控时刻点在上述两步检测中的真实值同时为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。

其中，当所述误差值的绝对值大于预测均值的2.5倍的标准差时，则该待监控时刻点的预测值存在异常；当所述误差值均值大于前一监控窗口的标准差的2倍时，则该待监控窗口的第一个监控时刻点的真实值的预测值存在异常。

根据本发明提供的动态阈值异常检测系统，通过对被监控业务指标的历史数据及当前数据进行数据清洗操作，得到清洗数据，从而剔除被监控业务指标中历史数据及当前数据的无效数据，进而提高预设时间周期内的对清洗数据进行数据序列划分的可靠性；通过根据所述清洗数据确定当前业务数据的序列类型，以便于及时确定符合要求的预测模型；通过根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，得到待监控时刻点的阈值基准值，以便于根据该阈值上下限范围进行异常点检测，并过滤异常数据；通过将待监控时刻点的真实值同获取到的待监控时刻点的预测值进行对比，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记，以避免历史监测点若存在异常而影响后续待检测点检测的准确性，为后续告警提供参考。本发明能够适用于复杂多变的业务场景、能够快速有效地识别业务数据中的异常情况，减少误报与漏报，为业务生产提供告警与支撑，满足了实际应用需求。

本发明实施例提出的动态阈值异常检测系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。

此外，本发明的实施例还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

此外，本发明的实施例还提出一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法的步骤。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种动态阈值异常检测方法，其特征在于，所述方法包括如下步骤：

对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据；

根据所述清洗数据确定当前业务数据的序列类型；

根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值；

将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型。

2.根据权利要求1所述的动态阈值异常检测方法，其特征在于，对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据的方法包括：

获取被监控业务指标的历史数据及当前数据，对该被监控业务指标的历史数据及当前数据进行抽取与分解形成清洗因子；

根据所述清洗因子对被监控业务指标的历史数据及当前数据进行数据清洗操作；

将预设时间周期内的所述清洗数据划分为若干段数据序列。

3.根据权利要求2所述的动态阈值异常检测方法，其特征在于，所述清洗数据的序列类型包括周期序列、趋势序列及随机序列，根据所述清洗数据确定当前业务数据的序列类型的方法包括：

计算每段数据序列与标准数据序列的相似度，当该段数据序列与标准数据序列的相似度大于预设阈值时，则该段数据序列的序列类型为周期序列；

分别对每段数据序列及清洗数据进行小波变换，以得到每段数据序列的局部波动及清洗数据的全局波动，当清洗数据的全局波动大于或等于该段数据序列的局部波动时，则该段数据序列的序列类型为趋势序列；

当该段数据序列既不满足周期序列的条件也不满足趋势序列的条件时，则该段数据序列的序列类型为随机序列。

4.根据权利要求3所述的动态阈值异常检测方法，其特征在于，根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值的方法包括：

根据时间窗口将所述清洗数据划分为若干清洗数据段，并对各清洗数据段进行差分处理，以得到数据平稳的样本数据；

根据所述样本数据的数据类型，将所述样本数据输入对应的预测模型，以得到待监控时刻点的阈值基准值。

5.根据权利要求3所述的动态阈值异常检测方法，其特征在，当所述样本数据的数据类型周期序列时，所述清洗数据的预测模型为：

Y_t+1＝a_t+b_t+S_t+1-k

其中，a_t为随机分量，b_t为趋势分量，S_t为周期分量。

6.根据权利要求1所述的动态阈值异常检测方法，其特征在于，将当前真实数据输入异常检测模块，基于阈值基准值增加动态阈值范围，当该监控时刻点的真实值超出动态阈值范围时，对真实值标记异常并用阈值基准值替换后加入历史数据队列，以便修正模型的方法包括：

通过将待监控时刻点的真实值同获取到的待监控时刻点的预测值进行对比，计算所述预测值与真实值的误差值，当所述误差值的绝对值大于预测均值的预设倍数的标准差时，则该待监控时刻点的真实值存在异常；

划分时间窗口，分别计算待监控时间窗口及前一监控窗口的误差值均值，当所述误差值均值大于前一监控时间窗口的标准差的预设倍数时，则该待监控窗口的第一个待监控点的真实值存在异常；

当该待监控时刻点在上述两步检测中同时为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。

7.根据权利要求6所述的动态阈值异常检测方法，其特征在于，

当所述误差值的绝对值大于预测均值的2.5倍的标准差时，则该待监控时刻点的真实值存在异常；

当所述误差值均值大于前监控窗口标准差的2倍时，则该待监控窗口的第一个监控时刻点的真实值存在异常。

8.一种动态阈值异常检测系统，其特征在于，所述系统包括：

清洗模块，用于对被监控业务指标的历史数据及当前数据进行数据清洗操作，以得到清洗数据；

分类模块，用于根据所述清洗数据确定当前业务数据的序列类型；

预测模块，用于根据所述当前业务数据的序列类型将清洗数据输入对应的预测模型，以得到待监控时刻点的阈值基准值；

检测模块，用于获取待监控时刻点的预测值，当该待监控时刻点的真实值为异常值时，对该待监控时刻点的真实值进行阈值基准值替换与异常标记。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任意一项所述的方法。

10.一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。

Images