CN112188531B - 异常检测方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明实施例涉及人工智能技术领域，公开了一种异常检测方法、异常检测装置、电子设备及计算机存储介质，该方法包括：获取监控项目的历史运行数据；确定若干个跟随所述历史运行数据动态变化的异常检测阈值；根据若干个所述异常检测阈值，检测所述监控项目的异常。该方法以已有的历史运行数据为基础，提供了合适的人工智能算法进行归纳总结，自动化的得出对应的动态阈值，可以有效的降低阈值或者门限设置所需要耗费的工作量，保证阈值或者门限设置的合理性的同时，满足多监控项目以及复杂场景下的异常检测的使用需求。

Description

异常检测方法、装置、电子设备及计算机存储介质

技术领域

本发明实施例涉及人工智能技术领域，具体涉及一种异常检测方法、异装置、电子设备及计算机存储介质。

背景技术

随着科学技术的不断进步，无线通信网络的各项工作指标均出现了显著的提升，人们对于无线通信网络或者移动互联网等的使用要求也越来越高。在运行过程中，能够快速并且准确的检测出移动互联网的业务异常是无线网络可靠运行的重要保障。

惯常的会采用静态阈值法来实现业务异常的监控。亦即，通过对各个监控项目设置一个固定的阈值，例如上门限或者下门限等，当监控项目的运行数据超过设定的阈值时，触发告警以实现异常检测。

在实现本发明实施例的过程中，发明人发现：静态阈值法比较适合应用在波动范围相对固定的监控项。对于移动互联网业务中存在的一些不具有明显上限或波动比较剧烈的监控项目而言，很难由固定或者静态的阈值来精确的进行异常检测。一方面，当阈值设置较大时，会出现漏报的情况，难以及时发现异常。另一方面，当阈值设置过小时，又会出现较多误告警，增加人工处理成本。

另外，整个移动互联网等无线网络中包含的监控项目繁多，依赖人工的方式进行大量的历史数据分析统计去制定具体的阈值或者异常检测判断标准的方式耗费的工作量庞大，而且效率较低。

发明内容

鉴于上述问题，本发明实施例提供了一种异常检测方法、异常检测装置、电子设备及计算机存储介质，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种异常检测方法。所述异常检测方法包括：

获取监控项目的历史运行数据；

确定若干个跟随所述历史运行数据动态变化的异常检测阈值；

根据若干个所述异常检测阈值，检测所述监控项目的异常。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，包括：

对所述历史运行数据进行预处理；

对所述预处理后的历史运行数据通过箱线图算法进行统计；

确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述历史运行数据的第一四分位数，P3为所述历史运行数据的第三四分位数，

为门限偏离幅度调整系数；

将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述监控上门限阈值T_h和监控下门限阈值T_l进行检验；

当所述监控上门限阈值T_h小于预设分位值F_h时，则调整分位值F_h为监控上门限阈值；

当所述监控下门限阈值T_l大于预设分位值F_l时，则调整分位值F_l为监控下门限阈值。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R；

所述历史趋势分量T为通过最小二乘法，以小时或天为周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；

所述历史周期分量S为所述预处理后的历史运行数据剔除所述历史趋势分量T的数据后，通过F值检验方法判断出最优周期，将所述最优周期内相同位置的均值；

所述历史余项分量R为所述预处理后的历史运行数据剔除所述历史趋势分量T和历史周期分量S后的数据。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

将所述历史余项分量R进行分位值统计，得到中位值R_m；

根据所述中位值R_m确定偏离门限阈值T_R＝3*R_m。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

基于所述历史周期分量S，采用箱线图算法进行统计；

确定周期分量偏离上门限阈值

确定周期分量偏离下门限阈值

其中，S1为所述历史周期分量S的第一四分位数，S3为所述历史周期分量S的第三四分位数，

为门限偏离幅度调整系数；

将所述周期分量偏离上门限T_sh和周期分量偏离下门限阈值T_sl作为第二异常区间。

在一种可选的方式中，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl进行校正。

在一种可选的方式中，所述根据若干个所述异常检测阈值，检测所述监控项目的异常，具体包括：

采集所述监控项目在当前检测周期的实际运行数据；

通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量；

确定所述实际运行数据是否存在异常事件；所述异常事件包括：所述采样监控分量处于所述第一异常区间、所述采样余项分量大于所述偏离门限阈值以及所述采样周期分量处于所述第二异常区间；

当在一个检测周期内，出现至少两个所述异常事件时，触发所述监控项目的异常告警；

当在相邻两个检测周期内，均出现至少一个所述异常事件时，触发所述监控项目的异常告警。

根据本发明实施例的另一方面，提供了一种异常检测装置。所述异常检测装置包括：

获取模块，用于获取监控项目的历史运行数据；

阈值计算模块，用于确定若干个跟随所述历史运行数据动态变化的异常检测阈值；

检测模块，用于根据若干个所述异常检测阈值，检测所述监控项目的异常。

根据本发明实施例的另一方面，提供了一种文本数据挖掘的电子设备。所述电子设备包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据如上所述的异常检测方法的步骤。

根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行根据如上所述的异常检测方法的步骤。

本发明实施例以已有的历史运行数据为基础，提供了合适的人工智能算法进行归纳总结，自动化的得出对应的动态阈值，可以有效的降低阈值或者门限设置所需要耗费的工作量，保证阈值或者门限设置的合理性的同时，满足多监控项目以及复杂场景下的异常检测的使用需求。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的异常检测方法的流程图；

图2示出了本发明另一实施例提供的异常检测方法的流程图；

图3示出了本发明实施例提供的时间序列分解方法的流程图；

图4示出了本发明实施例提供的异常检测装置的结构示意图；

图5示出了本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

“异常检测”是指根据实际运行参数的变动，检测和判断移动互联网等无线通信网络的运行是否出现异常的过程。“异常”包括无线通信网络中的其中一个或者多个业务的不正常状态或者非正常运行时出现的事件。亦即，出现异常告警或者检测异常时，需要维护人员针对对应的业务进行处理和维护。

图1示出了本发明异常检测方法实施例的流程图。该方法可以由任何合适类型，具有一定运算能力的电子设备执行，例如一个或者多个服务器集群架构形成的云端平台、服务器或者工作站。

在一些实施例中，该电子设备可以作为大型无线网络系统的其中一个功能模块，用于提供异常检测的功能。在另一些实施例中，该电子设备还可以相对于无线网络系统远程设置，作为功能接口，提供异常检测的功能。

如图1所示，该方法包括以下步骤：

步骤110：获取监控项目的历史运行数据。

“监控项目”是指在进行异常检测过程中的基础单元或者要素。亦即，异常检测过程中以监控项目为单位进行检测，分别对各个监控项目是否存在异常进行判断和检测。

具体的监控项目可以根据实际情况而确定或者设置，例如，可以从故障管理系统和集中性能管理系统等网络管理平台中获取如下的监控项目：排除用户原因的附着成功率、AAA计费开始请求成功率、Extended Service Request成功率、跟踪区更新成功率、AAA实时计费请求成功率、寻呼成功率、鉴权信息查询成功率、创建承载成功率、MME附着容量利用率、更新位置成功率、计费请求成功率、排除用户原因的2G附着成功率、S6a接口位置更新成功率、缺省承载建立成功率、排除用户原因的2G激活成功率、S6a接口获取鉴权集成功率、GGSN PDP上下文激活成功率、NB-IOT附着成功率、SGs接口位置更新成功率、IMS专用承载建立成功率、NB-IOT业务请求成功率、MME切换成功率、IMS专用承载更新成功率、SGSN_GPRSATTACH成功率、MME内X2接口切换成功率、重新鉴权成功率SGSN_PDP、激活成功率、S1模式Service Request成功率、应用会话授权成功率S1-MME以及接口Attach成功率等。

“历史运行数据”是每个监控项目在之前运行时间采集获得的数据，反映了监控项目在运行过程中的数据变化情况。具体采集的时间段以及数据数量可以根据实际情况或者多次实验结果由技术人员设置或者确定，为一个经验性数值。

在一些实施例中，采集获得历史运行数据的步骤中还可以包括有预处理的步骤，通过对原始采集的历史运行数据的筛选和处理，来避免某些异常时段的波动对后续算法处理的影响。

其具体的步骤可以包括：

首先，获取所述监控项目在不同测量时间的采样序列值作为所述历史运行数据。

在本实施例中，所述历史运行数据为所述监控项目在不同测量时间采样获得的数据值形成的时间序列。例如，可以设某一监控项目的历史运行数据为一个包含N项的数列Q＝{q₁,q₂,…,q_N}。其中，每一项对应的测量时间或者采样时间通过数列T＝{t₁,t₂,…,t_N}表示。

然后，通过聚类算法对所述历史运行数据进行预处理。最后，通过所述预处理剔除所述历史运行数据中的离群点，得到预处理后的历史运行数据。

继续以上述例子为例，在实际操作过程中，可以利用Kmeans聚类算法等对数列Q的数据，按照中心点数量(1,2,3)进行聚类。然后，选取其中轮廓系数最优的类别。最后，根据其他类别与最优的类别之间的距离以及数据点数量确定稀疏类。

例如，当数列Q的聚类结果所得的类别数量大于1时，可以删除数量少并且距离量最多的那一类的中心距离较大的数据点(即稀疏类)，从而实现对历史运行数据中的离群点的剔除。

步骤120：确定若干个跟随所述历史运行数据动态变化的异常检测阈值。

“动态变化”是指异常检测阈值具有自适应调整的特点。亦即，异常检测阈值可以根据不同的历史运行数据而适应性的变化。

“异常检测阈值”是用于进行异常检测时的判断标准的组成元素。其具体可以根据实际情况的需要，由技术人员设置合适的数量或者类型的阈值，以获得相应的异常检测效果。

本领域技术人员可以理解的，具体可以采用多种不同的方式来挖掘每个监控项目的历史运行数据的内部联系，从而确定每个监控项目在正常运行时的数据情况。反之亦然，也可以据此确定非正常运行的情况。

例如，可以使用箱线图、数据概率分布、时间序列模型等一个或者多个与数据挖掘、分析相关的算法，确定监控项目在正常运行或者非正常运行时的范围，从而给出相应的异常检测阈值。

在一些实施例中，可以基于所述预处理后的历史运行数据数据分布，通过预设的门限检测算法，计算第一异常区间，并且将所述第一异常区间确定为所述异常检测阈值。

“第一异常区间”是指通过箱线图等数据分布统计算法计算确定的，不正常运行数据或者状态下，数据一般落入的区间范围。在本说明书中，该“第一异常区间”又可以被称为统计门限，表明其由数据分布统计的结果生成。

在较佳的实施例中，该第一异常区间具体可以通过如下方式计算获得：

首先，对所述预处理后的历史运行数据通过箱线图算法进行统计，计算所述预处理后的历史运行数据的n分位数，n为正整数。

“分位数”是指将一个随机变量的概率分布范围分为几个等份的数值点。在实际使用过程中，其可以具有多种不同的形式，包括二分位数(即中位数)、四分位数、百分位数等。

然后，根据所述n分位数中的一个或者多个分位值和预设的调整系数，计算监控上门限阈值和监控下门限阈值。

与计算获得的监控上门限阈值和监控下门限阈值相对应地，在本实施例中，所述第一异常区间由大于所述监控上门限阈值的区间以及小于所述监控下门限阈值的区间组成。

以n＝4的四分位数为例，监控上门限阈值

而监控下门限阈值

为门限偏离幅度调整系数，“调整系数”是一个经验性数值，可以根据实际情况的需要，例如异常检测的取向等进行设置或者相应的动态调整。例如，在典型的场景中，可以将调整系数设置为1.5。此时获得监控上门限阈值和监控下门限阈值可以被称为“温和异常门限”。而在特殊或者极端场景下，可以将调整系数增大至3，此时获得监控上门限阈值和监控下门限阈值可以被称为“极端异常门限”。

最后，根据所述历史运行数据的概率分布，校准所述监控上门限阈值和所述监控下门限阈值。

校准主要通过原始的历史运行数据(即时间序列Q)的分布检验来完成。亦即，当监控上门限阈值比整体分布的F_h分位值(即处于整体分布的F_h的值)小时，调整F_h分位值作为监控上门限阈值T_h。而当监控下门限阈值比整体分布的F_l分位值(即处于整体分布的F₁的值)大时，则将F_l分位值作为监控下门限阈值T_l。

与调整系数相类似地，F_h和F_l都是经验性数值，可以根据实际情况的需要动态调整，例如可以令F_h＝0.9，F_l＝0.1。

通过这样的校准步骤，可以确保构建的第一异常区间能涵盖大部分历史运行数据，进而保证其阈值设置的合理性。

除了计算获得第一异常区间以外，在另一些实施例中，所述步骤120具体还可以包括如下步骤：

首先，通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R。该时间序列模型是一个预先设置的模型，用于将按照测量时间的先后次序，依次进行排列的多个采样值组成的序列(在本说明书中也可以被称为“时间序列”)分割为三个不同的分量分别进行分析，挖掘其中深层的数据信息。

具体的，序列Q的具体分解方法可以包括如图3所示的步骤，依次序求出历史趋势分量T、历史周期分量S以及历史余项分量R。

310：通过最小二乘法，以预设的周期分段拟合所述历史趋势分量。

所述历史趋势分量T为通过最小二乘法，以预设周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；该预设的周期可以是小时或者天等根据实际的数据情况进行设置的分段周期。通过最小二乘法可以拟合获得的拟合直线，从而确定相应的监控项趋势值以及趋势斜率作为历史趋势分量T。

320：剔除所述时间序列中的所述历史趋势分量。

假设时间序列为Q，在分为三个分量以后，存在Q＝T+S+R的性质。由此，可以剔除历史趋势分量T作为提取历史周期分量的基础。

330：以最优周期进行采样，获得若干个采样值。

其中，所述最优周期通过F值检验方法确定，例如24小时或者7天等，具体取决于实际的历史运行数据的情况。

340：确定若干个所述采样值的平均值为所述历史周期分量。

可以理解的是，每个采样值之间都处于最优周期内的相同位置。由此，可以将这些采样值叠加求平均后，作为给最优周期内其中一个时刻或者一点的周期分量。依次计算最优周期内所有的时刻的平均值即可计算确定完整的历史周期分量S。

350：剔除所述时间序列中的所述历史趋势分量和所述历史周期分量，获得所述历史余项分量。

如上所述的，由于时间序列Q满足Q＝T+S+R。因此，在求出T和S以后，将其从时间序列中剔除后，剩余的部分即为所述历史余项分量。

然后，根据所述历史余项分量R，确定偏离门限阈值。“偏离门限阈值”是指历史余量分量实际允许存在的，满足一般数据波动情况的阈值范围。

具体的，结合3sigma理论的可容忍范围，可以通过如下算式(1)设置定义所述偏离门限阈值：

T_R＝3*R_m (1)

其中，T_R为偏离门限阈值，R_m为历史余项分量的中位值。

最后，基于所述历史周期分量S的数据分布，通过所述预设的门限检测算法，如箱线图算法进行统计，计算第二异常区间，并且将计算获得所述第二异常区间和所述偏离门限阈值确定为所述异常检测阈值。“第二异常区间”是与“第一异常区间”相类似的异常检测阈值，两者的区别主要在于输入的分析对象不同(第一异常区间的输入数据为时间序列，第二异常区间的输入数据为周期分量)。

在一些实施例中，第一异常区间和第二异常区间可以采用相同的算法计算获得。例如，可以计算周期分量的第一四分位数和第三四分位数。然后，基于算式(2)计算得到周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl：

其中，S1为第一四分位数，S3为第三四分位数，

为调节系数，周期分量偏离上门限阈值

周期分量偏离下门限阈值

最后，对求得的周期分量偏离上门限阈值和周期分量偏离下门限阈值进行概率分布检验，校正确定最终的周期分量偏离上门限阈值和周期分量偏离下门限阈值。当然，在另一些实施例中，也可以采用不同的算法计算获得。

步骤130：根据若干个所述异常检测阈值，检测所述监控项目的异常。

由上，确定出来的异常检测阈值，包括：监控上门限阈值T_h、监控下门限阈值T_l、偏离门限阈值T_R、周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl，以上述异常检测阈值为基础，可以采用相应的判断逻辑来实现监控项目的异常检测。亦即，作出监控项目是否存在异常的判断。

具体使用的判断逻辑与确定的异常检测阈值的种类、数量以及对于异常检测的敏感度等多种实际应用情况相关。技术人员可以针对不同的应用场景作出相应的调整，以获得最终的异常检测结果。

在一些实施例中，对监控项目的异常检测可以以预设的检测周期为单位进行。亦即，每次都以检测周期采集到的恒定数量的当前运行数据作为采样数据，进行异常检测。

电子设备在检测到监控项目出现异常或者无线通信网络存在异常时，可以采用任何合适的方式来显示或者向用户反馈该异常情况。例如，可以以触发异常告警的形式，显示当前的无线通信网络存在异常业务，需要及时进行维护。

本发明实施例提供的异常检测方法可以自动化的对历史运行数据进行归纳总结，从而更好的确定周期偏移，随机偏移等的异常情况，有利于提升异常检测的灵敏度和准确性。另外，该总结归纳通过合适的数据统计规律算法完成，实现了数据的自动化处理，有效的降低了工作量和极大的提升了效率，可以更好的在复杂环境下使用。

图2示出了本发明实施例步骤130的流程图，该方法可以由处理器调用相应的计算机可执行程序指令后执行，以周期性的检测并进行异常告警。与图1所示的方法相比，如图2所示，在异常检测阈值包括第一异常区间、第二异常区间以及偏离门限阈值时，步骤130可以包括以下步骤：

步骤210：采集所述监控项目在当前检测周期的实际运行数据。

检测周期具体可以是根据实际情况的需要而设定的一个合适的时间段，例如1min。实际运行数据的采集可以通过任何合适的方式完成。

步骤220：通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量。

可以理解的是，实际运行数据也可以被视作一个时间序列。因此，可以使用与上述实施例揭露的相同的方式，相应的将其分为三个不同的分量以便于进行比较和判断。

在本实施例中，对实际运行数据的分解结果使用了“采样监控分量”、“采样周期分量”以及“采样余项分量”这样的表述，用以区分对历史采样数据的分解结果(即“历史趋势分量”“历史周期分量”以及“历史余项分量”)。应当说明的是，该名称的区别仅起到便于陈述和区分数据来源的作用，而不用于限定本发明的权利要求的范围。

步骤230：确定所述实际运行数据是否存在异常事件。

“异常事件”是指其中的一个分量满足预设的判断标准，可以确定出现异常的情况。在本实施例中，与异常检测阈值相对应地，所述异常事件可以包括：所述监控分量处于所述第一异常区间、所述余项分量大于偏离门限阈值以及所述周期分量处于所述第二异常区间。

换言之，假设U_t为监控分量、U_rt为余项分量、U_st为周期分量，异常事件的发生是指：满足U_t>T_h、U_t<T_l、|U_rt|>|3T_R|、U_st>T_sh、U_st<T_sl中的其中一个条件。

步骤240：判断在当前检测周期内，是否出现两个或以上的异常事件。若否，执行步骤250，若是，执行步骤260。

步骤250：判断在相邻两个检测周期内，是否均出现至少一个所述异常事件；若否，执行步骤270，若是，执行步骤260。

260：触发所述监控项目的异常告警。

270：进入下一个检测周期，不触发异常告警。

总结而言，上述步骤240至270提供了完整的异常检测判断逻辑。当在一个检测周期内，出现至少两个所述异常事件时或者当在相邻两个检测周期内，均出现至少一个所述异常事件时，确定检测到了异常，触发所述监控项目的异常告警。而其他情况下则确定为无异常情况，可以继续保持监测。

在本实施例中，通过多维异常检测触发及逻辑判断(包含了出现频次、持续周期等的多个维度)，有利于提升告警的准确性和异常的主动发现能力，能够有效应对移动互联网业务不同监控项的短时突变、渐进劣化、周期异常等复杂多场景异常，并兼顾异常检测的查全和查准能力，提升告警触发准确性，减少无效人工投入。

图4示出了本发明的异常检测装置实施例的结构示意图。如图4所示，该异常检测装置400包括：获取模块410，阈值计算模块420以及检测模块430。

其中，获取模块410用于获取监控项目的历史运行数据。阈值计算模块420用于确定若干个跟随所述历史运行数据动态变化的异常检测阈值。检测模块430用于根据若干个所述异常检测阈值，检测所述监控项目的异常。

其中，所述数据作业的评价结果包括预先划分的若干个作业重要等级；所述作业重要等级包括无效作业、重要作业以及一般作业。

本发明实施例提供的异常检测装置基于动态阈值进行异常检测，可以通过周期、余项分量分解，历史数据统计规律学习等方式更精细化的的构建检测门限，能够比传统静态阈值方式更灵活、多样、快捷的的设置各监控项阈值，并能够对指标内部的波动规律进行洞察，发现周期偏离、随机偏离等异常，提升了异常检测的发现能力。

在一种可选的方式中，所述阈值计算模块420具体用于对所述历史运行数据进行预处理；对所述预处理后的历史运行数据通过箱线图算法进行统计；确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述预处理后的历史运行数据的第一四分位数，P3为所述预处理后的历史运行数据的第三四分位数，

为门限偏离幅度调整系数；将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间。

具体的，所述阈值计算模块420还用于基于所述历史运行数据，通过概率分布统计对所述监控上门限阈值T_h和监控下门限阈值T_l进行检验；当所述监控上门限阈值T_h小于预设分位值F_h时，则调整分位值F_h为监控上门限阈值；当所述监控下门限阈值T_l大于预设分位值F_l时，则调整分位值F_l为监控下门限阈值。

在一种可选的方式中，所述阈值计算模块420还可以用于通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R；所述历史趋势分量T为通过最小二乘法，以小时或天为周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；所述历史周期分量S为所述预处理后的历史运行数据剔除所述历史趋势分量T的数据后，通过F值检验方法判断出最优周期，将所述最优周期内相同位置的均值；所述历史余项分量R为所述预处理后的历史运行数据剔除所述历史趋势分量T和历史周期分量S后的数据。

在一种可选的方式中，所述阈值计算模块420还用于将所述历史余项分量R进行分位值统计，得到中位值R_m；根据所述中位值R_m确定偏离门限阈值T_R＝3*R_m。

在一种可选的方式中，所述阈值计算模块420还用于基于所述历史周期分量S，采用箱线图算法进行统计；确定周期分量偏离上门限阈值

确定周期分量偏离下门限阈值

其中，S1为所述历史周期分量S的第一四分位数，S3为所述历史周期分量S的第三四分位数，

为门限偏离幅度调整系数；将所述周期分量偏离上门限T_sh和周期分量偏离下门限阈值T_sl作为第二异常区间。

在一种可选的方式中，所述阈值计算模块420还用于基于所述历史运行数据，通过概率分布统计对所述周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl进行校正。

在一种可选的方式中，所述检测模块430具体用于：采集所述监控项目在当前检测周期的实际运行数据；通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量；确定所述实际运行数据是否存在异常事件；所述异常事件包括：所述采样监控分量处于所述第一异常区间、所述采样余项分量大于偏离门限阈值以及所述采样周期分量处于所述第二异常区间；当在一个检测周期内，出现至少两个所述异常事件时，触发所述监控项目的异常告警；当在相邻两个检测周期内，均出现至少一个所述异常事件时，触发所述监控项目的异常告警。

该检测模块430通过多维异常检测触发及逻辑判断(包含了出现频次、持续周期等的多个维度)，有利于提升告警的准确性和异常的主动发现能力，能够有效应对移动互联网业务不同监控项的短时突变、渐进劣化、周期异常等复杂多场景异常，并兼顾异常检测的查全和查准能力，提升告警触发准确性，减少无效人工投入。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的异常检测方法。

可执行指令具体可以用于使得处理器执行以下操作：获取监控项目的历史运行数据；确定若干个跟随所述历史运行数据动态变化的异常检测阈值；根据若干个所述异常检测阈值，检测所述监控项目的异常。

在一种可选的方式中，所述可执行指令还可以使所述处理器执行以下操作：

获取监控项目的历史运行数据；

确定若干个跟随所述历史运行数据动态变化的异常检测阈值；

根据若干个所述异常检测阈值，检测所述监控项目的异常。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，包括：

对所述历史运行数据进行预处理；

对所述预处理后的历史运行数据通过箱线图算法进行统计；

确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述预处理后的历史运行数据的第一四分位数，P3为所述预处理后的历史运行数据的第三四分位数，

为门限偏离幅度调整系数；

将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述监控上门限阈值T_h和监控下门限阈值T_l进行检验；

当所述监控上门限阈值T_h小于预设分位值F_h时，则调整分位值F_h为监控上门限阈值；

当所述监控下门限阈值T_l大于预设分位值F_l时，则调整分位值F_l为监控下门限阈值。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R；

所述历史趋势分量T为通过最小二乘法，以小时或天为周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；

所述历史周期分量S为所述预处理后的历史运行数据剔除所述历史趋势分量T的数据后，通过F值检验方法判断出最优周期，将所述最优周期内相同位置的均值；

所述历史余项分量R为所述预处理后的历史运行数据剔除所述历史趋势分量T和历史周期分量S后的数据。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

将所述历史余项分量R进行分位值统计，得到中位值R_m；

根据所述中位值R_m确定偏离门限阈值T_R＝3*R_m。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

基于所述历史周期分量S，采用箱线图算法进行统计；

确定周期分量偏离上门限阈值

确定周期分量偏离下门限阈值

其中，S1为所述历史周期分量S的第一四分位数，S3为所述历史周期分量S的第三四分位数，

为门限偏离幅度调整系数；

将所述周期分量偏离上门限T_sh和周期分量偏离下门限阈值T_sl作为第二异常区间。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl进行校正。

进一步的，所述根据若干个所述异常检测阈值，检测所述监控项目的异常，具体包括：

采集所述监控项目在当前检测周期的实际运行数据；

通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量；

确定所述实际运行数据是否存在异常事件；所述异常事件包括：所述采样监控分量处于所述第一异常区间、所述采样余项分量大于所述偏离门限阈值以及所述采样周期分量处于所述第二异常区间；

当在一个检测周期内，出现至少两个所述异常事件时，触发所述监控项目的异常告警；

当在相邻两个检测周期内，均出现至少一个所述异常事件时，触发所述监控项目的异常告警。应用非易失性计算机存储介质可以实现多维异常检测触发及逻辑判断(包含了出现频次、持续周期等的多个维度)，有利于提升告警的准确性和异常的主动发现能力，能够有效应对移动互联网业务不同监控项的短时突变、渐进劣化、周期异常等复杂多场景异常，并兼顾异常检测的查全和查准能力，提升告警触发准确性，减少无效人工投入。

图5示出了本发明异常检测的电子设备实施例的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。

其中：处理器502、通信接口504、以及存储器606通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于异常检测方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行以下操作：

获取监控项目的历史运行数据；

确定若干个跟随所述历史运行数据动态变化的异常检测阈值；

根据若干个所述异常检测阈值，检测所述监控项目的异常。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，包括：

对所述历史运行数据进行预处理；

对所述预处理后的历史运行数据通过箱线图算法进行统计；

确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述预处理后的历史运行数据的第一四分位数，P3为所述预处理后的历史运行数据的第三四分位数，

为门限偏离幅度调整系数；

将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述监控上门限阈值T_h和监控下门限阈值T_l进行检验；

当所述监控上门限阈值T_h小于预设分位值F_h时，则调整分位值F_h为监控上门限阈值；

当所述监控下门限阈值T_l大于预设分位值F_l时，则调整分位值F_l为监控下门限阈值。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R；

所述历史趋势分量T为通过最小二乘法，以小时或天为周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；

所述历史周期分量S为所述预处理后的历史运行数据剔除所述历史趋势分量T的数据后，通过F值检验方法判断出最优周期，将所述最优周期内相同位置的均值；

所述历史余项分量R为所述预处理后的历史运行数据剔除所述历史趋势分量T和历史周期分量S后的数据。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

将所述历史余项分量R进行分位值统计，得到中位值R_m；

根据所述中位值R_m确定偏离门限阈值T_R＝3*R_m。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

基于所述历史周期分量S，采用箱线图算法进行统计；

确定周期分量偏离上门限阈值

确定周期分量偏离下门限阈值

其中，S1为所述历史周期分量S的第一四分位数，S3为所述历史周期分量S的第三四分位数，

为门限偏离幅度调整系数；

将所述周期分量偏离上门限T_sh和周期分量偏离下门限阈值T_sl作为第二异常区间。

进一步的，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl进行校正。

进一步的，所述根据若干个所述异常检测阈值，检测所述监控项目的异常，具体包括：

采集所述监控项目在当前检测周期的实际运行数据；

通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量；

确定所述实际运行数据是否存在异常事件；所述异常事件包括：所述采样监控分量处于所述第一异常区间、所述采样余项分量大于所述偏离门限阈值以及所述采样周期分量处于所述第二异常区间；

当在一个检测周期内，出现至少两个所述异常事件时，触发所述监控项目的异常告警；

当在相邻两个检测周期内，均出现至少一个所述异常事件时，触发所述监控项目的异常告警。该电子设备可以自动化的对历史运行数据进行归纳总结，从而更好的确定周期偏移，随机偏移等的异常情况，有利于提升异常检测的灵敏度和准确性。另外，该总结归纳通过合适的数据统计规律算法完成，实现了数据的自动化处理，有效的降低了工作量和极大的提升了效率，可以更好的在复杂环境下使用。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种异常检测方法，其特征在于，包括：

获取监控项目的历史运行数据；

确定若干个跟随所述历史运行数据动态变化的异常检测阈值，包括：

对所述历史运行数据进行预处理；

对所述预处理后的历史运行数据通过箱线图算法进行统计；

确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述预处理后的历史运行数据的第一四分位数，P3为所述预处理后的历史运行数据的第三四分位数，

为门限偏离幅度调整系数；

将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间；

根据若干个所述异常检测阈值，检测所述监控项目的异常。

2.根据权利要求1所述的异常检测方法，其特征在于，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述监控上门限阈值T_h和监控下门限阈值T_l进行检验；

当所述监控上门限阈值T_h小于预设分位值F_h时，则调整分位值F_h为监控上门限阈值；

当所述监控下门限阈值T_l大于预设分位值F_l时，则调整分位值F_l为监控下门限阈值。

3.根据权利要求2所述的异常检测方法，其特征在于，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

通过预设的时间序列模型，将所述预处理后的历史运行数据分解为历史趋势分量T、历史周期分量S以及历史余项分量R；

所述历史趋势分量T为通过最小二乘法，以小时或天为周期分段拟合出历史趋势分量，依次获得各个时间点的监控项趋势值和趋势斜率；

所述历史周期分量S为所述预处理后的历史运行数据剔除所述历史趋势分量T的数据后，通过F值检验方法判断出最优周期，将所述最优周期内相同位置的均值；

所述历史余项分量R为所述预处理后的历史运行数据剔除所述历史趋势分量T和历史周期分量S后的数据。

4.如权利要求3所述的异常检测方法，其特征在于，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

将所述历史余项分量R进行分位值统计，得到中位值R_m；

根据所述中位值R_m确定偏离门限阈值T_R＝3*R_m。

5.如权利要求4所述的异常检测方法，其特征在于，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值，进一步包括：

基于所述历史周期分量S，采用箱线图算法进行统计；

确定周期分量偏离上门限阈值

确定周期分量偏离下门限阈值

其中，S1为所述历史周期分量S的第一四分位数，S3为所述历史周期分量S的第三四分位数，

为门限偏离幅度调整系数；

将所述周期分量偏离上门限T_sh和周期分量偏离下门限阈值T_sl作为第二异常区间。

6.如权利要求5所述的异常检测方法，其特征在于，所述确定若干个跟随所述历史运行数据动态变化的异常检测阈值之后，进一步包括：

基于所述历史运行数据，通过概率分布统计对所述周期分量偏离上门限阈值T_sh和周期分量偏离下门限阈值T_sl进行校正。

7.根据权利要求6所述的异常检测方法，其特征在于，所述根据若干个所述异常检测阈值，检测所述监控项目的异常，具体包括：

采集所述监控项目在当前检测周期的实际运行数据；

通过所述预设的时间序列模型，将所述实际运行数据分解为采样监控分量、采样周期分量以及采样余项分量；

确定所述实际运行数据是否存在异常事件；所述异常事件包括：所述采样监控分量处于所述第一异常区间、所述采样余项分量大于所述偏离门限阈值以及所述采样周期分量处于所述第二异常区间；

当在一个检测周期内，出现至少两个所述异常事件时，触发所述监控项目的异常告警；

当在相邻两个检测周期内，均出现至少一个所述异常事件时，触发所述监控项目的异常告警。

8.一种异常检测装置，其特征在于，所述异常检测装置包括：

获取模块，用于获取监控项目的历史运行数据；

阈值计算模块，用于确定若干个跟随所述历史运行数据动态变化的异常检测阈值，包括：

对所述历史运行数据进行预处理；

对所述预处理后的历史运行数据通过箱线图算法进行统计；

确定监控上门限阈值

确定监控下门限阈值

其中，P1为所述预处理后的历史运行数据的第一四分位数，P3为所述预处理后的历史运行数据的第三四分位数，

为门限偏离幅度调整系数；

将所述监控上门限阈值T_h和监控下门限阈值T_l作为第一异常区间；

检测模块，用于根据若干个所述异常检测阈值，检测所述监控项目的异常。

9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述的异常检测方法的步骤。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述的异常检测方法的步骤。

Images