CN107766299A - 数据指标异常的监控方法及其系统、存储介质、电子设备 - Google Patents

Abstract

本发明揭示一种数据指标异常的监控方法及其系统、存储介质、电子设备。所述数据指标异常的监控方法包括如下步骤：获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标的历史数据；根据所述需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数，并将所述上尾、下尾和中位数作参数、通过机器学习生成学习后的监控样本模型；对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测；其中，对所述需监控的数据指标的异常检测包括异常波动点检测和异常波动趋势检测。

Description

数据指标异常的监控方法及其系统、存储介质、电子设备

技术领域

本发明涉及一种数据指标异常的监控方法及其系统、存储介质、电子设备。

背景技术

系统运行维护过程中需要对各种数据指标进行监控。目前，现有的对各种系统运行维护过程中的数据指标监控的方式中大多采用设置各种阈值的方式。该方式主要有以下几种问题：

1、阈值精准度不高，一般是一个一刀切的数值，或者是根据历史时间序列同比环比等方式比较，无法适配数据指标的波动和离散情况；

2、对于短时间内未有较大波动异常、但有中长期趋势异常的情况难以发现；

3、需要设置大量的阈值，初步设置时需要大量的工作量进行设置和调整；

4、随着环境的改变(增加业务或改变业务等)，对于新增或更新适配最新数据指标的阈值的维护性较差，需要投入大量人力，往往监控就沦为了摆设。

分位数回归(Quantile Regression)：是计量经济学的研究前沿方向之一，源于1760年，它利用解释变量的多个分位数(例如四分位、十分位、百分位等)来得到被解释变量的条件分布的相应的分位数方程。目前虽然应用于经济学、医学等领域，但这些领域中的应用主要是通过建立模型后，观察分位数的走势，选取特定的分位数值后得出一个统计结论，例如：统计的结论通常为“80％的财富都集中的20％的人手中”；“60岁以上年龄组的统筹基金年人均支出与60岁以下年龄组统筹基金年人均支出的比值一般在2～6倍。在65岁以上年龄组的统筹基金年人均支出与65岁一下年龄组的比值在2～7倍。”等。本发明希望将分位数回归理论应用于系统数据指标的监控领域中，以检测实时获取的数据指标与根据历史数据指标得出的样本模型的偏移情况。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种数据指标异常的监控方法及其系统、存储介质、电子设备，通过分位数回归理论，建立通用的监控样本模型，通过监控样本模型的建立和机器学习的应用，更精准地对数据指标的异常情况进行监控，降低运维成本。

根据本发明的一个方面提供一种数据指标异常的监控方法，所述数据指标异常的监控方法包括如下步骤：S10：获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标的历史数据；S20：根据所述需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；S30：根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数，并将所述上尾、下尾和中位数作参数、通过机器学习生成学习后的监控样本模型；S40：对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测；其中，对所述需监控的数据指标的异常检测包括异常波动点检测和异常波动趋势检测；所述异常波动点检测至少包括如下步骤：检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内；若位于区间外，则将当前获取的需监控的数据指标作为异常数据指标；所述异常波动趋势检测至少包括如下步骤：计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的需监控的数据指标作为异常数据指标。

优选地，所述需监控的数据指标为请求量，所述关联数据指标为时间；对所述请求量的监控方法包括如下步骤：S10：获取所述请求量随所述时间变化的历史数据；S20：根据所述请求量随所述时间变化的历史数据，生成散点图；S30：根据所述请求量随所述时间变化的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数，并将所述上尾、下尾和中位数作参数、通过机器学习生成学习后的监控样本模型；S40：对比实时获取的请求量与所述监控样本模型的数据差异，对实时获取的请求量进行异常检测；其中，对所述实时获取的请求量进行异常检测包括异常波动点检测和异常波动趋势检测；所述异常波动点检测至少包括如下步骤：检测当前获取的请求量是否处于上尾和下尾限定的区间内；若位于区间外，则将当前获取的请求量作为异常数据指标；所述异常波动趋势检测至少包括如下步骤：计算当前获取的请求量与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的请求量作为异常数据指标。

优选地，所述时间为以天为单位、以5分钟为聚合时间片的长度生成散点图。

优选地，所述数据指标异常的监控方法还包括如下步骤：S50：定时将距离当前获取的需监控的数据指标第一时段内的所有数据指标作为历史数据对监控样本模型进行更新。

优选地，所述步骤S50中，监控样本模型更新的周期为一天，第一时段为两周。

优选地，所述需监控的数据指标为接口错误数，所述关联数据指标为请求量；或者所述需监控的数据指标为响应时间，所述关联数据指标为请求量。

优选地，所述异常波动点检测还包括如下步骤：计算所述异常数据指标落在区间外的偏移百分比和连续偏移次数；根据所述异常数据指标落在区间外的偏移百分比和连续偏移次数对所述异常数据指标进行分类报警。

优选地，所述异常波动趋势检测还包括如下步骤：判断所述累计值的绝对值是否大于第二阈值，若大于，则所述异常数据指标进行报警，其中，所述第二阈值大于所述第一阈值。

根据本发明的另一个方面，还提供一种数据指标异常的监控系统，所述数据指标异常的监控系统包括：监控数据指标及关联数据指标获取模块，用于获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标；散点图生成模块，用于根据需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；监控样本模型生成模块，用于根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型；异常检测模块，用于对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测，其中，所述异常检测模块包括异常波动点检测模块和常波动趋势检测模块；所述异常波动点检测模块用于检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内，并且将位于区间外的监控的数据指标作为异常数据指标；所述异常波动点检测模块用于计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值，并将累计值的绝对值大于第一阈值的需监控的数据指标作为异常数据指标。

根据本发明的又一个方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据指标异常的监控方法的步骤。

根据本发明的又一个方面，还提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的数据指标异常的监控方法的步骤。

相比于现有技术，本发明实施例提供的数据指标异常的监控方法以及系统、存储介质、电子设备中根据需监控的数据指标和关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型，而后利用监控样本模型对需监控的数据指标分别进行异常波动点检测和异常波动趋势检测，因此，至少具有如下有益效果：

1)提高数据指标监控的精准度，可以有效分离数据指标中的孤立点或者奇异点、较好地适配数据指标的波动和离散情况、有效判断数据指标的异常波动点、有效判断数据指标的异常波动趋势，进而，在避免误判的同时，又能将难以发现的问题发现出来；

2)可以实时地对中长期趋势异常情况进行监控；

3)统一管理，初始设置时只需要确定数据指标的监控样本模型和初始参数，不需要针对例如接口、时间、地点等不同维度进行不同的阈值设置；

此外，该数据指标异常的监控方法还具有对监控样本模型进行更新的功能，能够随着环境的变化(例如业务的变化)适配最新数据指标的，降低平时运维成本。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的一个实施例的数据指标异常的监控方法的流程图；

图2为本发明的一个实施例的数据指标异常的监控方法中获取的需监控的数据指标与关联数据指标的关系示意图；

图3为本发明的一个实施例的数据指标异常的监控方法中根据需监控的数据指标和关联数据指标的历史数据生成散点图；

图4为本发明的一个实施例的数据指标异常的监控方法中生成的监控样本模型示意图；

图5为本发明的一个实施例的数据指标异常的监控方法中利用监控样本模型对需监控的数据指标进行监控的示意图；

图6为本发明公开示例性实施例中一种计算机可读存储介质示意图；以及

图7为本发明公开示例性实施例中一种电子设备示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员应意识到，没有特定细节中的一个或更多，或者采用其它的方法、组元、材料等，也可以实践本发明的技术方案。在某些情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本发明。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

依据本发明的主旨构思，本发明的一种数据指标异常的监控方法，所述数据指标异常的监控方法包括如下步骤：获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标；根据需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型；对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测；其中，对所述需监控的数据指标的异常检测包括异常波动点检测和异常波动趋势检测；所述异常波动点检测至少包括如下步骤：检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内；若位于区间外，则将当前获取的需监控的数据指标作为异常数据指标；所述异常波动趋势检测至少包括如下步骤：计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的需监控的数据指标作为异常数据指标。

下面结合附图和实施例对本发明的技术内容进行进一步地说明。

请参见图1，其示出了本发明的一个实施例的数据指标异常的监控方法的流程图。具体来说，本发明的数据指标异常的监控方法主要用于对各类系统运行维护过程中对监控的各类数据指标(例如，网站访问量、话务量，产品下单量等)进行监控。如图1所示，在本发明的实施例中，该数据指标异常的监控方法包括如下步骤：

步骤S10：获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标的历史数据。具体来说，在此步骤中，即相当于选定了分位数回归算法中的自变量和因变量相互关系、自变量和自变量相互关系。在本发明中，需要监控的数据指标可以例如是：请求量、接口错误数或者响应时间等。请参见图2，其示出了本发明的一个实施例的数据指标异常的监控方法中获取的需监控的数据指标与关联数据指标的关系示意图。在图2所示实施例中，以监控数据指标为“请求量”为例，即因变量。如图2所示，经过发明人的分析观察，发现请求量往往跟时间有比较紧密的周期关系。进而，与“请求量”相对应的关联数据指标为“时间”，即自变量。关联数据指标(即时间)为以天为单位。

需要说明的是，关联数据指标的选取一般先是凭借对需监控的数据指标的了解、选取一些相关联的参数指标，然后通过比对各项参数指标、使用统计工具(例如：R语言建模)来进行建模比对后选取的。其中，选取的主要标准是：需监控的数据指标的样本数据(历史数据)相对各参数指标形成的数据模型中，需监控的数据指标能够表现出一致的趋势波动，可参见图2。

在本发明的其他实施例中，若需监控的数据指标为接口错误数，则关联数据指标可以为请求量；若需监控的数据指标为响应时间，则关联数据指标可以为请求量。

步骤S20：根据需监控的数据指标以及所述关联数据指标的历史数据，生成散点图。具体来说，由于本发明实施例中以监控数据指标为“请求量”为例，关联数据指标为“时间”，因此，在此步骤中可以以时间为映射单位生成散点图。请参见图3，其示出了本发明的一个实施例的数据指标异常的监控方法中根据需监控的数据指标和关联数据指标的历史数据生成散点图。若请求量以天为周期波动，则可以天为映射单位、以5分钟为聚合时间片长度(即图3中横坐标的单位为5分钟)，生成2周数据的散点图。如图3所示，图3中即为2周内每一天288个时段的对分别对应的需监控的数据指标(请求量)。此外，通过观察该步骤生成的散点图中历史数据点的分布，也可以初步判定需监控的数据指标的历史数据的分布是否符合之前的假设(即需监控的数据指标能够表现出一致的趋势波动)，进而，判断需监控的数据指标与上述步骤S10中的关联数据指标是否关联。

步骤S30：根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归(Quantile&Robust Spline Regression)算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型。其中，中位数的作用主要是用于判断趋势走向的变化。上尾和下尾的选取一般是根据应用对告警的敏感性要求来配置的，本发明的可选实施例中上尾的选取在85％～95％之间，下尾的选取在5％～15％之间。对于比较重要的应用，一旦出现偏差需要在较短时间内获得告警的，可以将上尾、下尾设置的偏差值小一些，例如：上尾和下尾分别为95％和5％；相应的，如果不是太重要的应用，为了减少误报，可以将上尾、下尾设置的偏差值略大一些，例如：上尾和下尾分别为85％和15％。请参见图4，其示出了本发明的一个实施例的数据指标异常的监控方法中生成的监控样本模型示意图。在图4所示的实施例中，通过分位数回归(Quantile&Robust Spline Regression)算法后，以上尾取值0.95、下尾取值0.05、中位数取值0.5为例，通过机器学习生成学习后的监控样本模型。其中，曲线A为上尾曲线，曲线B为中位数曲线，曲线C为下尾曲线。需要说明的是，在实际运作中还可以根据需监控的数据指标、样本数据等因素调整参数。

由于IT运行维护的过程中，系统的可用性一般都可以达到99％水平之上，系统数据指标异常的比例非常小，可以把相应的异常数据指标点作为孤立点或者奇异点来看待，因此，上述步骤S30生成的监控样本模型非常适合于IT运行维护中。

步骤S40：对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测。具体来说，在本发明实施例中，对所述需监控的数据指标的异常检测包括异常波动点检测和异常波动趋势检测。请参见图5，其示出了本发明的一个实施例的数据指标异常的监控方法中利用监控样本模型对需监控的数据指标进行监控的示意图。图5中示出了17天内利用监控样本模型对需监控的数据指标进行监控结果，其中，曲线A为上尾曲线，曲线B为中位数曲线，曲线C为下尾曲线。具体来说，异常波动点检测至少包括如下步骤：

检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内。其中，上尾和下尾限定的区间内属于正常的波动范围，处于上尾和下尾限定的区间内的需监控的数据指标可以认为是正常的数据指标。

若上述检测的结果为当前获取的需监控的数据指标位于区间外，则将当前获取的需监控的数据指标作为异常数据指标。

进一步地，在本发明的优选实施例中，异常波动点检测还包括如下步骤：

计算所述异常数据指标落在区间外的偏移百分比和连续偏移次数。

根据所述异常数据指标落在区间外的偏移百分比和连续偏移次数对所述异常数据指标进行分类报警。

具体来说，由于所有的数据指标都是没有标注正确与否的(比如某个时间点的请求量是正确的，或者某一个时间点的请求量是不正确的)，经过监控样本模型进行异常检测后得出的结论也并不是指某个时间点的请求量不正确，仅仅是指当前获取的需监控的数据指标存在异常，存在异常的情况可能有多种包括了合理的情况以及的确出现错误的情况，因此，在本发明的实施例中进一步通过计算异常数据指标落在区间外的偏移百分比和连续偏移次数，根据“偏移百分比”和“连续偏移次数”对异常数据指标进行分类报警，一般落在区间外的偏移百分比数越高、连续次数越多，则异常的可能性越高。例如，在上述异常波动点检测过程中，若当前获取的需监控的数据指标作为异常数据时，进一步计算当前获取的需监控的数据指标落在区间外的偏移百分比和连续偏移次数，当落在区间外的偏移百分比为30％且连续偏移3次，则可以作为中等严重程度告警；当落在区间外的偏移百分比为50％且连续偏移5次，则可以作为高等严重程度告警。该步骤可以进一步调整优化监控样本模型。

进一步地，所述异常波动趋势检测至少包括如下步骤：

计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的需监控的数据指标作为异常数据指标。

判断所述累计值的绝对值是否大于第二阈值，若大于，则所述异常数据指标进行报警。

具体来说，一般当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值越趋于0，则当前获取的需监控的数据指标的异常可能性越小，累计值的绝对值越大，则当前获取的需监控的数据指标的异常可能性越大。在此基础上，本发明实施例中设置第一阈值和第二阈值，若累计值的绝对值大于第一阈值，则将当前获取的需监控的数据指标作为异常数据指标；若进一步大于第二阈值，则将对前获取的需监控的数据指标进行报警。需要说明的是，在本发明的另一些实施例中，同样可以进一步设置更多的阈值，来对前获取的需监控的数据指标的报警级别进行设置。

进一步地，在图1所示的实施例中，所述数据指标异常的监控方法还包括如下步骤：

步骤S50：定时将距离当前获取的需监控的数据指标第一时段内的所有数据指标作为历史数据对监控样本模型进行更新。

具体来说，由于需监控的数据指标会随着各种环境的变化而发生变化(例如业务的发展等)，因此，监控样本模型始终是需要更新的。在本发明的实施例中更新周期可以为一天，即按天更新。更新方式为每天在一个特定的时间点，计算前n天(可以为两周)的需监控的数据指标的历史数据，得出新的监控样本模型，替换旧的监控样本模型。

在上述图1所示的实施例中，本发明的数据指标异常的监控方法中根据需监控的数据指标和关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型，而后利用监控样本模型对需监控的数据指标分别进行异常波动点检测和异常波动趋势检测，因此，至少具有如下有益效果：

1)提高数据指标监控的精准度，可以有效分离数据指标中的孤立点或者奇异点、较好地适配数据指标的波动和离散情况、有效判断数据指标的异常波动点、有效判断数据指标的异常波动趋势，进而，在避免误判的同时，又能将难以发现的问题发现出来；

2)可以实时地对中长期趋势异常情况进行监控；

3)统一管理，初始设置时只需要确定数据指标的监控样本模型和初始参数，不需要针对例如接口、时间、地点等不同维度进行不同的阈值设置；

此外，该数据指标异常的监控方法还具有对监控样本模型进行更新的功能，能够随着环境的变化(例如业务的变化)适配最新数据指标的，降低平时运维成本。

进一步地，本发明还提供一种数据指标异常的监控系统，用于实现上述的数据指标异常的监控方法。具体来说，所述数据指标异常的监控系统包括：监控数据指标及关联数据指标获取模块、散点图生成模块、监控样本模型生成模块以及异常检测模块。

具体来说，监控数据指标及关联数据指标获取模块用于获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标。

散点图生成模块用于根据需监控的数据指标以及所述关联数据指标的历史数据，生成散点图。

监控样本模型生成模块用于根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型。

异常检测模块用于对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测。

进一步地，所述异常检测模块包括异常波动点检测模块和常波动趋势检测模块。其中，所述异常波动点检测模块用于检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内，并且将位于区间外的监控的数据指标作为异常数据指标。所述异常波动点检测模块用于计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值，并将累计值的绝对值大于第一阈值的需监控的数据指标作为异常数据指标。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述数据指标异常的监控方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述图1所示的数据指标异常的监控方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述数据指标异常的监控方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述数据指标异常的监控方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述数据指标异常的监控方法。

综上所述，本发明实施例提供的数据指标异常的监控方法以及系统、存储介质、电子设备中根据需监控的数据指标和关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型，而后利用监控样本模型对需监控的数据指标分别进行异常波动点检测和异常波动趋势检测，因此，至少具有如下有益效果：

1)提高数据指标监控的精准度，可以有效分离数据指标中的孤立点或者奇异点、较好地适配数据指标的波动和离散情况、有效判断数据指标的异常波动点、有效判断数据指标的异常波动趋势，进而，在避免误判的同时，又能将难以发现的问题发现出来；

2)可以实时地对中长期趋势异常情况进行监控；

3)统一管理，初始设置时只需要确定数据指标的监控样本模型和初始参数，不需要针对例如接口、时间、地点等不同维度进行不同的阈值设置；

此外，该数据指标异常的监控方法还具有对监控样本模型进行更新的功能，能够随着环境的变化(例如业务的变化)适配最新数据指标的，降低平时运维成本。

虽然本发明已以可选实施例揭示如上，然而其并非用以限定本发明。本发明所属技术领域的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此，本发明的保护范围当视权利要求书所界定的范围为准。

Claims (11)

1.一种数据指标异常的监控方法，其特征在于，所述数据指标异常的监控方法包括如下步骤：

S10：获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标的历史数据；

S20：根据所述需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；

S30：根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数，并将所述上尾、下尾和中位数作参数、通过机器学习生成学习后的监控样本模型；

S40：对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测；

其中，对所述需监控的数据指标的异常检测包括异常波动点检测和异常波动趋势检测；

所述异常波动点检测至少包括如下步骤：

检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内；若位于区间外，则将当前获取的需监控的数据指标作为异常数据指标；

所述异常波动趋势检测至少包括如下步骤：

计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的需监控的数据指标作为异常数据指标。

2.如权利要求1所述的数据指标异常的监控方法，其特征在于，所述需监控的数据指标为请求量，所述关联数据指标为时间；对所述请求量的监控方法包括如下步骤：

S10：获取所述请求量随所述时间变化的历史数据；

S20：根据所述请求量随所述时间变化的历史数据，生成散点图；

S30：根据所述请求量随所述时间变化的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数，并将所述上尾、下尾和中位数作参数、通过机器学习生成学习后的监控样本模型；

S40：对比实时获取的请求量与所述监控样本模型的数据差异，对实时获取的请求量进行异常检测；

其中，对所述实时获取的请求量进行异常检测包括异常波动点检测和异常波动趋势检测；

所述异常波动点检测至少包括如下步骤：

检测当前获取的请求量是否处于上尾和下尾限定的区间内；若位于区间外，则将当前获取的请求量作为异常数据指标；

所述异常波动趋势检测至少包括如下步骤：

计算当前获取的请求量与中位数偏离的正负趋势的累计值；若该累计值的绝对值大于第一阈值，则将当前获取的请求量作为异常数据指标。

3.如权利要求2所述的数据指标异常的监控方法，其特征在于，所述时间为以天为单位、以5分钟为聚合时间片的长度生成散点图。

4.如权利要求1所述的数据指标异常的监控方法，其特征在于，所述数据指标异常的监控方法还包括如下步骤：

S50：定时将距离当前获取的需监控的数据指标第一时段内的所有数据指标作为历史数据对监控样本模型进行更新。

5.如权利要求4所述的数据指标异常的监控方法，其特征在于，所述步骤S50中，监控样本模型更新的周期为一天，第一时段为两周。

6.如权利要求1所述的数据指标异常的监控方法，其特征在于，所述需监控的数据指标为接口错误数，所述关联数据指标为请求量；或者所述需监控的数据指标为响应时间，所述关联数据指标为请求量。

7.如权利要求1所述的数据指标异常的监控方法，其特征在于，所述异常波动点检测还包括如下步骤：

计算所述异常数据指标落在区间外的偏移百分比和连续偏移次数；

根据所述异常数据指标落在区间外的偏移百分比和连续偏移次数对所述异常数据指标进行分类报警。

8.如权利要求1所述的数据指标异常的监控方法，其特征在于，所述异常波动趋势检测还包括如下步骤：

判断所述累计值的绝对值是否大于第二阈值，若大于，则所述异常数据指标进行报警，其中，所述第二阈值大于所述第一阈值。

9.一种数据指标异常的监控系统，其特征在于，所述数据指标异常的监控系统包括：

监控数据指标及关联数据指标获取模块，用于获取需监控的数据指标以及与该需监控的数据指标对应的关联数据指标；

散点图生成模块，用于根据需监控的数据指标以及所述关联数据指标的历史数据，生成散点图；

监控样本模型生成模块，用于根据所述需监控的数据指标和所述关联数据指标的历史数据以及散点图，通过分位数回归算法选取上尾、下尾和中位数作参数，并通过机器学习生成学习后的监控样本模型；

异常检测模块，用于对比实时获取的需监控的数据指标与所述监控样本模型的数据差异，对需监控的数据指标进行异常检测，其中，所述异常检测模块包括异常波动点检测模块和常波动趋势检测模块；

所述异常波动点检测模块用于检测当前获取的需监控的数据指标是否处于上尾和下尾限定的区间内，并且将位于区间外的监控的数据指标作为异常数据指标；

所述异常波动点检测模块用于计算当前获取的需监控的数据指标与中位数偏离的正负趋势的累计值，并将累计值的绝对值大于第一阈值的需监控的数据指标作为异常数据指标。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8中任一项所述的数据指标异常的监控方法的步骤。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的数据指标异常的监控方法的步骤。