CN108038040A - 计算机集群性能指标检测方法、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种计算机集群性能指标检测方法、电子设备及存储介质，所述计算机集群性能指标检测方法包括：从历史数据库提取一定时间段内的具有周期形态的性能时序数据；对所述性能时序数据进行建模，确定时序模型；根据所述时序模型计算历史数据预设初始步长的拟合误差；根据所述拟合误差和预设置信度预测所述预设未来步长的阈值区间；检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间，若是，则为正常，若否，则为异常。本发明自动根据预测步长计算历史数据相应步长的拟合误差，再根据此误差确定预测区间，该预测区间有助于设计一个更合理的阈值范围，减少异常检测的漏报率或虚报率。

Description

计算机集群性能指标检测方法、电子设备及存储介质

技术领域

本发明涉及智能信息及通讯技术(ICT)领域，特别是涉及计算机(IT)集群技术领域，具体为一种计算机集群性能指标检测方法、电子设备及存储介质。

背景技术

随着计算机硬件和软件的快速发展，越来越多强大的应用将被引入。但是，集群中数百种软件错误和硬件故障不仅使用户体验急剧下降，而且耗费大量维护费用。像IT集群这样的不间断系统具有严格的正常运行时间要求，因此其连续监测是至关重要的。这意味着需要不间断监测集群的性能数据以便进行检测潜在故障或异常。由于集群往往规模庞大，其需要监测的性能数据种类和数量繁多，靠人工进行监测颇为困难且成本高昂。这就对基于机器学习和数据挖掘的自动异常检测技术提出了迫切需求。

传统电信网管中心一般都是采用手动设定固定阈值(或者人工根据经验进行阈值调整)来检测信号的异常，但随着云计算和虚拟化等技术的引入，新型云网管平台存在资源动态分配弹性伸缩和上层业务类型千差万别等特性，这种人工设定阈值的方法难以及时跟踪诸多类别的性能数据的动态变化，从而可能造成过多的异常误报和漏报。基于数据挖掘/机器学习的动态阈值技术为解决这一问题提供了途径。

电信网管中心不少上层业务都带有一定的周期涨落(比如以天或周为周期)，反映在性能指标数据上即是带有一定周期形态。传统预测方法基于历史数据的单步拟合误差确定预测区间，但该误差确定的区间在多步预测时往往偏小。其他技术则以和预测步长相关的比例系数乘以单步拟合误差来确定多步预测区间，但容易造成随着步长的增加区间偏大。总之，这些方法都没有脱离单步拟合误差存在的局限性。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种计算机集群性能指标检测方法、电子设备及存储介质，用于解决现有技术中计算机集群性能指标检测中无法准确确定阈值范围的问题。

为实现上述目的及其他相关目的，本发明提供一种计算机集群性能指标检测方法，所述计算机集群性能指标检测方法包括：从历史数据库提取一定时间段内的具有周期形态的性能时序数据；对所述性能时序数据进行建模，确定时序模型；根据所述时序模型计算历史数据预设初始步长的拟合误差；根据所述拟合误差和预设置信度预测所述预设未来步长的阈值区间；检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间，若是，则为正常，若否，则为异常。

于本发明的一实施例中，所述计算机集群性能指标检测方法还包括：根据预设调整系数调整所述阈值区间并存储调整后的所述阈值区间；根据调整后的所述阈值区间检测计算机集群性能指标的实际值正常还是异常。

于本发明的一实施例中，所述计算机集群性能指标检测方法还包括：在检测计算机集群性能指标的实际值是否位于所述阈值区间之后，在经过所述预设未来步长的时间后，更新所述时序模型并根据更新的所述时序模型计算下一个预设未来步长的阈值区间，根据新的阈值区间检测计算机集群性能指标的实际值并循环上述过程。

于本发明的一实施例中，所述预设未来步长的阈值区间的下预测值为：所述预设未来步长的阈值区间的上预测值为：其中，为下预测值，为上预测值，为第h步长的预测值，f(α)为置信度1-α确定的系数，σ_H为拟合误差。

于本发明的一实施例中，调整后的所述阈值区间的下预测值为：调整后的所述阈值区间的上预测值为：其中，β为预设调整系数。

于本发明的一实施例中，所述检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间具体为：检测第所述预设未来步长对应的实际值x_t+h是否满足

于本发明的一实施例中，采用Holt-Winters建模方法对所述性能时序数据进行建模，确定时序模型。

于本发明的一实施例中，采用SARIMA模型对所述性能时序数据进行建模，确定时序模型。

本发明的实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的方法。

本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法。

如上所述，本发明的计算机集群性能指标检测方法、电子设备及存储介质具有以下有益效果：

本发明自动根据预测步长计算历史数据相应步长的拟合误差，再根据此误差确定预测区间，该预测区间有助于设计一个更合理的阈值范围，减少异常检测的漏报率或虚报率，有效解决了现有技术中计算机集群性能指标检测中无法准确确定阈值范围的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的计算机集群性能指标检测方法的流程示意图。

图2显示为本发明的计算机集群性能指标检测方法的具体实施流程图。

图3显示为本发明的计算机集群性能指标检测方法的一个运行实例流程图。

图4～图7显示为本发明的计算机集群性能指标检测方法中所处理的具有周期形态的性能时序数据示例图。

图8～图11显示为本发明的计算机集群性能指标检测方法中一个具体实例的实施结果示意图。

图12～图15显示为本发明的计算机集群性能指标检测方法中另一个具体实例的实施结果示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图15。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本实施例的目的在于提供一种计算机集群性能指标检测方法、电子设备及存储介质，用于估计所监控的性能数据的未来动态阈值范围，当该时序未来观测值超过此范围时，判定为异常，从而实现电信IT集群性能指标的智能化自动化监控，解决现有技术中计算机集群性能指标检测中无法准确确定阈值范围的问题。为自动计算合适的阈值区间，本实施例的计算机集群性能指标检测方法是一种基于区间预测的动态阈值方法，该方法适用于带有周期形态的时序数据。

以下将详细阐述本发明的计算机集群性能指标检测方法、电子设备及存储介质的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的计算机集群性能指标检测方法、电子设备及存储介质。

具体地，如图1所示，本发明的实施例提供了一种计算机集群性能指标检测方法，所述计算机集群性能指标检测方法包括以下步骤：

步骤S110，从历史数据库提取一定时间段内的具有周期形态的性能时序数据。

步骤S120，对所述性能时序数据进行建模，确定时序模型；

步骤S130，根据所述时序模型计算历史数据预设初始步长的拟合误差；

步骤S140，根据所述拟合误差和预设置信度预测所述预设未来步长的阈值区间；

步骤S150，检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间，若是，则执行步骤步骤S160，判定计算机集群性能指标正常，若否，则执行步骤S170，判定计算机集群性能指标异常。

请参阅图2和图3，以下将结合图2和图3对本实施例中的步骤S110至步骤S170进行详细说明。

相比基于历史数据单步拟合误差的传统区间预测方法，本发明提供的区间预测方法自动根据预测步长计算历史数据相应步长的拟合误差，再根据此误差确定预测区间。该预测区间有助于设计一个更合理的阈值范围，减少异常检测的漏报率或虚报率。此外，多步预测一般对具有周期形态的时序较为有效，本发明所采用的方法即是针对此类时序设计的。

步骤S110，从历史数据库提取一定时间段内的具有周期形态的性能时序数据。

图4～图7显示为本发明的计算机集群性能指标检测方法中所处理的具有周期形态的性能时序数据示例图。

步骤S120，对所述性能时序数据进行建模，确定时序模型。

选择适合于周期类时序建模的模型，对该时序进行建模，确定模型参数。

于本实施例中，采用Holt-Winters建模方法对所述性能时序数据进行建模，确定时序模型，也可以采用SARIMA模型对所述性能时序数据进行建模，确定时序模型。

步骤S130，根据所述时序模型计算历史数据预设初始步长H的拟合误差。

假设要确定未来共H步的阈值区间，根据步骤S120建立的时序模型计算历史数据H步的拟合误差σ_H。

步骤S140，根据所述拟合误差和预设置信度预测所述预设未来步长h的阈值区间。

根据拟合误差计算未来第h步的上下预测值，其中，1≤h≤H。

于本实施例中，所述预设未来步长的阈值区间的下预测值为：所述预设未来步长的阈值区间的上预测值为：其中，为下预测值，为上预测值，为第h步长的预测值，f(α)为置信度1-α确定的系数，σ_H为拟合误差。

步骤S150，检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间，若是，则执行步骤步骤S160，判定计算机集群性能指标正常，若否，则执行步骤S170，判定计算机集群性能指标异常。

于本实施例中，所述检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间具体为：检测第所述预设未来步长对应的实际值x_t+h是否满足

本实施例提出的计算机集群性能指标检测方法提出的技术有两个主要特点：(1)自学习能力，可通过对负载变换的跟踪分析和学习，自动计算合适的阈值区间，既节省了人工维护工作量，也更精准及时；(2)阈值粒度更细，相比静态或分时段阈值来说，动态阈值在时间轴上切割的粒度更细，针对每个时间点形成当前更合适的阈值区间。

于本实施例中，所述计算机集群性能指标检测方法还包括：根据预设调整系数调整所述阈值区间并存储调整后的所述阈值区间；根据调整后的所述阈值区间检测计算机集群性能指标的实际值正常还是异常。

根据一定的调整系数计算未来第h步的上下阈值。

于本实施例中，调整后的所述阈值区间的下预测值为：调整后的所述阈值区间的上预测值为：其中，β为预设调整系数，β是根据实际需要设定的一个调整系数。

将这h步的上下阈值存入数据库，用于后续计算机集群性能指标的实际值的异常诊断。

于本实施例中，所述计算机集群性能指标检测方法还包括：在检测计算机集群性能指标的实际值是否位于所述阈值区间之后，在经过所述预设未来步长的时间后，更新所述时序模型并根据更新的所述时序模型计算下一个预设未来步长的阈值区间，根据新的阈值区间检测计算机集群性能指标的实际值并循环上述过程。

经过H个时间点后，重复步骤S110至步骤S170，更新该时序模型并计算未来H步的阈值区间，如此迭代进行。

以下结合图4至图15对本实施例中的计算机集群性能指标检测方法的实施过程进行详细说明。

本实施例中的计算机集群性能指标检测方法处理如图4～图7所示的具有周期形态的性能数据，图4～图7给出了4个时序的波形图。

本实施例中的计算机集群性能指标检测方法需要对周期类时序选择合适的算法进行建模。对具有周期特性的时序采用的建模方法常用的有SARIMA(季节性差分自回归滑动平均模型)，Holt-Winters等。本实施例中以采用Holt-Winters方法为例对性能时序数据进行建模。

Holt-Winters方法也称为三次指数平滑法，即将原始时序分解为水平、趋势和季节三个成分，每个成分用指数平滑法进行建模。假设时序x_t的水平成分为l_t，趋势成分为b_t和季节成分为s_t，各个成分的平滑方程为：

l_t＝α^*(x_t-s_t-m)+(1-α^*)(l_t-1+b_t-1)

b_t＝β^*(l_t-l_t-1)+(1-β^*)b_t-1 (1)

s_t＝γ^*(x_t-l_t-1-b_t-1)+(1-γ^*)s_t-m

其中α^*、β^*和γ^*分别是水平成分、趋势成分和季节成分的平滑系数，m是时序的周期长度。平滑系数的取值范围为(0,1)。如此，从t时刻开始第h步的预测值写为：

其中该模型也称为Holt-Winters加法模型。另有Holt-Winters乘法模型，非本实施例所采用，不做展述。为提高计算效率，公式(1)的三个方程变换成如下形式：

l_t＝l_t-1+b_t-1+α^*e_t

b_t＝b_t-1+α^*β^*e_t (3)

s_t＝s_t-m+γ^*e_t

其中即是单步预测拟合误差。如附图3所述，需确定模型参数α^*、β^*和γ^*。本实施例通过最小化历史数据的单步拟合误差平方和来确定这些参数，即

N表示历史数据的样本长度，N＝mL，L为历史数据的周期数。注意t是从m+1开始的是因为平滑季节成分时需要用到前面1个周期的数据，如此拟合是从第二个周期开始。为完成该优化过程，需要给定l_t、b_t和s_t的初始值。计算历史数据第j个周期的平均值为：

则计算三个成分的初始值按如下方式计算：

l_m＝A₁

公式(4)的最优化问题采用L-BFGS-B(Limited-memory Broyden–Fletcher–Goldfarb–Shanno with Bound-constraints)算法求解。在确定模型参数后，如附图3所述，根据预测步长H(即需要给未来多长时间提供阈值范围)计算历史数据相应步长的拟合误差，计算方法为：

如公式(2)，的计算方法为：

其中l_i、b_i和s_i均可在确定模型参数α^*、β^*和γ^*后根据公式(6)和(1)递归求得。

通过如下公式计算附图3中的预测区间：

z_1-α/2表示标准正态分布的1-α/2的分位数，以置信度1-α＝99.7％为例，则z_1-α/2＝3。预测值根据公式(2)计算得到，此时t对应训练数据的最后一个时间点。

如图2所述，根据和计算阈值区间。在下面实施例中，取调整系数β＝0.1。

图8至图11给出了一个具体实施例的结果，具体实施例的技术步骤如图3所示。历史训练数据为13天，时序以天为周期，采样粒度为5分钟，如此m＝288，L＝13和N＝3744。预测未来1天的阈值区间，即取H＝288；置信度＝99.7％，即z_1-α/2＝3，图8是历史数据的波形图；图9是本发明所提出方法给出的预测区间和阈值区间，其中实线是真实观测值，点划线是预测区间，虚线是阈值区间；图10是基于单步拟合误差的预测区间和阈值区间；图11是基于单步拟合误差和预测步长方法的预测区间和阈值区间。可见图10中方法给出的预测区间偏小，导致过多虚警；而图11中方法给出的方法随着步长的增加逐渐增大，容易造成漏报。本发明提出的方法则给出了更合理的预测区间，很好地包络住真实值曲线。

图12至图15给出了另外一个具体实施例的结果。该时序对图8至图11中的时序进行降采样，改为15分钟采样粒度，即取m＝96。图12是采样粒度为5分钟时，本发明所提出方法的预测区间；图13是采样粒度为15分钟时，本发明所提出方法的预测区间；图14是采样粒度为5分钟时，基于单步拟合误差的预测区间；图15是采样粒度为15分钟时，基于单步拟合误差的预测区间。对于本发明方法，采样粒度从5分钟转成15分钟时，拟合误差(fittingerror)变化不大，增加了22％，给出的预测区间都比较合理；而基于单步拟合误差的方法，采样粒度从5分钟转成15分钟时，拟合误差变化明显，增加了131％，预测区间在5分钟粒度时明显偏小。因此，本发明提出的方法对时序的采样粒度有更好的鲁棒性，受采样粒度的影响小。

相比于传统的基于单步拟合误差的区间预测方法，本发明提出的方法自动根据预测步长计算相应的拟合误差，所给出的预测区间更加合理且更具备鲁邦性，受时序的采样粒度影响小。

针对于SARIMA模型，其一个可行的实施过程为：

根据历史数据确定SARIMA(p,d,q)×(P,D,Q)的模型参数，其中(p,d,q)×(P,D,Q)表示模型阶数。根据预测步长和模型计算历史数据相应步长的拟合误差。根据拟合误差和预测值计算未来的预测区间。依据预测区间计算相应的阈值区间。当实际的观测值越过对应时刻的阈值区间时，判为异常。其他适用于周期时序的模型均可根据上述步骤完成相应的实施过程。

本发明的实施例提供了一种存储介质，所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。

所述存储器存储有程序指令，该程序被处理器执行时实现上述计算机集群性能指标检测方法中的步骤。在此不再赘述上述计算机集群性能指标检测方法中的步骤。

本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的计算机集群性能指标检测方法。在此不再赘述上述计算机集群性能指标检测方法中的步骤。

其中，所述电子设备例如为服务器或工控机。

综上所述，本发明自动根据预测步长计算历史数据相应步长的拟合误差，再根据此误差确定预测区间，该预测区间有助于设计一个更合理的阈值范围，减少异常检测的漏报率或虚报率，有效解决了现有技术中计算机集群性能指标检测中无法准确确定阈值范围的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种计算机集群性能指标检测方法，其特征在于：所述计算机集群性能指标检测方法包括：

从历史数据库提取一定时间段内的具有周期形态的性能时序数据；

对所述性能时序数据进行建模，确定时序模型；

根据所述时序模型计算历史数据预设初始步长的拟合误差；

根据所述拟合误差和预设置信度预测所述预设未来步长的阈值区间；

检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间，若是，则为正常，若否，则为异常。

2.根据权利要求1所述的计算机集群性能指标检测方法，其特征在于：所述计算机集群性能指标检测方法还包括：

根据预设调整系数调整所述阈值区间并存储调整后的所述阈值区间；

根据调整后的所述阈值区间检测计算机集群性能指标的实际值正常还是异常。

3.根据权利要求1或2所述的计算机集群性能指标检测方法，其特征在于：所述计算机集群性能指标检测方法还包括：

在检测计算机集群性能指标的实际值是否位于所述阈值区间之后，在经过所述预设未来步长的时间后，更新所述时序模型并根据更新的所述时序模型计算下一个预设未来步长的阈值区间，根据新的阈值区间检测计算机集群性能指标的实际值并循环上述过程。

4.根据权利要求2所述的计算机集群性能指标检测方法，其特征在于：

所述预设未来步长的阈值区间的下预测值为：

所述预设未来步长的阈值区间的上预测值为：

其中，为下预测值，为上预测值，为第h步长的预测值，f(α)为置信度1-α确定的系数，σ_H为拟合误差。

5.根据权利要求4所述的计算机集群性能指标检测方法，其特征在于：

调整后的所述阈值区间的下预测值为：

调整后的所述阈值区间的上预测值为：

其中，β为预设调整系数。

6.根据权利要求5所述的计算机集群性能指标检测方法，其特征在于：所述检测计算机集群性能指标第所述预设未来步长对应的实际值是否位于所述阈值区间具体为：

检测第所述预设未来步长对应的实际值x_t+h是否满足

7.根据权利要求5所述的计算机集群性能指标检测方法，其特征在于：采用Holt-Winters建模方法对所述性能时序数据进行建模，确定时序模型。

8.根据权利要求5所述的计算机集群性能指标检测方法，其特征在于：采用SARIMA模型对所述性能时序数据进行建模，确定时序模型。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至权利要求8任一项所述的方法。

10.一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如权利要求1至权利要求8任一项所述的方法。