CN116055357A - 性能数据告警的回测方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种性能数据告警的回测方法、装置及电子设备，使用数据异常监控模型对预测数据进行告警判断，并使用数据阈值判断规则对性能数据进行告警判断，进而结合两种告警判断所得到的告警判断结果对告警判断结果是否存在异常进行判断，也就判断出数据阈值判断规则以及数据异常监控模型是否存在异常，由此实现告警回测。

Description

性能数据告警的回测方法、装置及电子设备

技术领域

本申请涉及运维技术领域，尤其涉及一种性能数据告警的回测方法、装置及电子设备。

背景技术

在使用预设的告警规则或者监控模型对应用系统的性能数据进行监测时，可以获得到告警判断结果，以表征性能数据是否存在异常。

而由于告警规则或监控模型可能存在不准确的情况，导致无法确定告警判断结果是否准确。

因此，亟需一种能够确定告警判断结果是否准确的技术方案。

发明内容

有鉴于此，本申请提供一种性能数据告警的回测方法、装置及电子设备，用以实现告警回测。如下：

一种性能数据告警的回测方法，所述方法包括：

获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；

使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；

使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；

根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

上述方法，优选的，所述第二预测数据训练出的数据异常监控模型能够获得其他预测数据相对于所述第二预测数据的数据变化状态信息；所述数据变化状态信息表征所述其他预测数据相对于所述第二预测数据的变化状态是否存在异常；

其中，所述使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，包括：

使用所述数据异常监控模型，获得所述第一预测数据对应的目标变化状态信息，所述目标变化状态信息表征每个所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态是否存在异常；

根据所述目标变化状态信息，获得第一告警判断结果；

其中，在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态存在异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据存在异常；在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态没有异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据没有异常。

上述方法，优选的，使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，包括：

将所述第一性能数据与所述数据阈值判断规则中的性能阈值进行比对，以得到第二告警判断结果；

其中，在所述第一时刻点上对应的所述第一性能数据与所述性能阈值不匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据存在异常；在所述第一时刻点上对应的所述第一性能数据与所述性能阈值相匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据没有异常。

上述方法，优选的，根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，包括：

将所述第一告警判断结果与所述第二告警判断结果进行比对，以得到告警比对结果；

根据所述告警比对结果，获得告警回测结果；

其中，在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果相一致的情况下，所述告警回测结果表征所述第一时刻上对应的告警判断结果没有异常；在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果不一致的情况下，所述告警回测结果表征所述第一时刻上对应的所述第一告警判断结果或所述第二告警判断结果存在异常。

上述方法，优选的，获得应用系统的第一数据队列、第二数据队列和第三数据队列，包括：

获得所述应用系统的性能数据存在异常的多个基准时刻点；

在所述基准时刻点中选取其中一个时刻点作为目标时刻点；

采集所述目标时刻点之前第二数量的第二预测数据，以得到第三数据队列，所述第二预测数据对应于第二时刻点；

采集所述目标时刻点之后第一数量的第一性能数据，以得到第二数据队列；所述第一性能数据对应于第一时刻点；

采集所述目标时刻点之后所述第一数量的第一预测数据，以得到第一数据队列；所述第一预测数据对应于所述第一时刻点。

上述方法，优选的，在采集所述目标时刻点之前第二数量的第二预测数据之后，所述方法还包括：

判断所述第二预测数据对应的时刻点之间是否连续；

如果所述第二预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

上述方法，优选的，在所述采集所述目标时刻点之后所述第一数量的第一性能数据之后，所述方法还包括：

判断所述第一性能数据对应的时刻点之间是否连续；

如果所述第一性能数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

上述方法，优选的，在所述采集所述目标时刻点之后所述第一数量的第一预测数据之后，所述方法还包括：

判断所述第一预测数据对应的时刻点是否连续；

如果所述第一预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

一种性能数据告警的回测装置，所述装置包括：

数据队列获得单元，用于获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；

第一告警判断单元，用于使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；

第二告警判断单元，用于使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；

告警回测单元，用于根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

一种电子设备，包括：

存储器，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器，用于执行所述计算机程序，以实现：获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

由上述方案可知，本申请提供的一种性能数据告警的回测方法、装置及电子设备中，使用数据异常监控模型对预测数据进行告警判断，并使用数据阈值判断规则对性能数据进行告警判断，进而结合两种告警判断所得到的告警判断结果对告警判断结果是否存在异常进行判断，也就判断出数据阈值判断规则以及数据异常监控模型是否存在异常，由此实现告警回测。。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种性能数据告警的回测方法的流程图；

图2为本申请实施例中时刻点的示例图；

图3为本申请实施例一提供的一种性能数据告警的回测方法的部分流程图；

图4为本申请实施例一提供的一种性能数据告警的回测方法的另一部分流程图；

图5为本申请实施例二提供的一种性能数据告警的回测装置的结构示意图；

图6为本申请实施例三提供的一种电子设备的结构示意图；

图7为本申请适用于金融应用系统实现告警回测的示例流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1所示，为本申请实施例一提供的一种性能数据告警的回测方法的实现流程图，该方法可以适用于能够进行数据处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于实现性能数据的告警回测。

具体的，本实施例中的方法可以包括如下步骤：

步骤101：获得应用系统的第一数据队列、第二数据队列和第三数据队列。

其中，第一数据队列包含多个第一时刻点上对应的第一预测数据；第二数据队列包含每个第一时刻上的第一性能数据；第三队列包含多个第二时刻点上的第二预测数据；第一时刻点为目标时刻点之后的时刻点，第二时刻点为目标时刻点之前的时刻点。

例如，如图2中所示，第一时刻点有M个，分别为目标时刻点之后的时刻点，第二时刻点有N个，分别为目标时刻点之前的时刻点。N可以为大于或等于M的正整数。

其中，第一时刻点之间以及与目标时刻点之间连续，第二时刻点之间以及与目标时刻点之间连续。

需要说明的是，第一时刻点上对应的第一预测数据为在第一时刻点之前的时刻点上针对应用系统在第一时刻点上进行性能预测所得到的预测数据，第一时刻点上对应的第一性能数据为应用系统在第一时刻点上所采集到的实际的性能数据；第二时刻点上对应的第二预测数据为在第二时刻点之前的时刻点上针对应用系统在第二时刻点上进行性能预测所得到的预测数据。

步骤102：使用第二预测数据训练出的数据异常监控模型，对第一预测数据进行处理，以得到第一告警判断结果。

其中，第一告警判断结果表征每个第一时刻点上对应的预测数据是否存在异常。

具体的，数据异常监控模型被第二预测数据训练得到，以使得数据异常监控模型能够按照第二预测数据中的数据变化趋势对其他数据进行异常监控，基于此，本实施例中能够通过数据异常监控模型对第一预测数据进行处理，得到表征每个第一时刻点上对应的第一预测数据是否存在异常的第一告警判断结果。

例如，第二预测数据训练出的数据异常监控模型能够获得其他预测数据相对于第二预测数据的数据变化状态信息；数据变化状态信息表征其他预测数据相对于第二预测数据的变化状态是否存在异常，也就是说，数据变化状态信息表征按照第二预测数据中的数据变化趋势其他预测数据的数据变化趋势是否存在变化异常，例如，数据骤增或骤降的变化异常。

基于此，步骤102中具体通过以下方式实现：

首先，使用数据异常监控模型，获得第一预测数据对应的目标变化状态信息，目标变化状态信息表征每个第一时刻点上对应的第一预测数据相对于第二预测数据的变化状态是否存在异常，例如，第一预测数据按照第二预测数据的数据变化趋势是否存在变化异常；之后，根据目标变化状态信息，获得第一告警判断结果；

其中，在目标变化状态信息表征第一时刻点上对应的第一预测数据相对于第二预测数据的变化状态存在异常如增加量较大或降低量较大的情况下，第一告警判断结果表征第一时刻点上对应的第一预测数据存在异常；在目标变化状态信息表征第一时刻点上对应的所述第一预测数据相对于第二预测数据的变化状态没有异常的情况下，第一告警判断结果表征第一时刻点上对应的第一预测数据没有异常。

步骤103：使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果。

其中，第二告警判断结果表征每个所述第一时刻上对应的性能数据是否存在异常。

具体的，步骤103中可以将第一性能数据与数据阈值判断规则中的性能阈值进行比对，以得到第二告警判断结果。

其中，在第一时刻点上对应的所述第一性能数据与性能阈值不匹配如超出性能阈值形成的阈值范围的情况下，第二告警判断结果表征第一时刻点上对应的第一性能数据存在异常；在第一时刻点上对应的第一性能数据与性能阈值相匹配如没有超出性能阈值形成的阈值范围的情况下，第二告警判断结果表征第一时刻点上对应的第一性能数据没有异常。

需要说明的是，步骤102和步骤103之间的执行顺序不受图1中所示的执行顺序限制，在其他实现方式中，也可以先执行步骤103再执行步骤102，或者，同时执行步骤102和步骤103，不同的执行顺序所形成的技术方案均在本申请的保护范围内。

步骤104：根据第一告警判断结果和第二告警判断结果，获得告警回测结果。

其中，告警回测结果表征每个第一时刻点上对应的告警判断结果是否存在异常，即第一告警判断结果或第二告警判断结果是否存在异常。其中，在告警回测结果表征第一时刻点上对应的第一告警判断结果或第二告警规则存在异常的情况下，可以确定数据异常监控模型或数据阈值判断规则存在异常；在告警回测结果表征第一时刻点上对应的第一告警判断结果或第二告警规则没有异常的情况下，可以确定数据异常监控模型和数据阈值判断规则没有异常，由此实现告警回测。

具体的，步骤104中可以通过以下方式实现：

首先，将第一告警判断结果与第二告警判断结果进行比对，以得到告警比对结果，告警比对结果表征第一时刻点上对应的第一告警判断结果与第二告警判断结果是否相一致；之后，根据告警比对结果，获得告警回测结果。

其中，在告警比对结果表征第一时刻点上对应的第一告警判断结果与第二告警判断结果相一致的情况下，告警回测结果表征第一时刻上对应的告警判断结果没有异常，即第一告警判断结果和第二告警判断结果没有异常，由此确定数据异常监控模型和数据阈值判断规则没有异常；在告警比对结果表征第一时刻点上对应的第一告警判断结果与第二告警判断结果不一致的情况下，告警回测结果表征第一时刻上对应的第一告警判断结果或第二告警判断结果存在异常，由此确定数据异常监控模型或数据阈值判断规则存在异常，进而实现告警回测。

由上述方案可知，本申请实施例一提供的一种性能数据告警的回测方法中，使用数据异常监控模型对预测数据进行告警判断，并使用数据阈值判断规则对性能数据进行告警判断，进而结合两种告警判断所得到的告警判断结果对告警判断结果是否存在异常进行判断，也就判断出数据阈值判断规则以及数据异常监控模型是否存在异常，由此实现告警回测。

在一种实现方式中，步骤101中在获得应用系统的第一数据队列、第二数据队列和第三数据队列时，可以通过以下步骤实现，如图3中所示：

步骤301：获得应用系统的性能数据存在异常的多个基准时刻点。

其中，基准时刻点可以为通过数据异常监控模型对性能数据进行处理所确定的性能数据存在异常的时刻点，或者，基准时刻点可以为通过数据阈值判断规则对性能数据进行处理所确定的性能数据存在异常的时刻点。

步骤302：在基准时刻点中选取其中一个时刻点作为目标时刻点。

具体的，本实施例中可以在基准时刻点中随机选取其中一个时刻点作为目标时刻点，或者，本实施例中可以在基准时刻点中选取时刻点最小(时刻最早)的时刻点作为目标时刻点。

步骤303：采集目标时刻点之前第二数量的第二预测数据，以得到第三数据队列。

其中，第二预测数据对应于第二时刻点。需要说明的是，本实施例中所获得的第二预测数据对应的时刻点之间连续。例如，采集目标时刻点之前20个预测数据，作为第二预测数据，这20个预测数据组成第三数据队列，且，这20个预测数据对应的时刻点之间连续。

步骤304：采集目标时刻点之后第一数量的第一性能数据，以得到第二数据队列。

其中，第一性能数据对应于第一时刻点。需要说明的是，本实施例中所获得第一性能数据对应的时刻点之间连续。例如，采集目标时刻点之后5个性能数据，作为第一性能数据，这5个性能数据组成第二数据队列，且，这5个性能数据对应的时刻点之间连续。

步骤305：采集目标时刻点之后第一数量的第一预测数据，以得到第一数据队列。

其中，第一预测数据对应于所述第一时刻点。需要说明的是，本实施例中所获得第一预测数据对应的时刻点之间连续。例如，采集目标时刻点之后5个预测数据，作为第一预测数据，这5个预测数据组成第一数据队列，且，这5个预测数据对应的时刻点之间连续。

基于以上实现方案，在步骤303之后，本实施例中的方法还可以包含如下步骤，如图4中所示：

步骤306：判断第二预测数据对应的时刻点之间是否连续，如果第二预测数据对应的时刻点之间不连续，执行步骤307，如果连续，执行步骤304；

步骤307：在基准时刻点中选取目标时刻点的下一个时刻点作为新的目标时刻点，返回执行步骤303，进而采集新的目标时刻点之前第二数量的第二预测数据。

在步骤304之后，本实施例中的方法还可以包含如下步骤：

步骤308：判断第一性能数据对应的时刻点之间是否连续，如果第一性能数据对应的时刻点之间不连续，执行步骤307。

在步骤305之后，本实施例中的方法还可以包含如下步骤：

步骤309：判断第一预测数据对应的时刻点是否连续，如果第一预测数据对应的时刻点之间不连续，执行步骤307。

由此，基于以上方案，能够使得第一数据队列、第二数据队列和第三数据队列中的数据之间关于时刻点连续。

需要说明的是，在步骤104之后，本实施例中可以执行步骤307，即在基准时刻点中选取目标时刻点的下一个时刻点作为新的目标时刻点，返回执行步骤303，进而采集新的目标时刻点之前第二数量的第二预测数据。也就是说，在经过一次回测之后，可以更新目标时刻点，进而更新数据队列再次进行新的告警回测，直至应用系统的性能数据和预测数据全部判断完毕，或者基准时刻点均被作为目标时刻点进行过告警回测。

参考图5，为本申请实施例二提供的一种性能数据告警的回测装置的结构示意图，该装置可以配置在能够进行数据处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于实现性能数据的告警回测。

具体的，本实施例中的装置可以包括如下单元：

数据队列获得单元501，用于获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；

第一告警判断单元502，用于使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻上对应的预测数据是否存在异常；

第二告警判断单元503，用于使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻上对应的性能数据是否存在异常；

告警回测单元504，用于根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

由上述方案可知，本申请实施例二提供的一种性能数据告警的回测装置中，使用数据异常监控模型对预测数据进行告警判断，并使用数据阈值判断规则对性能数据进行告警判断，进而结合两种告警判断所得到的告警判断结果对告警判断结果是否存在异常进行判断，也就判断出数据阈值判断规则以及数据异常监控模型是否存在异常，由此实现告警回测。

在一种实现方式中，所述第二预测数据训练出的数据异常监控模型能够获得其他预测数据相对于所述第二预测数据的数据变化状态信息；所述数据变化状态信息表征所述其他预测数据相对于所述第二预测数据的变化状态是否存在异常；

其中，第一告警判断单元502具体用于：使用所述数据异常监控模型，获得所述第一预测数据对应的目标变化状态信息，所述目标变化状态信息表征每个所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态是否存在异常；根据所述目标变化状态信息，获得第一告警判断结果；其中，在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态存在异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据存在异常；在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态没有异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据没有异常。

在一种实现方式中，第二告警判断单元503具体用于：将所述第一性能数据与所述数据阈值判断规则中的性能阈值进行比对，以得到第二告警判断结果；其中，在所述第一时刻点上对应的所述第一性能数据与所述性能阈值不匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据存在异常；在所述第一时刻点上对应的所述第一性能数据与所述性能阈值相匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据没有异常。

在一种实现方式中，告警回测单元504具体用于：将所述第一告警判断结果与所述第二告警判断结果进行比对，以得到告警比对结果；根据所述告警比对结果，获得告警回测结果；其中，在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果相一致的情况下，所述告警回测结果表征所述第一时刻上对应的告警判断结果没有异常；在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果不一致的情况下，所述告警回测结果表征所述第一时刻上对应的所述第一告警判断结果或所述第二告警判断结果存在异常。

在一种实现方式中，数据队列获得单元501具体用于：获得所述应用系统的性能数据存在异常的多个基准时刻点；在所述基准时刻点中选取其中一个时刻点作为目标时刻点；采集所述目标时刻点之前第二数量的第二预测数据，以得到第三数据队列，所述第二预测数据对应于第二时刻点；采集所述目标时刻点之后第一数量的第一性能数据，以得到第二数据队列；所述第一性能数据对应于第一时刻点；采集所述目标时刻点之后所述第一数量的第一预测数据，以得到第一数据队列；所述第一预测数据对应于所述第一时刻点。

优选方案中，数据队列获得单元501在采集所述目标时刻点之前第二数量的第二预测数据之后，还用于：判断所述第二预测数据对应的时刻点之间是否连续；如果所述第二预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

优选方案中，数据队列获得单元501在所述采集所述目标时刻点之后所述第一数量的第一性能数据之后，还用于：判断所述第一性能数据对应的时刻点之间是否连续；如果所述第一性能数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

优选方案中，数据队列获得单元501在所述采集所述目标时刻点之后所述第一数量的第一预测数据之后，还用于：判断所述第一预测数据对应的时刻点是否连续；如果所述第一预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

参考图6，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行数据处理的电子设备，如计算机或服务器等。本实施例中的技术方案主要用于实现性能数据的告警回测。

具体的，本实施例中的电子设备可以包括如下结构：

存储器601，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器602，用于执行所述计算机程序，以实现：获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻上对应的预测数据是否存在异常；使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻上对应的性能数据是否存在异常；根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

由上述方案可知，本申请实施例三提供的一种电子设备中，使用数据异常监控模型对预测数据进行告警判断，并使用数据阈值判断规则对性能数据进行告警判断，进而结合两种告警判断所得到的告警判断结果对告警判断结果是否存在异常进行判断，也就判断出数据阈值判断规则以及数据异常监控模型是否存在异常，由此实现告警回测。

以银行所使用的金融应用系统为例，为了提供高质量的运维服务，可以通过智能监控模型(即前文中的数据异常监控模型)和监控规则(即前文中的数据阈值判断规则)对金融应用系统的性能数据进行告警判断，为了实现告警回测，提高告警判断的准确性，以下对本申请的技术方案进行详细说明：

首先，以下对本申请中涉及的名词进行说明：

AIOps：即Artificial Intelligence for IT Operations，智能运维，将人工智能应用于运维领域，基于已有的运维数据(日志、监控信息、应用信息等)，通过机器学习的方式，来进一步解决自动化运维没办法解决的问题。

性能数据：反映应用系统效率的数据，应用系统性能数据包过系统数据和业务数据，本申请主要进行业务数据的回测，包括交易量、成功率、相应时间、返回码统计等。

性能监控：人为确定一个监控阈值，通过获取系统的性能数据，判断当前数据是否有超过阈值的情况，从而实现对系统的监控。

预测数据：指智能监控通过模型计算出的预测性能数据，一个预测数据对应一个性能数据，但是预测数据相较于同一时刻的性能数据来说，总是超前的。

智能监控：本申请提到的智能监控，是基于系统性能数据进行建模，实时判断当前系统性能数据情况，一但有数据超出模型的趋势，在事前发出预警。

回测：回测指回归测试，修改了旧代码或者参数后，重新进行测试以确认修改没有引入新的错误或导致其他方面产生错误。

其次，本申请中的智能监控模型是基于AIOpes提出的一种新型的监控方式，也称为无阈值监控。与传统的监控方式比较，不需要人为的定义告警的阈值，可以根据系统的运行情况实施的预测系统即将发生的状态，所以只需要事先进行建模，并定义模型的敏感度即可。而敏感度的配置并不像传统监控方式的告警阈值那样直观，它需要多个参数来进行控制，一个比较合理的敏感度配置，将极大的提高智能监控的质量，减少误告警和发现故障的准确率。

该回测功能就是通过历史性能数据和历史预测数据，进行智能监控模型的校验，以此来确定当前的模型是否符合系统的实际情况，通过多次回测，最终可以找到一个合理的模型配置区间，同时对于传统的监控方式也有辅助作用，可以更直观的确定传统监控阈值。

而基于传统性能监控的回测功能，由于只获取系统的实际性能数据，所以只能帮助性能监控告警阈值的辅助调整，所展示的也是系统的历史运行状态，如果系统本身运行偏离度小，并不能直观的展现出系统的异常。本申请中结合智能监控的预测数据，增加了运行情况的界定途径，对于超出允许的偏离也能直观展示。所以从实现的功能、展示的直观性上看，传统的基于性能数据的回测，是有局限性的。

具体方案如下：

本申请中拿到性能数据和预测数据之后，整个功能主要分为两个阶段进行。第一个阶段是确定判断的数据范围，第二阶段就是代入告警模型(监控模型和监控规则)进行告警判断。本申请将数据限定于时序预测模型，例如，交易量这种有较大波动的模型。

首先是确定数据范围，这个要先确定本功能的判断逻辑，确定基准点(即目标时刻点)后，以基准点后五个时刻点为一组，以基准点前二十个时刻点确定告警基线(表征数据的变化趋势)。基于此，连续的二十五个点是回测的前提，若数据点不连续，会影响回测的质量。

如图7中所示，本申请将确定三个队列，作为告警判断的依据，由于要保证连续性，在确定基准点后，首先取到基准点前的二十个时间点的预测数据，并判断其连续性，然后取到基准点后五个时间点的性能数据，判断其连续性，如果不连续，将基准点后移，即确定下一个基准点。根据五个性能数据的时刻点，找到对应时刻点上的预测数据，这样就得到了三个队列：历史的预测数据队列长度为20(第三数据队列)，预测数据队列(第一数据队列)与性能数据队列(第二数据队列)均为5，然后去进行告警判断，根据两个告警判断结果进行实现告警回测。结束后，基准点后移一个单位，重复上述逻辑，直至数据全部判断完毕，或者没有满足的基准点。如果基准点确定后，前后不存在连续的25个点，说明该基准点不满足回测条件，就要清空队列，并后移基准点。本申请的技术方案中可以较好的将性能数据和预测数据耦合起来，并放入智能监控模型进行判断。

综上，因为本申请将性能数据和预测数据进行了耦合，并依托了智能监控模型，所以它不仅具备了传统性能数据回测功能的阈值校验，也具有对智能监控模型的校验，直观的反映出在某个时间点，系统的性能状况与理论上的偏离程度，给系统开发人员提供了优化依据，也给运维人员提供了监控规则和监控模型的完善依据。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种性能数据告警的回测方法，其特征在于，所述方法包括：

获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；

使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；

使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；

根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

2.根据权利要求1所述的方法，其特征在于，所述第二预测数据训练出的数据异常监控模型能够获得其他预测数据相对于所述第二预测数据的数据变化状态信息；所述数据变化状态信息表征所述其他预测数据相对于所述第二预测数据的变化状态是否存在异常；

其中，所述使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，包括：

使用所述数据异常监控模型，获得所述第一预测数据对应的目标变化状态信息，所述目标变化状态信息表征每个所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态是否存在异常；

根据所述目标变化状态信息，获得第一告警判断结果；

其中，在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态存在异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据存在异常；在所述目标变化状态信息表征所述第一时刻点上对应的所述第一预测数据相对于所述第二预测数据的变化状态没有异常的情况下，所述第一告警判断结果表征所述第一时刻点上对应的所述第一预测数据没有异常。

3.根据权利要求1或2所述的方法，其特征在于，使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，包括：

将所述第一性能数据与所述数据阈值判断规则中的性能阈值进行比对，以得到第二告警判断结果；

其中，在所述第一时刻点上对应的所述第一性能数据与所述性能阈值不匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据存在异常；在所述第一时刻点上对应的所述第一性能数据与所述性能阈值相匹配的情况下，所述第二告警判断结果表征所述第一时刻点上对应的所述第一性能数据没有异常。

4.根据权利要求1或2所述的方法，其特征在于，根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，包括：

将所述第一告警判断结果与所述第二告警判断结果进行比对，以得到告警比对结果；

根据所述告警比对结果，获得告警回测结果；

其中，在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果相一致的情况下，所述告警回测结果表征所述第一时刻上对应的告警判断结果没有异常；在所述告警比对结果表征所述第一时刻点上对应的所述第一告警判断结果与所述第二告警判断结果不一致的情况下，所述告警回测结果表征所述第一时刻上对应的所述第一告警判断结果或所述第二告警判断结果存在异常。

5.根据权利要求1或2所述的方法，其特征在于，获得应用系统的第一数据队列、第二数据队列和第三数据队列，包括：

获得所述应用系统的性能数据存在异常的多个基准时刻点；

在所述基准时刻点中选取其中一个时刻点作为目标时刻点；

采集所述目标时刻点之前第二数量的第二预测数据，以得到第三数据队列，所述第二预测数据对应于第二时刻点；

采集所述目标时刻点之后第一数量的第一性能数据，以得到第二数据队列；所述第一性能数据对应于第一时刻点；

采集所述目标时刻点之后所述第一数量的第一预测数据，以得到第一数据队列；所述第一预测数据对应于所述第一时刻点。

6.根据权利要求5所述的方法，其特征在于，在采集所述目标时刻点之前第二数量的第二预测数据之后，所述方法还包括：

判断所述第二预测数据对应的时刻点之间是否连续；

如果所述第二预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

7.根据权利要求5所述的方法，其特征在于，在所述采集所述目标时刻点之后所述第一数量的第一性能数据之后，所述方法还包括：

判断所述第一性能数据对应的时刻点之间是否连续；

如果所述第一性能数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

8.根据权利要求5所述的方法，其特征在于，在所述采集所述目标时刻点之后所述第一数量的第一预测数据之后，所述方法还包括：

判断所述第一预测数据对应的时刻点是否连续；

如果所述第一预测数据对应的时刻点之间不连续，在所述基准时刻点中选取所述目标时刻点的下一个时刻点作为新的目标时刻点，返回执行所述：采集所述目标时刻点之前第二数量的第二预测数据。

9.一种性能数据告警的回测装置，其特征在于，所述装置包括：

数据队列获得单元，用于获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；

第一告警判断单元，用于使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；

第二告警判断单元，用于使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；

告警回测单元，用于根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器，用于执行所述计算机程序，以实现：获得应用系统的第一数据队列、第二数据队列和第三数据队列，所述第一数据队列包含多个第一时刻点上对应的第一预测数据；所述第二数据队列包含每个所述第一时刻点上的第一性能数据；所述第三队列包含多个第二时刻点上的第二预测数据；所述第一时刻点为目标时刻点之后的时刻点，所述第二时刻点为所述目标时刻点之前的时刻点；使用所述第二预测数据训练出的数据异常监控模型，对所述第一预测数据进行处理，以得到第一告警判断结果，所述第一告警判断结果表征每个所述第一时刻点上对应的预测数据是否存在异常；使用预设的数据阈值判断规则，对所述第一性能数据进行处理，以得到第二告警判断结果，所述第二告警判断结果表征每个所述第一时刻点上对应的性能数据是否存在异常；根据所述第一告警判断结果和所述第二告警判断结果，获得告警回测结果，所述告警回测结果表征每个所述第一时刻点上对应的告警判断结果是否存在异常。

Images