CN113886181A - 应用于AIOps故障预警的动态阈值预测方法、设备及介质 - Google Patents
应用于AIOps故障预警的动态阈值预测方法、设备及介质 Download PDFInfo
- Publication number
- CN113886181A CN113886181A CN202111165179.2A CN202111165179A CN113886181A CN 113886181 A CN113886181 A CN 113886181A CN 202111165179 A CN202111165179 A CN 202111165179A CN 113886181 A CN113886181 A CN 113886181A
- Authority
- CN
- China
- Prior art keywords
- prediction
- data set
- target data
- topological
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Abstract
本公开实施例中提供了一种应用于AIOps故障预警的动态阈值预测方法、设备及介质,属于数据处理技术领域,具体包括:获取待测设备在预设时段内的历史流量数据,并对历史流量数据进行预处理,得到目标数据集;根据目标数据集进行拓扑数据分析,提取拓扑特征,以及,将目标数据集输入卷积神经网络,提取时空特征;将拓扑特征、时空特征和统计特征联结,训练门控循环单元网络,得到预测结果;将预测结果和均值代入预设公式,计算待测设备在指定置信度下的预测阈值区间。通过本公开的方案,将拓扑特征、时空特征和统计特征联结训练得到动态的预测阈值区间,提高了AIOps故障预警的动态阈值预测的预测效率、预测精准度和适应性。
Description
技术领域
本公开实施例涉及数据处理技术领域,尤其涉及一种应用于AIOps故障预警的动态阈值预测方法、设备及介质。
背景技术
目前,随着公司内部报警平台的发展,报警配置及报警发送量都在快速增长,同时业务开发人员对报警的实时性与准确性有着更高的要求。而现有的预测方法如支持向量回归模型难以适应存在较为复杂结构的数据,且无法学习较长的时间依赖,长短期记忆网络无法处理和预测时间序列中间隔和延迟较短的重要事件,或者,深度学习模型如GPT等存在超参数庞大、训练时间极长且依赖较多的GPU资源等问题。当前的工业应用模型大多是对模型复杂度、资源消耗和时间消耗的折中选择。
可见,亟需一种预测效率、预测精准度和适应性较强的应用于AIOps故障预警的动态阈值预测方法。
发明内容
有鉴于此,本公开实施例提供一种应用于AIOps故障预警的动态阈值预测方法、设备及介质,至少部分解决现有技术中存在预测效率、预测精准度和适应性较差的问题。
第一方面,本公开实施例提供了一种应用于AIOps故障预警的动态阈值预测方法,包括:
获取待测设备在预设时段内的历史流量数据,并对所述历史流量数据进行预处理,得到目标数据集;
根据所述目标数据集进行拓扑数据分析,提取拓扑特征,以及,将所述目标数据集输入卷积神经网络,提取时空特征;
将所述拓扑特征、所述时空特征和统计特征联结,训练门控循环单元网络,得到预测结果,其中,所述统计特征包括所述目标数据集的均值和方差;
将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间。
根据本公开实施例的一种具体实现方式,对所述历史流量数据进行预处理,得到目标数据集的步骤,包括:
对所述历史流量数据进行格兰杰因果检验和相关性分析,得到特征相关分析结果;
根据所述特征相关分析结果剔除与所述历史流量数据中的接收流量数据相关性较小的特征后形成所述目标数据集。
根据本公开实施例的一种具体实现方式,所述根据所述目标数据集进行拓扑数据分析,提取拓扑特征的步骤,包括:
对所述目标数据集进行takens嵌入,转换为点云数据;
使用所述点云数据集进行持续同调;
根据持续同调的结果得到基于欧式距离、Bottleneck距离、Wasserstein距离和持续性熵的拓扑特征。
根据本公开实施例的一种具体实现方式,所述对所述目标数据集进行takens嵌入,转换为点云数据的步骤,包括:
所述目标数据集进行归一化处理后使用转换函数进行转换,得到所述点云数据集。
根据本公开实施例的一种具体实现方式,所述对所述点云数据进行持续同调,得到所述拓扑特征的步骤,包括:
计算所述点云数据集中全部点对应的欧氏距离矩阵;
持续增大所述点云数据集中点的半径并根据所述欧式距离矩阵构造每一轮的同调群;
根据所述同调群的生灭关系输出所述拓扑特征。
根据本公开实施例的一种具体实现方式,所述预设公式为其中,TR表示所述预测阈值区间,表示网络流量的预测结果,N表示所述目标数据集中样本总数,xi表示第i个样本,u表示所述目标数据集的均值,h表示预测步数,k表示置信乘子。
根据本公开实施例的一种具体实现方式,所述将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间的步骤之后,所述方法还包括:
采集与所述预测阈值区间对应的每个时间节点的目标流量数据;
依次将每个所述时间节点的目标流量数据与预测阈值区间进行比对;
当检测到所述目标流量数据不在所述预测阈值区间内时,则在对应的时间节点发送预警信息。
第二方面,本公开实施例还提供了一种电子设备,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的应用于AIOps故障预警的动态阈值预测方法。
第三方面,本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的应用于AIOps故障预警的动态阈值预测方法。
第四方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的应用于AIOps故障预警的动态阈值预测方法。
本公开实施例中的应用于AIOps故障预警的动态阈值预测方案,包括:获取待测设备在预设时段内的历史流量数据,并对所述历史流量数据进行预处理,得到目标数据集;根据所述目标数据集进行拓扑数据分析,提取拓扑特征,以及,将所述目标数据集输入卷积神经网络,提取时空特征;将所述拓扑特征、所述时空特征和统计特征联结,训练门控循环单元网络,得到预测结果,其中,所述统计特征包括所述目标数据集的均值和方差;将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间。
本公开实施例的有益效果为:通过本公开的方案,分别对目标数据集提取拓扑特征、时空特征和统计特征进行联结,然后将联结后的特征训练门控循环单元网络,得到预测阈值区间,提高了AIOps故障预警的动态阈值预测的预测效率、预测精准度和适应性。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种应用于AIOps故障预警的动态阈值预测方法的流程示意图;
图2为本公开实施例提供的一种应用于AIOps故障预警的动态阈值预测方法涉及的持续同调的流程示意图;
图3为本公开实施例提供的一种应用于AIOps故障预警的动态阈值预测方法涉及的预测阈值区间图;
图4为本公开实施例提供的一种应用于AIOps故障预警的动态阈值预测方法涉及的具体实施例的流程图;
图5为本公开实施例提供的电子设备示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
目前,随着公司内部报警平台的发展,报警配置及报警发送量都在快速增长,同时业务开发人员对报警的实时性与准确性有着更高的要求。而现有的预测方法一般包括:1.支持向量回归模型(Support Vector Regression,简称SVR):由支持向量机发展而来,对于分布较为简单的数据能够取得较好的拟合效果,且运行速度较快是其优点之一。然而,由于模型复杂度的限制,支持向量回归模型难以适应存在较为复杂结构的数据,且无法学习较长的时间依赖。
2.长短期记忆网络(Long Short-Term Memory,简称LSTM):一种时间循环神经网络,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的,适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
3.深度卷积神经网络(Deep Convolutional Neural Networks,简称DCNN):深度学习模型如GPT等存在超参数庞大、训练时间极长且依赖较多的GPU资源等问题。因此,当前的工业应用模型大多是对模型复杂度、资源消耗和时间消耗的折中选择。
本公开实施例提供一种应用于AIOps故障预警的动态阈值预测方法,所述方法可以应用于智能运维场景中的核心路由设备故障预警的动态阈值预测过程。
参见图1,为本公开实施例提供的一种应用于AIOps故障预警的动态阈值预测方法的流程示意图。如图1所示,所述方法主要包括以下步骤:
S101,获取待测设备在预设时段内的历史流量数据,并对所述历史流量数据进行预处理,得到目标数据集;
具体实施时,可以对所述待测设备的历史数据进行采样,例如,当需要对A公司的某核心路由器的运行状态进行预测时,可以先采集核心路由器在过去的预设时段内的接收流量数据作为所述历史流量数据,可以采集A公司某核心路由器的接收流量数据,时间跨度为(2020.02.0100:00:00,2020.04.3023:55:00),采样频率为5分钟。
所述历史流量数据中包含了各类信息,其中对后续的预测结果无用或者会造成干扰的信息可以通过所述预处理操作剔除,得到所述目标数据集,然后可以对所述预设时段内的目标数据集进行计算,得到所述目标数据集的均值、方差等统计特征。
S102,根据所述目标数据集进行拓扑数据分析,提取拓扑特征,以及,将所述目标数据集输入卷积神经网络,提取时空特征;
具体实施时,考虑到现有的技术大多是通过学习历史数据的时间序列从而进行预测,所需的训练数据量较大,训练时间长且预测的精准度较差,同时,考虑到所述拓扑数据分析可能会遗漏掉时间维度上的重要信息,以及,所述卷积神经网络的表达能力不足以呈现较为完整的数据全貌,可以在得到所述目标数据集后,分别将所述目标数据集进行拓扑数据分析和进行卷积神经网络训练,所述拓扑数据分析能提取所述目标数据集中最稳定和持久的拓扑特征,将原始数据转换为最精简有效的特征表达,得到所述拓扑特征,然后可以再通过所述卷积神经网络提取所述目标数据集中全部数据的时空特征,获得数据在时间和空间维度上的重要信息。
例如,所述卷积神经网络的组成可以为步长为1维度为(1×3)的过滤器,采用samepadding进行了三次卷积操作,使用的过滤器数分别是16、32和64;使用步长为2维度为(1×2)的过滤器执行最大池化操作。最后,使用Flatten操作将张量展开并接入两个全连接层得到所述时空特征。
S103,将所述拓扑特征、所述时空特征和统计特征联结,训练门控循环单元网络,得到预测结果,其中,所述统计特征包括所述目标数据集的均值和方差;
在分别进行拓扑数据分析和经过所述卷积神经网络提取得到所述拓扑特征和所述时空特征后,可以将所述拓扑特征、所述时空特征和所述统计特征如所述目标数据集的均值、方差和样本数等相结合,然后使用联接后的特征数据训练门控循环单元网络,得到预测结果。
S104,将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间。
具体实施时,考虑到所述待测设备在不同运行情况下的故障发生率不同,可以根据所述预测结果、所述目标数据集的均值和其他的影响因素例如预测步长等建立所述预设公式,并选定预设的指定置信度,指定置信度对置信乘子的对应关系如表1所示,然后将得到的所述预测结果和所述目标数据集的均值,并根据设定的预测步数、样本数代入预设公式得到所述待测设备对应的预测阈值区间TR。
置信度 | 置信乘子 |
80 | 1.28 |
85 | 1.44 |
90 | 1.64 |
95 | 1.96 |
96 | 2.05 |
97 | 2.17 |
98 | 2.33 |
99 | 2.58 |
表1
本实施例提供的应用于AIOps故障预警的动态阈值预测方法,通过分别对目标数据集提取拓扑特征、时空特征和统计特征进行联结,然后使用联结后的特征数据训练门控循环单元网络,得到预测阈值区间,提高了AIOps故障预警的动态阈值预测的预测效率、预测精准度和适应性。
在上述实施例的基础上,步骤S101所述的,对所述历史流量数据进行预处理,得到目标数据集,包括:
对所述历史流量数据进行格兰杰因果检验和相关性分析,得到特征相关分析结果;
根据所述特征相关分析结果剔除与所述历史流量数据中的接收流量数据相关性较小的特征后形成所述目标数据集。
例如,在得到A公司的某核心路由器的历史流量数据后,可以先结合格兰杰因果检验和相关性分析进行特征选择,得到所述相关性分析的结果如表2所示,
表2
由表2可知,为了获取更准确的接收流量值,需要去除特征集中与接收流量相关性较小的特征,即去除:内存使用率、总错包率、总广播流量、总发送包量、运行时长等特征,得到最终的目标数据集。
在上述实施例的基础上,步骤S102所述的,根据所述目标数据集进行拓扑数据分析,提取拓扑特征,包括:
对所述目标数据集进行takens嵌入,转换为点云数据集;
使用所述点云数据集进行持续同调;
根据持续同调的结果得到基于欧式距离、Bottleneck距离、Wasserstein距离和持续性熵的拓扑特征。
具体实施时,在进行拓扑数据分析时,可以将所述目标数据集中的时间序列数据首先经过Takens嵌入变成点云数据,计算所述点云数据集中全部点对应的欧氏距离矩阵并进行持续同调。持续同调的结果为一系列拓扑结构的出生、消亡点对,通过对该点集的分析,可以得到基于欧式距离、Bottleneck距离、Wasserstein距离、持续性熵的拓扑特征。
进一步的,所述对所述目标数据集进行takens嵌入,转换为点云数据集的步骤,包括:
所述目标数据集进行归一化处理后使用转换函数进行转换,得到所述点云数据集。
具体实施时,考虑到需要将二维的时间序列数据转换为三维点云数据,可以先将所述目标数据集进行归一化处理,然后使用gtda包中的TakensEmbedding函数作为所述转换函数进行转换,得到所述点云数据集。
可选的,所述根据持续同调的结果得到基于欧式距离、Bottleneck距离、Wasserstein距离和持续性熵的拓扑特征的步骤,包括:
计算所述点云数据集中全部点对应的欧氏距离矩阵;
持续增大所述点云数据集中点的半径并根据所述欧式距离矩阵构造每一轮的同调群;
根据所述同调群的生灭关系输出所述拓扑特征。
例如,如图2所示,将点云表示为P={vi:i=1,2,...,N},其中vi∈Rd。当d=2时,点位于平面上。设DE={DE(vi,vj)}i,j=1,...,N是N*N的欧氏距离矩阵。对于每个vi∈P,设Bλ(vi)={x:DE(x,vi)≤λ/2,x∈Rd}表示半径为λ/2的闭球;这里,0≤λ≤U,其中上界U通常为DE距离矩阵中的最大值。对应于一个给定λ的Rips复形被定义为点集Pv(λ),使得Pv(λ)中的任意点vi1,vi2满足DE(vi1,vi2)≤λ,1≤i1,i2≤N。对于给定的λ值,一个单纯复形表示一组Rips复形,使得对于任意的两个Rips复形有:
由(p+1)个点(来自不同的Rips复形)组成的单纯复形是p维单纯复形。在代数拓扑中,当点云有N个点时,p最多为N-1。点云的拓扑是通过单纯复形的拓扑来研究的,单纯复形表示为而是一个同调群,由一组p维同态单纯复形组成。随着参数λ的逐渐增大,在持久性图中记录了同调群的生灭。λ的p-thBetti数是λ处p-th同调群的数目,表示为
拓扑特征的计算总结在以下步骤中。
第一步:计算i1,i2∈{1,...,N}的欧氏距离矩阵DE={DE(vi1,vi2)}。
第三步:持久性图是一组点的输出,表示点云中同调群的生灭关系,表示为
在上述实施例的基础上,步骤S104所述的,将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间之后,所述方法还包括:
采集与所述预测阈值区间对应的每个时间节点的目标流量数据;
依次将每个所述时间节点的目标流量数据与预测阈值区间进行比对;
当检测到所述目标流量数据不在所述预测阈值区间内时,则在对应的时间节点发送预警信息。
具体实施时,所述预测阈值区间是对所述待测设备在未来一段时间的故障阈值预测,每个时间点有对应的阈值,当得到所述预测阈值区间后,可以采集与所述预测阈值区间对应的每个时间节点的目标流量数据,然后依次将每个所述时间节点的目标流量数据与预测阈值区间进行比对。当然,还可以对所述预测阈值区间选择置信度,例如选取95%的置信水平,在图3所示,实线1为接收流量真实值,为了便于观测,只画出了索引为(608,655)范围的数据。实线2为预测值,描述了未来一天的接收流量走向。阴影区域是预测值95%置信水平的动态阈值区间,将该区域的上下边界作为触发预警的阈值,则真实值超出该区间后,可判定设备有95%的可能出现了异常,应当立即发送所述预警信息。
如图4所示,下面将结合一个具体实施例对本公开进行说明,本公开的应用于AIOps故障预警的动态阈值预测方法可以应用于TCGRU智能运维系统中。源数据首先进入降维模块,经过相关性分析和格兰杰因果检验去除相关性较低的特征以降低数据维度。降维后的数据分别进入拓扑数据分析模块和卷积神经网络模块,得到拓扑特征和时空特征。最后,将提取的拓扑特征、时空特征和统计特征相联接,用于训练门控循环单元网络以得到最终的预测结果,然后结合所述预测结果、预测步数和所述目标数据集的均值、样本数代入所述预设公式,得到所述预测阈值区间。
参见图5,本公开实施例还提供了一种电子设备50,该电子设备包括:至少一个处理器以及与该至少一个处理器通信连接的存储器。其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述方法实施例中的应用于AIOps故障预警的动态阈值预测方法。
本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述方法实施例中的应用于AIOps故障预警的动态阈值预测方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述方法实施例中的应用于AIOps故障预警的动态阈值预测方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备50的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备50可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备50操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备50与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备50,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备可以执行上述方法实施例的相关步骤。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备可以执行上述方法实施例的相关步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种应用于AIOps故障预警的动态阈值预测方法,其特征在于,包括:
获取待测设备在预设时段内的历史流量数据,并对所述历史流量数据进行预处理,得到目标数据集;
根据所述目标数据集进行拓扑数据分析,提取拓扑特征,以及,将所述目标数据集输入卷积神经网络,提取时空特征;
将所述拓扑特征、所述时空特征和统计特征联结,训练门控循环单元网络,得到预测结果,其中,所述统计特征包括所述目标数据集的均值和方差;
将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间。
2.根据权利要求1所述的方法,其特征在于,所述对所述历史流量数据进行预处理,得到目标数据集的步骤,包括:
对所述历史流量数据进行格兰杰因果检验和相关性分析,得到特征相关分析结果;
根据所述特征相关分析结果剔除与所述历史流量数据中的接收流量数据相关性较小的特征后形成所述目标数据集。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标数据集进行拓扑数据分析,提取拓扑特征的步骤,包括:
对所述目标数据集进行takens嵌入,转换为点云数据集;
使用所述点云数据集进行持续同调;
根据持续同调的结果得到基于欧式距离、Bottleneck距离、Wasserstein距离和持续性熵的拓扑特征。
4.根据权利要求3所述的方法,其特征在于,所述对所述目标数据集进行takens嵌入,转换为点云数据集的步骤,包括:
所述目标数据集进行归一化处理后使用转换函数进行转换,得到所述点云数据集。
5.根据权利要求4所述的方法,其特征在于,所述根据持续同调的结果得到基于欧式距离、Bottleneck距离、Wasserstein距离和持续性熵的拓扑特征的步骤,包括:
计算所述点云数据集中全部点对应的欧氏距离矩阵;
持续增大所述点云数据集中点的半径并根据所述欧式距离矩阵构造每一轮的同调群;
根据所述同调群的生灭关系输出所述拓扑特征。
7.根据权利要求1所述的方法,其特征在于,所述将所述预测结果和所述均值代入预设公式,计算所述待测设备在指定置信度下的预测阈值区间的步骤之后,所述方法还包括:
采集与所述预测阈值区间对应的每个时间节点的目标流量数据;
依次将每个所述时间节点的目标流量数据与预测阈值区间进行比对;
当检测到所述目标流量数据不在所述预测阈值区间内时,则在对应的时间节点发送预警信息。
8.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述权利要求1-7中任一项所述的应用于AIOps故障预警的动态阈值预测方法。
9.一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述权利要求1-7中任一项所述的应用于AIOps故障预警的动态阈值预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165179.2A CN113886181B (zh) | 2021-09-30 | 2021-09-30 | 应用于AIOps故障预警的动态阈值预测方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165179.2A CN113886181B (zh) | 2021-09-30 | 2021-09-30 | 应用于AIOps故障预警的动态阈值预测方法、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113886181A true CN113886181A (zh) | 2022-01-04 |
CN113886181B CN113886181B (zh) | 2022-10-14 |
Family
ID=79004987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111165179.2A Active CN113886181B (zh) | 2021-09-30 | 2021-09-30 | 应用于AIOps故障预警的动态阈值预测方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113886181B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697203A (zh) * | 2022-03-31 | 2022-07-01 | 浙江省通信产业服务有限公司 | 一种网络故障的预判方法、装置、电子设备及存储介质 |
CN115051912A (zh) * | 2022-06-20 | 2022-09-13 | 广东电网有限责任公司 | 一种停电用户定位方法、装置、设备、介质 |
CN115242704A (zh) * | 2022-06-22 | 2022-10-25 | 中国电信股份有限公司 | 网络拓扑数据更新方法、装置和电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140222748A1 (en) * | 2013-02-05 | 2014-08-07 | Cisco Technology, Inc. | Traffic-based inference of influence domains in a network by using learning machines |
WO2017144432A1 (en) * | 2016-02-26 | 2017-08-31 | Nokia Solutions And Networks Oy | Cloud verification and test automation |
CN111200531A (zh) * | 2020-01-02 | 2020-05-26 | 国网冀北电力有限公司信息通信分公司 | 一种通信网流量预测方法、装置与电子设备 |
CN112910710A (zh) * | 2021-02-08 | 2021-06-04 | 清华大学 | 网络流量时空预测方法、装置、计算机设备和存储介质 |
CN113077094A (zh) * | 2021-04-13 | 2021-07-06 | 南京邮电大学 | 一种基于lstm-gcn的臭氧预测方法 |
CN113204738A (zh) * | 2021-04-30 | 2021-08-03 | 山东大学 | 一种基于小波变换与拓扑数据分析的机械故障特征提取方法 |
CN113239198A (zh) * | 2021-05-17 | 2021-08-10 | 中南大学 | 一种地铁客流预测方法、装置及计算机存储介质 |
CN113240187A (zh) * | 2021-05-26 | 2021-08-10 | 合肥工业大学 | 预测模型生成方法、系统、设备、存储介质及预测方法 |
CN113411216A (zh) * | 2021-06-21 | 2021-09-17 | 国网宁夏电力有限公司信息通信公司 | 基于离散小波变换和fa-elm的网络流量预测方法 |
-
2021
- 2021-09-30 CN CN202111165179.2A patent/CN113886181B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140222748A1 (en) * | 2013-02-05 | 2014-08-07 | Cisco Technology, Inc. | Traffic-based inference of influence domains in a network by using learning machines |
WO2017144432A1 (en) * | 2016-02-26 | 2017-08-31 | Nokia Solutions And Networks Oy | Cloud verification and test automation |
CN111200531A (zh) * | 2020-01-02 | 2020-05-26 | 国网冀北电力有限公司信息通信分公司 | 一种通信网流量预测方法、装置与电子设备 |
CN112910710A (zh) * | 2021-02-08 | 2021-06-04 | 清华大学 | 网络流量时空预测方法、装置、计算机设备和存储介质 |
CN113077094A (zh) * | 2021-04-13 | 2021-07-06 | 南京邮电大学 | 一种基于lstm-gcn的臭氧预测方法 |
CN113204738A (zh) * | 2021-04-30 | 2021-08-03 | 山东大学 | 一种基于小波变换与拓扑数据分析的机械故障特征提取方法 |
CN113239198A (zh) * | 2021-05-17 | 2021-08-10 | 中南大学 | 一种地铁客流预测方法、装置及计算机存储介质 |
CN113240187A (zh) * | 2021-05-26 | 2021-08-10 | 合肥工业大学 | 预测模型生成方法、系统、设备、存储介质及预测方法 |
CN113411216A (zh) * | 2021-06-21 | 2021-09-17 | 国网宁夏电力有限公司信息通信公司 | 基于离散小波变换和fa-elm的网络流量预测方法 |
Non-Patent Citations (1)
Title |
---|
聂镭: "复杂雷达回波特征提取及信号检测", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697203A (zh) * | 2022-03-31 | 2022-07-01 | 浙江省通信产业服务有限公司 | 一种网络故障的预判方法、装置、电子设备及存储介质 |
CN114697203B (zh) * | 2022-03-31 | 2023-07-25 | 浙江省通信产业服务有限公司 | 一种网络故障的预判方法、装置、电子设备及存储介质 |
CN115051912A (zh) * | 2022-06-20 | 2022-09-13 | 广东电网有限责任公司 | 一种停电用户定位方法、装置、设备、介质 |
CN115051912B (zh) * | 2022-06-20 | 2023-11-03 | 广东电网有限责任公司 | 一种停电用户定位方法、装置、设备、介质 |
CN115242704A (zh) * | 2022-06-22 | 2022-10-25 | 中国电信股份有限公司 | 网络拓扑数据更新方法、装置和电子设备 |
CN115242704B (zh) * | 2022-06-22 | 2023-08-11 | 中国电信股份有限公司 | 网络拓扑数据更新方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113886181B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113886181B (zh) | 应用于AIOps故障预警的动态阈值预测方法、设备及介质 | |
KR20220113881A (ko) | 사전 훈련 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
US20130191052A1 (en) | Real-time simulation of power grid disruption | |
CN114285728B (zh) | 一种预测模型训练方法、流量预测方法、装置及存储介质 | |
CN114721835A (zh) | 边缘数据中心服务器能耗预测方法、系统、设备及介质 | |
CN112037223B (zh) | 图像缺陷检测方法、装置及电子设备 | |
JP7414907B2 (ja) | 事前訓練済みモデルの決定方法及びその決定装置、電子機器並びに記憶媒体 | |
CN114205690A (zh) | 流量预测、模型训练方法及装置、电子设备、存储介质 | |
CN115810298A (zh) | 基于船舶机电装备故障信息的故障趋势预测方法及系统 | |
CN113869599A (zh) | 鱼类疫病发展预测方法、系统、设备及介质 | |
CN113919320A (zh) | 异构图神经网络的早期谣言检测方法、系统及设备 | |
CN110855474B (zh) | Kqi数据的网络特征提取方法、装置、设备及存储介质 | |
CN110060324B (zh) | 图像渲染方法、装置及电子设备 | |
CN113746780A (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
CN110555861A (zh) | 光流计算方法、装置及电子设备 | |
JP2022095895A (ja) | 交通データ予測方法、交通データ予測装置、電子機器、記憶媒体、コンピュータプログラム製品及びコンピュータプログラム | |
CN114266352B (zh) | 模型训练结果优化方法、装置、存储介质及设备 | |
CN115220131A (zh) | 气象数据质检方法及系统 | |
CN114357242A (zh) | 基于召回模型的训练评估方法及装置、设备、存储介质 | |
de Oliveira et al. | Time Series Compression for IoT: A Systematic Literature Review | |
CN113762972A (zh) | 数据存储控制方法及装置、电子设备、存储介质 | |
CN109255432B (zh) | 神经网络模型构建方法及装置、存储介质、电子设备 | |
CN117435901B (zh) | 一种工业互联网数据获取方法、系统、终端及储存介质 | |
CN116614431B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN115348179B (zh) | 网络流量边界预测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |