CN115658546A - 一种基于异质信息网络的软件故障预测方法及系统 - Google Patents
一种基于异质信息网络的软件故障预测方法及系统 Download PDFInfo
- Publication number
- CN115658546A CN115658546A CN202211425894.XA CN202211425894A CN115658546A CN 115658546 A CN115658546 A CN 115658546A CN 202211425894 A CN202211425894 A CN 202211425894A CN 115658546 A CN115658546 A CN 115658546A
- Authority
- CN
- China
- Prior art keywords
- log
- information network
- heterogeneous information
- logs
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000005065 mining Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 238000005295 random walk Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 description 12
- 238000012423 maintenance Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种基于异质信息网络的软件故障预测方法及系统,方法包括:搭建ELK平台,收集各个节点产生的日志;使用Logparser对上文收集的日志进行模板提取;对处理后的日志数据进行异质信息网络快照的构建;以日志的Level对日志分类,其中Info代表正常日志,WARN代表警告日志,ERROR代表错误日志;将S中的序列按照时间顺序依次使用LSTM编码器,动态学习随时间变化的图的进化模式,并预测下一个时间戳的拓扑结构;使用多层LSTM模型搭建的编码器以及处理流程中,每层部署m个LSTM单元,将隐藏信息沿着序列和层级传递给相邻下一个单元,不断学习更新。本发明解决了预测准确率低以及适用性较差的技术问题。
Description
技术领域
本发明涉及软件故障预测领域,具体涉及一种基于异质信息网络的软件故障预测方法及系统。
背景技术
随着互联网使用人数的不断上升,计算系统处理数据的规模也不断增大,百万、千万甚至亿级数据也屡见不鲜。需求的增加带来技术的更新迭代,催生出了适用于大规模并行计算的分布式计算和存储平台,比如Apache Spark分布式计算系统和Hadoop分布式存储技术HDFS。分布式系统以其更快的计算速度、高并行性和高可靠性而被广泛使用,但由于系统被分布式部署,将更加难以评价系统的可靠性和性能,并且每个分布式节点都产生日志,大量且分散的日志给系统运行维护带来很大麻烦。海量的日志文件由人工处理已不再现实,因此智能运维技术(Artificial Intelligence for IT Operations,AIOps)应运而生。智能运维技术旨在通过智能化手段分析系统运行产生的日志数据以自动化地实现系统的异常检测、故障预测、根因诊断等功能。由于分布式系统集群规模不断地增长,系统故障发生也愈加频繁,因此故障预测对于系统运行维护也愈发重要。故障预测基于系统的历史日志信息进行分析,进而推测系统在之后可能发生的故障事件,从而让开发和维护人员能够提前预警,避免造成严重损失。
公布号为CN202010413134A的现有发明专利申请文献《一种基于异质信息网络的重复缺陷报告检测方法》包括以下步骤:(1)缺陷报告异质信息网络建立;(2)缺陷报告异质信息网络表示学习;(3)缺陷报告文本语义表示学习;(4)缺陷报告组识别;(5)重复和非重复缺陷报告对生成;(6)训练、验证和测试数据生成;(7)重复缺陷报告检测模型建立;(8)重复缺陷报告检测模型训练;(9)重复缺陷报告检测。该现有技术采用异质信息网络检测重复缺陷,但该技术偏重于语义检测识别的应用场景,同时该现有技术仅能检测重复缺陷,无法实现对其他种类缺陷的检测和预测,适用性受到制约。
公布号为CN109088754A的现有发明专利申请文献《一种通信网络性能故障致因与特征参数关联关系分析方法》获取待分析通信网络性能故障的特征参数数据,采用预先建立的超限学习机通信网络性能故障分析模型,对待分析的通信网络性能故障的特征参数进行处理,从而分析出此特征参数对应的通信网络性能故障种类。前述现有技术披露的方案在进行故障预测时,采用概率模型学习与概率模型相关的日志序列模式,或者将故障预测转化为机器学习中的分类问题。但是这些方法存在一些缺陷,例如使用概率模型学习方法简单,预测准确率较低,而且无法处理新出现的日志;又或者,使用机器学习的方法需要大量的标注日志数据进行模型训练,并且适用范围有限。
综上,现有技术存在预测准确率低以及适用性较差的技术问题。
发明内容
本发明所要解决的技术问题在于如何解决现有技术中预测准确率低以及适用性较差的技术问题。
本发明是采用以下技术方案解决上述技术问题的:一种基于异质信息网络的软件故障预测方法包括:
S1、搭建ELK平台,收集各个节点产生的日志;
S2、使用Logparser日志分析工具,对日志进行模板提取,以得到日志数据;
S3、按照时间戳构建各个时刻下的异质信息网络快照,据以获取异质信息网络快照合集,步骤S3包括:
S31、将日志数据按照时间戳的顺序排序;
S32、以预设时刻t之前的所有日志涉及的节点,以及每条日志涉及的Java函数类包作为图顶点,以日志的事件类型作为图关系,根据图顶点和图关系,构建预设时刻t的异质信息网络快照Gt;
S33、从初始时刻至预设时刻t,循环执行前述步骤S31至S32,以得到异质信息网络快照合集G={G1,G2,...,Gt};
S4、学习各个异质信息网络快照的嵌入表示,步骤S4包括:
S41、利用日志的等级信息Level,将日志分为正常日志、警告日志及错误日志,以警告日志及错误日志代表的事件作为元路径,据以构成元路径集;
S42、基于Metapath2Vec方法,学习异质信息网络快照合集G={G1,G2,...,Gt}的低维嵌入表示;
S5、使用LSTM长短期记忆模型编码,学习上述步骤中异质信息网络快照的进化模式,并预测下一时刻的状态,得到进化序列St+1,以作为软件故障预测结果;
S6,解码并分析软件故障预测结果,以获取获得t+1时刻图,以得到新增节点软件故障信息。
本发明自动采集各个分布式节点的日志,并汇总分析,免去了复杂的手动操作。采用异质信息网络建模,从复杂多变的日志中抽取中的重点部分研究,将分布式系统的故障预测问题转化为异质信息网络的链接预测问题,更加准确地预测软件故障以及发生故障的节点。
在更具体的技术方案中,步骤S2包括:
S21、汇总日志的原始日志数据,以得到原始日志文件;
S22、使用Logparser日志分析工具中的Logcluster算法,模式挖掘原始日志文件,以得到日志挖掘数据;
S22、根据日志挖掘数据获取结构化的日志文件,并记录每行日志涉及的参与者。
本发明利用LogCluster算法实现文本事件日志的数据聚类和模式挖掘,适于在非结构化的日志文本模式挖掘,通过Logparser将一条原始日志数据转化为结构化的日志信息,保证了日志文本的挖掘效果。
在更具体的技术方案中,步骤S3中,利用下述逻辑定义有向图:
在更具体的技术方案中,步骤S41中,利用下述逻辑定义元路径:
式中,Ai代表网络中的节点,Ri代表Ai和Ai+1节点之间的关系。
在更具体的技术方案中,步骤S42包括:
S421、依次遍历异质信息网络快照合集G={G1,G2,...,Gt};使用metapath2Vec对Gj(1≤j≤t)进行低维表示学习,按照元路径集对异质信息网络进行基于元路径的随机游走操作,以得到异质信息网络中的点vi和点vi+1的转移概率;
S422、使用Skip-Gram算法对经随机游走操作的节点进行表示学习,据以得到异质信息网络Gj的低维向量表示序列Sj;
S423、将低维向量表示序列Sj依次加入图嵌入合集S={S1,S2,...,St}。
本发明建立一个动态预测的系统,通过实时输入的日志信息动态建立异质信息网络,并对下一时段的可能结果做出实时预测。本发明采用现有的日志数据构建异质信息网络,并根据构建的网络来对软件接下来可能会发生的故障进行预测,使开发者能够提前提前发现并及时做出应对。
在更具体的技术方案中,步骤S421中,利用下述逻辑处理得到异质信息网络Gj中任意两点vi和vi+1的转移概率ρ:
式中,异质信息网络Gj中节点类型种类合集为C,Cl为vi节点类型,Cl+1为vi+1节点类型。
在更具体的技术方案中,步骤S5中,利用下述逻辑定义LSTM长短期记忆模型中,第一层的单个LSTM单元:
在更具体的技术方案中,步骤S5中,利用下述逻辑定义LSTM长短期记忆模型中,第一层的单个LSTM单元:
在更具体的技术方案中,步骤S6包括:
S61、将进化序列St+1送入全连接解码器,根据预置激活函数,获取t+1时刻图,其中,利用下述逻辑定义预置激活函数:
S62、比较t+1时刻图与预设时刻t的异质信息网络快照Gt,据以获取新增节点软件故障信息。
本发明分析处理得到的t+1时刻的异质信息网络预测图Gt+1,与Gt相比较,观察新增加节点之间是否有故障、故障的类型以及何处发生故障,方便维护人员根据具体的故障类型和位置进行软件维护,在提高了软件故障预测准确率的同时,方便软件维护,提高了系统适用性。
在更具体的技术方案中,一种基于异质信息网络的软件故障预测系统包括:
日志收集模块,用以搭建ELK平台,收集各个节点产生的日志;
模板提取模块,用以使用Logparser日志分析工具,对日志进行模板提取,以得到日志数据,模板提取模块与日志收集模块连接;
异质信息网络合集获取模块,用以按照时间戳构建各个时刻下的异质信息网络快照,据以获取异质信息网络快照合集,异质信息网络合集获取模块与模板提取模块连接,异质信息网络合集获取模块包括:
排序模块,用以将日志数据按照时间戳的顺序排序;
异质信息网络快照获取模块,用于以预设时刻t之前的所有日志涉及的节点,以及每条日志涉及的Java函数类包作为图顶点,以日志的事件类型作为图关系,根据图顶点和图关系,构建预设时刻t的异质信息网络快照Gt,异质信息网络快照获取模块与排序模块连接;
快照合集模块,用以从初始时刻至预设时刻t,循环执行前述步骤S31至S32,以得到异质信息网络快照合集G={G1,G2,...,Gt},快照合集模块与异质信息网络快照获取模块连接;
嵌入表示学习模块,用以学习各个异质信息网络快照的嵌入表示,嵌入表示学习模块与异质信息网络合集获取模块连接,嵌入表示学习模块包括:
元路径集构建模块,用以利用日志的等级信息Level,将日志分为正常日志、警告日志及错误日志,以警告日志及错误日志代表的事件作为元路径,据以构成元路径集;
低维嵌入表示学习模块,用以基于Metapath2Vec方法,学习异质信息网络快照合集G={G1,G2,...,Gt}的低维嵌入表示,低维嵌入表示学习模块与元路径集构建模块连接;
进化序列获取模块,用以使用LSTM长短期记忆模型编码,学习上述步骤中异质信息网络快照的进化模式,并预测下一时刻的状态,得到进化序列St+1,以作为软件故障预测结果,进化序列获取模块与嵌入表示学习模块连接;
新增节点故障获取模块,用以解码并分析软件故障预测结果,以获取获得t+1时刻图,以得到新增节点软件故障信息,新增节点故障获取模块与进化序列获取模块连接。
本发明相比现有技术具有以下优点:本发明自动采集各个分布式节点的日志,并汇总分析,免去了复杂的手动操作。采用异质信息网络建模,从复杂多变的日志中抽取中的重点部分研究,将分布式系统的故障预测问题转化为异质信息网络的链接预测问题,更加准确地预测软件故障以及发生故障的节点。
本发明利用LogCluster算法实现文本事件日志的数据聚类和模式挖掘,适于在非结构化的日志文本模式挖掘,通过Logparser将一条原始日志数据转化为结构化的日志信息,保证了日志文本的挖掘效果。
本发明建立一个动态预测的系统,通过实时输入的日志信息动态建立异质信息网络,并对下一时段的可能结果做出实时预测。本发明采用现有的日志数据构建异质信息网络,并根据构建的网络来对软件接下来可能会发生的故障进行预测,使开发者能够提前提前发现并及时做出应对。
本发明分析处理得到的t+1时刻的异质信息网络预测图Gt+1,与Gt相比较,观察新增加节点之间是否有故障、故障的类型以及何处发生故障,方便维护人员根据具体的故障类型和位置进行软件维护,在提高了软件故障预测准确率的同时,方便软件维护,提高了系统适用性。本发明解决了现有技术中存在的预测准确率低以及适用性较差的技术问题。
附图说明
图1是本发明实施例1中的基于异质信息网络的软件故障预测系统的功能结构框图;
图2是本发明实施例1中的基于异质信息网络的软件故障预测方法流程图;
图3是本发明实施例1中对日志进行模板提取的具体步骤示意图;
图4是本发明实施例1中异质信息网络快照的构建具体步骤示意图;
图5是本发明实施例1中原始日志预处理流程图;
图6是本发明实施例1中基于LSTM的编码器结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1及图2所示,本发明提供的一种基于异质信息网络的软件故障预测方法,包括以下步骤:
步骤S1、搭建ELK平台,收集各个节点产生的日志。在本实施例中,由于分布式配置架构,不同的服务配置在不同的服务器上,或者一个服务配置在不同的节点上,这给日志处理带来困难,因此采用ELK平台收集日志。ELK是一个基于web页面的日志分析工具,适用于大规模日志采集和处理,也适用于处理分布式架构下产生的日志,是目前主流的一种日志分析系统解决方案。
步骤S2、使用Logparser对上文收集的日志进行模板提取。在本实施例中,Logparser是一个自动日志解析开源工具包。使用Logparser,可以从非结构化日志中自动学习事件模板,并将原始日志消息转换为一系列结构化事件。请参阅图2,通过Logparser将一条原始日志数据转化为结构化的日志信息。
如图3所示,在本实施例中,步骤S2还包括以下具体步骤:
S21、将上文收集的原始日志数据汇总到一个文件中;
S22、使用Logparser中的Logcluster算法,对上述日志原始数据进行模式挖掘。在本实施例中,LogCluster是一种实现文本事件日志的数据聚类和模式挖掘的聚类算法,在非结构化的日志文本模式挖掘中表现良好;
S23、获取结构化的日志文件,并且额外记录每行日志涉及的参与者,包括:节点Node Name、Job ID,Process ID。
步骤S3,对处理后的日志数据进行异质信息网络快照的构建。异质信息网络可定义为一个有向图G=(V,E,φ,ψ),其中,φ:V→A为对象类型映射,ψ:E→R为关系类型映射,每个对象v∈V属于对象类型集合A:φ(v)∈A中的一个特定对象类型,每条链接e∈E属于关系类型集合R:ψ(e)∈R中的一个特定关系类型,并且对象类型数|A|>1或者关系类型数|R|>1。
如图4所示,在本实施例中,步骤S3还包括如下具体步骤:
S31、将上文处理后的日志数据按照时间戳顺序排序;在本实施例中,为了获得t时刻的异质信息网络快照Gt,选取t之前的日志合集L={L1,L2,...,Lt},Li为i时刻产生的日志集合,可能有多条。
S32、利用前述步骤获得的t时刻之前的所有日志L={L1,L2,...,Lt}所涉及的节点Node Name、Job ID,Process ID等日志事件参与者以及每条日志涉及的Java函数类包作为图的顶点,以日志事件类型作为关系,构建t时刻的异质信息网络快照Gt;
S33、从开始直到t时刻,重复上述步骤S31及S32,获得异质信息网络快照合集G={G1,G2,...,Gt}。
如图5所示,在本实施例中,步骤S4,以日志的Level对日志分类,其中Info代表正常日志,WARN代表警告日志,ERROR代表错误日志。其中需要重点关注的是WARN和ERROR级别,警告代表系统可能伴随某种问题,而错误日志代表系统已经发生故障。以涉及WARN和ERROR的日志事件作为元路径,构成元路径集P={P1,P2,...,Pn},其中,共有元路径n条,Pi(1≤i≤n)为第i条元路径。
元路径是描述两个节点之间链路类型的关系模板,是异质信息网络上的一条特定路径。元路径可定义为:其中,Ai代表网络中的节点,Ri代表Ai和Ai+1节点之间的关系。于是,本系统可以出诸如公式(1)和公式(2)所列举的元路径。将全部元路径加入元路径集P={P1,P2,...,Pn}。
然后基于Metapath2Vec学习异质信息网络合集G={G1,G2,...,Gt}的低维嵌入表示。Metapath2Vec是一种基于随机行走的静态异构图嵌入方法,通过测量节点之间的相似度来预测潜在的链接。
具体过程为:
依次遍历异质信息网络合集G={G1,G2,...,Gt},使用metapath2Vec对Gj(1≤j≤t)进行低维表示学习,按照上文产生的元路径集P={P1,P2,...,Pn}对整个异质信息网络进行基于元路径的随机游走。设Gj中节点类型种类合集为C,C1为vi节点类型,Cl+1为vi+1节点类型,对于元路径Pk(1≤k≤n),Gj中任意两点vi和vi+1的的转移概率为:
然后,使用Skip-Gram算法对上述随机游走的后的节点进行表示学习,获得Gj的低维向量表示序列Sj。
最后,将上述步骤低维向量表示序列Sj(1≤j≤t)依次加入图嵌入合集S={S1,S2,...,St}。
步骤S5,将S中的序列按照时间顺序依次使用LSTM编码器,动态学习随时间变化的图的进化模式,并预测下一个时间戳的拓扑结构。
如图6所示,在本实施例中,LSTM(Long Short Term Memory)是一种有效的循环神经网络模型,用于捕获时间序列上的长期依赖信息。请参阅图5,在本实施例中,使用多层LSTM模型搭建的编码器以及处理流程中,每层部署m个LSTM单元,将隐藏信息沿着序列和层级传递给相邻下一个单元,不断学习更新。
第一层的单个LSTM单元的定义如公式(4)~(9)所示。其中,ct表示LSTM的单位状态,ft、ot以及it分别表示触发LSTM的遗忘门、输出门、更新门的值。是一个新的估计候选状态,和分别表示对应的门的偏移。||为拼接运算,⊙为元素积运算。
第m层的表示如公式(10)~(11)所示。
然后分析上文获得的t+1时刻的异质信息网络预测图Gt+1,与Gt相比较,观察新增加节点之间是否有故障、故障的类型以及何处发生故障。
综上,本发明自动采集各个分布式节点的日志,并汇总分析,免去了复杂的手动操作。采用异质信息网络建模,从复杂多变的日志中抽取中的重点部分研究,将分布式系统的故障预测问题转化为异质信息网络的链接预测问题,更加准确地预测软件故障以及发生故障的节点。
本发明利用LogCluster算法实现文本事件日志的数据聚类和模式挖掘,适于在非结构化的日志文本模式挖掘,通过Logparser将一条原始日志数据转化为结构化的日志信息,保证了日志文本的挖掘效果。
本发明建立一个动态预测的系统,通过实时输入的日志信息动态建立异质信息网络,并对下一时段的可能结果做出实时预测。本发明采用现有的日志数据构建异质信息网络,并根据构建的网络来对软件接下来可能会发生的故障进行预测,使开发者能够提前提前发现并及时做出应对。
本发明分析处理得到的t+1时刻的异质信息网络预测图Gt+1,与Gt相比较,观察新增加节点之间是否有故障、故障的类型以及何处发生故障,方便维护人员根据具体的故障类型和位置进行软件维护,在提高了软件故障预测准确率的同时,方便软件维护,提高了系统适用性。本发明解决了现有技术中存在的预测准确率低以及适用性较差的技术问题。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于异质信息网络的软件故障预测方法,其特征在于,所述方法包括:
S1、搭建ELK平台,收集各个节点产生的日志;
S2、使用Logparser日志分析工具,对所述日志进行模板提取,以得到日志数据;
S3、按照时间戳构建各个时刻下的异质信息网络快照,据以获取异质信息网络快照合集,所述步骤S3包括:
S31、将所述日志数据按照时间戳的顺序排序;
S32、以预设时刻t之前的所有所述日志涉及的节点,以及每条所述日志涉及的Java函数类包作为图顶点,以所述日志的事件类型作为图关系,根据所述图顶点和所述图关系,构建所述预设时刻t的异质信息网络快照Gt;
S33、从初始时刻至所述预设时刻t,循环执行前述步骤S31至S32,以得到所述异质信息网络快照合集G={G1,G2,…,Gt};
S4、学习各个异质信息网络快照的嵌入表示,所述步骤S4包括:
S41、利用所述日志的等级信息Level,将所述日志分为正常日志、警告日志及错误日志,以所述警告日志及所述错误日志代表的事件作为元路径,据以构成元路径集;
S42、基于Metapath2Vec方法,学习所述异质信息网络快照合集G={G1,G2,…,Gt}的低维嵌入表示;
S5、使用LSTM长短期记忆模型编码,学习上述步骤中异质信息网络快照的进化模式,并预测下一时刻的状态,得到进化序列St+1,以作为软件故障预测结果;
S6,解码并分析所述软件故障预测结果,以获取获得t+1时刻图,以得到新增节点软件故障信息。
2.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法,其特征在于,所述步骤S2包括:
S21、汇总所述日志的原始日志数据,以得到原始日志文件;
S22、使用所述Logparser日志分析工具中的Logcluster算法,模式挖掘所述原始日志文件,以得到日志挖掘数据;
S22、根据所述日志挖掘数据获取结构化的日志文件,并记录每行所述日志涉及的参与者。
5.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法,其特征在于,所述步骤S42包括:
S421、依次遍历所述所述异质信息网络快照合集G={G1,G2,…,Gt};使用metapath2Vec对Gj(1≤j≤t)进行低维表示学习,按照所述元路径集对异质信息网络进行基于所述元路径的随机游走操作,以得到所述异质信息网络中的点vi和点vi+1的转移概率;
S422、使用Skip-Gram算法对经所述随机游走操作的所述节点进行表示学习,据以得到所述异质信息网络Gj的低维向量表示序列Sj;
S423、将所述低维向量表示序列Sj依次加入图嵌入合集S={S1,S2,…,St}。
10.一种基于异质信息网络的软件故障预测系统,其特征在于,所述系统包括:
日志收集模块,用以搭建ELK平台,收集各个节点产生的日志;
模板提取模块,用以使用Logparser日志分析工具,对所述日志进行模板提取,以得到日志数据,所述模板提取模块与所述日志收集模块连接;
异质信息网络合集获取模块,用以按照时间戳构建各个时刻下的异质信息网络快照,据以获取异质信息网络快照合集,所述异质信息网络合集获取模块与所述模板提取模块连接,所述异质信息网络合集获取模块包括:
排序模块,用以将所述日志数据按照时间戳的顺序排序;
异质信息网络快照获取模块,用于以预设时刻t之前的所有所述日志涉及的节点,以及每条所述日志涉及的Java函数类包作为图顶点,以所述日志的事件类型作为图关系,根据所述图顶点和所述图关系,构建所述预设时刻t的异质信息网络快照Gt,所述异质信息网络快照获取模块与所述排序模块连接;
快照合集模块,用以从初始时刻至所述预设时刻t,循环执行前述步骤S31至S32,以得到所述异质信息网络快照合集G={G1,G2,…,Gt},所述快照合集模块与所述异质信息网络快照获取模块连接;
嵌入表示学习模块,用以学习各个异质信息网络快照的嵌入表示,所述嵌入表示学习模块与所述异质信息网络合集获取模块连接,所述嵌入表示学习模块包括:
元路径集构建模块,用以利用所述日志的等级信息Level,将所述日志分为正常日志、警告日志及错误日志,以所述警告日志及所述错误日志代表的事件作为元路径,据以构成元路径集;
低维嵌入表示学习模块,用以基于Metapath2Vec方法,学习所述异质信息网络快照合集G={G1,G2,…,Gt}的低维嵌入表示,所述低维嵌入表示学习模块与所述元路径集构建模块连接;
进化序列获取模块,用以使用LSTM长短期记忆模型编码,学习上述步骤中异质信息网络快照的进化模式,并预测下一时刻的状态,得到进化序列St+1,以作为软件故障预测结果,所述进化序列获取模块与所述嵌入表示学习模块连接;
新增节点故障获取模块,用以解码并分析所述软件故障预测结果,以获取获得t+1时刻图,以得到新增节点软件故障信息,所述新增节点故障获取模块与所述进化序列获取模块连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211425894.XA CN115658546A (zh) | 2022-11-15 | 2022-11-15 | 一种基于异质信息网络的软件故障预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211425894.XA CN115658546A (zh) | 2022-11-15 | 2022-11-15 | 一种基于异质信息网络的软件故障预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115658546A true CN115658546A (zh) | 2023-01-31 |
Family
ID=85021441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211425894.XA Pending CN115658546A (zh) | 2022-11-15 | 2022-11-15 | 一种基于异质信息网络的软件故障预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115658546A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116192612A (zh) * | 2023-04-23 | 2023-05-30 | 成都新西旺自动化科技有限公司 | 一种基于日志分析的系统故障监测和预警系统及方法 |
CN118132327A (zh) * | 2024-05-07 | 2024-06-04 | 东莞巨正源科技有限公司 | 应用于化塑产业平台的电子商城运行数据分析方法及系统 |
-
2022
- 2022-11-15 CN CN202211425894.XA patent/CN115658546A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116192612A (zh) * | 2023-04-23 | 2023-05-30 | 成都新西旺自动化科技有限公司 | 一种基于日志分析的系统故障监测和预警系统及方法 |
CN118132327A (zh) * | 2024-05-07 | 2024-06-04 | 东莞巨正源科技有限公司 | 应用于化塑产业平台的电子商城运行数据分析方法及系统 |
CN118132327B (zh) * | 2024-05-07 | 2024-07-16 | 东莞巨正源科技有限公司 | 应用于化塑产业平台的电子商城运行数据分析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Unsupervised detection of microservice trace anomalies through service-level deep bayesian networks | |
CN109284606B (zh) | 基于经验特征与卷积神经网络的数据流异常检测系统 | |
CN115658546A (zh) | 一种基于异质信息网络的软件故障预测方法及系统 | |
Guan et al. | Ensemble of Bayesian predictors and decision trees for proactive failure management in cloud computing systems. | |
CN113094200A (zh) | 一种应用程序的故障预测方法和装置 | |
CN112966714B (zh) | 一种边缘时序数据异常检测和网络可编程控制方法 | |
Su et al. | Detecting outlier machine instances through gaussian mixture variational autoencoder with one dimensional cnn | |
CN110011990B (zh) | 内网安全威胁智能分析方法 | |
CN113516174B (zh) | 调用链异常检测方法、计算机设备以及可读存储介质 | |
CN114296975A (zh) | 一种分布式系统调用链和日志融合异常检测方法 | |
Chen et al. | Graph-based incident aggregation for large-scale online service systems | |
CN116502162A (zh) | 边缘算力网络中的异常算力联邦检测方法、系统及介质 | |
US20230133541A1 (en) | Alert correlating using sequence model with topology reinforcement systems and methods | |
Zhang et al. | Putracead: Trace anomaly detection with partial labels based on GNN and Pu Learning | |
CN116909788A (zh) | 一种任务导向和视角不变的多模态故障诊断方法及系统 | |
Dang et al. | TS-Bert: Time Series Anomaly Detection via Pre-training Model Bert | |
CN116520806A (zh) | 一种工业系统智能故障诊断系统及其方法 | |
CN117675691B (zh) | 路由器的远程故障监控方法、装置、设备及存储介质 | |
Chen et al. | Deep attentive anomaly detection for microservice systems with multimodal time-series data | |
Makanju et al. | Investigating event log analysis with minimum apriori information | |
Zhong et al. | A Survey of Time Series Anomaly Detection Methods in the AIOps Domain | |
CN117827508A (zh) | 一种基于系统日志数据的异常检测方法 | |
CN113093695A (zh) | 一种数据驱动的sdn控制器故障诊断系统 | |
CN113204590B (zh) | 基于序列化自编码器的无监督kpi异常检测方法 | |
Schwenk et al. | Classification of structured validation data using stateless and stateful features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |