CN115051929B - 基于自监督目标感知神经网络的网络故障预测方法及装置 - Google Patents
基于自监督目标感知神经网络的网络故障预测方法及装置 Download PDFInfo
- Publication number
- CN115051929B CN115051929B CN202210698538.9A CN202210698538A CN115051929B CN 115051929 B CN115051929 B CN 115051929B CN 202210698538 A CN202210698538 A CN 202210698538A CN 115051929 B CN115051929 B CN 115051929B
- Authority
- CN
- China
- Prior art keywords
- graph
- self
- network
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008447 perception Effects 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 230000002776 aggregation Effects 0.000 claims abstract description 27
- 238000004220 aggregation Methods 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000004931 aggregating effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000005065 mining Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000547 structure data Methods 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 17
- 238000010276 construction Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 2
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000005096 rolling process Methods 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于自监督目标感知神经网络的网络故障预测方法及装置,其中的预测方法包括如下步骤:S1将网络故障数据进行预处理操作,收集网络故障诊断所需要的数据;S2.构建基于自监督目标感知神经网络模型,此模型包括会话图构建模块(会话图构建模块包含嵌入层、原始图与对比图的信息)、图卷积模块、自适应聚合模块、自监督学习模块以及预测模块,将时间序列数据输入此基于自监督目标感知图神经网络模型,对网络故障数据中的故障进行预测。旨在解决传统的预测方法因网络数据的稀疏性、随机性以至于对故障的预测不准确,设计模型更具有泛化能力,所以需要提出一个能够精确预测网络故障的方案。
Description
技术领域
本发明涉及网络故障预测技术领域,尤其涉及一种基于自监督目标感知神经网络的网络故障预测方法及装置。
背景技术
随着网络功能的逐渐强大,使用计算机的用户数量突飞猛进,所以网络的管理以及维护理所当然受到重视,加强网络管理,也就需要对网络故障进行捕获、诊断以及预测。目前,从预测角度应用神经网络作为动态预测模型进行故障预测,基于神经网络的网络故障预测越来越成为主要的网络故障预测方法,能够从网络状态数据中自动学习出潜在的故障征兆与特定故障之间的映射,机器学习是提高网络故障预测的关键技术。
早期的基于会话的预测是基于马尔科夫链的方法,该方法仅能基于前一个操作预测网络下一次发生的故障,传统的基于马尔可夫链方法以及基于递归神经网络的顺序模型,依赖下一个故障预测损失来训练模型,这容易出现过度拟合问题,该模型可能会无法区分混淆偏差,因此导致预测准确性不高。
发明内容
本发明提供一种基于自监督目标感知神经网络的网络故障预测方法及装置,用以解决或者至少部分解决现有技术中存在的预测准确性不高的技术问题。
为了解决上述技术问题,本发明第一方面提供了基于自监督目标感知神经网络的网络故障预测方法,包括:
获取网络故障数据,对获取的网络故障数据进行预处理;
构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
在一种实施方式中,所述的网络故障数据包括故障对象的标识、故障发生时间、故障发生的类型,步骤S1中的预处理包括:将获取的网络故障数据转化为时间序列数据,将发生网络故障的数据节点转化为样本序列,其中,每个时间序列数据的当前时间段能够表示一份数据在某个特定时间之前已经存在的、完整的、可验证的故障数据类型。
在一种实施方式中,步骤S2中嵌入层的处理过程包括:
对故障节点的特征进行初始化,以故障时间序列和问题反馈的数据为输入并进行建模,构造一个图结构对故障数据进行特征表示,将每一个节点嵌入到一个统一的嵌入空间中,得到项目嵌入。
在一种实施方式中,图卷积层的处理过程包括:
利用图的结构信息,来获得图表示,并自动提取图结构的特征,具体为:将图结构数据转化成低维稠密的向量化表示方式,公式如下:
其中,t表示当次的训练,对应当次训练输入的数据,As对应于节点vs,i,/>表示矩阵/>中的第q行,vt∈V和/>分别是权重和偏差参数,/>为节点向量列表,表示在会话s中有m个节点向量,/>表示第k个节点上一次训练的隐藏状态,隐藏状态表示神经网络的记忆,它包含之前节点所见过的数据的信息,/>和/>分别为更新门和重置门,更新门和重置门分别决定要保留和丢弃的信息,/>为候选隐状态,vt为隐状态,σ(·)表示sigmoid激活函数,对于每个特征图,信息能够在相邻节点之间传播;tanh(·)表示双曲正切函数,⊙表示元素级乘法,Wz,Uz,Wr,Ur,Wo,Uo均为权重矩阵。
在一种实施方式中,自适应聚合层的处理过程包括:
获取目标感知特征的表示,公式如下:
其中,对于每个会话Sn,目标项目对网络故障vs,t的可能性用目标感知特征表示,βi是第i个会话的时间戳的注意力权重,Wgtarget是可学习的参数,并通过引入一个本地目标注意模块来计算会话序列S中所有项目vs,i和每个目标项目vs,t∈V之间的注意权重βi,在节点向量列表/>中有m个节点向量,/>为节点向量列表,vs,i表示会话Sn中的所有项目,vs,j表示会话Sn中的第j个项目,vs,i包含vs,j;
获取局部特征的表示,公式如下:
vs,l=vs,t
vs,l为局部特征的表示,vs,t表示会话序列S中进行的最后一个事件的项目的特征表示;
获取全局特征的表示,公式如下:
ai=vΤσ(Wgtvs,t+Wgivs,i+bg)
vs,g为全局特征的表示,引入一个全局目标注意模块来计算会话Sn中所有项目vs,i和每个目标项目vs,t∈V之间的第i个会话的时间戳的注意力权重ai,其中v,Wgt,Wgi,bg是可学习参数;
对局部特征和全局特征进行聚合,包括:获取局部特征和全局特征的选通函数:
g1=σ(Wg1vs,g+Wg2vs,l+bg1)
vs,p1=g1⊙vs,g+(1-g1)⊙vs,l
vs,p2=(1-g1)⊙vs,g+g1⊙vs,l
vs,p=Wp1vs,p1+Wp2vs,p2
其中,g1为局部特征和全局特征的选通函数,vs,p1和vs,p2表示为了平衡聚合局部特征和全局特征得到的信息后交换平衡参数得到的两个特征,Wp1和Wp2是对特征合并进行加权的权重值;
将局部特征与全局特征的聚合值与目标感知特征进行聚合,包括:获取聚合值和目标感知特征的选通函数g2:
g2=σ(Wg3vs,target+Wg4vs,p+bg2)
vs,f=g2⊙vs,target+(1-g2)⊙vs,p
vs,f为会话的最终特征表示。
在一种实施方式中,自监督学习模块的处理过程包括:
采用DropEdge策略生成一个与原始图具有差异的对比图,在每个训练阶段,DropEdge策略都会以一定的比率随机删除输入图形的边,它随机将相邻矩阵A的Vp非零元素强制为零,其中V是边的总数,p是删除概率,所得的邻接矩阵表示为Adrop,邻接矩阵与A的关系为:
Adrop=A-A′
其中,每一个正对由全局信息和一个局部信息组成,每一个负对由全局信息和一个对比图中对应的局部信息组成,|V|和|V′|分别表示原始图和对比图的顶点集,表示原始图中所有正对的集合,/>表示原始图中所有负对的集合,G为原始图的全局信息,hu为原始图的局部信息,hu′为一个对比图中对应的局部信息;
最大化对比图的全局信息和局部信息之间的互信息,公式如下:
其中,α和β是平衡不同任务贡献的超参数。
在一种实施方式中,预测模块的处理过程包括:
根据每个候选项的初始嵌入以及当前会话的最终特征表示,首先进行点积运算,然后使用softmax函数获得输出,公式入选:
其中,γ是控制自监督学习约束规模的超参数。
基于同样的发明构思,本发明第二方面提供了基于自监督目标感知神经网络的网络故障预测装置,包括:
预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;
模型构建模块,用于构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
故障预测模块,用于利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法。
相对于现有技术,本发明的优点和有益的技术效果如下:
本发明提供的一种基于自监督目标感知神经网络的网络故障预测方法,对获取的网络故障数据进行预处理作为模型输入,并构建了自监督的目标感知神经网络模型,该神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,通过嵌入层、对预处理后的网络故障数据进行特征表示,得到项目嵌入,通过图卷积层自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,最红通过预测模块根据学习到的项目嵌入和会话的最终特征表示,对下一段时间是否存在网络故障进行预测,从而可以提高预测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于自监督故障感知神经网络模型的框架图。
图2为本发明实施例中故障预测方法的流程图。
图3为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
通常情况下,对故障的预测操作只符合其部分特征,即网络本身对某些故障有一定的潜在特征表示,针对以上问题,受到对于自监督表示学习的启发,本发明提出了一种基于自监督对比学习框架的目标感知预测模块来缓解以上问题,通过生成一个对比图来对输入数据产生不同的随即变形,使模型更具有泛化能力。从而提供一种能够对网络故障进行精确预测的技术方案。
本发明的主要构思包括:
提供了一种网络故障预测方法,网络故障预测实现以下几点:对数据进行预处理并转换成向量形式,提高数据的质量;确定网络的故障点,利用已经处理好的数据作为训练样本,对模型进行训练;提取出已经训练好的模型对预处理后的向量进行预测,进行网络故障预测。本发明主要进行网络故障预测的实现与优化。包括如下步骤:S1.将网络故障数据进行预处理操作,收集网络故障诊断所需要的数据,为了尽可能完整的采集到数据,具体实施过程中主要把防火墙、路由器、交换机、数据流量、CPU占用率、内存占用率、网络丢包率、网络流量、网络延时等作为采集对象;S2.构建基于自监督目标感知神经网络模型,此模型包括会话图构建模块(会话图构建模块包含嵌入层、原始图与对比图的信息)、图卷积模块、自适应聚合模块、自监督学习模块以及预测模块,将时间序列数据输入此基于自监督目标感知图神经网络模型,对网络故障数据中的故障进行预测。旨在解决传统的预测方法因网络数据的稀疏性、随机性以至于对故障的预测不准确,设计模型更具有泛化能力,所以需要提出一个能够精确预测网络故障的方案。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了基于自监督目标感知神经网络的网络故障预测方法,包括:
获取网络故障数据,对获取的网络故障数据进行预处理;
构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
具体来说,三种网络特征为目标感知特征、局部特征和全局特征。
请参见图1和图2,其中,图1为本发明实施例中基于自监督故障感知神经网络模型的框架图。图2为本发明实施例中故障预测方法的流程图。
在一种实施方式中,所述的网络故障数据包括故障对象的标识、故障发生时间、故障发生的类型,步骤S1中的预处理包括:将获取的网络故障数据转化为时间序列数据,将发生网络故障的数据节点转化为样本序列,其中,每个时间序列数据的当前时间段能够表示一份数据在某个特定时间之前已经存在的、完整的、可验证的故障数据类型。
在一种实施方式中,步骤S2中嵌入层的处理过程包括:
对故障节点的特征进行初始化,以故障时间序列和问题反馈的数据为输入并进行建模,构造一个图结构对故障数据进行特征表示,将每一个节点嵌入到一个统一的嵌入空间中,得到项目嵌入。
具体来说,通过构建一个嵌入层将原始的故障数据作出划分和处理,由于大多数数据无法直接处理原始信号,数据处理至关重要,本步骤中数据处理大致分为三个步骤:数据的准备、数据的转换、数据的输出。数据处理是系统工程的基本环节,也是提高算法准确度的有效手段。因此,为了提高算法模型的准确度,在机器学习中将属性缩放到一个指定范围,使数据尺度达到统一。通过嵌入层可以处理稀疏矩阵问题。
在一种实施方式中,图卷积层的处理过程包括:
利用图的结构信息,来获得图表示,并自动提取图结构的特征,具体为:将图结构数据转化成低维稠密的向量化表示方式,公式如下:
其中,t表示当次的训练,对应当次训练输入的数据,As对应于节点vs,i,/>表示矩阵/>中的第q行,vt∈V和/>分别是权重和偏差参数,/>为节点向量列表,表示在会话s中有m个节点向量,/>表示第k个节点上一次训练的隐藏状态,隐藏状态表示神经网络的记忆,它包含之前节点所见过的数据的信息,/>和/>分别为更新门和重置门,更新门和重置门分别决定要保留和丢弃的信息,/>为候选隐状态,vt为隐状态,σ(·)表示sigmoid激活函数,对于每个特征图,信息能够在相邻节点之间传播;tanh(·)表示双曲正切函数,⊙表示元素级乘法,Wz,Uz,Wr,Ur,Wo,Uo均为权重矩阵。
具体来说,通过构建一个图卷积层,作用于图并且利用图的结构信息,来获得图表示,可以在丰富节点连接的情况下自动提取图结构的特征(将图结构数据转化成低维稠密的向量化表示方式,同时确保图数据的性质在向量空间中也能够得到对应)。
在一种实施方式中,自适应聚合层的处理过程包括:
获取目标感知特征的表示,公式如下:
其中,对于每个会话Sn,目标项目对网络故障vs,t的可能性用目标感知特征表示,βi是第i个会话的时间戳的注意力权重,Wgtarget是可学习的参数,并通过引入一个本地目标注意模块来计算会话序列S中所有项目vs,i和每个目标项目vs,t∈V之间的注意权重βi,在节点向量列表/>中有m个节点向量,/>为节点向量列表,vs,i表示会话Sn中的所有项目,vs,j表示会话Sn中的第j个项目,vs,i包含vs,j;
获取局部特征的表示,公式如下:
vs,l=vs,t
vs,l为局部特征的表示,vs,t表示会话序列S中进行的最后一个事件的项目的特征表示;
获取全局特征的表示,公式如下:
ai=vΤσ(Wgtvs,t+Wgivs,i+bg)
vs,g为全局特征的表示,引入一个全局目标注意模块来计算会话Sn中所有项目vs,i和每个目标项目vs,t∈V之间的第i个会话的时间戳的注意力权重ai,其中v,Wgt,Wgi,bg是可学习参数;
对局部特征和全局特征进行聚合,包括:获取局部特征和全局特征的选通函数:
g1=σ(Wg1vs,g+Wg2vs,l+bg1)
vs,p1=g1⊙vs,g+(1-g1)⊙vs,l
vs,p2=(1-g1)⊙vs,g+g1⊙vs,l
vs,p=Wp1vs,p1+Wp2vs,p2
其中,g1为局部特征和全局特征的选通函数,vs,p1和vs,p2表示为了平衡聚合局部特征和全局特征得到的信息后交换平衡参数得到的两个特征,Wp1和Wp2是对特征合并进行加权的权重值;
将局部特征与全局特征的聚合值与目标感知特征进行聚合,包括:获取聚合值和目标感知特征的选通函数g2:
g2=σ(Wg3vs,target+Wg4vs,p+bg2)
vs,f=g2⊙vs,target+(1-g2)⊙vs,p
vs,f为会话的最终特征表示。
具体来说,在部分情况下,某些节点故障的内在原因之间具有某种关系,本发明通过一个自适应聚合模块对这种隐藏关系进行挖掘,以适应性地故障时间序列与问题反馈的相关性,为了进一步从多角度对网络故障进行预测,本实施例用三个不同的嵌入来获得最终的特征表示,从而增强模型的预测能力,这三个不同的特征分别是目标感知特征、局部特征和全局特征(该处的特征是一种隐藏特征,从这三个特征角度去融合故障内在的原因得到最终的特征表示,而图卷积层中提取特征构造图结构是将图结构数据转换为向量表示并投影到一个统一的嵌入空间中),目标感知特征vs,target是通过在最后点击的项目和所有可能的目标项目之间使用注意力机制(这是因为网络故障可能是因为由于使用者最后一次点击的项目引起的,也有可能是某时间段内进行的项目引起的)。
目标感知特征采用目标项目对网络故障vs,t的可能性来表示。局部特征vs,l是从过去一段时间内进行的最后一个事件的嵌入特征中获取的,也就是说,将会话序列S中进行的最后一个事件的项vs,t表示为局部特征。全局特征vs,g是通过使用附加注意机制在过去一段时间内嵌入所有事件日志的项目来获得。具体实施过程中,通过聚合所有节点向量来得到会话的全局嵌入,即全局特征。
在得到上述三类特征后,通过一个自适应聚合模块进行聚合。首先对局部特征和全局特征进行聚合,然后将它们的聚合值与目标感知特征进一步聚合。具体实施过程中,在进行局部特征和全局特征聚合操作时发现,在进行聚合的过程中,由于局部特征和全局特征是同样重要的,而门控机制中的重置门会并不能公平的对这两组信息进行融合,必然会产生信息的丢失,为了尽可能的减少重置门对于特征的丢失,本实施方式对局部特征和全局特征的聚合操作进行了如前文的设计(即前文中局部特征和全局特征的聚合方式的公式)。而目标感知特征的优先级很显然高于聚合值,所以本实施方式直接进行聚合值和目标感知特征的聚合操作。
在一种实施方式中,自监督学习模块的处理过程包括:
采用DropEdge策略生成一个与原始图具有差异的对比图,在每个训练阶段,DropEdge策略都会以一定的比率随机删除输入图形的边,它随机将相邻矩阵A的Vp非零元素强制为零,其中V是边的总数,p是删除概率,所得的邻接矩阵表示为Adrop,邻接矩阵与A的关系为:
Adrop=A-A′
其中,每一个正对由全局信息和一个局部信息组成,每一个负对由全局信息和一个对比图中对应的局部信息组成,|V|和|V′|分别表示原始图和对比图的顶点集,表示原始图中所有正对的集合,/>表示原始图中所有负对的集合,G为原始图的全局信息,hu为原始图的局部信息,hu′为一个对比图中对应的局部信息;
最大化对比图的全局信息和局部信息之间的互信息,公式如下:
其中,α和β是平衡不同任务贡献的超参数。
具体来说,由于数据稀疏和噪声数据这些问题可能会影响性能,特别是在复杂的、需要参数的模型中。本实施例利用了一种自监督学习任务,通过最大化互信息在原始网络和对比图网络之间进行对比学习,DropEdge策略会对图形连接产生不同的扰动(通过随机添加或删除一定比例的边来扰乱图中的连通性)。因此,它会对输入数据产生不同的随机变形,可以被视为图形的数据扩充技巧。通过这种策略生成一个与原始图具有较大差异的对比图(简单的正负样本较容易捕获,模型得到的信息有限,如果对比图与原始图太相似,则监控信号将太弱,无法很好的学习信息嵌入,因此我们需要增加对比难度来生成有较大差异的对比图,此处我们通过DropEdge策略来生成对比图以学习更有辨别性的嵌入),使用该对比图与原图进行对比学习,可以让模型用不同的视角去学习用现有数据构建的图,进而使其从图中学习到足够多的信息,从而提升模型的性能。
利用一个噪声对比型目标,在正对(每对由全局信息和一个局部信息组成)和负对(每对由全局信息和一个对比图中对应的局部信息组成)之间使用标准的二进制交叉熵(BCE)损失来建模自监督学习任务。此外,本发明进一步从另一个角度扩展了对比学习机制:最大化对比图的全局信息和局部信息之间的互信息,
该体系结构一方面利用数据本身提供的更多信息,提高了泛化能力。另一方面,它同时考虑了网络的两种视图(即原始视图和对比图),使模型更加“平衡”和鲁棒。
在一种实施方式中,预测模块的处理过程包括:
根据每个候选项的初始嵌入以及当前会话的最终特征表示,首先进行点积运算,然后使用softmax函数获得输出,公式入选:
其中,γ是控制自监督学习约束规模的超参数。
具体来说,softmax(·)函数,又称归一化指数函数,它是二分类函数sigmoid(·)函数在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。范数是一个向量空间或矩阵上所有向量的长度和大小的求和)。
本发明采用以上技术方案与现有技术相比,具有以下的有益效果:
1、通过自适应聚合模块,可以很好地聚合三种网络特征之间的隐含关系,获得最终的特征表示,从而更好地对网络故障进行预测;
2、通过生成对比图的策略对输入数据产生不同的随机变形,从现有数据中获得多角度的图信息,然后通过自监督学习策略,让原图与对比图进行对比学习,从而让模型学习到更复杂的用户交互意图,使模型更具有泛化能力。
3.通过构建一个基于对比学习的损失函数,提升模型的预测精确度以及缓解了数据稀疏的问题。
结合以上三点,本发明所采用的自监督目标感知神经网络,从而提高网络故障预测的准确率。
实施例二
基于同样的发明构思,本实施例提供了基于自监督目标感知神经网络的网络故障预测装置,包括:
预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;
模型构建模块,用于构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
故障预测模块,用于利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
由于本发明实施例二所介绍的装置为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同一发明构思,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述程序时实现实施例一中的方法。
如图3所示,该计算机设备:至少一个处理器S31以及存储器S32。存储器S32存储有可被至少一个处理器执行的命令,当指令被处理器执行时实施上述方法的步骤。
其中,处理器S31与存储器S32采用的是总线进行连接,所谓总线也就是各个功能部件之间进行信息传递的公共干线,它是通过导线组成的传输线。计算机有运算器、控制器、存储器、输入设备以及输出设备这五大组件,总线就是用来连接这些组件的传输线。
处理器S31主要是进行管理主线与通常的处理的任务,提供许多功能:处理指令、执行操作、控制时间、处理数据等。存储器S32可以存储处理器S31在执行上述操作时使用的是所有数据。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.基于自监督目标感知神经网络的网络故障预测方法,其特征在于,包括:
获取网络故障数据,对获取的网络故障数据进行预处理;
构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,其中,三种网络特征为目标感知特征、局部特征和全局特征,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
2.如权利要求1所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,所述的网络故障数据包括故障对象的标识、故障发生时间、故障发生的类型,步骤S1中的预处理包括:将获取的网络故障数据转化为时间序列数据,将发生网络故障的数据节点转化为样本序列,其中,每个时间序列数据的当前时间段能够表示一份数据在某个特定时间之前已经存在的、完整的、可验证的故障数据类型。
3.如权利要求1所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,步骤S2中嵌入层的处理过程包括:
对故障节点的特征进行初始化,以故障时间序列和问题反馈的数据为输入并进行建模,构造一个图结构对故障数据进行特征表示,将每一个节点嵌入到一个统一的嵌入空间中,得到项目嵌入。
4.如权利要求1所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,图卷积层的处理过程包括:
利用图的结构信息,来获得图表示,并自动提取图结构的特征,具体为:将图结构数据转化成低维稠密的向量化表示方式,公式如下:
5.如权利要求1所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,自适应聚合层的处理过程包括:
获取目标感知特征的表示,公式如下:
其中,对于每个会话,目标项目对网络故障/>的可能性用目标感知特征表示,/>是第/>个会话的时间戳的注意力权重,/>是可学习的参数,并通过引入一个本地目标注意模块来计算会话序列/>中所有项目/>和每个目标项目之间的注意权重/>,在节点向量列表/>中有m个节点向量,为节点向量列表,/>表示会话/>中的所有项目,/>表示会话/>中的第j个项目,/>包含/>;
获取局部特征的表示,公式如下:
获取全局特征的表示,公式如下:
对局部特征和全局特征进行聚合,包括:获取局部特征和全局特征的选通函数:
6.如权利要求1所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,自监督学习模块的处理过程包括:
采用DropEdge策略生成一个与原始图具有差异的对比图,在每个训练阶段,DropEdge策略都会以一定的比率随机删除输入图形的边,它随机将相邻矩阵的/>非零元素强制为零,其中/>是边的总数,/>是删除概率,所得的邻接矩阵表示为/>,邻接矩阵与/>的关系为:
其中,每一个正对由全局信息和一个局部信息组成,每一个负对由全局信息和一个对比图中对应的局部信息组成,和/>分别表示原始图和对比图的顶点集,表示原始图中所有正对的集合,/>表示原始图中所有负对的集合,/>为原始图的全局信息,/>为原始图的局部信息,/>为一个对比图中对应的局部信息;
最大化对比图的全局信息和局部信息之间的互信息,公式如下:
7.如权利要求6所述的基于自监督目标感知神经网络的网络故障预测方法,其特征在于,预测模块的处理过程包括:
8.基于自监督目标感知神经网络的网络故障预测装置,其特征在于,包括:
预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;
模型构建模块,用于构建自监督的目标感知神经网络模型,所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块,其中,嵌入层用于对预处理后的网络故障数据进行特征表示,得到项目嵌入,图卷积层用于自动提取图结构的特征,自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘,聚合三种网络特征之间的隐含关系后得到会话的最终特征表示,其中,三种网络特征为目标感知特征、局部特征和全局特征,自监督学习模块用于生成一个与原始图具有差异的对比图,使用该对比图与原图进行对比学习,使其从图中学习到相应的信息,预测模块用于根据学习到的项目嵌入和会话的最终特征表示,计算每个目标项目的分数,并基于计算出的分数对下一段时间是否存在网络故障进行预测;
故障预测模块,用于利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210698538.9A CN115051929B (zh) | 2022-06-20 | 2022-06-20 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210698538.9A CN115051929B (zh) | 2022-06-20 | 2022-06-20 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115051929A CN115051929A (zh) | 2022-09-13 |
CN115051929B true CN115051929B (zh) | 2023-05-26 |
Family
ID=83164112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210698538.9A Active CN115051929B (zh) | 2022-06-20 | 2022-06-20 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115051929B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116010805B (zh) * | 2023-03-24 | 2023-06-16 | 昆明理工大学 | 基于卷积神经网络的滚动轴承故障特征提取方法、装置 |
CN117252346B (zh) * | 2023-11-15 | 2024-02-13 | 江西珉轩智能科技有限公司 | 一种物料溯源系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818035A (zh) * | 2021-01-29 | 2021-05-18 | 湖北工业大学 | 一种网络故障预测方法及终端设备及存储介质 |
CN113516226A (zh) * | 2021-05-18 | 2021-10-19 | 长沙理工大学 | 一种基于图神经网络的混合模型多元时序异常检测方法 |
CN113852492A (zh) * | 2021-09-01 | 2021-12-28 | 南京信息工程大学 | 基于注意力机制和图卷积神经网络的网络流量预测方法 |
JP7004364B1 (ja) * | 2020-12-31 | 2022-01-21 | ▲広▼州大学 | グラフニューラルネットワークに基づくマルチソースタイミングデータ故障診断方法及び媒体 |
CN114038517A (zh) * | 2021-08-25 | 2022-02-11 | 暨南大学 | 一种基于对比学习的自监督图神经网络预训练方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190138938A1 (en) * | 2017-11-06 | 2019-05-09 | Cisco Technology, Inc. | Training a classifier used to detect network anomalies with supervised learning |
CN111860769A (zh) * | 2020-06-16 | 2020-10-30 | 北京百度网讯科技有限公司 | 预训练图神经网络的方法以及装置 |
-
2022
- 2022-06-20 CN CN202210698538.9A patent/CN115051929B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7004364B1 (ja) * | 2020-12-31 | 2022-01-21 | ▲広▼州大学 | グラフニューラルネットワークに基づくマルチソースタイミングデータ故障診断方法及び媒体 |
CN112818035A (zh) * | 2021-01-29 | 2021-05-18 | 湖北工业大学 | 一种网络故障预测方法及终端设备及存储介质 |
CN113516226A (zh) * | 2021-05-18 | 2021-10-19 | 长沙理工大学 | 一种基于图神经网络的混合模型多元时序异常检测方法 |
CN114038517A (zh) * | 2021-08-25 | 2022-02-11 | 暨南大学 | 一种基于对比学习的自监督图神经网络预训练方法 |
CN113852492A (zh) * | 2021-09-01 | 2021-12-28 | 南京信息工程大学 | 基于注意力机制和图卷积神经网络的网络流量预测方法 |
Non-Patent Citations (3)
Title |
---|
Yuxin Zhang ; Jindong Wang ; Yiqiang Chen ; Han Yu ; Tao Qin. Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection.IEEE Transactions on Knowledge and Data Engineering.2022,全文. * |
基于注意力的门控神经网络的社会化推荐;邱叶;邵雄凯;高榕;王春枝;李晶;计算机工程与应用;全文 * |
基于深度学习的网络流量分类及异常检测方法研究;王伟;中国博士学位论文全文数据库;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115051929A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
CN110223517B (zh) | 基于时空相关性的短时交通流量预测方法 | |
CN115051929B (zh) | 基于自监督目标感知神经网络的网络故障预测方法及装置 | |
CN110048827B (zh) | 一种基于深度学习卷积神经网络的类模板攻击方法 | |
CN114330671A (zh) | 一种基于Transformer时空图卷积网络的交通流预测方法 | |
CN110427654B (zh) | 一种基于敏感状态的滑坡预测模型构建方法及系统 | |
TW202117577A (zh) | 用以針對目標性質生成結構的機器學習系統以及方法 | |
CN102469103B (zh) | 基于bp神经网络的木马事件预测方法 | |
CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
WO2019229931A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN111461463A (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
CN111144552A (zh) | 一种粮食品质多指标预测方法及装置 | |
CN115168443A (zh) | 一种基于gcn-lstm和注意力机制的异常检测方法及系统 | |
CN113935489A (zh) | 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法 | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
CN114358250A (zh) | 数据处理方法、装置、计算机设备、介质及程序产品 | |
CN116306780B (zh) | 一种动态图链接生成方法 | |
CN113505477A (zh) | 一种基于svae-wgan的过程工业软测量数据补充方法 | |
CN115861664A (zh) | 基于局部特征融合与自注意力机制的特征匹配方法及系统 | |
CN114841063A (zh) | 一种基于深度学习的航空发动机剩余寿命预测方法 | |
CN115861930A (zh) | 一种基于层级差异特征聚合的人群计数网络建模方法 | |
CN116308854A (zh) | 一种基于概率扩散的信息级联流行度预测方法及系统 | |
CN114997464A (zh) | 一种基于图时序信息学习的流行度预测方法 | |
CN112149355A (zh) | 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 | |
CN115174421B (zh) | 基于自监督解缠绕超图注意力的网络故障预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |