CN115174421A - 基于自监督解缠绕超图注意力的网络故障预测方法及装置 - Google Patents

基于自监督解缠绕超图注意力的网络故障预测方法及装置 Download PDF

Info

Publication number
CN115174421A
CN115174421A CN202210661675.5A CN202210661675A CN115174421A CN 115174421 A CN115174421 A CN 115174421A CN 202210661675 A CN202210661675 A CN 202210661675A CN 115174421 A CN115174421 A CN 115174421A
Authority
CN
China
Prior art keywords
node
network
hypergraph
representation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210661675.5A
Other languages
English (en)
Other versions
CN115174421B (zh
Inventor
高榕
陶玉合
邵雄凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210661675.5A priority Critical patent/CN115174421B/zh
Publication of CN115174421A publication Critical patent/CN115174421A/zh
Application granted granted Critical
Publication of CN115174421B publication Critical patent/CN115174421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0695—Management of faults, events, alarms or notifications the faulty arrangement being the maintenance, administration or management system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于自监督解缠绕超图注意力的网络故障预测方法及装置，其中预测方法首先将网络故障数据进行预处理，将其转化为时间序列数据；接着构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块(解缠绕超图注意力子模块、对偶图卷积子模块)、自监督对比学习模块以及预测模块，将所述时间序列数据输入所述基于自监督解缠绕超图注意力神经网络模型，所述基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。本发明通过构建基于自监督解缠绕超图注意力神经网络的网络故障预测方法，可以挖掘故障数据直接的复杂关联关系，提高网络故障预测的准确性。

Description

基于自监督解缠绕超图注意力的网络故障预测方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于自监督解缠绕超图注意力的网络故障预测方法及装置。
背景技术
随着信息时代的高速发展，电子设备普及率加速上升，与此同时带来的是宽带网络质量要求的不断提高。然而，网络故障的不断发生依然是一个重要的问题，其受到各大运营商广泛地关注。这些网络故障主要包括服务中断，网络速率低以及网络过程中的噪声等等。此外，网络故障的复杂性以及随机性导致很难利用传统方法对网络故障做出有效预测。
如何快速有效地预测网络故障的发生并且产生一定程度的预警具有重大的意义。不断发展的人工智能为网络故障的预测带来了可能。基于传统的统计方法只能在一定阈值下判断网络是否出现故障，这在随时间不断变化的动态网络中显得心有余而力不足。近年来随着深度学习的发展，使用深度学习的方法进行网络故障预测已经成为了一种趋势。利用神经网络的自主学习过程来学习训练并预测网络故障的发生显得更加具有说服力。但是大部分方法无法充分考虑到网络节点的高阶结构关系，仅仅将其建模为简单图，导致在真实的网络故障数据集上故障预测效果较差，且没有充分挖掘故障背后的潜在原因从而缺乏可解释性。
发明内容
本发明的目的是提供一种基于自监督解缠绕超图注意力神经网络的网络故障预测方法，旨在解决传统的预测方法因网络故障的复杂性以及网络故障本身存在的随机性，不能预测不同网络故障对其他故障的影响的问题，从而不能对故障进行有效预测的问题。
为了解决上述技术问题，本发明提供了一种基于自监督解缠绕超图注意力的网络故障预测方法，包括：
获取网络故障数据，对获取的网络故障数据进行预处理；
构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
在一种实施方式中，所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息，步骤S1的预处理包括：将故障发生的时间节点和时间序列数据基准转化为时间序列样本，得到故障时间序列，表示当前设备随时间变化发生的所有故障类型，故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。
在一种实施方式中，步骤S2中嵌入模块的处理过程包括：
以网络设备的故障时间序列为输入，将输入的故障时间序列转化为嵌入向量s，同时以每个故障时间序列作为超边，故障时间序列共有节点作为超图顶点构建超图G＝(V,E)，并以超图的超边为顶点构建对偶图G'＝(V',E')，其中，V和E分别表示超图的顶点和边，V'和E'分别表示对偶图的顶点和边。
在一种实施方式中，解缠绕超图注意力子模块的处理过程包括：
(1)利用GCN迭代地执行超图卷积的基本思想，通过节点信息在超图上的传播和聚合来学习节点的表示：
Figure BDA0003690774730000021
其中，i和j表示特定的节点，N和M分别表示节点的总数和边的总数，Hiε和Hjε分别表示节点i和节点j是否包含在边ε上，
Figure BDA0003690774730000022
表示节点i在超图卷积的第l+1层上的嵌入表示，
Figure BDA0003690774730000023
表示节点j在超图卷积的第l层上的嵌入表示，关联矩阵
Figure BDA0003690774730000024
表示超图结构，若超边ε∈E包含一个顶点vi∈V则Hiε＝1，否则Hiε＝0，超边权重Wεε统一分配权值为1，式(1)的矩阵形式为：
X(l+1)＝HWHTX(l)
其中，
Figure BDA0003690774730000025
和
Figure BDA0003690774730000026
分别为第(l)和第(l+1)层的输入数据的矩阵形式，H和HT为关联矩阵和其转置表示，W为权重，对X(l+1)进行归一化后表示为：
X(l+1)＝D-1HWB-1HTX(l)
其中，对角矩阵D和B分别表示顶点和超边的度矩阵，将初始输入数据X(0)经过L层超图卷积层后，最终的节点嵌入表示Xh为：
Figure BDA0003690774730000031
其中，
Figure BDA0003690774730000032
表示超图卷积层中第l层的嵌入表示，L表示超图卷积层的网络总层数；
(2)提取网络故障的潜在独立因素，同时找出这些因素相互影响的关，具体为：将输入序列节点特征投影到划分的K个不同的子空间中，每一个子空间对应一个影响因子，存在K个潜在因子，
Figure BDA0003690774730000033
其中，潜在因子zi,k为节点i在因素k上的表示，
Figure BDA0003690774730000034
和
Figure BDA0003690774730000035
是可学习的参数，xi是节点ii的表示，σ(·)是非线性激活函数，
Figure BDA0003690774730000036
是每个因子的维数；节点通过解缠绕将节点表示划分为K个分量，节点表示由K个子空间组成，每个子空间传输对应的节点表示信息，对于序列中的单个节点，从它的历史交互节点
Figure BDA0003690774730000037
聚合信息，因子k从历史交互节点影响ii的影响程度：
Figure BDA0003690774730000038
其中，i和j表示特定的节点，zj,k和zj,k'为节点j在因素k、k'上的潜在因子表示，
Figure BDA0003690774730000039
表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度，
Figure BDA00036907747300000310
根据节点ii相邻历史交互节点子空间的概率进行信息累积，并更新节点表示，获得节点i在因素k上的最终表示
Figure BDA00036907747300000311
Figure BDA00036907747300000312
其中，
Figure BDA00036907747300000313
和bk分别表示在因子k上的权重和偏置，xj为节点j的嵌入表示，使用L2归一化，公式如下所示：
Figure BDA00036907747300000314
通过将节点表示投射到不同的子空间中，从不同意图角度聚合节点的信息，整个序列的节点表示zi表示为K个子空间的组合：
Figure BDA00036907747300000315
Figure BDA00036907747300000316
为归一化后的节点i在因素1上的最终表示，
Figure BDA00036907747300000317
为归一化后的节点i在因素k上的最终表示；
(3)采用均值池化生成序列的解缠绕表示，该表示由K个潜在因素组成，将zi重塑为向量形式
Figure BDA0003690774730000041
zi压成如下形式：
Figure BDA0003690774730000042
其中
Figure BDA0003690774730000043
表示实体的序列节点表征；序列中的时间信息采用一个可学习的位置矩阵Pr＝[p1,p2,p3,…,pm]表示，其中m是当前序列的长度，将位置嵌入融入到序列嵌入中保持其时间性：
Figure BDA0003690774730000044
其中，i表示特定节点，Pm-i-1表示位置矩阵，
Figure BDA0003690774730000045
表示考虑了时间特性后的第t个节点嵌入表示，W1表示可学习权重参数，Ct表示当前序列s内的第t个节点嵌入表示，b为可学习参数；
(4)引入自注意力机制学习序列中节点之间的相关性，表示为：
Figure BDA0003690774730000046
其中，
Figure BDA0003690774730000047
为自注意力计算过后新的输出数据，Xh是初始输入数据，即时间序列数据，dk为键向量的维度，Q＝XhWQ是查询矩阵，K＝XhWK是键矩阵，V＝XhWV是值矩阵，WQ,WK,WV是权重矩阵，softmax(·)是激活函数，聚合节点嵌入表示过程如下：
Figure BDA0003690774730000048
Figure BDA0003690774730000049
Figure BDA00036907747300000410
其中，Xm表示第m个输入数据，
Figure BDA00036907747300000411
表示序列s的嵌入表示，αt表示第t个节点的注意力分数，c表示偏置，
Figure BDA00036907747300000412
Figure BDA00036907747300000413
表示序列s的第t个节点嵌入表示，θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。
在一种实施方式中，对偶图卷积子模块的处理过程包括：
对偶图在每次卷积操作中，当前序列从邻居序列中传播和收集信息，学习的表示θ能够捕获到网络间的特征信息，其中，对偶图的卷积操作表示为：
Figure BDA00036907747300000414
其中，θ(l)、θ(l+1)分别表示对偶图卷积第l层和第l+1层的嵌入表示，
Figure BDA0003690774730000051
表示度矩阵，
Figure BDA0003690774730000052
表示邻接矩阵；
其中，对偶图卷积子模块中，对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd：
Figure BDA0003690774730000053
L'表示对偶卷积层的总层数。
在一种实施方式中，自监督对比学习模块的处理过程包括：
采用Info-NCE作为学习目标，其具有来自正样本和负样本之间的标准二进制交叉熵损失，计算方式为：
Figure BDA0003690774730000054
其中，i表示特定节点，
Figure BDA0003690774730000055
通过对θh进行行变换和列变换得到的负样本，
Figure BDA0003690774730000056
是通过对θd进行行变换和列变换得到的负样本，判别器函数为fD(·):
Figure BDA0003690774730000057
Figure BDA0003690774730000058
用以判别样本
Figure BDA0003690774730000059
和
Figure BDA00036907747300000510
之间的差异性，
Figure BDA00036907747300000511
用以判别样本
Figure BDA00036907747300000512
和
Figure BDA00036907747300000513
之间的差异性。
在一种实施方式中，预测模块的处理过程包括：
在给定序列s的情况下，通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积，计算所有候选节点i∈I的预测分数Z，其中，节点i的预测分数Zi的计算方式为：
Figure BDA00036907747300000514
采用softmax函数预测节点成为下一个故障的概率
Figure BDA00036907747300000515
Figure BDA00036907747300000516
Figure BDA00036907747300000517
表示任意一个节点的预测分数，
采用交叉熵损失函数Lr学习优化目标：
Figure BDA00036907747300000518
其中，N表示节点数量、yi和
Figure BDA00036907747300000519
分别表示节点i的真实值和预测值，y是正热编码向量，采用Adam最小化Lr，最终的学习目标L定义为：
L＝Lr+βLs
其中，β是控制自监督对比学习任务的可变控制因子。
基于同样的发明构思，本发明第二方面提供了基于自监督解缠绕超图注意力的网络故障预测装置，包括：
预处理模块，用于获取网络故障数据，对获取的网络故障数据进行预处理；
模型构建模块，用于构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
故障预测模块，用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。
相对于现有技术，本发明的优点和有益的技术效果如下：
本发明提供的方法对网络故障数据进行预处理后，构建了基于自监督解缠绕超图注意力神经网络模型，其包括嵌入模块、解缠绕超图注意力子模块、对偶图卷积子模块、自监督对比学习模块以及预测模块；利用解缠绕超图注意力网络可以挖掘网络内故障之间的复杂关系，并采用解缠绕的方法细粒度获取网络故障背后的潜在原因，同时采用对偶图卷积来获取网络设备节点间故障发生的关联关系。并通过自监督对比学习模块，将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，最后通过预测模块根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；可以在网络故障发生之前就进行精准预测，能够完成网络故障原因及其复杂相关性的精准分析，改善了预测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于自监督解缠绕超图注意力神经网络模型的框架图。
图2为本发明实施例的流程示意图。
具体实施方式
本申请发明人通过大量的研究与实践发现：
但是大部分方法无法充分考虑到网络节点的高阶结构关系，仅仅将其建模为简单图，导致在真实的网络故障数据集上故障预测效果较差，且没有充分挖掘故障背后的潜在原因因而缺乏可解释性。
基于此，本发明提供了一种基于自监督解缠绕超图注意力的网络故障预测方法及装置，其中预测方法首先将网络故障数据进行预处理，将其转化为时间序列数据，所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息，每个时间序列数据表示当前设备随时间变化发生的所有故障类型；然后将产生故障的网络节点设备的反馈数据转化为序列样本数据；接着构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块(解缠绕超图注意力子模块、对偶图卷积子模块)、自监督对比学习模块以及预测模块，将所述时间序列数据输入所述基于自监督解缠绕超图注意力神经网络模型，所述基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。本发明通过构建基于自监督解缠绕超图注意力神经网络的网络故障预测方法，可以挖掘故障数据直接的复杂关联关系，提高网络故障预测的准确性。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于自监督解缠绕超图注意力的网络故障预测方法，包括：
获取网络故障数据，对获取的网络故障数据进行预处理；
构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
具体来说，对获取的网络故障数据进行预处理，处理成时间序列数据，作为模型的输入，用于模型的训练和测试。表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，得到节点的最终嵌入表示，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，得到网络设备间的嵌入表示，即序列嵌入。
在一种实施方式中，所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息，步骤S1的预处理包括：将故障发生的时间节点和时间序列数据基准转化为时间序列样本，得到故障时间序列，表示当前设备随时间变化发生的所有故障类型，故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。
故障时间序列即时间序列上的所有故障类型的数据序列。
在一种实施方式中，步骤S2中嵌入模块的处理过程包括：
以网络设备的故障时间序列为输入，将输入的故障时间序列转化为嵌入向量s，同时以每个故障时间序列作为超边，故障时间序列共有节点作为超图顶点构建超图G＝(V,E)，并以超图的超边为顶点构建对偶图G'＝(V',E')，其中，V和E分别表示超图的顶点和边，V'和E'分别表示对偶图的顶点(故障时间序列)和边(不同故障时间序列的联系)，对偶图非常自然地建模了不同的故障时间序列之间的联系，挖掘其相互之间的影响。
在一种实施方式中，解缠绕超图注意力子模块的处理过程包括：
(1)利用GCN迭代地执行超图卷积的基本思想，通过节点信息在超图上的传播和聚合来学习节点的表示：
Figure BDA0003690774730000081
其中，i和j表示特定的节点，N和M分别表示节点的总数和边的总数，Hiε和Hjε分别表示节点i和节点j是否包含在边ε上，
Figure BDA0003690774730000082
表示节点i在超图卷积的第l+1层上的嵌入表示，
Figure BDA0003690774730000083
表示节点j在超图卷积的第l层上的嵌入表示，关联矩阵
Figure BDA0003690774730000084
表示超图结构，若超边ε∈E包含一个顶点vi∈V则Hiε＝1，否则Hiε＝0，超边权重Wεε统一分配权值为1，
式(1)的矩阵形式为：
X(l+1)＝HWHTX(l)
其中，
Figure BDA0003690774730000091
和
Figure BDA0003690774730000092
分别为第(l)和第(l+1)层的输入数据的矩阵形式，H和HT为关联矩阵和其转置表示，W为权重，对X(l+1)进行归一化后表示为：
X(l+1)＝D-1HWB-1HTX(l)
其中，对角矩阵D和B分别表示顶点和超边的度矩阵，将初始输入数据X(0)经过L层超图卷积层后，最终的节点嵌入表示Xh为：
Figure BDA0003690774730000093
其中，
Figure BDA0003690774730000094
表示超图卷积层中第l层的嵌入表示，L表示超图卷积层的网络总层数；
(2)提取网络故障的潜在独立因素，同时找出这些因素相互影响的关，具体为：将输入序列节点特征投影到划分的K个不同的子空间中，每一个子空间对应一个影响因子，存在K个潜在因子，
Figure BDA0003690774730000095
其中，潜在因子zi,k为节点i在因素k上的表示，
Figure BDA0003690774730000096
和
Figure BDA0003690774730000097
是可学习的参数，xi是节点ii的表示，σ(·)是非线性激活函数，
Figure BDA0003690774730000098
是每个因子的维数；节点通过解缠绕将节点表示划分为K个分量，节点表示由K个子空间组成，每个子空间传输对应的节点表示信息，对于序列中的单个节点，从它的历史交互节点
Figure BDA0003690774730000099
聚合信息，因子k从历史交互节点影响ii的影响程度：
Figure BDA00036907747300000910
其中，i和j表示特定的节点，zj,k和zj,k'为潜在因子表示，
Figure BDA00036907747300000911
表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度，
Figure BDA00036907747300000912
根据节点ii相邻历史交互节点子空间的概率进行信息累积，并更新节点表示，获得节点i在因素k上的最终表示
Figure BDA00036907747300000913
Figure BDA00036907747300000914
其中，
Figure BDA0003690774730000101
和bk分别表示在因子k上的权重和偏置，xj为节点j的嵌入表示，使用L2归一化，公式如下所示：
Figure BDA0003690774730000102
通过将节点表示投射到不同的子空间中，从不同意图角度聚合节点的信息，整个序列的节点表示zi表示为K个子空间的组合：
Figure BDA0003690774730000103
Figure BDA0003690774730000104
为归一化后的节点i在因素1上的最终表示，
Figure BDA0003690774730000105
为归一化后的节点i在因素k上的最终表示；
(3)采用均值池化生成序列的解缠绕表示，该表示由K个潜在因素组成，将zi重塑为向量形式
Figure BDA0003690774730000106
zi压成如下形式：
Figure BDA0003690774730000107
其中
Figure BDA0003690774730000108
表示实体的序列节点表征；序列中的时间信息采用一个可学习的位置矩阵Pr＝[p1,p2,p3,…,pm]表示，其中m是当前序列的长度，将位置嵌入融入到序列嵌入中保持其时间性：
Figure BDA0003690774730000109
其中，i表示特定节点，Pm-i-1表示位置矩阵，
Figure BDA00036907747300001010
表示考虑了时间特性后的第t个节点嵌入表示，W1表示可学习权重参数，Ct表示当前序列s内的第t个节点嵌入表示，b为可学习参数；
(4)引入自注意力机制学习序列中节点之间的相关性，表示为：
Figure BDA00036907747300001011
其中，
Figure BDA00036907747300001012
为自注意力计算过后新的输出数据，Xh是初始输入数据，即时间序列数据，dk为键向量的维度，Q＝XhWQ是查询矩阵，K＝XhWK是键矩阵，V＝XhWV是值矩阵，WQ,WK,WV是权重矩阵，softmax(·)是激活函数，聚合节点嵌入表示过程如下：
Figure BDA0003690774730000111
Figure BDA0003690774730000112
Figure BDA0003690774730000113
其中，Xm表示第m个输入数据，
Figure BDA0003690774730000114
表示序列s的嵌入表示，αt表示第t个节点的注意力分数，c表示偏置，
Figure BDA0003690774730000115
Figure BDA0003690774730000116
表示序列s的第t个节点嵌入表示，θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。
具体来说，解缠绕超图注意力子模块首先利用多层超图卷积获得节点的高阶信息特征(步骤(1))，然后将节点表示划分为K个因子表示，并将其分别投射到不同的子空间中，以便于细粒度地区分不同因素(步骤(2))；随后进行解缠绕表示学习，充分解开混杂的因子(步骤(3))；最后采用注意力机制有区分的加权融合因子表示，获得最终的节点表征(步骤(4))。
在一种实施方式中，对偶图卷积子模块的处理过程包括：
对偶图在每次卷积操作中，当前序列从邻居序列中传播和收集信息，学习的表示θ能够捕获到网络间的特征信息，其中，对偶图的卷积操作表示为：
Figure BDA0003690774730000117
其中，θ(l)、θ(l+1)分别表示对偶图卷积第l层和第l+1层的嵌入表示，
Figure BDA0003690774730000118
表示度矩阵，
Figure BDA0003690774730000119
表示邻接矩阵；
其中，对偶图卷积子模块中，对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd：
Figure BDA00036907747300001110
L'表示对偶卷积层的总层数。
在一种实施方式中，自监督对比学习模块的处理过程包括：
采用Info-NCE作为学习目标，其具有来自正样本和负样本之间的标准二进制交叉熵损失，计算方式为：
Figure BDA00036907747300001111
其中，i表示特定节点，
Figure BDA00036907747300001112
通过对θh进行行变换和列变换得到的负样本，
Figure BDA00036907747300001113
是通过对θd进行行变换和列变换得到的负样本，判别器函数为fD(·):
Figure BDA00036907747300001114
即
Figure BDA00036907747300001115
和
Figure BDA00036907747300001116
判别相互之间的差异性。
具体来说，Info-NCE的全称为Noise Contrastive Estimation，即噪声对比估计。
在一种实施方式中，预测模块的处理过程包括：
在给定序列s的情况下，通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积，计算所有候选节点i∈I的预测分数Z，其中，节点i的预测分数Zi的计算方式为：
Figure BDA0003690774730000121
采用softmax函数预测节点成为下一个故障的概率
Figure BDA0003690774730000122
Figure BDA0003690774730000123
Figure BDA0003690774730000124
表示任意一个节点的预测分数，
采用交叉熵损失函数Lr学习优化目标：
Figure BDA0003690774730000125
其中，N表示节点数量、yi和
Figure BDA0003690774730000126
分别表示节点i的真实值和预测值，y是正热编码向量，采用Adam最小化Lr，最终的学习目标L定义为：
L＝Lr+βLs
其中，β是控制自监督对比学习任务的可变控制因子。
请参见图1，为本发明实施例基于自监督解缠绕超图注意力神经网络模型的框架图，请参见图2，为本发明实施例的流程示意图。
具体的，本实施例是上述方法实施例对应的系统实施例，具体效果参见上述方法实施例，在此不再一一赘述。网络故障数据进行收集，将故障信息加入时间戳，通过预处理(去掉故障数量过小数据或缺失值)转化为样本数据；构建自监督解缠绕超图注意力网络框架；根据解缠绕超图注意力得到故障的影响程度和发生故障的原因；采用对偶图卷积挖掘设备间的影响，利用自监督对比学习来获取序列中最终的故障特征信息，最后得到预测结果。
本发明实施例采用以上技术方案与现有技术相比，具有以下的有益效果：对网络故障数据进行预处理，构建基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测，通过解缠绕超图注意力网络及自监督对比学习的方法，实现在网络故障发生之前就进行精准预测，能够完成网络故障原因及其复杂相关性的精准分析。因此，本发明实施例的故障预测可以实现网络故障的精准预测，提高网络故障预测的准确性。
实施例二
基于同样的发明构思，本实施例提供了一种基于自监督解缠绕超图注意力的网络故障预测装置，包括：
预处理模块，用于获取网络故障数据，对获取的网络故障数据进行预处理；
模型构建模块，用于构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
故障预测模块，用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
由于本发明实施例二所介绍的装置为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，包括：
获取网络故障数据，对获取的网络故障数据进行预处理；
构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
2.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息，步骤S1的预处理包括：将故障发生的时间节点和时间序列数据基准转化为时间序列样本，得到故障时间序列，表示当前设备随时间变化发生的所有故障类型，故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。
3.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，步骤S2中嵌入模块的处理过程包括：
以网络设备的故障时间序列为输入，将输入的故障时间序列转化为嵌入向量s，同时以每个故障时间序列作为超边，故障时间序列共有节点作为超图顶点构建超图G＝(V,E)，并以超图的超边为顶点构建对偶图G'＝(V',E')，其中，V和E分别表示超图的顶点和边，V'和E'分别表示对偶图的顶点和边。
4.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，解缠绕超图注意力子模块的处理过程包括：
(1)利用GCN迭代地执行超图卷积的基本思想，通过节点信息在超图上的传播和聚合来学习节点的表示：
Figure FDA0003690774720000011
其中，i和j表示特定的节点，N和M分别表示节点的总数和边的总数，Hiε和Hjε分别表示节点i和节点j是否包含在边ε上，
Figure FDA0003690774720000021
表示节点i在超图卷积的第l+1层上的嵌入表示，
Figure FDA0003690774720000022
表示节点j在超图卷积的第l层上的嵌入表示，关联矩阵
Figure FDA0003690774720000023
表示超图结构，若超边ε∈E包含一个顶点vi∈V则Hiε＝1，否则Hiε＝0，超边权重Wεε统一分配权值为1，
式(1)的矩阵形式为：
X(l+1)＝HWHTX(l)
其中，
Figure FDA0003690774720000024
和
Figure FDA0003690774720000025
分别为第(l)和第(l+1)层的输入数据的矩阵形式，H和HT为关联矩阵和其转置表示，W为权重，对X(l+1)进行归一化后表示为：
X(l+1)＝D-1HWB-1HTX(l)
其中，对角矩阵D和B分别表示顶点和超边的度矩阵，将初始输入数据X(0)经过L层超图卷积层后，最终的节点嵌入表示Xh为：
Figure FDA0003690774720000026
其中，
Figure FDA0003690774720000027
表示超图卷积层中第l层的嵌入表示，L表示超图卷积层的网络总层数；
(2)提取网络故障的潜在独立因素，同时找出这些因素相互影响的关，具体为：将输入序列节点特征投影到划分的K个不同的子空间中，每一个子空间对应一个影响因子，存在K个潜在因子，
Figure FDA0003690774720000028
其中，潜在因子zi,k为节点i在因素k上的表示，
Figure FDA0003690774720000029
和
Figure FDA00036907747200000210
是可学习的参数，xi是节点ii的表示，σ(·)是非线性激活函数，
Figure FDA00036907747200000211
是每个因子的维数；节点通过解缠绕将节点表示划分为K个分量，节点表示由K个子空间组成，每个子空间传输对应的节点表示信息，对于序列中的单个节点，从它的历史交互节点
Figure FDA00036907747200000212
聚合信息，因子k从历史交互节点影响ii的影响程度：
Figure FDA00036907747200000213
其中，i和j表示特定的节点，zj,k和zj,k'为节点j在因素k、k'上的潜在因子表示，
Figure FDA00036907747200000214
表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度，
Figure FDA00036907747200000215
根据节点ii相邻历史交互节点子空间的概率进行信息累积，并更新节点表示，获得节点i在因素k上的最终表示
Figure FDA0003690774720000031
Figure FDA0003690774720000032
其中，
Figure FDA0003690774720000033
和bk分别表示在因子k上的权重和偏置，xj为节点j的嵌入表示，使用L2归一化，公式如下所示：
Figure FDA0003690774720000034
通过将节点表示投射到不同的子空间中，从不同意图角度聚合节点的信息，整个序列的节点表示zi表示为K个子空间的组合：
Figure FDA0003690774720000035
Figure FDA0003690774720000036
为归一化后的节点i在因素1上的最终表示，
Figure FDA0003690774720000037
为归一化后的节点i在因素k上的最终表示；
(3)采用均值池化生成序列的解缠绕表示，该表示由K个潜在因素组成，将zi重塑为向量形式
Figure FDA0003690774720000038
zi压成如下形式：
Figure FDA0003690774720000039
其中
Figure FDA00036907747200000310
表示实体的序列节点表征；序列中的时间信息采用一个可学习的位置矩阵Pr＝[p1,p2,p3,…,pm]表示，其中m是当前序列的长度，将位置嵌入融入到序列嵌入中保持其时间性：
Figure FDA00036907747200000311
其中，i表示特定节点，Pm-i-1表示位置矩阵，
Figure FDA00036907747200000312
表示考虑了时间特性后的第t个节点嵌入表示，W1表示可学习权重参数，Ct表示当前序列s内的第t个节点嵌入表示，b为可学习参数；
(4)引入自注意力机制学习序列中节点之间的相关性，表示为：
Figure FDA00036907747200000313
其中，
Figure FDA00036907747200000314
为自注意力计算过后新的输出数据，Xh是初始输入数据，即时间序列数据，dk为键向量的维度，Q＝XhWQ是查询矩阵，K＝XhWK是键矩阵，V＝XhWV是值矩阵，WQ,WK,WV是权重矩阵，softmax(·)是激活函数，聚合节点嵌入表示过程如下：
Figure FDA0003690774720000041
Figure FDA0003690774720000042
Figure FDA0003690774720000043
其中，Xm表示第m个输入数据，
Figure FDA0003690774720000044
表示序列s的嵌入表示，αt表示第t个节点的注意力分数，c表示偏置，
Figure FDA0003690774720000045
Figure FDA0003690774720000046
表示序列s的第t个节点嵌入表示，θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。
5.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，对偶图卷积子模块的处理过程包括：
对偶图在每次卷积操作中，当前序列从邻居序列中传播和收集信息，学习的表示θ能够捕获到网络间的特征信息，其中，对偶图的卷积操作表示为：
Figure FDA0003690774720000047
其中，θ(l)、θ(l+1)分别表示对偶图卷积第l层和第l+1层的嵌入表示，
Figure FDA0003690774720000048
表示度矩阵，
Figure FDA0003690774720000049
表示邻接矩阵；
其中，对偶图卷积子模块中，对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd：
Figure FDA00036907747200000410
L'表示对偶卷积层的总层数。
6.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，自监督对比学习模块的处理过程包括：
采用Info-NCE作为学习目标，其具有来自正样本和负样本之间的标准二进制交叉熵损失，计算方式为：
Figure FDA00036907747200000411
其中，i表示特定节点，
Figure FDA00036907747200000412
通过对θh进行行变换和列变换得到的负样本，
Figure FDA00036907747200000413
是通过对θd进行行变换和列变换得到的负样本，判别器函数为
Figure FDA00036907747200000414
fD(θi h,θi d)用以判别样本θi h和θi d之间的差异性，
Figure FDA00036907747200000415
用以判别样本
Figure FDA00036907747200000416
和
Figure FDA00036907747200000417
之间的差异性。
7.如权利要求6所述的基于自监督解缠绕超图注意力的网络故障预测方法，其特征在于，预测模块的处理过程包括：
在给定序列s的情况下，通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积，计算所有候选节点i∈I的预测分数Z，其中，节点i的预测分数Zi的计算方式为：
Figure FDA0003690774720000051
采用softmax函数预测节点成为下一个故障的概率
Figure FDA0003690774720000052
Figure FDA0003690774720000053
Figure FDA0003690774720000054
表示任意一个节点的预测分数，
采用交叉熵损失函数Lr学习优化目标：
Figure FDA0003690774720000055
其中，N表示节点数量、yi和
Figure FDA0003690774720000056
分别表示节点i的真实值和预测值，y是正热编码向量，采用Adam最小化Lr，最终的学习目标L定义为：
L＝Lr+βLs
其中，β是控制自监督对比学习任务的可变控制因子。
8.基于自监督解缠绕超图注意力的网络故障预测装置，其特征在于，包括：
预处理模块，用于获取网络故障数据，对获取的网络故障数据进行预处理；
模型构建模块，用于构建自监督解缠绕超图注意力神经网络模型，所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块，其中，嵌入模块用于将输入网络故障数据转化为嵌入向量，表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块，其中，解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系，并采用解缠绕的方法获取网络故障背后的潜在原因，对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系，自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次，通过自监督对比学习对比两个子模块学习的两组网络嵌入表示，预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率，从而对网络故障进行预测；
故障预测模块，用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项权利要求所述的方法。
CN202210661675.5A 2022-06-13 2022-06-13 基于自监督解缠绕超图注意力的网络故障预测方法及装置 Active CN115174421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661675.5A CN115174421B (zh) 2022-06-13 2022-06-13 基于自监督解缠绕超图注意力的网络故障预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661675.5A CN115174421B (zh) 2022-06-13 2022-06-13 基于自监督解缠绕超图注意力的网络故障预测方法及装置

Publications (2)

Publication Number Publication Date
CN115174421A true CN115174421A (zh) 2022-10-11
CN115174421B CN115174421B (zh) 2023-05-23

Family

ID=83485223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661675.5A Active CN115174421B (zh) 2022-06-13 2022-06-13 基于自监督解缠绕超图注意力的网络故障预测方法及装置

Country Status (1)

Country Link
CN (1) CN115174421B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
WO2020048377A1 (zh) * 2018-09-05 2020-03-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN111091712A (zh) * 2019-12-25 2020-05-01 浙江大学 一种基于循环注意力对偶图卷积网络的交通流量预测方法
WO2021068528A1 (zh) * 2019-10-11 2021-04-15 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法、装置及设备
CN112910695A (zh) * 2021-01-22 2021-06-04 湖北工业大学 基于全局注意力时域卷积网络的网络故障预测方法
CN113852492A (zh) * 2021-09-01 2021-12-28 南京信息工程大学 基于注意力机制和图卷积神经网络的网络流量预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
WO2020048377A1 (zh) * 2018-09-05 2020-03-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
WO2021068528A1 (zh) * 2019-10-11 2021-04-15 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法、装置及设备
CN111091712A (zh) * 2019-12-25 2020-05-01 浙江大学 一种基于循环注意力对偶图卷积网络的交通流量预测方法
CN112910695A (zh) * 2021-01-22 2021-06-04 湖北工业大学 基于全局注意力时域卷积网络的网络故障预测方法
CN113852492A (zh) * 2021-09-01 2021-12-28 南京信息工程大学 基于注意力机制和图卷积神经网络的网络流量预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴静，谢辉，姜火文: "《图神经网络推荐系统综述》", 计算机科学与探索 *
吴齐天: "Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems", PROCEEDINGS OF THE WEB CONFERENCE 2019 *
邱叶; 邵雄凯; 高榕; 王春枝; 李晶: "基于注意力门控神经网络的社会化推荐算法", 计算机工程与应用 *

Also Published As

Publication number Publication date
CN115174421B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
Zhang et al. Energy theft detection in an edge data center using threshold-based abnormality detector
CN114120041B (zh) 一种基于双对抗变分自编码器的小样本分类方法
CN112910690A (zh) 基于神经网络模型的网络流量预测方法、装置及设备
CN112508243A (zh) 电力信息系统多故障预测网络模型的训练方法及装置
CN110851654A (zh) 基于张量化数据降维的工业设备故障检测分类方法
CN115051929B (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
CN114255121A (zh) 信贷风险预测模型的训练方法和信贷风险预测方法
CN115564155A (zh) 一种分散式风电机组功率预测方法及相关设备
CN116489038A (zh) 网络流量的预测方法、装置、设备和介质
Wang et al. Incremental causal graph learning for online root cause analysis
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN113541985A (zh) 物联网故障诊断方法、模型的训练方法及相关装置
Lou et al. Classification-based prediction of network connectivity robustness
CN111027591A (zh) 一种面向大规模集群系统的节点故障预测方法
CN113541986B (zh) 5g切片的故障预测方法、装置及计算设备
CN112163474B (zh) 一种基于模型融合的齿轮箱智能诊断方法
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN117580046A (zh) 一种基于深度学习的5g网络动态安全能力调度方法
CN115861664A (zh) 基于局部特征融合与自注意力机制的特征匹配方法及系统
CN115081609A (zh) 一种智能决策中的加速方法、终端设备及存储介质
CN115174421A (zh) 基于自监督解缠绕超图注意力的网络故障预测方法及装置
CN115829029A (zh) 一种基于通道注意力的自蒸馏实现方法
CN115409262A (zh) 铁路数据中心关键性能指标趋势预测方法、异常识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant