CN112100369A - 结合语义的网络故障关联规则生成方法和网络故障检测方法 - Google Patents

Abstract

本发明公开了一种结合语义的网络故障关联规则生成方法，包括：(1)根据网络设备和告警信息以及关联关系构建网络知识图谱；(2)构建并优化词表，根据词的优化后向量表示构建网络知识图谱中节点的初始向量表示；(3)构建实现自动编码和解码的图神经网络，以节点的初始向量表示作为图神经网络的输入，以解码得到的重构图作为输出，根据重构图与输入图之间的距离值、编码得到的节点的向量表示分布与正态分布的散度值构建损失函数，利用损失函数优化节点的向量表示；(4)根据节点的优化后向量表示，计算任意两个告警节点的相似度，依据该相似度值筛选获得网络故障关联规则并输出。该公开了一种结合语义的网络故障检测方法。

Description

结合语义的网络故障关联规则生成方法和网络故障检测方法

技术领域

本发明属于网络故障检测领域，具体涉及一种结合语义的网络故障关联规则生成方法和网络故障检测方法。

背景技术

网络故障是指由于硬件的问题、软件的漏洞、病毒的侵入等原因引起网络无法提供正常服务或降低服务质量的状态。网络故障检测是支持网络正常运行重要的一环，检测的正常运行则需要大量的网络故障关联规则作为辅助，因此归纳总结网络故障关联规则有助于网络故障的诊断及根因分析。目前的网络故障关联规则的归纳一般由公司内经验丰富的维护人员负责，但这一方式存在着成本高、难以泛化等问题。

图神经网络作为一种基于深度学习的强大图表示技术，旨在扩展深度神经网络以处理任意图结构数据，已显示出了卓越的性能。图神经网络的目标是学习每个节点的低维向量表示，该向量低维向量表示可用于许多下游任务，例如节点分类，节点聚类和链接预测。考虑将实际场景中各个设备抽象为不同的节点，设备间的物理连接或软件调用关系抽象为边的连接，从而将问题建模为异构图上的链接预测问题。

知识图谱作为一种特殊的图数据，是一种人类可识别并且对机器友好的知识表示。作为一种应用型技术，知识图谱在很多领域中都得到了广泛的应用，例如信息检索、自然语言理解、问答系统、推荐系统、金融风控、教育医疗等。然而，如何自动化地构建高质量的知识图谱，以及如何充分地利用知识图谱的实体和关系所包含的语义进行推理，仍是需要研究的问题，方法之一就是使用知识图谱的链接预测算法。链接预测指给定头实体(或尾实体)和关系，预测实体在该关系的对应的尾实体(或头实体)，当然也可以给定两个实体预测它们最有可能存在的关系。

申请公布号为CN111010311A的专利申请公开了一种基于知识图谱的智能网络故障诊断方法，提取知识图谱中子图组成事件簇，根据事件簇的中心点作为故障点，以实现智能网络故障诊断检测。申请公布号为CN106603293A的专利申请公开了虚拟网络环境下一种基于深度学习的网络故障诊断方法，该网络故障诊断方法采用LSTM模型进行网络故障。

发明内容

本发明的目的是提供一种结合语义的网络故障关联规则生成方法，仅通过图上部分节点的关联规则对每个点的向量表示进行更新，从而更为准确的计算节点间的相似度进行链接预测。包括以下步骤：

(1)以网络设备和告警信息作为节点，以网络设备之间的连接关系、网络设备与告警信息之间的产生关系，以及告警信息之间的触发关系作为连边，构建网络知识图谱；

(2)构建网络故障场景的词表，对词表进行语义层面的预训练以优化词的向量表示，根据词的优化后向量表示构建网络知识图谱中节点的初始向量表示；

(3)构建实现自动编码和解码的图神经网络，以节点的初始向量表示作为图神经网络的输入，以解码得到的重构图作为输出，根据重构图与输入图之间的距离值、编码得到的节点的向量表示分布与正态分布的散度值构建损失函数，利用损失函数更新图神经网络参数和优化节点的向量表示；

(4)根据节点的优化后向量表示，计算任意两个告警节点的相似度，依据该相似度值筛选获得网络故障关联规则并输出。

本发明实施例提供的一种结合语义的网络故障关联规则生成方法，首先通过词表构建网络节点的节点表示，然后通过图神经网络来优化节点的向量表示，依据节点的优化后向量表示计算相邻两个节点的相似度，以获得多条网络故障关联规则，该多条网络故障关联规则可以补全网络知识图谱中的连接关系。

本发明的另一目的是提供一种结合语义的网络故障检测方法，包括以下步骤：

利用上述结合语义的网络故障关联规则生成方法生成多条网络故障关联规则，利用该多条网络故障关联规则补全网络知识图谱；

当每一网络节点出现故障时，以故障节点作为初始节点，利用补全网络知识图谱搜索获得与故障节点相关的其他网络节点，实现网络故障的检测。

本发明实施例提供的结合语义的网络故障检测方法根据补全的网络知识图谱能够检测到相关联的故障节点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的结合语义的网络故障关联规则生成方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明实施例提供的结合语义的网络故障关联规则生成方法的流程图。如图1所示，实施例提供了一种结合语义的网络故障关联规则生成方法，包括以下步骤：

步骤1，以网络设备和告警信息作为节点，以网络设备之间的连接关系、网络设备与告警信息之间的产生关系，以及告警信息之间的触发关系作为连边，构建网络知识图谱。

实施例构建的网络知识图谱是针对某一个网络故障场景的网络知识图谱。该网络故障场景中包含网络设备和一些告警信息，网络设备和网络设备之间具有固定的连接关系，网络设备能够产生一些告警信息，同时一条告警信息可能触发另一条告警信息，因此，在构建网络知识图谱时，以网络设备和告警信息作为节点，并为每个节点添加节点名称信息，同时以网络设备之间的连接关系、网络设备与告警信息之间的产生关系，以及告警信息之间的触发关系作为连边，当节点之间存在上述连接关系、产生关系以及触发关系时，则节点之间通过连边连接。该网络知识图谱中节点之间连边表示两个节点相似作为监督信号有助于图神经网络的训练，而从在之后的预测阶段，如果两个节点相似，则结果预测为可能存在连接关系。

步骤2，构建网络故障场景的词表，对词表进行语义层面的预训练以优化词的向量表示，根据词的优化后向量表示构建网络知识图谱中节点的初始向量表示。

在获得根据网络故障场景构建的网络知识图谱后，即可以根据网络知识图谱生成词表，具体地，构建网络故障场景的词表过程为：提取网络知识图谱中每个节点名称信息，对所有节点名称信息进行分词后，对分词结果整合、去重处理后得到网络故障场景的词表。为词表中的每个词初始化一个低纬向量空间表示(初始词向量)，得到初始化词表，则该初始化词表可以表示为n*d的二维矩阵，该二维矩阵表示将词表中的n个词语映射到d维分布向量空间，即每个词语对应一个d维的初始词向量表示。

表1

节点名称信息	节点分词结果
		格式化失败	['失败','格式化']
联机设定失败	['联机','失败','设定']

表1为示例性给出的分词表示。如表1，给定了2个样例节点，每个节点的名称由可分词序列组成，将每个节点名称分词处理后得到的词进行整合、去重等处理，即可构成一个词表。之后每个节点低纬空间的向量表示将被表示为词表的multi-hot向量，即向量表示的维度与词表大小保持一致，节点覆盖的词为1，未覆盖的词为0，具体如表2所示的节点初始化表示：

表2

节点名称信息	['失败','格式化','联机','设定']
		格式化失败	[1,1,0,0]
联机设定失败	[1,0,1,1]

由于每个告警信息具有一定的文档说明信息，包括语义化的可能原因，依赖设备等。在获得初始化词表之后，使用非结构化文档表述对初始化词表进行端对端的预训练提取语义信息。具体地，对词表进行语义层面的预训练以优化词的向量表示包括：

针对每个节点对应的文档描述，遍历词表中的词，提取文档描述覆盖到的词，将文档描述覆盖词的初始向量表示与节点名称信息包含词的初始向量表示拼接成组合向量；

然后对该组合向量进行预训练以优化组合向量，使组合向量中每个词的向量表示之间关联性更强，从优化组合向量中提取获得词的优化后向量表示。这样通过对表示句子的组合向量的优化过程间接地实现了对初始词向量的优化过程以获得词的优化后向量表示，组成优化词表。

实施例中，采用skip-gram、CBOW等无监督的词向量算法对组合向量进行预训练以优化组合向量，以此使得节点的向量表示能够捕获到文档中可能存在的语义信息，并将节点的向量表示的维度从词表的大小进一步缩小到指定维度，进而获得词间可能存在的共现关系。语义将词表中所有词的向量表示作为预训练模型的输入，以表3的节点对应的文档描述作为监督信号，最大化单个节点对应的文档描述中共同出现的词表中的词，即每一行的下划线标注部分，得到优化后词表中各个词的向量表示。

表3节点文档描述

在获得优化词表的基础上，可以根据优化词表中词的优化后向量表示构建网络知识图谱中节点的初始向量表示，包括：对节点名称信息包含词的优化后向量表示进行求平均、取最大值或进行多层感知机操作等，得到节点的初始向量表示。也就是对每个节点通过聚合其覆盖词的组合向量表示作为初始向量表示。聚合方式可通过各种函数实现，如平均值、最大值、多层感知机等。得到的初始向量表示直接可以作为图神经网络的输入，以训练图神经网络参数和优化节点的向量表示。

步骤3，构建实现自动编码和解码的图神经网络，以节点的初始向量表示作为图神经网络的输入，以解码得到的重构图作为输出，根据重构图与输入图之间的距离值、编码得到的节点的向量表示分布与正态分布的散度值构建损失函数，利用损失函数更新图神经网络参数和优化节点的向量表示。

实施例中，构建的图神经网络及能够实现节点的向量表示的优化，还能够实现根据节点的向量表示重构图，通过重构图上的边作为监督信息来优化编码过程参数，同时通过训练各个节点的向量表示捕获图结构信息，以获得节点的优化后向量表示，该节点的优化后向量表示同时包含了语义信息和图结构信息，用于网络故障关联规则的计算。因此，所述图神经网络包括由图卷积网络构建的编码器，用于编码节点的向量表示，获得节点的优化后向量表示；

还包含用于生成重构图的解码器，该解码器中通过计算两两节点之间存在边的概率来生成重构图，以来进行链路预测。

其中，编码器通过以下过程实现对节点的向量表示的编码：

首先，利用第一图卷积网络对输入的节点特征矩阵X和为输入图的邻接矩阵A进行图卷积操作，获得编码的节点向量表示μ：

μ＝GCN_μ(X,A)

然后，利用第二图卷积网络对输入的节点特征矩阵X和为输入图的邻接矩阵A进行图卷积操作，获得编码的节点向量表示的方差σ：

logσ＝GCN_σ(X,A)

最后，根据节点向量表示μ和节点向量表示的方差σ构建正态分布，从正态分布中采集点来编码得到节点的优化后向量表示：

其中，GCN_μ(·)表示用于计算节点向量表示μ的第一图卷积网络，GCN_σ(·)表示用于计算节点向量表示的方差σ的第二图卷积网络，q(Z|X,A)为优化后向量表示，

表示从节点向量表示的均值μ和节点向量表示的方差σ组成的正态分布中的采集值，i表示采集值的索引，与输入节点个数保持一致，z_i表示单个节点的向量表示，Z表示所有节点向量表示矩阵。

上述用于计算节点的向量表示均值和方差的第一图卷积网络和第二图卷积网络被定义为：

其中，

值得注意的是，GCN_μ(X,A)和GCN_σ(X,A)共享初始网络参数W₀，但各自的网络参数W₁不同，采样变量这一步和变分自编码器一样，使用重参数技巧。

解码器生成重构图的过程为：

首先，根据节点的优化后向量表示计算两节点之间存在连边的概率值p(A_ij＝1|z_i,z_j)：

然后，依据该概率值p(A_ij＝1|z_i,z_j)生成重构图：

其中，sigmoid(·)表示sigmoid函数，z_i,z_j表示第i个节点的优化后向量表示和第j个节点的优化后向量表示，A_ij＝1表示第i个节点和第j个节点之间存在连边，p(A_ij|z_i,z_j)表示第i个节点和第j个节点之间的连边概率，当存在连边时，p(A_ij|z_i,z_j)＝p(A_ij＝1|z_i,z_j)，当不存在连边时，p(A_ij|z_i,z_j)＝0，p(A|Z)表示在已知所有节点现在的向量表示的情况下，计算得到的节点间可能存在连接关系的概率。

生成重构图的过程中，是计算节点间存在关联的可能性，使用所有节点的优化向量表示两两计算关联的可能性之后形成的n*n矩阵，计算方式为，矩阵中每一元素，都是横纵坐标对应节点的向量表示通过关联度函数后计算出来的数值，值越大，表示这两个节点之间存在边的概率越大，取值范围为[0,1]。该连边作为监督信号中，若边存在值为1，不存在则为0，然后再利用该监督信号对节点的向量表示进行优化。

实施例中，构建的损失函数L为：

L＝E_q(Z|X,A)[logp(A|Z)]-KL[q(Z|X,A)||p(Z)]

其中，E_q(Z|X,A)[logp(A|Z)]为交叉熵函数，作为生成图和原始图之间的距离度量。p(Z)＝∏_iN(z_i|0,I)，表示均值为0和方差为1组成的正态分布中的采集值，KL[·]表示散度函数，计算节点表示向量分布和正态分布的散度。

该损失函数L既包含了重构图和输入图之间的距离度量，还包括了节点表示向量分布和正态分布的散度，根据该损失函数L可以不断优化图神经网络参数，还能够使节点不断捕获图上可能在的图结构信息(即当两个节点相连时，即表明两个节点相似，也就是两个节点可能存在连边关系)，以优化节点的向量表示，进而获得节点的优化后向量表示，根据该节点的优化后向量表示可以拆分得到进一步优化的词语的向量表示，将该词语的进一步优化向量表示可以组成进一步优化词表。根据这个进一步优化词表，可以构建任意一个节点的优化后向量表示。

步骤4，根据节点的优化后向量表示，计算任意两个告警节点的相似度，依据该相似度值筛选获得网络故障关联规则并输出。

在获得进一步优化词表后，针对某个告警信息，根据进一步优化词表和节点名称信息，采用聚合方式构建节点的优化后向量表示，依据该节点的优化后向量表示计算两个告警节点的相似度，依据该相似度值筛选获得网络故障关联规则并输出。具体过程为：首先根据节点的优化后向量表示，计算任意两个告警节点的相似度，然后根据相似度阈值，筛选出相似度大于相似度阈值的对应的告警节点对，按相似度从高到低进行排序，在告警节点对之间建立关联规则并输出。

当然，也可以根据整个网络知识图谱中节点的优化后向量表示，计算任意两个告警节点的相似度，获得整个网络知识图谱对应的相似度矩阵，然后对该相似度矩阵中的相似度值进行降序排序，并提取较为相似的前n条相似度值对应的关联规则作为结果输出。

当然，还可以先给定某个告警节点的筛选限制条件，例如以告警信息的几邻域范围为筛选限制条件，首先根据诗选限制条件，从网络知识图谱中获得候选告警节点，然后计算告警节点与候选告警节点之间的相似度，该相似度作为告警节点与候选告警节点存在关联的概率，并将概率大于相似度阈值的结果返回，即返回大于相似度阈值的至少1个相似度值对应的两个告警节点，在该两个告警节点之间建立关联规则并输出，然后依据该关联规则补全网络知识图谱，并还可以可视化输出补全的网络知识图谱。

实施例中，告警节点的相似度的计算方法可以为点积、参数化等，在此不受限制。

在知识图谱中，每个节点具有唯一的向量表示。而在网络故障场景中，已有规则无法覆盖到所有的点，因此无法挖掘到整张网络知识图谱上的规则。因此，本实施例提供的结合语义的网络故障关联规则生成方法采用术语的聚合向量表示来生成节点的向量表示后，整个词表都能得到充分的训练，从而更新网络知识图谱上的所有节点，更好的学习到节点间的相互关系。

在实际故障场景中，存在着大量的故障节点。如果采用传统的协作过滤或基于神经网络的one-hot方法来表示节点，则每个节点表示的维度与整张图上的总节点数保持一致，导致参数量过大。使用词表的方式来表示各个节点，每个节点的维度通常设定在16或32维这类相对较小的维度，同时这样只需要学习术语的向量表示，而不是学习节点的向量表示，能够显着减少参数数量。

总之，本实施例提供的一种结合语义的网络故障关联规则生成方法，首先通过词表构建网络节点的节点表示，然后通过图神经网络来优化节点的向量表示，依据节点的优化后向量表示计算相邻两个节点的相似度，以获得多条网络故障关联规则，该多条网络故障关联规则可以补全网络知识图谱中的连接关系。

实施例还提供了一种结合语义的网络故障检测方法，包括以下步骤：

利用上述结合语义的网络故障关联规则生成方法生成多条网络故障关联规则，利用该多条网络故障关联规则补全网络知识图谱；

当每一网络节点出现故障时，以故障节点作为初始节点，利用补全网络知识图谱搜索获得与故障节点相关的其他网络节点，能够预测给定故障节点最有可能关联的故障节点，实现网络故障的检测。

实施例提供的结合语义的网络故障检测方法根据补全的网络知识图谱能够检测到相关联的故障节点。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合语义的网络故障关联规则生成方法，其特征在于，包括以下步骤：

(1)以网络设备和告警信息作为节点，以网络设备之间的连接关系、网络设备与告警信息之间的产生关系，以及告警信息之间的触发关系作为连边，构建网络知识图谱；

(2)构建网络故障场景的词表，对词表进行语义层面的预训练以优化词的向量表示，根据词的优化后向量表示构建网络知识图谱中节点的初始向量表示；

(3)构建实现自动编码和解码的图神经网络，以节点的初始向量表示作为图神经网络的输入，以解码得到的重构图作为输出，根据重构图与输入图之间的距离值、编码得到的节点的向量表示分布与正态分布的散度值构建损失函数，利用损失函数更新图神经网络参数和优化节点的向量表示；

(4)根据节点的优化后向量表示，计算任意两个告警节点的相似度，依据该相似度值筛选获得网络故障关联规则并输出。

2.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，所述构建网络故障场景的词表包括：

提取网络知识图谱中每个节点名称信息，对所有节点名称信息进行分词后，对分词结果整合、去重处理后得到网络故障场景的词表。

3.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，所述对词表进行语义层面的预训练以优化词的向量表示包括：

针对每个节点对应的文档描述，遍历词表中的词，提取文档描述覆盖到的词，将文档描述覆盖词的初始向量表示与节点名称信息包含词的初始向量表示拼接成组合向量；

然后对该组合向量进行预训练以优化组合向量，从优化组合向量中提取获得词的优化后向量表示。

4.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，所述根据词的优化后向量表示构建网络知识图谱中节点的初始向量表示包括：

对节点名称信息包含词的优化后向量表示进行求平均、取最大值或进行多层感知机操作，得到节点的初始向量表示。

5.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，所述图神经网络包括由图卷积网络构建的编码器，用于编码节点的向量表示，获得节点的优化后向量表示；

还包含用于生成重构图的解码器，该解码器中通过计算两两节点之间存在边的概率来生成重构图。

6.如权利要求5所述的结合语义的网络故障关联规则生成方法，其特征在于，所述编码器通过以下过程实现对节点的向量表示的编码：

首先，利用第一图卷积网络对输入的节点特征矩阵X和为输入图的邻接矩阵A进行图卷积操作，获得编码的节点向量表示μ：

μ＝GCN_μ(X，A)

然后，利用第二图卷积网络对输入的节点特征矩阵X和为输入图的邻接矩阵A进行图卷积操作，获得编码的节点向量表示的方差σ：

logσ＝GCN_σ(X，A)

最后，根据节点向量表示μ和节点向量表示的方差σ构建正态分布，从正态分布中采集点来编码得到节点的优化后向量表示：

其中，GCN_μ(·)表示用于计算节点向量表示μ的第一图卷积网络，GCN_σ(·)表示用于计算节点向量表示的方差σ的第二图卷积网络，q(Z|X，A)为优化后向量表示，q(z_i|X，A)＝N(z_i|μ_i，diag(σ_i ²)，表示从节点向量表示的均值μ和节点向量表示的方差σ组成的正态分布中的采集值，i表示采集值的索引，与输入节点个数保持一致，z_i表示单个节点的向量表示，Z表示所有节点向量表示矩阵。

7.如权利要求5所述的结合语义的网络故障关联规则生成方法，其特征在于，所述解码器生成重构图的过程为：

首先，根据节点的优化后向量表示计算两节点之间存在连边的概率值p(A_ij＝1|z_i，z_j)：

然后，依据该概率值p(A_ij＝1|z_i，z_j)生成重构图：

其中，sigmoid(·)表示sigmoid函数，z_i，z_j表示第i个节点的优化后向量表示和第j个节点的优化后向量表示，A_ij＝1表示第i个节点和第j个节点之间存在连边，p(A_ij|z_i，z_j)表示第i个节点和第j个节点之间的连边概率，当存在连边时，p(A_ij|z_i，z_j)＝p(A_ij＝1|z_i，z_j)，当不存在连边时，p(A_ij|z_i，z_j)＝0，p(A|Z)表示在已知所有节点现在的向量表示的情况下，计算得到的节点间可能存在连接关系的概率。

8.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，构建的损失函数L为：

L＝E_q(Z|X，A)[logp(A|Z)]-KL[q(Z|X，A)||p(Z)]

其中，E_q(Z|X，A)[logp(A|Z)]为交叉熵函数，作为生成图和原始图之间的距离度量。p(Z)＝Π_iN(z_i|0，I)，表示均值为0和方差为1组成的正态分布中的采集值，KL[·]表示散度函数，计算节点表示向量分布和正态分布的散度。

9.如权利要求1所述的结合语义的网络故障关联规则生成方法，其特征在于，步骤(4)中，首先根据节点的优化后向量表示，计算任意两个告警节点的相似度，然后根据相似度阈值，筛选出相似度大于相似度阈值的对应的告警节点对，按相似度从高到低进行排序，在告警节点对之间建立关联规则并输出。

10.一种结合语义的网络故障检测方法，其特征在于，包括以下步骤：

利用权利要求1～9任一项所述的结合语义的网络故障关联规则生成方法生成多条网络故障关联规则，利用该多条网络故障关联规则补全网络知识图谱；

当网络节点出现故障时，以故障节点作为初始节点，利用补全网络知识图谱搜索获得与故障节点相关的其他网络节点，实现网络故障的检测。

Images