CN113204647A - 一种基于联合权重的编码解码框架知识图谱嵌入方法 - Google Patents

Abstract

哈本发明属于知识图谱技术领域，具体涉及一种基于联合权重的编码解码框架知识图谱嵌入方法。本发明采用带有抽样聚合的联合注意力权重图卷积网络编码器和ConvTransH解码器，旨在加强复杂关系中多端实体嵌入表示结果的区分性，并加入抽样方法来解决图谱嵌入过程中的规模过大问题。本发明解决了工控网络安全知识图谱中多端实体表示区分性差的问题，可以有效的增强工控网络安全知识图谱中多端实体表示区分性，提高工控网络安全知识图谱嵌入效果。

Description

一种基于联合权重的编码解码框架知识图谱嵌入方法

技术领域

本发明属于知识图谱技术领域，具体涉及一种基于联合权重的编码解码框架知识图谱嵌入方法。

背景技术

工业控制系统(Industial Control System)是对工业制造、生产、监控过程中采用的控制系统的总称,是一种具有过程控制功能的电子自动化系统。随着自动化领域的不断发展，工控系统使用计算机技术，互联网技术，电子技术，使工厂的生产和制造过程更加自动化、效率化、精确化，具有更好的可控性与可视性，并广泛的应用于交通控制，电力设施，石油石化，水利水电和核工业等行业。于此同时，由于“工业4.0”和“智能制造”的进一步发展，使得信息数据的传递、控制与共享业务都将会颠覆传统工业的生产流程、生产模式和管理方式。随着工业生产制造过程与互联网信息技术结合程度日益紧密的趋势，工业控制系统已经开始由封闭的网络、特有的协议和操作系统向开放的网络、通用的TCP/IP协议以及办公操作系统过渡。但在提高数据共享效率，改进企业管理水平，完善设备环境兼容性的同时，工控系统在使用中引入了黑客，病毒，木马等传统网络的安全风险,这使得工业控制系统具有较多的安全隐患。假若工业控系统或国家安全基础设施受到入侵，很有可能会造成工控系统无法正常工作，工业生产业务受到破坏，甚至还会对人民、社会和国家的安全造成巨大的威胁。

近年来，针对工业控制系统的攻击屡见不鲜，2003年1月，美国俄亥俄州的Davis-Besse核电站由于受到Slammer蠕虫病毒的攻击，导致工控系统的缓冲区溢出漏洞，使得工控系统无法正常工作，并且通过网络该病毒在设备之间传播；2006年8月，美国阿拉巴马州的Browns Ferry核电站遭受黑客攻击，使得该核电站的工控设备无法正常运作，某些工作机组甚至直接瘫痪；2008年3月，美国乔治亚州的Hatch核电厂由于受到攻击导致信息系统在更新的过程中，2号机组自动停机；2010年6月，作为第一个专门针对工控系统的计算机病毒，“Stuxnet”入侵了伊朗的Natanz核电站造成了大量离心机损毁；2011年9月，“Duqu”病毒作为“Stuxnet”的变种病毒，被用于窃取和传输工控数据；2012年5月，俄罗斯卡巴斯基实验室发现了对工控系统的危害更加严重的“火焰”病毒；2014年，黑客集团Dragonfly制造了“超级电厂”病毒，并通过利用该病毒可以完成收集，发送和监控计算机的配置信息的任务的功能特点，入侵了全球上千座发电站系统。现阶段，全球工业控制领域中所发生的工控系统攻击事件数量每年递增，所发生事件的规模越来越大，并且这些事件造成的影响也越来越严重。

针对存在安全隐患的工控系统，研究人员从系统和网络特征两个角度提出了工控系统脆弱性分析方法，欲以此提升系统的防御能力。如今，工控系统网络的安全防护技术主要方法包括入侵检测技术，工业防火墙，访问控制技术以及工控系统漏洞挖掘技术。其中入侵检测技术通过对工控网络和系统的特征进行学习，对网络中出现的异常流量进行检测；工业防火墙能够根据网络流量的规则，对网络流量进行过滤处理；访问控制技术是防止计算机硬件或者软件在未获得权限的情况下接入工控设备的信息安全技术。这些技术均根据工控系统的脆弱性进行系统外部的安全防护,但并不具备对工控网络安全的威胁进行分析、推演以及预测的能力，故本文试图运用建立安全知识图谱的方式，将工控网络中的部分要素处理为图谱中的实体，将剩余要素处理为图谱中的关系，并将实体与关系一同映射到同一低维向量空间中，获得合理的、包含大量语义信息以及结构信息的向量表示。进而运用这些向量表示进行运算，以达到通过用户部分操作来预测其是否对该工控网络构成威胁的目的，将工控网络入侵防患于未然。

发明内容

本发明的目的在于解决工控网络安全知识图谱中多端实体表示区分性差的问题，提供可以有效的增强工控网络安全知识图谱中多端实体表示区分性，提高工控网络安全知识图谱嵌入效果的一种基于联合权重的编码解码框架知识图谱嵌入方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：获取由N个实体节点构成的工控网络安全知识图谱，将工控网络安全知识图谱输入至带有抽样聚合的联合注意力权重图卷积网络编码器中进行编码，带有抽样聚合的联合注意力权重图卷积网络编码器中最后一层输出编码结果

步骤2：将编码结果

输入至ConvTransH解码器中，获取工控网络安全知识图谱中各三元组的头实体的嵌入向量编码结果e_s和尾实体的嵌入向量编码结果e_o；

步骤3：将e_s与e_o进行特定于三元组中关系类型的映射，得到工控网络安全知识图谱中各三元组的头实体经过特定于关系r的线性映射结果e_s⊥、尾实体经过特定于关系r的线性映射结果e_o⊥；

其中，w_r∈R^1×d表示针对于特定关系r的线性映射矩阵；符号丅为矩阵转置操作符；

步骤4：将e_s⊥与关系r嵌入的矩阵r进行拼接，得到ConvTransH解码器中卷积神经网络层的输入矩阵X_s,r；

X_s,r＝Concat(e_s⊥,r)

其中，Concat(·)表示连接操作；

步骤5：将X_s,r输入至ConvTransH解码器的卷积神经网络层中，对输入矩阵X_s,r进行卷积操作，并使用ReLU函数作为激活函数作用于卷积操作的结果之上，得到特征矩阵X_conv,s,r；

X_conv,s,r＝ReLU(σ₁(X_s,r))

其中，σ₁(·)表示卷积操作；

步骤6：将特征矩阵X_conv,s,r展开，转化为列向量形式作为ConvTransH解码器中全连接神经网络层的输入，ConvTransH解码器中全连接神经网络层输出最终特征提取结果X_解码output；

X_解码output＝tanh(sigma₂(vec(X_conv,s,r)))

其中，tanh(·)表示正切激活函数；sigma₂(·)则表示全连接神经网络，符号vec(·)则表示将矩阵展开，转化为列向量的操作。

本发明还可以包括：

所述的步骤1中带有抽样聚合的联合注意力权重图卷积网络编码器的编码过程具体为：

步骤2.1：初始化l＝1；带有抽样聚合的联合注意力权重图卷积网络编码器第一层的输入为

表示工控网络安全知识图谱中所有节点的嵌入向量表示构成的嵌入矩阵；

步骤2.2：计算第l层中N个实体节点间语义相似性权重矩阵

其中，矩阵

中的元素

表示带有抽样聚合的联合注意力权重图卷积网络编码器的第l层中，工控网络安全知识图谱的第i个实体节点与第j个实体节点的语义相似性权重值；

d表示每个实体的嵌入维度；

步骤2.3：计算第l层中工控网络安全知识图谱中两个相连实体间的得分权重矩阵

其中，符号⊙表示将两个矩阵按照对应位置元素进行点乘；矩阵α_weight∈R^N×N表示带有连接关系类型权重的邻接矩阵；

步骤2.4：将第l-1层嵌入矩阵

按照第l层得分权重矩阵

进行聚合，得到第l层嵌入矩阵

步骤2.5：对第l层嵌入矩阵

进行线性映射，得到带有抽样聚合的联合注意力权重图卷积网络编码器中第l层输出的编码结果；

其中，矩阵W∈R^d×d表示线性映射权重矩阵，用于对矩阵

施加线性映射操作；

步骤2.6：若l＜L，则令l＝l+1，返回步骤2.2；否则，输出带有抽样聚合的联合注意力权重图卷积网络编码器中最后一层的编码结果

本发明的有益效果在于：

本发明解决了工控网络安全知识图谱中多端实体表示区分性差的问题，可以有效的增强工控网络安全知识图谱中多端实体表示区分性，提高工控网络安全知识图谱嵌入效果。

附图说明

图1为本发明的总体技术路线图。

图2为本发明中带有抽样聚合的联合注意力权重图卷积网络编码器的示意图。

图3为本发明中ConvTransH解码器的示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

为了解决知识图谱嵌入问题中复杂关系多端实体嵌入表示效果差以及其不适用于大规模图谱嵌入任务的问题，本发明提出了一种基于联合权重的编码解码框架的知识图谱嵌入方法。本发明解决了工控网络安全知识图谱中多端实体表示区分性差的问题，可以有效的增强工控网络安全知识图谱中多端实体表示区分性，提高工控网络安全知识图谱嵌入效果。

本发明包括：向带有权重的图卷积神经网络(WGCN)的模型中引入注意力机制，并根据注意力值大小进行抽样聚合的编码器；联合TransH与ConvE的ConvTransH解码器。本发明旨在加强复杂关系中多端实体嵌入表示结果的区分性，并加入抽样方法来解决图谱嵌入过程中的规模过大问题。从两方面提高知识图谱嵌入表示的整体效果。总体路线图如图1，其具体实施方案如下：

(1)通过带有抽样聚合的联合注意力权重图卷积网络编码器进行编码。

为便于模型进行运算，可以采用矩阵的形式进行计算。具体计算过程如下：

其中

表示编码器第l层中N个实体节点间语义相似性权重矩阵，该矩阵中元素

表示编码器第l层中，工控网络安全知识图谱的第i个实体节点与第j个实体节点的语义相似性权重值。N表示工控网络安全知识图谱中所有实体数量。

表示编码器第l-1层中，工控网络安全知识图谱中所有节点的嵌入向量表示构成的嵌入矩阵，且d表示每个实体的嵌入维度。

该公式中，符号⊙表示将两个矩阵按照对应位置元素进行点乘，其中矩阵α_weight∈R^N×N表示带有连接关系类型权重的邻接矩阵。因此

则表示编码器第l层中计算得到的两个相连实体间的得分权重矩阵。根据得到的得分权重矩阵，按照其中相邻实体间的权重值进行邻居实体的信息聚合，具体公式如下：

其中，

是由上一层(l-1层)嵌入矩阵

按照编码器第l层中计算所得的得分权重矩阵

则权重值对邻居节点进行聚合后得到的。向量

作为嵌入矩阵

的第i行，表示编码器第l层中，工控网络安全知识图谱的第i个实体的嵌入向量表示结果。

由于在关系权重邻接矩阵中已经包含了自关系，所以在聚合过程中直接采用上述公式进行聚合，就实现了在聚合过程中，也同时完成了中心节点的更新操作。并在对中心节点完成对应的更新操作之后，对所得到的编码器第l层中工控网络安全知识图谱中所有节点的嵌入向量表示构成的嵌入矩阵按照如下方式进行线性映射,作为最终的编码器第l层输出的编码结果：

矩阵

中第i行表示编码器的第l层中第i个实体的嵌入编码结果。矩阵W∈R^d×d表示线性映射权重矩阵，用于对矩阵施加线性映射操作。

(2)ConvTransH解码器

通过下述公式将从编码器获得的三元组中头实体与尾实体嵌入表示结果进行特定于三元组中关系类型的映射，具体方法如下：

其中e_s,e_o∈R^1×d分别表示从编码器获得的三元组中头实体的嵌入向量编码结果、三元组中尾实体的嵌入向量编码结果。w_r∈R^1×d表示针对于特定关系类型的线性映射矩阵，用于对是提前如向量表示结果进行特定于关系类型的线性映射。符号丅为矩阵转置操作符。e_s⊥与e_o⊥则分别表示三元组中头实体经过特定于关系r的线性映射结果、三元组中尾实体经过特定于关系r的线性映射结果。

将经过映射后的头实体嵌入向量与关系嵌入向量拼接：

X_s,r＝Concat(e_s⊥,r)

其中Concat(·)表示连接操作，X_s,r表示三元组中经过特定于关系线性映射的头实体嵌入向量表示结果与关系向量的拼接结果。同时X_s,r也是解码器中卷积神经网络部分的输入矩阵。

将X_s,r输入至解码器的卷积神经网络层中，对输入矩阵X_s,r进行卷积操作，并使用ReLU函数作为激活函数作用于卷积操作的结果之上，得到特征矩阵X_conv,s,r，完成对三元组中头实体与关系的进一步特征提取。

X_conv,s,r＝ReLU(σ₁(X_s,r))

其中，X_conv,s,r表示通过卷积操作之后得到的特征提取结果，σ(·)表示卷积操作，ReLU(·)表示将ReLU函数作为激活函数，作用于卷积操作的结果之上。

在此之后将所得到的特征矩阵X_conv,s,r展开，转化为列向量形式作为解码器中全连接神经网络层的输入，解码器中全连接神经网络层输出最终特征提取结果X_解码output；

X_解码output＝tanh(sigma₂(vec(X_conv,s,r)))

其中，tanh(·)表示正切激活函数；sigma₂(·)则表示全连接神经网络，符号vec(·)则表示将矩阵展开，转化为列向量的操作。

最终根据解码器得到的对于三元组中经过特定于关系线性映射的头实体嵌入向量表示结果与关系向量拼接构成的矩阵的最终特征提取结果与三元组中经过特定于关系类型的线性映射后的尾实体嵌入向量表示结果的相似性来对三元组进行最终打分。最终得分函数定义如下：

p(s,r,o)＝X_解码output·e_o⊥

其中，p(s,r,o)表示以s为头实体、关系为r、以o为尾实体所构成的三元组的得分。通过对两者进行点积运算，对三元组完成最终得分计算。经验证，本发明解决了工控网络安全知识图谱中多端实体表示区分性差的问题，可以有效的增强工控网络安全知识图谱中多端实体表示区分性，提高工控网络安全知识图谱嵌入效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于联合权重的编码解码框架知识图谱嵌入方法，其特征在于，包括以下步骤：

步骤1：获取由N个实体节点构成的工控网络安全知识图谱，将工控网络安全知识图谱输入至带有抽样聚合的联合注意力权重图卷积网络编码器中进行编码，带有抽样聚合的联合注意力权重图卷积网络编码器中最后一层输出编码结果

步骤2：将编码结果

输入至ConvTransH解码器中，获取工控网络安全知识图谱中各三元组的头实体的嵌入向量编码结果e_s和尾实体的嵌入向量编码结果e_o；

步骤3：将e_s与e_o进行特定于三元组中关系类型的映射，得到工控网络安全知识图谱中各三元组的头实体经过特定于关系r的线性映射结果e_s⊥、尾实体经过特定于关系r的线性映射结果e_o⊥；

其中，w_r∈R^1×d表示针对于特定关系r的线性映射矩阵；符号

为矩阵转置操作符；

步骤4：将e_s⊥与关系r嵌入的矩阵r进行拼接，得到ConvTransH解码器中卷积神经网络层的输入矩阵X_s,r；

X_s,r＝Concat(e_s⊥,r)

其中，Concat(·)表示连接操作；

步骤5：将X_s,r输入至ConvTransH解码器的卷积神经网络层中，对输入矩阵X_s,r进行卷积操作，并使用ReLU函数作为激活函数作用于卷积操作的结果之上，得到特征矩阵X_conv,s,r；

X_conv,s,r＝ReLU(σ₁(X_s,r))

其中，σ₁(·)表示卷积操作；

步骤6：将特征矩阵X_conv,s,r展开，转化为列向量形式作为ConvTransH解码器中全连接神经网络层的输入，ConvTransH解码器中全连接神经网络层输出最终特征提取结果X_解码output；

X_解码output＝tanh(sigma₂(vec(X_conv,s,r)))

其中，tanh(·)表示正切激活函数；sigma₂(·)则表示全连接神经网络，符号vec(·)则表示将矩阵展开，转化为列向量的操作。

2.根据权利要求1所述的一种基于联合权重的编码解码框架知识图谱嵌入方法，其特征在于：所述的步骤1中带有抽样聚合的联合注意力权重图卷积网络编码器的编码过程具体为：

步骤2.1：初始化l＝1；带有抽样聚合的联合注意力权重图卷积网络编码器第一层的输入为

表示工控网络安全知识图谱中所有节点的嵌入向量表示构成的嵌入矩阵；

步骤2.2：计算第l层中N个实体节点间语义相似性权重矩阵

其中，矩阵

中的元素

表示带有抽样聚合的联合注意力权重图卷积网络编码器的第l层中，工控网络安全知识图谱的第i个实体节点与第j个实体节点的语义相似性权重值；

d表示每个实体的嵌入维度；

步骤2.3：计算第l层中工控网络安全知识图谱中两个相连实体间的得分权重矩阵

其中，符号⊙表示将两个矩阵按照对应位置元素进行点乘；矩阵α_weight∈R^N×N表示带有连接关系类型权重的邻接矩阵；

步骤2.4：将第l-1层嵌入矩阵

按照第l层得分权重矩阵

进行聚合，得到第l层嵌入矩阵

步骤2.5：对第l层嵌入矩阵

进行线性映射，得到带有抽样聚合的联合注意力权重图卷积网络编码器中第l层输出的编码结果；

其中，矩阵W∈R^d×d表示线性映射权重矩阵，用于对矩阵

施加线性映射操作；

步骤2.6：若l＜L，则令l＝l+1，返回步骤2.2；否则，输出带有抽样聚合的联合注意力权重图卷积网络编码器中最后一层的编码结果

Images