CN113190688B - 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于逻辑推理和图卷积的复杂网络链接预测方法及系统。该方法包括：构建复杂网络对应的知识图谱，并获取训练集；通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理，并通过映射获得关系置信度矩阵；基于关系置信度矩阵，通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布；根据网络迭代输出的关系权重矩阵和关系置信度矩阵计算第二概率分布；根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离；根据Wasserstein距离迭代更新两个网络得到链接预测模型；根据链接预测模型补全知识图谱。本发明链接预测效率高。

Description

基于逻辑推理和图卷积的复杂网络链接预测方法及系统

技术领域

本发明属于复杂网络分析技术领域，尤其涉及到一种基于逻辑推理和图卷积的复杂网络链接预测方法及系统。

背景技术

复杂网络是社交网络、引文网络、生物代谢网络、合作关系网络等真实网络的一种抽象，知识图谱中的问题大部分可以用网络形式表达，要构建完整的复杂网络可以与知识图谱相结合，通过链接预测去完成。链接预测任务是预测复杂网络中丢失的边，或者预测未来可能出现的边，而知识图谱存储着实体和实体间的复杂关系，包含大量由实体和实体间的关系构成的事实三元组，但在大规模的知识图谱中由于数据的稀疏性，知识是不完备的，存在很多隐含的知识还未被挖掘出来，需要进行链接预测任务。现有的复杂网络链接预测方法常采用R-GCN(Relational Graph Convolutional Network，关系图卷积网络)，但R-GCN的链接预测性能低。

发明内容

基于此，有必要针对上述技术问题，提供一种基于逻辑推理和图卷积的复杂网络链接预测方法及系统。

基于上述目的，第一方面，本发明提供一种基于逻辑推理和图卷积的复杂网络链接预测方法，包括：

构建复杂网络对应的初始知识图谱，基于所述初始知识图谱获取训练集；

通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵；

将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布；

获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布；

根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离；

根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，获取链接预测模型；

根据所述链接预测模型补全所述初始知识图谱。

优选地，所述根据带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵，包括：

构建带缺省规则的知识库；

基于所述带缺省规则的知识库，通过所述带缺省的一阶逻辑推理网络中包含的多类规则对所述训练集中的各所述实体对进行关系推理；

对通过多类规则推理成功的所述实体对进行置信度评估，获取所述实体对的关系置信度；

确定所述关系置信度小于预设的置信度阈值的所述实体对，并将所述实体对对应的缺省规则映射至连续空间中，获得关系置信度矩阵。

优选地，所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布，包括：

通过独热编码获取实体对应节点的子特征和邻居特征，累加得到特征矩阵；

根据节点间关系获取所述节点的邻接矩阵，拼接得到全局邻接矩阵；

将所有所述节点的所述特征矩阵、所述邻接矩阵以及所述全局邻接矩阵输入所述基于迭代注意力的图卷积神经网络进行迭代训练，获取各所述节点的关系权重矩阵；

将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布。

优选地，所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布，还包括：

获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的所有所述节点的所述邻接矩阵，将重新拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值，以根据所述损失值优化所述基于迭代注意力的图卷积神经网络；所述预设损失函数为：

其中，f_L为所述预设损失函数；

为初始的不完全边子集；G为三元组的集合；l为逻辑Sigmoid函数；f(w,e,r)为知识图谱中三元组g_i＝(w_i,e_i,r_i)分配的分数；y为二值函数。

优选地，所述将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布，包括：

获取初始关系注意力；

根据所述初始关系注意力和所述关系置信度矩阵获得第一层的关系注意力；

通过两阶的邻居节点对关系注意力进行更新，获得第二层或第二层以上的关系注意力；

根据所述初始关系注意力、各层的关系注意力获得第一概率分布；所述第一概率分布为：

其中，α_ij为所述初始关系注意力，是对节点z_i和z_j拼接之后与相应关系的注意力h_ij做点积，并通过LeakyReLU激活函数操作得到；

为第l层的关系注意力，第一层的关系注意力

是对初始关系注意力α_ij和关系置信度矩阵W_e做累加，并通过SoftMax函数操作得到，第二层或第二层以上的关系注意力

是在第一层的关系注意力

的基础上通过两阶邻居节点对关系注意力进行更新得到。

优选地，所述第二概率分布为：

其中，

为第t次迭代的所述关系置信度矩阵，W_i ^e为所述关系权重矩阵。

优选地，所述联合评价函数为：

其中，联合分布γ(x,y)与边缘分布p、q，满足的约束条件为：

y_n为最小值时，满足的约束条件为：

其中，x由γ(x,y)组成，且x∈Rn；b由p和q组成，且b∈Rm；θ为权重；A∈R^m×n。

优选地，所述根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，得到链接预测模型，包括：

检测所述Wasserstein距离是否小于预设距离阈值；

在所述Wasserstein距离小于预设距离阈值时，将所述实体对对应的缺省规则从所述带缺省的一阶逻辑推理网络中删除，并通过映射更新涉及所述缺省规则的所述实体对的关系置信度矩阵；

在Wasserstein距离大于等于预设距离阈值时，将所述实体对对应的所述缺省规则保留至所述带缺省的一阶逻辑推理网络中，并根据两个网络的输出更新所述关系置信度矩阵；

检测两个网络的更新迭代过程是否结束；

若结束，根据完成更新的两个网络得到链接预测模型。

优选地，更新后的所述关系置信度矩阵为：

其中，

为第t次迭代更新前的所述关系置信度矩阵；N为节点数量；l为损失函数；c是模仿参数。

第二方面，本发明提供一种基于逻辑推理和图卷积的复杂网络链接预测系统，包括：

图谱构建模块，用于构建复杂网络对应的初始知识图谱，基于所述初始知识图谱获取训练集；

置信度评估模块，用于通过带缺省的一阶逻辑推理网络对所述训练集中的各实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵；

第一参数获取模块，用于将所述关系置信度矩阵输入所述基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布；

第二参数获取模块，用于获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布；

距离评估模块，用于根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离；

迭代更新模块，用于根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，获取链接预测模型；

图谱补全模块，用于根据所述链接预测模型补全所述初始知识图谱。

本发明的基于逻辑推理和图卷积的复杂网络链接预测方法及系统，首先利用带缺省的一阶逻辑推理网络计算实体间关系的置信度，通过映射到连续空间得到含有更多信息的置信度矩阵，然后采用集中训练分散执行机制对基于迭代注意力的图卷积神经网络进行训练得到权重矩阵，并通过自身节点和局部邻居节点信息提取更加丰富的实体特征，学习多路径的实体间的相关性，最后利用Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络之间的参数，得到链接预测模型，进而利用链接预测模型预测实体间的隐含关系对知识图谱进行补全。本发明通过带缺省的一阶逻辑推理网络实现高效、准确的关系推理，进一步地通过基于迭代注意力的图卷积神经网络从少量标记的实例以及缺省逻辑结果中提取知识进行学习，将规则和网络的结构化信息转换为动态参数，继而完成复杂网络的链接预测任务，链接效率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的一流程图；

图2为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S20的一流程图；

图3为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S30的一流程图；

图4为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测方法的步骤S60的一流程图；

图5为本发明一实施例中基于逻辑推理和图卷积的复杂网络链接预测系统的一原理框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在一实施例中，如图1所示，提供一种基于逻辑推理和图卷积的复杂网络链接预测方法，包括如下步骤：

步骤S10，构建复杂网络对应的初始知识图谱，基于初始知识图谱获取训练集。

在步骤S10中，对复杂网络提取数据构建三元组(w,e,r)，根据三元组(w,e,r)构建初始知识图谱G＝(W,E,R)，其中，W和R均为实体集合、E为关系集合，进一步地对初始知识图谱进行预处理，获取包含N个实体对的训练集A＝{(w_i,r_i)},i＝1,2,…,N，其中，(w_i,r_i)为训练集中任一实体对。

步骤S20，通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理，获取各实体对的关系置信度，并通过映射得到关系置信度矩阵。

在本实施例中，DFLIN(First-order Logic Inference Network with Default，带缺省的一阶逻辑推理网络)将一阶逻辑推理与缺省推理结合，能够进行实体与实体之间的关系推理，以及非单调、少数例外的关系推理。

DFLIN的关系推理过程为：对于训练集中的每个实体对，首先基于知识库中的断言集合进行一阶逻辑推理，若一阶逻辑推理成功，则输出实体对的关系置信度。而若一阶逻辑推理失败，则确定实体对的关系无法使用一阶逻辑推理，且实体对为例外(即特殊情况)，进一步基于知识库中的缺省规则集合进行缺省逻辑推理，若缺省逻辑推理成功，则输出实体对的关系置信度，同时可以将推理实例所使用的规则添加至断言集合中，并使其优先级高。其中，根据DFLIN推理出的新的关系的置信度取值范围为α＝[0,1]，且根据一阶逻辑推理得到的关系置信度的初始值为α₁＝1，根据缺省逻辑推理得到的关系置信度的初始值为α₂＝0.5。

需要说明的是，若实体对通过缺省逻辑推理失败，则确定该实体对中的两个实体不存在关系，关系置信度为0。

作为优选，如图2所示，步骤S20包括以下步骤：

步骤S201，构建带缺省规则的知识库。

对初始知识图谱提取规则，构建带缺省规则的知识库κ＝(τ,D)，其中，τ为断言集合，包含用于结构化描述实体与实体之间关系的一阶逻辑规则，D为缺省规则集合，包含有限条缺省规则，也即，知识库包含断言集合和缺省规则集合。

步骤S202，基于带缺省规则的知识库，通过带缺省的一阶逻辑推理网络中包含的多类规则对训练集中的各实体对进行关系推理。

表1

其中，多类规则包括存在量词

全称量词

交(∧)、并(∨)、递推(&)和非

这六类规则。假设知识库是一个有穷非空的约束集S，这六类规则分别对应的逻辑规则运算如表1所示。

步骤S203，对通过多类规则推理成功的实体对进行置信度评估，获取实体对的关系置信度。

在本实施例中，对于训练集中的各实体对，若能通过步骤S202中的六类规则推理成功，则对实体对推理出的关系进行置信度评估，可以对实体对关系所采用的推理规则进行赋值，对于所采用的推理规则为一阶逻辑规则，确定该推理规则完全可信，置信度为1，且无需进行后续迭代。而对于所采用的推理规则为缺省规则，则确定该推理规则不完全可信，置信度小于1，且需要通过正则化使得在后续迭代中保留更多信息。

步骤S204，确定关系置信度小于预设的置信度阈值的实体对，并将实体对对应的缺省规则映射至连续空间中，获得关系置信度矩阵。

在本实施例中，预设的置信度阈值为1；连续空间

为部分实数连续域。

获取关系置信度小于1的实体对，并将实体对所采用的缺省规则R，将缺省规则R映射至连续空间

中，优选地，缺省规则L到连续空间

的映射Γ(Γ：

)可以表示为：

Γ(P_i)＝P(P_i) (1)

其中，P(P_i)为IAGCN(Graph Convolution Neural Network Based on IterativeAttention，基于迭代注意力的图卷积神经网络)得到的第i个节点P_i的节点概率，且节点概率的初始值取决于推理规则初始的置信度，可选地，节点概率的初始值为0.5；σ为Sigmoid激活函数，用于将推理规则L映射至实数域上，并将推理规则L的置信度归一化至[0,1]区间内，可以表示实体和实体间存在关系以及关系的置信度；a₀、a₁、b₀、b₁和b₂均为超参数。

也即，根据置信度小于1的所有推理规则L到连续空间

的映射Γ(P_i)，得到关系置信度矩阵W_e，其中，关系置信度矩阵W_e将作为IAGCN的可训练参数。

步骤S30，将关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布。

在本实施例中，集中训练分散执行机制和局部关系注意力机制均为IAGCN中的部分。

作为优选，如图3所示，步骤S30包括以下步骤：

步骤S301，通过独热编码获取实体对应节点的子特征和邻居特征，累加得到特征矩阵。其中，邻居特征包括与节点连接的两阶的邻居节点的子特征。

具体的，对于一个实体i，采用独热编码将实体i所对应的节点嵌入向量空间，获得该节点的子特征v_i，同样的，与该节点邻接的两阶的邻居节点也采用独热编码，获得两阶的邻居节点的子特征v_j1,v_j2,…,v_jn，将节点的子特征与两阶的邻居节点的子特征累加，得到该节点的特征矩阵V_i。

步骤S302，根据节点间关系获取节点的邻接矩阵，拼接得到全局邻接矩阵。

具体的，根据节点与节点间的关系形成节点的邻接矩阵adj，并将所有节点的邻接矩阵adj按照第一维度相加，可以得到全局邻接矩阵sum(adj)。其中，邻接矩阵adj可以表示为三维张量，第一维度为关系数量，第二维度和第三维度为节点数量。

步骤S303，将所有节点的特征矩阵、邻接矩阵以及全局邻接矩阵输入基于迭代注意力的图卷积神经网络进行迭代训练，获取各节点的关系权重矩阵。

在本实施例中，将所有节点的特征矩阵V_i、所有邻接矩阵adj以及全局邻接矩阵sum(adj)输入IAGCN进行训练，获得各节点的关系权重矩阵W_i ^e。作为优选，获取IAGCN一次迭代之后输出的所有节点的邻接矩阵，将重新拼接得到的新的全局邻接矩阵sum^*(adj)输入预设损失函数f_L计算损失值，以根据损失值优化IAGCN；其中，该预设损失函数f_L为：

公式(8)中，

为初始的不完全边子集；G为三元组的集合；l为逻辑Sigmoid函数；f(w,e,r)为知识图谱中三元组g_i＝(w_i,e_i,r_i)分配的分数，用于确定边e_i属于关系集合E的可能性；y为二值函数，其值为：

公式(9)中，当y＝1时，为正三元组样本，当y＝0时，为负三元组样本。在IAGCN迭代训练过程中，对于每个观测到的正三元组样本，通过对每个正三元组样本的实体集合W或实体集合R进行随机抽样，获取k个负三元组样本，进一步地基于正负三元组样本，使用预设损失函数f_L对IAGCN进行优化，使IAGCN的可观测的正三元组样本的评分高于负三元组样本。

步骤S304，将关系置信度矩阵输入至基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布。

作为优选，步骤S304包括以下步骤：

步骤一，获取初始关系注意力。其中，初始关系注意力可以表示为：

公式(10)，α_ij为初始关系注意力，是对节点z_i和节点z_j拼接之后与相应关系的注意力h_ij做点积，并通过LeakyReLU激活函数操作得到。

可选地，节点z_i和节点z_j间的注意力h_ij表示为：

h_ij＝(α₁×z_i)||(α₂×z_j1)||(α₃×z_j2) (11)

公式(11)中，α₁、α₂和α₃分别为根据注意力机制设置的第一权重、第二权重和第三权重，且α₁:α₂:α₃＝3:2:1；z_i、z_j1和z_j2分别为自身节点、一阶邻居节和二阶邻居节点；||为拼接。

节点z_i表示为：

公式(12)中，h_i为节点i的特征向量，也即节点z_i由节点i经线性变换得到。

步骤二，根据初始关系注意力和关系置信度矩阵获得第一层的关系注意力。其中，第一层的关系注意力可以表示为：

公式(13)中，

为第1层的关系注意力，是对初始关系注意力α_ij和关系置信度矩阵W_e做累加，并通过SoftMax函数操作得到。

步骤三，通过两阶的邻居节点对关系注意力进行更新，获得第二层或第二层以上的关系注意力。其中，第二层或第二层以上的关系注意力可以表示为：

公式(14)中，第二层或第二层以上的关系注意力

是在第一层的关系注意力

的基础上通过两阶的邻居节点对关系注意力进行更新得到。

步骤四，根据初始关系注意力、各层的关系注意力获得第一概率分布。

在本实施例中，该第一概率分布p_θ(y|x)可以表示为：

可理解的，对于每一种不同的关系，在利用DFLIN获得一个关系置信度矩阵W_e之后，将置信度矩阵W_e作为可训练参数输入到IAGCN模型中，IAGCN对局部邻居(即一阶邻居和二阶邻居)的信息进行聚合，从而进行关系推理，以获得关系注意力。

步骤S40，获取基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据关系权重矩阵和关系置信度矩阵计算第二概率分布。

在本实施例中，第二概率分布q(y|x)表示为：

公式(16)中，

为第t次迭代的关系置信度矩阵，W_i ^e为IAGCN输出的关系权重矩阵。

步骤S50，根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离。

在本实施例中，联合评价函数为：

公式(17)中，联合分布γ(x,y)与边缘分布p、q，满足的约束条件为：

y_n为最小值时，满足的约束条件为：

公式(19)中，x由γ(x,y)组成，且x∈Rn属于n维列向量；b为p和q组成，且b∈Rm属于m维向量；θ是权重；A∈R^m×n是一个m×n的矩阵，Ax＝b描述了所有的等式约束。

步骤S60，根据Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络，获取链接预测模型。

在本实施例中，链接预测模型(DA-GCN)包含DFLIN和IGACN两个部分，并通过Wasserstein距离迭代更新DFLIN和IGACN来表示实体间的关系。作为优选，如图4所示，步骤S60包括以下步骤：

步骤S601，检测Wasserstein距离是否小于预设距离阈值。

步骤S602，在Wasserstein距离小于预设距离阈值时，将实体对对应的缺省规则从带缺省的一阶逻辑推理网络中删除，并通过映射更新涉及缺省规则的实体对的关系置信度矩阵。

步骤S603，将实体对对应的缺省规则保留至带缺省的一阶逻辑推理网络中，并根据两个网络的输出更新关系置信度矩阵。

步骤S604，检测两个网络的更新迭代过程是否结束。

步骤S605，若结束，根据完成更新的两个网络得到链接预测模型。否则，两个网络进入下一轮的更新迭代过程。

具体的，在通过联合评价函数计算得到第t次迭代过程的Wasserstein距离y_n之后，检测y_n是否小于距离阈值σ。若y_n＜σ，则确定实体对对应的缺省规则为无效规则，从DFLIN中删除该条缺省规则以及该条缺省规则对应的关系边，通过映射Γ更新DFLIN中涉及该条缺省规则的实体对的关系置信度矩阵，再将关系置信度矩阵输入IAGCN。而若y_n≥σ，则确定实体对对应的缺省规则为有效规则，无需删除该条缺省规则，通过平衡DFLIN和IAGCN的输出来迭代更新IAGCN的输入参数W_e。其中，更新后的关系置信度矩阵表示为：

公式(20)中，

为第t次迭代更新前的关系置信度矩阵；N为节点数量；l为损失函数；c是模仿参数。

进一步的，在本实施例的一方面，检测迭代次数是否大于最大迭代次数，若迭代次数大于最大迭代次数，则确定两个网络的更新迭代过程结束。否则，两个网络进入下一轮的更新迭代过程。而在本实施例的另一方面，首先根据实体对和实体对的关系构建待评分的三元组，通过评分函数对三元组进行打分获得评分结果，并根据评分结果获得预测率；然后检测预测率是否大于预设预测率阈值，若预测率大于预设预测率阈值，则确定两个网络的更新迭代过程结束。否则，两个网络进入下一轮的更新迭代过程。其中，评分函数可以表示为：

公式(21)中，Re(w_e)为三元组(w,e,r)的关系特征向量的对称实部，Re(f)为对应的实体特征向量的实部，Im(w_e)为三元组(w,e,r)的关系特征向量的反对称虚部，Im(f)为对应的实体特征向量的虚部。

可理解的，链接预测模型可以结合DFLIN的高效、准确推理能力和IAGCN的丰富表达、较强推理能力这两种优点，基于Wasserstein距离使DFLIN和IAGCN不断相互迭代产生高质量推理结果。

步骤S70，基于链接预测模型补全初始知识图谱。

也即，基于链接预测模型获取实体间存在的隐含关系，进而利用实体间存在的隐含关系在初始知识图谱中添加对应的边。

上述实施例的基于逻辑推理和图卷积的复杂网络链接预测方法，首先利用带缺省的一阶逻辑推理网络计算实体间关系的置信度，通过映射到连续空间得到含有更多信息的置信度矩阵，然后采用集中训练分散执行机制对基于迭代注意力的图卷积神经网络进行训练得到权重矩阵，并通过自身节点和局部邻居节点信息提取更加丰富的实体特征，学习多路径的实体间的相关性，最后利用Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络之间的参数，得到链接预测模型，进而利用链接预测模型预测实体间的隐含关系对知识图谱进行补全。该实施例通过带缺省的一阶逻辑推理网络实现高效、准确的关系推理，进一步地通过基于迭代注意力的图卷积神经网络从少量标记的实例以及缺省逻辑结果中提取知识进行学习，将规则和网络的结构化信息转换为动态参数，继而完成复杂网络的链接预测任务，链接效率高。此外，该实施例的基于逻辑推理和图卷积的复杂网络链接预测方法，针对特定领域来更新带缺省规则的知识库，利用更新后的知识库进行学习，能够更好地满足更多领域、各类用户的需求。

下面采用预设的军事领域数据集来评估链接预测的性能，该军事领域数据集描述的是军事领域关于空地协同攻防对抗的知识，实体是各类型的军事武器装置，包括不同型号的战斗机、雷达等，关系包括实体间对抗、协同、指挥、组成以及部署等，并且设置了多条攻击及指挥规则并根据攻击及指挥规则对数据集的实体、关系和标签进行补充。

表2军事领域数据集

数据集	Taishi
		实体	12144
关系	19
		训练边	119526
验证边	5000
		测试边	5000

如表2所示的军事领域数据集，采用R-GCN、DistMult这两种模型的链接预测方法和本实施例的基于逻辑推理和图卷积的复杂网络链接预测方法，也即采用DA-GCN的链接预测方法进行性能评估测试，得到的链接预测结果如表3所示。

表3链接预测结果

由表3可以看出，DA-GCN的链接预测结果均明显高于其他R-GCN、DistMult模型。

此外，本发明实施例还提供一种基于逻辑推理和图卷积的复杂网络链接预测系统，该基于逻辑推理和图卷积的复杂网络链接预测系统与上述实施例中的基于逻辑推理和图卷积的复杂网络链接预测方法一一对应。如图5所示，该基于逻辑推理和图卷积的复杂网络链接预测系统包括图谱构建模块110、置信度评估模块120、第一参数获取模块130、第二参数获取模块140、距离评估模块150、迭代更新模块160和图谱补全模块170，各功能模块的详细说明如下：

图谱构建模块110，用于构建复杂网络对应的初始知识图谱，基于初始知识图谱获取训练集。

置信度评估模块120，用于通过带缺省的一阶逻辑推理网络对训练集中的各实体对进行关系推理，获取各实体对的关系置信度，并通过映射得到关系置信度矩阵。

第一参数获取模块130，用于将关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布。

第二参数获取模块140，用于获取基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据关系权重矩阵和关系置信度矩阵计算第二概率分布。

距离评估模块150，用于根据联合评价函数获取第一概率分布和第二概率分布之间的Wasserstein距离。

迭代更新模块160，用于根据Wasserstein距离迭代更新带缺省的一阶逻辑推理网络和基于迭代注意力的图卷积神经网络，获取链接预测模型。

图谱补全模块170，用于根据链接预测模型补全初始知识图谱。

进一步地，所述置信度评估模块120包括知识库构建单元、关系推理单元、置信度评估单元和映射单元，各功能单元的详细说明如下：

知识库构建单元，用于构建带缺省规则的知识库。

关系推理单元，用于基于带缺省规则的知识库，通过带缺省的一阶逻辑推理网络中包含的多类规则对训练集中的各实体对进行关系推理。

置信度评估单元，用于对通过多类规则推理成功的实体对进行置信度评估，获取实体对的关系置信度。

映射单元，用于确定关系置信度小于预设的置信度阈值的实体对，并将实体对对应的缺省规则映射至连续空间中，获得关系置信度矩阵。

进一步地，所述第一参数获取模块130包括第一矩阵获取单元、第二矩阵获取单元、关系权重评估单元和注意力评估单元，各功能单元的详细说明如下：

第一矩阵获取单元，用于通过独热编码获取实体对应节点的子特征和邻居特征，累加得到特征矩阵。

第二矩阵获取单元，用于根据节点间关系获取节点的邻接矩阵，拼接得到全局邻接矩阵。

关系权重评估单元，用于将所有节点的特征矩阵、邻接矩阵以及全局邻接矩阵输入基于迭代注意力的图卷积神经网络进行迭代训练，获取各节点的关系权重矩阵。

注意力评估单元，用于将关系置信度矩阵输入至基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布。

进一步地，所述第一参数获取模块130还包括模型优化单元，该模型优化单元的详细说明如下：

模型优化单元，用于获取基于迭代注意力的图卷积神经网络一次迭代之后输出的所有节点的邻接矩阵，将重新拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值，以根据损失值优化基于迭代注意力的图卷积神经网络。

进一步地，所述迭代更新模块160包括第一检测单元、第一更新单元、第二更新单元、第二检测单元和模型输出单元，各功能单元的详细说明如下：

第一检测单元，用于检测Wasserstein距离是否小于预设距离阈值。

第一更新单元，用于在Wasserstein距离小于预设距离阈值时，将关系所对应的缺省规则在带缺省的一阶逻辑推理网络中进行删除。

第二更新单元，在Wasserstein距离大于等于预设距离阈值时，将关系所对应的缺省规则在带缺省的一阶逻辑推理网络中进行保留，并更新关系置信度矩阵。

第二检测单元，用于检测两个网络的更新迭代过程是否结束。

模型输出单元，用于若结束，根据完成更新的两个网络得到链接预测模型。

本实施例的基于逻辑推理和图卷积的复杂网络链接预测系统用于执行如图1所示的基于逻辑推理和图卷积的复杂网络链接预测方法实施例的技术方案，其实现原理和技术效果类似，在处不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，包括：

构建复杂网络对应的军事领域知识图谱，基于所述军事领域知识图谱获取军事领域训练集；所述军事领域训练集描述的是军事领域关于空地协同攻防对抗的知识，实体是各类型的军事武器装置，包括不同型号的战斗机和雷达，关系包括所述实体间对抗、协同、指挥、组成以及部署，并且设有多条攻击和指挥规则；

通过带缺省的一阶逻辑推理网络对所述军事领域训练集中的各所述实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵；

将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布；该步骤包括：通过独热编码获取所述实体对应节点的子特征和邻居特征，累加得到特征矩阵；根据节点间关系获取所述节点的邻接矩阵，拼接得到全局邻接矩阵；将所有所述节点的所述特征矩阵、所述邻接矩阵以及所述全局邻接矩阵输入所述基于迭代注意力的图卷积神经网络进行迭代训练，获取各所述节点的关系权重矩阵；将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布；

获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布；

根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离；

根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，获取链接预测模型；

基于所述链接预测模型获取所述实体间存在的隐含关系，以补全所述军事领域知识图谱。

2.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述根据带缺省的一阶逻辑推理网络对所述军事领域训练集中的各实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵，包括：

构建带缺省规则的知识库；

基于所述带缺省规则的知识库，通过所述带缺省的一阶逻辑推理网络中包含的多类规则对所述军事领域训练集中的各所述实体对进行关系推理；

对通过多类规则推理成功的所述实体对进行置信度评估，获取所述实体对的关系置信度；

确定所述关系置信度小于预设的置信度阈值的所述实体对，并将所述实体对对应的缺省规则映射至连续空间中，获得关系置信度矩阵。

3.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布，还包括：

获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的所有所述节点的所述邻接矩阵，将拼接得到的新的全局邻接矩阵输入预设损失函数计算损失值，以根据所述损失值优化所述基于迭代注意力的图卷积神经网络；所述预设损失函数为：

其中，f_L为所述预设损失函数；

为初始的不完全边子集；G为三元组的集合；λ为逻辑Sigmoid函数；f(w,e,r)为知识图谱中三元组g_i＝(w_i,e_i,r_i)分配的分数；y为二值函数。

4.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布，包括：

获取初始关系注意力；

根据所述初始关系注意力和所述关系置信度矩阵获得第一层的关系注意力；

通过两阶的邻居节点对关系注意力进行更新，获得第二层或第二层以上的关系注意力；

根据所述初始关系注意力、各层的关系注意力获得第一概率分布；所述第一概率分布为：

其中，α_ij为所述初始关系注意力，是对节点z_i和z_j拼接之后与相应关系的注意力h_ij做点积，并通过LeakyReLU激活函数操作得到；

为第l层的关系注意力，第一层的关系注意力

是对初始关系注意力α_ij和关系置信度矩阵W_e做累加，并通过SoftMax函数操作得到，第二层或第二层以上的关系注意力

是在第一层的关系注意力

的基础上通过两阶邻居节点对关系注意力进行更新得到。

5.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述第二概率分布为：

其中，

为第t次迭代的所述关系置信度矩阵，W_i ^e为所述关系权重矩阵。

6.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述联合评价函数为：

其中，联合分布γ(x,y)与边缘分布p、q，满足的约束条件为：

y_n为最小值时，满足的约束条件为：

其中，x由γ(x,y)组成，且x∈Rn；b由p和q组成，且b∈Rm；θ为权重；A∈R^m×n。

7.如权利要求1所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，所述根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，得到链接预测模型，包括：

检测所述Wasserstein距离是否小于预设距离阈值；

在所述Wasserstein距离小于预设距离阈值时，将所述实体对对应的缺省规则从所述带缺省的一阶逻辑推理网络中删除，并通过映射更新涉及所述缺省规则的所述实体对的关系置信度矩阵；

在Wasserstein距离大于等于预设距离阈值时，将所述实体对对应的所述缺省规则保留至所述带缺省的一阶逻辑推理网络中，并根据两个网络的输出更新所述关系置信度矩阵；

检测两个网络的更新迭代过程是否结束；

若结束，根据完成更新的两个网络得到链接预测模型。

8.如权利要求7所述的基于逻辑推理和图卷积的复杂网络链接预测方法，其特征在于，更新后的所述关系置信度矩阵为：

其中，

为第t次迭代更新前的所述关系置信度矩阵；N为节点数量；λ为损失函数；c是模仿参数。

9.一种基于逻辑推理和图卷积的复杂网络链接预测系统，其特征在于，包括：

图谱构建模块，用于构建复杂网络对应的军事领域知识图谱，基于所述军事领域知识图谱获取军事领域训练集；所述军事领域训练集描述的是军事领域关于空地协同攻防对抗的知识，实体是各类型的军事武器装备，包括不同型号的战斗机和雷达，关系包括所述实体间对抗、协同、指挥、组成以及部署，并且设有多条攻击和指挥规则；

置信度评估模块，用于通过带缺省的一阶逻辑推理网络对所述军事领域训练集中的各所述实体对进行关系推理，获取各所述实体对的关系置信度，并通过映射得到关系置信度矩阵；

第一参数获取模块，用于将所述关系置信度矩阵输入基于迭代注意力的图卷积神经网络，并通过集中训练分散执行机制和局部关系注意力机制对所述基于迭代注意力的图卷积神经网络进行迭代训练，获取第一概率分布；

第二参数获取模块，用于获取所述基于迭代注意力的图卷积神经网络一次迭代之后输出的关系权重矩阵，根据所述关系权重矩阵和所述关系置信度矩阵计算第二概率分布；

距离评估模块，用于根据联合评价函数获取所述第一概率分布和所述第二概率分布之间的Wasserstein距离；

迭代更新模块，用于根据所述Wasserstein距离迭代更新所述带缺省的一阶逻辑推理网络和所述基于迭代注意力的图卷积神经网络，获取链接预测模型；

图谱补全模块，用于基于所述链接预测模型获取所述实体间存在的隐含关系，以补全所述军事领域知识图谱；

所述第一参数获取模块包括

第一矩阵获取单元，用于通过独热编码获取所述实体对应节点的子特征和邻居特征，累加得到特征矩阵；

第二矩阵获取单元，用于根据节点间关系获取所述节点的邻接矩阵，拼接得到全局邻接矩阵；

关系权重评估单元，用于将所有所述节点的所述特征矩阵、所述邻接矩阵以及所述全局邻接矩阵输入所述基于迭代注意力的图卷积神经网络进行迭代训练，获取各所述节点的关系权重矩阵；

注意力评估单元，用于将所述关系置信度矩阵输入至所述基于迭代注意力的图卷积神经网络，通过局部关系注意力机制输出第一概率分布。

Images