CN112561064B - 基于owkbc模型的知识库补全方法 - Google Patents

Abstract

本发明涉及一种基于OWKBC模型的知识库补全方法，包括以下步骤：步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示;步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。本发明能够有效融合实体对应的图像信息和文本信息生成实体的嵌入表示，解决OOKB（Out‑Of‑Knowledge‑Base）实体问题，完成开放世界下的知识库补全。

Description

基于OWKBC模型的知识库补全方法

技术领域

本发明涉及一种基于OWKBC模型的知识库补全方法。

背景技术

近些年来出现了各种各样的知识库补全方法，如基于概率图的方法、基于路径的方法、基于表示学习的方法等，其中基于表示学习的方法是目前知识库补全比较活跃的研究领域。表示学习的目标是通过深度学习或者机器学习，提取出研究对象有效特征并且将其对应的语义信息表示为稠密低维的嵌入向量。知识表示学习主要是学习实体和关系的分布式嵌入。

已有的表示学习模型根据所使用的信息可以分为基于结构知识的表示学习方法和融入外部模态信息的表示学习方法。其中基于结构知识的表示学习方法主要包括：1)基于翻译/平移的知识图表示学习方法，如TransE、TransH、TransR；2)基于张量/矩阵分解的方法，如RESCAL、DisMult、ComplEx等模型；3)基于神经网络的表示学习模型，如DSKG、ConvE、ConvKB、CapsE等。这类方法，在训练时只考虑独立三元组的信息，易受显式存储知识的限制，从而导致知识补全的效果不稳定。与基于结构知识的表示学习模型相比，融入外部信息的表示学习方法更加稳定，主要在于这类模型在对实体建模时，在结构知识中加入知识库之外的属性、文本描述或图像等模态信息。这些模态信息不仅包括知识库中含有的知识，而且包括一些三元组难以描述的知识，因此其能丰富和扩充已有的知识库，提供更加丰富和多样的语义信息。现有的模型根据所使用的辅助信息可以分为：1)融入文本信息的表示学习模型，如AKRL模型、DKRL模型、SSP模型、TEKE模型和Veira等提出的WWV、PE-WWV和FeatureSum方法；2)融入图像的表示学习模型，如IKRL模型；3)融入多模态的表示学习模型，如MKBE模型和Mousselly等提出的基于多模态的翻译模型。

现有的知识表示学习方法在知识库补全工作上取得了显著的成功，但这些工作都基于一个封闭世界假设，即认为知识库是固定不变的，只能通过知识库中已存在的实体和关系去发现缺失的三元组。这就导致了基于封闭世界的知识库补全模型严重依赖于知识库的连通性，因此对于那些连通不良的实体，这些模型无法发挥其最优性能，对于新出现的实体即知识库之外的实体则无法生成对应的嵌入表示，只能重新训练模型。但事实是，现实世界的知识库发展得十分迅速，例如，DBPedia知识库在2015年10月到2016年4月增加了36340个新的实体，平均每天就会出现200个新的实体。显然那些需要频繁重新训练的模型是十分耗费精力。目前已有的针对开放世界知识库补全的方法，大多只用文本信息来编码这些新实体的嵌入表示，忽略了图像中所包含的丰富信息

发明内容

有鉴于此，本发明的目的在于提供一种基于OWKBC模型的知识库补全方法，解决OOKB(Out-Of-Knowledge-Base)实体问题，完成开放世界下的知识库补全。

为实现上述目的，本发明采用如下技术方案：

一种基于OWKBC模型的知识库补全方法，包括以下步骤：

步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；

步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；

步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示；

步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。

进一步的，所述步骤S1具体为：

设定知识库KB＝(E,R,T)

其，E是实体的集合，R是关系的集合，T＝{(h,r,t)}是三元组的集合；

使用TransE算法对知识库中实体和关系进行预训练，得到头实体、关系和尾实体的结构嵌入表示；

对于文本描述，使用WordVectors模型、AutoExtend模型或PV-DM模型对其进行预训练，得到文本描述对应的特征向量，将其作为实体对应的文本嵌入表示；

对于图像，用VGG神经网络对其进行预训练，得到每张图片的特征向量表示，然后使用若干图片特征向量的平均值或最大值或注意力相加值，作为实体对应的图像嵌入表示。

进一步的，所述基于翻译的多模态知识编码器包括多模态知识编码器和TransE模型。

进一步的，所述步骤S3具体为：

步骤S31:将预处理得到的实体对应的文本嵌入表示e_t和图像嵌入表示e_i，输入到MKE模块中得到实体基于多模态知识的编码e_multi；

步骤S32:将关系嵌入表示v_r和实体基于多模态的编码e_multi输入到TransE模型中，通过最小化损失函数，对实体和关系的嵌入表示进行训练，最终得到实体和关系的嵌入表示。

进一步的，所述多模态知识编码器包括基于GRU的多模态知识编码器GRU-MKE和基于门结构的多模态知识编码器Gate-MKE

进一步的，所述GRU-MKE编码器的输入为实体的文本嵌入表示和图像嵌入表示，其输出为实体基于多模态知识的编码，具体如下：

首先，将输入的文本嵌入表示

和图像嵌入表示/>

分别经过一个全连接层，得到降维后的文本嵌入表示/>

和图像嵌入表示/>

具体计算公式如(1)和(2)所示：

v_t＝e_t·W_t+b_t (1)

v_i＝e_i·W_i+b_i (2)

其中

为全连接层可训练的参数；

使用降维后的文本嵌入表示v_t和图像嵌入表示v_i计算重置门控G_r和更新门控G_u的状态；首先将文本嵌入表示v_t和图像嵌入表示v_i拼接，将其作为全连接层的输入；然后使用Sigmoid非线性函数将全连接层的输出映射到(0,1)区间，以此来得到门控信号；

重置门的计算过程如公式(3)所示，更新门的计算公式如(4)所示：

G_r＝σ([v_t；v_i]·W_r+b_r) (3)

G_u＝σ([v_t；v_i]·W_u+b_u) (4)

其中

和/>

分别为重置门全连接层的权重矩阵和偏参，/>

和/>

为更新门全连接层的权重矩阵和偏参，[；]表示拼接操作，σ表示Sigmoid激活函数。

将重置门G_r与输入的实体文本嵌入表示v_t进行一个哈达玛积，来确定文本嵌入表示需要过滤和保留的信息；然后将过滤后的文本嵌入表示与图像嵌入表示v_i进行一个拼接操作，经过一个线性变换，即右乘矩阵W_h，再将变换后的结果输入到双曲正切激活函数tanh中，得到候选隐藏状态的嵌入

计算过程如公式(5)所示

其中

为线性变换操作可训练的参数。

更新门用于控制文本嵌入表示中有多少信息被写入到候选当前隐藏状态表示中，G_u控制信号越接近1，表示被留下的信息越多，而越接近0则表示遗忘的越多；更新门的输出分别和文本嵌入表示以及候选隐藏状态的嵌入进行乘法操作，得到实体的隐藏层嵌入表示h，计算公式如(6)所示。

最后将得到的实体隐藏层嵌入表示h，经过一个全连接层，得到实体基于多模态知识的编码，计算公式如(7)所示。

e_multi＝h·W_e+b_e (7)。

其中

为全连接层可训练的参数。

进一步的，所述基于Gate的多模态知识编码器GRU-MKE输入为实体的文本嵌入表示和图像嵌入表示，输出为实体基于多模态知识的编码，具体为：

首先，将输入的实体的文本嵌入表示

和图像嵌入表示/>

分别经过一个全连接层，将它们映射到相同维度的空间中，得到降维后的文本嵌入表示/>

和图像嵌入表示/>

以便后续的融合操作；降维过程的计算公式如(8)和(9)所示：

v_t＝e_t·W_t+b_t (8)

v_i＝e_i·W_i+b_i (9)

其中

为全连接层可训练的参数；

然后利用降维后的文本嵌入表示和图像嵌入表示来获得控制门的状态；将文本嵌入表示v_t和图像嵌入表示v_i拼接，然后将拼接后的向量经过一个全连接层，将向量映射到M维空间中，最后经过一个非线性激活函数Sigmoid，将向量的每一维元素都映射到0到1之间；值越接近1，表示留下来的信息越多，值越接近0表示信息遗忘的越多；

控制门的计算公式如(10)所示。

z＝σ([v_t；v_i]·W_z+b_z) (10)

其中σ表示Sigmoid激活函数，[；]表示拼接操作，

为全连接层的映射矩阵，/>

表示偏参；控制门主要控制文本特征和图像特征到底有多少信息可以被用于生成实体的隐藏嵌入表示h_e，具体的计算公式如(11)所示；

h_e＝(1-z)*v_t+z*v_i (11)

其中(1-z)*v_t表示对文本嵌入表示进行选择和遗忘，z*v_i表示对图像嵌入表示进行选择和遗忘，(1-z)*v_t+z*v_i表示对选择后的文本嵌入表示和图像嵌入表示进行融合；

最后将获得的隐藏嵌入表示h_e经过一个线性变换，得到最终的实体基于多模态知识的编码

计算公式如(12)所示：

e_multi＝h_e·W_e+b_e (12)。

进一步的，所述多模态知识编码器训练使用实体结构嵌入表示e_s；最小化损失函数loss1来加速学习过程，计算公式如(13)所示：

对于输入的有效三元组(h,r,t)，实体和关系嵌入表示应满足h+r≈t，表示t是通过关系r连接的h的最近邻居；最小化距离函数d(h_multi+v_r,t_multi)＝||h_multi+v_r-t_multi||_1/2来学习包含文本和图像信息的实体嵌入以及关系的嵌入，损失函数的计算公式如(14)所示：

其中，γ＞0表示超参数，[x]₊等价于max{x,0}，T表示知识库中正确三元组的集合，T'为负例三元组，它是随机替换T中正例样本的头实体或尾实体来构造的，可以形式化为公式(15)：

T'＝{(h',r,t)|h'∈E\h}∪{(h,r,t')|t'∈E\t} (15)

基于翻译的多模态知识编码器在训练期间的损失函数为上述两部分损失之和，计算公式为(16)：

loss＝α·loss1+β·loss2 (16)

其中，α和β为权重参数，用于调节两部分损失的比重。

进一步的，所述解码器采用CapsE具体为：对于输入的三元组(h,r,t)，使用基于翻译的多模态知识编码器训练得到的实体和关系嵌入表示进行初始化，得到头实体基于多模态的嵌入表示h_multi，关系的结构嵌入表示v_r和尾实体基于多模态知识的嵌入表示t_multi，然后将它们按列拼接，输入到CapsE模型中训练；

CapsE模型的评分函数为公式(17)：

score(h,r,t)＝||capsnet(g([h_multi；v_r；t_multi]*Ω))|| (17)

其中capsnet表示胶囊网络，g表示非线性激活函数，*表示卷积操作，Ω表示卷积核的集合。训练过程中，使用自适应低阶矩估计优化器Adam优化器，损失函数的计算公式如(18)和(19)所示：

使用测试集对解码器训练得到的模型进行验证，最后完成知识库补全。

进一步的，所述验证采用链路预测实验，对于每个测试三元组，通过用知识库中的全部实体，去轮流替换测试三元组的头实体或者尾实体来构造负例三元组；然后运用训练好的模型对测试三元组和负例三元组进行评分，并将这些评分升序排序，得到三元组的排名；使用平均排名、平均倒数排名和前N名的命中率Hits@N，其中N取值为1,3和10，这三个指标来评估知识库补全的效果。

本发明与现有技术相比具有以下有益效果：

本发明能够有效融合实体对应的图像信息和文本信息生成实体的嵌入表示，解决OOKB(Out-Of-Knowledge-Base)实体问题，完成开放世界下的知识库补全。

附图说明

图1是本发明方法框架图；

图2是本发明一实施例中基于翻译的多模态知识编码器TransMKE架构图；

图3是本发明一实施例中基于GRU的多模态知识编码器GRU-MKE示意图；

图4是本发明一实施例中基于门结构的多模态知识编码器Gate-MKE示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于OWKBC模型的知识库补全方法，包括以下步骤：

步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；

步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；

步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示；

步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。

在本实施例中，预设E＝{e₁,e₂,...,e_n}，表示知识库中所有实体的集合，对应于知识图谱中所有的节点；R＝{r₁,r₂,...,r_m}，表示知识库中所有关系的集合。对应知识图谱中所有的边；triple＝(h,r,t)表示一个三元组，h表示头实体，r表示关系，t表示尾实体，其中h，t∈E，r∈R。一个三元组也称为一个事实或一个知识；知识库KB＝(E,R,T)，其中T＝{(h,r,t)}为三元组的集合；结构嵌入表示

文本嵌入表示/>

和图像嵌入表示

其中M，N，P表示嵌入的维度；基于结构知识的嵌入表示/>

给定一个知识库KB＝(E,R,T)，开放世界中的知识库补全主要是找到一组缺失的三元组T'，来补全知识库，其中/>

E'为实体超集：/>

在本实施例中，数据预处理，具体为：使用TransE算法对知识库中实体和关系进行预训练，得到头实体、关系和尾实体的结构嵌入表示；知识库中每一个实体都有一段文本描述和十张图像与其相对应；

对于文本描述，使用WordVectors模型、AutoExtend模型或PV-DM模型对其进行预训练，得到文本描述对应的特征向量，将其作为实体对应的文本嵌入表示；

对于图像，用VGG神经网络对其进行预训练，得到每张图片的特征向量表示，然后使用十张图片特征向量的平均值或最大值或注意力相加值，作为实体对应的图像嵌入表示。

在本实施例中，结合多模态知识编码器(Multimodal knowledge encoder，MKE)和翻译嵌入(Translating Embedding，TransE)提出了一种基于翻译的多模态知识编码器TransMKE。TransMKE的整体架构如图2所示。具体为：

首先将预处理得到的实体对应的文本嵌入表示e_t和图像嵌入表示e_i，输入到MKE模块中得到实体基于多模态知识的编码e_multi。

使用预训练得到的关系结构嵌入表示对关系嵌入表示v_r进行初始化，接着将关系嵌入表示v_r和实体基于多模态的编码e_multi输入到TransE模型中，通过最小化损失函数，对实体和关系的嵌入表示进行训练，最终得到实体和关系的嵌入表示。

优选的，在本实施例中，多模态知识编码器包括两种策略：基于GRU的多模态知识编码器GRU-MKE和基于门结构的多模态知识编码器Gate-MKE。

进参考图3,，所述GRU-MKE编码器的输入为实体的文本嵌入表示和图像嵌入表示，其输出为实体基于多模态知识的编码，具体如下：

首先，将输入的文本嵌入表示

和图像嵌入表示/>

分别经过一个全连接层，得到降维后的文本嵌入表示/>

和图像嵌入表示/>

具体计算公式如(1)和(2)所示：

v_t＝e_t·W_t+b_t (1)

v_i＝e_i·W_i+b_i (2)

其中

为全连接层可训练的参数；

使用降维后的文本嵌入表示v_t和图像嵌入表示v_i计算重置门控G_r和更新门控G_u的状态；首先将文本嵌入表示v_t和图像嵌入表示v_i拼接，将其作为全连接层的输入；然后使用Sigmoid非线性函数将全连接层的输出映射到(0,1)区间，以此来得到门控信号；

重置门的计算过程如公式(3)所示，更新门的计算公式如(4)所示：

G_r＝σ([v_t；v_i]·W_r+b_r) (3)

G_u＝σ([v_t；v_i]·W_u+b_u) (4)

其中

和/>

分别为重置门全连接层的权重矩阵和偏参，/>

和/>

为更新门全连接层的权重矩阵和偏参，[；]表示拼接操作，σ表示Sigmoid激活函数。

重置门和更新门是一个由0到1之间的数值组成的向量，反映了信息被保留或过滤的程度，例如，0表示将该位置对应的信息全部被过滤或遗忘，1表示将该位置对应的信息全部被保留。因此重置门和更新门可以控制一个输入数据的信息量。本发明使用重置门来控制文本嵌入有多少信息可以和图像嵌入进行融合。将重置门G_r与输入的实体文本嵌入表示v_t进行一个哈达玛积(Hadamardproduct)，来确定文本嵌入表示需要过滤和保留的信息。然后将过滤后的文本嵌入表示与图像嵌入表示v_i进行一个拼接操作，经过一个线性变换，即右乘矩阵W_h，再将变换后的结果输入到双曲正切激活函数tanh中，得到候选隐藏状态的嵌入

计算过程如公式(5)所示

其中

为线性变换操作可训练的参数。

更新门用于控制文本嵌入表示中有多少信息被写入到候选当前隐藏状态表示中，G_u控制信号越接近1，表示被留下的信息越多，而越接近0则表示遗忘的越多；更新门的输出分别和文本嵌入表示以及候选隐藏状态的嵌入进行乘法操作，得到实体的隐藏层嵌入表示h，计算公式如(6)所示。

最后将得到的实体隐藏层嵌入表示h，经过一个全连接层，得到实体基于多模态知识的编码，计算公式如(7)所示。

e_multi＝h·W_e+b_e (7)。

其中

为全连接层可训练的参数。

参考图4，在本实施例中，使用门控单元，来整合实体的文本特征和图像特征，基于Gate的多模态知识编码器GRU-MKE输入为实体的文本嵌入表示和图像嵌入表示，输出为实体基于多模态知识的编码，具体为：

首先，将输入的实体的文本嵌入表示

和图像嵌入表示/>

分别经过一个全连接层，将它们映射到相同维度的空间中，得到降维后的文本嵌入表示/>

和图像嵌入表示/>

以便后续的融合操作；降维过程的计算公式如(8)和(9)所示：

v_t＝e_t·W_t+b_t (8)

v_i＝e_i·W_i+b_i (9)

其中

为全连接层可训练的参数；

然后利用降维后的文本嵌入表示和图像嵌入表示来获得控制门的状态；将文本嵌入表示v_t和图像嵌入表示v_i拼接，然后将拼接后的向量经过一个全连接层，将向量映射到M维空间中，最后经过一个非线性激活函数Sigmoid，将向量的每一维元素都映射到0到1之间；值越接近1，表示留下来的信息越多，值越接近0表示信息遗忘的越多；

控制门的计算公式如(10)所示。

z＝σ([v_t；v_i]·W_z+b_z) (10)

其中σ表示Sigmoid激活函数，[；]表示拼接操作，

为全连接层的映射矩阵，/>

表示偏参；控制门主要控制文本特征和图像特征到底有多少信息可以被用于生成实体的隐藏嵌入表示h_e，具体的计算公式如(11)所示；

h_e＝(1-z)*v_t+z*v_i (11)

其中(1-z)*v_t表示对文本嵌入表示进行选择和遗忘，z*v_i表示对图像嵌入表示进行选择和遗忘，(1-z)*v_t+z*v_i表示对选择后的文本嵌入表示和图像嵌入表示进行融合；其中z和(1-z)是相关联的，即对于传进来的文本嵌入表示有多少被选择性遗忘，就有多少的图像嵌入表示被记录下来对其进行补充，从而保持一种比较恒定的状态。

最后将获得的隐藏嵌入表示h_e经过一个线性变换，得到最终的实体基于多模态知识的编码

计算公式如(12)所示：

e_multi＝h_e·W_e+b_e (12)。

优选的，在本实施例中，使用实体结构嵌入表示e_s来帮助多模态知识编码器训练；最小化损失函数loss1来加速学习过程，计算公式如(13)所示：

对于输入的有效三元组(h,r,t)，实体和关系嵌入表示应满足h+r≈t，表示t是通过关系r连接的h的最近邻居；最小化距离函数d(h_multi+v_r,t_multi)＝||h_multi+v_r-t_multi||_1/2来学习包含文本和图像信息的实体嵌入以及关系的嵌入，损失函数的计算公式如(14)所示：

其中，γ＞0表示超参数，[x]₊等价于max{x,0}，T表示知识库中正确三元组的集合，T'为负例三元组，它是随机替换T中正例样本的头实体或尾实体来构造的，可以形式化为公式(15)：

T'＝{(h',r,t)|h'∈E\h}∪{(h,r,t')|t'∈E\t} (15)

基于翻译的多模态知识编码器在训练期间的损失函数为上述两部分损失之和，计算公式为(16)：

loss＝α·loss1+β·loss2 (16)

其中，α和β为权重参数，用于调节两部分损失的比重。

在本实施例中，使用现有的基于结构知识的嵌入模型作为解码器，如ConvKB和CapsE。解码器的作用是提取三元组每一个维度上的全局嵌入特征并分析其内部的潜在语义特征，完成知识库补全。

优选的，解码器采用CapsE具体为：对于输入的三元组(h,r,t)，使用基于翻译的多模态知识编码器训练得到的实体和关系嵌入表示进行初始化，得到头实体基于多模态的嵌入表示h_multi，关系的结构嵌入表示v_r和尾实体基于多模态知识的嵌入表示t_multi，然后将它们按列拼接，输入到CapsE模型中训练；

CapsE模型的评分函数为公式(17)：

score(h,r,t)＝||capsnet(g([h_multi；v_r；t_multi]*Ω))|| (17)

其中capsnet表示胶囊网络，g表示非线性激活函数，*表示卷积操作，Ω表示卷积核的集合。训练过程中，使用自适应低阶矩估计优化器Adam优化器，损失函数的计算公式如(18)和(19)所示：

使用测试集对解码器训练得到的模型进行验证，最后完成知识库补全。

在本实施例中，补全模型的验证采用链路预测实验，对于每个测试三元组，通过用知识库中的全部实体，去轮流替换测试三元组的头实体或者尾实体来构造负例三元组；然后运用训练好的模型对测试三元组和负例三元组进行评分，并将这些评分升序排序，得到三元组的排名；使用平均排名、平均倒数排名和前N名的命中率Hits@N，其中N取值为1,3和10，这三个指标来评估知识库补全的效果。

在本实施例中，具体的知识库补全：将经过损失函数训练模型后得到高评估指标的模型之后，模型应用于知识库KB₂＝(E₂,R,T₂)，

遍历KB₂中所有实体和关系组成(h,r,？)和(？,r,t)的查询对，然后过滤掉那些已出现在T₂中的查询对，得到最终的查询对集；接着使用基于翻译的多模态知识编码器TransMKE，生成所有实体和关系的嵌入表示；然后将实体和关系的嵌入表示输入到解码器中，通过解码器的评分函数为每一个查询对下的候选实体评分，然后将候选实体的评分按升序排列，排名最前的实体即认为是当前查询对缺失的实体，然后将查询对和排名最前的实体组成完整的三元组，将其合并到知识库中，完成知识库的补全。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种基于OWKBC模型的知识库补全方法，其特征在于，包括以下步骤：

步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；

步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；

步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示；

步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全；

所述解码器采用CapsE具体为：对于输入的三元组(h,r,t)，使用基于翻译的多模态知识编码器训练得到的实体和关系嵌入表示进行初始化，得到头实体基于多模态的嵌入表示h_multi，关系的结构嵌入表示v_r和尾实体基于多模态知识的嵌入表示t_multi，然后将它们按列拼接，输入到CapsE模型中训练；

CapsE模型的评分函数为公式(17)：

score(h,r,t)＝||capsnet(g([h_multi；v_r；t_multi]*Ω))|| (17)

其中capsnet表示胶囊网络，g表示非线性激活函数，*表示卷积操作，Ω表示卷积核的集合；训练过程中，使用自适应低阶矩估计优化器Adam优化器，损失函数的计算公式如(18)和(19)所示：

使用测试集对解码器训练得到的模型进行验证，最后完成知识库补全。

2.根据权利要求1所述的基于OWKBC模型的知识库补全方法，其特征在于，所述步骤S1具体为：

设定知识库KB＝(E,R,T)

其中，E是实体的集合，R是关系的集合，T＝{(h,r,t)}是三元组的集合；

使用TransE算法对知识库中实体和关系进行预训练，得到头实体、关系和尾实体的结构嵌入表示；

对于文本描述，使用WordVectors模型、AutoExtend模型或PV-DM模型对其进行预训练，得到文本描述对应的特征向量，将其作为实体对应的文本嵌入表示；

对于图像，用VGG神经网络对其进行预训练，得到每张图片的特征向量表示，然后使用若干张图片特征向量的平均值或最大值或注意力相加值，作为实体对应的图像嵌入表示。

3.根据权利要求1所述的基于OWKBC模型的知识库补全方法，其特征在于，所述基于翻译的多模态知识编码器包括多模态知识编码器和TransE模型。

4.根据权利要求3所述的基于OWKBC模型的知识库补全方法，其特征在于，所述步骤S3具体为：

步骤S31:将预处理得到的实体对应的文本嵌入表示e_t和图像嵌入表示e_i，输入到MKE模块中得到实体基于多模态知识的编码e_multi；

步骤S32:将关系嵌入表示v_r和实体基于多模态的编码e_multi输入到TransE模型中，通过最小化损失函数，对实体和关系的嵌入表示进行训练，最终得到实体和关系的嵌入表示。

5.根据权利要求3所述的基于OWKBC模型的知识库补全方法，其特征在于，所述多模态知识编码器包括基于GRU的多模态知识编码器GRU-MKE和基于门结构的多模态知识编码器Gate-MKE。

6.根据权利要求5所述的基于OWKBC模型的知识库补全方法，其特征在于，所述GRU-MKE编码器的输入为实体的文本嵌入表示和图像嵌入表示，其输出为实体基于多模态知识的编码，具体如下：

首先，将输入的文本嵌入表示

和图像嵌入表示

分别经过一个全连接层，得到降维后的文本嵌入表示

和图像嵌入表示

具体计算公式如(1)和(2)所示：

v_t＝e_t·W_t+b_t (1)

v_i＝e_i·W_i+b_i (2)

其中

为全连接层可训练的参数；

使用降维后的文本嵌入表示v_t和图像嵌入表示v_i计算重置门控G_r和更新门控G_u的状态；首先将文本嵌入表示v_t和图像嵌入表示v_i拼接，将其作为全连接层的输入；然后使用Sigmoid非线性函数将全连接层的输出映射到(0,1)区间，以此来得到门控信号；

重置门的计算过程如公式(3)所示，更新门的计算公式如(4)所示：

G_r＝σ([v_t；v_i]·W_r+b_r) (3)

G_u＝σ([v_t；v_i]·W_u+b_u) (4)

其中

和

分别为重置门全连接层的权重矩阵和偏参，

和

为更新门全连接层的权重矩阵和偏参，[；]表示拼接操作，σ表示Sigmoid激活函数；

将重置门G_r与输入的实体文本嵌入表示v_t进行一个哈达玛积，来确定文本嵌入表示需要过滤和保留的信息；然后将过滤后的文本嵌入表示与图像嵌入表示v_i进行一个拼接操作，经过一个线性变换，即右乘矩阵W_h，再将变换后的结果输入到双曲正切激活函数tanh中，得到候选隐藏状态的嵌入

计算过程如公式(5)所示

其中

为线性变换操作可训练的参数；

更新门用于控制文本嵌入表示中有多少信息被写入到候选当前隐藏状态表示中，G_u控制信号越接近1，表示被留下的信息越多，而越接近0则表示遗忘的越多；更新门的输出分别和文本嵌入表示以及候选隐藏状态的嵌入进行乘法操作，得到实体的隐藏层嵌入表示h，计算公式如(6)所示:

最后将得到的实体隐藏层嵌入表示h，经过一个全连接层，得到实体基于多模态知识的编码，计算公式如(7)所示：

e_multi＝h·W_e+b_e (7)

其中

为全连接层可训练的参数。

7.根据权利要求5所述的基于OWKBC模型的知识库补全方法，其特征在于，基于Gate的多模态知识编码器GRU-MKE输入为实体的文本嵌入表示和图像嵌入表示，输出为实体基于多模态知识的编码，具体为：

首先，将输入的实体的文本嵌入表示

和图像嵌入表示

分别经过一个全连接层，将它们映射到相同维度的空间中，得到降维后的文本嵌入表示

和图像嵌入表示

以便后续的融合操作；降维过程的计算公式如(8)和(9)所示：

v_t＝e_t·W_t+b_t (8)

v_i＝e_i·W_i+b_i (9)

其中

为全连接层可训练的参数；

然后利用降维后的文本嵌入表示和图像嵌入表示来获得控制门的状态；将文本嵌入表示v_t和图像嵌入表示v_i拼接，然后将拼接后的向量经过一个全连接层，将向量映射到M维空间中，最后经过一个非线性激活函数Sigmoid，将向量的每一维元素都映射到0到1之间；值越接近1，表示留下来的信息越多，值越接近0表示信息遗忘的越多；

控制门的计算公式如(10)所示:

z＝σ([v_t；v_i]·W_z+b_z) (10)

其中σ表示Sigmoid激活函数，[；]表示拼接操作，

为全连接层的映射矩阵，

表示偏参；控制门主要控制文本特征和图像特征到底有多少信息可以被用于生成实体的隐藏嵌入表示h_e，具体的计算公式如(11)所示；

h_e＝(1-z)*v_t+z*v_i (11)

其中(1-z)*v_t表示对文本嵌入表示进行选择和遗忘，z*v_i表示对图像嵌入表示进行选择和遗忘，(1-z)*v_t+z*v_i表示对选择后的文本嵌入表示和图像嵌入表示进行融合；

最后将获得的隐藏嵌入表示h_e经过一个线性变换，得到最终的实体基于多模态知识的编码

计算公式如(12)所示：

e_multi＝h_e·W_e+b_e (12)。

8.根据权利要求5所述的基于OWKBC模型的知识库补全方法，其特征在于，所述多模态知识编码器训练使用实体结构嵌入表示e_s；最小化损失函数loss1来加速学习过程，计算公式如(13)所示：

对于输入的有效三元组(h,r,t)，实体和关系嵌入表示应满足h+r≈t，表示t是通过关系r连接的h的最近邻居；最小化距离函数d(h_multi+v_r,t_multi)＝||h_multi+v_r-t_multi||_1/2来学习包含文本和图像信息的实体嵌入以及关系的嵌入，损失函数的计算公式如(14)所示：

其中，γ＞0表示超参数，[x]₊等价于max{x,0}，T表示知识库中正确三元组的集合，T'为负例三元组，它是随机替换T中正例样本的头实体或尾实体来构造的，可以形式化为公式(15)：

T'＝{(h',r,t)|h'∈E\h}∪{(h,r,t')|t'∈E\t} (15)

基于翻译的多模态知识编码器在训练期间的损失函数计算公式为(16)：

loss＝α·loss1+β·loss2 (16)

其中，α和β为权重参数，用于调节两部分损失的比重。

9.根据权利要求1所述的基于OWKBC模型的知识库补全方法，其特征在于，所述验证采用链路预测实验，对于每个测试三元组，通过用知识库中的全部实体，去轮流替换测试三元组的头实体或者尾实体来构造负例三元组；然后运用训练好的模型对测试三元组和负例三元组进行评分，并将这些评分升序排序，得到三元组的排名；使用平均排名、平均倒数排名和前N名的命中率Hits@N，其中N取值为1,3和10，这三个指标来评估知识库补全的效果。

Images