CN107741943B - 一种结合实体图像的知识表示学习方法及服务器 - Google Patents

Abstract

本发明公开一种结合实体图像的知识表示学习方法及服务器。其中，所述方法包括：根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示。本发明提供的结合实体图像的知识表示学习方法及服务器，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

Description

一种结合实体图像的知识表示学习方法及服务器

技术领域

本发明涉及人工智能技术领域，具体涉及一种结合实体图像的知识表示学习方法及服务器。

背景技术

随着社会飞速发展，我们已经进入信息爆炸的时代，每天都会有海量知识与信息产生。这些多源信息往往具有各种异质的形态，以文字或者图像等非结构化多模态的方式进行储存。而人工智能相关应用，如信息检索、问答系统等更需要结构化信息。随着用户对信息筛选的需求日益增加，如何从海量数据中挖掘并运用知识成为一个研究难题。

为了解决这个难题，知识图谱应运而生。知识图谱是一个结构化的知识储存数据库，它将世界上的具象事物(如人名、地名等专有名词)与抽象概念表示为实体，将实体之间的联系表示为关系。实体与实体之间的关系构成一张巨大的有向图，其中实体可以看作图中的节点，而关系则可以看作图中的边。在知识图谱中，知识常常以三元组的形式进行储存。例如，北京是中国的首都这个知识，在知识图谱中使用三元组(北京，是…首都，中国)进行表示与储存。知识图谱通过三元组的形式将知识结构化储存，被广泛运用于信息检索、问答系统和智能对话系统等知识驱动的人工智能任务中。在拥有知识图谱之后，我们需要在知识驱动的应用中使用知识，而知识表示是不可或缺的工具。知识表示学习基于分布式表示的思想，将实体与关系映射到低维语义向量空间中，很大程度上解决了计算复杂度高和数据稀疏等问题。但是，现有技术中的绝大多数知识表示学习主要知识图谱三元组自身的结构化信息，而忽略了实体图像具有的视觉信息。

因此，如何提出一种方法，能够将实体图像信息应用到知识表示学习中，以提高知识表示学习的准确性，成为业界亟待解决的重要课题。

发明内容

针对现有技术中的缺陷，本发明提供一种结合实体图像的知识表示学习方法及服务器。

一方面，本发明提出一种结合实体图像的知识表示学习方法，包括：

根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱三元组为预先获取的，并且包括所述实体。

另一方面，本发明提供一种服务器，包括：

获得单元，用于根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

构建单元，用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

处理单元，用于根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体。

本发明提供的结合实体图像的知识表示学习方法及服务器，由于能够根据实体图像获得与实体对应的实体图像在知识空间上的表示，并构建所述实体基于图像的表示，从而根据至少一组实体基于图像的表示和实体基于结构的表示以及预设的训练模型，获得实体的知识表示，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例结合实体图像的知识表示学习方法的流程示意图；

图2为本发明另一实施例结合实体图像的知识表示学习方法的流程示意图；

图3为本发明又一实施例结合实体图像的知识表示学习方法的流程示意图；

图4为本发明一实施例服务器的结构示意图；

图5为本发明另一实施例服务器的结构示意图；

图6为本发明又一实施例服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例结合实体图像的知识表示学习方法的流程示意图，如图1所示，本发明提供的结合实体图像的知识表示学习方法，包括：

S101、根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

具体地，服务器获取实体图像，所述实体图像可以通过大规模知识库或者图像数据库获取，也可以直接从互联网数据中获取；每个所述实体图像，都有对应的实体，对于一个所述实体，对应至少一个所述实体图像，所述服务器可以将所述实体与所述至少一个所述实体图像对应，并根据所述至少一个所述实体图像，获得每个与实体对应的实体图像在知识空间上的表示。其中，所述实体根据实际需要选定，获取的实体图像的数量根据实际情况设定，本发明实施例不做限定。

例如，对于实体猫，所述服务器可以从互联网数据中获取很多猫的图像，所述服务器可以将猫与多个猫的图像对应起来，并获得每个猫的图像的在知识空间上的表示。

S102、根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

具体地，所述服务器在获得每个所述与实体对应的实体图像在知识空间上的表示后，基于每个所述与实体对应的实体图像在知识空间上的表示、所述实体基于结构的表示，可以构建所述实体基于图像的表示。

例如：对于多个所述实体以及各自对应的实体图像，所述服务器采用注意力机制自动地选择信息量较高和质量较好的所述与实体对应的实体图像。所述注意力机制假设所述与实体对应的实体图像在知识空间上的表示越接近所述实体基于结构的表示时，所述与实体对应的实体图像的注意力值越高，所述注意力值通过公式

计算获得，其中，

表示与第k个实体对应的第i张实体图像的注意力值，

表示与第k个实体对应的第i张实体图像在知识空间上的表示，

表示第k个实体基于结构的表示，i为正整数，n为与第k个实体对应的实体图像的数量。所述第k个实体基于结构的表示可以通过随机初始化获得，也可以通过平移模型等预训练获得。所述服务器再根据公式

获得第k个实体基于图像的表示，其中，

表示第k个实体基于图像的表示。

S103、根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱三元组为预先获取的，并且包括所述实体。

具体地，所述服务器可以获得所述实体基于图像的表示和所述实体基于结构的表示，将所述实体基于图像的表示和所述实体基于结构的表示输入到所述训练模型中，结合知识图谱的三元组，经过训练即可获得所述实体的知识表示。其中，所述训练模型是预先设定的，所述所述知识图谱的三元组为预先获取的，并且包括所述实体。可理解的是，所述实体可以作为所述三元组中的头实体，也可以作为所述三元组中的尾实体。

例如，所述服务器在使用所述训练模型对所述实体进行训练时，利用最大间隔方法，通过最小化基于边际的评价函数学习所述三元组中的所述实体向量、所述关系向量以及所述训练模型中参数的表示。其中，所述实体向量、所述关系向量以及所述训练模型中参数的表示的初值可以通过随机初始化获得。所述基于边际的评价函数表示如下：

其中，γ为超参数，h表示所述三元组的中的头实体，t表示所述三元组中的尾实体，r表示所述三元组中的关系，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合。T′通过公式T′＝{(h′,r,t)|h′∈N}∪{(h,r,t′)|t′∈N}∪{(h,r′,t)|r′∈R}获得，其中，N表示所述三元组中所有实体的集合、R表示所述三元组中所有实体关系的集合，简而言之，所述负例三元组是在所述三元组中随机替换h、r或者t中任意一个后得到的，需要说明的是，所述负例三元组的集合中不包括任何一个所述三元组。所述超参数γ可以根据经验设定。

E(h,r,t)为基于平移模型假设设置的能量函数，所述能量函数表示如下：

E(h,r,t)＝α₁‖h_s+r-t_s‖+α₂‖h_I+r-t_s‖+α₃‖h_s+r-t_I‖+α₄‖h_I+r-t_I‖

其中，α₁,α₂，α₃，α₄为超参数，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；其中，所述三元组为预先获得的，并包括所述实体。可理解的是，所述实体可以作为所述三元组中的所述头实体，也可以作为所述尾实体。所述超参数α₁,α₂，α₃，α₄可以根据经验设定。

所述服务器在对所述实体的训练过程中，采用后向传播算法以及随机梯度下降算法，根据链式法则对所述训练模型中参数的表示进行更新。其中，所述后向传播算法，所述随机梯度下降算法，所述链式法则在所述训练过程中的应用为现有技术，此处不再赘述。

所述服务器在进行了预设数量的训练或者计算获得的L值不再发生变化时，停止对所述实体的训练，而最小的L值所对应的所述实体基于结构的表示和所述实体基于图像的表示即为所述实体的知识表示。其中，所述预设数量根据实际情况进行设定，本发明实施例不做限定。可理解的是，所述L值不再发生变化可以是L值的变化非常微小，在预设的变动范围之内。

本发明提供的结合实体图像的知识表示学习方法，由于能够根据实体图像获得与实体对应的实体图像在知识空间上的表示，并构建所述实体基于图像的表示，从而根据至少一组实体基于图像的表示和实体基于结构的表示以及预设的训练模型，获得实体的知识表示，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

图2为本发明另一实施例结合实体图像的知识表示学习方法的流程示意图，如图2所示，在上述实施例的基础上，进一步地，所述根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示包括：

S1011、构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；

具体地，所述服务器可以构建所述实体的数据集，所述数据集包括所述实体图像，所述实体图像可以通过大规模知识库或者图像数据库获取，也可以直接从互联网数据中获取；所述服务器在构建所述实体的数据集时，可以对所述实体图像进行预处理，所述预处理包括调整所述实体图像的尺寸，对所述实体图像的数量进行限制。

S1012、根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；

具体地，所述服务器基于预处理后的所述实体图像以及预设规则，获得每个与所述实体对应的所述实体图像的特征向量。其中，所述预设规则包括：所述服务器基于深度神经网络模型对所述预处理后的所述实体图像进行分类，将所述预处理后的实体图像与所述实体进行对应，获得每个所述与实体对应实体图像，所述实体对应至少一个所述实体图像；其中，所述深度神经网络模型可以为AlexNet模型，包括五层卷积层以及对应的非线性层和三层全连接层，使用了dropout防止过拟合技术和ReLU非线性层技术；所述服务器将所述与实体对应的实体图像通过所述基于深度神经网络模型获得的隐藏向量，作为所述与实体对应的实体图像的特征向量，例如获取所述AlexNet模型的深度神经网络的第二层全连接层之后的4096维输出的隐藏向量作为所述与实体对应的实体图像的特征向量。

S1013、根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。

具体地，所述服务器根据公式p_i＝M·f(img_i)，获得每个所述与实体对应的实体图像在知识空间上的表示，其中，p_i表示与所述实体对应的第i张实体图像在知识空间上的表示，M表示从图像空间到知识空间的映射矩阵，M的初值可以通过随机初始化设定，并在采用所述训练模型对所述实体进行训练的后向传播时进行学习和更新，img_i表示与所述实体对应的第i张实体图像，f(img_i)表示与所述实体对应的第i张实体图像的特征向量，i为正整数。

在上述各实施例的基础上，进一步地，所述预设规则包括：

基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得每个所述与实体对应的实体图像；

将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。

具体地，所述服务器基于深度神经网络模型对所述预处理后的所述实体图像进行分类，将所述预处理后的实体图像与所述实体进行对应，获得每个所述与实体对应实体图像，所述实体对应至少一个所述实体图像；其中，所述深度神经网络可以为AlexNet模型，包括五层卷积层以及对应的非线性层和三层全连接层，使用了dropout防止过拟合技术和ReLU非线性层技术；所述服务器将所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为所述与实体对应的实体图像的特征向量，例如获取所述基于AlexNet模型的深度神经网络的第二层全连接层之后的4096维输出的隐藏向量作为所述与实体对应的实体图像的特征向量。

图3为本发明又一实施例结合实体图像的知识表示学习方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，所述根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示包括：

S1021、根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；

具体地，所述服务器采用注意力机制自动地选择信息量较高和质量较好的所述与实体对应的实体图像。所述注意力机制假设所述与实体对应的实体图像在知识空间上的表示越接近所述实体基于结构的表示时，所述与实体对应的实体图像的注意力值越高，所述注意力值通过公式

计算获得，其中，

表示与第k个实体对应的第i张实体图像的注意力值，

表示与第k个实体对应的第i张实体图像在知识空间上的表示，

表示第k个实体基于结构的表示，i为正整数，n为与第k个实体对应的实体图像的数量。所述第k个实体基于结构的表示可以通过随机初始化获得。

S1022、根据各个与所述实体对应的所述实体图像在知识空间上的表示以及对应的所述实体图像的注意力值，构建所述实体基于图像的表示。

具体地，所述服务器根据公式

获得第k个实体基于图像的表示，其中，

表示第k个实体基于图像的表示，

表示与第k个实体对应的第i张实体图像在知识空间上的表示，

表示与第k个实体对应的第i张实体图像的注意力值，所述注意力值的具体获取方法参见步骤S1021，此处不再赘述。

在上述各实施例的基础上，进一步地，所述预设的训练模型包括能量函数和基于边际的评价函数：

所述能量函数表示如下：

E(h,r,t)＝α₁‖h_s+r-t_s‖+α₂‖h_I+r-t_s‖+α₃‖h_s+r-t_I‖+α₄‖h_I+r-t_I‖

其中，α₁,α₂，α₃，α₄为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；

所述基于边际的评价函数表示如下：

其中，γ为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包括任何一个所述三元组。

具体地，所述服务器基于平移模型假设设置能量函数，所述能量函数表示如下：

E(h,r,t)＝α₁‖h_s+r-t_s‖+α₂‖h_I+r-t_s‖+α₃‖h_s+r-t_I‖+α₄‖h_I+r-t_I‖

其中，α₁,α₂，α₃，α₄为超参数，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；其中，所述三元组为预先获得的，并包括所述实体。可理解的是，所述实体可以作为所述三元组中的所述头实体，也可以作为所述尾实体。所述超参数α₁,α₂，α₃，α₄可以根据经验设定。

所述基于边际的评价函数表示如下：

其中，γ为超参数，h表示所述三元组的中的头实体，t表示所述三元组中的尾实体，r表示所述三元组中的关系，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合。T′通过公式T′＝{(h′,r,t)|h′∈N}∪{(h,r,t′)|t′∈N}∪{(h,r′,t)|r′∈R}获得，其中，N表示所述三元组中所有实体的集合、R表示所述三元组中所有实体关系的集合，简而言之，所述负例三元组是在所述三元组中随机替换h、r或者t中任意一个后得到的，需要说明的是，所述负例三元组的集合中不包括任何一个所述三元组。所述超参数γ可以根据经验设定。

图4为本发明一实施例服务器的结构示意图，如图4所示，本发明提供的服务器，包括获得单元401、构建单元402和处理单元403，其中：

获得单元401用于根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；构建单元402用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；处理单元403用于根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体。

具体地，获得单元401获取实体图像，所述实体图像可以通过大规模知识库或者图像数据库获取，也可以直接从互联网数据中获取；每个所述实体图像，都有对应的实体，对于一个所述实体，对应至少一个所述实体图像，获得单元401可以将所述实体与所述至少一个所述实体图像对应，并根据所述至少一个所述实体图像，获得每个与实体对应的实体图像在知识空间上的表示。其中，所述实体根据实际需要选定，获取的实体图像的数量根据实际情况设定，本发明实施例不做限定。

构建单元402在获得每个所述与实体对应的实体图像在知识空间上的表示后，基于每个所述与实体对应的实体图像在知识空间上的表示、所述实体基于结构的表示，可以构建所述实体基于图像的表示。

处理单元403可以获得所述实体基于图像的表示和所述实体基于结构的表示，将所述实体基于图像的表示和所述实体基于结构的表示输入到所述训练模型中，结合知识图谱的三元组，经过训练即可获得所述实体的知识表示。其中，所述训练模型是预先设定的，所述所述知识图谱的三元组为预先获取的，并且包括所述实体。可理解的是，所述实体可以作为所述三元组中的头实体，也可以作为所述三元组中的尾实体。

本发明提供的服务器，由于能够根据实体图像获得与实体对应的实体图像在知识空间上的表示，并构建所述实体基于图像的表示，从而根据至少一组实体基于图像的表示和实体基于结构的表示以及预设的训练模型，获得实体的知识表示，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

图5为本发明另一实施例服务器的结构示意图，如图5所示，在上述实施例的基础上，进一步地，获得单元401包括预处理子单元4011、第一获得子单元4012和第二获得子单元4013，其中：

预处理子单元4011用于构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；第一获得子单元4012用于根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；第二获得子单元4013用于根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。

具体地，预处理子单元4011可以构建所述实体的数据集，所述数据集包括所述实体图像，所述实体图像可以通过大规模知识库或者图像数据库获取，也可以直接从互联网数据中获取；预处理子单元4011在构建所述实体的数据集时，可以对所述实体图像进行预处理，所述预处理包括调整所述实体图像的尺寸，对所述实体图像的数量进行限制。

第一获得子单元4012基于预处理后的所述实体图像以及预设规则，获得每个与所述实体对应的所述实体图像的特征向量。其中，所述预设规则包括：第一获得子单元4012基于深度神经网络模型对所述预处理后的所述实体图像进行分类，将所述预处理后的实体图像与所述实体进行对应，获得每个所述与实体对应实体图像，所述实体对应至少一个所述实体图像；其中，所述深度神经网络模型可以为AlexNet模型，包括五层卷积层以及对应的非线性层和三层全连接层，使用了dropout防止过拟合技术和ReLU非线性层技术；第一获得子单元4012将所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为所述与实体对应的实体图像的特征向量，例如获取所述AlexNet模型的深度神经网络的第二层全连接层之后的4096维输出的隐藏向量作为所述与实体对应的实体图像的特征向量。

第二获得子单元4013根据公式p_i＝M·f(img_i)，获得每个所述与实体对应的实体图像在知识空间上的表示，其中，p_i表示与所述实体对应的第i张实体图像在知识空间上的表示，M表示从图像空间到知识空间的映射矩阵，M的初值可以通过随机初始化设定，并在采用所述训练模型对所述实体进行训练的后向传播时进行学习和更新，img_i表示与所述实体对应的第i张实体图像，f(img_i)表示与所述实体对应的第i张实体图像的特征向量，i为正整数。

在上述各实施例的基础上，进一步地，所述预设规则包括：

基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得获得每个所述与实体对应的实体图像；

将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。

具体地，第一获得子单元4012基于深度神经网络模型对所述预处理后的所述实体图像进行分类，将所述预处理后的实体图像与所述实体进行对应，获得每个所述与实体对应实体图像，所述实体对应至少一个所述实体图像；其中，所述深度神经网络模型可以为AlexNet模型，包括五层卷积层以及对应的非线性层和三层全连接层，使用了dropout防止过拟合技术和ReLU非线性层技术；第一获得子单元4012将所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为所述与实体对应的实体图像的特征向量，例如获取所述基于AlexNet模型的深度神经网络的第二层全连接层之后的4096维输出的隐藏向量作为所述与实体对应的实体图像的特征向量。

图6为本发明又一实施例服务器的结构示意图，如图6所示，在上述各实施例的基础上，进一步地，构建单元402包括计算子单元4021和构建子单元4022，其中：

计算子单元4021用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；构建子单元4022用于根据各个与所述实体对应的所述实体图像在知识空间上的表示以及对应的所述实体图像的注意力值，构建所述实体基于图像的表示。

具体地，计算子单元4021采用注意力机制自动地选择信息量较高和质量较好的所述与实体对应的实体图像。所述注意力机制假设所述与实体对应的实体图像在知识空间上的表示越接近所述实体基于结构的表示时，所述与实体对应的实体图像的注意力值越高，所述注意力值通过公式

计算获得，其中，

表示与第k个实体对应的第i张实体图像的注意力值，

表示与第k个实体对应的第i张实体图像在知识空间上的表示，

表示第k个实体基于结构的表示，i为正整数，n为与第k个实体对应的实体图像的数量。所述第k个实体基于结构的表示可以通过随机初始化获得。

构建子单元4022根据公式

获得第k个实体基于图像的表示，其中，

表示第k个实体基于图像的表示，

表示与第k个实体对应的第i张实体图像在知识空间上的表示，

表示与第k个实体对应的第i张实体图像的注意力值，所述注意力值的具体获取方法参见步骤S1021，此处不再赘述。

在上述各实施例的基础上，进一步地，所述预设的训练模型包括能量函数和基于边际的评价函数：

所述能量函数表示如下：

E(h,r,t)＝α₁‖h_s+r-t_s‖+α₂‖h_I+r-t_s‖+α₃‖h_s+r-t_I‖+α₄‖h_I+r-t_I‖

其中，α₁,α₂，α₃，α₄为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；

所述基于边际的评价函数表示如下：

其中，γ为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包括任何一个所述三元组。

具体地，所述服务器基于平移模型假设设置能量函数，所述能量函数表示如下：

E(h,r,t)＝α₁‖h_s+r-t_s‖+α₂‖h_I+r-t_s‖+α₃‖h_s+r-t_I‖+α₄‖h_I+r-t_I‖

其中，α₁,α₂，α₃，α₄为超参数，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；其中，所述三元组为预先获得的，并包括所述实体。可理解的是，所述实体可以作为所述三元组中的所述头实体，也可以作为所述尾实体。所述超参数α₁,α₂，α₃，α₄可以根据经验设定。

所述基于边际的评价函数表示如下：

其中，γ为超参数，h表示所述三元组的中的头实体，t表示所述三元组中的尾实体，r表示所述三元组中的关系，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合。T′通过公式T′＝{(h′,r,t)|h′∈N}∪{(h,r,t′)|t′∈N}∪{(h,r′,t)|r′∈R}获得，其中，N表示所述三元组中所有实体的集合、R表示所述三元组中所有实体关系的集合，简而言之，所述负例三元组是在所述三元组中随机替换h、r或者t中任意一个后得到的，需要说明的是，所述负例三元组的集合中不包括任何一个所述三元组。所述超参数γ可以根据经验设定。

本发明提供的服务器的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

以上所描述的服务器实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种结合实体图像的知识表示学习方法，其特征在于，包括：

根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体；

所述预设的训练模型包括能量函数和基于边际的评价函数：

所述能量函数表示如下：

E(h，r，t)＝α₁||h_s+r-t_s||+α₂||h_I+r-t_s||+α₃||h_s+r-t_I||+α₄||h_I+r-t_I||

其中，α₁，α₂，α₃，α₄为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；

所述基于边际的评价函数表示如下：

其中，γ为超参数，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包括任何一个所述三元组。

2.根据权利要求1所述的方法，其特征在于，所述根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示包括：

构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；

根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；

根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。

3.根据权利要求2所述的方法，其特征在于，所述预设规则包括：

基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得每个所述与实体对应的实体图像；

将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。

4.根据权利要求1所述的方法，其特征在于，所述根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示包括：

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；

根据各个所述与实体对应的实体图像在知识空间上的表示以及每个所述与实体对应的实体图像的注意力值，构建所述实体基于图像的表示。

5.一种服务器，其特征在于，包括：

获得单元，用于根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

构建单元，用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

处理单元，用于根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体；

所述预设的训练模型包括能量函数和基于边际的评价函数：

所述能量函数表示如下：

E(h，r，t)＝α₁||h_s+r-t_s||+α₂||h_I+r-t_s||+α₃||h_s+r-t_I||+α₄||h_I+r-t_I||

其中，α₁，α₂，α₃，α₄为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；

所述基于边际的评价函数表示如下：

其中，γ为超参数，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包括任何一个所述三元组。

6.根据权利要求5所述的服务器，其特征在于，所述获得单元包括：

预处理子单元，用于构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；

第一获得子单元，用于根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；

第二获得子单元，用于根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。

7.根据权利要求6所述的服务器，其特征在于，所述预设规则包括：

基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得每个所述与实体对应的实体图像；

将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。

8.根据权利要求5所述的服务器，其特征在于，所述构建单元包括：

计算子单元，用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；

构建子单元，用于根据各个所述与实体对应的实体图像在知识空间上的表示以及每个所述与实体对应的实体图像的注意力值，构建所述实体基于图像的表示。

Images