CN109753571A - 一种基于二次主题空间投影的场景图谱低维空间嵌入方法 - Google Patents

Abstract

本发明公开基于二次主题空间投影的场景图谱低维空间嵌入方法，包括步骤：输入场景图谱数据集的参数；输入正例并采样替换后反例；预处理得到实体的邻居集合、实体邻居数量；对实体的描述文本进行清洗得到文本描述集合；利用主题模型输出实体文本主题向量和实体邻居主题向量；利用翻译模型得到损失向量L；利用语义超平面构造方式和翻译模型结合的方式得到投影向量s；利用s将L投影到语义平面得到在投影平面的得分，并对得分乘以参数λ，加上L得到最终得分；集合正、反例得分残差，进行各层参数反向传播得到梯度，更新各层参数继续下一轮迭代。本发明首次公开融合了邻居上下文和实体描述信息多种异质信息，取得了场景图谱表示学习更好的效果。

Description

一种基于二次主题空间投影的场景图谱低维空间嵌入方法

技术领域

本发明涉及场景图谱表示学习领域，公开一种基于二次主题空间投影的场景图谱低维空间嵌入方法。

背景技术

场景图谱描述一幅图像中的物体以及物体之间关系的抽象的结构化表示。场景图谱的主要组成方式是头实体、关系、尾实体。场景图谱已经应用在很多人工智能领域，例如：图像智能问答、信息检索和个性化推荐等。但是在构建场景图谱的过程中，并不能确定出实体间所有的关系，所以场景图谱往往存在不完备的问题。

嵌入式的知识表示方法近年来吸引了很多研究者的关注，对实体和关系向量化后，能很方便的应用到图谱补全和实体相似度计算等任务中。受到word2vec的启发，Bordes等人提出了TransE翻译模型，将图谱中的关系看作平移向量，将关系向量看作头实体向量和尾实体向量的翻译。Wang等人在TransE的基础上提出了TransH翻译模型。TransH解决了TransE在处理复杂关系的局限性问题，通过将实体投影到构造的关系超平面，使得相同实体在不同的关系时有不同的表示，从而解决知图谱中一对多、多对一、多对多等问题。同时融合多种异质信息是知识表示学习的另外一个挑战，融合多种信息能有效解决图谱中数据稀疏问题。Xie提出了DKRL，一个融合了实体描述信息的联合模型，利用卷积神经网络提取实体描述的特征，然后利用TransE的目标函数进行学习。这类联合模型采用的评价方法为链接预测和三元组分类。Xiao提出了SSP，也是融合实体描述信息的模型；与DKRL模型不同的是，SSP模型利用实体的描述信息构建一个语义超平面，将TransE得到的损失向量投影到文本语义超平面上，从另外一个角度利用文本信息，达到了融合异质文本描述的效果。

链接预测指的是，给定训练集，通过将实体和关系映射为低维向量，以补全原先训练集中不存在的一些关系。测试方法是给定头实体、关系和尾实体中的两者，去测试三元组中未知的组成部分，例如给定(头实体，关系，？)、(？，关系，尾实体)或(头实体，？，尾实体)等三种情况，计算测例在所有替换头实体、尾实体或关系后得分的排名，最终获得三元组的分类。三元组的分类指的是，给定三元组(头实体，关系，尾实体)，通过模型的目标函数计算得分来判断是正例还是反例。

但是目前场景图谱表示学习方法存在不足，具体地：

(1)目前场景图谱表示学习没有考虑如何引入其他开放数据源提高表示学习的质量，特别是与图像有关的文本数据，以及文本与图像有关的实体数据。

(2)目前场景图谱表示学习没有考虑引入实体的邻居上下文，实体上下文蕴含了图谱中结构信息，实体描述文本与邻居上下文相结合的方式能有效的融合文本信息和邻居上下文信息等多种异质信息。

(3)对于融合多种异质信息的场景知识图谱，目前还没有有效的可靠性验证方法。本发明提出用知识图谱的链接预测和三元组分类应用于多种异质信息场景知识图谱表示学习。

发明内容

为了解决现有技术所存在的问题，本发明提出一种基于二次主题空间投影的场景图谱低维空间嵌入方法，该方法把场景图谱中的实体和关系，实体的描述文本，以及实体邻居进行对齐学习，运用得到的低维向量来进行图谱补全和三元组分类，从而在场景图谱的链接预测和三元组分类这两个任务上都取得了更好的效果。

本发明采用如下技术方案来实现：一种基于二次主题空间投影的场景图谱低维空间嵌入方法，包括以下步骤：

S1、输入场景图谱数据集的参数，包括三元组训练数据集K、实体集合E、关系集合R、最大迭代次数、实体和关系的向量维度；

S2、依次输入正例，通过采样替换后得到它的反例，初始化实体和关系向量；

S3、预处理得到每个实体e的邻居集合ε_n(e),得到实体邻居数量n；对实体的描述文本进行清洗，去除特殊字符、低频词和停用词，得到每个实体e的文本描述集合ε_d(e)；

S4、优选地，将实体e的邻居集合、文本描述集合输入到主题模型中，输出实体文本主题向量d_e和实体邻居主题向量n_e；

S5、优选地，利用翻译模型得到损失向量L；利用语义超平面构造方式和翻译模型结合的方式得到投影向量s；

S6、优选地，利用投影向量s将损失向量L投影到一个语义平面，得到在投影平面的得分；对投影平面的得分乘以参数λ，同时加上损失向量L，得到最终的得分；

S7、对每个正例重复步骤S3-S6，得到正例得分；对每个正例，分别替换头实体、关系和尾实体，采样得到反例，重复步骤S3-S6得到反例得分；

S8、通过目标函数集合正例得分和反例得分的残差，采用随机梯度下降的方法进行所述低维空间嵌入方法实施过程中各层参数的反向传播得到梯度，并更新各层参数，继续下一轮迭代。

与现有技术相比，本发明取得了如下技术效果：

1、针对实体描述联合场景图谱的问题，提出一种结合邻居上下文的新方法。该方法把场景图谱中的实体和关系，实体的描述文本，以及实体邻居进行对齐学习，运用得到的低维向量来进行图谱补全和三元组分类，从而在场景图谱的链接预测和三元组分类这两个任务上都取得了更好的效果。

2、本发明嵌入方法涉及到的模型包括翻译模型、主题模型，其中主题模型能提取文本中的主题分布。本发明的创新点包括引入实体的邻居上下文，设计了实体描述文本和邻居上下文结合的方式，引入的实体上下文蕴含了图谱中结构信息，实体描述文本与邻居上下文相结合的方式能有效的融合文本信息和邻居上下文信息等多种异质信息。得到实体和关系的表示后，用于链接预测和三元组分类。综上，本发明提出的方法融合了邻居上下文和实体描述信息多种异质信息，已验证其有效性，并且在实际应用中取得了更好的效果。

附图说明

图1为本发明的嵌入方法流程图；

图2为本发明中NMF主题模型的处理流程图；

图3为本发明中语义超平面构造方式与TransE翻译模型结合的流程图；

图4为本发明中评价方法之链接预测的流程图；

图5为本发明中评价方法之三元组分类的流程图。

具体实施方式

下面结合附图和实施例对本发明嵌入方法做进一步详细的描述，但本发明的实施方式不限于此。

本发明基于二次主题空间投影的场景图谱低维空间嵌入方法，首先根据TransE翻译模型对场景图谱中的实体和关系编码。本发明在这个步骤包括两种方式，分别是std和joint。两者的区别是文本和邻居的向量是采用预训练的方式，还是与翻译模型迭代进行。其次，以std为例，采用基于非负矩阵分解(NMF)的主题模型得到实体的主题向量；同时对于邻居的处理方式，采用本发明首次提出的对实体邻居上下文(与每个实体有关系存在的实体视作邻居上下文)，同样采用NMF主题模型进行向量化。之后采用本发明提出的两种结合方式对两种异质信息进行结合。最后，在新的损失函数基础上，得到场景图谱中实体向量、关系向量、实体描述主题向量、实体邻居上下文的主题向量的输出。利用得到的输出，采用链接预测和三元组分类两个任务对得到的向量的表示能力进行评价。

记输入的场景图谱为K，每个K中的三元组记为(h,r,t)，其中h表示头实体，t表示尾实体，r表示h和t之间的关系。同时记K中的实体集为E，关系集为R，d_h和d_t分别是利用主题模型对实体的描述文本进行学习得到的主题向量。n_h和n_t分别是利用主题模型对实体的邻居下上文的主题向量。这里对实体的邻居上下文的定义如下：一个实体的邻居上下文指的是和这个实体相连接的实体，这反应的是一种结构信息。给定一个实体e,实体上下文为与e相连接的尾实体和与e相连接的头实体。所以定义如下，头邻居ε_head(e)＝{h|(h,r,e)∈K}，尾邻居为ε_tail(e)＝{t|(e,r,t)∈K}。因此，一个实体的邻居上下文表示为ε_n(e)＝ε_head(e)∪ε_tail(e)。

在本实施例中，基于二次主题空间投影的场景图谱低维空间嵌入方法基本流程如图1所示，包括如下步骤：

S1、输入视觉三元组训练数据集K、实体集合E、关系集合R、最大迭代次数、实体和关系的向量维度。

S2、依次输入正例，通过采样替换后得到它的反例，初始化实体和关系向量。

S3、预处理得到每个实体e的邻居集合ε_n(e),得到实体邻居数量n。对实体的描述文本进行清洗，去除特殊字符、低频词和停用词，得到每个实体e的文本描述集合ε_d(e)。

S4、将步骤S3得到实体e的邻居集合、文本描述集合输入到NMF主题模型中，输出实体文本主题向量d_e和实体邻居主题向量n_e(即邻居上下文的主题向量)。

NMF主题模型输出实体文本主题向量和邻居上下文的主题向量，如图2，具体如下：

S41、输入每个实体对应的描述信息、最大迭代次数，确定文档主题数k，构造描述文档-词矩阵C、描述文档-主题矩阵S、主题-词矩阵W。其中矩阵C根据tf-idf的方式构造，随机初始化矩阵S和矩阵W。

S42、根据目标函数，采用SGD更新矩阵S和矩阵W，直到达到最大迭代次数，此时矩阵S即对应每个实体的主题向量。

S43、将每个实体的邻居上下文当作一个文档，重复步骤S41-S42，得到实体的邻居上下文主题向量。

S5、利用TransE翻译模型得到损失向量，记为L；利用语义超平面构造方式和TransE翻译模型结合的方式得到投影向量s。

邻居数量越多的实体，从邻居中能反应出的语义信息往往也很丰富。基于这个观点，引入实体邻居数量这一特征。如图3所示，语义超平面构造方式和TransE翻译模型结合的步骤包括：

S51、对于三元组(h,r,t),头实体h对应的文本主题向量为d_h，头实体h对应的邻居主题向量为n_h,相应地尾实体t对应的文本主题向量、邻居主题向量分别为d_t和n_t。采用一个超参数β来分别平衡头实体的文本主题向量和邻居主题向量的语义表示，公式如下：

s_h＝βd_h+(1-β)n_h (1)

类似的，平衡尾实体的文本主题向量和邻居主题向量的语义表示为：

s_t＝βd_t+(1-β)n_t (2)

S52、如果当前头实体h有较多的邻居，那么s_h的语义信息主要取决于邻居主题向量。反之，如果头实体h的邻居数量较少，那么s_h的语义信息主要取决于文本描述，即文本主题向量。所以超参数β的构造函数如下：

其中n表示实体的邻居数量,k和a分别是两个超参数。关于超参数β的构造方式的作用是为了达到超参数β随着邻居数量n的增加而减少。

S53、主题向量的每个维度的数值表示的是实体和当前主题的相关程度，因此最终投影向量s的构造函数同样采用SSP模型的构造方式，公式如下：

最后将TransE翻译模型得到的损失向量L投影到由投影向量s确定的超平面上得到L_sw，达到更好的区分正例和反例的作用。

L_sw＝|L-s^TLs| (5)

S54、邻居主题向量和文本主题向量能反映实体不同方面的语义信息，因此采用投影两次的方式，将由TransE翻译模型得到的损失向量先投影到邻居语义平面，接着再投影到文本语义平面。根据前文的分析，当前方法同样首先采用SSP模型的方式分别得到邻居语义平面的投影向量、文本语义平面的投影向量，其中s_d和s_n分别是文本描述语义超平面和邻居语义超平面的法向量：

然后将TransE翻译模型得到的损失向量L，依次投影。其中L_ds为投影到文本描述语义超平面的损失向量，L_sp为再次投影到邻居语义超平面的投影向量：

由于实体的描述文本并不总是和当前场景图谱相关，且两者相关时相关性程度也较低；所以仅仅利用文本描述语义超平面还是很难去区分正例三元组和反例三元组。因此本方法引入了邻居语义超平面，再次投影到邻居语义超平面上。

S6、利用投影向量s将TransE翻译模型得到的损失向量L投影到一个语义平面，得到一个在投影平面的得分，表示为|L-s^TLs|,在两种投影方法中分别为加权投影中的L_sw和二次投影中的L_sp；对投影平面的得分乘以一个参数λ，同时加上损失向量L，得到最终的得分。

S7、对每个正例，重复步骤S3-S6，得到正例得分Pos_score。对每个正例，分别替换头实体、关系和尾实体，采样得到反例，重复步骤S3-S6得到反例得分Neg_score。

S8、通过目标函数集合正例得分和反例得分的残差，即loss，采用随机梯度下降的方法进行本发明低维空间嵌入方法实施过程中各层参数的反向传播得到梯度，并更新各层参数，继续下一轮迭代。

此外，本方法采用基于NMF非负矩阵分解的主题模型，并通过随机梯度下降的方法来训练，得到最小化损失L_topic：：

其中DOC代表整个实体的文档集合，doc是DOC集合中一个实体的描述信息，W_d表示文档集合中所有的单词集。s_doc表示文档doc的语义向量，w表示单词w的主题分布。主题模型通过拟合目标函数，得到关于每个文档doc的语义向量s_doc。

模型的最终评分函数、目标函数说明如下：

(1)对于视觉三元组(h,r,t)，本发明TransE翻译模型的评分函数为：

SSP模型和TransE翻译模型的区别在于SSP模型引入了文本语义超平面,其中公式(10)中L是采用TransE翻译模型得到的损失向量，s_d是前文提到的文本描述语义超平面的法向量:

本发明嵌入方法在步骤S6中采用评分函数进行评分，公式如下：

f_JNCDT(h,r,t)＝λ|L-e^TLe|+L (11)

其中L是已经投影到文本语义平面的损失向量，e为邻居语义超平面的法向量。

(2)对于视觉三元组(h,r,t),本发明设计的目标函数说明如下：

给定一个正例集合K,反例集合K′,目标函数定义为：

目标函数中的γ为超参数，该目标函数是为了使正例和负例间的得分更有区分度，并且反例集合K′的定义如下：

K′＝{(h′,r,t)|h′∈E}∪{(h,r′,t)|r′∈R}∪{(h,r,t′)|t′∈E}

这里的E和R分别为给定的实体集合和关系集合。

为了对齐语义向量，本发明采用了两个主题模型来训练得到不同的输入的嵌入式表示。总的来说损失定义如下：

Loss＝Loss_JNCDT+μLoss_topic (13)

这里的超参数μ用来平衡两部分损失。本发明中所有涉及到的向量，全部采用TransE翻译模型中的初始化方式，本发明采用随机梯度下降的方法优化模型，最小化损失。

如图4、5，关于评价方法链接预测和视觉三元组分类的说明如下：

(1)对于预测头实体h或者尾实体t

输入三元组(h,r,？)或(？,r,t),用实体集合E中所有的实体进行替换，采用本发明的评分函数f_JNCDT(h,r,t)计算替换后的三元组得分，对得分按照从小到大进行排名，分别计算测例的平均排名以及hits@10的百分比。计算测试集中所有三元组的平均排名、hits@10的raw方式和filter。raw方式定义为：直接选择当前排名或者统计是否是排名前10。Filter定义为：统计满足条件一：排在测例前，并且满足条件二：替换后测例三元组依然在训练集中的数量，然后减去所统计的数量，得到测例的排名。其中hit@10指的是排名为前10的数量。

(2)对于预测关系r

输入三元组(h,？,t)，用关系集合R中所有的关系进行替换，采用本发明的评分函数f_JNCDT(h,r,t)计算替换后的三元组得分，对得分按照从小到大进行排名，分别计算测例的平均排名以及hits@10的百分比。raw的方式定义为:直接选择当前排名或者统计是否是排名前10。Filter定义为：统计满足条件一：排在测例前，并且满足条件二：替换后测例三元组依然在训练集中的数量，然后减去所统计的数量，得到测例的排名。计算测试集中所有三元组的平均排名、hits@10的raw和filter。

(3)对于三元组分类

输入三元组(h,r,t)，读取步骤S8迭代输出的模型以及根据验证集合确定的最优超参数γ，确定测例的类别，当前分类是一个二分类，即正例或反例。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于二次主题空间投影的场景图谱低维空间嵌入方法，其特征在于，包括以下步骤：

S1、输入场景图谱数据集的参数，包括三元组训练数据集K、实体集合E、关系集合R、最大迭代次数、实体和关系的向量维度；

S2、依次输入正例，通过采样替换后得到它的反例，初始化实体和关系向量；

S3、预处理得到每个实体e的邻居集合ε_n(e),得到实体邻居数量n；对实体的描述文本进行清洗，去除特殊字符、低频词和停用词，得到每个实体e的文本描述集合ε_d(e)；

S4、将实体e的邻居集合、文本描述集合输入到主题模型中，输出实体文本主题向量d_e和实体邻居主题向量n_e；

S5、利用翻译模型得到损失向量L；利用语义超平面构造方式和翻译模型结合的方式得到投影向量s；

S6、利用投影向量s将损失向量L投影到一个语义平面，得到在投影平面的得分；对投影平面的得分乘以参数λ，同时加上损失向量L，得到最终的得分；

S7、对每个正例重复步骤S3-S6，得到正例得分；对每个正例，分别替换头实体、关系和尾实体，采样得到反例，重复步骤S3-S6得到反例得分；

S8、通过目标函数集合正例得分和反例得分的残差，采用随机梯度下降的方法进行所述低维空间嵌入方法实施过程中各层参数的反向传播得到梯度，并更新各层参数，继续下一轮迭代。

2.根据权利要求1所述的场景图谱低维空间嵌入方法，其特征在于，步骤S4中主题模型输出实体文本主题向量和实体邻居主题向量，过程如下：

S41、输入每个实体对应的描述信息、最大迭代次数，确定文档主题数k，构造描述文档-词矩阵C、描述文档-主题矩阵S、主题-词矩阵W；

S42、根据目标函数更新矩阵S和矩阵W，直到达到最大迭代次数，此时矩阵S对应每个实体的主题向量；

S43、将每个实体的邻居上下文当作一个文档，重复步骤S41-S42，得到实体邻居主题向量。

3.根据权利要求1所述的场景图谱低维空间嵌入方法，其特征在于，视觉三元组记为(h,r,t)，其中h表示头实体，t表示尾实体，r表示h和t之间的关系；步骤S5利用语义超平面构造方式和翻译模型结合的方式得到投影向量s，步骤包括：

S51、对于三元组(h,r,t),头实体h对应的文本主题向量、邻居主题向量分别为d_h和n_h,尾实体t对应的文本主题向量、邻居主题向量分别为d_t和n_t；采用超参数β来分别平衡头实体的文本主题向量和邻居主题向量的语义表示为：

s_h＝βd_h+(1-β)n_h

平衡尾实体的文本主题向量和邻居主题向量的语义表示为：

s_t＝βd_t+(1-β)n_t

S52、超参数β的构造函数如下：

其中n表示实体的邻居数量,k和a分别是两个超参数；

S53、投影向量s的构造函数采用SSP模型的构造方式：

最后将翻译模型得到的损失向量L投影到由投影向量s确定的超平面上得到L_sw：

L_sw＝|L-s^TLs|

S54、将由翻译模型得到的损失向量先投影到邻居语义平面，接着再投影到文本语义平面；采用SSP模型分别得到邻居语义平面的投影向量、文本语义平面的投影向量，其中s_d和s_n分别是文本描述语义超平面和邻居语义超平面的法向量：

然后将翻译模型得到的损失向量L，依次投影：

其中L_ds为投影到文本描述语义超平面的损失向量，L_sp为再次投影到邻居语义超平面的投影向量。

4.根据权利要求1所述的场景图谱低维空间嵌入方法，其特征在于，步骤S4的主题模型采用基于NMF非负矩阵分解的主题模型，通过随机梯度下降的方法来训练，得到最小化损失L_topic：

其中DOC代表整个实体的文档集合和邻居集合，doc是DOC集合中一个实体的描述信息，W_d表示文档集合中所有的单词集；s_doc表示文档doc的语义向量，w表示单词w的主题分布；通过拟合目标函数，得到关于每个文档doc的语义向量s_doc。

5.根据权利要求3所述的场景图谱低维空间嵌入方法，其特征在于，步骤S6中采用评分函数进行评分，公式如下：

f_JNCDT(h,r,t)＝λ|L-e^TLe|+L

在S53的加权方法中，其中L是利用翻译模型得到的损失向量，e为文本和邻居语义超平面加权得到法向量；在S54的多次投影的方法中，其中L是利用翻译模型得到的损失向量先投影到文本语义超平面的损失向量，e为邻居语义超平面的法向量。

6.根据权利要求1所述的场景图谱低维空间嵌入方法，其特征在于，在步骤S8达到迭代终止条件后，还执行步骤：进行链接预测和三元组分类。