CN115168602A

CN115168602A - 一种基于改进的概念和实例的三元组分类方法

Info

Publication number: CN115168602A
Application number: CN202210729057.XA
Authority: CN
Inventors: 赵翔; 袁雪美; 张鹏飞; 肖卫东; 谭真; 胡艳丽; 葛斌
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2022-10-11

Abstract

本发明公开了一种基于改进的概念和实例的三元组分类方法，包括：获取知识图谱，并划分为概念集、实例集、关系集和三元组集；对于instanceof三元组、概念三元组中的subclassof三元组、概念三元组中除subclassof三元组的三元组和实例三元组统一归类为关系三元组分别建模；使用基于边际参数的损失函数作为优化目标进行训练，采用随机梯度下降算法来最小化所述损失函数，训练结束后得到模型的超参数；将测试三元组输入模型中，判断该三元组的标签是“正确”或“错误”并输出标签。本发明将概念和实例在不同的空间中进行嵌入表示学习，有效缓解同一概念所属的不同实例在嵌入表示空间聚集的问题。

Description

一种基于改进的概念和实例的三元组分类方法

技术领域

本发明属于知识图谱技术领域，尤其涉及一种基于改进的概念和实例的三元组分类方法。

背景技术

知识图谱以三元组(h,r,t)形式描述物理世界中的实体(entities)及其相互关系(relations)。知识表示学习是知识图谱构建与应用的关键技术，通过将三元组的语义信息表示为连续空间中的稠密低维向量，可在保留原始图谱特定属性的同时，支持知识图谱计算和推理，是支撑智能搜索、智能问答、个性化推荐等智能信息服务应用下游任务的重要基础。

知识表示学习通过将知识图谱中的实体和关系表示为连续空间中的稠密低维向量，可在保留原始图谱特定属性的同时支持知识图谱的计算和推理，使得知识表示学习成为近年来的研究热点。为缓解知识图谱的稀疏性带来的实体表示学习不充分问题，一些研究者提出了基于实例和概念的知识图谱表示模型，这些模型利用知识图谱中包含的概念和实例之间的潜在语义联系的来加强知识图谱的表示学习。

当前主流的知识图谱表示模型大致分为四类：基于距离平移的模型、基于语义匹配的模型、基于神经网络的模型和基于辅助信息的模型。

基于距离平移的模型。该类模型使用基于距离的评分函数。受到word2vec模型平移不变性的启发，Border等人提出的TransE模型把关系向量看作为同一空间中的头实体向量和尾实体向量之间的平移。TransE模型参数较少，计算复杂度低，但不能处理1-N、N-1和N-N等复杂关系。为此，TransH、TransR、TransD等扩展模型相继提出，这些模型均使得同一个实体在不同的关系下拥有不同的表示以处理复杂关系。

基于语义匹配的模型(Semantic matching models)。该类模型使用基于相似度的评分函数。RESCAL将实体建模为向量、将关系建模为矩阵。DistMult在RESCAL基础上将关系矩阵限制为对角矩阵。HolE引入了嵌入的循环相关操作(circular correlation ofembedding)进行语义匹配。这些模型都可捕获三元组中丰富的交互信息。RotatE受欧拉公式启发，使用复数向量对实体和关系进行表示，将关系建模成从头实体到尾实体的旋转。

基于神经网络的模型(Neural networks based models)。该类模型使用CNN、RNN、GCN等神经网络模型学习深层表达特征(CNNs are utilized for learning deepexpressive features)。基于CNN的模型中，ConvE通过将头实体和关系映射成2D的矩阵来建模实体和关系的交互，ConvKB使用CNN编码实体和关系的拼接以提取特征，ConvR从关系表示构造卷积滤波器，在链路预测方面取得了良好的结果。基于RNN的模型是为捕获KG中更长关系依赖。Gradner等人和Neelakantan等人提出基于RNN的模型用于关系路径建模，分别在使用和不使用实体信息时学习向量表示。RSN设计了循环skip机制，通过区分实体和关系，来增强语义表示学习。基于GCN模型是为捕获KG中的结构化信息。R-GCN提出了针对关系的转换来建模知识图谱的有向性质，SACN引入了带权重的GCN，Nathani等人引入了GAN作为编码器来捕获多跳邻域特征。

基于辅助信息的模型。这类方法是利用知识图谱的辅助信息(如实体类型、实体描述、上下文向量等)来学习知识表示。DKRL在TransE的基础上通过卷积编码器(convolutional encoder)直接从实体描述中学习表示。SSP通过将三元组和文本描述投影到一个语义子空间来建模三元组和文本描述间的强关联。TEKE将文本上下文嵌入结合到TransE等传统方法中以学习更有表达能力的实体和关系表示。TKRL充分利用额外的实体类型对实体的投影矩阵来捕获层次结构信息。

基于概念和实例的知识表示模型属于基于辅助信息的方法。这类模型利用概念和实例之间的关系加强知识图谱的表示学习。JECI++模型利用基于实例邻域信息与其所属的概念的交互信息构建预测函数对实例进行预测，通过最小化预测值和真实实例嵌入之间的差距来迭代地学习实例和概念的嵌入表示。但由于知识图谱的稀疏性，并不是所有实例都有充足的邻居信息可供训练，使得模型的普适性不强。SSE模型认为属于同一概念的实例在嵌入空间中应该彼此接近。TransC在语义空间中将每个概念建模为球体，将每个实例建模为同一语义空间中的点，通过空间中的点和球之间的相对位置建模实例和概念之间潜在语义关系。JOIE同时采用视图内模型和跨视图模型，通过视图内模型分别在实例和概念的嵌入空间中捕获实例和概念的结构化知识，通过跨视图模型学习实例和概念之间的语义关系。

发明内容

相较于现有技术，为区分实例与概念的差异性以及不同概念的层次性，本发明提出了一个基于空间转换的实例与概念的知识图谱表示模型—STCI：DifferentiatingConcepts and Instances Based on Spatial Transformation for Knowledge GraphEmbedding。本发明将嵌入表示空间分为概念嵌入表示空间和实例嵌入表示空间分别建模实例和概念的嵌入表示。将知识图谱中的三元组分为3种类型：instanceof三元组、subclassof三元组以及关系三元组(包含实例关系三元组和概念关系三元组，subclassof三元组除外)分别建模。对于instanceof三元组，头实体的实例和尾实体的概念不在同一嵌入表示空间，我们将instanceof关系建模成实例向概念嵌入表示空间映射的一种方法，映射后的实例应与其所属概念嵌入表示接近。对于subclassof三元组，我们利用subclassof关系的传递性进行建模，并且为区分不同概念的层次结构，我们引入了概念的邻域作用范围这个可学习参数来建模概念的层次结构信息。对于关系三元组，由于头实体和尾实体的嵌入表示在同一个空间，我们采用经典的TransE模型进行建模。以TransE、DistMult、HolE、TransC和JOIE等为基线进行实验，结果表明，STCI在大多数情况下都能达到最优性能。

本发明公开的基于改进的概念和实例的三元组分类方法，包括以下步骤：

获取知识图谱，并划分为概念集、实例集、关系集和三元组集；所述三元组集包含头实体和尾实体都由概念组成的概念三元组、头实体和尾实体都由实例组成的实例三元组以及头实体和尾实体分别由实例和概念组成的instanceof三元组；

对于instanceof三元组，由于头实体和尾实体不能在同一个嵌入空间表示，单独建模，对于概念三元组中的subclassof三元组，利用subclassof关系的传递性进行建模，对于概念三元组中除subclassof三元组的三元组和实例三元组统一归类为关系三元组并建模；

使用基于边际参数的损失函数作为优化目标进行训练，所述损失函数限制正三元组的分数至少比其负三元组的分数少边际参数γ，以提高正负样本之间可区分性；

采用随机梯度下降算法来最小化所述损失函数，模型训练时，强制约束所有的关系三元组中的实体和关系、instanceof三元组以及subclassof中的实例和概念的L2范数小于等于1，训练结束后得到模型的超参数；

将实例关系三元组、概念关系三元组、instanceof三元组或者subclassof三元组输入模型中，判断该三元组的标签是“正确”或“错误”并输出标签。

进一步的，将关系集R形式化为

其中，r_i表示instanceof关系，r_s表示subclassof关系，

是实例关系集，

是除r_s关系外的概念关系集，将三元组集S分为三个不相交的子集：

instanceof三元组集

其中i∈I，其嵌入表示

c∈C，其嵌入表示

n_e是S_e的大小；

subclassof三元组集

其中c_i、c_j∈C，其嵌入表示

c_i是c_j的子概念，n_c是S_c的大小；

关系三元组集

其中h、r、t∈C或h、r、t∈I，其嵌入表示分别用h,r,t描述，

或

n_r是S_r的大小，

为实例关系三元组集，

其中h_e，t_e∈I，

是

的大小，

为概念关系三元组集，

其中h_c，t_c∈C，

是

的大小。

进一步的，对于instanceof三元组(i,r_i,c)建模如下：

实例i与概念c嵌入表示分别为e和o，在不同的嵌入表示空间；由于实例i具有概念c的属性信息，实例i的嵌入表示e通过映射后与概念c的嵌入表示向量o接近，即：对于instanceof三元组(i,r_i,c)，存在

f_ins(e)→o

instanceof三元组为多对多关系，即一个概念可包含多个实例，一个实例可属于多个概念；对于一个概念对应多个实例的情况，定义f_ins(e)为非线性仿射函数，即：

f_ins(e)＝σ(W·e+b)

其中，

为权重矩阵，

为偏置向量，σ(·)为非线性激活函数；

对于同一个实例可能对应多个不同的概念的情况，为每个概念的嵌入表示增加一个可学习参数δ_c，表示o的δ_c邻域作用范围，实例i的嵌入表示e经过映射后，位于概念c的嵌入向量表示o的δ_c邻域作用范围内，即：

||f_ins(e)-o||₂≤δ_c

其中||·||₂为欧式距离公式，δ_c的意义为：经过训练后，c所属的实例i的嵌入表示e经过映射后应位于球心点为o、半径为δ_c的超球邻域内，即训练后e经过映射会在o的嵌入表示周围，而不是与点o重合，以解决同一个实例对应的不同概念在训练后聚集的问题；

instanceof三元组(i，r_e，c)的目标函数定义为：

F_e(e,o)＝||f_ins(e)-o||₂-δ_c。

进一步的，对于subclassof三元组(c_i,r_s,c_j)建模如下：

概念c_i是概念c_j的子概念，概念c_i与概念c_j同处于一个属性空间，则o_i应在o_j的δ_j邻域作用范围内；结合三元组(i，r_i，c_i)和(c_i，r_s，c_j)，根据isA关系的传递性推理出(i，r_i，c_j)，由此，c_i所属的所有实例经过映射后的嵌入表示在o_j的δ_j邻域作用范围内：

若使c_i所属的所有实例经过映射后的嵌入表示都在o_j的δ_j邻域作用范围内，则o_i的δ_i邻域作用范围在o_j的δ_j邻域作用范围内，由此，将subclassof三元组(c_i，r_c，c_j)的目标函数定义为：

F_sub(o_i,o_j)＝||o_i-o_j||₂-(δ_j-δ_i)。

进一步的，对于关系三元组(h,r,t)建模如下：

对于实例关系三元组和概念三元组，在对应的实例嵌入表示空间或概念嵌入表示空间分别为h、r、t学习嵌入表示h,r,t，采用经典的TransE模型建模，目标函数定义为：

F_r＝||h+r-t||₂

该模型可处理subclassof关系的传递性；如果存在2个正三元组样本(c_i，r_s，c_j)和(c_j，r_s，c_k)，根据模型，概念c_i的嵌入表示o_i的δ_i超球邻域作用范围在c_j的嵌入表示o_j的δ_j超球邻域作用范围内，o_j的δ_j超球邻域作用范围在o_k的δ_k超球邻域作用范围内，可得出o_i的δ_i超球邻域作用范围也在o_k的δ_k超球邻域作用范围内，即是(c_i，r_s，c_k)为正样本；同时，通过不同的概念参数δ_c来描述概念的层次结构信息，δ_c值越大，概念层次相对越高，反之，概念的层次相对越低。

进一步的，采用自对抗负抽样的方法，根据当前的嵌入模型对负三元组进行抽样，具体来说，从以下分布中抽样负三组：

其中，α是采样超参数，F(h_j',r,t_j')为(h,r,t)的一个候选负采样三元组(h_j',r,t_j')对应模型的目标函数取值。

进一步的，为instanceof三元组集S_e定义基于边际参数的损失函数L_e：

其中，[x]₊＝max(0,x)，γ_e用来表示instanceof三元组的边际超参数，对于instanceof三元组，ξ_e和ξ_e'表示正三元组和负三元组，S_e和S_e'用于描述正三元组集和负三元组集；

为subclassof三元组集S_c定义基于边际参数的损失函数L_c：

为实例关系三元组集

定义基于边际参数的损失函数

为概念关系三元组集

定义基于边际参数的损失函数

最后，将总体损失函数定义为这四个损失函数的线性组合：

其中，β₁,β₂,β₃>0，是L_e、L_c、

以及

之间保持平衡的超参数

为实例关系三元组集

定义基于边际参数的损失函数

为概念关系三元组集

定义基于边际参数的损失函数

最后，我们将总体损失函数定义为这四个损失函数的线性组合：

其中，β₁,β₂,β₃>0，是L_e、L_c、

以及

之间保持平衡的超参数。

本发明的有益效果如下：

提出了一种新的知识图谱嵌入模型，该模型利用概念和实例之间的潜在语义联系来加强知识图谱的表示学习，能有效缓解样本稀疏性带来的学习不充分的问题。

通过将概念和实例在不同的空间中进行嵌入表示学习，可有效缓解同一概念所属的不同实例在嵌入表示空间聚集的问题。

为概念的嵌入表示增加一个邻域作用范围的可学习参数，可有效区分不同概念的层次结构信息，同时可缓解同一实例对应的不同概念在嵌入表示空间聚集的问题。

附图说明

图1本发明的三元组分类方法流程图；

图2 instanceof三元组中头实体实例与尾实体概念在两个嵌入表示空间中的位置关系示意图；

图3 subclassof三元组头实体c_i及其所属的实例在概念嵌入空间中映射后的嵌入表示与尾实体c_j在概念嵌入空间的位置关系图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

知识图谱KG描述了实体及它们之间的关系。由于实体中实例和概念的差异性，我们将实例和概念分别在实例嵌入表示空间

和概念嵌入表示空间

表示，实例嵌入表示空间维度d_e较概念嵌入表示空间维度d_c要高，即是d_e>d_c。由此，我们将知识图谱形式化描述为KG＝{C、I、R、S}，C、I、R、S分别表示概念集、实例集、关系集和三元组集。知识图谱中的三元组集S包含3种类型三元组：头实体和尾实体都由概念组成的概念三元组、头实体和尾实体都由实例组成的实例三元组以及头实体和尾实体分别由实例和概念组成的instanceof三元组。对于instanceof三元组，由于头实体和尾实体不能在同一个嵌入空间表示，需单独建模。对于概念三元组中的subclassof三元组，可利用subclassof关系的传递性进行建模。对于概念三元组(除subclassof三元组)和实例三元组，由于头实体和尾实体在统一的嵌入表示空间中表示，可采用同样的方法进行建模，统一归类为关系三元组。

由此，关系集R可以形式化为

其中，r_i表示instanceof关系，r_s表示subclassof关系，

是实例关系集，

是概念关系集(除r_s关系)。三元组集S可以分为三个不相交的子集：

1.instanceof三元组集

其中i∈I，其嵌入表示

c∈C，其嵌入表示

n_e是S_e的大小。

2.subclassof三元组集

其中c_i、c_j∈C，其嵌入表示

c_i是c_j的子概念，n_c是S_c的大小。

3.关系三元组集

其中h、r、t∈C或h、r、t∈I，其嵌入表示分别用加粗体h,r,t描述，

或

n_r是S_r的大小。

为实例关系三元组集，

其中h_e，t_e∈I，

是

的大小。

为概念关系三元组集，

其中h_c，t_c∈C，

是

的大小。

接下来，我们将按照S＝{S_e∪S_c∪S_r}，对知识图谱中三种类型的三元组进行建模描述。

本发明对知识图谱中三种类型三元组：instanceof三元组、subclassof三元组和关系三元组分别建模，具体模型描述如下。

对于instanceof三元组(i,r_i,c)。实例i与概念c嵌入表示分别为e和o，应在不同的嵌入表示空间。由于实例i具有概念c的属性信息，本发明认为实例i的嵌入表示e通过映射后应与概念c的嵌入表示向量o接近，即：对于instanceof三元组(i,r_i,c)，存在

f_ins(e)→o (1)

instanceof三元组为多对多关系，即一个概念可包含多个实例，一个实例可属于多个概念。对于一个概念对应多个实例的情况，设计映射函数f_ins(e)时需要考虑对于不同的e，f_ins(e)的值可能相同。本发明定义f_ins(e)为非线性仿射函数，即：

f_ins(e)＝σ(W·e+b) (2)

其中，

为权重矩阵，

为偏置向量，σ(·)为非线性激活函数，本发明采用tanh。

对于同一个实例可能对应多个不同的概念的情况，如果直接定义o＝f_ins(e)，则无法区分同一实例对应不同概念的情况。为此，为每个概念的嵌入表示增加了一个可学习参数δ_c，表示o的δ_c邻域作用范围(neighborhood)。我们认为实例i的嵌入表示e经过映射后，应位于概念c的嵌入向量表示o的δ_c邻域作用范围内，即是：

||f_ins(e)-o||₂≤δ_c (3)

其中||·||₂为欧式距离公式。

δ_c的意义可以理解为：经过训练后，c所属的实例i的嵌入表示e经过映射后应位于球心点为o、半径为δ_c的超球邻域内，即是训练后e经过映射会在o的嵌入表示周围，而不是与点o重合，这样可以解决同一个实例对应的不同概念在训练后聚集的问题。

instanceof三元组(i，r_e，c)的目标函数定义为：

F_e(e,o)＝||f_ins(e)-o||₂-δ_c (4)

对于subclassof三元组(c_i,r_s,c_j)，概念c_i是概念c_j的子概念，概念c_i与概念c_j同处于一个属性空间，则o_i应在o_j的δ_j邻域作用范围内。结合三元组(i，r_i，c_i)和(c_i，r_s，c_j)，根据isA关系的传递性，可以推理出(i，r_i，c_j)。由此，我们可以推论出c_i所属的所有实例都是c_j的实例，即是c_i所属的所有实例经过映射后的嵌入表示也应在o_j的δ_j邻域作用范围内，示意图如下：

由图可知，若使c_i所属的所有实例经过映射后的嵌入表示都在o_j的δ_j邻域作用范围内，则o_i的δ_i邻域作用范围应在o_j的δ_j邻域作用范围内。由此，本发明将subclassof三元组(c_i，r_c，c_j)的目标函数定义为：

F_sub(o_i,o_j)＝||o_i-o_j||₂-(δ_j-δ_i) (5)

对于关系三元组(h,r,t)，对于实例关系三元组和概念三元组，我们在对应的实例嵌入表示空间或概念嵌入表示空间分别为h、r、t学习嵌入表示h,r,t。本模型采用经典的TransE模型，目标函数定义为：

F_r＝||h+r-t||₂ (6)

在完成上述的嵌入表示学习后，该模型可以处理subclassof关系的传递性。如果存在2个正三元组样本(c_i，r_s，c_j)和(c_j，r_s，c_k)，根据模型，概念c_i的嵌入表示o_i的δ_i超球邻域作用范围在c_j的嵌入表示o_j的δ_j超球邻域作用范围内，o_j的δ_j超球邻域作用范围在o_k的δ_k超球邻域作用范围内，可以得出o_i的δ_i超球邻域作用范围也在o_k的δ_k超球邻域作用范围内，即是(c_i，r_s，c_k)为正样本。由此可知，模型可以很好的建模subclassof关系的传递性，同时，可以通过不同的概念参数δ_c来描述概念的层次结构信息，δ_c值越大，概念层次相对越高，反之，概念的层次相对越低。

我们使用基于边际参数的损失函数(margin-based ranking loss)作为优化目标进行训练，边际参数记为γ，这个函数限制了正三元组的分数至少比其负三元组的分数少γ，可以提高正负样本之间可区分性。

训练需要用到正样本集和负样本集，现有的知识图谱中只包含正三元组，我们需要通过知识图谱正三元组来生成负三元组。常用的基于均匀分布的负采样策略(“unif”strategy)是通过随机替换正三元组(h,r,t)中的h、t来生成负三元组。例如，对于一个实例关系三元组(h,r,t)，它的一个负三元组(h′,r,t)是用随机从实例中选择一个h′替换原有头实体h得到的，并且(h′,r,t)在KG中不存在。

但均匀负采样抽样策略存在低效率的问题，因为随着训练的进行，许多样本明显是错误的，并没有提供任何有意义的信息。因此，我们采用RotatE中的自对抗负抽样的方法(self-adversarial negative sampling)，该方法根据当前的嵌入模型对负三元组进行抽样。具体来说，从以下分布中抽样负三组：

其中，α是采样超参数(αis the temperature of sampling)，F(h_j',r,t_j')为(h,r,t)的一个候选负采样三元组(h_j',r,t_j')对应模型的目标函数取值。自对抗负抽样可以理解为：负采样尽可能地选择“最像”正三元组的负三元组进行训练，而模型则尽可能的对正负三元组进行区分。

对于instanceof三元组，使用ξ_e和ξ_e'来表示正三元组和负三元组，S_e和S_e'用于描述正三元组集和负三元组集。为instanceof三元组集S_e定义基于边际参数的损失函数L_e(margin-based ranking loss)：

其中，[x]₊＝max(0,x)，γ_e用来表示instanceof三元组的边际超参数。

类似的，我们为subclassof三元组集S_c定义基于边际参数的损失函数L_c：

为实例关系三元组集

定义基于边际参数的损失函数

为概念关系三元组集

定义基于边际参数的损失函数

最后，将总体损失函数定义为这四个损失函数的线性组合：

其中，β₁,β₂,β₃>0，是L_e、L_c、

以及

之间保持平衡的超参数。

采用经典的随机梯度下降SGD(Stochastic Gradient Descent)算法来最小化上述损失函数。模型训练时，强制约束所有的关系三元组中的实体和关系、instanceof三元组以及subclassof中的实例和概念的L2范数小于等于1，即||h||₂≤1，||r||₂≤1，||t||₂≤1，||e||₂≤1和||o||₂≤1。

模型参数复杂度：我们分别用N_i、N_o分别表示实例、概念的总数量，分别用

分别表示实例关系三元组集中关系的数量、概念关系三元组集中关系的数量，d_e、d_c分别为实例嵌入表示空间和概念嵌入表示空间的维数。对于实例关系三元组和概念关系三元组，使用TransE建模，实例关系三元组和概念关系三元组模型参数复杂度分别为

和

由于关系的数量远远小于实例或概念的数量，即

在这里忽略不计

和

实例关系三元组和概念关系三元组模型参数复杂度可分别近似记为O(N_id_e)和O(N_od_c)。对于instanceof三元组，模型的复杂度为O(N_id_e+N_od_c+d_ed_c+N_o)。对于subclassof三元组，模型的参数复杂度为O(N_od_c+N_o)。实例和概念的嵌入表示的参数在整个模型中是共享的，因此，总体模型参数复杂度为O(N_id_e+N_od_c+d_ed_c+N_o)。N_o相对N_od_c来说也可忽略不计，可以近似记为O(N_id_e+N_od_c+d_ed_c)。由于N_i＞＞d_e，N_o＞＞d_c，可以看出，参数复杂度近似与实体数量成正比。

之前的工作中使用的大多数数据集主要由只包含实例的FB15K和只包含概念的WN18等组成，而TransC中使用的数据集YAGO39K和M-YAGO39K不包含概念关系三元组，因此它们不适合评估我们的模型。本发明采用JOIE中提出的两个数据集：从YAGO中提取YAGO26K-906和从DBpedia中提取DB111K-174。关于实验数据集的基本统计信息，如表1所示：

表1 YAGO26K-906和DB111K-174两个数据集的统计信息

数据集	YAGO26K-906	DB111K-174
			实例数	5	5
概念数	6	6
			实例关系数	7	7
概念关系数	8	8
			三元组	12	12
三元组实例数	5	5
			三元组概念数	7	7
三元组实例关系数	4	4
			三元组概念关系数	3	3

三元组分类的主要任务是判断一个测试三元组的标签是“正确”或者“错误”。三元组可以是实例关系三元组、概念关系三元组、instanceof三元组或者subclassof三元组。这是一个二元分类任务，其评价指标采用二分类任务中常用的正确率、精确率、召回率和F1值。我们按照神经张量网络模型NTN相同的设置构建三元组分类任务测试需要的负三元组，在验证集和测试集中为每一个正三元组构建一个负三元组，验证集和测试集中的正三元组和负三元组数量一样多。

1)实验设计。我们将三元组集分为训练集、验证集和测试集，分别占比约为60％、20％和20％。为数据集中的每一个关系r，分别设定一个阈值δ_r。对于一个给定的测试关系三元组(h,r,t)，计算其得分函数F(h,r,t)的值，若其得分函数值小于阈值δ_r，那么预测该三元组的标签为“正确”，反之预测为“错误”。类似地，对于instanceof三元组(x,r_i,c)，如果其公式(4)的得分小于δ_ri，则预测其为“正确”；对于subclassof三元组(x,r_s,c)，如果其公式(5)的得分小于δ_rs，则三元组将被预测为“正确”。阈值δ_r通过在验证集上最大化分类正确率(Accuracy)确定。

2)实验实现。在这个任务中，模型参数的优化设置方法与链路预测任务相同。最佳配置由验证集的正确率(Accuracy)决定。模型的最优的参数配置如下：对于YAGO26K-906数据集，λ＝0.001，d_c＝100，d_e＝1000，γ_e＝1，γ_c＝0.5，γ_r ^e＝1.0，γ_r ^c＝1.0，β₁＝1，β₂＝1，β₃＝2，batch＝100，“self-adv”策略下的自对抗采样参数α＝0.5；对于DB111K-174数据集，λ＝0.0005，d_c＝100，d_e＝1000，γ_e＝2，γ_c＝0.2，γ_r ^e＝1.0，γ_r ^c＝0.5，β₁＝1，β₂＝1，β₃＝2，batch＝100，“self-adv”策略下的自对抗采样参数α＝1。对于每一个数据集，本实验将所有训练三元组迭代了1000轮次。

表2：Instance Relational Triples三元组分类结果。

表3：Concept Relational Triples三元组分类结果。

表4：Instanceof Triples三元组分类结果。

表5：Subclassof Triples三元组分类结果。

本发明的数据集有4类三元组：实例关系三元组、概念关系三元组、instanceof三元组和subclassof三元组，我们分别在4类三元组集上做实验，三元组分类的实验结果分别如表2、表3、表4、表5所示。

从实验结果中我们可以得到如下结论：(1)所有的实验中，STCI的F1值都取得了最优的结果，说明对于三元组分类任务，STCI的性能优于基准模型。(2)从表5中可以看出，对于subclassof三元组集，由于数据的稀疏性，一些基准模型的实验结果优于STCI。但综合表2、表3和表4，我们可以认为在数据稀疏的情况下，STCI可以为同一数据集中不同类别三元组的表示学习找到一种平衡，以使所有类别的三元组都能得到较好的学习效果。(3)STCI模型下，从“unif”采样策略到“self-adv”采样策略，几乎所有的评价指标都有提升。说明“self-adv”采样策略比“unif”效果更好。(4)所有的实验中，从TransE到STCI的实验结果，几乎所有的评价指标都有提升，说明实例和概念之间的潜在语义联系这个独特特征对于知识图谱的嵌入表示学习的有效性。(5)比较表2、表4和表5中从TransC到STCI的实验结果，几乎所有的评价指标都有提升，实验结果再次证明了实例和概念在不同的嵌入表示空间建模的有效性。(6)所有的实验中，从JOIE到STCI的实验结果，几乎所有的评价指标都有提升，实验结果再次证明了STCI可以建模isA关系的传递性，更好的学习到了实例和概念之间的潜在语义联系。

总之，相较于TransC和JOIE，STCI能缓解实例和概念嵌入表示在空间聚集的问题的同时，可更好的建模isA关系的传递性，使得STCI模型在三元组分类任务中取得了较好的效果。

本发明的有益效果如下：

在学习实例嵌入表示和概念的嵌入表示时互相受益，使得STCI模型在链接预测任务中产生了较好的效果。

本发明所使用的词语“优选的”意指用作实例、示例或例证。本发明描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本发明所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。