CN109284378A - 一种面向知识图谱的关系分类方法 - Google Patents

Abstract

本申请公开了一种面向知识图谱的关系分类方法，包括：a、接收实体对和该实体对的句子包，并确定所述句子包的初始包表示，将初始包表示作为当前包表示；b、将所述句子包的当前包表示和上一次输出的关系组成向量，作为GRU的输入，由GRU计算得到当前隐状态；根据所述当前隐状态，利用分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率，并选择所述概率最大的关系作为本次输出的关系；c、返回步骤b，直到输出结束。应用本申请，能够提高关系分类的准确性。

Description

一种面向知识图谱的关系分类方法

技术领域

本申请涉及知识图谱的相关技术，特别涉及一种面向知识图谱的关系分类方法。

背景技术

近年来，人们构建了许多大规模的知识图谱，比如Freebase、DBpedia、YAGO和NELL。知识图谱将现实世界中人类以自然语言形式表述的知识抽象为人和机器皆可读的三元组结构化的知识，即<头实体，关系，尾实体>。这些知识已经成为了机器学习、自然语言处理和人工智能应用中许多任务的基础和关键资源，包括搜索引擎、问答系统、语音助手、智能客服、文本理解和机器翻译等。虽然现有的知识图谱具有千万甚至十亿级别的三元组知识，但与现实世界中无限且持续增长的知识相比，仍然具有很大程度的不完整性。关系分类旨在确定两个实体之间是否具有某个关系，是扩充知识图谱的重要手段。换句话说，知识图谱内三元组结构<头实体，关系，尾实体>中的头实体和尾实体即实体对，关系分类也就是为一个实体对找到对应的关系，从而形成三元组结构。

为解决面向知识图谱的关系分类问题，目前存在多种关系分类方法。远程监督通过将知识图谱中的三元组与自然语言文本中的句子进行对齐，能够自动生成大量的训练数据，迅速成为了关系分类的主流策略。早期的大部分远程监督关系分类方法仅考虑了实体对之间具有一种关系的情况，将其看作多示例单标签学习问题。后来，有的关系分类方法将远程监督关系分类看作多示例多标签学习问题，但都借助已有NLP(Natural LanguageProcessing)工具依靠人工特征提取的方式抽取文本浅层特征，存在费时费力和错误传播的问题。近几年，开始出现将远程监督关系分类看作多示例多标签学习问题的工作，并采用神经网络的方法自动提取文本深层特征。有的关系分类方法将多示例多标签学习问题转化为了多个二分类问题，还有的关系分类方法将多示例多标签问题转化为排序问题。但是，目前的关系分类方法都存在分类准确率低的问题。

发明内容

本申请提供一种面向知识图谱的关系分类方法，能够提高关系分类的准确性。

为实现上述目的，本申请采用如下技术方案：

一种面向知识图谱的关系分类方法，包括：

a、接收实体对和该实体对的句子包，并确定所述句子包的初始包表示，将初始包表示作为当前包表示；

b、将所述句子包的当前包表示和上一次输出的关系组成向量，作为GRU的输入x_t，由GRU计算得到当前隐状态h_t＝(1-z_t)n_t+z_th_t-1；根据所述当前隐状态，利用分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率，并选择所述概率最大的关系作为本次输出的关系；其中，z_t＝sigmoid(W_izx_t+b_iz+W_szh_t-1+b_sz)，n_t＝tanh(W_inx_t+b_in+r_t(W_snh_t-1+b_sn))，r_t＝sigmoid(W_irx_t+b_ir+W_srh_t-1+b_sr)；W_iz、W_sz、W_in、W_sn、W_ir和W_sr均为预设的权重矩阵，b_iz、b_sz、b_in、b_sn、b_ir和b_sr均为预设的偏置向量，t为当前时刻的索引；

c、返回步骤b，直到输出结束。

较佳地，在步骤b和c之间，该方法进一步包括：将所述句子包的当前包表示更新为其中，β_ti是当前时刻第i个句子的权重，η(·)表示前馈神经网络，s_i表示所述句子包中第i个句子向量。

较佳地，通过预先建模过程确定所述权重矩阵和所述偏置向量；

在所述建模过程时，按照用于训练的句子包中各关系的信息量的降序顺序作为所述各关系的训练顺序；其中，所述用于训练的句子包中对一关系包含的信息越多，相应关系的信息量越大。

较佳地，句子包中关系信息量的计算方式包括：

计算所述用于训练的句子包中每个句子与预训练关系矩阵W中每个关系的匹配分数，得到匹配矩阵M＝XW；X为用于训练的句子包中各句子向量构成的句子包矩阵；

根据匹配矩阵计算所述用于训练的句子包中各个句子的权重值其中，e_i＝max(M_ij)i＝1,2,…,n.j∈L⁺，L⁺为所述用于训练的句子包对应的正确关系集合；

利用权重值和句子向量，计算得到句子包对正确关系的信息量

较佳地，在得到匹配矩阵后、计算用于训练的句子包中各个句子的权重值前，该方法进一步包括：对所述匹配矩阵的每一行进行归一化。

较佳地，所述分类器为softmax分类器。

较佳地，利用softmax分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率包括：o₁,…,o_t-1为第1时刻到第t时刻已经输出的关系为，o_t为任一未输出关系，r_i为关系集合L中的第i个关系，T为转移矩阵。

由上述技术方案可见，本申请中，在每次计算输出关系时，利用包表示和之前已经输出的关系生成隐状态，并利用该隐状态，在当前已输出关系和包表示的前提条件下计算其余关系的概率。由此可见，一方面隐状态的计算引入了已输出的关系，体现不同关系间的依赖性；另一方面，在进行关系概率的计算时使用的是条件概率，即以已输出关系和包表示作为条件计算概率，从而使各关系的概率体现与之前已经输出关系的依赖性，因此，各次输出关系均能体现关系间的依赖性，进而能够有效提高关系分类的准确性。

附图说明

图1为本申请中关系分类方法的流程示意图；

图2为基于信息量确定训练顺序的框架示意图；

图3为本申请中关系分类装置的结构使用图；

图4为性能比较示意图1；

图5为性能比较示意图2。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

根据申请人的观察与总结发现，同一个实体对对应的多个关系之间往往存在依赖。例如一个实体对具有关系“出生于”，那么这个实体对具有关系“国籍”的概率相对较高，而具有关系“首都”的概率相对较低。因此，利用关系之间的依赖进行关系分类是有益的。而目前的关系分类方法中都没有直接刻画出关系之间的依赖，因此，关系分类准确率低。基于上述分析，本申请提出了一种面向知识图谱的依赖感知的关系分类(Dependency-AwareRelation Classification,DARC)方法，并提出了CNN-GRU框架，其中的GRU部分能够直接建模关系依赖，以利用关系之间的依赖性，提高关系分类的准确率。

下面对本申请进行介绍。图1为本申请中关系分类方法的总体框图。如图1所示，该方法包括：

步骤101，接收输入的实体对及其句子包。

实体对的句子包中包括多个句子。在确定某实体对相应的关系时，都是基于该实体对的句子包进行的。

步骤102，确定句子包的初始包表示，并将该初始包表示作为当前包表示。

确定句子包初始包表示的方法可以使用现有的方法，例如CNN方法，对于给定的实体对及其句子包，通过CNN自动抽取每个句子的特征，然后采用平均化的方式将句子的特征融合为包表示。

具体地，给定由n个句子组成的句子包S＝{s₁,s₂,…s_n}，每个句子s＝{w₁,w₂,…w_i,…}，其中w_i表示当前句子中的第i个单词。首先，通过词向量映射将句子中的单词映射为低维实值向量(d^w为词向量的维度)，从而得到句子的词向量序列。其次，经过卷积层的滑动窗口抽取局部特征，第i个窗口的输出为其中l表示窗口大小，表示第i个滑动窗口下的l个连结词向量，是卷积矩阵，是偏置向量(d^s是卷积层输出的维度)。全部的局部特征再经过最大池化层和线性层以获得固定维度的句子向量句子向量中的第i个元素求解方式为[s]_j＝tanh(max_i(p_ij))。最后，采用平均化方法获得初始包表示即包表示通过抽取和融合句子包中的句子特征，有效地编码了实体对对应的关系特征。

优选地，上述抽取局部特征的处理中所使用的卷积矩阵和偏置向量为卷积网络中的参数。

在确定出句子包的初始表示后，利用下面步骤103～步骤104的反复迭代处理过程，序列性地输出实体对对应的各个关系{o₁,o₂,…o_t…}。

步骤103，将句子包的当前包表示和上一次输出的关系组成向量，作为GRU的输入，由GRU计算得到当前隐状态。

本申请中，利用GRU刻画关系之间的依赖信息，通过GRU计算得到隐状态。GRU在是长短期记忆神经网络(Long Short-Term Memory Network)的变种，在保持了LSTM能够刻画长距离依赖信息的前提下，GRU结构更简洁，由原来的三个门函数减少为两个，分别是更新门z_t和重置门r_t，具体计算隐状态的方式为：

r_t＝sigmoid(W_irx_t+b_ir+W_srh_t-1+b_sr)

z_t＝sigmoid(W_izx_t+b_iz+W_szh_t-1+b_sz)

n_t＝tanh(W_inx_t+b_in+r_t(W_snh_t-1+b_sn))

h_t＝(1-z_t)n_t+z_th_t-1

其中，h_t-1和x_t为GRU的两个输入，x_t为当前包表示和上一次输出关系组成的向量，例如[o_t-1；S₀]。在第一次运算过程中，不存在上一次输出的关系，因此，可以直接将初始包表示作为GRU的输入x_t。W_iz、W_sz、W_in、W_sn、W_ir和W_sr均为预设的权重矩阵，b_iz、b_sz、b_in、b_sn、b_ir和b_sr均为预设的偏置向量，t为当前时刻的索引。优选地，上述权重矩阵和偏置向量在预先进行的建模过程中确定。

步骤104，根据当前隐状态，利用分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率，并选择其中概率最大的关系作为本次输出的关系；将t自加。

本步骤用于计算当前时刻输出的实体对对应的一个关系。如前所述，每一次执行步骤103～104输出一个关系。具体地，在分类器中，首先根据隐状态计算剩余未输出的各个关系的概率值，然后选择概率值最大的一个关系输出。同时，本申请中，为提高分类准确性，在计算关系的概率值时，以当前已输出的所有关系和当前包表示为前提条件，计算各个剩余关系的条件概率值，从而使得该概率值能够反映关系间的相互依赖性。具体地，选择的分类器可以是现有的各种分类器，例如softmax分类器或SVM分类器等。以softmax分类器为例，关系集合L中第i个关系r_i的条件概率值的计算方式为其中，T是预设的转移矩阵，该转移矩阵是模型中的一个参数，通过模型训练过程确定该矩阵。

通过上述处理方式，一方面利用隐状态，另一方面计算的是条件概率值，因此，该输出的关系反映了关系之间的依赖性，大大提高了关系分类的准确性。同时，由上述隐状态和条件概率的计算过程可见，本申请通过建模关系之间的条件概率，刻画了关系依赖，并用于进行关系分类。

通过步骤103～104的处理，得到时刻t的输出关系，接下来进行下一个时刻的输出关系计算，将t自加。最简单地，可以在步骤104后，直接返回步骤103，直到关系输出结束。或者，优选地，还可以在步骤104后继续执行步骤105对当前包表示进行更新，用于下一个时刻的输出关系计算。

步骤105，根据t-1时刻输出的关系更新当前包表示S_t，并返回步骤103。

为了进一步提升关系分类的准确率，每个时刻产生一个关系后，模型应该更关注那些尚未被产生的关系。基于此，引入了基于注意力机制(Attention Mechanism,ATT)的动态调整包表示处理，该处理能够减少已生成的关系对应的句子影响，并突出尚未被产生的关系对应的句子信息。第t时刻的当前包表示计算方式为：

其中，β_ti是第t时刻第i个句子的权重，η(·)表示前馈神经网络，h_t-1表示由GRU产生的隐状态，s_i表示句子包中的第i个句子向量。

至此，本申请中的关系分类方法流程结束。

如前所述，步骤102中计算初始包表示时使用的卷积矩阵和偏置向量、步骤103中计算隐状态时使用的权重矩阵和偏置向量都可以在预先进行的建模过程中确定。在利用训练实体对和句子包进行建模时，还可以按照句子包对每个关系所包含信息量的降序排序，以确定关系集合中各个关系的训练顺序。

具体地，根据申请人的观察发现，给定一个句子包及其对应的关系，句子包对每个关系的信息包含程度通常是不相等的。对某个关系包含的信息越多，该关系的分类准确率越高，则越应该在早些时刻进行分类，从而为其余关系提供先验知识。基于此，本申请提出一种称为信息量的度量方法，来量化句子包中其每个关系的信息，并根据信息量的降序确定关系的训练顺序，具体信息量的计算方式如图2所示，包括：

步骤1，计算训练句子包中每个句子与关系集合中每个关系的匹配分数，得到匹配矩阵，并对匹配矩阵的每行进行归一化。

具体地，匹配矩阵M＝XW，其中是由句子向量构成的包子包矩阵(n是输入句子包中包含的句子个数，d^s是句子向量维度)，是预训练关系矩阵(d^s是关系向量的维度，n_r是关系集合的总数)。

为了在统一标准下测量匹配分数，优选地，对匹配矩阵的每行进行归一化，具体归一化方式可以根据需要进行选择，例如可以采用softmax进行归一化处理。

步骤2，根据匹配矩阵计算训练句子包中各个句子的权重值。

在训练阶段，应当更关心句子包对应的正确关系的信息。由此，定义了本地最大池化方法(Local Max-Pooling Method,LMP)，以基于匹配矩阵M更精确地计算输入句子包中每个句子的权重值。本地最大池化方法计算方式如下：

e_i＝max(M_ij)i＝1,2,…,n.j∈L⁺

其中M_ij表示第i个句子与第j个关系的匹配分数，j∈L⁺是训练句子包对应的正确关系集合。随后，经过Softmax以得到每个句子的权重值：

步骤3，通过权重值与句子向量的乘积，计算句子包对其每个正确关系的信息量Infor_j。

通过上述处理能够计算得到句子包对各个正确关系的信息量，然后按照信息量降序的顺序对关系进行排序，作为关系的训练顺序。

通过上述方式经过训练的模型，在测试阶段就具备了按照信息量的降序和关系之间的依赖产生输入实体对的关系的能力。另外，在建模过程中，句子包级别上的损失函数可以设定为：

其中，n_s是训练过程中某个句子包对应的关系数，n_r是关系集合的总数，q_ti∈{0,1}是第t时刻第i个关系的实际值，当该关系为正确关系时q_ti取1，否则取0；P_ti是第t时刻生成第i个关系的概率值。损失函数使用随机梯度下降(Stochastic Gradient Descent,SGD)进行优化。为了在测试阶段能够自动结束关系生成，可以对训练数据的每个句子包的关系末尾添加一个结束符号<end>。

上述即为本申请中关系分类方法的具体实现。本申请还提供一种关系分类装置，可以用于实施上述方法。如图3所示，该关系分类装置的基本结构包括：句子包表示模块和关系分类模块。

其中，初始包表示模块，用于接收实体对和该实体对的句子包，并确定所述句子包的初始包表示，将初始包表示作为当前包表示。关系分类模块，用于将句子包的当前包表示和上一次输出的关系组成向量，作为GRU的输入x_t，由GRU计算得到当前隐状态h_t＝(1-z_t)n_t+z_th_t-1；根据当前隐状态，利用分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率，并选择概率最大的关系作为本次输出的关系；重复执行上述处理直到输出结束。

另外，优选地，该关系分类装置还可以包括动态调整包表示模块，用于在每次关系分类模块输出关系后，将句子包的当前包表示更新为其中，再将该更新后的当前包表示发送给关系分类模块，用于下一次输出关系的计算。

由上述本申请的具体实现可见，相对于现有的方法，本申请方法考虑了同一个实体对对应的多个关系之间的依赖，并且通过测量句子包对其关系包含信息的多少，采用信息降序进行训练，能够更好地进行关系分类。接下来，将本申请的方法与现有的最先进的三个方法进行性能比较。现有的三个方法分别是PCNN方法、Att方法和Rank方法。

在进行比较时，采用被广泛使用的真实数据集纽约时报(New York Times,NYT)进行实验验证。该数据集通过与Freebase知识库中关系进行对齐而得到，其中2005-2006年的数据被看作训练数据，2007年的数据为测试数据。该数据集的统计情况如下表1所示。

表1NYT数据集统计分析

采用三折验证在训练过程中调整方法参数。具体地，学习率λ的选择范围是{0.01,0.02,0.03}，卷积窗口l的选择范围是{3,5,7}，词向量维度d^w选择范围是{50,100,150}，句子维度d^s选择范围是{150,160,…300}，批数据(Batch)大小B选择范围是{40,100,160}。为防止过拟合丢弃(Dropout)率设置为0.5。表2列出了实验中的超参数值。

表2超参数设置

采用两个广泛使用的度量标准Precision-Recall和Precision@N(P@N)来对所有的方法进行比较。其中，Precision-Recall的计算方法如下：

其中，M表示方法生成的三元组数，M^*表示测试集中总的三元组数。Precision@N即方法产生的前N个三元组的准确率的平均值。

下面通过对比分析本申请方法(Dependency-Aware Relation Classification,DARC)和前述现有方法的Precision-Recall和Precision@N实验结果，来说明本申请方法的效果和性能。实验结果如下图4和图5所示。

从图4和图5可以看出，本申请方法DARC在Precision-Recall和Precision@N两个指标上都优于现有的五个最先进的方法，说明了本方法具有良好的关系分类效果。此外，在图4的Precision-Recall曲线中，也可以看出本申请方法在召回率小于0.3时保持了相对较高的准确率(大于0.7)，而且随着召回率的增长，准确率降低的速度很慢，说明了考虑关系之间的依赖和句子包对关系的包含信息比不考虑依赖和信息含量的方法效果要好。由上述比较结果可见，本申请中面向知识图谱的依赖感知的关系分类方法在准确度上有明显的优势。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种面向知识图谱的关系分类方法，其特征在于，包括：

a、接收实体对和该实体对的句子包，并确定所述句子包的初始包表示，将初始包表示作为当前包表示；

b、将所述句子包的当前包表示和上一次输出的关系组成向量，作为GRU的输入x_t，由GRU计算得到当前隐状态h_t＝(1-z_t)n_t+z_th_t-1；根据所述当前隐状态，利用分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率，并选择所述概率最大的关系作为本次输出的关系；其中，z_t＝sigmoid(W_izx_t+b_iz+W_szh_t-1+b_sz)，n_t＝tanh(W_inx_t+b_in+r_t(W_snh_t-1+b_sn))，r_t＝sigmoid(W_irx_t+b_ir+W_srh_t-1+b_sr)；W_iz、W_sz、W_in、W_sn、W_ir和W_sr均为预设的权重矩阵，b_iz、b_sz、b_in、b_sn、b_ir和b_sr均为预设的偏置向量，t为当前时刻的索引；

c、返回步骤b，直到输出结束。

2.根据权利要求1所述的方法，其特征在于，在步骤b和c之间，该方法进一步包括：将所述句子包的当前包表示更新为其中，β_ti是当前时刻第i个句子的权重，η(·)表示前馈神经网络，s_i表示所述句子包中第i个句子向量。

3.根据权利要求1或2所述的方法，其特征在于，通过预先建模过程确定所述权重矩阵和所述偏置向量；

在所述建模过程时，按照用于训练的句子包中各关系的信息量的降序顺序作为所述各关系的训练顺序；其中，所述用于训练的句子包中对一关系包含的信息越多，相应关系的信息量越大。

4.根据权利要求3所述的方法，其特征在于，句子包中关系信息量的计算方式包括：

计算所述用于训练的句子包中每个句子与预训练关系矩阵W中每个关系的匹配分数，得到匹配矩阵M＝XW；X为用于训练的句子包中各句子向量构成的句子包矩阵；

根据匹配矩阵计算所述用于训练的句子包中各个句子的权重值其中，e_i＝max(M_ij)i＝1，2，...，n.j∈L⁺，L⁺为所述用于训练的句子包对应的正确关系集合；

利用权重值和句子向量，计算得到句子包对正确关系的信息量

5.根据权利要求4所述的方法，其特征在于，在得到匹配矩阵后、计算用于训练的句子包中各个句子的权重值前，该方法进一步包括：对所述匹配矩阵的每一行进行归一化。

6.根据权利要求1或2所述的方法，其特征在于，所述分类器为softmax分类器。

7.根据权利要求6所述的方法，其特征在于，利用softmax分类器计算在当前已输出关系和当前包表示条件下各未输出关系的概率包括： o₁，...，o_t-1为第1时刻到第t时刻已经输出的关系为，o_t为任一未输出关系，r_i为关系集合L中的第i个关系，T为转移矩阵。