CN111506706A

CN111506706A - 一种基于关系相似度的上下义关系森林构建方法

Info

Publication number: CN111506706A
Application number: CN202010296825.8A
Authority: CN
Inventors: 张英杰; 方义秋; 李春江; 葛娜; 林颂策; 余德华
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2020-04-15
Filing date: 2020-04-15
Publication date: 2020-08-07
Anticipated expiration: 2040-04-15
Also published as: CN111506706B

Abstract

本发明涉及一种基于关系相似度的上下义关系森林构建方法，属于自然语言处理和知识图谱领域。该方法包括：输入所有三元组，通过传统多层感知机获得所有三元组中关系的实体对概率集合C，并对C作笛卡尔，对笛卡尔积C×C用公式计算得出相似度量值(矩阵S)并用门限值ThresholdA进行过滤，筛选出关系相似度集合；然后结合开放域实体数据集，利用训练好的相似关系在改进的多层感知模型上预测开放域实体中关系对应的实体数量，并用门限值ThresholdB进行过滤，得到Result矩阵；最后根据Result矩阵和关系相似度集合构建关系森林。本发明能够检索知识图谱中相似关系实体；提高关系抽取任务中相似关系抽取的精度。

Description

一种基于关系相似度的上下义关系森林构建方法

技术领域

本发明属于自然语言处理和知识图谱领域，涉及一种基于关系相似度的上下义关系森林构建方法。

背景技术

目前学术界和工业界的自然语言处理和知识图谱是一个热度较高的研究领域，自然语言处理中对于实体对关系的研究得到了长足的发展。

现有关于关系相似度的研究主要集中在以下几种方法：

2006年Peter D.Turney在Similarity of Semantic Relation文中提出关系相似度的概念，作为关系相似度研究的先驱Turney认为，测量关系相似度即测量关系对应的实体对的相似度，比如：mason和stone的关系(此处称为关系A)，carpenter和wood的关系(此处称为关系B)， A与B的关系相似程度根据他们对应的实体对(mason：stone)和实体对(carpenter：wood) 来测量。

2013年Alisa Zhila在NAACL-HLT会议中提出了一种测量关系相似度的方法，Alisa在 Combining Heterogeneous Models for Measuring Relational Similarity文中提出的用向量法来测量关系相似度的方法为此项研究取得了里程碑的意义。文中提出用RNN循环神经网络语言模型学习关系词向量，源语料库是由关系对应的各个实体组成的，将实体对输入到RNN循环网络得到一个实体对嵌入矩阵，矩阵的维度是：实体数×维度，在此文章的实验中维度参数取 1600，假设实体对W_i＝(W_i1,W_i2)，W_j＝(W_j1,W_j2)对应的词嵌入为(v_i1,v_i2)和(v_j1,v_j2)，则W_i对应的方向向量为v_i＝v_i2-v_i1,W_j对应的方向向量为v_j＝v_j2-v_j1，相似度测量公式为：

2019年清华大学Weize Chen在ACL会议上发表论文Quantifying Similaritybetween Relations with Fact Distribution，此论文中提出用多层感知机求出实体对对应的关系概率即关系1对应的头尾实体概率为P_θ1＝(h,t|r₁)，关系2对应的头尾实体概率为P_θ2＝(h,t|r₂)，则关系 1和关系2之间的相似度用KL散度来测量：

求出KL散度后，用函数g(x)进行双向求相似度得到最终关系1和关系2的相似值S(r₁,r₂)：

S(r₁,r₂)＝g(D_KL(P_θ1(h,t|r₁)||(P_θ2(h,t|r₂)),D_KL((P_θ1(h,t|r₂)||(P_θ2(h,t|r₁))) (3)

从上述几种方案中可以看出，关系相似度目前在关系抽取任务中应用较广，目前的技术是将关系相似度直接应用到任务中，比如：利用关系相似度进行关系去重，构建知识图谱等。但是此类应用缺乏应用结构，直接运用到相应的任务中会导致效果不明显，或者不能根据相应的任务有效的应用关系相似度技术。

发明内容

有鉴于此，本发明的目的在于提供一种基于关系相似度的上下义关系森林构建方法，根据关系相似度和一定的规则来构建关系森林。构建好关系森林后各个任务在应用关系相似度技术时，检索关系森林来获得相应的关系对象。使得关系相似度技术与其下游任务进行解耦合，且此技术高内聚。①由此缓解目前关系抽取任务中由于关系相似，关系抽取精度不高的问题。②在构建知识图谱中可以利用构建好的关系森林检索相似关系的实体。③在关系推理任务中利用关系森林获得相似关系来推理获得下一个对象。

为达到上述目的，本发明提供如下技术方案：

一种基于关系相似度的上下义关系森林构建方法，包括以下步骤：

S1：输入所有三元组，通过传统多层感知机获得所有三元组中关系的实体对概率集合 C＝(P_θ1,P_θ2,P_θ3,…,P_θn)，n为关系个数；

S2：将集合C与其自身做笛卡尔积得到一个n×n大小的集合，将笛卡尔积中的两个元素相同的一对删除，剩下n²-n对元素，然后通过公式计算每一对元素的关系相似度量值S(r_i,r_j)，其中i＝1,2,…,n，j＝1,2,…,n；

S3：设定门限值ThresholdA，并筛选出大于等于ThresholdA的关系度量值S(r_i,r_j)作为相似关系集合F(r_i,r_j)；

S4：改进多层感知机模型，分别将关系词向量或实体词向量作为改进的多层感知机模型的输入，输出为Tmp_rel矩阵或Tmp_ent矩阵；

S5：将关系词向量和实体词向量输入多层感知机后的输出结果进行矩阵相乘即Tmp_rel*Tmp_ent得到Result_tmp矩阵，维度为关系个数×实体个数；

S6：对Result_tmp矩阵的每一行求Softmax，表示对每一个关系对应的实体求得概率；并设定门限值ThresholdB，筛选出Result_tmp矩阵中概率值大于ThresholdB的实体，得到 Result矩阵，即Result＝(soft max(Result_tmp)＞＝TresholdB)；

S7：根据相似关系集合F(r_i,r_j)和Result矩阵构建多叉树；

S8：由多个多叉树构成关系森林。

进一步，所述步骤S4中，改进的多层感知机模型的感知机为5层，hidden为1024即每一层有1024个神经单元；其中，关系词向量维度为关系词个数×神经单元个数，Tmp_rel矩阵维度为神经单元个数×关系个数，Tmp_ent矩阵维度为神经单元个数×实体词个数。

进一步，所述步骤S7中，构建多叉树具体包括：统计Result矩阵中每一行的数量r_n_num，结合相似关系集合F(r_i,r_j)；相似关系中，假设对应实体数数量大的则作为上义关系，对应实体数量少的则作为下义关系；

情况1：若F(r_i,r_j)中存在相似关系S(r₁,r₂),S(r₁,r₃)，则根据r₁,r₂,r₃找出在Result矩阵中对应的r₁_num，r₂_num，r₃_num；

情况2：若F(r_i,r_j)中存在相似关系S(r₁,r₂),S(r₁,r₃),S(r₁,r₄),S(r₃,r₅)，则根据r₁,r₂,r₃找出在 Result矩阵中对应的r₁_num，r₂_num，r₃_num，r₄_num，r₅_num；

以此类推，根据相似关系集合F(r_i,r_j)和Result矩阵构建多叉树。

更进一步，情况1中，R1＝softmax(r₁_num)，R2＝softmax(r₂_num)，R3＝softmax(r₃_num)，取根节点Root＝max(R1,R2,R3)，其余为子节点。

更进一步，情况2中，R1＝softmax(r₁_num)，R2＝softmax(r₂_num)，R3＝softmax(r₃_num)， R4＝softmax(r₄_num)，R5＝softmax(r₅_num)，取根节点Root＝max(R1,R2,R3,R4,R5)，其余为子节点。

本发明的有益效果在于：

1)现有关系抽取技术中由于存在关系相似的问题导致关系抽取精度不高，利用本发明关系森林进行关系去冗可以有效缓解关系抽取精度不高的问题。

2)在推荐系统任务中，利用本发明关系森林，有效发现相似关系的推荐内容，提高推荐精度。

3)在关系推理任务中，在关系森林中检索相似关系，提高关系推理的深度和广度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为传统多层原感知机模型结构示意图；

图2为本发明的上下义关系森林构建方法流程图；

图3为本发明改进的多层感知机模型结构示意图，(a)为输入为关系词向量的内部结构示意图，(b)为输入为实体词向量的内部结构示意图；

图4为本发明构建多叉树中情况1的节点关系示意图；

图5为本发明构建多叉树中情况2的节点关系示意图；

图6为由多个多叉树构成的关系森林示意图；

图7为本发明构建的关系森林在推荐系统中应用到搜索引擎的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图6，图2为一种基于关系相似度的上下义关系森林构建方法流程图，该方法具体包括以下步骤：

步骤一：本发明实施例的语料来自知识库中抽取的三元组(实体1，关系，实体2)，根据图1所示的多层感知机模型获得关系1的实体对概率P_θ1＝(h,t|r₁)和关系2的实体对概率 P_θ2＝(h,t|r₂)，其中，h:(head)实体1，t：(tail)实体2，r：(relation)关系然后通过公式(2)和公式(3)得到关系1与关系2的关系相似度Sim_r1,r2。

步骤二：通过多层感知机获得所有三元组中关系的实体对概率集合 C＝(P_θ1,P_θ2,P_θ3,…,P_θn)(n为关系个数)，将集合C与其自身做笛卡尔积得到一个n×n大小的集合。

将表1中笛卡尔积中的两个元素相同的一对删除，剩下n²-n对元素每一对元素用公式(2) 和公式(3)得出一个关系相似度量值S(r_i,r_j)(i＝1,2,…,n，j＝1,2,…,n)。

表1 C×C(笛卡尔积)

P<sub>θ1</sub> P<sub>θ1</sub>	P<sub>θ1</sub> P<sub>θ2</sub>	P<sub>θ1</sub> P<sub>θ3</sub>	……	P<sub>θ1</sub> P<sub>θn</sub>
					P<sub>θ2</sub> P<sub>θ1</sub>	P<sub>θ2</sub> P<sub>θ2</sub>	P<sub>θ2</sub> P<sub>θ3</sub>	……	P<sub>θ2</sub> P<sub>θn</sub>
P<sub>θ3</sub> P<sub>θ1</sub>	P<sub>θ3</sub> P<sub>θ2</sub>	P<sub>θ3</sub> P<sub>θ3</sub>	……	P<sub>θ3</sub> P<sub>θn</sub>
					……	……	……	……	……
P<sub>θn</sub> P<sub>θ1</sub>	P<sub>θn</sub> P<sub>θ2</sub>	P<sub>θn</sub> P<sub>θ3</sub>	……	P<sub>θn</sub> P<sub>θn</sub>

步骤三：取门限值ThresholdA＝0.7，取表2中所有S(r_i,r_j)>＝ThresholdA的关系度量值，经过此条件过滤后的S(r_i,r_j)值称为相似关系。从表2提取出相似关系后的关系集合为F(r_i,r_j)。

表2关系相似度量值矩阵

S(r<sub>1</sub>,r<sub>1</sub>)	S(r<sub>1</sub>,r<sub>2</sub>)	S(r<sub>1</sub>,r<sub>3</sub>)	……	S(r<sub>1</sub>,r<sub>n</sub>)
					S(r<sub>2</sub>,r<sub>1</sub>)	S(r<sub>2</sub>,r<sub>2</sub>)	S(r<sub>2</sub>,r<sub>3</sub>)	……	S(r<sub>2</sub>,r<sub>n</sub>)
S(r<sub>3</sub>,r<sub>1</sub>)	S(r<sub>3</sub>,r<sub>2</sub>)	S(r<sub>3</sub>,r<sub>3</sub>)	……	S(r<sub>3</sub>,r<sub>n</sub>)
					……	……	……	……	……
S(r<sub>n</sub>,r<sub>1</sub>)	S(r<sub>n</sub>,r<sub>2</sub>)	S(r<sub>n</sub>,r<sub>3</sub>)	……	S(r<sub>n</sub>,r<sub>n</sub>)

步骤四：设计新的模型多层感知机，感知机为5层，hidden为1024即每一层有1024个神经单元。如图3(a)所示，将关系词向量作为多层感知机模型的输入，关系词向量维度为 (关系词个数×神经单元个数)；输出为Tmp_rel矩阵，维度为(神经单元个数×关系个数)。如图3(b)所示，将实体词向量作为多层感知机模型的输入，实体词向量维度为(实体词个数×神经单元个数)；输出为Tmp_ent矩阵，维度为(神经单元个数×实体词个数)。

步骤五：将关系词向量和实体词向量输入多层感知机后的结果进行矩阵相乘即Tmp_rel*Tmp_ent得到Result_tmp矩阵，矩阵维度为(关系个数×实体个数)。

步骤六：对Result_tmp每一行求Softmax.表示对每一个关系对应的实体求得概率，设门限值ThresholdB＝0.8。对矩阵Result_tmp进行过滤，保留Result矩阵中概率值大于0.8的实体。

Result_tmp＝Tmp_rel*Tmp_ent (4)

Result＝(soft max(Result_tmp)＞＝TresholdB) (5)

此处作假设：在相似关系中，关系对应的实体数量大的则作为上义关系，关系对应实体数量少的则作为下义关系。

步骤七：根据相似关系集合F(r_i,r_j)和Result矩阵构建多叉树；

统计Result矩阵中每一行的个数，结合相似关系集合F(r_i,r_j)。相似关系中，对应实体数数量大的则作为上义关系，对应实体数量少的则作为下义关系。

情况1：如图4所示，若F(r_i,r_j)中存在相似关系S(r₁,r₂),S(r₁,r₃)，则根据r₁,r₂,r₃找出在Result 矩阵中对应的r₁_num，r₂_num，r₃_num。

R1＝softmax(r₁_num) (6)

R2＝softmax(r₂_num) (7)

R3＝softmax(r₃_num) (8)

取根节点为：

Root＝max(R1,R2,R3) (9)

左右子节点为R2，R3。

情况2：如图5所示，若F(r_i,r_j)中存在相似关系S(r₁,r₂),S(r₁,r₃),S(r₁,r₄),S(r₃,r₅)，则根据 r₁,r₂,r₃找出在Result矩阵中对应的r₁_num，r₂_num，r₃_num，r₄_num，r₅_num。

R1＝softmax(r₁_num) (10)

R2＝softmax(r₂_num) (11)

R3＝softmax(r₃_num) (12)

R4＝softmax(r₄_num) (13)

R5＝softmax(r₅_num) (14)

取根节点为：

Root＝max(R1,R2,R3,R4,R5) (15)

孩子节点为R2，R3，R4，且R5为R3的子节点。

以此类推，根据F(r_i,r_j)相似关系集合和Result矩阵构建多叉树。

步骤八：由多个多叉树构成关系森林。图6中灰色节点为根节点，由root＝max(R1，R2,....,Rn)取得，白色节点为子节点，子节点由公式(6)～(15)取得。图6中例举了8组相似关系。

如图7所示，本发明构建的关系森林在实际应用中的应用，如应用到推荐系统中用于搜索引擎，能够快速精准的获取需要的推荐内容。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于关系相似度的上下义关系森林构建方法，其特征在于，该方法包括以下步骤：

S1：输入所有三元组，通过传统多层感知机获得所有三元组中关系的实体对概率集合C＝(P_θ1,P_θ2,P_θ3,…,P_θn)，其中，概率P_θi为(实体i₁，实体i₂|关系)，n为关系个数；

S6：对Result_tmp矩阵的每一行求Softmax，表示对每一个关系对应的实体求得概率；并设定门限值ThresholdB，筛选出Result_tmp矩阵中概率值大于ThresholdB的实体，得到Result矩阵，即Result＝(softmax(Result_tmp)＞＝TresholdB)；

S7：根据相似关系集合F(r_i,r_j)和Result矩阵构建多叉树；

S8：由多个多叉树构成关系森林。

2.根据权利要求1所述的一种基于关系相似度的上下义关系森林构建方法，其特征在于，所述步骤S4中，改进的多层感知机模型的感知机为5层，hidden为1024即每一层有1024个神经单元；其中，关系词向量维度为关系词个数×神经单元个数，Tmp_rel矩阵维度为神经单元个数×关系个数，Tmp_ent矩阵维度为神经单元个数×实体词个数。

3.根据权利要求1所述的一种基于关系相似度的上下义关系森林构建方法，其特征在于，所述步骤S7中，构建多叉树具体包括：统计Result矩阵中每一行的数量r_n_num，结合相似关系集合F(r_i,r_j)；相似关系中，假设对应实体数数量大的则作为上义关系，对应实体数量少的则作为下义关系；

情况2：若F(r_i,r_j)中存在相似关系S(r₁,r₂),S(r₁,r₃),S(r₁,r₄),S(r₃,r₅)，则根据r₁,r₂,r₃找出在Result矩阵中对应的r₁_num，r₂_num，r₃_num，r₄_num，r₅_num；

4.根据权利要求3所述的一种基于关系相似度的上下义关系森林构建方法，其特征在于，情况1中，R1＝softmax(r₁_num)，R2＝softmax(r₂_num)，R3＝softmax(r₃_num)，取根节点Root＝max(R1,R2,R3)，其余为子节点。

5.根据权利要求3所述的一种基于关系相似度的上下义关系森林构建方法，其特征在于，情况2中，R1＝softmax(r₁_num)，R2＝softmax(r₂_num)，R3＝softmax(r₃_num)，R4＝softmax(r₄_num)，R5＝softmax(r₅_num)，取根节点Root＝max(R1,R2,R3,R4,R5)，其余为子节点。