CN115545043B

CN115545043B - 一种实体与关系并行抽取模型及其构建方法、装置及应用

Info

Publication number: CN115545043B
Application number: CN202211506595.9A
Authority: CN
Inventors: 毛云青; 卓家雨; 张香伟; 彭大蒙; 梁艺蕾
Original assignee: CCI China Co Ltd
Current assignee: CCI China Co Ltd
Priority date: 2022-11-29
Filing date: 2022-11-29
Publication date: 2023-04-07
Anticipated expiration: 2042-11-29
Also published as: CN115545043A

Abstract

本申请提出了一种实体与关系并行抽取模型及其构建方法、装置及应用，包括以下步骤：将所述训练样本送入实体与关系并行抽取模型中，所述训练样本先经过所述并联模组得到共享信息；将所述共享信息输入到所述实体模组中到每一所述训练样本中的实体预测标签；将所述共享信息输入到所述实体关系模组中，获取每一所述训练样本中的每一字或词的多个实体关系，再对所述每一实体词汇的标签与对应的多个实体关系分别进行相对位置与内容上的关联度计算，得到每一实体的关联度矩阵，根据关联度矩阵得到实体关系预测结果。本方案将实体模组与实体关系模组合并为一个模型，并结合语义信息与实体相对位置信息进行实体关系预测，提高预测准确率。

Description

一种实体与关系并行抽取模型及其构建方法、装置及应用

技术领域

本申请涉及信息抽取领域，特别是涉及一种实体与关系并行抽取模型及其构建方法、装置及应用。

背景技术

信息抽取是一种从现存的电子信息当中抽取到结构化的数据，一般涉及到两个抽取模型，分别为实体抽取模型与关系抽取模型，实体抽取模型也叫命名实体识别，在信息抽取中扮演重要角色，主要抽取的是文本中的原子信息元素，如人名、组织/机构名、地理位置、事件/日期、字符值、金额值等，实体抽取任务有两个关键词，为找到命名实体、对命名实体进行分类，实体抽取模型的输入通常为数据治理过的电子文本，这里的数据治理主要指圆角转半角文本长度限制。如“系列赛进行到这个阶段，浙江广厦男篮的表现，让大家在每场比赛都能看到亮点”中，“浙江广厦男篮”是组织实体名。

所述关系抽取模型能够自动识别实体之间具有的某种语义关系，根据参与实体的多少可以分为二元关系抽取（两个实体）和多远关系抽取（三个及以上实体），抽取数据源通常有三种，分别为：1.面向结构化文本的关系抽取，包括表格文档、XML文档、数据库数据等；2.面向非结构化文本的关系抽取，如纯文本；3.面向半结构化文本的关系抽取，介于结构化和非结构化之间，如“小明出生于浙江省杭州市”。

现有的实体抽取模型与关系抽取模型是在对样本进行特征提取后，先进行实体词汇的判断，再使用实体词汇来进行实体关系的判断，在进行联合抽取时会导致以下问题：1.关系抽取模型与实体抽取模型各自作为独立模型训练完成后在预测阶段再进行组合，导致训练与预测模型的结构不一致；2.上游模型预测错误导致下游模型错误放大问题，如果实体预测模型预测不准确，实体预测模型的预测错误无法在关系预测模型中得到更正；3.关系预测模型的预测信息无法被实体预测模型得到，因此无法做出综合的判断，无法进行信息共享；4.实体预测模型与关系预测模型的损失值分开计算，因此无法从彼此的损失值与反向传播中同时学到相似的信息，并不是真正意义上的单个模型；5.合并后的模型并没有对合并后的数据信息进行筛选，因此导致合并后的模型对有效信息的筛选变弱；6.合并后的模型仅考虑样本中每个字或词内容与内容之间的关系，没有考虑内容与相对位置之间的关系，因此在判断实体关系上有所欠缺；7.合并后的模型仅能够从简单的字面上提取关系，而不能从复杂隐晦的文本中提取关系；8.合并后的模型在涉及到多实体少关系的文本中，模型无法结合文本语义进行实体与关系的判断，只能通过独立实体关键字加上大量样本数量进行判断。

发明内容

本申请实施例提供了一种实体与关系并行抽取模型及其构建方法、装置及应用，可以对样本数据进行实体与实体关系的联合抽取，且可以通过内容与相对位置两方面进行抽取，提高抽取的准确率。

第一方面，本申请实施例提供了一种实体与关系并行抽取模型的构建方法，所述方法包括：

获取至少一已标记实体词汇以及实体关系的城管事件文本作为训练样本，利用所述训练样本训练实体与关系并行抽取模型，所述实体与关系并行抽取模型包括拼接模组和并联模组，所述并联模组由实体模组和实体关系模组并联组成；

将所述训练样本输入到所述拼接模组中，所述拼接模组分别对所述训练样本进行特征提取，得到样本特征和样本语义特征，将所述样本特征与样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算每一所述训练样本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息；

将所述共享信息输入到所述实体模组中，所述实体模组对根据所述共享信息进行实体词汇标签的预测后得到预测实体词汇标签信息，对所述预测实体词汇标签信息进行评分得到评分信息，再根据所述评分信息筛选出评分最高的结果得到每一所述训练样本中的实体预测标签；

将所述共享信息以及所述实体预测标签输入到所述实体关系模组中，所述实体关系模组根据所述共享信息和所述实体预测标签得到每一实体的关联度矩阵，根据所述每一实体的关联度矩阵得到实体关系预测结果。

第二方面，本申请实施例提供了一种实体与关系并行抽取模型，使用实施例一所述的方法进行构建。

第三方面，本申请实施例提供了一种实体与关系并行抽取方法，包括：

获取至少一待抽取文本，将所述待抽取文本送入构建好的实体与关系并行抽取模型中，所述实体与关系并行抽取模型中的拼接模组对所述待抽取文本进行特征提取，得到样本特征和样本语义特征，将所述样本特征和所述样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算所述待抽取文本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息；

将所述共享信息输入到所述实体模组中，所述实体模组对所述共享信息进行实体词汇标签的预测后得到实体词汇标签信息，对所述实体词汇标签信息进行评分得到评分信息，再根据所述评分信息筛选出评分最高的结果得到所述待抽取文本中的实体标签；

将所述共享信息输入到所述实体关系模组中，所述实体关系模组对所述共享信息进行关系提取，获取所述待抽取文本中的每一字或词的多个实体关系信息，再对所述每一实体标签与对应的多个实体关系信息分别进行相对位置与内容上的关联度计算，得到实体关联度向量与实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到每一实体的关联度矩阵，对每一实体的关联度矩阵进行评分后得到实体关系。

第四方面，本申请实施例提供了一种实体与关系并行抽取模型的构建装置，包括：

获取模块：获取至少一已标记实体词汇以及实体关系的城管事件文本作为训练样本，利用所述训练样本训练实体与关系并行抽取模型，所述实体与关系并行抽取模型包括拼接模组和并联模组，所述并联模组由实体模组和实体关系模组并联组成；

拼接模块：将所述训练样本输入到所述拼接模组中，所述拼接模组分别对所述训练样本进行特征提取，得到样本特征和样本语义特征，将所述样本特征与样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算每一所述训练样本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息；

实体抽取模块：将所述共享信息输入到所述实体模组中，所述实体模组对根据所述共享信息进行实体词汇标签的预测后得到预测实体词汇标签信息，对所述预测实体词汇标签信息进行评分得到评分信息，再根据所述评分信息筛选出评分最高的结果得到每一所述训练样本中的实体预测标签；

实体关系抽取模块：将所述共享信息以及所述实体预测标签输入到所述实体关系模组中，所述实体关系模组根据所述共享信息和所述实体预测标签得到每一实体的关联度矩阵，根据所述每一实体的关联度矩阵得到实体关系预测结果。

第五方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种实体与关系并行抽取模型的构建方法或一种实体与关系并行抽取方法。

第六方面，本申请实施例提供了一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种实体与关系并行抽取模型的构建方法或一种实体与关系并行抽取方法。

本发明的主要贡献和创新点如下：

本申请实施例真正将实体模组与实体关系模组合并为一个模型，做到一次梯度下降对应一次反向传播；将实体模组与实体关系模组通过共同的梯度下降与反向传播共享传播的部分信息；在预测阶段融合实体抽取信息和关系抽取信息的过程中不是简单的采取合并的方法，而是只采用两个模型共有的实体标签来加强模型精度，且在实体模组与实体关系模组之前增加了并联模组，并联模组来结合语义信息以留住更多样本特征信息，让模型做出更加综合的判断；为了使得注意力计算的更加精确，在本方案的多重注意力计算中，对训练样本中各个字或词之间进行内容与内容、内容与位置、位置与内容、位置与位置的注意力计算；在进行实体与实体关系的抽取时，增加相对位置的特征信息进行综合判断，让模型由更丰富维度的信息进行学习；在模型中添加实体关系矩阵，让模型进行更加精确的识别；实体模组的损失反馈有模型损失与实体与关系组合层的损失得到，使得训练过程更加精确。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种实体与关系并行抽取模型的构建方法的流程图；

图2是根据本申请实施的一种实体与关系并行抽取模型中并联模组的结构图；

图3是根据本申请实施例的注意力提取实例图；

图4是根据本申请实施例的一种实体与关系并行抽取模型中实体模组的结构图；

图5是根据本申请实施例的一种实体与关系并行抽取模型中实体关系模组的结构图；

图6是根据本申请实施例的一种实体关系模组中评分层的结构图；

图7是根据本申请实施例的一种损失反馈计算流程图；

图8是根据本申请实施例的一种实体与关系并行抽取模型的构建方法的结构框图；

图9是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请实施例提供了一种实体与关系并行抽取模型的构建方法，可以实现通过一个模型从复杂隐晦的文本中提取实体与实体关系，并保证其准确率的目的，具体地，参考图1，所述方法包括：

将所述共享信息输入到所述实体模组中，所述实体模组根据所述共享信息进行实体词汇标签的预测后得到预测实体词汇标签信息，对所述预测实体词汇标签信息进行评分得到评分信息，再根据所述评分信息筛选出评分最高的结果得到每一所述训练样本中的实体预测标签；

在一些实施例中，如图2所示，所述拼接模组由特征提取层、多重注意力层、语义分析层串联组成，所述训练样本输入到所述特征提取层进行特征提取，得到样本特征和样本语义特征，每一所述样本特征中包含每一字或词的内容特征向量和位置特征向量，对所述样本特征和所述样本语义特征进行拼接后送入所述多重注意力层中对各个字或词之间进行内容与内容、内容与位置、位置与内容、位置与位置的注意力计算，并将其求和得到每一训练样本的多个注意力值，将每一训练样本中的多个注意力值和所述拼接特征输入到所述语义分析层，所述语义分析层对其进行深层次语义信息的抽取后得到共享信息。

示例性的，所述特征提取层有并联的Glove模型和ELMo/bert 预训练模型组成，所述训练样本经过Glove模型获取样本特征，所述训练样本经过ELMo/bert 预训练模型获取样本语义特征，将所述样本特征和所述样本语义特征拼接后送入所述多重注意力机制层中。

具体的，所述多重注意力机制是对所述拼接特征中任意两个字或词的特征进行内容与内容、内容与位置、位置与内容、位置与位置之间的注意力计算并求和得到两个字或词之间的注意力值，但是由于两个字或词之间的位置与位置之间的值在所述训练样本中没有意义，所以不参与计算。

示例性的，以内容和内容之间的注意力计算为例，每个字或词内容与内容之间的注意力公式如公式一所示：

其中，Q、K、V为所述训练样本经过线性变换操作得到的所述注意力公式的输入，W_q、W_k、W_v是可训练的参数矩阵，d为输入特征的维度，A为注意力值，H代表一训练样本中每一字或词的内容特征向量组合得到的矩阵。

示例性的，如图3所示，一训练样本为“小明出生于浙江省杭州市”，每一字的内容特征向量维度为250，则H为所述训练样本中每一字的内容特征向量的组合，即H=250*11，根据公式一分别计算出Q、K、V的值，Q_明对应的K_小的A_明，小值为0.7（满分为1.0），之后再将A_明，小值乘以V值得到他们的注意力值，使用上述计算方式，得出“生”与“明”的注意力值为0.1。

具体的，对训练样本进行注意力计算如公式二所示：

其中，Q_c代表有关内容特征向量的Q值，K_c代表有关内容特征向量的K值，V_c代表有关内容特征向量的V值，Q_r代表有关位置特征向量的Q值，K_r代表有关位置特征向量的K值，H代表一训练样本中每一字或词的内容特征向量组合得到的矩阵，P代表一训练样本中每一字或词的位置特征向量组合得到的矩阵，根据公式二来计算所述训练样本中任意两个字或词之间的A值，再将计算获得的A值乘以V得到注意力值，计算公式如公式三所示：

其中，代表所述训练样本中i字与j字之间的A值，代表i字有关内容特征向量的Q值，代表j字有关内容特征向量的K值，代表j字与i字相对位置的位置特征量的K值，代表i字与j字相对位置的位置特征向量的K值。

在一具体实施例中，可以使用任意神经网络模型根据所述注意力值对所述拼接特征进行深层次的语义抽取，得到包含语义信息的共享信息。

在一具体实施例中，所述共享信息为包含了语义信息的拼接特征以及所述训练样本中各个字或词之间的注意力值。

在一些实施例中，将所述共享信息输入到所述实体关系模组中，所述实体关系模组对所述共享信息进行关系提取，获取每一所述训练样本中的每一字或词的多个实体关系信息，再对所述每一实体预测标签与对应的多个实体关系信息分别进行相对位置与内容上的关联度计算，得到实体关联度向量与实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到每一实体的关联度矩阵，对每一实体的关联度矩阵进行评分后得到实体关系预测结果。

在一些实施例中，如图4所示，所述实体模组由实体信息保留层、评分层、条件随机场层串联组成，所述实体信息保留层对所述共享信息中的训练样本进行实体位置与标签的预测，得到预测实体词汇标签信息，所述预测实体词汇标签信息输入到所述评分层，所述评分层对所述预测实体词汇标签信息进行评分，得到评分信息，所述条件随机场层对所述评分信息进行筛选，得到所述共享信息中每一训练样本的实体预测标签。

具体的，所述实体位置为所述训练样本中可能是实体的字或词的相对位置信息；所述标签为实体标签，可以为人名、地名等；所述实体信息表征所述训练样本中对应的实体词汇。

示例性的，所述实体信息保留层可以是一个层数为L、每层单元个数为n的双向长短记忆网络BILSTM模型，所述实体保留层对所述共享信息中的训练样本进行实体位置与标签的评估，得到预测实体词汇标签信息，所述预测实体词汇标签信息为矩阵信息。

在一具体实施例中，所述评分层为两层前馈神经网络构成，其中，第一层前馈神经网络公式表示为FFNN₁，且第一层的输出尺寸与激活函数类型为可调节参数，第二层前馈神经网络公式可表示为为FFNN₂，且第二层前馈神经网络使用线性激活函数进行线性处理。

具体的，FFNN₁和FFNN₂根据选择的前馈神经网络不同可以表示不同的公式，第一层的输出尺寸与激活函数类型与第二层的线性激活函数根据选择的不同前馈神经网络使用不同的参数。

也就是说，所述预测实体词汇标签信息经过评分层的两层前馈神经网络得到评分信息，其公式表示如下：

S_n=FFNN₂*(FFNN₁*H_n)

其中，S_n表示评分信息，H_n表示预测实体词汇标签信息，所述评分信息的输出尺寸为k*d，k为训练样本变为矩阵表示后的长度，d为实体标签的类型维度，假设一共有10类标签，则d=10。

具体的，所述条件随机场层对所述评分信息进行筛选，筛选出所述评分信息中的字或词所对应的实体标签整体概率最高的序列标签，并将序列标签进行输出作为实体预测标签。

示例性的，一训练样本为“我是大眼仔”，则对于该训练样本，输出的标签为[O,O,B-name,I-name,I-name,]，前两个O代表“我是”，为非实体，所以不在标签中展示，B-代表实体的开头，为“大”，name代表实体标签的类型，为名字，I-代表实体的内容，两个I-分别代表“眼仔”。

在一些实施例中，如图5所示，所述实体关系模组由关系信息保留层、实体与关系组合层、评分层串联组成，所述关系信息保留层对所述共享信息中的关系关键词进行提取，得到关系信息，所述实体与关系组合层接收所述实体预测标签与所述关系信息，对所述各个实体预测标签进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关联度向量，对所述各个关系信息进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到关联度矩阵，所述评分层对所述关联度矩阵进行评分，通过所述关联度矩阵计算训练样本中各个实体之间的关系。

具体的，所述关系关键词为语义内容可以代表两个字或词之间关系的词汇。

进一步的，所述关系信息保留层利用所述共享信息中所述训练样本的语义信息来对所述共享信息提取关系信息，所述关系信息表征所述训练样本中隐含的各种实体关系；所述实体关联度向量表征所述训练样本中的实体在内容上和相对位置上的关联程度；所述实体关系关联度向量表征所述训练样本中的关系关键词在内容上和相对位置上的关联程度；所述关联度矩阵表征所述训练样本中各个实体之间对于实体关系在内容上和相对位置上的关联程度。

具体的，所述关系信息保留层为多层前馈神经网络和一个sigmoid激活函数组成，其层数为L，每层单元个数为n，所述关系信息保留层利用所述共享信息中的语义信息对所述共享信息中的训练样本进行关系关键词提取，获得不同种类的关系信息。

示例性的，所述共享信息中的一训练样本为“基本可以明确的是，5.4英寸的mini将会被砍，苹果对小屏手机已经失去信息，接下来的中心会放在大屏手机上。”在常规不附加语义信息的关系抽取上，该训练样本并没有很明显的字面上的关系关键词可以提炼，但是附加语义信息之后，该训练样本中包含的实体关系用三元组可以表示为（苹果、小屏手机、放弃），（苹果、大屏手机、生产），因为在进行实体关系的提取时是根据语义信息进行提取的，所以要先将语义信息与一个语义关系数据库中的关系分类数据进行余弦相似度的比较，并选取相似度最高的实体关系进入下一层前馈神经网络进行组合，每一所述训练样本可以有多个实体关系，这些实体关系以多标签的形式作为所述关系信息保留层的输出，如下表所示。

具体的，所述实体标签的相对位置关联度向量与所述实体标签的内容关联度向量的具体计算方式与公式三原理相同，在此不再赘述，计算结果如下表所示：

具体的，所述实体标签的内容关联度向量与相对位置关联度向量的向量长度分别设为N1、N2（表中的向量长度均为15），由于实体2相对于实体3的内容与实体3相对于实体2的内容数值相同，为了减小计算量，避免重复数据，将其设置为0，本方案中所有的关联度矩阵全部采用该设置，下文不再进行重复叙述。

具体的，所述关系信息的内容关联度向量与相对位置关联度向量的向量程度分别设为R1、R2（表中的向量长度均为6），其计算结果如下表所示：

具体的，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到关联度矩阵，对所述关联度矩阵进行阈值过滤法进行过滤，滤除实体关系关联度低的信息后进行输出。

进一步的，如图6所示，所述评分层由关系矩阵计算模块、前馈神经网络、余弦距离计算模块、拼接模块、激活输出模块组成，所述关系矩阵计算模块、前馈神经网络、余弦距离计算模块并联组成，合并模块对所述关系矩阵计算模块、前馈神经网络、余弦距离计算模块的输出结果进行合并后，交由激活输出模块进行激活输出。

具体的，所述关系矩阵计算模块对所述关联度矩阵内同一训练样本中的任意两个实体进行关系矩阵的计算，得到实体关系可能性矩阵，再分别计算两个实体的头尾前馈神经网络和两个实体之间的余弦距离，将所述实体关系可能性矩阵、头尾前馈神经网络、余弦距离进行拼接，得到拼接结果，将所述拼接结果由激活函数进行阈值判断后进行输出。

示例性的，所述实体关系可能性矩阵使用DISTMULT进行计算，具体公式如下：

其中，g_i与g_j分别代表一个训练样本中随机抽取的两个实体（g_i与g_j可以相同），r代表可能的关系维度（即该实体可以具有多少种关系，由关联度矩阵得到），M为一个对角线矩阵，其长宽分别为g_i与g_j的长度，所述实体关系可能性矩阵中对角线的值越大，就代表该维度对应的实体关系越相似。

示例性的，所述实体的头尾前馈神经网络的计算公式如下：

其中，i为所述训练样本中的两个实体词汇，FFNN代表前馈神经网络，r1代表向量维度为r的第一层前馈神经网络，head代表实体词汇的头部，tail代表实体词汇的尾部。

示例性的，所述实体之间的余弦距离的计算公式如下：

cos（i，j）

其中，i，j为所述训练样本中的两个实体词汇。

示例性的，将所述实体关系可能性矩阵、实体的头尾前馈神经网络、实体之间的预选距离进行拼接后再结合第二层前馈神经网络得到拼接结果，具体公式如下：

其中，s_i,j ^r为第一输出结果，第二层前馈神经网络FFNN^（r2）使用线性激活函数，o代表拼接。

示例性的，使用sigmoid激活函数对所述第一输出结果进行计算，并设定θ^r为sigmoid激活函数阈值，当sigmoid激活函数的计算结果超过θ^r时输出计算得出的第二输出结果，所述第二输出结果为实体关系预测结果，其计算公式如下：

其中，为实体词汇i与实体词汇j之间的实体关系预测结果，为第一输出结果，所述实体关系预测结果包括实体与实体之间的关系。

在一些实施例中，使用负对数似然损失函数计算实体关系模组的损失函数，使用二元交叉熵损失函数计算实体关系模组的损失函数，将两个损失函数进行合并得到模型损失函数。

具体的，所述负对数似然损失函数的计算公式为：

其中，y_n代表第n个样本的训练标签值，w^T为可训练参数，x_n代表训练样本值，所述训练标签值表征训练数据的初始标记。

具体的，所述二元交叉熵损失函数的计算公式为：

其中，代表模型预测值，y代表训练标签值。

进一步的，将所述负对数似然损失函数与所述二元交叉熵损失函数合并得到模型损失函数，具体公式如下：

其中，P（L_NER）表示实体模组抽取实体的准确率，P(L_RE)表示实体关系模组抽取实体关系的准确率。

在一些实施例中，如图7所示，所述实体模组的损失反馈由实体与关系并行抽取模型的损失与所述实体关系模组中的实体与关系组合层中的损失进行相加得到。

具体的，所述实体与关系并行抽取模型的损失反馈为L(Yner) = L+Le，其中L(Yner)为实体的损失值，L为实体与关系并行抽取模型的损失，Le为实体与关系组合层中的损失。

实施例二

本方案提供一种实体与关系并行抽取模型，使用实施例一种的方法进行构建得到。

实施例三

本方案提供一种实体与关系并行抽取方法，包括：

实施例四

基于相同的构思，参考图8，本申请还提出了一种实体与关系并行抽取模型的构建装置，包括：

实施例五

本实施例还提供了一种电子装置，参考图9，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种实体与关系并行抽取模型的构建方法或一种实体与关系并行抽取方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是训练样本、共享信息、语义关系数据库等，输出的信息可以是实体抽取结果或实体关系抽取结果。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

S101、获取至少一已标记实体词汇以及实体关系的城管事件文本作为训练样本，利用所述训练样本训练实体与关系并行抽取模型，所述实体与关系并行抽取模型包括拼接模组和并联模组，所述并联模组由实体模组和实体关系模组并联组成；

S102、将所述训练样本输入到所述拼接模组中，所述拼接模组分别对所述训练样本进行特征提取，得到样本特征和样本语义特征，将所述样本特征与样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算每一所述训练样本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息；

S103、将所述共享信息输入到所述实体模组中，所述实体模组对根据所述共享信息进行实体词汇标签的预测后得到预测实体词汇标签信息，对所述预测实体词汇标签信息进行评分得到评分信息，再根据所述评分信息筛选出评分最高的结果得到每一所述训练样本中的实体预测标签；

S104、将所述共享信息以及所述实体预测标签输入到所述实体关系模组中，所述实体关系模组根据所述共享信息和所述实体预测标签得到每一实体的关联度矩阵，根据所述每一实体的关联度矩阵得到实体关系预测结果。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图9中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种实体与关系并行抽取模型的构建方法，其特征在于，包括以下步骤：

将所述训练样本输入到所述拼接模组中，所述拼接模组分别对所述训练样本进行特征提取，得到样本特征和样本语义特征，将所述样本特征与样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算每一所述训练样本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息，共享信息包含了语义信息的拼接特征以及所述训练样本中各个字或词之间的注意力值；

将所述共享信息以及所述实体预测标签输入到所述实体关系模组中，所述实体关系模组根据所述共享信息和所述实体预测标签得到每一实体的关联度矩阵，对所述各个实体预测标签进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关联度向量，对所述各个关系信息进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到关联度矩阵，其中，所述实体标签的相对位置关联度向量与所述实体标签的内容关联度向量的具体计算方式与公式三原理相同，公示三如下所示：

其中，代表所述训练样本中i字与j字之间的A值，代表i字有关内容特征向量的Q值，代表j字有关内容特征向量的K值，代表j字与i字相对位置的位置特征量的K值，代表i字与j字相对位置的位置特征向量的K值，K值与Q值通过公式二计算得到，公式二如下所示：

其中，Q_c代表有关内容特征向量的Q值，K_c代表有关内容特征向量的K值，V_c代表有关内容特征向量的V值，Q_r代表有关位置特征向量的Q值，K_r代表有关位置特征向量的K值，H代表一训练样本中每一字或词的内容特征向量组合得到的矩阵，P代表一训练样本中每一字或词的位置特征向量组合得到的矩阵，根据所述每一实体的关联度矩阵得到实体关系预测结果。

2.根据权利要求1所述的一种实体与关系并行抽取模型的构建方法，其特征在于，所述拼接模组由特征提取层、多重注意力层、语义分析层串联组成，所述训练样本输入到所述特征提取层进行特征提取，得到样本特征和样本语义特征，每一所述样本特征中包含每一字或词的内容特征向量和位置特征向量，对所述样本特征和所述样本语义特征进行拼接后送入所述多重注意力层中对各个字或词之间进行内容与内容、内容与位置、位置与内容、位置与位置的注意力计算，并将其求和得到每一训练样本的多个注意力值，将每一训练样本中的多个注意力值和所述拼接特征输入到所述语义分析层，所述语义分析层对其进行深层次语义信息的抽取后得到共享信息。

3.根据权利要求1所述的一种实体与关系并行抽取模型的构建方法，其特征在于，所述实体模组由实体信息保留层、评分层、条件随机场层串联组成，所述实体信息保留层对所述共享信息中的训练样本进行实体位置与标签的预测，得到预测实体词汇标签信息，所述预测实体词汇标签信息输入到所述评分层，所述评分层对所述预测实体词汇标签信息进行评分，得到评分信息，所述条件随机场层对所述评分信息进行筛选，得到所述共享信息中每一训练样本的实体预测标签。

4.根据权利要求1所述的一种实体与关系并行抽取模型的构建方法，其特征在于，将所述共享信息输入到所述实体关系模组中，所述实体关系模组对所述共享信息进行关系提取，获取每一所述训练样本中的每一字或词的多个实体关系信息，再对所述每一实体预测标签与对应的多个实体关系信息分别进行相对位置与内容上的关联度计算，得到实体关联度向量与实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到每一实体的关联度矩阵，对每一实体的关联度矩阵进行评分后得到实体关系预测结果。

5.根据权利要求4所述的一种实体与关系并行抽取模型的构建方法，所述实体关系模组由关系信息保留层、实体与关系组合层、评分层串联组成，所述关系信息保留层对所述共享信息中的关系关键词进行提取，得到关系信息，所述实体与关系组合层接收所述实体预测标签与所述关系信息所述评分层对所述关联度矩阵进行评分，通过所述关联度矩阵计算训练样本中各个实体之间的关系。

6.根据权利要求3所述的一种实体与关系并行抽取模型的构建方法，其特征在于，所述评分层由关系矩阵计算模块、前馈神经网络、余弦距离计算模块、拼接模块、激活输出模块组成，所述关系矩阵计算模块、前馈神经网络、余弦距离计算模块并联组成，合并模块对所述关系矩阵计算模块、前馈神经网络、余弦距离计算模块的输出结果进行合并后，交由激活输出模块进行激活输出。

7.根据权利要求1所述的一种实体与关系并行抽取模型的构建方法，其特征在于，所述实体模组的损失反馈由实体与关系并行抽取模型的损失与所述实体关系模组中的实体与关系组合层中的损失进行相加得到。

8.一种实体与关系并行抽取方法，包括：

获取至少一待抽取文本，将所述待抽取文本送入构建好的实体与关系并行抽取模型中，所述实体与关系并行抽取模型中的拼接模组对所述待抽取文本进行特征提取，得到样本特征和样本语义特征，将所述样本特征和所述样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算所述待抽取文本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息，共享信息包含了语义信息的拼接特征以及所述训练样本中各个字或词之间的注意力值；

将所述共享信息输入到所述实体关系模组中，所述实体关系模组对所述共享信息进行关系提取，获取所述待抽取文本中的每一字或词的多个实体关系信息，再对所述每一实体标签与对应的多个实体关系信息分别进行相对位置与内容上的关联度计算，得到实体关联度向量与实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到每一实体的关联度矩阵，对所述各个实体预测标签进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关联度向量，对所述各个关系信息进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到关联度矩阵，其中，所述实体标签的相对位置关联度向量与所述实体标签的内容关联度向量的具体计算方式与公式三原理相同，公示三如下所示：

其中，Q_c代表有关内容特征向量的Q值，K_c代表有关内容特征向量的K值，V_c代表有关内容特征向量的V值，Q_r代表有关位置特征向量的Q值，K_r代表有关位置特征向量的K值，H代表一训练样本中每一字或词的内容特征向量组合得到的矩阵，P代表一训练样本中每一字或词的位置特征向量组合得到的矩阵，对每一实体的关联度矩阵进行评分后得到实体关系。

9.一种实体与关系并行抽取模型的构建装置，其特征在于，包括以下步骤：

拼接模块：将所述训练样本输入到所述拼接模组中，所述拼接模组分别对所述训练样本进行特征提取，得到样本特征和样本语义特征，将所述样本特征与样本语义特征进行拼接得到拼接特征，根据所述拼接特征计算每一所述训练样本中各个字或词之间的注意力值，根据所述注意力值对所述拼接特征进行深层次语义关系的抽取得到共享信息，共享信息包含了语义信息的拼接特征以及所述训练样本中各个字或词之间的注意力值；

实体关系抽取模块：将所述共享信息以及所述实体预测标签输入到所述实体关系模组中，所述实体关系模组根据所述共享信息和所述实体预测标签得到每一实体的关联度矩阵，对所述各个实体预测标签进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关联度向量，对所述各个关系信息进行相对位置特征与内容特征的关联度向量计算并进行拼接得到实体关系关联度向量，将所述实体关联度向量与所述实体关系关联度向量进行拼接得到关联度矩阵，其中，所述实体标签的相对位置关联度向量与所述实体标签的内容关联度向量的具体计算方式与公式三原理相同，公示三如下所示：

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种实体与关系并行抽取模型的构建方法或权利要求8所述的一种实体与关系并行抽取方法。

11.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-7任一所述的一种实体与关系并行抽取模型的构建方法或权利要求8所述的一种实体与关系并行抽取方法。