CN113434676A - 文本关系提取模型训练、文本关系提取方法、装置及设备 - Google Patents

Abstract

本发明公开了一种文本关系提取模型训练方法、装置、计算机设备及介质，该方法运用基于ALBERT的预设关系提取模型的跨层参数中共享后的初始参数对样本文本对进行意图特征提取和实体抽取，得到第一意图结果、第一实体结果、第二意图结果和第二实体结果；根据第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定样本文本对的预测文本对标签；根据初始文本对标签和预测文本对标签确定预测损失值；在预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新预设关系提取模型中的初始参数，直至预测损失值达到收敛条件时，将收敛之后的预设关系提取模型记录为文本关系提取模型。本发明提高了文本关系提取的准确率。

Description

文本关系提取模型训练、文本关系提取方法、装置及设备

技术领域

本发明涉及预测模型技术领域，尤其涉及一种文本关系提取模型训练、文本关系提取方法、装置、计算机设备及介质。

背景技术

随着互联网、人工智能和大数据等计算机技术在各行各业的快速发展，越来越多的计算机领域的政策文本被颁布，以规范和促进计算机技术的发展。

目前对政策文本的研究往往是针对单篇政策文本提取主题和关键词，进而分析政策文本的情感倾向和应用领域等，该方案忽略了不同的政策文本之间在制定上存在的继承和补充等关联特点，因此，通过上述方案提所取的主体和关键词，在用于确定政策文本之间的关联性时，准确度较低，无法精准体现政策文本之间的关联度。

发明内容

本发明实施例提供一种文本关系提取模型训练、文本关系提取方法、装置、计算机设备及介质，以解决确定政策文本之间的关联性的准确度较低的问题。

一种文本关系提取模型训练方法，包括：

获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

一种文本关系提取方法，包括：

接收包含第一政策文本以及第二政策文本的文本关系提取指令；

将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据上述文本关系提取模型训练方法得到的。

一种文本关系提取模型训练装置，包括：

样本文本训练集获取模块，用于获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

意图实体提取模块，用于将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

标签预测模块，用于根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

预测损失值确定模块，用于根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

初始参数更新模块，用于在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

一种文本关系提取装置，包括：

指令接收模块，用于接收包含第一政策文本以及第二政策文本的文本关系提取指令；

文本关系确定模块，用于将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据上述文本关系提取模型训练方法得到的。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本关系提取模型训练方法，或所述处理器执行所述计算机程序时实现上述文本关系提取方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本关系提取模型训练方法，或所述计算机程序被处理器执行时实现上述文本关系提取方法。

上述文本关系提取模型训练、文本关系提取方法、装置、计算机设备及介质，该方法通过获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

本发明通过基于ALBERT的预设关系提取模型对第一样本文本和第二样本文本进行意图特征提取和实体抽取，得到第一意图结果、第一实体结果、第二意图结果和第二实体结果之后，可以通过上述结果对第一样本文本和第二样本文本之间的文本关系进行预测，能够提高文本关系确定的准确性，并且从文本中的意图和实体出发，可以更好的挖掘文本之间的文本关系，进一步提高了文本关系提取的确定性以及普适性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中文本关系提取模型训练方法的一应用环境示意图；

图2是本发明一实施例中文本关系提取模型训练方法的一流程图；

图3是本发明一实施例中文本关系提取模型训练方法中步骤S20的一流程图；

图4是本发明一实施例中文本关系提取方法的一流程图；

图5是本发明一实施例中文本关系提取模型训练装置的一原理框图；

图6是本发明一实施例中文本关系提取模型训练装置中意图实体提取模块的一示意图；

图7是本发明一实施例中文本关系提取装置的一原理框图；

图8是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的文本关系提取模型训练方法，该文本关系提取模型训练方法可应用如图1所示的应用环境中。具体地，该文本关系提取模型训练方法应用在文本关系提取模型训练系统中，该文本关系提取模型训练系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决确定政策文本之间的关联性的准确度较低的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种文本关系提取模型训练方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10：获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

可以理解地，样本文本训练集可以通过各类网站，书籍等媒介中爬取获得。一组样本文本对中包含一个第一样本文本以及一个第二样本文本，第一样本文本和第二样本文本为不同的文本。在本实施例中，第一样本文本和第二样本文本均为政策文本的标题等，示例性地，第一样本文本可以为深圳市燃气管道管理安全保护办法，第二样本文本可以为中华人民共和国石油天然气管道保护法。

进一步地，初始文本对标签表征第一样本文本与第二样本文本之间的文本关系，该初始文本对标签可以预先通过人工标注的方式实现；可选地，本实施例中的初始文本对标签包括但不限于：引用衍生关系标签、转发关系标签、替代关系标签、废止关系标签和修改关系标签等。示例性地，假设第一样本文本可以为深圳市燃气管道管理安全保护办法，第二样本文本可以为中华人民共和国石油天然气管道保护法，则该样本文本对关联的初始文本对标签为引用衍生关系标签。

S20：将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

可以理解地，本实施例提出的意图识别模型为基于ALBERT的网络架构的神经网络模型，意图实体识别模型实现了自动识别出输入的第一样本文本和第二样本文本中的意图和实体的模型。其中，ALBERT的网络框架是BERT的网络架构的改进，该ALBERT的网络框架的参数少但是精度与BERT的网络架构相同，通过降维因式分解法处理各个参数的维度，以及跨层参数共享和去除dropout层，大大压缩了模型的容量，使意图实体识别模型轻量化，便于应用至移动设备，运用跨层参数共享后的初始参数，对所述第一样本文本和第二样本文本进行意图特征提取和实体抽取，意图特征为文本中的意图相关的特征，实体抽取为抽取出文本中的实体的过程，即识别出文本中具有实体特征的词组，结合所述意图特征和抽取出的实体，得到所述意图结果和实体结果，意图结果表征了第一样本文本或者第二样本文本中的动作意图(如上述的引用、替换等)，实体结果表征了第一样本文本和第二样本文本中的关键的实体及分布。

S30：根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

具体地，在将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果之后，确定第一实体结果与第二实体结果的相似程度，进而可以根据第一意图结果、第二意图结果以及第一实体结果与第二实体结果的相似程度，确定样本文本对的预测文本对标签。

S40：根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

具体地，在确定与第一样本文本对应的第一意图结果和第一实体结果，以及与第二样本文本对应的第二意图结果和第二实体结果之后，即可根据第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定样本文本对的预测文本对标签，进而根据与该样本文本对关联的初始文本对标签以及该预测文本对标签，确定意图实体识别模型的预测损失值。

S50：在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

可以理解地，所述跨层参数共享的方法为将每层的权重参数进行共享，将各层的权重参数设置成一致，或者各层的权重参数通过由共享参数和公差参数构成，各层的共享参数一致，训练过程中，向共享参数一致靠拢，训练后将公差参数不为零的该层进行标记并组成数组，大大压缩了各层的权重参数的容量，所述LAMB优化器的作用便在于使模型在进行大批量数据训练时，能够维持梯度更新的精度，即所述LAMB优化器支持自适应元素级更新(adaptive element-wise updating)和准确的逐层修正(layer-wise correction)，通过所述LAMB优化器可将ALBERT预训练的批量大小扩展到64K，且不会造成准确率损失。

可以理解地，该收敛条件可以为预测损失值小于设定阈值的条件，也即在预测损失值小于设定阈值时，停止训练；收敛条件还可以为预测损失值经过了10000次计算后值为很小且不会再下降的条件，也即预测损失值经过10000次计算后值很小且不会下降时，停止训练，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

进一步地，根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值之后，在预测损失值未达到预设的收敛条件时，根据该预测损失值运用跨层参数共享和LAMB优化器调整预设关系提取模型的初始参数，并将该样本文本对重新输入至调整初始参数后的预设关系提取模型中，以在该样本文本对的预测损失值达到预设的收敛条件时，选取样本文本训练集中另一个样本文本对，并执行上述步骤S20至S40，并得到与该样本文本对的预测损失值，并在该预测损失值未达到预设的收敛条件时，根据该预测损失值运用跨层参数共享和LAMB优化器再次调整预设关系提取模型的初始参数，使得该样本文本对的预测损失值达到预设的收敛条件。

如此，在通过样本文本训练集中所有样本文本对，对预设关系提取模型进行训练之后，使得预设关系提取模型输出的结果可以不断向准确地结果靠拢，让识别准确率越来越高，直至所有样本文本对的预测损失值均达到预设的收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

本发明实现了通过跨层参数共享的方法和LAMB优化器，能够大大缩小模型的训练周期，以及压缩了模型的容量。

在本实施例中，通过基于ALBERT的预设关系提取模型对第一样本文本和第二样本文本进行意图特征提取和实体抽取，得到第一意图结果、第一实体结果、第二意图结果和第二实体结果之后，可以通过上述结果对第一样本文本和第二样本文本之间的文本关系进行预测，能够提高文本关系确定的准确性，并且从文本中的意图和实体出发，可以更好的挖掘文本之间的文本关系，进一步提高了文本关系提取的确定性以及普适性。

在一实施例中，如图3所示，步骤S20中，也即所述将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果，包括：

S201：根据预设词向量字典，对所述第一样本文本以及所述第二样本文本进行词向量转换，得到与所述第一样本文本对应的若干第一分词向量，以及与所述第二样本文本对应的若干第二分词向量；

具体地，在将样本文本对输入至基于ALBERT的预设关系提取模型之后，获取预设词向量字典，并根据该预设词向量字典，对第一样本文本以及第二样本文本进行词向量转换，得到与第一样本文本对应的各第一分词向量，以及与第二样本文本对应的各第二分词向量。

在一实施例中，步骤S201中，包括：

对所述第一样本文本以及第二样本文本进行分词处理，得到与所述第一样本文本对应的多个第一文本字词，以及与所述第二样本文本对应的第二文本字词；

根据所述预设的词向量字典，确定与各所述第一文本字词分别对应的所述第一分词向量，以及与各所述第二文本字词分别对应的所述第二分词向量。

可以理解地，在预设的词向量字典中存在多组字词以及与各字词关联的词向量。进而在对第一样本文本以及第二样本文本进行分词处理，得到与所述第一样本文本对应的多个第一文本字词，以及与所述第二样本文本对应的第二文本字词之后，可以从预设的词向量字典中获取与各第一文本字词分别对应的第一分词向量，或者各第二文本字词分别对应的第二分词向量；也即一个第一文本字词对应一个第一分词向量，一个第二文本字词对应一个第二分词向量。可选地，本实施例中第一分词向量和第二分词向量的向量维度设定为300。

进一步地，若存在任一第一文本字词或者第二文本字词，在预设的词向量字典中不存在且不存在关联的词向量时(如集外词或者代词)，可以根据与该第一文本字词或者第二文本字词关联的前后文中其它第一文本字词或者第二文本字词的第一分词向量或者第二分词向量，生成与该第一文本字词或者第二文本字词对应的词向量，如此也可以保证该第一文本字词或者第二文本字词对应的词向量符合上下文语义特征。

具体地，可以对与该第一文本字词或者第二文本字词关联的前后文中其它字词的词向量，进行累加求和取平均的方法，也即累加所有与该第一文本字词或者第二文本字词关联的前后文中其它字词的词向量，得到词向量累加和，并将此向量累加和与其它字词总个数(也即与该第一文本字词或者第二文本字词关联的前后文中其它字词的总个数)之商记录为该第一文本字词或者第二文本字词对应的词向量。

S202：运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果；以及运用跨层参数共享后的初始参数对各所述第二分词向量进行意图特征提取和实体抽取，得到所述第二意图结果和第二实体结果。

具体地，根据预设词向量字典，对所述第一样本文本以及所述第二样本文本进行词向量转换，得到与所述第一样本文本对应的各第一分词向量，以及与所述第二样本文本对应的各第二分词向量之后，运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果；以及运用跨层参数共享后的初始参数对各所述第二分词向量进行意图特征提取和实体抽取，得到所述第二意图结果和第二实体结果。

在一实施例中，步骤S202中，也即所述运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果，包括：

运用降维因式分解法，对各所述第一分词向量进行降维处理，得到第一降维文本向量；

可以理解地，所述降维因式分解法为词嵌入向量参数的因式分解，将词嵌入向量参数由O(V*H)降低至O(V*E+E*H)，例如：V＝30000,H＝4096,E＝128，那么原先参数为V*H＝30000*4096＝1.23亿个参数，现在则为V*E+E*H＝30000*128+128*4096＝384万+52万＝436万，词嵌入相关的参数变化前是变换后的28倍，所述降维处理为运用所述降维因式分解法进行处理的过程。

运用跨层参数共享后的初始参数，对所述第一降维文本向量进行所述意图特征提取，得到第一意图输出向量；以及对所述第一降维文本向量进行所述实体抽取处理，得到第一实体输出向量；

可以理解地，初始参数为基于ALBERT的意图实体识别模型的参数，并且通过跨层参数共享获得，第一意图输出向量为通过对第一降维文本向量进行意图特征提取及池化后输出的向量，第一意图输出向量可以为768维(768dim)的特征向量图。第一实体输出向量为通过对第一降维文本向量进行实体抽取处理后提取出的向量，第一实体输出向量也可以为768维(768dim)的特征向量图。

通过所述意图实体识别模型中的softmax层对所述第一意图输出向量进行激活处理，得到所述第一意图结果；

可以理解地，通过意图实体识别模型中的全连接层的所述softmax层对意图输出向量进行激活处理，其中，神经元数为意图种类的数量，通过激活处理可以得到各个意图种类的概率值，从而得到意图结果。示例性地，假设第一样本文本为关于保障国家综合性消防救援法，第二样本文本为深圳市人民政府办公厅转发关于保障国家综合性消防救援法，则第一意图结果为不包含意图特征；第二意图结果为转发意图。

根据所述第一意图结果，对所述第一实体输出向量进行增维处理，并对增维处理后的所述第一实体输出向量进行实体分类，得到所述第一实体结果。

可以理解地，增维处理为对第一实体输出向量的基础上增加第一意图结果的维度，增加的第一意图结果的宽度与第一实体输出向量的宽度一致，如此可以对每个第一实体输出向量中的特征与第一意图结果关联，从而对增维处理后的第一实体输出向量进行更加切合意图的实体分类，从而得到第一实体结果。示例性地，假设第一样本文本为关于保障国家综合性消防救援法，由于该第一样本文本中的第一意图结果为不包含意图特征，进而可以直接将该第一样本文本的实体识别结果作为最终的第一实体结果，也即该第一实体结果为国家消防法。

在一实施例中，步骤S202中，也即所述运用跨层参数共享后的初始参数对各所述第二分词向量进行意图特征提取和实体抽取，得到所述第二意图结果和第二实体结果，包括：

运用降维因式分解法，对各所述第二分词向量进行降维处理，得到第二降维文本向量；

可以理解地，所述降维因式分解法为词嵌入向量参数的因式分解，将词嵌入向量参数由O(V*H)降低至O(V*E+E*H)，例如：V＝30000,H＝4096,E＝128，那么原先参数为V*H＝30000*4096＝1.23亿个参数，现在则为V*E+E*H＝30000*128+128*4096＝384万+52万＝436万，词嵌入相关的参数变化前是变换后的28倍，所述降维处理为运用所述降维因式分解法进行处理的过程。

运用跨层参数共享后的初始参数，对所述第二降维文本向量进行所述意图特征提取，得到第二意图输出向量；以及对所述第二降维文本向量进行所述实体抽取处理，得到第二实体输出向量；

可以理解地，初始参数为基于ALBERT的意图实体识别模型的参数，并且通过跨层参数共享获得，第一意图输出向量为通过对第一降维文本向量进行意图特征提取及池化后输出的向量，第一意图输出向量可以为768维(768dim)的特征向量图。第一实体输出向量为通过对第一降维文本向量进行实体抽取处理后提取出的向量，第一实体输出向量也可以为768维(768dim)的特征向量图。

通过所述意图实体识别模型中的softmax层对所述第二意图输出向量进行激活处理，得到所述第二意图结果；

可以理解地，通过意图实体识别模型中的全连接层的所述softmax层对意图输出向量进行激活处理，其中，神经元数为意图种类的数量，通过激活处理可以得到各个意图种类的概率值，从而得到意图结果。示例性地，假设第一样本文本为关于保障国家综合性消防救援法，第二样本文本为深圳市人民政府办公厅转发关于保障国家综合性消防救援法，则第一意图结果为不包含意图特征；第二意图结果为转发意图。

根据所述第二意图结果，对所述第二实体输出向量进行增维处理，并对增维处理后的所述第二实体输出向量进行实体分类，得到所述第二实体结果。

可以理解地，增维处理为对第二实体输出向量的基础上增加第二意图结果的维度，增加的第二意图结果的宽度与第二实体输出向量的宽度一致，如此可以对每个第二实体输出向量中的特征与第二意图结果关联，从而对增维处理后的第二实体输出向量进行更加切合意图的实体分类，从而得到第二实体结果。示例性地，假设第二样本文本为深圳市人民政府办公厅转发关于保障国家综合性消防救援法，由于该第二样本文本中的第二意图结果为转发意图，进而可以确定该第二样本文本中包含两个实体，一个为转发部门实体(也即深圳市人民政府办公厅)，另一个为国家消防法实体(也即关于保障国家综合性消防救援法)。

在一实施例中，步骤S30中，也即所述根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签，包括：

自所述第一样本文本中确定与所述第一实体结果对应的第一实体文本，并自所述第二样本文本中确定与所述第二实体结果对应的第二实体文本；

可以理解地，在确定第一实体结果和第二实体结果之后，自第一样本文本中确定与第一实体结果对应的第一实体文本，以及自第二样本文本中确定与第二实体结果对应的第二实体文本。示例性地，假设第二样本文本为深圳市人民政府办公厅转发关于保障国家综合性消防救援法，该第二样本文本包含转发部门实体以及国家消防法实体，进而确定与转发部门实体对应的第二实体文本为深圳市人民政府办公厅，与国家消防法实体对应的第二实体文本为关于保障国家综合性消防救援法；第一样本文本为关于保障国家综合性消防救援法，则第一实体结果为国家消防法实体，对应的第一实体文本即为第一样本文本。

确定所述第一实体文本与所述第二实体文本之间的文本相似度，并将所述文本相似度与预设相似度阈值进行比较；

可以理解地，在确定第一实体文本和第二实体文本之后，需要确定第一实体文本与第二实体文本之间的文本相似度，例如通过余弦相似度或者欧几里得距离方法确定文本相似度，并将文本相似度与预设相似度阈值进行比较。其中，预设相似度阈值可以设定为如0.9,0.95等。

在所述文本相似度大于或等于所述预设相似度阈值时，根据所述第一意图结果以及所述第二意图结果，确定所述预测文本标签。

具体地，在将文本相似度与预设相似度阈值进行比较之后，若文本相似度大于或等于预设相似度阈值，则表征第一样本文本与第二样本文本之间具有关联性，进而可以根据第一意图结果以及第二意图结果，确定第一样本文本与第二样本文本之间的关系，也即得到预测文本标签。示例性地，第一意图结果为不包含意图特征；第二意图结果为转发意图，则该预测文本标签可以为转发关系。

在一实施例中，步骤S302之后，也即所述将所述文本相似度与预设相似度阈值进行比较之后，还包括：

在所述文本相似度小于所述预设相似度阈值时，确定所述预测文本标签为空文本标签。

具体地，在将文本相似度与预设相似度阈值进行比较之后，若文本相似度小于预设相似度阈值，则表征第一样本文本与第二样本文本不相关，因此不需要对其之间的关系进行预测，直接将预测文本标签记录为空文本标签，也即空文本标签表征了第一样本文本与第二样本文本之间不具有关联关系。

在一实施例中，如图4所示，提出一种文本关系提取方法，包括以下步骤：

S60：接收包含第一政策文本以及第二政策文本的文本关系提取指令；

S70：将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据上述实施例中文本关系提取模型训练方法得到的。

可以理解地，第一政策文本和第二政策文本为不同的政策文本，且本实施例中传输时可以仅传输第一政策文本的标题以及第二政策文本的标题。示例性地，第一政策文本可以为深圳市燃气管道管理安全保护办法，第二政策文本可以为中华人民共和国石油天然气管道保护法。

具体地，在接收包含第一政策文本以及第二政策文本的文本关系提取指令之后，将第一政策文本以及第二政策文本输入至文本关系提取模型中，以通过文本关系提取模型确定第一政策文本与所述第二政策文本之间的文本关系结果。其中，文本关系结果即表征了第一政策文本与第二政策文本之间的文本关系，例如引用衍生关系、转发关系、替代关系、废止关系或者修改关系等。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种文本关系提取模型训练装置，该文本关系提取模型训练装置与上述实施例中文本关系提取模型训练方法一一对应。如图5所示，该文本关系提取模型训练装置包括样本文本训练集获取模块10、意图实体提取模块20、标签预测模块30、预测损失值确定模块40和初始参数更新模块50。各功能模块详细说明如下：

样本文本训练集获取模块10，用于获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

意图实体提取模块20，用于将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

标签预测模块30，用于根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

预测损失值确定模块40，用于根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

初始参数更新模块50，用于在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

优选地，如图6所示，意图实体提取模块20包括：

词向量转换单元201，用于根据预设词向量字典，对所述第一样本文本以及所述第二样本文本进行词向量转换，得到与所述第一样本文本对应的若干第一分词向量，以及与所述第二样本文本对应的若干第二分词向量；

意图实体提取单元202，用于运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果；以及运用跨层参数共享后的初始参数对各所述第二分词向量进行意图特征提取和实体抽取，得到所述第二意图结果和第二实体结果。

优选地，词向量转换单元201包括：

分词处理子单元，用于对所述第一样本文本以及第二样本文本进行分词处理，得到与所述第一样本文本对应的多个第一文本字词，以及与所述第二样本文本对应的第二文本字词；

词向量确定子单元，用于根据所述预设的词向量字典，确定与各所述第一文本字词分别对应的所述第一分词向量，以及与各所述第二文本字词分别对应的所述第二分词向量。

优选地，意图实体提取单元202包括：

第一降维处理子单元，用于运用降维因式分解法，对各所述第一分词向量进行降维处理，得到第一降维文本向量；

第一意图提取子单元，用于运用跨层参数共享后的初始参数，对所述第一降维文本向量进行所述意图特征提取，得到第一意图输出向量；以及对所述第一降维文本向量进行所述实体抽取处理，得到第一实体输出向量；

第一向量激活子单元，用于通过所述意图实体识别模型中的softmax层对所述第一意图输出向量进行激活处理，得到所述第一意图结果；

第一实体分类子单元，用于根据所述第一意图结果，对所述第一实体输出向量进行增维处理，并对增维处理后的所述第一实体输出向量进行实体分类，得到所述第一实体结果。

优选地，意图实体提取单元202包括：

第二降维处理子单元，用于运用降维因式分解法，对各所述第二分词向量进行降维处理，得到第二降维文本向量；

第二意图提取子单元，用于运用跨层参数共享后的初始参数，对所述第二降维文本向量进行所述意图特征提取，得到第二意图输出向量；以及对所述第二降维文本向量进行所述实体抽取处理，得到第二实体输出向量；

第二向量激活子单元，用于通过所述意图实体识别模型中的softmax层对所述第二意图输出向量进行激活处理，得到所述第二意图结果；

第二实体分类子单元，用于根据所述第二意图结果，对所述第二实体输出向量进行增维处理，并对增维处理后的所述第二实体输出向量进行实体分类，得到所述第二实体结果。

优选地，标签预测模块30包括：

实体文本确定单元，用于自所述第一样本文本中确定与所述第一实体结果对应的第一实体文本，并自所述第二样本文本中确定与所述第二实体结果对应的第二实体文本；

相似度比较单元，用于确定所述第一实体文本与所述第二实体文本之间的文本相似度，并将所述文本相似度与预设相似度阈值进行比较；

标签预测单元，用于在所述文本相似度大于或等于所述预设相似度阈值时，根据所述第一意图结果以及所述第二意图结果，确定所述预测文本标签。

优选地，标签预测模块30还包括：

文本标签确定单元，用于在所述文本相似度小于所述预设相似度阈值时，确定所述预测文本标签为空文本标签。

关于文本关系提取模型训练装置的具体限定可以参见上文中对于文本关系提取模型训练方法的限定，在此不再赘述。上述文本关系提取模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，如图7所示，提供了一种文本关系提取装置，包括：

指令接收模块60，用于接收包含第一政策文本以及第二政策文本的文本关系提取指令；

文本关系确定模块70，用于将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据上述实施例中文本关系提取模型训练方法得到的。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中文本关系提取模型训练方法中所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本关系提取模型训练方法，或该计算机程序被处理器执行时以实现一种文本关系提取方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的文本关系提取模型训练方法，或处理器执行计算机程序时实现上述实施例中的文本关系提取方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的文本关系提取模型训练方法，或计算机程序被处理器执行时实现上述实施例中的文本关系提取方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文本关系提取模型训练方法，其特征在于，包括：

获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

2.如权利要求1所述的文本关系提取模型训练方法，其特征在于，所述将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果，包括：

根据预设词向量字典，对所述第一样本文本以及所述第二样本文本进行词向量转换，得到与所述第一样本文本对应的若干第一分词向量，以及与所述第二样本文本对应的若干第二分词向量；

运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果；以及运用跨层参数共享后的初始参数对各所述第二分词向量进行意图特征提取和实体抽取，得到所述第二意图结果和第二实体结果。

3.如权利要求2所述的文本关系提取模型训练方法，其特征在于，所述根据预设词向量字典，对所述第一样本文本以及所述第二样本文本进行词向量转换，得到与所述第一样本文本对应的各第一分词向量，以及与所述第二样本文本对应的各第二分词向量，包括：

对所述第一样本文本以及第二样本文本进行分词处理，得到与所述第一样本文本对应的多个第一文本字词，以及与所述第二样本文本对应的第二文本字词；

根据所述预设的词向量字典，确定与各所述第一文本字词分别对应的所述第一分词向量，以及与各所述第二文本字词分别对应的所述第二分词向量。

4.如权利要求2所述的文本关系提取模型训练方法，其特征在于，所述运用跨层参数共享后的初始参数对各所述第一分词向量进行意图特征提取和实体抽取，得到所述第一意图结果和第一实体结果，包括：

运用降维因式分解法，对各所述第一分词向量进行降维处理，得到第一降维文本向量；

运用跨层参数共享后的初始参数，对所述第一降维文本向量进行所述意图特征提取，得到第一意图输出向量；以及对所述第一降维文本向量进行所述实体抽取处理，得到第一实体输出向量；

通过所述意图实体识别模型中的softmax层对所述第一意图输出向量进行激活处理，得到所述第一意图结果；

根据所述第一意图结果，对所述第一实体输出向量进行增维处理，并对增维处理后的所述第一实体输出向量进行实体分类，得到所述第一实体结果。

5.如权利要求1所述的文本关系提取模型训练方法，其特征在于，所述根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签，包括：

自所述第一样本文本中确定与所述第一实体结果对应的第一实体文本，并自所述第二样本文本中确定与所述第二实体结果对应的第二实体文本；

确定所述第一实体文本与所述第二实体文本之间的文本相似度，并将所述文本相似度与预设相似度阈值进行比较；

在所述文本相似度大于或等于所述预设相似度阈值时，根据所述第一意图结果以及所述第二意图结果，确定所述预测文本标签。

6.一种文本关系提取方法，其特征在于，包括：

接收包含第一政策文本以及第二政策文本的文本关系提取指令；

将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据如权利要求1至5任一项所述文本关系提取模型训练方法得到的。

7.一种文本关系提取模型训练装置，其特征在于，包括：

样本文本训练集获取模块，用于获取样本文本训练集；所述样本文本训练集中包含至少一组样本文本对；一组所述样本文本对中包含第一样本文本以及第二样本文本；一组所述样本文本对关联一个初始文本对标签；

意图实体提取模块，用于将所述样本文本对输入至基于ALBERT的预设关系提取模型中，运用跨层参数共享后的初始参数对所述样本文本对进行意图特征提取和实体抽取，得到与所述第一样本文本对应的第一意图结果和第一实体结果，以及与所述第二样本文本对应的第二意图结果和第二实体结果；

标签预测模块，用于根据所述第一意图结果、第一实体结果、第二意图结果和第二实体结果，确定所述样本文本对的预测文本对标签；

预测损失值确定模块，用于根据所述初始文本对标签和所述预测文本对标签，确定所述意图实体识别模型的预测损失值；

初始参数更新模块，用于在所述预测损失值未达到预设的收敛条件时，运用跨层参数共享和LAMB优化器迭代更新所述预设关系提取模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设关系提取模型记录为文本关系提取模型。

8.一种文本关系提取装置，其特征在于，包括：

指令接收模块，用于接收包含第一政策文本以及第二政策文本的文本关系提取指令；

文本关系确定模块，用于将所述第一政策文本以及所述第二政策文本输入至文本关系提取模型中，以通过所述文本关系提取模型确定所述第一政策文本与所述第二政策文本之间的文本关系结果；所述文本关系提取模型是根据如权利要求1至5任一项所述文本关系提取模型训练方法得到的。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述文本关系提取模型训练方法，或所述处理器执行所述计算机程序时实现如权利要求6所述文本关系提取方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述文本关系提取模型训练方法，或所述计算机程序被处理器执行时实现如权利要求6所述文本关系提取方法。

Images