CN115510853A - 少样本关系抽取模型的训练方法、装置及终端设备 - Google Patents

Abstract

本申请适用于自然语言处理技术领域，提供了一种少样本关系抽取模型的训练方法、装置及终端设备。该方法包括：构建第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到正向关系原型和第一匹配得分，并根据正向训练的结果与第一查询集构建第二支持集与第二查询集，以对预设的少样本关系抽取模型进行逆向训练，得到逆向关系原型和第二匹配得分，根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型。本申请能够提高少样本关系抽取模型的分类准确度，进而对句子的实体关系进行有效抽取。

Description

少样本关系抽取模型的训练方法、装置及终端设备

技术领域

本申请涉及自然语言处理技术领域，具体涉及一种少样本关系抽取模型的训练方法、装置及终端设备。

背景技术

城市公共安全产生的数据量与日俱增，城市公共安全数据中有大量人与人、人与物之间交互的数据，从数据中获取实体之间的关系(即实体关系)，有助于数据的充分利用，发挥其潜在价值。

获取实体之间的关系的主要技术是实体关系抽取，现有的基于远程监督的关系抽取模型的性能通常依赖于大量高质量的标注的训练数据，而现实中，训练数据会存在长尾分布问题，即某些类别的实体关系只对应少量的标注的训练数据(少样本训练数据)，这就导致现有的关系抽取模型无法对上述只对应少样本训练数据的实体关系进行准确分类。

针对上述问题，少样本学习被引入到实体关系抽取中，而现有的少样本关系抽取模型的训练往往只考虑关系原型的正向训练，导致少样本关系抽取模型也存在分类准确度低的问题。

发明内容

有鉴于此，本申请实施例提供了一种少样本关系抽取模型的训练方法、装置及终端设备，以解决现有的少样本关系抽取模型分类准确度低、无法有效地进行实体关系抽取的技术问题。

第一方面，本申请实施例提供了一种少样本关系抽取模型的训练方法，包括：根据获取的句子文本集确定正向训练的第一支持集和第一查询集，句子文本集中的实例标注有实体对和关系标签，第一支持集中根据关系标签划分有多个类别的第一实例集；利用第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及根据正向关系原型确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签；

根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，根据句子文本集和第二支持集构建逆向训练的第二查询集，第二支持集中根据关系标签划分有多个类别的第二实例集，第二实例集的类别与第一实例集的类别相对应；利用第二支持集与第二查询集对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及根据逆向关系原型确定每个第四实例与每个类别的第二实例集之间的第二匹配得分；

根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型。

在第一方面的一种可能的实施方式中，根据获取的句子文本集确定正向训练的第一支持集和第一查询集，包括：根据获取的句子文本集和预设任务场景确定正向训练的第一支持集和第一查询集；预设任务场景确定了第一支持集中第一实例集的类别和第一实例集中第一实例的数量；第一查询集中第二实例的类别与第一实例集的类别相对应。

在第一方面的一种可能的实施方式中，根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，根据句子文本集和第二支持集构建逆向训练的第二查询集，包括：根据预设任务场景、第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集；第二支持集中包括第一查询集中的所有第二实例；预设任务场景确定了第二支持集中第二实例集的类别和第二实例集中第三实例的数量；根据句子文本集和第二支持集构建逆向训练的第二查询集；第二查询集中第四实例的类别与第二实例集的类别相对应。

在第一方面的一种可能的实施方式中，根据第一匹配得分和第二匹配得分确定交叉熵损失值，包括：根据第二实例对应的多个第一匹配得分，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算逆向交叉熵损失值；计算正向交叉熵损失值和逆向交叉熵损失值之和作为交叉熵损失值。

在第一方面的一种可能的实施方式中，根据第二实例对应的多个第一匹配得分，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算逆向交叉熵损失值，包括：根据第二实例对应的多个第一匹配得分，计算第二实例对应每个类别的概率值；根据第二实例对应每个类别的概率值，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算第四实例对应每个类别的概率值；根据第四实例对应每个类别的概率值，计算逆向交叉熵损失值。

在第一方面的一种可能的实施方式中，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型，包括：根据正向关系原型、逆向关系原型和预设学习率对预设的少样本关系抽取模型进行调参，得到调参后的少样本关系抽取模型；对调参后的少样本关系抽取模型进行下一轮正向训练和逆向训练，直至交叉熵损失值最小，得到更新后的少样本关系抽取模型。

在第一方面的一种可能的实施方式中，该方法还包括：根据每个第四实例与每个类别的第二实例集之间的第二匹配得分确定每个第四实例的伪关系标签；相应的，根据更新后的少样本关系抽取模型对应的第二实例对应的伪关系标签和第四实例对应的伪关系标签，以及句子文本集中第二实例对应的关系标签和第四实例对应的关系标签计算更新后的少样本关系抽取模型的模型精度；根据句子文本集确定不同的第一支持集与第一查询集，并重复确定更新后的少样本关系抽取模型的步骤，得到多个更新后的少样本关系抽取模型与对应的模型精度，确定模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型，以使根据最终的少样本关系抽取模型对标注有实体对的句子进行实体关系的抽取。

第二方面，本申请实施例提供了一种少样本关系抽取模型的训练装置，包括：

第一确定模块，用于根据获取的句子文本集确定正向训练的第一支持集和第一查询集，句子文本集中的实例标注有实体对和关系标签，第一支持集中根据关系标签划分有多个类别的第一实例集；

第一训练模块，用于利用第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及根据正向关系原型确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签；

第二确定模块，用于根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，根据句子文本集和第二支持集构建逆向训练的第二查询集，第二支持集中根据关系标签划分有多个类别的第二实例集，第二实例集的类别与第一实例集的类别相对应；

第二训练模块，用于利用第二支持集与第二查询集对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及根据逆向关系原型确定每个第四实例与每个类别的第二实例集之间的第二匹配得分；

调参模块，用于根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型。

第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面任一项所述的少样本关系抽取模型的训练方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项所述的少样本关系抽取模型的训练方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的少样本关系抽取模型的训练方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例提供的少样本关系抽取模型的训练方法、装置及终端设备，通过构建第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及第一匹配得分，并根据正向训练的结果与第一查询集构建第二支持集与第二查询集，以对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及第二匹配得分，根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型，通过逆向训练提高少样本关系抽取模型的分类准确度，进而对句子的实体关系进行有效抽取。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的少样本关系抽取模型的训练方法的流程示意图；

图2是本申请一实施例提供的支持集和查询集的示意图；

图3是本申请一实施例提供的少样本关系抽取模型的训练方法的流程示意图；

图4是本申请一实施例提供的少样本关系抽取模型的训练装置的结构示意图；

图5是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

下面结合具体实施例对本申请进行更清楚的说明。以下实施例将有助于本领域的技术人员进一步理解本申请的作用，但不以任何形式限制本申请。应当指出的是，对本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进。这些都属于本申请的保护范围。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

此外，本申请实施例中提到的“多个”应当被解释为两个或两个以上。

城市公共安全产生的数据量与日俱增，城市公共安全数据中有大量人与人、人与物之间交互的数据，从数据中获取实体之间的关系(即实体关系)，有助于数据的充分利用，发挥其潜在价值。获取实体之间的关系的主要技术是实体关系抽取，现有的基于远程监督的关系抽取模型的性能通常依赖于大量高质量的标注的训练数据，而现实中，训练数据会存在长尾分布问题，即某些类别的实体关系只对应少量的标注的训练数据(少样本训练数据)，这就导致现有的关系抽取模型无法对上述只对应少样本训练数据的实体关系进行准确分类。

针对上述问题，少样本学习被引入到实体关系抽取中，而现有的少样本关系抽取模型的训练往往只考虑关系原型的正向训练，导致少样本关系抽取模型也存在分类准确度低的问题。

基于上述问题，发明人经研究发现，可以用正向训练的查询集构建逆向训练的支持集，对预设的少样本关系抽取模型进行逆向训练，即利用数据的对称性达到正向训练和逆向训练的平衡，以通过逆向训练使预设的少样本关系抽取模型学习到远离分类边界的特征，进而根据正向训练得到的正向关系原型和逆向训练得到的逆向关系原型对预设的少样本关系抽取模型进行调参，得到更新后的少样本关系抽取模型。

也就是说，本申请实施例提供的少样本关系抽取模型的训练方法，通过构建第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及第一匹配得分，并根据正向训练的结果与第一查询集构建第二支持集与第二查询集，以对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及第二匹配得分，根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型、逆向关系原型和交叉熵损失值对预设的少样本关系抽取模型进行调参，得到更新后的少样本关系抽取模型，通过逆向训练提高少样本关系抽取模型的分类准确度，进而对句子的实体关系进行有效抽取。

图1是本申请一实施例提供的少样本关系抽取模型的训练方法的流程示意图。如图1所示，本申请实施例中的方法，可以包括：

步骤101、根据获取的句子文本集确定正向训练的第一支持集和第一查询集。

其中，句子文本集中的实例标注有实体对和关系标签，第一支持集中根据关系标签划分有多个类别的第一实例集。例如，句子文本集中的某一实例为“小明，河北石家庄著名文学家”，标注有实体对“小明”和“河北石家庄”，以及对应的关系标签“籍贯”。

可选的，步骤101中，具体可以包括：根据获取的句子文本集和预设任务场景确定正向训练的第一支持集和第一查询集。

其中，预设任务场景确定了第一支持集中第一实例集的类别和第一实例集中第一实例的数量；第一查询集中第二实例的类别与第一实例集的类别相对应。

可选的，预设任务场景的类型为n-way-m-shot型，其中，n表示类别数量，m表示每个类别下实例的数量，例如，3-way-2-shot型预设任务场景的数据集中，包括3个类别，即3个关系标签，每个类别下有2个实例；5-way-1-shot型预设任务场景的数据集中，包括5个类别，即5个关系标签，每个类别下有1个实例。

示例性的，根据句子文本集中标注有实体对和关系标签的实例，和预设任务场景确定正向训练的第一支持集，例如，对于3-way-2-shot型预设任务场景，参见图2，第一支持集中可以包括“国籍”、“籍贯”、“住址”3个类别的第一实例集，每个第一实例集中包括2个第一实例。相应的，第一查询集中第二实例的类别与第一实例集的类别相同，例如，第二实例的类别为“国籍”、“籍贯”、“住址”，每个类别下的第二实例可以有x个，其中，x的数值根据需要进行设置。

步骤102、利用第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及根据正向关系原型确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签。

示例性的，对预设的少样本关系抽取模型进行正向训练的过程如下：

S1、对第一支持集中的第一实例和第一查询集中的第二实例进行编码，得到第一实例对应的特征向量和第二实例对应的特征向量。

S2、基于第一实例对应的特征向量和第二实例对应的特征向量，对第一查询集中每个第二实例与第一支持集中每个类别的第一实例集进行匹配计算，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型。

S3、根据正向关系原型确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签。

具体来说，利用卷积神经网络(Convolutional Neural Networks，简称CNN)对每个第一实例和第二实例进行编码，得到第一实例对应的特征向量和第二实例对应的特征向量。基于第一实例集中第一实例的特征向量和第二实例的特征向量，利用多级匹配聚合网络(Multi-Level Matching and Aggregation Network，简称MLMAN)对第一查询集中每个第二实例与第一支持集中每个类别的第一实例集进行匹配计算，得到第二实例匹配表示

和第i类第一实例集中第一实例匹配表示

其中，k＝1,…,m(m≥1)，i＝1,…,n(n≥2)。利用线性整流函数ReLU计算第二实例与第i类第一实例集中第一实例的匹配度

匹配度

公式为：

式中，v^T和W₂为已知的参数矩阵。

以匹配度

为权重聚合第一实例集中第一实例匹配表示

得到第二实例与第一支持集中第i类第一实例集的正向关系原型

正向关系原型公式为：

第一匹配得分公式为：

针对第一查询集中每个第二实例与第一支持集中每个类别的第一实例集执行上述S1～S3，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，进而基于该正向关系原型，确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签，也就是说，基于该正向关系原型，得到第二实例对应每个类别的得分，即第二实例对应每个关系标签的得分，进而选取得分最高的关系标签作为第二实例的伪关系标签，即正向训练后第二实例的伪关系标签。

步骤103、根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，根据句子文本集和第二支持集构建逆向训练的第二查询集。

其中，第二支持集中根据关系标签划分有多个类别的第二实例集，第二实例集的类别与第一实例集的类别相对应。

可选的，步骤103中，具体可以包括：根据预设任务场景、第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集。根据句子文本集和第二支持集构建逆向训练的第二查询集。

示例性的，第二支持集中包括第一查询集中的所有第二实例，预设任务场景确定了第二支持集中第二实例集的类别和第二实例集中第三实例的数量。第二查询集中第四实例的类别与第二实例集的类别相对应。

具体来说，为保证正向训练和逆向训练中关系标签的规模和范围保持一致，第二支持集中第二实例集的类别与第一支持集中第一实例集的类别相对应，例如，对于3-way-2-shot型预设任务场景，参见图2，第一支持集中包括“国籍”、“籍贯”、“住址”3个类别的第一实例集，每个第一实例集中包括2个第一实例，相应的，第二支持集中也要包括“国籍”、“籍贯”、“住址”3个类别的第二实例集，每个第二实例集中包括2个第三实例。

需要注意的是，为保证正向训练与逆向训练间的充分联系，根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，也就是说，第二支持集中要包括第一查询集中的所有第二实例，例如，第一查询集中某一第二实例的伪关系标签为“籍贯”，则将该第二实例划分到逆向训练的第二支持集中类别为“籍贯”的第二实例集中，又例如第一查询集中的又一第二实例的伪关系标签为“国籍”，则将该第二实例划分到逆向训练的第二支持集中类别为“国籍”的第二实例集中。将第一查询集中所有第二实例根据其对应的伪关系标签划分至第二支持集中对应类别的第二实例集中。

需要说明的是，由于第一查询集中第二实例的数量可能大于第二支持集中第三实例的数量，为保证第二支持集中要包括第一查询集中的所有第二实例，对第二支持集中的第二实例集进行分组。例如，对于3-way-2-shot型预设任务场景，第一支持集中包括“国籍”、“籍贯”、“住址”3个类别的第一实例集，则相应的，第二支持集中可以包括多个组别，每个组别中也包括“国籍”、“籍贯”、“住址”3个类别的第二实例集，其中，第二支持集中组别G的个数可以根据第一查询集中第二实例的数量和伪关系标签进行设置，G≥1。

此外，需要注意的是，在根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集时，还可能出现某一类别的伪关系标签对应的第二实例较少的情况，此时对该伪关系标签对应的第二实例进行重复利用，以构建逆向训练的第二支持集；此外，还可能出现某一类别的伪关系标签缺失的情况，此时从第一支持集中该类别的第一实例集中选取第一实例作为第二支持集中该类别的第二实例集中的第三实例，例如，第一查询集中所有第二实例的伪关系标签只有“国籍”和“籍贯”2种，则“住址”类别的第二实例集中的第三实例可以从第一支持集中“住址”类别的第一实例集中选取。

可选的，根据句子文本集和第二支持集构建逆向训练的第二查询集，第二查询集中第四实例的类别与第二实例集的类别相对应，同时，第二查询集中的组别与第二支持集中的组别相对应。例如，第二支持集中包括2个组别，每个组别中包括“国籍”、“籍贯”、“住址”3个类别的第二实例集，每个第二实例集中包括2个第三实例，则第二查询集中也包括2个组别，每个组别中包括“国籍”、“籍贯”、“住址”3个类别，每个类别下的第四实例可以有y个，其中，y的数值根据需要进行设置。

步骤104、利用第二支持集与第二查询集对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及根据逆向关系原型确定每个第四实例与每个类别的第二实例集之间的第二匹配得分。

可选的，步骤104中对预设的少样本关系抽取模型进行逆向训练的具体实现过程和原理可以参见前述实施例中步骤102中对预设的少样本关系抽取模型进行正向训练的具体实现过程和原理，此处不再赘述。

需要说明的是，由于第二支持集和第二查询集中可能包括对应的多个组别，在利用第二支持集与第二查询集对预设的少样本关系抽取模型进行逆向训练时，以组别为单位，利用第一组别的第二实例集和第一组别的第四实例对预设的少样本关系抽取模型进行逆向训练，并利用下一组别的第二实例集和对应组别的第四实例对预设的少样本关系抽取模型进行下一次逆向训练，直至利用第二支持集与第二查询集中所有组别对预设的少样本关系抽取模型进行逆向训练。

步骤105、根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型。

在一种可能的实施方式中，参见图3，步骤105中，具体可以包括：

步骤1051、根据第二实例对应的多个第一匹配得分，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算逆向交叉熵损失值。

步骤1052、计算正向交叉熵损失值和逆向交叉熵损失值之和作为交叉熵损失值。

步骤1053、根据正向关系原型、逆向关系原型和预设学习率对预设的少样本关系抽取模型进行调参，得到调参后的少样本关系抽取模型。

步骤1054、对调参后的少样本关系抽取模型进行下一轮正向训练和逆向训练，直至交叉熵损失值最小，得到更新后的少样本关系抽取模型。

可选的，步骤1051中，具体可以包括：

根据第二实例对应的多个第一匹配得分，计算第二实例对应每个类别的概率值；根据第二实例对应每个类别的概率值，计算正向交叉熵损失值。

根据第四实例对应的多个第二匹配得分，计算第四实例对应每个类别的概率值；根据第四实例对应每个类别的概率值，计算逆向交叉熵损失值。

示例性的，正向训练的概率公式为：

式中，

为第i类第一实例集Sⁱ中第k个第一实例，q为第二实例，P(Sⁱ,q)是第二实例q对应第i类第一实例集Sⁱ的概率值，即第二实例q对应第i个类别的概率值，

为第二实例q与第i类第一实例集Sⁱ之间的第一匹配得分，可以转换为对应的函数

需要注意的是，第二支持集与第二查询集可能包括G个组别，对于每个组别中的第二实例集和第四实例，逆向训练的概率公式为：

式中，

为第i类第二实例集S^′i中第k个第三实例，q′为第四实例，P(S^′i,q′)是第四实例q′对应第i类第二实例集S^′i的概率值，即第四实例q′对应第i个类别的概率值，

为第四实例q′与第i类第二实例集S^i′之间的第二匹配得分，可以转换为对应的函数

为第四实例q′与第i类第二实例集之间的第二匹配得分。

可选的，正向交叉熵损失公式为：

式中，J_forward为正向交叉熵损失，Q为第一查询集，R为第一查询集中第二实例的数量。

需要注意的是，第二支持集与第二查询集可能包括G个组别，对于每个组别中的第二实例集和第四实例，逆向交叉熵损失公式为：

式中，J_reverse为逆向交叉熵损失，Q′为第二查询集，M为第二查询集中每个组别的第四实例的数量。根据上述逆向交叉熵损失公式对每个组别中的第二实例集和第四实例进行计算，分别得到

其中，g＝1,…,G(G≥1)。α_g为第g个组别对应的权重。

交叉熵损失公式为：

式中，J_total为交叉熵损，G为第二支持集中组别的数量。

可选的，根据计算得到的正向关系原型、逆向关系原型和预设学习率对预设的少样本关系抽取模型的模型参数进行调整，基于第一支持集和第一查询集对调参后的少样本关系抽取模型进行下一轮的正向训练和逆向训练，并计算调参后的少样本关系抽取模型的交叉熵损失值，即基于第一支持集和第一查询集对调参后的少样本关系抽取模型重复步骤102～105，直至交叉熵损失值最小，则得到更新后的少样本关系抽取模型。其中，预设学习率可以根据需要设置，例如，可以设置为0.2。

示例性的，在判断交叉熵损失值是否最小时，对得到的所有交叉熵损失值进行梯度计算，以确定本轮调参后的少样本关系抽取模型的交叉熵损失值是否为最小。

在另一种可能的实施方式中，本申请实施例提供的少样本关系抽取模型的训练方法，还可以包括：

S11、根据每个第四实例与每个类别的第二实例集之间的第二匹配得分确定每个第四实例的伪关系标签。

S12、根据更新后的少样本关系抽取模型对应的第二实例对应的伪关系标签和第四实例对应的伪关系标签，以及句子文本集中第二实例对应的关系标签和第四实例对应的关系标签计算更新后的少样本关系抽取模型的模型精度。

S13、根据句子文本集确定不同的第一支持集与第一查询集，并重复确定更新后的少样本关系抽取模型的步骤，得到多个更新后的少样本关系抽取模型与对应的模型精度，确定模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型，以使根据最终的少样本关系抽取模型对标注有实体对的句子进行实体关系的抽取。

可选的，第二查询集与第二支持集的每个组别中，根据每个第四实例与每个类别的第二实例集之间的第二匹配得分，即每个第四实例对应每个类别的得分，也就是每个第四实例对应每个关系标签的得分，选取得分最高的关系标签作为第四实例的伪关系标签。

示例性的，针对更新后的少样本关系抽取模型对应的第二实例和第四实例，每个第二实例对应句子文本集中标注的该第二实例的关系标签，即该第二实例对应的真实标签，每个第四实例对应句子文本集中标注的该第四实例的关系标签，即该第四实例对应的真实标签。若第二实例对应的伪关系标签与第二实例对应的真实标签相同，则确认该第二实例为正确实例，若第四实例对应的伪关系标签与第四实例对应的真实标签相同，则确认该第四实例也为正确实例，将所有第二实例和第四实例中正确实例的数量占所有第二实例和第四实例的总体实例的数量的比例作为该更新后的少样本关系抽取模型的模型精度。

可选的，根据句子文本集确定不同的第一支持集与第一查询集，并重复步骤102～105以及S11～S13重复执行预设次数，得到多个更新后的少样本关系抽取模型与对应的模型精度，选取模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型。

确定多个更新后的少样本关系抽取模型以及对应的模型精度，选取模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型，可以进一步提高少样本关系抽取模型的分类准确度，从而实现对句子的实体关系的有效抽取。

本申请实施例提供的一种少样本关系抽取模型的训练方法，通过构建第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及第一匹配得分，并根据正向训练的结果与第一查询集构建第二支持集与第二查询集，以对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及第二匹配得分，根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型，通过逆向训练提高少样本关系抽取模型的分类准确度，进而对句子的实体关系进行有效抽取。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4是本申请一实施例提供的少样本关系抽取模型的训练装置的结构示意图。如图4所示，本实施例提供的少样本关系抽取模型的训练装置，可以包括：第一确定模块201、第一训练模块202、第二确定模块203、第二训练模块204和调参模块205。

其中，第一确定模块201，用于根据获取的句子文本集确定正向训练的第一支持集和第一查询集，句子文本集中的实例标注有实体对和关系标签，第一支持集中根据关系标签划分有多个类别的第一实例集。

第一训练模块202，用于利用第一支持集与第一查询集对预设的少样本关系抽取模型进行正向训练，得到第一查询集中每个第二实例与第一支持集中每个类别的第一实例集的正向关系原型，以及根据正向关系原型确定每个第二实例与每个类别的第一实例集之间的第一匹配得分，和每个第二实例的伪关系标签。

第二确定模块203，用于根据第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集，根据句子文本集和第二支持集构建逆向训练的第二查询集，第二支持集中根据关系标签划分有多个类别的第二实例集，第二实例集的类别与第一实例集的类别相对应。

第二训练模块204，用于利用第二支持集与第二查询集对预设的少样本关系抽取模型进行逆向训练，得到第二查询集中每个第四实例与第二支持集中每个类别的第二实例集的逆向关系原型，以及根据逆向关系原型确定每个第四实例与每个类别的第二实例集之间的第二匹配得分。

调参模块205，用于根据第一匹配得分和第二匹配得分确定交叉熵损失值，根据正向关系原型和逆向关系原型对预设的少样本关系抽取模型进行调参，并根据交叉熵损失值得到更新后的少样本关系抽取模型。

可选的，第一确定模块201具体用于：根据获取的句子文本集和预设任务场景确定正向训练的第一支持集和第一查询集；预设任务场景确定了第一支持集中第一实例集的类别和第一实例集中第一实例的数量；第一查询集中第二实例的类别与第一实例集的类别相对应。

可选的，第二确定模块203具体用于：根据预设任务场景、第一查询集与第二实例的伪关系标签构建逆向训练的第二支持集；第二支持集中包括第一查询集中的所有第二实例；预设任务场景确定了第二支持集中第二实例集的类别和第二实例集中第三实例的数量；根据句子文本集和第二支持集构建逆向训练的第二查询集；第二查询集中第四实例的类别与第二实例集的类别相对应。

可选的，调参模块205具体用于：根据第二实例对应的多个第一匹配得分，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算逆向交叉熵损失值；计算正向交叉熵损失值和逆向交叉熵损失值之和作为交叉熵损失值。

可选的，调参模块205还具体用于：根据第二实例对应的多个第一匹配得分，计算第二实例对应每个类别的概率值；根据第二实例对应每个类别的概率值，计算正向交叉熵损失值；根据第四实例对应的多个第二匹配得分，计算第四实例对应每个类别的概率值；根据第四实例对应每个类别的概率值，计算逆向交叉熵损失值。

可选的，调参模块205还具体用于：根据正向关系原型、逆向关系原型和预设学习率对预设的少样本关系抽取模型进行调参，得到调参后的少样本关系抽取模型；对调参后的少样本关系抽取模型进行下一轮正向训练和逆向训练，直至交叉熵损失值最小，得到更新后的少样本关系抽取模型。

可选的，调参模块205还具体用于：根据每个第四实例与每个类别的第二实例集之间的第二匹配得分确定每个第四实例的伪关系标签；相应的，根据更新后的少样本关系抽取模型对应的第二实例对应的伪关系标签和第四实例对应的伪关系标签，以及句子文本集中第二实例对应的关系标签和第四实例对应的关系标签计算更新后的少样本关系抽取模型的模型精度；根据句子文本集确定不同的第一支持集与第一查询集，并重复确定更新后的少样本关系抽取模型的步骤，得到多个更新后的少样本关系抽取模型与对应的模型精度，确定模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型，以使根据最终的少样本关系抽取模型对标注有实体对的句子进行实体关系的抽取。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图5是本申请一实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备300包括：处理器310、存储器320，上述存储器320中存储有可在处理器310上运行的计算机程序321。处理器310执行计算机程序321时实现上述任意各个方法实施例中的步骤，例如图1所示的步骤101至105。或者，处理器310执行计算机程序321时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块201至205的功能。

示例性的，计算机程序321可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序321在终端设备300中的执行过程。

本领域技术人员可以理解，图5仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。

处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器320可以是终端设备的内部存储单元，例如终端设备的硬盘或内存，也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。上述存储器320还可以既包括终端设备的内部存储单元也包括外部存储设备。上述存储器320用于存储计算机程序以及终端设备所需的其他程序和数据。存储器320还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种少样本关系抽取模型的训练方法，其特征在于，包括：

根据获取的句子文本集确定正向训练的第一支持集和第一查询集，所述句子文本集中的实例标注有实体对和关系标签，第一支持集中根据所述关系标签划分有多个类别的第一实例集；

利用所述第一支持集与所述第一查询集对预设的少样本关系抽取模型进行正向训练，得到所述第一查询集中每个第二实例与所述第一支持集中每个类别的第一实例集的正向关系原型，以及根据所述正向关系原型确定所述每个第二实例与所述每个类别的第一实例集之间的第一匹配得分，和所述每个第二实例的伪关系标签；

根据所述第一查询集与所述第二实例的伪关系标签构建逆向训练的第二支持集，根据所述句子文本集和所述第二支持集构建逆向训练的第二查询集，所述第二支持集中根据关系标签划分有多个类别的第二实例集，所述第二实例集的类别与所述第一实例集的类别相对应；

利用所述第二支持集与所述第二查询集对预设的少样本关系抽取模型进行逆向训练，得到所述第二查询集中每个第四实例与所述第二支持集中每个类别的第二实例集的逆向关系原型，以及根据所述逆向关系原型确定所述每个第四实例与所述每个类别的第二实例集之间的第二匹配得分；

根据所述第一匹配得分和所述第二匹配得分确定交叉熵损失值，根据所述正向关系原型和所述逆向关系原型对所述预设的少样本关系抽取模型进行调参，并根据所述交叉熵损失值得到更新后的少样本关系抽取模型。

2.根据权利要求1所述的少样本关系抽取模型的训练方法，其特征在于，所述根据获取的句子文本集确定正向训练的第一支持集和第一查询集，包括：

根据获取的句子文本集和预设任务场景确定正向训练的第一支持集和第一查询集；所述预设任务场景确定了所述第一支持集中第一实例集的类别和所述第一实例集中第一实例的数量；所述第一查询集中第二实例的类别与所述第一实例集的类别相对应。

3.根据权利要求2所述的少样本关系抽取模型的训练方法，其特征在于，所述根据所述第一查询集与所述第二实例的伪关系标签构建逆向训练的第二支持集，根据所述句子文本集和所述第二支持集构建逆向训练的第二查询集，包括：

根据所述预设任务场景、第一查询集与所述第二实例的伪关系标签构建逆向训练的第二支持集；所述第二支持集中包括所述第一查询集中的所有第二实例；所述预设任务场景确定了所述第二支持集中第二实例集的类别和所述第二实例集中第三实例的数量；

根据所述句子文本集和所述第二支持集构建逆向训练的第二查询集；所述第二查询集中第四实例的类别与所述第二实例集的类别相对应。

4.根据权利要求1所述的少样本关系抽取模型的训练方法，其特征在于，所述根据所述第一匹配得分和所述第二匹配得分确定交叉熵损失值，包括：

根据所述第二实例对应的多个所述第一匹配得分，计算正向交叉熵损失值；

根据所述第四实例对应的多个所述第二匹配得分，计算逆向交叉熵损失值；

计算所述正向交叉熵损失值和所述逆向交叉熵损失值之和作为交叉熵损失值。

5.根据权利要求4所述的少样本关系抽取模型的训练方法，其特征在于，所述根据所述第二实例对应的多个所述第一匹配得分，计算正向交叉熵损失值；根据所述第四实例对应的多个所述第二匹配得分，计算逆向交叉熵损失值，包括：

根据所述第二实例对应的多个所述第一匹配得分，计算所述第二实例对应每个类别的概率值；根据所述第二实例对应每个类别的概率值，计算正向交叉熵损失值；

根据所述第四实例对应的多个所述第二匹配得分，计算所述第四实例对应每个类别的概率值；根据所述第四实例对应每个类别的概率值，计算逆向交叉熵损失值。

6.根据权利要求1所述的少样本关系抽取模型的训练方法，其特征在于，所述根据所述正向关系原型和所述逆向关系原型对所述预设的少样本关系抽取模型进行调参，并根据所述交叉熵损失值得到更新后的少样本关系抽取模型，包括：

根据所述正向关系原型、所述逆向关系原型和预设学习率对所述预设的少样本关系抽取模型进行调参，得到调参后的少样本关系抽取模型；

对所述调参后的少样本关系抽取模型进行下一轮正向训练和逆向训练，直至所述交叉熵损失值最小，得到更新后的少样本关系抽取模型。

7.根据权利要求1-6任一项所述的少样本关系抽取模型的训练方法，其特征在于，所述方法还包括：根据所述每个第四实例与所述每个类别的第二实例集之间的第二匹配得分确定所述每个第四实例的伪关系标签；

相应的，根据所述更新后的少样本关系抽取模型对应的第二实例对应的伪关系标签和第四实例对应的伪关系标签，以及句子文本集中所述第二实例对应的关系标签和第四实例对应的关系标签计算所述更新后的少样本关系抽取模型的模型精度；

根据所述句子文本集确定不同的第一支持集与第一查询集，并重复确定更新后的少样本关系抽取模型的步骤，得到多个更新后的少样本关系抽取模型与对应的模型精度，确定模型精度最高的更新后的少样本关系抽取模型作为最终的少样本关系抽取模型，以使根据所述最终的少样本关系抽取模型对标注有实体对的句子进行实体关系的抽取。

8.一种少样本关系抽取模型的训练装置，其特征在于，包括：

第一确定模块，用于根据获取的句子文本集确定正向训练的第一支持集和第一查询集，所述句子文本集中的实例标注有实体对和关系标签，第一支持集中根据所述关系标签划分有多个类别的第一实例集；

第一训练模块，用于利用所述第一支持集与所述第一查询集对预设的少样本关系抽取模型进行正向训练，得到所述第一查询集中每个第二实例与所述第一支持集中每个类别的第一实例集的正向关系原型，以及根据所述正向关系原型确定所述每个第二实例与所述每个类别的第一实例集之间的第一匹配得分，和所述每个第二实例的伪关系标签；

第二确定模块，用于根据所述第一查询集与所述第二实例的伪关系标签构建逆向训练的第二支持集，根据所述句子文本集和所述第二支持集构建逆向训练的第二查询集，所述第二支持集中根据关系标签划分有多个类别的第二实例集，所述第二实例集的类别与所述第一实例集的类别相对应；

第二训练模块，用于利用所述第二支持集与所述第二查询集对预设的少样本关系抽取模型进行逆向训练，得到所述第二查询集中每个第四实例与所述第二支持集中每个类别的第二实例集的逆向关系原型，以及根据所述逆向关系原型确定所述每个第四实例与所述每个类别的第二实例集之间的第二匹配得分；

调参模块，用于根据所述第一匹配得分和所述第二匹配得分确定交叉熵损失值，根据所述正向关系原型和所述逆向关系原型对所述预设的少样本关系抽取模型进行调参，并根据所述交叉熵损失值得到更新后的少样本关系抽取模型。

9.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的少样本关系抽取模型的训练方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的少样本关系抽取模型的训练方法。

Images