CN113657097B

CN113657097B - 一种摘要事实一致性的评估验证方法及其系统

Info

Publication number: CN113657097B
Application number: CN202111035434.1A
Authority: CN
Inventors: 魏楚元
Original assignee: Beijing University of Civil Engineering and Architecture
Current assignee: Beijing University of Civil Engineering and Architecture
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2023-08-22
Anticipated expiration: 2041-09-03
Also published as: CN113657097A

Abstract

本发明提供了一种摘要事实一致性的评估验证方法以及系统，所述评估验证方法包括：根据TF‑IDF分数选择摘要中最相关的前K个证据形成单独的句子；对所形成的单独的句子进行推理深度学习后，对事实的一致性进行评分；计算K个一致性分数的加权组合作为最终的一致性分数。本发明的评估验证方法减少了评估模型的计算量，单句进行推理的方式，模型可以更好地对文本细节进行建模，提高了一致性评估的精度。

Description

一种摘要事实一致性的评估验证方法及其系统

技术领域

本发明涉及人工智能自然语言处理领域，具体而言，涉及一种摘要事实一致性的评估验证方法及其系统。

背景技术

摘要模型的目标是对长文本进行改写，以获得包含原文主要思想的简短流畅的文本。最近，生成式摘要模型取得了重大进展，能够生成流畅而有意义的摘要。但是，模型生成的摘要中经常存在事实错误。最近的研究表明，大约30％的抽象摘要模型生成的摘要包含事实错误。因此，用户不会信任模型生成的内容，这限制了生成式摘要模型的实用性。目前为止，如何自动评估事实一致性仍然还是一项重大挑战。

大多数文本生成任务中常用的自动评估指标都是基于n-gram的重叠并且无法评估事实错误，而人工评估既费时又费钱。因此，对于抽象摘要模型，自动检测细微的事实不一致是至关重要的。已经提出了不同的方法来评估摘要模型的事实一致性，包括从源文档和生成的文本中提取和检查事实，借用用于事实一致性检查的现成自然语言推理(NLI)数据集，并通过人工数据。这些方法的一个缺点是它们只能处理一些明显的事实错误，而不是为文本细节建模，而文本细节的差异往往会导致剧烈的语义变化。

可见现有技术中的验证评估方法需要将原文和摘要一起送入评估模型来评估摘要的事实一致性，这种方式存在很多问题：1)摘要的原文一般都很长，送入模型前需要做截断，很多有用的信息被丢弃；2)原文中大部分内容和摘要都没有关系，将原文和摘要一起送入模型会带来大量不必要的计算，耗费计算资源；3)将原文和摘要一起送入模型进行计算，模型需要先找出原文中和摘要相关的位置，再做一致性判断，输入粒度太粗，没有针对可能文本细节进行建模

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种摘要事实一致性的评估验证方法，该评估验证方法主要分为两个阶段进行：在句子选择阶段，根据TF-IDF分数选择最相关的前K个句子从文档中选择top-K条证据；在一致性检查阶段，每个证据都用摘要句进行详细推理，然后模型根据重要性评分聚合top-K个证据的推理结果，这种两阶段的方式减少了评估模型的计算量，单句进行推理的方式，模型可以更好地对文本细节进行建模，提高了一致性评估的精度，对比损失也让模型更加专注于影响一致性结果的文本细节，同时句子选择阶段得到的K条证据可以作为模型结果的解释，提升了评估模型的可解释性。

具体地，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种摘要事实一致性的评估验证方法，所述方法包括：

根据TF-IDF分数选择摘要中最相关的前K个证据形成单独的句子；

对所形成的单独的句子进行推理深度学习后，对事实的一致性进行评分；

计算K个一致性分数的加权组合作为最终的一致性分数。

第二方面，本发明公开了一种评估验证系统，包括：

选择模块：用于根据TF-IDF分数选择摘要中最相关的前K个证据形成单独的句子；

深度学习模块：用于对所形成的单独的句子进行推理深度学习后，对事实的一致性进行评分；

加权计算模块：用于计算K个一致性分数的加权组合作为最终的一致性分数。

第三方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述评估验证方法的步骤。

第四方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述评估验证方法的步骤。

本发明提供的一种摘要事实一致性的评估验证方法以及系统，该方法相当于提出了一种新的人工数据集的构建方式，同时提出了一种用于事实一致性评估的细粒度方法，通过将评估验证方法分为两个阶段：在句子选择阶段，根据TF-IDF分数选择最相关的前K个句子从文档中选择top-K条证据；在一致性检查阶段，每个证据都用摘要句进行详细推理，然后模型根据重要性评分聚合top-K个证据的推理结果。并且还通过将对比损失引入训练目标函数，迫使模型专注于影响一致性结果的文本细节。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的摘要事实一致性的评估验证方法的操作示意图；

图2为本发明实施例提供的加权组合形成一致性分数的过程示意图；

图3为本发明实施例提供的形成句子对np送入BERT编码器的操作示意图；

图4为本发明实施例提供的BERT编码器的结构示意图；

图5为本发明实施例提供的评估验证系统的结构示意图；

图6为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明公开了一种摘要事实一致性的评估验证方法，所述方法包括：

计算K个一致性分数的加权组合作为最终的一致性分数。

上述方法中，所谓证据就是指从原文中抽取出来的与摘要相关的重要的句子，后续声明的含义就是指摘要。

图1为本发明实施例公开的一种评估验证方法的操作示意图，参照图1所示，所述方法包括如下步骤：

S1、根据TF-IDF分数选择摘要中最相关的前K个证据形成单独的句子；

S2、对所形成的单独的句子进行推理深度学习后，对事实的一致性进行评分；

S3、计算K个一致性分数的加权组合作为最终的一致性分数。

具体实施时，从参考摘要中随机选择一个句子，这里将其视为一致的摘要。然后随机选择一种数据转换方法来获得一致的声明，并在一致和不一致的声明中添加随机噪声。数据转换方法包括实体交换、日期交换、数字交换、代词交换和句子否定。同时还提出了证据删除方法，试图通过丢弃文档中与索赔句子相关性最高的2个句子来获得具有外在幻觉的不一致训练数据。

进而给出了一个有效的句子-句子的评估框架。在提出的框架中，根据TF-IDF分数选择最相关的前K个句子，并将每个证据和声明形成单独的句子对并发送到评估模型。然后模型对每个句子对进行证据推理，学习证据和声明之间的推理关系，并对声明的一致性进行评分。最后，模型计算每条证据对最终结果的重要性分数，计算K个一致性分数的加权组合作为最终的一致性结果，如图2所示。

句子和声明之间的证据推理是通过对两个句子的预训练编码和自注意实现的。一个基础BERT被用作编码器，优选地，如图3所示，每个证据-声明对都被拼接起来送入BERT，输入形式如图4所示。为了表示句对中的单个句子，在每个句子的开头插入[CLS]标记。具体来说，在拼接的句子n^p中，声明包含m个词，证据包含n个词。

H^p＝BERT(n^p)；

c^p和d^p对应于声明和证据，都相互匹配以获得交叉注意力权重然后使用/>来计算表示$\tilde{c}^p$和/>$\tilde{c}^p$和/>分别为c^p和d^p的加权求和，计算过程也相同；

为了获得交叉注意后句子对的特征，对$\tilde{c}^p$和进行最大池化和平均池化。

优选地，对事实的一致性进行评分的计算过程如下：为了计算最终的句子对表示u^p，进行了差异和点积运算以增加声明和证据之间的差异表示。

p(y|u^p)＝softmax(Linear(u^p))

u^p用于预测每个证据与摘要之间的事实一致性分数。

另外，在获得声明正确性的每条证据的分数后，需要进行证据聚合以获得最终的一致性分数。直观上，与声明的相似度越高，证据的重要性就越高。

优选地，计算K个一致性分数的加权组合的方法包括：

由于[CLS]token的插入，可采用和/>来表示两个单独的句子，然后使用/>和/>计算聚合过程中每个证据的重要性分数p(u^p|n^p)，计算公式如下：

最终的一致性分数是所有证据分数的加权总和p(y|u^p)，计算公式如下：

通过数据合成获得正负样本对。某一对样本中的一致和不一致的例子摘要和源文档具有很高的相似性，但事实一致性标签不同，导致模型处理困难。参考人脸识别中的siamese网络，我们在模型训练目标中加入了对比损失，迫使模型更多地了解正负样本之间的细微差别。

此外，通过向训练目标函数引入对比损失，迫使模型专注于影响一致性结果的文本细节。

优选地，所述对比损失的方法包括：

先通过证据的重要性得分汇总示例中每条证据的表示，以获得v，计算公式如下：

计算样本对表示之间的距离以获得我们的对比损失，其中m是一个设定的阈值；

Loss_contra＝max(m-||v_pos-v_neg||₂，0)；

结合交叉熵损失和对比损失作为训练目标函数，其中α∈[0，1]是对比损失的权重；

Loss＝(1-α)*Loss_ce+α*Loss_contra。

图5是本发明公开的一种评估验证系统的结构示意图，该系统包括：

选择模块101：用于根据TF-IDF分数选择摘要中最相关的前K个证据形成单独的句子；

深度学习模块102：用于对所形成的单独的句子进行推理深度学习后，对事实的一致性进行评分；

加权计算模块103：用于计算K个一致性分数的加权组合作为最终的一致性分数。

该评估验证系统主要由上述三个模块构成，从而减少了评估模型的计算量，单句进行推理的方式，可以更好地对文本细节进行建模，提高了一致性评估的精度。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

图6是本发明公开的一种计算机设备的结构示意图。参考图6所示，该计算机设备包括：输入装置63、输出装置64、存储器62和处理器61；所述存储器62，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如上述实施例提供的一种评估验证方法；其中输入装置63、输出装置64、存储器62和处理器61可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器62作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例所述的一种评估验证方法对应的程序指令；存储器62可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置63可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置64可包括显示屏等显示设备。

处理器61通过运行存储在存储器62中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理。

上述提供的计算机设备可用于执行上述实施例提供的一种评估验证方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的一种评估验证方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的一种评估验证方法，还可以执行本申请任意实施例所提供的一种评估验证方法中的相关操作。

最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims

1.一种摘要事实一致性的评估验证方法，其特征在于，包括如下步骤：

根据TF-IDF分数选择摘要中最相关的前K个证据形成单独的句子，所述证据为从原文中抽取出来的内容；

计算K个一致性分数的加权组合作为最终的一致性分数；

所述推理深度学习的方法包括：

将所形成的单独句子中的每个证据-摘要声明对都被拼接起来形成句子对n^p送入BERT编码器；

在每个句子的开头插入CLS标记，摘要声明包含m个词，证据包含n个词，c^p和d^p对应于摘要声明和证据，具体关系如下公式：

H^p＝BERT(n^p)；

证据和摘要声明中的每个词都相互匹配以获得交叉注意力权重然后使用/>来计算表示$\tilde{c}∧p$和$\tilde{d}∧p$，$\tilde{c}∧p$和$\tilde{d}∧p$分别为c^p和d^p的加权求和；

对$\tilde{c}∧p$和$\tilde{d}∧p$进行最大池化和平均池化以获得交叉注意后句子对的特征。

2.根据权利要求1所述的评估验证方法，其特征在于，对事实的一致性进行评分的计算过程如下：

p(y|u^p)＝softmax(Linear(u^p))；

其中，u^p为事实的一致性分数。

3.根据权利要求1所述的评估验证方法，其特征在于，计算K个一致性分数的加权组合的方法包括：

采用和/>来表示两个单独的句子，然后使用/>和/>计算聚合过程中每个证据的重要性分数p(u^p|n^p)，计算公式如下：

最终的一致性分数是所有证据分数的加权总和p(y|u)，计算公式如下：

4.根据权利要求3所述的评估验证方法，其特征在于，还包括将得到的最终的一致性分数进行对比损失，所述对比损失的方法包括：

Loss_contra＝max(m-||v_pos-v_neg||₂，0)；

Loss＝(1-α)*Loss_ce+α*Loss_contra。

5.一种摘要事实一致性的评估验证系统，其特征在于，包括：

加权计算模块：用于计算K个一致性分数的加权组合作为最终的一致性分数；

所述推理深度学习的方法包括：

H^p＝BERT(n^p)；

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-4任一所述评估验证方法的步骤。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的评估验证方法的步骤。