CN114091414A - 用于改写叙事性文本的方法、设备、装置和介质 - Google Patents

Abstract

根据本公开的实施例，提供了改写叙事性文本的方法、设备、装置和介质。该方法包括确定对叙事性文本中的一个语句的改变。改变前的语句的初始上下文与改变后的语句的目标上下文不同。该方法还包括基于叙事性文本中在语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本。该方法进一步包括用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。以此方式，能够在保证上下文连贯性的同时以较少的编辑量改写叙事性文本。

Description

用于改写叙事性文本的方法、设备、装置和介质

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于改写叙事性文本的方法、设备、装置和计算机可读存储介质。

背景技术

叙事性文本(例如，故事、记叙文等)用于描述连贯且具有逻辑的一系列情节。以故事为例，当故事中的在先条件发生改变时，需要推理新条件所引起的可能结果。也即，需要推理新条件下的故事结尾。对人而言，能够容易地写出新条件下连贯的故事结尾。然而，对诸如计算设备的机器而言具有挑战的是，如何在对原故事做出较少改变的情况下生成新条件下连贯的故事结尾。

发明内容

根据本公开的示例实施例，提供了一种用于改写叙事性文本的方案。

在本公开的第一方面，提供了一种改写叙事性文本的方法。该方法包括确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同。该方法还包括基于叙事性文本中在语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本。该方法进一步包括用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。

在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行以下动作：确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同；基于叙事性文本中在语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本；以及用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。

在本公开的第三方面，提供了一种用于改写叙事性文本的装置。该装置包括：改变确定模块，被配置为确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同；编辑模块，被配置为基于叙事性文本中在语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本；以及替换模块，被配置为用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的表达文本改写任务的示意图；

图3示出了根据本公开的一些实施例的文本改写架构的示例；

图4示出了根据本公开的一些实施例的通过迭代而生成的经编辑版本的示例；

图5示出了根据本公开的一些实施例的改写叙事性文本的过程的流程图；

图6示出了根据本公开的一些实施例的用于改写叙事性文本的装置的框图；以及

图7示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

如本文中所使用的，术语“语言模型”可以针对自然语言处理任务从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。语言模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。

如本文中所使用的，术语“文本元素”是指在自然语言处理任务中所处理的单元，并且其粒度可以根据应用场景而改变和设置。例如，文本元素可以包括词、子词、短语、符号、前述的组合，或者在自然语言表达中出现的任何其他单元。“子词”通常由“词”拆分而来，例如，词“duration”可以被拆分为子词“dura”和子词“tion”。在处理中，可以用标记(token)来表示文本元素。在本公开中，文本元素与标记可互换地使用。

如前文所简要提及的，当故事中的在先条件发生改变时，需要推理新条件下的故事结尾。传统上，通过机器来进行故事生成或故事改写的方案大多采样自回归方式。这些方案主要利用预训练的语言模型。

这些传统方案中的大多数方案通过利用语言模型的语言建模能力，来保持故事的逻辑性。这样的方案能够生成新条件下连贯的故事结尾，却需要对原故事进行大量修改。这些传统方案中的少部分方案利用与原故事在语句级的相似性来约束对新的故事结尾的解码。然而，由于语言模型难以控制，这样的传统方案仍然会导致过度编辑。以上以故事为例描述了传统方案在改写故事方面的问题，类似的问题也存在于其他类型的叙事性文本。

根据本公开的实施例，提出了一种用于改写叙事性文本的方案。根据该方案，基于改变后的条件的上下文，对叙事性文本中在该条件之后的文本部分执行至少一个编辑操作。由此，获得针对该文本部分(例如，故事结尾)的至少一个经编辑版本。从这些经编辑版本中选择一个经编辑版本替换原来的文本部分，从而输出经改写的叙事性文本。

在该方案中，通过考虑改变后的上下文，可以定位到与改变后的上下文冲突的文本元素来进行编辑，并且确保编辑后的文本元素与改变后的上下文不冲突。这是一种基于编辑的无监督叙事性文本改写方案。以此方式，能够在叙事连贯性与编辑量之间进行平衡。因此，根据本公开的实施例，能够在保证上下文连贯性的同时以较少的编辑量改写叙事性文本。

以下进一步结合附图来详细描述该方案的各种示例实现。

示例环境

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在示例环境100中，改写系统101被配置为鉴于改变后的条件来改写叙事性文本。

改写系统101获得包括多个语句的叙事性文本110，其例如是一段故事。仅作为示例，图1中的叙事性文本110包括5个语句，分别是S1语句111、S2语句112、S3语句113、S4语句114和S5语句115。

改写系统101还获得对叙事性文本110中的一个语句的改变，或改变后的语句。在图1的示例中，叙事性文本中的S2语句112被改变为S’2语句122。从图1可以看出，S2语句112的上下文与S’2语句122的上下文不同。在本文中，改变前的语句的上下文也称为“初始上下文”，并且改变后的语句的上下文也称为“目标上下文”或“改变后的上下文”。

在这种情况下，改写系统101基于S’2语句122的上下文，对叙事性文本101中在S2语句112之后的结尾部分105进行编辑，以使其符合改变后的上下文。在本文中，术语“结尾部分”、“结尾”和“文本部分”可互换地使用。对结尾部分进行编辑或类似表述是指对结尾部分中的一个或多个文本元素进行编辑，并且原本的一些文本元素可以保持不变。

改写系统101输出经改写的叙事性文本130。叙事性文本130包括原本的S1语句111、S’2语句122以及经改写的结尾部分106。结尾部分106对应于结尾部分105，并且包括S’3语句133、S’4语句134和S’5语句135。在图1中，仅出于说明和理解本公开的目的，用下划线示出了相对于初始的叙事性文本110而增加或改变的文本元素。

在图1中，改写系统101可以是任何具有计算能力的系统，例如各种计算设备/系统、终端设备、服务器等。终端设备可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。服务器包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。

应当理解，图1示出的环境中的部件和布置仅是示例，适于用于实现本公开所描述的示例实施例的计算系统可以包括一个或多个不同的部件、其他部件和/或不同的布置方式。另外，图1中所示的叙事性文本所包括的语句数目和语种仅是示例性的，而无意限制本公开的范围。本公开的实施例适用于包括任何合适数目语句的以任何语种的叙事性文本。

文本改写任务的表达

为了更好地理解根据本公开实施例的文本改写方案，可以用因果关系模型来表达以上所描述的文本改写任务。因果关系模型是一种用于对数据生成过程的假设进行编码的有向无环图。

图2示出了根据本公开的一些实施例的文本改写任务的表达的示意图。图2中的视图210示出了因果关系模型的一个简单示例。该因果关系模型包括混杂因子Z 211、处置(treatment)X 212和效果Y 213。在因果推断中，混杂因子Z 211是一个随机变量，其影响处置变量和效果变量。

视图220示出了用因果关系模型来表达叙事性文本110的示例。叙事性文本110可以包括前提z 221、上下文x 222和结尾y 223。在文本改写任务中，前提z 221既包括能够观测的S1语句111，也包括不能被观测并且难以建模的常识性知识。

视图230示出了对因果关系模型中的X变量施加干预(即，反事实干扰)而产生的文本改写任务的示例表示。可以用do操作符来表示所施加的反事实干扰。通过施加do(X)＝x’，将X的值设置为改变后的上下文而不改变其余部分。因此，改变后的上下文或目标上下文可以视为一种反事实上下文。

由于X不再取决于干预后的Z，因此在视图230中删除了从前提z 221指向上下文x’222的箭头。相应地，文本改写任务可以被表达为在前提z 221不变并且将上下文x 222改变为上下文x’222的情况下，预测新的结尾y’223。

对于这种文本改写任务，具有挑战的是如何量化文本改写的质量，即，如何利用机器来评估所改写的结尾是否具有连贯性。在一些实施例中，可以利用因果风险率(CausalRisk Ratio，CRR)来量化不同条件下结尾质量的差异。CRR被定义为：

其中改写后的结尾与改变后的上下文越一致，CRR的值越大。

然而，实际上难以显式地计算P(Y＝y|do(X)＝x)中能够被观测和不能被观测的混杂因子两者，如式(2)所示：

其中z^★表示能够被观测和不能被观测的混杂因子。

为此，可以进行因果充分性假设，即，仅考虑能够被观测的混杂因子，如式(3)所示：

P(Y＝y|do(X)＝x)＝P(Y＝y|X＝x，Z＝z) (3)

其中z表示能够被观测的混杂因子。

在这种假设中，可以通过式(4)来计算CRR：

如下文将详细描述的，在评价文本改写质量时可以利用CRR的概念。

文本改写架构

图3示出了根据本公开的一些实施例的文本改写架构300的示例。图3的架构300可以被实现在图1的改写系统101中。架构300中的各个模块可以由硬件、软件、固件或者它们的任意组合来实现。下面参考图1来描述架构300的示例操作。

架构300包括编辑版本生成模块350。编辑版本生成模块350被配置为基于结尾部分105与改变后的上下文的不一致性，对结尾部分105执行编辑操作，以生成结尾部分105的至少一个经编辑版本。图3中示出了多个经编辑版本303-1、303-2、303-3，其也统称为或单独地称为经编辑版本303。如本文中所使用的，与改变后的上下文不一致包括与改变后的上下文冲突或矛盾。此外，结尾部分可以是指原始的结尾部分或经编辑版本的结尾部分。

如图3所示，编辑版本生成模块350又可以包括冲突检测模块310和编辑提议模块320。冲突检测模块310被配置为基于改变后的上下文，从当前版本的结尾部分105中标识待编辑的目标文本元素301。换言之，冲突检测模块310从当前版本的结尾部分105中标识与改变后的上下文矛盾的文本元素作为目标文本元素301。例如，冲突检测模块310可以从当前版本的结尾部分105中标识与改变后的上下文矛盾的词。

编辑提议模块320被配置为通过对目标文本元素301执行编辑操作，来生成经编辑版本303。编辑操作可以包括但不限于：将目标文本元素301替换为另一文本元素的替换操作，删除目标文本元素301的删除操作，在目标文本元素301之前或之后插入文本元素的插入操作。

编辑提议模块320可以对目标文本元素301执行上述编辑操作之一，例如随机地执行某一编辑操作。由此，可以获得候选编辑版本。在一些实施例中，编辑提议模块320可以对候选编辑版本进行过滤。例如，编辑提议模块320可以至少基于候选编辑版本的上下文连贯性得分，来确定候选编辑版本的接受率。接受率指示候选编辑版本被接受的概率。在一些实施例中，编辑提议模块320还可以附加地基于其他因素来确定候选编辑版本的接受率，如下文将详细描述的。

接受率超过阈值的候选编辑版本被接受，即，被确定为经编辑版本303之一。接受率不超过阈值的候选编辑版本被放弃。

在一些实施例中，如图3所示，冲突检测模块310和编辑提议模块320的操作被迭代地执行，以便生成多个经编辑版本303。当前轮次迭代所生成的经编辑版本303在下一轮次迭代中用作结尾部分105的当前版本。如果当前轮次迭代所生成的候选编辑版本被拒绝，即当前轮次迭代未生成新的经编辑版本，则在下一轮次迭代中使用最新生成的经编辑版本303作为结尾部分105的当前版本。

现在参考图4。图4示出了通过迭代而生成的结尾部分105的经编辑版本410-1、420-2和410-3。经编辑版本410-1是在第t轮次迭代中生成的，因此在第t+1轮次迭代中用作结尾部分105的当前版本。也即，在第t+1轮次迭代中，冲突检测模块310从经编辑版本410-1中标识目标文本元素301。在图4的示例中，在第t+1轮次迭代中，S’5语句412中的词“happy”被标识为目标文本元素301，并且对词“happy”执行了替换操作。

继续参考图3。冲突检测模块310和编辑提议模块320的操作被迭代地执行，直到预定数目的轮次，或者直到冲突检测模块310无法从当前版本的结尾部分105中标识出目标文本元素。由此，编辑版本生成模块350生成经编辑版本303。

可以基于马尔科夫链蒙特卡洛(MCMC)采样过程来实现冲突检测模块310和编辑提议模块320的迭代执行。在MCMC采样过程中，在确定待编辑的目标文本元素之后，即在确定编辑位置之后，以相同的概率从替换、插入和删除操作中选择所执行的编辑操作。然后，根据所获得候选编辑版本的接受率来确定该候选编辑版本是否被接受。

备选地，在一些实施例中，冲突检测模块310可以从结尾部分105中标识待编辑的多个目标文本元素301，以便生成多个经编辑版本303。备选地或附加地，在一些实施例中，编辑提议模块320可以针对目标文本元素301提议多个编辑操作，以便生成多个经编辑版本303。

架构300还包括目标版本确定模块340。目标版本确定模块340被配置为用经编辑版本303中的一个经编辑版本替换结尾部分105，作为经改写的叙事性文本130。

在生成了多个经编辑版本303的情况下，目标版本确定模块340可以对多个经编辑版本303进行选择。具体地，目标版本确定模块340可以针对多个经编辑版本303分别确定期望的属性。经编辑版本303各自的属性至少与经编辑版本303各自的上下文连贯性有关，例如与上下文连贯性得分成比例。附加地，在一些实施例中，经编辑版本303各自的属性还可以与经编辑版本303各自的语言流畅性相关，例如与语言流畅性得分成比例。

目标版本确定模块340然后可以基于多个经编辑版本303各自的属性，从多个经编辑版本303选择用于替换结尾部分105的目标版本。可以选择属性最优的经编辑版本303作为目标版本。例如，可以根据属性对多个经编辑版本303进行排名，并且选择排名最高的经编辑版本作为目标版本。在图4的示例中，经编辑版本410-3被选择为目标版本，以替换结尾部分105。

以上参考图3的架构300描述了根据本公开的实施例的文本改写的总体操作。下面主要以迭代实现为例详细描述冲突检测、编辑提议和目标版本确定的示例操作。

冲突检测

如上文参考图3所提及的，冲突检测模块310从当前版本的结尾部分105中标识与改变后的上下文矛盾的文本元素作为目标文本元素301。具体地，冲突检测模块310可以确定当前版本的结尾部分105中的各个文本元素按照因果关系与改变后的上下文的冲突度。冲突检测模块310可以基于这些文本元素各自的冲突度，选择目标文本元素301。目标文本元素301的冲突度高于未被选择的文本元素的冲突度。例如，目标文本元素301的冲突度最高。

通过标识与改变后的上下文冲突的文本元素，可以定位并修改因果变量。同时，未被标识的文本元素中将保留因果不变信息。以此方式，能够以尽可能少的编辑量来改写结尾部分105。

在一些实施例中，针对当前版本的结尾部分105中的每个文本元素，可以使用预训练的语言模型，确定该文本元素与改变后的上下文的相关性(也称为“第一相关性”)、以及该文本元素与初始上下文的相关性(也称为“第二相关性”)。进而可以基于第一相关性和第二相关性，确定该文本元素与改变后的上下文的冲突度。

作为示例，鉴于上文描述的CRR，可以类似地评估文本元素与改变后的上下文的不一致程度。与式(4)类似，可以通过如下的式(5)来计算文本元素的冲突度：

其中y^*表示当前版本的结尾部分105，

表示当前版本的结尾部分105中的第i个文本元素，

表示当前版本的结尾部分105中在第i个文本元素之前的文本元素，z表示S1语句111，x表示S2语句112，x′表示S’2语句122，P_LM表示由任何合适的语言模型得出的概率，并且

表示第i个文本元素的冲突度。

式(5)中的项

是在给定S1语句111、S2语句112以及在第i个文本元素之前的文本元素的情况下，第i个文本元素出现的概率。因此，项

可以表示第i个文本元素与初始上下文的相关性，该值越大表示第i个文本元素与初始上下文越相关。

式(5)中的项

是在给定S1语句111、S’2语句122以及在第i个文本元素之前的文本元素的情况下，第i个文本元素出现的概率。因此，项

可以表示第i个文本元素与改变后的上下文的相关性，该值越大表示第i个文本元素与改变后的上下文越相关。

相应地，

的值越大，与改变后的上下文相比，第i个文本元素按照因果关系与初始上下文更相关。也即，

较大的文本元素更可能与改变后的上下文矛盾，是更优先被编辑的文本元素。

冲突检测模块310可以基于冲突度

确定目标文本元素301。例如，在迭代的实施例中，冲突检测模块310可以将

最大的一个文本元素确定为每轮次迭代的目标文本元素301。又如，在非迭代的实施例中，冲突检测模块310可以将

最大的前k个文本元素(k是大于等于1的整数)确定为目标文本元素301。

在这种实施例中，通过同时考虑与初始上下文和改变后的上下文的相关性，能够准确定位出更需要被编辑的文本元素。以此方式，可以进一步促进编辑量的减少，并且保证叙事连贯性。

备选地，在一些实施例中，可以基于文本元素与改变后的上下文的相关性，确定该文本元素与改变后的上下文的冲突度。例如，可以基于式(5)中所示的项

来确定第i个文本元素的冲突度。

的值越小，第i个文本元素与改变后的上下文的冲突度越大。

编辑提议

通过冲突检测，可以确定待编辑的目标文本元素301。编辑提议模块320通过对目标文本元素301执行预定编辑操作之一，例如随机地执行某一编辑操作，获得候选编辑版本。预定编辑操作可以包括但不限于替换操作、删除操作和插入操作。

对于图4中的示例，在第t轮次迭代中，S’4语句411中的词“beat”被标识为目标文本元素301，并且对词“beat”执行了插入操作，即在词“beat”之前插入词“never”；在第t+1轮次迭代中，S’5语句412中的词“happy”被标识为目标文本元素301，并且对词“happy”执行了替换操作，即用词“sad”替换了词“happy”。

如参考图3所简要提及的，在一些实施例中，编辑提议模块320可以基于候选编辑版本的接受率，对候选编辑版本进行过滤。接受率至少取决于候选编辑版本按照因果关系的上下文连贯性得分。相应地，编辑提议模块320可以基于候选编辑版本与改变后的上下文的相关性和候选编辑版本与初始上下文的相关性，确定上下文连贯性得分。上下文连贯性得分可以使用语言模型来确定。

作为示例，鉴于上文描述的CRR，可以类似地评估候选编辑版本的上下文连贯性。与式(4)类似，可以通过如下的式(6)来计算候选编辑版本的上下文连贯性得分：

其中y^*表示候选编辑版本，z表示S1语句111，x表示S2语句112，x′表示S’2语句122，P_Coh是由任何合适的语言模型得出的条件概率，χ_Coh表示上下文一致性得分。

式(6)中的项P_Coh(Y＝y^*|z，x′)是在给定S1语句111和S’2语句122的情况下产生候选编辑版本的概率。因此，项P_Coh(Y＝y^*|z，x′)可以表示候选编辑版本与改变后的上下文的相关性。

式(6)中的项P_Coh(Y＝y^*|z，x)是在给定S1语句111和S2语句112的情况下产生候选编辑版本的概率。因此，项P_Coh(Y＝y^*|z，x)可以表示候选编辑版本与初始上下文的相关性。

相应地，χ_Coh的值越大，与初始上下文相比，候选编辑版本按照因果关系与改变后的上下文越相关。也即，χ_Coh较大的候选编辑版本与改变后的语句是上下文连贯的，从而可以具有更高的接受率。

在一些实施例中，除了上下文连贯性，接受率还可以进一步取决于语言流畅性。通过考虑语言流畅性，可以确保改写后的文本的流畅性和可读性。可以使用语言模型来确定语言流畅性得分。例如，可以通过式(7)来计算候选编辑版本的语言流畅性得分：

其中y^*表示候选编辑版本，

表示候选编辑版本中的第i个文本元素，

表示候选编辑版本中在第i个文本元素之前的文本元素，z表示S1语句111，x′表示S’2语句122，P_LM是由任何合适的语言模型得出的条件概率，χ_LM表示语言流畅性得分。

式(7)中的项

是在给定S1语句111、S’2语句122以及在第i个文本元素之前的文本元素的情况下，第i个文本元素出现的概率。候选编辑版本中所有文本元素的出现概率的乘积用于表示候选编辑版本的语言流畅性。

上下文连贯性和语言流畅性可以视为针对文本改写的期望的属性。在一些实施例中，可以定义针对文本改写的稳态分布，其与各种期望的属性有关，并且用于表示针对文本改写的总体属性。例如，稳态分布或总体属性可以被定义为：

其中x表示候选编辑版本，π(x)表示候选编辑版本的总体属性，

和

分别表示第0个和第n个所考虑的期望的属性，例如语言流畅性和上下文连贯性。

相应地，在考虑语言流畅性和上下文连贯性的情况下，总体属性可以被定义为：

π(x)∝χ_LM(x)·χ_Coh(x) (9)

其中χ_LM和χ_Coh可以分别通过式(7)和(6)来计算。可见，稳态分布或总体属性可以被定义为语言流畅性得分与上下文连贯性得分的乘积，也即与语言流畅性得分和上下文连贯性得分成比例。

在一些实施例中，除了诸如上下文连贯性和语言流畅性之类的属性，接受率还可以进一步取决于由结尾部分105产生候选编辑版本的转变概率。用x_t+1来表示第t轮次迭代中生成的候选编辑版本，x_t表示第t轮次迭代开始时结尾部分105的当前版本，那么针对候选编辑版本的转变概率可以表示为g(x_t+1|x_t)。

对于替换操作，假设x_t＝[w₁，…，w_m，…，w_n]，并且替换操作将文本元素w_m替换为w^c，其中文本元素w^c从预选择的候选集

中采样而来。如果x_t+1＝[w₁，…，w^c，…，w_n]，则针对替换操作的转变概率g_r可以定义为：

其中

是指示函数，在

的情况下，其值为1，否则为0。

是在给定除w_m之外的其余文本元素的情况下w^c出现的概率。可以使用诸如BERT的掩码语言模型(MLM)来计算

可以用g_d来表示针对删除操作的转变概率。当且仅当x_t+1＝[w₁，…，w_m-1，w_m+1，…，w_n]时，g_d(x_t+1|x_t)＝1。

插入操作包括两个步骤。首先，将表示掩码的文本元素插入到所确定的位置，即目标文本元素301之前或之后。然而，对所插入的文本元素执行替换操作。因此，针对插入操作的转变概率g_i与式(10)类似。

在编辑提议模块320按相等概率随机地执行替换操作、插入操作和删除操作之一的情况下，从当前版本x_t产生候选编辑版本x_t+1的期望转变概率如下式：

其中g_r、g_d、g_i分别对应于替换操作、删除操作和插入操作，并且如上文所描述的那样计算。

在这种实施例中，基于总体属性和转变概率，可以确定候选编辑版本的接受率α。例如，在上文提及的MCMC采样过程中，按照Metropolis-Hasting(MH)采样算法，从当前版本x_t产生候选编辑版本x_t+1的提议分布为g(x_t+1|x_t)，并且MCMC采样中的样本分布将收敛至稳态分布π(x)。相应地，可以利用MH算法来计算第t轮次迭代中生成的候选编辑版本x_t+1的接受率，如下式：

其中T是温度控制系数。仅作为示例，

本公开的实施例在此方面不受限制。

编辑提议模块320基于接受率α，确定候选编辑版本是否被接受。在一些实施例中，如果接受率α大于阈值接受率，则候选编辑版本被接受，即，被确定为经编辑版本303之一。在一些实施例中，可以产生随机数，如果所产生的随机数小于接受率α，则候选编辑版本被接受。

版本选择

如上文参考图3所提及的，目标版本确定模块340可以基于多个经编辑版本303各自的属性，从多个经编辑版本303中选择用于替换结尾部分105的目标版本。可以选择属性最优的经编辑版本303作为目标版本。例如，可以基于通过式(8)或式(9)而计算的总体属性π(x)来选择目标版本，其中x表示经编辑版本303。

在一些实施例中，如果在计算接受率时针对候选编辑版本已经计算总体属性π(x)，则可以直接使用先前计算的总体属性。在一些实施例中，目标版本确定模块340可以根据式(6)、(7)、(8)来计算总体属性π(x)。在这种情况下，这些公式中关于候选编辑版本所描述的参数替换为经编辑版本。

目标版本确定模块340可以根据总体属性π(x)对多个经编辑版本303进行排名，并且选择排名最高的经编辑版本作为目标版本。

示例过程

图5示出了根据本公开的一些实施例的改写叙事性文本的过程500的流程图。过程500可以被实现在改写系统100处。

在框510处，确定对叙事性文本中的一个语句的改变。改变前的语句的初始上下文与改变后的语句的目标上下文不同。例如，改写系统101接收叙事性文本101和改变后的S’2语句122。

在框520处，基于叙事性文本中在被改变的语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本。例如，改写系统101基于结尾部分105与改变后的S’2语句122的上下文的不一致性，对结尾部分105执行编辑操作，从而获得结尾部分105的至少一个经编辑版本。

在一些实施例中，在对文本部分执行至少一个编辑操作以生成至少一个经编辑版本时，可以迭代地进行冲突检测和编辑提议。具体地，可以迭代地执行以下操作：确定文本部分中的多个文本元素各自按照因果关系与目标上下文的冲突度；基于多个文本元素各自的冲突度，从多个文本元素中选择目标文本元素，目标文本元素的冲突度高于多个文本元素中未被选择的文本元素的冲突度；以及通过对目标文本元素执行候选编辑操作，生成至少一个经编辑版本之一。

在一些实施例中，在生成至少一个经编辑版本之一时，可以考虑对目标文本元素执行候选编辑操作而产生的候选编辑版本的上下文连贯性。具体地，可以基于文本部分的候选编辑版本与目标上下文的相关性和候选编辑版本与初始上下文的相关性，确定候选编辑版本按照因果关系的上下文连贯性得分。例如，使用语言模型并通过式(6)来计算上下文连贯性得分。至少基于上下文连贯性得分，可以确定候选编辑版本的接受率，接受率指示候选编辑版本被接受的概率。如果接受率超过阈值接受率，则可以将候选编辑版本确定为至少一个经编辑版本之一。

在一些实施例中，可以进一步基于其他因素来确定候选编辑版本的接受率。具体地，可以基于候选编辑版本中的各个文本元素在目标上下文下的出现概率，确定候选编辑版本的语言流畅性得分。例如，可以使用语言模型并通过式(7)来计算语言连贯性得分。可以确定由文本部分产生候选编辑版本的转变概率。例如，可以通过式(11)来计算转变概率。可以基于上下文连贯性得分、语言流畅性得分和转变概率，确定接受率。例如，可以通过式(12)来计算接受率。

在一些实施例中，在确定多个文本元素各自的冲突度时可以考虑与目标上下文和初始上下文两者的相关性。具体地，可以针对多个文本元素中的相应文本元素，使用语言模型，确定相应文本元素与目标上下文的第一相关性、以及相应文本元素与初始上文的第二相关性。基于第一相关性与第二相关性，确定相应文本元素的冲突度。例如，可以使用语言模型并通过式(5)来计算冲突度。

在框530处，用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。例如，在存在多个经编辑版本303的情况下，从多个经编辑版本303选择一个版本来替换结尾部分105。

在一些实施例中，基于至少一个经编辑版本各自的属性来选择目标版本以用于替换。具体地，可以基于至少一个经编辑版本各自与目标上下文的相关性和与初始上下文的相关性，确定至少一个经编辑版本按照因果关系各自的上下文连贯性得分。可以确定至少一个经编辑版本各自的、与上下文连贯性得分成比例的属性。可以基于至少一个经编辑版本各自的属性，从至少一个经编辑版本选择目标版本，目标版本的属性优于至少一个经编辑版本中未被选择的版本的属性。可以用目标版本替换文本部分，作为经改写的叙事性文本。

在一些实施例中，至少一个经编辑版本各自的属性还与语言流畅性得分成比例，例如，如式(9)所示。可以基于至少一个编辑版本中的各个文本元素在目标上下文下的出现概率，确定至少一个编辑版本各自的语言流畅性得分。

示例装置和设备

图6示出了根据本公开的一些实施例的用于改写叙事性文本的装置600的框图。装置600可以被实现为或者被包括在改写系统110中。装置600中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置600包括改变确定模块610，被配置为确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同。装置600还包括编辑模块620，被配置为基于叙事性文本中在语句之后的文本部分与目标上下文的不一致性，对文本部分执行至少一个编辑操作，以生成文本部分的至少一个经编辑版本。装置600还包括替换模块630，被配置为用至少一个经编辑版本中的经编辑版本替换文本部分，作为经改写的叙事性文本。

在一些实施例中，编辑模块620包括：冲突度确定模块，被配置为确定文本部分中的多个文本元素各自按照因果关系与目标上下文的冲突度；目标文本元素选择模块，被配置为基于多个文本元素各自的冲突度，从多个文本元素中选择目标文本元素，目标文本元素的冲突度高于多个文本元素中未被选择的文本元素的冲突度；以及编辑执行模块，被配置为通过对目标文本元素执行候选编辑操作，生成至少一个经编辑版本之一。冲突度确定模块、目标文本元素选择模块和编辑执行模块的操作被迭代地执行。

在一些实施例中，冲突度确定模块包括：相关性确定模块，被配置为针对多个文本元素中的相应文本元素，使用语言模型，确定相应文本元素与目标上下文的第一相关性、以及相应文本元素与初始上文的第二相关性；以及相关性使用模块，被配置为基于第一相关性与第二相关性，确定相应文本元素的冲突度。

在一些实施例中，编辑执行模块包括：连贯性得分模块，被配置为基于文本部分的候选编辑版本与目标上下文的相关性和候选编辑版本与初始上下文的相关性，确定候选编辑版本按照因果关系的上下文连贯性得分，候选编辑版本是对目标文本元素执行候选编辑操作而产生的；接受率确定模块，被配置为至少基于上下文连贯性得分，确定候选编辑版本的接受率，接受率指示候选编辑版本被接受的概率；以及接受率判断模块，被配置为如果接受率超过阈值接受率，将候选编辑版本确定为至少一个经编辑版本之一。

在一些实施例中，接受率确定模块进一步被配置为：基于候选编辑版本中的各个文本元素在目标上下文下的出现概率，确定候选编辑版本的语言流畅性得分；确定由文本部分产生候选编辑版本的转变概率，以及基于上下文连贯性得分、语言流畅性得分和转变概率，确定接受率。

在一些实施例中，替换模块630包括：连贯性得分模块，被配置为基于至少一个经编辑版本各自与目标上下文的相关性和与初始上下文的相关性，确定至少一个经编辑版本按照因果关系各自的上下文连贯性得分；属性确定模块，被配置为确定至少一个经编辑版本各自的、与上下文连贯性得分成比例的属性；目标版本选择模块，被配置为基于至少一个经编辑版本各自的属性，从至少一个经编辑版本选择目标版本，目标版本的属性优于至少一个经编辑版本中未被选择的版本的属性；以及文本部分替换模块，被配置为用目标版本替换文本部分，作为经改写的叙事性文本。

在一些实施例中，装置600还包括：流畅性得分模块，被配置为基于至少一个编辑版本中的各个文本元素在目标上下文下的出现概率，确定至少一个编辑版本各自的语言流畅性得分，并且其中至少一个经编辑版本各自的属性还与语言流畅性得分成比例。

图7示出了示出了其中可以实施本公开的一个或多个实施例的计算设备700的框图。应当理解，图7所示出的计算设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的计算设备700可以用于实现图1的改写系统101。

如图7所示，计算设备700是通用计算设备的形式。计算设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备800的并行处理能力。

计算设备700通常包括多个计算机存储介质。这样的介质可以是计算设备700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备700内被访问。

计算设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元740实现通过通信介质与其他计算设备进行通信。附加地，计算设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备700交互的设备进行通信，或者与使得计算设备700与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (16)

1.一种改写叙事性文本的方法，包括：

确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同；

基于所述叙事性文本中在所述语句之后的文本部分与所述目标上下文的不一致性，对所述文本部分执行至少一个编辑操作，以生成所述文本部分的至少一个经编辑版本；以及

用所述至少一个经编辑版本中的经编辑版本替换所述文本部分，作为经改写的所述叙事性文本。

2.根据权利要求1所述的方法，其中对所述文本部分执行至少一个编辑操作以生成所述至少一个经编辑版本包括迭代地执行以下操作：

确定所述文本部分中的多个文本元素各自按照因果关系与所述目标上下文的冲突度；

基于所述多个文本元素各自的所述冲突度，从所述多个文本元素中选择目标文本元素，所述目标文本元素的所述冲突度高于所述多个文本元素中未被选择的文本元素的所述冲突度；以及

通过对所述目标文本元素执行候选编辑操作，生成所述至少一个经编辑版本之一。

3.根据权利要求2所述的方法，其中确定所述多个文本元素各自的冲突度包括：

针对所述多个文本元素中的相应文本元素，

使用语言模型，确定所述相应文本元素与所述目标上下文的第一相关性、以及所述相应文本元素与所述初始上文的第二相关性；以及

基于所述第一相关性与所述第二相关性，确定所述相应文本元素的所述冲突度。

4.根据权利要求2所述的方法，其中生成所述至少一个经编辑版本之一包括：

基于所述文本部分的候选编辑版本与所述目标上下文的相关性和所述候选编辑版本与所述初始上下文的相关性，确定所述候选编辑版本按照因果关系的上下文连贯性得分，所述候选编辑版本是对所述目标文本元素执行所述候选编辑操作而产生的；

至少基于所述上下文连贯性得分，确定所述候选编辑版本的接受率，所述接受率指示所述候选编辑版本被接受的概率；以及

如果所述接受率超过阈值接受率，将所述候选编辑版本确定为所述至少一个经编辑版本之一。

5.根据权利要求4所述的方法，其中确定所述候选编辑版本的所述接受率包括：

基于所述候选编辑版本中的各个文本元素在所述目标上下文下的出现概率，确定所述候选编辑版本的语言流畅性得分；

确定由所述文本部分产生所述候选编辑版本的转变概率；以及

基于所述上下文连贯性得分、所述语言流畅性得分和所述转变概率，确定所述接受率。

6.根据权利要求1所述的方法，其中用所述至少一个经编辑版本中的经编辑版本替换所述文本部分作为经改写的所述叙事性文本包括：

基于所述至少一个经编辑版本各自与所述目标上下文的相关性和与所述初始上下文的相关性，确定所述至少一个经编辑版本按照因果关系各自的上下文连贯性得分；

确定所述至少一个经编辑版本各自的、与所述上下文连贯性得分成比例的属性；

基于所述至少一个经编辑版本各自的所述属性，从所述至少一个经编辑版本选择目标版本，所述目标版本的所述属性优于所述至少一个经编辑版本中未被选择的版本的所述属性；以及

用所述目标版本替换所述文本部分，作为经改写的所述叙事性文本。

7.根据权利要求6所述的方法，还包括：

基于所述至少一个编辑版本中的各个文本元素在所述目标上下文下的出现概率，确定所述至少一个编辑版本各自的语言流畅性得分，并且

其中所述至少一个经编辑版本各自的所述属性还与所述语言流畅性得分成比例。

8.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行以下动作：

确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同；

基于所述叙事性文本中在所述语句之后的文本部分与所述目标上下文的不一致性，对所述文本部分执行至少一个编辑操作，以生成所述文本部分的至少一个经编辑版本；以及

用所述至少一个经编辑版本中的经编辑版本替换所述文本部分，作为经改写的所述叙事性文本。

9.根据权利要求8所述的电子设备，其中对所述文本部分执行至少一个编辑操作以生成所述至少一个经编辑版本包括迭代地执行以下操作：

确定所述文本部分中的多个文本元素各自按照因果关系与所述目标上下文的冲突度；

基于所述多个文本元素各自的所述冲突度，从所述多个文本元素中选择目标文本元素，所述目标文本元素的所述冲突度高于所述多个文本元素中未被选择的文本元素的所述冲突度；以及

通过对所述目标文本元素执行候选编辑操作，生成所述至少一个经编辑版本之一。

10.根据权利要求9所述的电子设备，其中确定所述多个文本元素各自的冲突度包括：

针对所述多个文本元素中的相应文本元素，

使用语言模型，确定所述相应文本元素与所述目标上下文的第一相关性、以及所述相应文本元素与所述初始上文的第二相关性；以及

基于所述第一相关性与所述第二相关性，确定所述相应文本元素的所述冲突度。

11.根据权利要求9所述的电子设备，其中生成所述至少一个经编辑版本之一包括：

基于所述文本部分的候选编辑版本与所述目标上下文的相关性和所述候选编辑版本与所述初始上下文的相关性，确定所述候选编辑版本按照因果关系的上下文连贯性得分，所述候选编辑版本是对所述目标文本元素执行所述候选编辑操作而产生的；

至少基于所述上下文连贯性得分，确定所述候选编辑版本的接受率，所述接受率指示所述候选编辑版本被接受的概率；以及

如果所述接受率超过阈值接受率，将所述候选编辑版本确定为所述至少一个经编辑版本之一。

12.根据权利要求11所述的电子设备，其中确定所述候选编辑版本的所述接受率包括：

基于所述候选编辑版本中的各个文本元素在所述目标上下文下的出现概率，确定所述候选编辑版本的语言流畅性得分；

确定由所述文本部分产生所述候选编辑版本的转变概率；以及

基于所述上下文连贯性得分、所述语言流畅性得分和所述转变概率，确定所述接受率。

13.根据权利要求8所述的电子设备，其中用所述至少一个经编辑版本中的经编辑版本替换所述文本部分作为经改写的所述叙事性文本包括：

基于所述至少一个经编辑版本各自与所述目标上下文的相关性和与所述初始上下文的相关性，确定所述至少一个经编辑版本按照因果关系各自的上下文连贯性得分；

确定所述至少一个经编辑版本各自的、与所述上下文连贯性得分成比例的属性；

基于所述至少一个经编辑版本各自的所述属性，从所述至少一个经编辑版本选择目标版本，所述目标版本的所述属性优于所述至少一个经编辑版本中未被选择的版本的所述属性；以及

用所述目标版本替换所述文本部分，作为经改写的所述叙事性文本。

14.根据权利要求13所述的电子设备，其中所述动作还包括：

基于所述至少一个编辑版本中的各个文本元素在所述目标上下文下的出现概率，确定所述至少一个编辑版本各自的语言流畅性得分，并且

其中所述至少一个经编辑版本各自的所述属性还与所述语言流畅性得分成比例。

15.一种用于改写叙事性文本的装置，包括：

改变确定模块，被配置为确定对叙事性文本中的一个语句的改变，其中改变前的语句的初始上下文与改变后的语句的目标上下文不同；

编辑模块，被配置为基于所述叙事性文本中在所述语句之后的文本部分与所述目标上下文的不一致性，对所述文本部分执行至少一个编辑操作，以生成所述文本部分的至少一个经编辑版本；以及

替换模块，被配置为用所述至少一个经编辑版本中的经编辑版本替换所述文本部分，作为经改写的所述叙事性文本。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至7中任一项所述的方法。

Images