CN110110331A

CN110110331A - 文本生成方法、装置、介质和计算设备

Info

Publication number: CN110110331A
Application number: CN201910362399.0A
Authority: CN
Inventors: 邵智宏; 黄民烈
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2019-08-09
Anticipated expiration: 2039-04-30
Also published as: CN110110331B

Abstract

本发明的实施方式提供了一种文本生成方法。该方法包括：将文本生成任务规划为多个文本块生成子任务；重复执行以下文本块生成子任务直到所有子任务执行完毕：基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块。根据本发明的文本生成方法，在生成文本过程中模拟人类的写作过程，合理规划文章结构和各个部分的内容，能够使得长文本中的句子与前后文之前取得较高的一致性和流畅性，并且更加全面的覆盖输入数据集合。此外，本发明的实施方式提供了一种文本生成装置、介质和计算设备。

Description

文本生成方法、装置、介质和计算设备

技术领域

本发明的实施方式涉及自然语言处理领域，更具体地，本发明的实施方式涉及一种文本生成方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

数据到文本生成是从结构化数据生成自然语言文本，其具有广泛的应用(用于天气预报，比赛报告，产品描述，广告文档等)。现有的一些基于神经网络的文本生成模型能够在某些应用中生成流畅且连贯的短文本。然而，在需要生成(如产品描述)篇幅较长的文本时，现有方法无法保证句子间表达的一致性，前后衔接的流畅性，以及对输入数据集合较高的覆盖率，并且表达方式也不够多样化。

发明内容

为此，非常需要一种改进的文本生成方法，更加适合基于输入数据集合生成篇幅较长的文本。

在本上下文中，本发明的实施方式期望提供一种文本生成方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种文本生成方法，包括：

将文本生成任务规划为多个文本块生成子任务；

重复执行以下文本块生成子任务直到所有子任务执行完毕：

基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块。

在本发明实施方式的第二方面中，提供了一种文本生成装置，包括：

任务规划模块，被配置为将文本生成任务规划为多个文本块生成子任务；

任务执行模块，被配置为重复执行以下文本块生成子任务直到所有子任务执行完毕：

在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如第一方面任一实施例所述的方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如第一方面任一实施例所述的方法。

根据本发明实施方式的文本生成方法、装置、介质和计算设备，可以将长文本生成任务分解为多个依赖相应组和先前生成的文本块的文本块生成子任务，然后再逐一执行子任务生成相应的文本块，最后拼接为长文本。根据本发明的文本生成方法，在生成文本过程中模拟人类的写作过程，合理规划文章结构和各个部分的内容，能够使得长文本中的句子与前后文之前取得较高的一致性和流畅性，并且更加全面的覆盖输入数据集合。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明各个实施方式的一种应用场景示意图；

图2示意性地示出了根据本发明一实施方式的文本生成方法的流程示意图；

图3示意性地示出了根据本发明各个实施方式的通过输入多个数据进行广告文本生成的示意图

图4示意性地示出了根据本发明各个实施方式的又一应用场景示意图；

图5示意性地示出了根据本发明各实施方式构建的模型的结构示意图；

图6示意性地示出了根据本发明各个实施方式构建的模型与其他模型针对于相同输入的实验结果；

图7示意性地示出了根据本发明一实施方式的文本生成装置的模块示意图；

图8示意性地示出了根据本发明实施方式提供的一种计算机可读存储介质的示意图；

图9示意性地示出了根据本发明实施方式提供的一种计算设备的示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种文本生成方法、介质、装置和计算设备。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，在撰写篇幅较长的文章时，人类作者总是先进行大纲的撰写，安排每部分的内容和语句结构(即高级规划)，然后逐个完成每个部分的撰写(低级实现)。由此得到启示，发明人首先将输入数据集合分割成一系列组，然后生成以相应组和先前生成的文本块为条件的文本块。通过这种方式，本申请将长文本生成任务分解为多个依赖相应组和先前生成的文本块的文本块生成子任务，然后再逐一执行子任务生成相应的文本块，最后拼接为长文本。

通过本方法生成的长文本，模拟人类的写作过程，合理规划文章结构和各个部分的内容，能够使得长文本中的句子与前后文之前取得较高的一致性，并且更加全面的覆盖输入数据集合。

另外，本发明的方法还通过在不同层级分别引入全局隐变量和局部隐变量，使得生成的文本能够具有多样化的表达。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，图1是根据本发明实施方式的第一方面所提供的文本生成方法的应用场景示意图，图中左侧部分为多个输入数据，图中右侧部分为根据本发明所公开的方法对多个输入数据处理后得到长文本，其中，所述方法的执行主体可以是本地计算设备，也可以是服务器、服务器集群或虚拟服务器等，通过网络(局域网/互联网)向本地提供服务，使得本地用户能够通过提供足够的输入数据以得到相应的长文本。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的用于文本生成的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

图2是本发明实施方式第一方面所述的一种文本生成方法的实施例的流程示意图。虽然本发明提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本发明实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。

为了清楚起见，下述实施例以具体的一个用户通过输入多个数据进行广告文本生成的实施场景进行说明(如图3所示)。但是，本领域技术人员能够理解到，可以将本方案的实质精神应用到文本生成的其他实施场景中，如参照图4，用户输入一篇文章后，根据本发明的规划思想，将所述文章中的句子集合划分为多个子集，然后浓缩成一句话(摘要)(例如分别基于每个子集选出用于生成摘要的关键字，最后基于各个关键字生成摘要)。

具体的一种实施例如图2所示，本发明提供的一种文本生成方法的一种实施例中，所述方法可以包括：

步骤S110，将文本生成任务规划为多个文本块生成子任务；

在本实施方式中，首先对文本生成任务进行规划，将其分解为一系列从属的文本块生成子任务，在本实施方式的一个实施例中，将文本生成任务规划为多个文本块生成子任务，包括：

基于所述输入数据集合生成一个包括所有输入数据的子集组合序列；

基于所述子集组合序列对应规划多个文本块生成子任务。

具体的，若所述输入数据集合x＝{d1,d2,d3,…,dn}，那么所述输入数据集合的子集有2ⁿ个，选取其中(非空真子集)的若干个适合的子集组成子集组合序列(一个子集组合序列中可能存在具有相同元素的两个子集)，用以生成相应的文本块来完成文本生成任务(每一个子集中的数据均用于对应生成相应的文本块)，例如，生成的子集组合序列为g＝g1g2g3…gT(gT 表示第T个子集)，那么执行完所有文本块子任务后生成的文本为 y＝s1s2s3…sT(sT表示第T个文本块)。

为了简化处理(学习)过程，在本实施方式的一个实施例中，所述输入数据集合在输入之前被按照预设规则(例如在所述输入数据为键值对时，定义属性之间的排序关系为其中一般属性在特定属性之前)排序后利用双向循环神经网络排序后的输入数据集合编码，具体的，在每一所述输入数据的格式为键值对(ai；vi)时，每一输入数据均被表示为di＝[e(ai)；e(vi)]，其中e将ai和vi分别一一映射为向量，然后，所述双向循环神经网络(BDRNN)为双向门控循环单元(还可以是双向LSTM)，被配置为将前向门控循环单元和后向门控循环单元的末隐状态拼接，作为输入数据集合的编码表示：

将每个时刻的前向门控循环单元和后向门控循环单元的隐状态拼接，作为相应时刻的输入数据的编码表示：

可以理解的是，在本实施方式的一个实施例中，将输入数据集合编码的编码器不一定是循环神经网络RNN；采用其他神经网络的编码器或其他编码方案也是可行的，例如多层感知器(MLP)和词袋(bag of words)。

考虑到语言表达的多样性，即采用相同的几个词语也可以进行相同或不同语义的造句，即使语义相同的句子也可以有很多种不同的句式结构或表达方式，在本实施方式的一个实施例中，为了使得生成的文本具有更加多样化的表达，将文本生成任务规划为至少一个能够生成合理的语句结构的文本的包括多个文本块生成子任务的任务组(不同的任务组能够产生不同的文本)，具体的，基于所述输入数据集合生成至少一个包括所有输入数据的子集组合序列(即生成不同的子集组合序列)；然后基于每一子集组合序列对应规划每一包括多个文本块生成子任务的任务组。

在本实施方式的一个实施例中，引入全局隐变量(可以基于所述输入数据集合的编码表示来得到，具体的，基于所述输入数据集合的编码表示来构建的概率分布采样获得)控制文本的多样化表达，具体的，基于所述全局隐变量将所述文本生成任务规划为至少一个包括多个文本块生成子任务的任务组，例如，基于全局隐变量以及所述输入数据集合生成至少一个包括所有输入数据的子集组合序列；基于每一子集组合序列对应规划每一包括多个文本块生成子任务的任务组。

在本实施方式的一个实施例中，可以获取给定条件(输入数据集合x和全局隐变量z^p)下，概率最大的子集组合序列作为被采用的子集组合序列g：

g＝argmax_gP(g|x，z^p)；

公式中，g表示子集组合序列，x表示输入数据集合，z^p表示全局隐变量。

全局隐变量的不同采样结果可能导致不同的规划结果(子集组合序列) (生成不同的子集组合序列)。在本实施方式的一个实施例中，所述全局隐变量在推断和训练阶段基于不同的概率分布获得，具体的，所述全局隐变量可以在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取：

[μ^p；log(σ^p2)]＝MLP_θ(x)

[μ^p′；log(σ^p′2)]＝MLP_θ′(x，y)。

接下来，需要确定所述子集组合序列中的每一子集，具体的，所述子集组合序列中的子集可以逐个确定，例如，所述子集组合序列中的子集由以下确定：

其中，gt表示所述子集组合序列中的第t个子集，g＜t表示gt之前的所有子集。

在本实施例中，可以通过一个计划解码器(可以采用循环神经网络，例如门控循环单元GRU)确定所述子集组合序列中的每一子集，也即通过计划解码器求解上述公式来确定当前子集，具体的，可以通过确定当前子集中的元素来确定当前子集，其中，子集组合序列中每一子集中所包括的元素由以下确定：

确定输入数据集合中每一输入数据属于当前子集的概率；

选取概率大于第一预设阈值(例如0.5)的输入数据作为当前子集的元素。

在本实施方式的一个实施例中，可以通过以下确定输入数据集合中每一输入数据属于当前子集的概率：

其中，d_i表示第i个输入数据，σ表示sigmoid函数，tanh表示双曲正切函数，W_p、b_p表示控制参数，h_i为d_i编码后的向量表示，表示计划解码器在时间步t产生的隐状态向量(包含如何选择子集的信息)。

也即在本实施方式的一个实施例中，在时间步t可以基于所述计划解码器确定当前子集时产生的隐状态向量和输入数据的编码表示来确定所述输入数据属于当前子集的概率。

通过以上方式确定的子集可以表示为

另外，考虑到有可能存在任一输入数据属于当前子集的概率均不大于所述第一预设阈值，此时则选取概率最大的一个或多个输入数据作为当前子集的元素，符号化表示为

在下一个时间步，将bow(gt)提供给所述计划解码器，以便明确输入数据集合的采用情况。以上步骤将会持续进行(逐一确定各个子集中包括的元素)，直到下一个时间步的停止概率超过第二预设阈值(例如0.5)，其中，所述当前时间步的停止概率基于当前隐状态向量计算：

在本实施方式的一个实施例中，可以采用enc(x)和z^p初始化隐状态向量由于可以在训练数据集合中提取文本采用的子集组合序列，我们在完全监督下训练计划解码器。时间步t的损失函数由下式给出：

其中，是一个训练过程中的参考子集组合，这样训练之后，全局隐变量就能够具有合理规划的特征。

在基于以上步骤完成规划之后，接下来，执行步骤S120，重复执行以下文本块生成子任务直到所有子任务执行完毕：基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块。

根据以上步骤，一个任务组中的所有子任务被执行完毕时，生成的文本为：

y＝S1S2...ST；

其中，y表示文本，ST表示第T个文本块。

所述文本应该和规划结果(子集组合序列)g＝g1g2…gT一致；

其中，g表示子集组合序列，gT表示第T个子集。

以上过程可通过下式表示：

c＝{x，z^p}

y＝argmax_yP(y|g，c)

在本实施方式的一个实施例中，可以通过计算

来逐一确定文本中的文本块(基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块)，其中，s_t表示第t个文本块，s＜t 表示s_t之前的所有文本块，c＝{x，z^P}；

另外，在生成过程中，句子和单词分层生成，其中句子级生成拟合句子间的一致性和流畅性，并交互式地控制进行句子实现的单词级别的生成/选择。

具体的，在本实施方式的一个实施例中，采用句子解码器以及字解码器实现所述文本块，其中，句子解码器(GRU)执行句子级生成；对于要生成的每个句子，它产生文本块的表达形式并引入局部隐变量来控制句子实现。

其中，所述文本块的表达形式基于以下实现：

其中，表示时间步t生成的文本块的表达形式，表示上一时间步指导上一文本块生成的局部隐变量，表示所述字解码器在上一时间步解码上一文本块后的隐状态向量，GRU_s表示句子解码器。

其中，所述局部隐变量基于在先文本块、在先局部隐变量以及当前子集得到，具体的，所述局部隐变量从其概率分布采样获得，所述概率分布基于在先文本块、在先局部隐变量以及当前子集计算得到，局部隐变量的不同采样结果可能导致不同的句子实现结果。在本实施方式的一个实施例中，所述局部隐变量在推断和训练阶段基于不同的概率分布获得，具体的，所述局部隐变量在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取：

通过以上方式，本实施例在两个方面控制了的分布。首先，为了加强与规划结果(子集组合序列)g的联系，本实施例中另外在g_t上调整以使专注于g_t。其次，为了拟合对S_＜t的依赖关系，我们通过将输入到句子解码器来明确地模拟局部隐变量之间的依赖关系，以便以为条件，并且在长文本中模拟平滑过渡。

另外，在本实施方式的一个实施例中，通过编码输入x，全局隐变量 z^p和规划结果(子集组合序列)g来初始化文本块的表达形式(隐状态)

其中，GRU_g为计划编码器，表示对g进行编码(此处g已经规划完成)，为其中的第t个隐状态向量。

与此同时，所述字解码器基于所述表现形式生成所述文本块，具体的，所述字解码器解码基于当前文本块的表达形式，当前局部隐变量以及当前子集控制文本块中字或词的选择：

其中，表示时间步t生成的文本块中的第k个字或词，表示时间步t生成的文本块中的第k个字或词之前所有的字或词。

可选地，所述句子解码器和字解码器均采用循环神经网络，具体的，在本实施方式的一个实施例中，其都采用门控循环单元。

另外，基于本实施方式的以上实施例，可以构建基于规划的分层变分模型Planning-based Hierarchical Variational Model(PHVM)来处理数据到文本的任务，所述PHVM的体系结构如图5所示，该模型使用全局隐变量 z^p控制规划。计划解码器通过生成组序列g＝g1g2...gT来进行规划，其中g_t是输入项的子集并指定要生成的句子s_t的内容。句子解码器用局部隐变量控制s_t的实现；之间的依赖关系被明确建模，以更好地捕获句子间的一致性。

本实施方式提供的文本生成方法，模拟人类的写作过程，合理规划文章结构和各个部分的内容，能够使得长文本中的句子与前后文之前取得较高的一致性，并且更加全面的覆盖输入数据集合。

最后，以上计算过程中存在三项损失函数，依次为log(P(y|x))的变分下界(ELBO)(可以通过最大化下界来优化P(y|x))：

第二项是计划解码器的学习的停止信号：

第三项是词袋的损失(bag-of-word loss)之和，由于此模型基于条件变分自编码器Conditional Variational Auto-Encoder (CVAE)，CVAE存在 KL崩塌的问题(KL散度为0)，即模型忽略隐变量z，此处的bag-of-word loss使模型学习使用隐变量来避免出现上述问题。

为了验证本申请所提供的的文本生成方法的优异性，发明人进行了一些实验，实验结果如图6所示，实验结果表明，在相同的输入条件下，大多数方法/模型无法涵盖提供的所有数据并存在重复描述某些输入项的情况。例如，Link-S2S输出的文本忽略属性值：七分袖，并描述圆领两次。 Checklist和CVAE也有类似的问题。由于Link-S2S和Checklist仅在条件输出分布处注入变化，因此它们建模表达多样性的能力具有一定局限。尽管Pointer-S2S覆盖了所有属性值并且没有冗余，但生成的第一句存在逻辑上的不一致(圆领不应与细长的手臂有任何逻辑关系)。相比之下，我们的模型生成的两个文本都涵盖了所有输入数据，并且按照从上到下的位置顺序描述了衣服而没有冗余。

并且由于多样化的合理规划，它们采用了不同的语句结构：

第一个文本采用总分结构，而第二个文本采用并行结构。因此，本申请的模型能够生成逻辑顺畅的长文本。本申请的模型生成的两个文本的差异也表明我们的模型能够产生多样化的文本。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的文本生成装置进行说明，所述装置包括：

任务规划模块710，被配置为将文本生成任务规划为多个文本块生成子任务；

任务执行模块720，被配置为重复执行以下文本块生成子任务直到所有子任务执行完毕：

本申请所提供的装置中提供的模块能够在使用时基于与上述的示例性方法(相同的技术手段)根据输入数据(集合)生成目标文本，其在具体运行时可以取得上述的示例性方法一样的技术效果，即与模拟人类的写作过程，合理规划文章结构和各个部分的内容，使得长文本中的句子与前后文之前取得较高的一致性，并且更加全面的覆盖输入数据集合以及在不同层级分别引入全局隐变量和局部隐变量，使得生成的文本能够具有多样化的表达。

本实施方式中提供的装置的具体实施例能够覆盖上述的示例性方法中提供的各个实施例，在此不做赘述。

示例性介质

在介绍了本发明示例性实施方式的方法、装置之后，接下来，参考图 8对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图8，其示出的计算机可读存储介质为光盘80，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，将文本生成任务规划为多个文本块生成子任务；重复执行以下文本块生成子任务直到所有子任务执行完毕：基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块。各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

示例性计算设备

在介绍了本发明示例性实施方式的方法、装置和介质之后，接下来，参考图9对本发明示例性实施方式的计算设备进行说明，图9示出了适于用来实现本发明实施方式的示例性计算设备90的框图，该计算设备90可以是计算机系统或服务器。图9显示的计算设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件(包括系统存储器902和处理单元901)的总线903。

计算设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022。计算设备 90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM9023可以用于读写不可移动的、非易失性磁介质(图9中未显示，通常称为“硬盘驱动器”)。尽管未在图9中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质) 读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。系统存储器902中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块9024的程序/实用工具9025，可以存储在例如系统存储器902中，且这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9024通常执行本发明所描述的实施例中的功能和/或方法。

计算设备90也可以与一个或多个外部设备904(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器906通过总线903与计算设备90的其它模块(如处理单元901等)通信。应当明白，尽管图9中未示出，可以结合计算设备90使用其它硬件和/或软件模块。

处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如，将文本生成任务规划为多个文本块生成子任务；重复执行以下文本块生成子任务直到所有子任务执行完毕：基于输入数据集合的子集组合序列中的当前子集以及在先子任务生成文本块。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了文本生成装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

通过上述的描述，本发明的实施例提供了以下的技术方案，但不限于此：

1.一种文本生成方法，包括：

将文本生成任务规划为多个文本块生成子任务；

重复执行以下文本块生成子任务直到所有子任务执行完毕：

2.如技术方案1所述的方法，其中，所述输入数据集合中的数据在输入之前被按照预设规则排序，然后利用双向循环神经网络对排序后的输入数据集合进行编码。

3.如技术方案2所述的方法，其中在每一输入数据的格式为键值对 (ai；vi)时，每一输入数据均被表示为di＝[e(ai)；e(vi)]，其中e(ai)和e(vi) 分别为ai和vi的向量表示。

4.如技术方案3所述的方法，其中，所述双向循环神经网络为双向门控循环单元，被配置为将前向门控循环单元和后向门控循环单元的末隐状态拼接，作为输入数据集合的编码表示；

将每个时刻的前向门控循环单元和后向门控循环单元的隐状态拼接，作为相应时刻的输入数据的编码表示。

5.如技术方案1-4任一所述的方法，其中，将文本生成任务规划为多个文本块生成子任务，包括：

将文本生成任务规划为至少一个能够生成合理的语句结构的文本的包括多个文本块生成子任务的子任务组。

6.如技术方案5所述的方法，其中，将文本生成任务规划为至少一个能够生成合理的语句结构的文本的包括多个文本块生成子任务的子任务组，包括：

基于所述输入数据集合生成至少一个包括所有输入数据的子集组合序列；

基于每一子集组合序列对应规划每一包括多个文本块生成子任务的子任务组。

7.如技术方案6所述的方法，其中，一个任务组中的所有子任务被执行完毕时，生成的文本为：

y＝S1S2...ST；

其中，y表示文本，ST表示第T个文本块。

8.如技术方案7所述的方法，其中，基于所述输入数据集合生成的一个包括所有输入数据的子集组合序列为：

g＝g1g2...gT；

其中，g表示子集组合序列，gT表示第T个子集。

9.如技术方案6所述的方法，其中，将文本生成任务规划为至少一个能够生成合理的语句结构的文本的包括多个文本块生成子任务的子任务组，包括：

基于全局隐变量将所述文本生成任务规划为至少一个包括多个文本块生成子任务的任务组，所述全局隐变量基于所述输入数据集合的编码表示来得到。

10.如技术方案9所述的方法，其中，基于全局隐变量将所述文本生成任务规划为至少一个包括多个文本块生成子任务的任务组，包括：

基于全局隐变量以及所述输入数据集合生成至少一个包括所有输入数据的子集组合序列；

基于每一子集组合序列对应规划每一包括多个文本块生成子任务的任务组。

11.如技术方案10所述的方法，其中，所述全局隐变量基于其概率分布采样获得，所述概率分布基于所述输入数据集合的编码表示来构建。

12.如技术方案11所述的方法，其中，所述全局隐变量在推断和训练阶段基于不同的概率分布获得。

13.如技术方案12所述的方法，其中，所述全局隐变量在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取。

14.如技术方案10-13任一所述的方法，其中，基于全局隐变量以及所述输入数据集合生成一个包括所有输入数据的子集组合序列，包括：

g＝argmax_gP(g|x，z^p)；

其中，g表示子集组合序列，x表示输入数据集合，z^p表示全局隐变量。

15.如技术方案14所述的方法，其中，所述子集组合序列中的子集由以下确定：

16.如技术方案15所述的方法，其中，子集组合序列中每一子集中所包括的元素由以下确定：

确定当输入数据集合中每一数据属于当前子集的概率；

选取概率大于第一预设阈值的数据作为当前子集的元素。

17.如技术方案16所述的方法，其中，采用计划解码器确定所述子集组合序列中的每一子集。

18.如技术方案17所述的方法，其中，所述计划解码器采用循环神经网络。

19.如技术方案18所述的方法，其中，基于所述计划解码器确定当前子集时产生的隐状态向量和输入数据的编码表示确定所述输入数据属于当前子集的概率。

20.如技术方案19所述的方法，其中，基于以下确定所述输入数据属于当前子集的概率：

其中，d_i表示第i个输入数据，σ表示sigmoid函数，tanh表示双曲正切函数，W_p、b_p表示控制参数，h_i为d_i编码后的向量表示，表示时间步t的所述隐状态向量。

21.如技术方案17-20任一所述的方法，其中，若任一输入数据属于当前子集的概率均不大于所述第一预设阈值，则选取概率最大的一个或多个当前输入数据作为当前子集的元素。

22.如技术方案21所述的方法，其中，逐一确定各个子集中包括的元素，直到下一个时间步的停止概率超过第二预设阈值。

23.如技术方案22所述的方法，其中，所述当前时间步的停止概率基于当前隐状态向量计算。

24.如技术方案23所述的方法，其中，时间步t的停止概率为

25.如技术方案14-24任一所述的方法，其中，基于输入数据集合的子集组合序列中的当前子集以及在先子任备生成文本块，包括：

其中，s_t表示第t个文本块，s＜t表示s_t之前的所有文本块， c＝{x，z^p}。

26.如技术方案25所述的方法，其中，基于输入数据集合的子集序列中的当前子集以及在先子任务生成文本块，包括：

基于局部隐变量以及输入数据集合的子集序列中的当前子集和在先子任务生成文本块，所述局部隐变量基于在先文本块、在先局部隐变量以及当前子集得到。

27.如技术方案26所述的方法，其中，所述局部隐变量基于其概率分布采样获得，所述概率分布基于在先文本块、在先局部隐变量以及当前子集构建。

28.如技术方案26或27所述的方法，其中，所述局部隐变量在推断和训练阶段基于不同的概率分布获得。

29.如技术方案28所述的方法，其中，所述局部隐变量在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取。

30.如技术方案26-29所述的方法，其中，所述局部隐变量控制所述文本块的实现。

31.如技术方案30所述的方法，其中，采用句子解码器以及字解码器实现所述文本块。

32.如技术方案31所述的方法，其中，所述句子解码器控制所述文本块的表达形式。

33.如技术方案32所述的方法，其中，所述字解码器基于所述表现形式生成所述文本块。

34.如技术方案33所述的方法，其中，所述句子解码器和字解码器均为循环神经网络。

35.如技术方案34所述的方法，其中，所述文本块的表达形式基于以下实现：

36.如技术方案35所述的方法，其中，所述字解码器解码基于当前文本块的表达形式，当前局部隐变量以及当前子集控制文本块中字或词的选择。

37.如技术方案36所述的方法，其中，所述字或词基于以下采样：

38.一种文本生成装置，包括：

39.如技术方案38所述的装置，其中，所述输入数据集合中的数据在输入之前被按照预设规则排序，然后利用双向循环神经网络对排序后的输入数据集合进行编码。

40.如技术方案39所述的装置，其中在每一所述输入数据的格式为键值对(ai；vi)时，每一输入数据均被表示为di＝[e(ai)；e(vi)]，其中e(ai)和 e(vi)分别为ai和vi的向量表示。

41.如技术方案40所述的装置，其中，所述双向循环神经网络为双向门控循环单元，被配置为将前向门控循环单元和后向门控循环单元的末隐状态拼接，作为输入数据集合的编码表示；

42.如技术方案38-41任一所述的装置，其中，所述任务规划模块还被配置为将文本生成任务规划为至少一个能够生成合理的语句结构的文本的包括多个文本块生成子任务的子任务组。

43.如技术方案42所述的装置，其中，所述任务规划模块包括：

组序列规划单元，被配置为基于所述输入数据集合生成至少一个包括所有输入数据的子集组合序列；

任务组规划单元，被配置为基于每一子集组合序列对应规划每一包括多个文本块生成子任务的子任务组。

44.如技术方案43所述的装置，其中，一个任务组中的所有子任务被执行完毕时，生成的文本为：

y＝S1S2...ST；

其中，y表示文本，ST表示第T个文本块。

45.如技术方案44所述的装置，其中，所述组序列规划单元生成的子集组合序列为：

g＝g1g2...gT；

其中，g表示子集组合序列，gT表示第T个子集。

46.如技术方案43所述的装置，其中，所述任务规划模块还被配置为：

47.如技术方案46所述的装置，其中，所述组序列规划单元还被配置为基于全局隐变量以及所述输入数据集合生成至少一个包括所有输入数据的子集组合序列。

48.如技术方案47所述的装置，其中，所述全局隐变量基于其概率分布采样获得，所述概率分布基于所述输入数据集合的编码表示来构建。

49.如技术方案48所述的装置，其中，所述全局隐变量在推断和训练阶段基于不同的概率分布获得。

50.如技术方案49所述的装置，其中，所述全局隐变量在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取。

51.如技术方案47-50任一所述的装置，其中，所述组序列规划单元基于以下划分子集组合序列：

g＝argmax_gP(g|x，z^p)；

其中，x表示输入数据集合，z^P表示全局隐变量。

52.如技术方案50所述的装置，其中，所述任务规划模块还包括子集规划单元，所述子集规划单元被配置为基于以下确定子集组合序列中的子集：

53.如技术方案52所述的装置，其中，所述任务规划模块还包括元素规划单元，所述元素规划单元，被配置为基于以下确定所述子集组合序列中每一子集中所包括的元素：

概率确定子单元，被配置为确定输入数据集合中每一输入数据属于当前子集的概率；

元素选取子单元，被配置为选取概率大于第一预设阈值的输入数据作为当前子集的元素。

54.如技术方案53所述的装置，其中，所述子集规划单元采用计划解码器确定所述子集组合序列中的每一子集。

55.如技术方案54所述的装置，其中，所述计划解码器采用循环神经网络。

56.如技术方案55所述的装置，其中，所述概率确定子单元还被配置为基于所述计划解码器确定当前子集时产生的隐状态向量和输入数据的编码表示确定所述输入数据属于当前子集的概率。

57.如技术方案56所述的装置，其中，所述概率确定子单元还被配置为基于以下确定所述输入数据属于当前子集的概率：

其中，d_i表示第i个输入数据，σ表示sigmoid函数，tanh表示双曲正切函数，W_pb_p表示控制参数，h_i为d_i编码后的向量表示，表示时间步t的所述隐状态向量。

58.如技术方案54-57任一所述的装置，其中，所述元素选取子单元还被配置为若任一输入数据属于当前子集的概率均不大于所述第一预设阈值，则选取概率最大的一个或多个输入数据作为当前子集的元素。

59.如技术方案58所述的装置，其中，逐一确定各个子集中包括的元素，直到下一个时间步的停止概率超过第二预设阈值。

60.如技术方案59所述的装置，其中，所述元素选取子单元还被配置为基于当前隐状态向量计算所述当前时间步的停止概率。

61.如技术方案60所述的装置，其中，时间步t的停止概率为

62.如技术方案51-61任一所述的装置，其中，所述任务执行模块执行一个子任务时被配置为基于以下生成文本块：

其中，s_t表示第t个文本块，s＜t表示s_t之前的所有文本块，c＝{x，z^p}。

63.如技术方案62所述的装置，其中，所述任务执行模块执行一个子任务时还被配置为：

64.如技术方案63所述的装置，其中，所述局部隐变量基于其概率分布采样获得，所述概率分布基于在先文本块、在先局部隐变量以及当前子集构建。

65.如技术方案64所述的装置，其中，所述局部隐变量在推断和训练阶段基于不同的概率分布获得。

66.如技术方案65所述的装置，其中，所述局部隐变量在推断阶段从其先验分布采样获得，在训练阶段从其近似后验分布采样获取。

67.如技术方案63-66所述的装置，其中，所述局部隐变量控制所述文本块的实现。

68.如技术方案67所述的装置，其中，采用句子解码器以及字解码器实现所述文本块。

69.如技术方案68所述的装置，其中，所述句子解码器控制所述文本块的表达形式。

70.如技术方案69所述的装置，其中，所述字解码器基于所述表现形式生成所述文本块。

71.如技术方案70所述的装置，其中，所述句子解码器和字解码器均为循环神经网络。

72.如技术方案71所述的装置，其中，所述文本块的表达形式基于以下实现：

73.如技术方案72所述的装置，其中，所述字解码器解码基于当前文本块的表达形式，当前局部隐变量以及当前子集控制文本块中字或词的选择。

74.如技术方案73所述的装置，其中，所述字或词基于以下采样：

75.一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如技术方案1-37之一所述的方法。

76.一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如技术方案1-37之一所述的方法。

Claims

1.一种文本生成方法，包括：

将文本生成任务规划为多个文本块生成子任务；

重复执行以下文本块生成子任务直到所有子任务执行完毕：

2.如权利要求1所述的方法，其中，所述输入数据集合中的数据在输入之前被按照预设规则排序，然后利用双向循环神经网络对排序后的输入数据集合进行编码。

3.如权利要求2所述的方法，其中在每一输入数据的格式为键值对(ai；vi)时，每一输入数据均被表示为di＝[e(ai)；e(vi)]，其中e(ai)和e(vi)分别为ai和vi的向量表示。

4.如权利要求3所述的方法，其中，所述双向循环神经网络为双向门控循环单元，被配置为将前向门控循环单元和后向门控循环单元的末隐状态拼接，作为输入数据集合的编码表示；

5.一种文本生成装置，包括：

6.如权利要求5所述的装置，其中，所述输入数据集合中的数据在输入之前被按照预设规则排序，然后利用双向循环神经网络对排序后的输入数据集合进行编码。

7.如权利要求6所述的装置，其中在每一所述输入数据的格式为键值对(ai；vi)时，每一输入数据均被表示为di＝[e(ai)；e(vi)]，其中e(ai)和e(vi)分别为ai和vi的向量表示。

8.如权利要求7所述的装置，其中，所述双向循环神经网络为双向门控循环单元，被配置为将前向门控循环单元和后向门控循环单元的末隐状态拼接，作为输入数据集合的编码表示；

9.一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如权利要求1-4之一所述的方法。

10.一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如权利要求1-4之一所述的方法。