CN111709248A - 文本生成模型的训练方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种文本生成模型的训练方法、装置及电子设备，涉及自然语言处理技术领域。具体实现方案为：获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据；对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息；将多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息；根据多个第一样本数据对应的预测结构化信息与对应的目标结构化信息的差异，生成第一损失值；根据第一损失值对初始文本生成模型进行短语生成能力训练，以生成文本生成模型。由此，通过这种文本生成模型的训练方法，解决了局部语义偏移的问题，提升了文本生成的准确度。

Description

文本生成模型的训练方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及自然语言技术领域，提出一种文本生成模型的训练方法、装置及电子设备。

背景技术

相关技术中，基于深度学习的文本生成方法均基于字生成，即逐字生成目标文本。

但是，由于基于字生成的文本生成模型仅基于字之间的依赖关系生成文本信息，容易出现局部语义偏移现象，导致文本生成模型的准确度较低，生成的文本质量差。

发明内容

本申请提供了一种用于文本生成模型训练的方法、装置、电子设备以及存储介质。

根据本申请的一方面，提供了一种文本生成模型的训练方法，包括：获取第一样本数据集，其中，所述第一样本数据集中包括多个第一样本数据；对多个所述第一样本数据分别进行结构化信息提取，以生成所述多个第一样本数据分别对应的目标结构化信息；将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息；根据所述多个第一样本数据对应的预测结构化信息与对应的所述目标结构化信息的差异，生成第一损失值；以及根据所述第一损失值对所述初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

根据本申请的另一方面，提供了一种文本生成模型的训练装置，包括：第一获取模块，用于获取第一样本数据集，其中，所述第一样本数据集中包括多个第一样本数据；第一生成模块，用于对多个所述第一样本数据分别进行结构化信息提取，以生成所述多个第一样本数据分别对应的目标结构化信息；第二生成模块，用于将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息；第三生成模块，用于根据所述多个第一样本数据对应的预测结构化信息与对应的所述目标结构化信息的差异，生成第一损失值；以及第一训练模块，用于根据所述第一损失值对所述初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的文本生成模型的训练方法。

根据本申请的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的文本生成模型的训练方法。

根据本申请的技术方案，解决了基于字生成的文本生成模型仅基于字之间的依赖关系生成文本信息，容易出现局部语义偏移现象，导致文本生成模型的准确度较低，生成的文本质量差的问题。通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并利用初始文本生成模型对每个第一样本数据进行处理，以生成每个样本数据对应的预测结构化信息，进而根据每个预测结构化信息与对应的目标结构化信息的差异，对初始文本生成模型进行短语生成能力训练，以提升文本生成模型的短语生成能力。由此，通过利用文本生成模型生成结构化信息中的短语，以提升文本生成模型的短语生成能力，从而实现了从短语粒度生成文本，以提升生成文本的上下文联系，解决了局部语义偏移的问题，提升了文本生成的准确度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种文本生成模型的训练方法的流程示意图；

图2为本申请实施例所提供的另一种文本生成模型的训练方法的流程示意图；

图3为本申请实施例所提供的再一种文本生成模型的训练方法的流程示意图；

图4为本申请实施例所提供的又一种文本生成模型的训练方法的流程示意图；

图5为本申请实施例所提供的又一种文本生成模型的训练方法的流程示意图；

图6为本申请实施例提供的一种文本生成模型的训练装置的结构示意图；

图7为用来实现本申请实施例的文本生成模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例针对相关技术中，基于字生成的文本生成模型仅基于字之间的依赖关系生成文本信息，容易出现局部语义偏移现象，导致文本生成模型的准确度较低，生成的文本质量差的问题，提出一种文本生成模型的训练方法。

下面参考附图对本申请提供的文本生成模型的训练方法、装置、电子设备及存储介质进行详细描述。

图1为本申请实施例所提供的一种文本生成模型的训练方法的流程示意图。

如图1所示，该文本生成模型的训练方法，包括以下步骤：

步骤101，获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据。

需要说明的是，本申请实施例的文本生成模型的训练方法，可以由本申请实施例的文本生成模型的训练装置执行。本申请实施例的文本生成模型的训练装置可以配置在任意电子设备中，以执行本申请实施例的文本生成模型的训练方法。

其中，第一样本数据集，可以是包括大量无标注的文本数据的数据集，即第一样本数据可以是无标注的文本数据。

在本申请实施例中，可以从网络文章、文献、论文、著作等资料中提取部分文本，构成第一样本数据集，作为文本生成模型的训练数据。其中，第一样本数据可以是较短的文本(如单独的句子)，也可以是较长的文本(如文章中的段落、整篇文章等)，以使训练生成的文本生成模型，可以适应多种不同场景的使用需求。

步骤102，对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息。

其中，目标结构化信息，可以包括第一样本数据中的全部或部分短语，及各短语在第一样本数据中扮演的角色。

作为一种可能的实现方式，可以利用语义角色标注模型，对第一样本数据进行处理，以提取第一样本数据中包括的关键的短语，并确定提取的各短语扮演的角色(如各短语与第一样本数据中的谓语的关系等)，从而生成每个第一样本数据分别对应的目标结构化信息。

需要说明的是，结构化信息的提取方式，可以包括但不限于以上列举的情形。实际使用时，可以根据实际需要及具体的应用场景，选择合适的结构化信息提取方式，本申请实施例对此不做限定。比如，也可以采用开放式信息抽取方式进行结构化信息提取。

步骤103，将多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息。

其中，初始文本生成模型，可以是指可以根据输入文本数据，从短语粒度生成目标文本的深度学习模型。也就是说，初始文本生成模型的输出是多个短语，且多个短语之间具有上下文关系，可以构成一个完整、通顺的文本。

其中，预测结构化信息，可以包括初始文本生成模型根据第一样本数据，输出的多个短语。

在本申请实施例中，将每个第一样本数据输入初始文本生成模型之后,初始文本生成模型可以根据每个第一样本数据，分别对每个第一样本数据的结构化信息进行预测，即输出每个第一样本数据分别对应的多个短语，以生成每个第一样本数据对应的预测结构化信息。

步骤104，根据多个第一样本数据对应的预测结构化信息与对应的目标结构化信息的差异，生成第一损失值。

在本申请实施例中，由于第一样本数据对应的目标结构化信息，可以表示第一样本数据的实际结构化信息，因此，第一样本数据对应的预测结构化信息与目标结构化信息的差异，可以反映初始文本生成模型生成的预测结构化信息是否准确。从而，可以根据第一样本数据集中每个第一样本数据对应的预测结构化信息与目标结构化信息的差异，确定初始文本生成模型的第一损失值，以对初始文本生成模型进行修正，提升初始文本生成模型的短语生成能力。

作为一种可能的实现方式，在目标结构化信息中包括多个短语时，可以根据第一样本数据对应的预测结构化信息中每个短语与目标结构化信息中相应短语的差异，确定第一损失值。具体的，可以首先确定第一样本数据对应的预测结构化信息中每个短语的词向量，以及第一样本数据对应的目标结构化信息中每个短语的词向量，之后根据预测结构化信息中每个短语的词向量与目标结构化信息中相应短语的词向量之间的距离或余弦相似度等参数，确定第一样本数据对应的预测结构化信息中每个短语的分布概率，进而根据多个第一样本数据对应的预测结构化信息中每个短语的分布概率，确定第一损失值。其中，预测结构化信息中短语的分布概率可以表示短语的置信度，可以是初始文本生成模型在输出短语的同时输出的。

举例来说，第一样本数据对应的目标结构化信息中包括a、b、c、d四个短语，该第一样本数据对应的预测结构化信息中包括a′、b′、c′、d′，从而可以确定短语a′的词向量与短语a的词向量的余弦相似度，进而将短语a′的词向量与短语a的词向量的余弦相似度，确定为短语a′的分布概率；之后，按照相同的方式分别确定出短语b′、短语c′、短语d′的分布概率；进而将短语a′、短语b′、短语c′、短语d′的分布概率的均值，确定为该第一样本数据对应的预测结构化信息的分布概率，最后将第一样本数据集中所有第一样本数据对应的预测结构化信息的分布概率代入预设的损失函数(如交叉熵损失函数)，以确定第一损失值。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，选择合适的损失函数及第一损失值的确定方式，本申请实施例对此不做限定。

步骤105，根据第一损失值对初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

在本申请实施例中，确定出初始文本生成模型的第一损失值之后，可以首先判断第一损失值是否处于预设范围。若第一损失值处于预设范围，则可以确定初始文本生成模型的短语生成能力符合要求，从而可以结束对初始文本生成模型的训练过程，并将初始文本生成模型确定为训练完成的文本生成模型。若第一损失值未处于预设范围，则可以确定初始文本生成模型的短语生成能力不符合要求，从而可以根据第一损失值对初始文本生成模型的参数进行更新，以生成更新后的文本生成模型。之后利用更新后的文本生成模型对第一样本数据集进行处理，以重复上述训练过程，直至更新后的文本生成模型的第一损失值处于预设范围，则结束对文本生成模型的训练过程。

需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，确定对文本生成模型的参数进行更新的方法，本申请实施例对此不做限定。比如，可以采用梯度下降法对文本生成模型的参数进行更新。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并利用初始文本生成模型对每个第一样本数据进行处理，以生成每个样本数据对应的预测结构化信息，进而根据每个预测结构化信息与对应的目标结构化信息的差异，对初始文本生成模型进行短语生成能力训练，以提升文本生成模型的短语生成能力。由此，通过利用文本生成模型生成结构化信息中的短语，以提升文本生成模型的短语生成能力，从而实现了从短语粒度生成文本，以提升生成文本的上下文联系，解决了局部语义偏移的问题，提升了文本生成的准确度。

在本申请一种可能的实现形式中，初始文本生成模型中可以包括编码器和解码器，以通过编码器对第一样本数据进行向量表示，并通过解码器对第一样本数据的向量表示进行处理，以生成第一样本数据对应的目标文本。

下面结合图2，对本申请实施例提供的文本生成模型的训练方法进行进一步说明。

图2为本申请实施例所提供的另一种文本生成模型的训练方法的流程示意图。

如图2所示，该文本生成模型的训练方法，包括以下步骤：

步骤201，获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据。

步骤202，对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息。

上述步骤201-202的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤203，将第一样本数据输入至初始编码器，以生成每个第一样本数据对应的向量表示组。

其中，初始编码器，可以是自然语言处理领域任意可以对文本数据进行向量映射的词向量映射模型。实际使用时，可以根据实际需要及具体的应用场景，选择合适的词向量映射模型，作为初始编码器，本申请实施例对此不做限定。

其中，第一样本数据对应的向量表示组，包括第一样本数据中的每个字符对应的向量表示。也就是说，第一样本数据对应的向量表示组中包括多个向量表示，每个向量表示分别为第一样本数据中的每个字符对应的向量表示。需要说明的是，字符对应的向量表示可以是该字符对应的词向量，用于表征该字符的语义信息；字符对应的向量表示还可以包括该字符对应的词向量和位置向量，其中位置向量用于表征该字符在第一样本数据中的位置特征，如该字符在第一样本数据中的次序。

在本申请实施例中，初始文本生成模型可以包括初始编码器与初始解码器，初始解码器可以从字符粒度对输入的第一样本数据进行编码处理，以确定第一样本数据中的每个字符对应的向量表示，并利用第一样本数据中的每个字符对应的向量表示，构成第一样本数据对应的向量表示组并输出。

步骤204，将第一样本数据对应的向量表示组输入至初始解码器，以生成多个预测片段。

其中，初始解码器，可以是任意可以根据文本数据的向量表示，重新生成文本数据的语言模型。

其中，预测片段，是指初始编码器输出的文本中的片段。需要说明的是，预测片段可以是具有完整语义的短语或词语，以从短语粒度生成文本，提升文本生成模型的准确度与效率。

在本申请实施例中，初始编码器在对第一样本数据进行编码处理之后，可以将生成的第一样本数据对应的向量表示组，输入初始解码器，以使初始解码器根据第一样本数据中每个字符的向量表示，生成第一样本数据对应的多个预测片段。

进一步的，在生成第一样本数据对应的每个预测片段时，可以根据第一样本数据的整体语义信息、在当前预测片段之前生成的预测片段的语义信息，生成当前的预测片段。即在本申请实施例一种可能的实现形式中，上述步骤204，可以包括：

在预测第i个预测片段时，初始解码器根据第一样本数据对应的向量表示组、第 1个至第i-1个预测片段及第i个预测片段的位置特征进行解码处理，以生成第i个预测片段，其中，i为小于或等于N的正整数。

作为一种可能的实现方式，初始解码器在生成第一样本数据的第i预测片段时，可以根据第一样本数据的整体语义、在第i个预测片段之前生成的第1个至第i-1个预测片段的语义信息，及第i个预测片段本身的位置信息，生成第i个预测片段。因此，在预测第i个预测片段时，初始解码器可以对第一样本数据对应的向量表示组、第1个至第i-1个预测片段及第i个预测片段的位置特征进行解码处理，以生成第i 个预测片段。

需要说明的是，在生成第一样本数据对应的第1个预测片段时，由于不存在已生成的预测片段，从而可以利用预设的起始符号代替已生成的预测片段。也就是说，初始解码器可以对第一样本数据对应的向量表示组、起始符号对应的向量表示及第1个预测片段的位置特征，生成第一样本数据对应的第1个预测片段。其中，实际使用时，起始符号可以采用通用词表中的起始符号，如“<S>”，本申请实施例对此不做限定。

需要说明的是，第i个预测片段的位置特征，可以是根据初始解码器生成第i个预测片段的次序，生成的位置向量。比如，第5个预测片段的位置特征，可以是对“5”进行向量表示生成的位置向量。实际使用时，可以根据实际需要及具体的应用场景，确定位置特征对应的位置向量的维度和生成方式，本申请实施例对此不做限定。

进一步的，对于第一样本数据对应的每个预测片段，初始编码器可以在生成一个预测片段时，同时生成预测片段包括的多个字符，以进一步提升文本生成模型的效率。即在本申请实施例一种可能的实现形式中，上述生成第i个预测片段，可以包括：

在预测第i个预测片段时，利用初始解码器同时生成第i个预测片段中的M个字符。

作为一种可能的实现方式，初始解码器可以从短语粒度生成文本数据，即对于每个预测片段，初始解码器可以并行生成预测片段中包括的多个字符，以进一步提升文本生成模型的效率。在本申请实施例中，对于第一样本数据对应的第i个预测片段中的第j个字符，初始解码器可以对第一样本数据对应的向量表示组、第1个至第i个预测片段的向量表示及第j个字符的位置特征进行解码处理，以生成第i个预测片段中的第j个字符。由于初始解码器在生成一个预测片段中的一个字符时，仅依据初始编码器的输出与在该预测片段之前生成的各预测片段的向量表示，以及该字符本申请的位置特征，并不依赖于该预测片段中位于该字符之前的各字符的向量表示，从而预测片段中的各字符可以是同时并行生成的。

进一步的，还可以提前预设预测片段的长度，以使初始解码器案子预设长度，生成预测片段。即在本申请实施例一种可能的实现形式中，上述步骤204，可以包括：

获取预测片段的预设长度；

利用初始解码器，对第一样本数据对应的向量表示组与预设长度进行解码处理，以生成预设长度的多个预测片段；

其中，若预测片段的长度小于预设长度，则可以利用预设的补齐符号对预测片段进行增补，以使预测片段的长度等于预设长度。

在本申请实施例中，由于初始解码器可以从短语粒度生成文本数据，从而可以提前预设预测片段的预设长度，以使初始解码器根据第一样本数据对应的向量表示组，生成预设长度的预测片段。比如，预设长度为4，则初始编码器可以依次输出多个包括4个字符的预测片段。

作为一种可能的实现方式，若初始编码器生成的预测片段的长度小于预设长度，则可以利用预设的补齐符号对预测片段进行补齐，以使预测片段的长度等于预设长度，以降低预测片段的长度不一致导致的模型训练误差，进一步提升文本生成模型的准确性。其中，实际使用时，补齐符号可以采用通用词表中的补齐符号，如“<PAD>”，本申请实施例对此不做限定。

举例来说，预测片段的预设长度为4，初始解码器生成的一个预测片段为“爆发”，从而可以对预测片段“爆发”进行补齐，将预测片段重新确定为“爆发<PAD><PAD>”。

步骤205，根据第一样本数据对应的多个预测片段，生成第一样本数据对应的预测结构化信息。

在本申请实施例中，确定出第一样本数据对应的多个预测片段之后，可以利用多个预测片段构成第一样本数据对应的预测结构化信息。

步骤206，根据预测结构化信息中的多个预测片段，分别与目标结构化信息中的多个目标片段之间的差异，生成第一损失值。

在本申请实施例中，第一样本数据对应的目标结构化信息中可以包括多个目标片段，且目标片段与预测结构化信息中的多个预测片段一一对应。

作为一种可能的实现方式，可以根据第一样本数据对应的预测结构化信息中每个预测片段与目标结构化信息中相应目标片段的差异，确定第一损失值。具体的，可以首先确定第一样本数据对应的预测结构化信息中每个预测片段的词向量，以及第一样本数据对应的目标结构化信息中每个目标片段的词向量，之后根据预测结构化信息中每个预测片段的词向量与目标结构化信息中相应目标片段的词向量之间的距离或余弦相似度等参数，确定第一样本数据对应的预测结构化信息中每个预测片段的分布概率，进而根据多个第一样本数据对应的预测结构化信息中每个预测片段的分布概率，确定第一损失值。其中，预测结构化信息中预测片段的分布概率可以表示预测片段的置信度，可以是初始文本生成模型在输出预测片段的同时输出的。

举例来说，第一样本数据对应的目标结构化信息中包括a、b、c、d四个目标片段，该第一样本数据对应的预测结构化信息中包括a′、b′、c′、d′四个预测片段，从而可以确定预测片段a′的词向量与目标片段a的词向量的余弦相似度，进而将预测片段a′的词向量与目标片段a的词向量的余弦相似度，确定为预测片段a′的分布概率；之后，按照相同的方式分别确定出预测片段b′、预测片段c′、预测片段d′的分布概率；进而将预测片段a′、预测片段b′、预测片段c′、预测片段d′的分布概率的均值，确定为该第一样本数据对应的预测结构化信息的分布概率，最后将第一样本数据集中所有第一样本数据对应的预测结构化信息的分布概率代入预设的损失函数(如交叉熵损失函数)，以确定第一损失值。

步骤207，根据第一损失值对初始编码器与初始解码器进行短语生成能力训练，以生成文本生成模型。

在本申请实施例中，确定出第一损失值之后，可以首先判断第一损失值是否处于预设范围。若第一损失值处于预设范围，则可以确定初始编码器与初始解码器的短语生成能力符合要求，从而可以结束对初始文本生成模型的训练过程，并将初始文本生成模型确定为训练完成的文本生成模型。若第一损失值未处于预设范围，则可以确定初始编码器与初始解码器的短语生成能力不符合要求，从而可以根据第一损失值分别对初始编码器与初始解码器的参数进行更新，以生成更新后的编码器和解码器。之后利用更新后的编码器与解码器对第一样本数据集进行处理，以重复上述训练过程，直至更新后的编码器与解码器的第一损失值处于预设范围，则结束对编码器与解码器的训练过程。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并利用初始解码器生成每个第一样本数据的向量表示组，之后利用初始解码器根据第一样本数据的向量表示组，依次生成第一样本数据对应的预测片段，且并行生成每个预测片段中的字符，进而根据每个第一样本数据对应的预测结构化信息中每个预测结构化信息与相应的目标片段的差异，确定第一损失值，以对初始编码器与初始解码器进行更新。由此，通过文本生成模型的解码器从短语粒度生成文本，且并行生成每个短语中的字符，从而不仅提升了生成文本的上下文联系，解决了局部语义偏移的问题，进一步提升了文本生成的准确度，而且进一步提升了文本生成的效率。

在本申请一种可能的实现形式中，还可以对第一样本数据对应的目标结构化信息中的部分短语进行掩码处理，并利用文本生成模型生成被掩码的短语，以提升文本生成模型的短语间关系建模能力。

下面结合图3，对本申请实施例提供的文本生成模型的训练方法进行进一步说明。

图3为本申请实施例所提供的再一种文本生成模型的训练方法的流程示意图。

如图3所示，该文本生成模型的训练方法，包括以下步骤：

步骤301，获取第一样本数据集，其中，所第一样本数据集中包括多个第一样本数据。

步骤302，对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息。

步骤303，将多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息。

步骤304，根据多个第一样本数据对应的预测结构化信息与对应的目标结构化信息的差异，生成第一损失值。

步骤305，根据第一损失值对初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

上述步骤301-305的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤306，获取目标结构化信息中多个短语之中的待掩码位置。

在本申请实施例中，可以采用随机方式，确定第一样本数据对应的目标结构化信息中的待掩码位置，即确定目标结构化信息中需要进行掩码的短语；或者，还可以每隔X个短语，确定一个待掩码位置，从而确定出第一样本数据对应的目标结构化信息对应的所有待掩码位置。

举例来说，可以每隔1个短语确定一个待掩码位置，若第一样本数据对应的目标结构化信息中包括5个短语，则可以将第2个短语和第4个短语确定为待掩码位置。

步骤307，将待掩码位置之上的掩码短语进行掩码。

在本申请实施例中，确定出第一样本数据对应的目标结构化信息中的待掩码位置之后，即可以对待掩码位置之上的短语进行掩码处理，以使生成掩码后的目标结构化信息。

步骤308，将掩码之后的目标结构化信息输入至文本生成模型，以生成掩码位置对应的预测短语。

在本申请实施例中，可以将每个第一样本数据对应的掩码之后的目标结构化信息输入文本生成模型，以使文本生成模型根据结构化信息中未掩码位置的短语，生成掩码位置对应的预测短语。也就是说，使得文本生成模型根据掩码位置的上下文信息，生成掩码位置对应的预测短语，以对文本生成模型的短语间关系建模能力进行训练。

步骤309，根据掩码短语和预测短语生成第二损失值。

在本申请实施例中，可以根据每个掩码位置对应的掩码短语与对应的预测短语间的差异，确定第二损失值，以根据第二损失值对文本生成模型的参数进行更新，训练文本生成模型的短语间关系的建模能力。

作为一种可能的实现方式，可以根据第一样本数据对应的目标结构化信息中每个掩码位置的掩码短语与预测短语的差异，确定第二损失值。具体的，可以首先确定每个掩码位置的掩码短语的词向量，以及每个预测短语的词向量，之后根据每个掩码短语的词向量与相应预测短语的词向量之间的距离或余弦相似度等参数，确定第一样本数据对应的目标结构化信息中每个掩码位置的预测短语的分布概率，进而根据多个第一样本数据对应的目标结构化信息中每个掩码位置的预测短语的分布概率，确定第二损失值。其中，目标结构化信息中掩码位置的预测短语的分布概率可以表示预测短语的置信度，可以是文本生成模型在输出预测短语的同时输出的。

举例来说，第一样本数据对应的目标结构化信息中包括a、b、c、d四个短语，掩码位置对应的掩码短语为b和d，掩码位置对应的预测短语分别为b′和d′，从而可以确定掩码短语b的词向量与预测短语b′的词向量的余弦相似度，进而将掩码短语b的词向量与预测短语b′的词向量的余弦相似度，确定为预测短语b′的分布概率；之后，按照相同的方式确定出预测短语d′的分布概率；进而将预测短语b′与预测短语d′的分布概率的均值，确定为该第一样本数据对应的预测短语的分布概率，最后将第一样本数据集中所有第一样本数据对应的预测短语的分布概率代入预设的损失函数(如交叉熵损失函数)，以确定第二损失值。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，选择合适的损失函数及第二损失值的确定方式，本申请实施例对此不做限定。

步骤310，根据第二损失值对文本生成模型进行短语间关系能力训练。

在本申请实施例中，确定出文本生成模型的第二损失值之后，可以首先判断第二损失值是否处于预设范围。若第二损失值处于预设范围，则可以确定文本生成模型的短语间关系建模能力符合要求，从而可以结束对文本生成模型的训练过程。若第二损失值未处于预设范围，则可以确定文本生成模型的短语间关系建模能力不符合要求，从而可以根据第二损失值对文本生成模型的参数进行更新，以生成更新后的文本生成模型。之后利用更新后的文本生成模型对第一样本数据集进行处理，以重复上述训练过程，直至更新后的文本生成模型的第二损失值处于预设范围，则结束对文本生成模型的训练过程。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并对提取的目标结构化信息中的部分短语进行掩码处理，之后利用文本生成模型根据掩码位置的上下文关系，生成掩码位置的预测短语，进而根据每个目标结构化信息中各掩码位置的掩码短语与预测短语间的差异，确定第二损失值，以对文本生成模型的短语间关系建模能力进行训练。由此，通过根据结构化信息中的未掩码短语，生成掩码位置的预测短语，以提升文本生成模型对短语上下文联系的理解能力，从而有效对文本生成模型的短语间关系建模能力进行训练，进一步提升了文本生成的准确度和效率。

在本申请一种可能的实现形式中，还可以将文本生成模型的短语生成能力训练和短语间关系建模能力训练进行融合，以进一步提升文本生成模型的训练效率和准确性。

下面结合图4，对本申请实施例提供的文本生成模型的训练方法进行进一步说明。

图4为本申请实施例所提供的又一种文本生成模型的训练方法的流程示意图。

如图4所示，该文本生成模型的训练方法，包括以下步骤：

步骤401，获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据。

步骤402，对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息，其中，目标结构化信息包括第一样本数据对应的多个目标片段。

上述步骤401-402的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤403，确定多个目标片段分别在第一样本数据中的位置。

在本申请实施例中，由于第一样本数据对应的目标结构化信息是由从第一样本数据中提取的多个片段构成的，因此，可以确定目标结构化信息中的各目标片段分别在第一样本数据中的位置。

举例来说，第一样本数据为“X年A地发生B事件……”，第一样本数据对应的目标结构化信息为“A地——发生——B事件”，即多个目标片段分别为“A地”、“发生”、“B事件”，从而可以确定多个目标片段分别在第一样本数据中的位置为2、3、4，即多个目标片段分别为第一样本数据中的第2个短语、第3个短语和第4个短语。

步骤404，根据多个目标片段分别在第一样本数据中的位置，对第一样本数据中的多个目标片段分别进行掩码处理。

在本申请实施例中，确定出目标结构化信息中的多个目标片段分别在第一样本数据中的位置之后，即可以根据各目标片段分别在第一样本数据中的位置，对第一样本数据中的多个目标片段进行掩码处理。

步骤405，将掩码后的多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息，其中，预测结构化信息中的每个预测片段与第一样本数据中被掩码的目标片段对应。

在本申请实施例中，对第一样本数据进行掩码之后，可以将掩码后的第一样本数据输入至初始文本生成模型，以利用初始文本生成模型根据掩码后的第一样本数据中掩码位置的上下文，生成每个掩码位置对应的预测片段，以构成第一样本数据对应的预测结构化信息，从而同时训练初始文本生成模型的短语生成能力与短语间关系的建模能力。

步骤406，根据每个预测片段分别与对应的目标片段的差异，生成第一损失值。

步骤407，根据第一损失值对初始文本生成模型进行训练，以生成文本生成模型。

上述步骤406-407的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并根据提取的目标结构化信息中的各目标片段，对第一样本数据进行掩码处理，之后利用初始文本生成模型对掩码后的第一样本数据进行处理，以根据掩码位置的上下文生成第一样本数据中的掩码位置对应的预测片段，进而根据每个预测片段与相应的目标片段的差异生成第一损失值，以对初始文本生成模型进行训练。由此，通过根据第一样本数据对应的目标结构化信息第一样本数据中的部分片段进行掩码处理，以利用初始文本生成模型对第一样本数据中的掩码位置进行短语生成，从而实现了同时训练文本生成模型的短语生成能力和短语间关系建模能力，不仅提升了文本生成模型的训练效率，而且进一步提升了文本生成模型的准确性。

在本申请一种可能的实现形式中，对文本生成模型的短语生成能力和短语间关系建模能力进行训练，生成通用的预训练文本生成模型之后，还可以根据具体的应用场景，对预训练文本生成模型的参数进行微调，以提升文本生成模型在特定领域的文本生成效果。

下面结合图5，对本申请实施例提供的文本生成模型的训练方法进行进一步说明。

图5为本申请实施例所提供的又一种文本生成模型的训练方法的流程示意图。

如图5所示，该文本生成模型的训练方法，包括以下步骤：

步骤501，获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据。

步骤502，对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息。

步骤503，将多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息。

步骤504，根据多个第一样本数据对应的预测结构化信息与对应的目标结构化信息的差异，生成第一损失值。

步骤505，根据第一损失值对初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

上述步骤501-505的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤506，获取目标场景。

其中，目标场景，可以包括对话生成场景、机器翻译场景、问答场景和摘要生成场景中的一个或多个组合。

在本申请实施例中，目标场景可以是在文本生成模型微调过程中，用户自行选择的；也可以是处理器根据预先设定的多种应用场景，依次将各个应用场景分别确定为目标场景，本申请实施例对此不做限定。

步骤507，根据目标场景，获取对应的第二样本数据集，其中，第二样本数据集为有监督样本数据集。

在本申请实施例中，获取到目标场景之后，可以根据目标场景，获取与目标场景对应的第二样本数据集，且第二样本数据集为有监督样本数据集。其中，第二样本数据集可以是用户在设定目标场景后，主动上传的；也可以是处理器根据预先存储的目标场景与有监督样本数据集的映射关系，从预先存储的有监督样本数据集中获取的。

步骤508，利用第二样本数据集，对文本生成模型进行参数调整，以生成目标场景对应的文本生成模型。

在本申请实施例中，可以将目标场景对应的第二样本数据集中的各第二样本数据输入文本生成模型，以利用文本生成模型生成每个第二样本数据对应的预测数据，进而根据每个第二样本数据对应的预测数据与相应的标注数据的差异，对文本生成模型进行参数调整，以生成目标场景对应的文本生成模型。

作为一种可能的实现形式，由于第二样本数据集为包括多个第二样本数据的有监督样本数据集，因此，每个第二样本数据可以包括源数据及源数据对应的标注数据，从而可以根据文本生成模型对每个源数据的处理结果与相应的标注数据的差异，对文本生成模型进行参数调整。即在本申请实施例一种可能的实现形式中，上述步骤508，可以包括：

分别对多个源数据对应的标注数据进行切分，以生成多个源数据分别对应的标注片段序列；

将多个源数据输入至文本生成模型，以生成多个源数据分别对应的预测片段序列；

根据预测片段序列与标注片段序列的差异，生成第三损失值；以及

根据第三损失值，对文本生成模型的参数进行更新，以生成目标场景对应的文本生成模型。

在本申请实施例中，由于文本生成模型是从短语粒度生成文本的，因此可以根据文本生成的预测片段的长度(即预测片段对应的预设长度)，对每个源数据对应的标注数据进行切分，以生成每个源数据分别对应的预测片段序列，从而在文本生成模型根据每个源数据，生成每个源数据对应的预测片段序列时，可以根据每个源数据对应的预测片段序列与标注片段序列的差异，确定第三损失值，以根据第三损失值对文本生成模型的参数进行调整，直至文本生成模型的符合目标场景下的文本生成的性能要求，则完成对文本生成模型的微调过程，从而生成目标场景对应的文本生成模型。

需要说明的是，第三损失值的确定方式，以及根据第三损失值对文本生成模型的参数进行调整的过程，可以参照上述实施例对第一损失值及第二损失值的详细描述，此处不再赘述。

根据本申请实施例的技术方案，通过根据目标场景对应的有监督样本数据集对预训练文本生成模型的参数进行微调，以使文本生成模型的文本生成性能可以符合目标场景的文本生成需求。由此，通过生成通用的预训练文本生成模型，进而根据特定的应用场景对文本生成模型的参数进行微调，以生成特定的应用场景对应的文本生成模型，从而不仅提升了特定场景的文本生成模型的训练效率，而且进一步提升了文本生成模型在特定场景的文本生成质量。

为了实现上述实施例，本申请还提出一种文本生成模型的训练装置。

图6为本申请实施例提供的一种文本生成模型的训练装置的结构示意图。

如图6所示，该文本生成模型的训练装置60，包括：

第一获取模块61，用于获取第一样本数据集，其中，第一样本数据集中包括多个第一样本数据；

第一生成模块62，用于对多个第一样本数据分别进行结构化信息提取，以生成多个第一样本数据分别对应的目标结构化信息；

第二生成模块63，用于将多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息；

第三生成模块64，用于根据多个第一样本数据对应的预测结构化信息与对应的目标结构化信息的差异，生成第一损失值；以及

第一训练模块65，用于根据第一损失值对初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

在实际使用时，本申请实施例提供的文本生成模型的训练装置，可以被配置在任意电子设备中，以执行前述文本生成模型的训练方法。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并利用初始文本生成模型对每个第一样本数据进行处理，以生成每个样本数据对应的预测结构化信息，进而根据每个预测结构化信息与对应的目标结构化信息的差异，对初始文本生成模型进行短语生成能力训练，以提升文本生成模型的短语生成能力。由此，通过利用文本生成模型生成结构化信息中的短语，以提升文本生成模型的短语生成能力，从而实现了从短语粒度生成文本，以提升生成文本的上下文联系，解决了局部语义偏移的问题，提升了文本生成的准确度。

在本申请一种可能的实现形式中，上述初始文本生成模型包括初始编码器和初始解码器；相应的，上述第二生成模块63，包括：

第一生成单元，用于将第一样本数据输入至初始编码器，以生成每个第一样本数据对应的向量表示组；

第二生成单元，用于将第一样本数据对应的向量表示组输入至初始解码器，以生成多个预测片段；以及

第三生成单元，用于根据第一样本数据对应的多个预测片段，生成第一样本数据对应的预测结构化信息，其中，根据第一损失值对初始编码器与初始解码器进行短语生成能力训练。

进一步的，在本申请另一种可能的实现形式中，上述目标结构化信息包括多个短语；相应的，上述文本生成模型的训练装置60，还包括：

第二获取模块，用于获取多个短语之中的待掩码位置；

掩码模块，用于将待掩码位置之上的掩码短语进行掩码；

第五生成模块，用于将掩码之后的目标结构化信息输入至文本生成模型，以生成掩码位置对应的预测短语；

第六生成模块，用于根据掩码短语和预测短语生成第二损失值；以及

第二训练模块，用于根据第二损失值对文本生成模型进行短语间关系能力训练。

进一步的，在本申请再一种可能的实现形式中，上述预测片段为N个，N为正整数；相应的，上述第二生成单元，包括：

第一生成子单元，用于在预测第i个预测片段时，初始解码器根据第一样本数据对应的向量表示组、第1个至第i-1个预测片段及第i个预测片段的位置特征进行解码处理，以生成第i个预测片段，其中，i为小于或等于N的正整数。

进一步的，在本申请又一种可能的实现形式中，上述预测片段包括M个字符，M 为正整数；相应的，上述第一生成子单元，包括：

并行生成子单元，用于在预测第i个预测片段时，利用初始解码器同时生成第i 个预测片段中的M个字符。

进一步的，在本申请又一种可能的实现形式中，上述短语生成能力训练和上述短语间关系能力训练融合进行。

进一步的，在本申请另一种可能的实现形式中，上述目标结构化信息包括所述第一样本数据对应的多个目标片段；相应的，上述第二生成模块63，包括：

第一确定单元，用于确定多个目标片段分别在第一样本数据中的位置；

掩码单元，用于根据多个目标片段分别在第一样本数据中的位置，对第一样本数据中的多个目标片段分别进行掩码处理；

第四生成单元，用于将掩码后的多个第一样本数据输入至初始文本生成模型，以生成多个第一样本数据分别对应的预测结构化信息，其中，预测结构化信息中的每个预测片段与第一样本数据中被掩码的目标片段对应，其中，根据每个预测片段分别与对应的目标片段的差异，生成第一损失值。

进一步的，在本申请再一种可能的实现形式中，上述目标结构化信息包括上述第一样本数据对应的多个目标片段；相应的，上述第三生成模块64，包括：

第五生成单元，用于根据预测结构化信息中的多个预测片段，分别与目标结构化信息中的多个目标片段之间的差异，生成第一损失值。

进一步的，在本申请又一种可能的实现形式中，上述第二生成单元，包括：

获取子单元，用于获取预测片段的预设长度；

第二生成子单元，用于利用初始解码器，对第一样本数据对应的向量表示组与预设长度进行解码处理，以生成预设长度的多个预测片段；

其中，若预测片段的长度小于预设长度，则可以利用预设的补齐符号对预测片段进行增补，以使预测片段的长度等于预设长度。

进一步的，在本申请又一种可能的实现形式中，上述文本生成模型的训练装置60，还包括：

第三获取模块，用于获取目标场景；

第四获取模块，用于根据目标场景，获取对应的第二样本数据集，其中，第二样本数据集为有监督样本数据集；以及

第七生成模块，用于利用第二样本数据集，对文本生成模型进行参数调整，以生成目标场景对应的文本生成模型。

进一步的，在本申请另一种可能的实现形式中，上述第二样本数据集中包括多个第二样本数据，每个第二样本数据包括源数据及源数据对应的标注数据；相应的，上述第七生成模块，包括：

第六生成单元，用于分别对多个源数据对应的标注数据进行切分，以生成多个源数据分别对应的标注片段序列；

第七生成单元，用于将多个源数据输入至文本生成模型，以生成多个源数据分别对应的预测片段序列；

第八生成单元，用于根据预测片段序列与标注片段序列的差异，生成第三损失值；以及

第九生成单元，用于根据第三损失值，对文本生成模型的参数进行更新，以生成目标场景对应的文本生成模型。

进一步的，在本申请另一种可能的实现形式中，上述目标场景包括：对话生成场景、机器翻译场景、问答场景和摘要生成场景中的一个或多个组合。

需要说明的是，前述对图1、图2、图3、图4、图5所示的文本生成模型的训练方法实施例的解释说明也适用于该实施例的文本生成模型的训练装置60，此处不再赘述。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并根据提取的目标结构化信息中的各目标片段，对第一样本数据进行掩码处理，之后利用初始文本生成模型对掩码后的第一样本数据进行处理，以根据掩码位置的上下文生成第一样本数据中的掩码位置对应的预测片段，进而根据每个预测片段与相应的目标片段的差异生成第一损失值，以对初始文本生成模型进行训练。由此，通过根据第一样本数据对应的目标结构化信息第一样本数据中的部分片段进行掩码处理，以利用初始文本生成模型对第一样本数据中的掩码位置进行短语生成，从而实现了同时训练文本生成模型的短语生成能力和短语间关系建模能力，不仅提升了文本生成模型的训练效率，而且进一步提升了文本生成模型的准确性。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的文本生成模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置 (诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文本生成模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文本生成模型的训练方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文本生成模型的训练方法对应的程序指令/模块(例如，附图6所示的第一获取模块61、第一生成模块62、第二生成模块63、第三生成模块64及第一训练模块65)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文本生成模型的训练方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文本生成模型的训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至文本生成模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

文本生成模型的训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与文本生成模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过对第一样本数据集中的每个第一样本数据进行结构化信息提取，并利用初始文本生成模型对每个第一样本数据进行处理，以生成每个样本数据对应的预测结构化信息，进而根据每个预测结构化信息与对应的目标结构化信息的差异，对初始文本生成模型进行短语生成能力训练，以提升文本生成模型的短语生成能力。由此，通过利用文本生成模型生成结构化信息中的短语，以提升文本生成模型的短语生成能力，从而实现了从短语粒度生成文本，以提升生成文本的上下文联系，解决了局部语义偏移的问题，提升了文本生成的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (26)

1.一种文本生成模型的训练方法，包括：

获取第一样本数据集，其中，所述第一样本数据集中包括多个第一样本数据；

对多个所述第一样本数据分别进行结构化信息提取，以生成所述多个第一样本数据分别对应的目标结构化信息；

将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息；

根据所述多个第一样本数据对应的预测结构化信息与对应的所述目标结构化信息的差异，生成第一损失值；以及

根据所述第一损失值对所述初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

2.如权利要求1所述的方法，其中，所述初始文本生成模型包括初始编码器和初始解码器，所述将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息，包括：

将所述第一样本数据输入至所述初始编码器，以生成每个所述第一样本数据对应的向量表示组；

将所述第一样本数据对应的向量表示组输入至所述初始解码器，以生成多个预测片段；以及

根据所述第一样本数据对应的所述多个预测片段，生成所述第一样本数据对应的预测结构化信息，其中，根据所述第一损失值对所述初始编码器与所述初始解码器进行短语生成能力训练。

3.如权利要求1所述的方法，其中，所述目标结构化信息包括多个短语，所述方法，还包括：

获取所述多个短语之中的待掩码位置；

将所述待掩码位置之上的掩码短语进行掩码；

将掩码之后的所述目标结构化信息输入至所述文本生成模型，以生成所述掩码位置对应的预测短语；

根据所述掩码短语和所述预测短语生成第二损失值；以及

根据所述第二损失值对所述文本生成模型进行短语间关系能力训练。

4.如权利要求2所述的方法，其中，所述预测片段为N个，N为正整数，所述将所述第一样本数据对应的向量表示组输入至初始解码器，以生成多个预测片段，包括：

在预测第i个预测片段时，所述初始解码器根据所述第一样本数据对应的向量表示组、所述第1个至第i-1个预测片段及所述第i个预测片段的位置特征进行解码处理，以生成所述第i个预测片段，其中，i为小于或等于N的正整数。

5.如权利要求4所述的方法，其中，所述预测片段包括M个字符，M为正整数，所述生成所述第i个预测片段，包括：

在预测第i个预测片段时，利用所述初始解码器同时生成所述第i个预测片段中的M个字符。

6.如权利要求2所述的方法，其中，所述短语生成能力训练和所述短语间关系能力训练融合进行。

7.如权利要求6所述的方法，其中，所述目标结构化信息包括所述第一样本数据对应的多个目标片段，所述将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息，包括：

确定所述多个目标片段分别在所述第一样本数据中的位置；

根据所述多个目标片段分别在所述第一样本数据中的位置，对所述第一样本数据中的多个目标片段分别进行掩码处理；

将掩码后的多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息，其中，所述预测结构化信息中的每个预测片段与所述第一样本数据中被掩码的目标片段对应，其中，根据所述每个预测片段分别与对应的目标片段的差异，生成第一损失值。

8.如权利要求2所述的方法，其中，所述目标结构化信息包括所述第一样本数据对应的多个目标片段，所述根据所述多个第一样本数据对应的预测结构化信息与对应的所述目标结构化信息的差异，生成第一损失值，包括：

根据所述预测结构化信息中的所述多个预测片段，分别与所述目标结构化信息中的所述多个目标片段之间的差异，生成所述第一损失值。

9.如权利要求2所述的方法，其中，所述将所述第一样本数据对应的向量表示组输入至初始解码器，以生成多个预测片段，包括：

获取预测片段的预设长度；

利用初始解码器，对所述第一样本数据对应的向量表示组与所述预设长度进行解码处理，以生成预设长度的所述多个预测片段；

其中，若所述预测片段的长度小于所述预设长度，则可以利用预设的补齐符号对所述预测片段进行增补，以使所述预测片段的长度等于所述预设长度。

10.如权利要求1-9任一所述的方法，其中，所述生成所述文本生成模型之后，还包括：

获取目标场景；

根据所述目标场景，获取对应的第二样本数据集，其中，所述第二样本数据集为有监督样本数据集；以及

利用所述第二样本数据集，对所述文本生成模型进行参数调整，以生成所述目标场景对应的文本生成模型。

11.如权利要求10所述的方法，其中，所述第二样本数据集中包括多个第二样本数据，每个所述第二样本数据包括源数据及所述源数据对应的标注数据，其中，所述利用所述第二样本数据集，对所述文本生成模型进行参数调整，以生成所述目标场景对应的文本生成模型，包括：

分别对所述多个源数据对应的标注数据进行切分，以生成所述多个源数据分别对应的标注片段序列；

将所述多个源数据输入至所述文本生成模型，以生成所述多个源数据分别对应的预测片段序列；

根据所述预测片段序列与所述标注片段序列的差异，生成第三损失值；以及

根据所述第三损失值，对所述文本生成模型的参数进行更新，以生成所述目标场景对应的文本生成模型。

12.如权利要求10所述的方法，其中，所述目标场景包括：对话生成场景、机器翻译场景、问答场景和摘要生成场景中的一个或多个组合。

13.一种文本生成模型的训练装置，包括：

第一获取模块，用于获取第一样本数据集，其中，所述第一样本数据集中包括多个第一样本数据；

第一生成模块，用于对多个所述第一样本数据分别进行结构化信息提取，以生成所述多个第一样本数据分别对应的目标结构化信息；

第二生成模块，用于将所述多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息；

第三生成模块，用于根据所述多个第一样本数据对应的预测结构化信息与对应的所述目标结构化信息的差异，生成第一损失值；以及

第一训练模块，用于根据所述第一损失值对所述初始文本生成模型进行短语生成能力训练，以生成文本生成模型。

14.如权利要求13所述的装置，其中，所述初始文本生成模型包括初始编码器和初始解码器，所述第二生成模块，包括：

第一生成单元，用于将所述第一样本数据输入至所述初始编码器，以生成每个所述第一样本数据对应的向量表示组；

第二生成单元，用于将所述第一样本数据对应的向量表示组输入至所述初始解码器，以生成多个预测片段；以及

第三生成单元，用于根据所述第一样本数据对应的所述多个预测片段，生成所述第一样本数据对应的预测结构化信息，其中，根据所述第一损失值对所述初始编码器与所述初始解码器进行短语生成能力训练。

15.如权利要求13所述的装置，其中，所述目标结构化信息包括多个短语，所述装置，还包括：

第二获取模块，用于获取多个短语之中的待掩码位置；

掩码模块，用于将所述待掩码位置之上的掩码短语进行掩码；

第五生成模块，用于将掩码之后的所述目标结构化信息输入至所述文本生成模型，以生成所述掩码位置对应的预测短语；

第六生成模块，用于根据所述掩码短语和所述预测短语生成第二损失值；以及

第二训练模块，用于根据所述第二损失值对所述文本生成模型进行短语间关系能力训练。

16.如权利要求14所述的装置，其中，所述预测片段为N个，N为正整数，所述第二生成单元，包括：

第一生成子单元，用于在预测第i个预测片段时，所述初始解码器根据所述第一样本数据对应的向量表示组、所述第1个至第i-1个预测片段及所述第i个预测片段的位置特征进行解码处理，以生成所述第i个预测片段，其中，i为小于或等于N的正整数。

17.如权利要求16所述的装置，其中，所述预测片段包括M个字符，M为正整数，所述第一生成子单元，包括：

并行生成子单元，用于在预测第i个预测片段时，利用所述初始解码器同时生成所述第i个预测片段中的M个字符。

18.如权利要求14所述的装置，其中，所述短语生成能力训练和所述短语间关系能力训练融合进行。

19.如权利要求18所述的装置，其中，所述目标结构化信息包括所述第一样本数据对应的多个目标片段，所述第二生成模块，包括：

第一确定单元，用于确定所述多个目标片段分别在所述第一样本数据中的位置；

掩码单元，用于根据所述多个目标片段分别在所述第一样本数据中的位置，对所述第一样本数据中的多个目标片段分别进行掩码处理；

第四生成单元，用于将掩码后的多个第一样本数据输入至初始文本生成模型，以生成所述多个第一样本数据分别对应的预测结构化信息，其中，所述预测结构化信息中的每个预测片段与所述第一样本数据中被掩码的目标片段对应，其中，根据所述每个预测片段分别与对应的目标片段的差异，生成第一损失值。

20.如权利要求14所述的装置，其中，所述目标结构化信息包括所述第一样本数据对应的多个目标片段，所述第三生成模块，包括：

第五生成单元，用于根据所述预测结构化信息中的所述多个预测片段，分别与所述目标结构化信息中的所述多个目标片段之间的差异，生成所述第一损失值。

21.如权利要求14所述的装置，其中，所述第二生成单元，包括：

获取子单元，用于获取预测片段的预设长度；

第二生成子单元，用于利用初始解码器，对所述第一样本数据对应的向量表示组与所述预设长度进行解码处理，以生成预设长度的所述多个预测片段；

其中，若所述预测片段的长度小于所述预设长度，则可以利用预设的补齐符号对所述预测片段进行增补，以使所述预测片段的长度等于所述预设长度。

22.如权利要求13-21任一所述的装置，其中，还包括：

第三获取模块，用于获取目标场景；

第四获取模块，用于根据所述目标场景，获取对应的第二样本数据集，其中，所述第二样本数据集为有监督样本数据集；以及

第七生成模块，用于利用所述第二样本数据集，对所述文本生成模型进行参数调整，以生成所述目标场景对应的文本生成模型。

23.如权利要求22所述的装置，其中，所述第二样本数据集中包括多个第二样本数据，每个所述第二样本数据包括源数据及所述源数据对应的标注数据，其中，所述第七生成模块，包括：

第六生成单元，用于分别对所述多个源数据对应的标注数据进行切分，以生成所述多个源数据分别对应的标注片段序列；

第七生成单元，用于将所述多个源数据输入至所述文本生成模型，以生成所述多个源数据分别对应的预测片段序列；

第八生成单元，用于根据所述预测片段序列与所述标注片段序列的差异，生成第三损失值；以及

第九生成单元，用于根据所述第三损失值，对所述文本生成模型的参数进行更新，以生成所述目标场景对应的文本生成模型。

24.如权利要求22所述的装置，其中，所述目标场景包括：对话生成场景、机器翻译场景、问答场景和摘要生成场景中的一个或多个组合。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。

Images