CN111625645A - 文本生成模型的训练方法、装置和电子设备 - Google Patents

Abstract

本公开实施例公开了一种文本生成模型的训练方法、装置、电子设备和计算机可读存储介质。其中所述方法包括：根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。上述方法通过多个训练数据集以及损失函数对模型进行训练，解决了现有技术中生成的文本缺乏多样性的技术问题。

Description

文本生成模型的训练方法、装置和电子设备

技术领域

本公开涉及文本生成领域，尤其涉及一种文本生成模型的训练方法、装置、电子设备及计算机可读存储介质。

背景技术

在互联网日益发达的今天，许多用户不管是通过电商网站或者线下门店购买商品都会首先面临商品的展示信息。所述商品的展示信息最先被展示的一般商品的标题。因此，对于商品的发布者来说，其需要在展示商品链接的时候，给商品的发布信息设置一个合适的标题，这样用户才能被吸引或者用户在搜索的时候更容易搜索到对应的商品。

在现有技术中，存在给商品发布者提供合适的标题的技术方案。商品的发布者可以输入几个商品的关键词，推荐系统会推荐出对应的标题；但是现有技术中的技术方案一般是设置有标题库，之后根据商品发布者输入的关键词做模式匹配，以匹配出与关键词最相关的标题。但是，标题库的容量是有限的，因此其推荐的标题缺乏多样性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

为了解决现有技术中推荐的标题缺乏多样性问题，本公开实施例提出如下技术方案。

第一方面，本公开实施例提供一种文本生成模型的训练方法，包括：

根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；

根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

第二方面，本公开实施例提供一种文本生成方法，包括：

获取查询语句；

将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据第一方面所述的文本生成模型的训练方法所训练得到的模型。

第三方面，本公开实施例提供一种文本生成模型的训练装置，包括：

第一模型生成模块，用于根据第一训练数据集和第一损失函数对原始文本生成模型进行预训练生成第一中间文本生成模型；

第二模型生成模块，用于根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

第三模型生成模块，用于根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

第四方面，本公开实施例提供一种文本生成装置，包括：

查询语句获取模块，用于获取查询语句；

文本标题生成模块，用于将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据上述第一方面所述的文本生成模型的训练方法所训练得到的模型。

第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面或第二方面或第三方面中的任一所述的方法。

第六方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面或第二方面或第三方面中的任一所述的方法。

本公开实施例公开了一种文本生成模型的训练方法、装置、电子设备和计算机可读存储介质。其中所述文本生成模型的训练方法包括：根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。上述方法通过多个训练数据集以及损失函数对模型进行训练，解决了现有技术中生成的文本缺乏多样性的技术问题。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例提供的文本生成模型的训练方法的流程示意图；

图2为本公开实施例提供的文本生成模型的训练方法中的步骤S101的一个具体实施方式意图；

图3为本公开实施例提供的文本生成模型的训练方法中的步骤S102的一个具体实施方式意图；

图4为本公开实施例提供的文本生成模型的训练方法中的步骤S103的一个具体实施方式意图；

图5为本公开实施例提供的文本生成方法的流程示意图；

图6为本公开实施例提供的文本生成模型的训练装置的实施例的结构示意图；

图7为本公开实施例提供的文本生成装置的实施例的结构示意图；

图8为根据本公开实施例提供的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

图1为本公开实施例提供的文本生成模型的训练方法实施例的流程图，本实施例提供的该文本生成模型的训练方法可以由一文本生成模型的训练装置来执行，该文本生成模型的训练装置可以实现为软件，或者实现为软件和硬件的组合，该文本生成模型的训练装置可以集成设置在文本生成模型的训练系统中的某设备中，比如文本生成模型的训练服务器或者文本生成模型的训练终端设备中。如图1所示，该方法包括如下步骤：

步骤S101，根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；

可选的，在本公开中，所述第一训练数据集为通用语料数据集，其中的数据可以通过从网页中的内容中获取，所述通用语料数据集不针对特定领域，可以用于对原始文本生成模型进行训练得到一个通用的语言模型。所述原始文本生成模型为序列到序列的生成模型，其可以将一个输入序列转换成另外一个输出序列。

可选的，所述第一损失函数为对数似然函数，所述原始文本生成模型的训练目标为最大化所述对数似然函数。示例性的，所述对数似然函数为：

其中，L₁为第一损失函数，其中u_i∈U＝{u₁,...,u_n}为第一训练数据集中的无标签文本中的字符，k为所述文本的上下文窗口大小，即当u_i之前的文本输入为u_i-k,...，u_i-1时，输出为u_i的概率为P；其中θ为所述原始文本生成模型的参数集合。当每个u_i的概率P都最大时，可以得到L₁的最大值；可以理解的，通常计算损失函数为计算最小值，为了能够使用梯度下降等算法，也可以计算概率的负值，此时：

可选的，所述步骤S101具体包括：

步骤S201，初始化所述原始文本生成模型的参数；

步骤S202，将所述第一训练数据集中的文本输入所述原始文本生成模型得到第一输出向量；

步骤S203，根据所述第一输出向量和所述第一损失函数更新所述原始文本生成模型的参数；

步骤S204，迭代上述参数更新的过程直到达到收敛条件得到第一参数；其中，所述第一参数为所述第一中间文本生成模型的初始参数。

其中在步骤S201中，初始化所述原始文本生成模型的参数可以是将所述参数初始化成默认值或者随机生成所述参数的值；在步骤S202中，首先将所述第一训练数据集中的文本转换成对应向量形式，称为输入向量，经过所述原始生成文本模型的参数得到第一输出向量；设当前时刻为t，在步骤S203中，所述第一输出向量经过所述原始文本生成模型的线性层输入到分类层，得到在t-k时刻输入的字符为u_i-k,...，u_i-1时，输出为u_i的概率，通过每个u_i的概率可以计算所述L₁的值，之后调整所述参数的值；之后在步骤S204中，继续迭代上述步骤S202和S203的过程，直至达到收敛条件，将得到的第一参数作为所述第一中间文本生成模型的初始参数。

步骤S102,根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型；

示例性的，在该步骤中，所述第一加权损失函数由第一损失函数和第二损失函数组成。其中，所述第二损失函数为当使用所述第二训练数据集直接训练所述原始文本生成模型所要使用的损失函数。而在该步骤中，由于第一中间文本生成模型是预训练模型，因此在使用第二训练数据集训练所述第一中间文本生成模型时，为了加入一些预训练模型的影响而使用了第一加权损失函数。

可选的，在本公开中，所述第二训练数据集为文本标题数据集。示例性的，所述文本标题数据集中包括了商品展示信息的标题或者广告的标题。文本标题相对于通用语料数据，更加聚焦于标题，其语法和用词与通用语料有较大的区别。但是，如果直接使用文本标题数据训练原始文本生成模型，则模型只能学习到限定在文本标题中的语法和词汇，这对生成多样性的标题是不利的。而在使用通用语料进行预训练的模型上再通过文本标题数据进行训练，可以解决这个问题，通过预训练得到的第一中间文本生成模型已经学习到了通用语言的规则，在根据第二训练数据集训练之后，又能学到文本标题的语言规则，由此可以生成不限定于第二训练数据集中的语言规则的文本标题。

可选的，所述第二损失函数也可以是对数似然函数。示例性的，所述对数似然函数为：

其中，L₂为第一损失函数，其中u_i∈U＝{u₁,...,u_n}为第二训练数据集中的无标签文本中的字符，l为在训练所述第一中间文本生成模型时所述文本的上下文窗口大小，即当v_i之前的文本输入为v_i-k,...，v_i-1时，输出为v_i的概率为P；其中θ为所述第一中间文本生成模型的参数集合。当每个v_i的概率P都最大时，可以得到L₂的最大值；可以理解的，通常计算损失函数为计算最小值，为了能够使用梯度下降等算法，也可以计算概率的负值，此时：

示例性的，在该步骤中，所述第一加损失函数为：

L₃＝L₂+α*L₁ (3)

其中L₃为第一加损失函数，α为加权系数，用于调整损失函数L₁对L₃的影响，所述α的取值根据训练目标和应用场景的不同而不同，其具体的取值在本公开中不做限制。

可选的，所述步骤S102具体包括：

步骤S301，将所述第二训练数据集中的文本输入所述第一中间文本生成模型得到第二输出向量；

步骤S302，根据所述第二输出向量和所述第一加权损失函数更新所述第一中间文本生成模型的第一参数；

步骤S303，迭代上述参数更新的过程直到达到收敛条件得到第二参数；其中，所述第二参数为所述第二中间文本生成模型的初始参数。

由于第一中间文本生成模型与原始文本生成模型的结构相同，只是参数不同，因此上述步骤S301-步骤S303中的具体过程与步骤S202-步骤S204类似，只是根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型继续进行训练得到第二参数作为下一步训练所使用的第二中间文本生成模型的初始参数。其具体过程可以参考步骤S201-步骤S203，在此不再赘述。

步骤S103，根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型。

示例性的，在该步骤中，所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成，具体的，所述第二加权损失函数由第三损失函数和第一加权损失函数组成。其中，所述第三损失函数为当使用所述第三训练数据集直接训练所述原始文本生成模型所要使用的损失函数。而在该步骤中，由于第二中间文本生成模型是预训练模型，因此在使用第三训练数据集训练所述第二中间文本生成模型时，为了加入一些预训练模型的影响而使用了第二加权损失函数。

可选的，在本公开中，所述第三训练数据集为查询语句和文本标题的数据对数据集，其中的数据对可以通过用户的真实点击数据获取。如消费者在电商平台的搜索栏中输入查询语句，电商平台返回多个商品的展示信息，用户从所述多个商品的展示信息中点击了某个商品，此时该查询语句和该商品的展示信息的标题构成一个查询语句和文本标题的数据对；如广告主在投放广告时，需要给广告起一个标题，此时广告主输入广告标题的查询语句，系统会反馈多个广告标题供广告主选择，广告主选择的标题与其输入的查询语句构成了一个查询语句和文本标题的数据对。可以理解的，上述具体的查询语句和文本标题的数据对仅是举例，本公开对其具体内容不做限定。在第一文本生成模型的基础上，进一步使用所述第三训练数据集对模型进行训练，可以得到更适用于通过查询语句预测文本标题的应用场景。

可选的，所述第三损失函数也可以是对数似然函数。在该实施例中，将所述查询语句和文本标题表示为一个序列，将该序列按时序输入所述第二中间文本生成模型以预测下一时刻的字符，这样生成的文本生成模型不仅可以预测文本标题，还可以根据用户的输入预测查询语句；或者将所述查询语句作为出入来预测所述文本标题。示例性的，所述第三损失函数为：

L₄＝∑logP(Y|X；θ) (4)

其中X表示查询语句对应的序列，Y表示输入为X时的预测序列；其中θ为所述第二中间文本生成模型的参数集合。

示例性的，在该步骤中，所述第二加权损失函数为：

L₅＝L₄+β*L₃ (5)

其中L₅为第二加损失函数，β为加权系数，用于调整损失函数L₃对L₅的影响，所述β的取值根据训练目标和应用场景的不同而不同，其具体的取值在本公开中不做限制。

可选的，所述步骤S103具体包括：

步骤S401，将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量；

步骤S402，根据所述第三输出向量和所述第二加权损失函数更新所述第二中间文本生成模型的第二参数；

步骤S403，迭代上述参数更新的过程直到达到收敛条件得到第三参数；其中，所述第三参数为所述文本生成模型的参数。

由于第一中间文本生成模型与第二中间文本生成模型的结构相同，只是参数不同，因此上述步骤S301-步骤S303中的具体过程与步骤S202-步骤S204类似，只是根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型继续进行训练得到第三参数作为最终训练好的文本生成模型的参数。其具体过程可以参考步骤S201-步骤S203，在此不再赘述。

可选的，所述步骤S401进一步包括：

将所述第三训练数据集中的查询语句和文本标题通过第一分隔符组成完整的序列；

将所述查询语句和所述第一分隔符输入所述第二中间文本生成模型得到所述第三向量；其中所述第三向量表示所述第二中间文本生成模型所预测的所述文本标题。

示例性的，所述查询语句为：“酱香白酒”，其对应的文本标题为：“喝纯粮，就选酱香白酒！老牌子，老味道，信得过！”，此时可以将上述查询语句和文本标题通过第一分隔符◇将其连接为一个完整的序列：“酱香白酒◇喝纯粮，就选酱香白酒！老牌子，老味道，信得过！”，之后将所述“酱香白酒◇”输入所述第二中间文本生成模型，得到预测的文本标题的向量，并通过分类层预测所述向量中每个字符的概率由此可以得到预测的文本标题。

可选的，所述完整的序列中包括多个所述查询语句，所述多个查询语句之间包括第二分隔符。在该可选实施例中，所述查询语句为多个，如多个查询语句对应了同一个文本标题，此时可以将多个查询语句和所述文本标题组成一个完整的序列以提高训练的效率。示例性的，所述语句为：“酱香白酒”和“茅台镇”，所述对应的文本标题为：“喝纯粮，就选酱香白酒！老牌子，老味道，信得过！”，此时可以通过第二分隔符&分割多个查询语句，以组成完整的序列为：“酱香白酒&茅台镇◇喝纯粮，就选酱香白酒！老牌子，老味道，信得过！”,之后再执行后续的步骤。

通过上述训练过程，对原始文本生成模型通过不同的训练数据集进行多次训练，并将多次训练通过损失函数联合起来得到最终的文本生成模型，增加了文本生成模型所生成的文本序列的多样性。

图5为本公开实施例提供的文本生成方法实施例的流程图，本实施例提供的该文本生成方法可以由一文本生成装置来执行，该文本生成装置可以实现为软件，或者实现为软件和硬件的组合，该文本生成装置可以集成设置在文本生成系统中的某设备中，比如文本生成服务器或者文本生成终端设备中。如图5所示，该方法包括如下步骤：

步骤S501，获取查询语句；

步骤S502，将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；其中，所述文本生成模型是根据所述的文本生成模型的训练方法所训练得到的模型。

在该实施例中，获取用户输入的查询语句，通过在上述文本生成模型的训练方法中得到的文本生成模型输出所述查询语句所对应的文本标题。

另外，为了增加输出的文本标题的多样性，所述步骤S502还包括：

将所述查询语句复制成n个查询语句；

将所述n个查询语句输入文本生成模型中得到所述查询语句所对应的n个文本标题，其中n>1。

在该实施例中，所述文本生成模型中的文本标题中的字符是依次预测出来的，每个字符都有一个预测的概率。示例性的，所述文本生成模型的每个输出字符的类型的数量为5000个，则每个输出都会对应其为这5000个字符中的每一个概率，在本公开中，对于每个输出字符都可以使用选择概率最大的K个字符，并随机在这K个字符选择一个作为输出字符的策略。例如，对于每个时刻的输出字符，会选择概率最大的前20个字符作为候选的输出字符，之后在这20个候选的输出字符中随机选择一个作为该时刻的输出字符。这样，对于同一个输入序列，每个时刻的输出字符都有20种可能性。这样将所述输入序列复制进行多次输入，可以得到多个不同的文本标题，可以大大增加文本标题的多样性，给用户更多的选择。

作为本公开的一个补充实施例，所述文本标题还可以使用以下方式来生成：

通过两个模型来生成所述文本标题，其训练数据集为上述实施例中的第二训练数据集，即文本标题数据集。所述两个模型中，第一个模型为文本理解模型，其通过经过标注的数据，从所述文本标题中提取对应的场景关键词；第二个模型为文本生成模型，其通过文本理解模型提取的场景关键词生成对应的文本标题，在使用的时候，用户输入场景关键词即可生成对应的文本标题。

示例性的，第二训练数据集中的文本标题为：“时尚高端大气上档次集于一身的女士包包，货到付款手慢无！”，通过文本理解模型，提取其中的场景关键词，其中的场景为预先设置好的场景，如：风格，受众人群，商品。在该示例中，得到场景关键词为：“风格：时尚，大气；受众人群：女；商品：包包”，将该场景关键词输入所述文本生成模型，使其能够回归出原先的文本标题：“时尚高端大气上档次集于一身的女士包包，货到付款手慢无！”，通过上述方式，最终训练出所述文本生成模型。

为了生成多样性的文本标题，在所述文本生成模型输入字符时，可以使用集束搜索算法增加每个时刻输出字符的可选数量；或者在用户输入场景关键词之后，随机打乱所述场景关键词的顺序，由于输入顺序发生变化，其输出也会发生相应的变化；或者，在用户输入场景关键词之后，通过Skip-gram模型进行关键词联想，以产生更多的关键词，来增加文本生成模型所输出的文本标题的多样性。

本公开实施例公开了一种文本生成模型的训练方法，其中所述方法包括：根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。上述方法通过多个训练数据集以及损失函数对模型进行训练，解决了现有技术中生成的文本缺乏多样性的技术问题。

在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

图6为本公开实施例提供的文本生成模型的训练装置实施例的结构示意图，如图6所示，该装置600包括：第一模型生成模块601、第二模型生成模块602、和第三模型生成模块603。其中，

第一模型生成模块601，用于根据第一训练数据集和第一损失函数对原始文本生成模型进行预训练生成第一中间文本生成模型；

第二模型生成模块602，用于根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

第三模型生成模块603，用于根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

进一步的，所述第一训练数据集为通用语料数据集；所述第二训练数据集为文本标题数据集；所述第三训练数据集为查询语句和文本标题的数据对数据集。

进一步的，所述第一模型生成模块601，还用于：

初始化所述原始文本生成模型的参数；

将所述第一训练数据集中的文本输入所述原始文本生成模型得到第一输出向量；

根据所述第一输出向量和所述第一损失函数更新所述原始文本生成模型的参数；

迭代上述参数更新的过程直到达到收敛条件得到第一参数；其中，所述第一参数为所述第一中间文本生成模型的初始参数。

进一步的，所述第二模型生成模块602，还用于：

将所述第二训练数据集中的文本输入所述第一中间文本生成模型得到第二输出向量；

根据所述第二输出向量和所述第一加权损失函数更新所述第一中间文本生成模型的第一参数；

迭代上述参数更新的过程直到达到收敛条件得到第二参数；其中，所述第二参数为所述第二中间文本生成模型的初始参数。

进一步的，所述第三模型生成模块603，还用于：

将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量；

根据所述第三输出向量和所述第二加权损失函数更新所述第二中间文本生成模型的第二参数；

迭代上述参数更新的过程直到达到收敛条件得到第三参数；其中，所述第三参数为所述文本生成模型的参数。

进一步的，所述第一损失函数为L₁；所述第一加权损失函数为L₃＝L₂+α*L₁；所述第二加权损失函数为L₅＝L₄+β*L₃；其中L₂为第二训练数据集所对应的损失函数，L₄为第三训练数据集所对应的损失函数。

进一步的，所述第三模型生成模块603，还用于：

将所述第三训练数据集中的查询语句和文本标题通过第一分隔符组成完整的序列；

将所述查询语句和所述第一分隔符输入所述第二中间文本生成模型得到所述第三向量；其中所述第三向量表示所述第二中间文本生成模型所预测的所述文本标题。

进一步的，所述完整的序列中包括多个所述查询语句，所述多个查询语句之间包括第二分隔符。

图6所示装置可以执行图1-图4所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图4所示实施例中的描述，在此不再赘述。

图7为本公开实施例提供的文本生成装置实施例的结构示意图，如图7所示，该装置700包括：查询语句获取模块701和文本标题生成模块702。其中，

查询语句获取模块701，用于获取查询语句；

文本标题生成模块702，用于将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据上述的文本生成模型的训练方法所训练得到的模型。

进一步的，所述文本标题生成模块702，还用于：

将所述查询语句复制成n个查询语句；

将所述n个查询语句输入文本生成模型中得到所述查询语句所对应的n个文本标题，其中n>1。

图7所示装置可以执行图5所示实施例的方法，本实施例未详细描述的部分，可参考对图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图5所示实施例中的描述，在此不再赘述。

下面参考图8，其示出了适于用来实现本公开实施例的电子设备800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，提供了一种文本生成模型的训练方法，包括：

根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；

根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

进一步的，其中：所述第一训练数据集为通用语料数据集；所述第二训练数据集为文本标题数据集；所述第三训练数据集为查询语句和文本标题的数据对数据集。

进一步的，所述根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型，包括：

初始化所述原始文本生成模型的参数；

将所述第一训练数据集中的文本输入所述原始文本生成模型得到第一输出向量；

根据所述第一输出向量和所述第一损失函数更新所述原始文本生成模型的参数；

迭代上述参数更新的过程直到达到收敛条件得到第一参数；其中，所述第一参数为所述第一中间文本生成模型的初始参数。

进一步的，所述根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，包括：

将所述第二训练数据集中的文本输入所述第一中间文本生成模型得到第二输出向量；

根据所述第二输出向量和所述第一加权损失函数更新所述第一中间文本生成模型的第一参数；

迭代上述参数更新的过程直到达到收敛条件得到第二参数；其中，所述第二参数为所述第二中间文本生成模型的初始参数。

进一步的，所述根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，包括：

将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量；

根据所述第三输出向量和所述第二加权损失函数更新所述第二中间文本生成模型的第二参数；

迭代上述参数更新的过程直到达到收敛条件得到第三参数；其中，所述第三参数为所述文本生成模型的参数。

进一步的，其中：所述第一损失函数为L₁；所述第一加权损失函数为L₃＝L₂+α*L₁；所述第二加权损失函数为L₅＝L₄+β*L₃；其中L₂为第二训练数据集所对应的损失函数，L₄为第三训练数据集所对应的损失函数。

进一步的，所述将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量，包括：

将所述第三训练数据集中的查询语句和文本标题通过第一分隔符组成完整的序列；

将所述查询语句和所述第一分隔符输入所述第二中间文本生成模型得到所述第三向量；其中所述第三向量表示所述第二中间文本生成模型所预测的所述文本标题。

进一步的，其中：所述完整的序列中包括多个所述查询语句，所述多个查询语句之间包括第二分隔符。

根据本公开的一个或多个实施例，提供了一种文本生成方法，包括：

获取查询语句；

将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据上述实施例中所述的文本生成模型的训练方法所训练得到的模型。

根据本公开的一个或多个实施例，提供了一种文本生成模型的训练装置，包括：

第一模型生成模块，用于根据第一训练数据集和第一损失函数对原始文本生成模型进行预训练生成第一中间文本生成模型；

第二模型生成模块，用于根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

第三模型生成模块，用于根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

进一步的，所述第一训练数据集为通用语料数据集；所述第二训练数据集为文本标题数据集；所述第三训练数据集为查询语句和文本标题的数据对数据集。

进一步的，所述第一模型生成模块，还用于：

初始化所述原始文本生成模型的参数；

将所述第一训练数据集中的文本输入所述原始文本生成模型得到第一输出向量；

根据所述第一输出向量和所述第一损失函数更新所述原始文本生成模型的参数；

迭代上述参数更新的过程直到达到收敛条件得到第一参数；其中，所述第一参数为所述第一中间文本生成模型的初始参数。

进一步的，所述第二模型生成模块，还用于：

将所述第二训练数据集中的文本输入所述第一中间文本生成模型得到第二输出向量；

根据所述第二输出向量和所述第一加权损失函数更新所述第一中间文本生成模型的第一参数；

迭代上述参数更新的过程直到达到收敛条件得到第二参数；其中，所述第二参数为所述第二中间文本生成模型的初始参数。

进一步的，所述第三模型生成模块，还用于：

将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量；

根据所述第三输出向量和所述第二加权损失函数更新所述第二中间文本生成模型的第二参数；

迭代上述参数更新的过程直到达到收敛条件得到第三参数；其中，所述第三参数为所述文本生成模型的参数。

进一步的，所述第一损失函数为L₁；所述第一加权损失函数为L₃＝L₂+α*L₁；所述第二加权损失函数为L₅＝L₄+β*L₃；其中L₂为第二训练数据集所对应的损失函数，L₄为第三训练数据集所对应的损失函数。

进一步的，所述第三模型生成模块，还用于：

将所述第三训练数据集中的查询语句和文本标题通过第一分隔符组成完整的序列；

将所述查询语句和所述第一分隔符输入所述第二中间文本生成模型得到所述第三向量；其中所述第三向量表示所述第二中间文本生成模型所预测的所述文本标题。

进一步的，所述完整的序列中包括多个所述查询语句，所述多个查询语句之间包括第二分隔符。

根据本公开的一个或多个实施例，提供了一种文本生成装置，包括：

查询语句获取模块，用于获取查询语句；

文本标题生成模块，用于将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据上述第一方面所述的文本生成模型的训练方法所训练得到的模型。

根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例中所述的方法。

根据本公开的一个或多个实施例，提供了一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述任一实施例中所述的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种文本生成模型的训练方法，其特征在于，包括：

根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型；

根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

2.如权利要求1所述的文本生成模型的训练方法，其中：

所述第一训练数据集为通用语料数据集；

所述第二训练数据集为文本标题数据集；

所述第三训练数据集为查询语句和文本标题的数据对数据集。

3.如权利要求1或2所述的文本生成模型的训练方法，其中，所述根据第一训练数据集和第一损失函数对原始文本生成模型进行训练生成第一中间文本生成模型，包括：

初始化所述原始文本生成模型的参数；

将所述第一训练数据集中的文本输入所述原始文本生成模型得到第一输出向量；

根据所述第一输出向量和所述第一损失函数更新所述原始文本生成模型的参数；

迭代上述参数更新的过程直到达到收敛条件得到第一参数；其中，所述第一参数为所述第一中间文本生成模型的初始参数。

4.如权利要求3所述的文本生成模型的训练方法，其中，所述根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，包括：

将所述第二训练数据集中的文本输入所述第一中间文本生成模型得到第二输出向量；

根据所述第二输出向量和所述第一加权损失函数更新所述第一中间文本生成模型的第一参数；

迭代上述参数更新的过程直到达到收敛条件得到第二参数；其中，所述第二参数为所述第二中间文本生成模型的初始参数。

5.如权利要求4所述的文本生成模型的训练方法，其中，所述根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，包括：

将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量；

根据所述第三输出向量和所述第二加权损失函数更新所述第二中间文本生成模型的第二参数；

迭代上述参数更新的过程直到达到收敛条件得到第三参数；其中，所述第三参数为所述文本生成模型的参数。

6.如权利要求1所述的文本生成模型的训练方法，其中：

所述第一损失函数为L₁；

所述第一加权损失函数为L₃＝L₂+α*L₁；

所述第二加权损失函数为L₅＝L₄+β*L₃；

其中L₂为第二训练数据集所对应的损失函数，L₄为第三训练数据集所对应的损失函数。

7.如权利要求5所述的文本生成模型的训练方法，其中所述将所述第三训练数据集中的文本输入所述第二中间文本生成模型得到第三输出向量，包括：

将所述第三训练数据集中的查询语句和文本标题通过第一分隔符组成完整的序列；

将所述查询语句和所述第一分隔符输入所述第二中间文本生成模型得到所述第三向量；其中所述第三向量表示所述第二中间文本生成模型所预测的所述文本标题。

8.如权利要求7所述的文本生成模型的训练方法，其中：

所述完整的序列中包括多个所述查询语句，所述多个查询语句之间包括第二分隔符。

9.一种文本生成方法，其特征在于，包括：

获取查询语句；

将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据权利要求1-8中任一项所述的文本生成模型的训练方法所训练得到的模型。

10.如权利要求9所述的文本生成方法，其中所述将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题，包括：

将所述查询语句复制成n个查询语句；

将所述n个查询语句输入文本生成模型中得到所述查询语句所对应的n个文本标题，其中n>1。

11.一种文本生成模型的训练装置，其特征在于，包括：

第一模型生成模块，用于根据第一训练数据集和第一损失函数对原始文本生成模型进行预训练生成第一中间文本生成模型；

第二模型生成模块，用于根据第二训练数据集和第一加权损失函数对所述第一中间文本生成模型进行训练生成第二中间文本生成模型，其中第一加权损失函数由第一损失函数和第二损失函数组成；

第三模型生成模块，用于根据第三训练数据集和第二加权损失函数对所述第二中间文本生成模型进行训练生成所述文本生成模型，其中所述第二加权损失函数由第一损失函数、第二损失函数和第三损失函数组成。

12.一种文本生成装置，其特征在于，包括：

查询语句获取模块，用于获取查询语句；

文本标题生成模块，用于将所述查询语句输入文本生成模型中得到所述查询语句所对应的文本标题；

其中，所述文本生成模型是根据权利要求1-8中任一项所述的文本生成模型的训练方法所训练得到的模型。

13.一种电子设备，包括：

存储器，用于存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现根据权利要求1-8中任意一项所述的方法。

14.一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-8中任意一项所述的方法。

Images