CN115345645A - 推送文本生成方法、装置以及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种推送文本生成方法、装置以及计算机可读存储介质，可应用于云技术等场景。具体的，获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。以此，可根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

Description

推送文本生成方法、装置以及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种推送文本生成方法、装置以及计算机可读存储介质。

背景技术

随着商品化市场发展繁荣，广告投放对商品化市场销售具有引流和促进购买力的作用，在一定程度上可促使商品市场取得较好的经济效益；因此，广告文本的制作非常重要。

相关技术在对广告文本进行制作时，主要是根据预先设定好的广告模板，并将商品信息填充至该广告模板，以生成广告文本进行投放。

然而，相关技术在对广告文本进行制作时，其对广告模板的依赖性较大，而该广告文本模板需要人工提前制定好，其所生成的广告文本可能比较生硬，缺乏吸引力，且容易出现部分商品信息遗漏的现象，导致广告文本与商品之间不贴合，降低了广告带来的效益。

发明内容

本申请实施例提供一种推送文本生成方法、装置以及计算机可读存储介质，无需依赖文本模板，可根据完整的商品信息自动生成内容贴合的推送文本，有效避免推送文本出现信息遗漏的现象，使得推送文本与产品之间更贴合，提高推送效益。

本申请实施例提供一种推送文本生成方法，包括：

获取待推送内容信息；

将所述待推送内容信息输入目标文本模型，使得所述目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；

对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；

对每一目标注意力特征进行解码处理，得到所述目标文本模型输出的待推送文本。

相应的，本申请实施例提供一种推送文本生成装置，包括：

获取单元，用于获取待推送内容信息；

编码单元，用于将所述待推送内容信息输入目标文本模型，使得所述目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；

计算单元，用于对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；

解码单元，用于对每一目标注意力特征进行解码处理，得到所述目标文本模型输出的待推送文本。

在一些实施方式中，所述编码单元，还用于：

通过所述目标文本模型中的编码模块对所述待推送内容信息进行文本字符拆解处理，得到多个待编码文本字符；

确定每一待编码文本字符在所述待推送内容信息中的字符序列关系；

按照所述字符序列关系，依序对所述每一待编码文本字符进行编码处理，得到每一特征编码时间对应的编码特征向量。

在一些实施方式中，所述计算单元，还用于：

确定每一编码特征向量对应的特征编码时间，并根据每一特征编码时间确定所述编码特征向量对应的特征编码时间序列；

按照所述特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量。

在一些实施方式中，所述计算单元，还用于：

按照所述特征编码时间序列，对每一特征编码时间的编码特征向量进行硬注意力计算，得到所述每一特征编码时间对应的硬注意力特征向量；

对每一特征编码时间的编码特征向量进行软注意力计算，得到所述每一特征编码时间对应的软注意力特征向量；

根据所述每一编码特征向量、软注意力特征向量及硬注意力特征向量，确定每一特征编码时间对应的目标注意力特征向量。

在一些实施方式中，所述计算单元，还用于：

针对每一特征编码时间对应的编码特征向量，分别与其他特征特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；

从所述多个特征内积值选取最大的目标特征内积值，并将所述目标特征内积值对应的编码特征向量作为当前的特征特征编码时间对应的硬注意力特征向量。

在一些实施方式中，所述计算单元，还用于：

针对每一特征编码时间对应的编码特征向量，分别与其他特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；

对每一特征内积值进行归一化处理，得到每一特征编码时间对应的软注意力权重值；

将每一特征编码时间的软注意力权重值与对应的编码特征向量进行加权求和处理，得到所述每一特征编码时间对应的软注意力特征向量。

在一些实施方式中，所述推送文本生成装置还包括训练单元，用于：

获取样本待推送内容信息及样本推送文本；

将所述样本待推送内容信息输入预设文本模型，得到输出的预测推送文本，所述预测推送文本包含按照特征解码时序排列的多个预测字符；

确定所述多个预测字符在所述预测推送文本中的字符序列关系；

基于所述字符序列关系，计算每一预测字符与所述样本推送文本中对应样本字符之间的交叉熵损失值；

根据所述交叉熵损失值按照梯度下降方式对所述预设文本模型的模型参数进行更新，直至模型收敛，得到目标文本模型。

在一些实施方式中，所述推送文本生成装置还包括推送单元，用于：

根据预设词性信息对所述待推送文本进行词信息提取，得到多个目标词信息；

根据所述多个目标词信息，确定所述待推送文本与所述待推送内容信息之间语义匹配度；

若识别到所述语义匹配度大于预设匹配阈值，则将所述待推送文本确定为目标推送文本，并对所述目标推送文本进行推送。

此外，本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本申请实施例提供的任一种推送文本生成方法中的步骤。

此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种推送文本生成方法中的步骤。

此外，本申请实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指被执行时实现本申请实施例所提供的任一种推送文本生成方法中的步骤。

本申请实施例可以获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。由此可得，本方案可通过文本模型对待推送内容信息进行编码，得到不同编码时刻的编码特征向量，进而，通过多重注意力机制分别对每一时刻的编码特征向量进行多重的注意力计算，以得到每一时刻的注意力计算结果，从而，对每一时刻的注意力计算结果进行解码处理得到待推送文本；以此，摆脱了对文本模板的依赖，实现根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的推送文本生成系统的场景示意图；

图2是本申请实施例提供的推送文本生成方法的步骤流程示意图；

图3是本申请实施例提供的推送文本生成方法的另一步骤流程示意图；

图4是本申请实施例提供的目标文本模型的结构示意图；

图5是本申请实施例提供的推送文本生成装置的结构示意图；

图6是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种推送文本生成方法、装置以及计算机可读存储介质。具体地，本申请实施例将从推送文本生成装置的角度进行描述，该推送文本生成装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是用户终端等设备。其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，用户终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能家电、车载终端、智能语音交互设备、飞行器等，但并不局限于此。

本申请实施例提供的推送文本生成方法可应用于各种应用场景，如，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等推送文本生成的应用场景，这些应用场景不限于通过云服务、大数据等方式实现，具体通过如下实施例进行说明:

例如，参见图1，为本申请实施例提供的推送文本生成系统的示意图。本实施例的执行主体可以是终端或服务器。

终端或服务器可以获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

其中，推送文本生成过程可以包括：获取待推送内容信息、对待推送内容信息进行编码、对编码向量进行多重注意力计算及将注意力特征向量解码得到待推送文本等方式。

以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。

在本申请实施例中，将从推送文本生成装置的角度进行描述，以该推送文本生成装置具体可以集成在计算机设备如终端或服务器中。参见图2，图2为本申请实施例提供的一种推送文本生成方法的步骤流程示意图，本申请实施例以推送文本生成装置具体集成在服务器上为例，服务器上的处理器执行推送文本生成方法对应的程序指令时，具体流程如下：

101、获取待推送内容信息。

其中，该待推送内容信息可以是需要推送的原文内容信息，如产品内容信息，该产品不限于包括实物产品(如水果、家电、家具、汽车等任意实物产品)、终端应用程序、软件、代码、文本、图像等。具体的，待推送内容信息可以是实物的相关介绍文本，例如，具体可以是某产品的说明书、标题等相关信息；此外，待推送内容信息还可以是文章的内容信息，如文章(不限于包括新闻、书籍)的正文信息、标题等。

本申请实施例为了实现将繁琐、复杂的内容信息转换为相对简单、简短、吸引用户兴趣或用户可快速读取的推送文本，可以实时获取需要待转换的待推送内容信息，如通过数据通道/接口获取相关平台发送的请求上传推送的内容信息，又如，接收用户终端请求推送的内容信息等。以此，获取需要转换的待推送内容信息，以便于后续对该待推送内容信息进行转换表达，以使得用户可以通过该推送文本快速学习、了解对应的相关信息。

通过以上方式，可获取需要文本转换的内容信息原文本，以便于后续将该内容信息原文本转换生成可推送的文本，以使得用户可以通过该推送文本快速学习、了解对应的相关信息。

需要说明的是，为了摆脱文本模板的依赖，使得后续自动生成的推送文本在语义表达上较为平滑、内容贴合，同时，避免信息遗漏，使得推送文本与内容信息原文本之间较为贴合；本申请实施例在对内容信息原文本进行转换表达时，可通过训练好的目标文本模型对需要转换的待推送内容信息原文本进行转换，以得到的可推送的文本。

为了实现通过目标文本模型对待推送的内容信息原文本进行转换，需要对模型进行预先训练，以获取可用于文本信息转换表达的目标文本模型。

在一些实施方式中，在通过目标文本模型对待推送内容信息进行转换之前，可采用多个样待推送内容信息及样本推送文本对预设文本模型进行训练。具体的，该训练过程可以还包括：获取样本待推送内容信息及样本推送文本；将样本待推送内容信息输入预设文本模型，得到输出的预测推送文本，预测推送文本包含按照特征解码时序排列的多个预测字符；确定多个预测字符在预测推送文本中的字符序列关系；基于字符序列关系，计算每一预测字符与样本推送文本中对应样本字符之间的交叉熵损失值；根据交叉熵损失值按照梯度下降方式对预设文本模型的模型参数进行更新，直至模型收敛，得到目标文本模型。

具体的，该预设文本模型和目标文本模型的结构不限于包括：编码模块、多重注意力机制模块(可包括软注意力机制子模块和硬注意力机制子模块)、解码模块。在训练过程中，将样本待推送内容信息输入该预设文本模型，以使得预设文本模型中的编码模块依次针对样本待推送内容信息中的每一字符进行逐字的编码处理，实现将每一字符转化为特征向量，每一个字符的转换对应一个特征编码时间(时刻)，得到每一特征编码时间对应的编码特征向量；进而，通过多重注意力机制模块分别对每一特征编码时间对应的编码特征向量进行注意力计算，如进行软注意力计算和硬注意力计算，从而，将软注意力计算特征和硬注意力计算特征结合当前的特征编码向量得到未收敛时的目标注意力特征；最后，对该每一未收敛时的目标注意力特征进行解码处理，得到预测推送文本，该预测推送文本包含按照特征解码时序排列的多个预测字符。

进一步的，确定预测推送文本中多个预测字符之间的字符序列关系，即每一预测字符的顺序；以及，确定样本推送文本中多个样本字符的样本字符序列关系；从而，根据字符序列关系与样本字符序列关系之间的关联性，将每一预测字符与其在样本推送文本中对应的目标样本字符进行交叉熵损失计算，得到交叉熵损失值；最后，根据该交叉熵损失值对预测文本模型的模型参数进行反向调整，具体可以是按照梯度下降算法方式调整该预设文本模型的网络参数，直至交叉熵损失值收敛，得到训练收敛的目标文本模型，以用于后续的待推送内容信息的转换表达，使得后续自动生成的待推送文本在语义表达上内容贴合，且使得待推送文本与内容信息原文本之间较为贴合。

102、将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量。

其中，该特征编码时间可以是目标文本模型在对待推送内容信息中每一字符进行编码时的时间或时刻。具体的，该目标文本模型包括编码模块，该编码模型按照逐字编码的方式对待推送内容信息进行编码，对每个字符的编码时刻视为一个特征编码时间，即每个特征编码时刻(时间)可仅对待推送内容信息中的一个字符进行编码处理，直至待推送内容信息中每一字符都经过特征编码为对应的编码特征向量。

其中，该编码特征向量可以是一个字符经过特征编码转化后的特征向量，即每一个编码特征向量与待推送内容信息中的一个目标字符相对应。

在一些实施方式中，在对待推送内容信息中的每个字符进行特征编码时，可按照待推送内容信息中每个字符对应的序列关系依序进行编码处理。例如，步骤“使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量”可以包括：通过目标文本模型中的编码模块对待推送内容信息进行文本字符拆解处理，得到多个待编码文本字符；确定每一待编码文本字符在待推送内容信息中的字符序列关系；按照字符序列关系，依序对每一待编码文本字符进行编码处理，得到每一特征编码时间对应的编码特征向量。

需要说明的是，该待推送内容信息包含多个待编码的字符，该字符可以是中文汉字、数字、英文单词或标点符号等，而多个字符按照特定排序关系组成具有特定语义的内容信息。其中，该字符序列关系可以是待推送内容信息中包含的多个字符之间的字符排序关系。

其中，该待编码文本字符是指待推送内容信息所包含的某一个字符。

具体的，为了对待推送内容信息中的每一字符进行准确编码处理，本申请实施例在对每一字符进行编码处理时，首先需要对待推送内容信息中的所有字符进行单个拆解处理，以得到待推送内容信息对应的多个待编码文本字符；进而，确定待推送内容信息中多个待编码文本字符之间的字符序列关系；最后，结合字符序列关系，使得目标文本模型中的编码模块在每一编码时刻仅按照字符序列关系对待推送内容信息中的一个字符进行编码处理，得到每一特征编码时间对应的编码特征向量，以实现通过特征编码时间在区分每个字符对应的编码特征向量，以便于后续每一编码特征向量的多重注意力机制计算和解码处理。

通过以上方式，可通过训练收敛的目标文本模型对待推送内容信息进行逐个字符的编码处理，得到每一特征编码时间对应的编码特征向量，实现将待推送内容信息从文本与特征向量之间的转化，以在特征编码时间上区分每一个字符对应的特征向量，使得模型后续通过特征向量的形式进行计算及处理，如多重注意力机制计算和解码处理。

103、对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征。

需要说明的是，由于编码模块在对待推送内容信息进行编码处理后，得到稠密的编码特征向量，这一编码过程可能会导致数据信息遗漏，导致后续解码得到的待推送文本与实际需求不匹配。因此，为了避免在对待推送内容信息在生成待推送文本时的信息遗漏，本申请实施例可在解码之前引入多重注意力机制，即通过具有多重注意力机制的端到端目标文本模型，对编码后的各编码特征向量进行多重注意力计算，得到对应的目标注意力特征，以便于后续对各目标注意力特征进行解码，有效避免信息遗漏导致后续待推送文本与实际需求不匹配现象。

在一些实施方式中，为了避免信息遗漏的问题，可通过多重注意力机制对每一特征编码时间的编码特征向量进行计算处理，其中，该注意力计算过程可以按照特征编码时间对应的时间序列关系进行注意力计算处理。则，步骤103“对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征”，可以包括：

(103.1)确定每一编码特征向量对应的特征编码时间，并根据每一特征编码时间确定编码特征向量对应的特征编码时间序列；

(103.2)按照特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量。

其中，该特征编码时间序列可以是有多个特征编码时间按照时间先后顺序所生成的时间序列关系。

具体的，为了避免信息遗漏的现象，本申请实施例在得到多个编码特征向量后，可按照特征编码时间的维度，对每一特征编码时间对应的编码特征向量进行多重注意力机制处理。具体的，在完成对待推送内容信息的特征编码处理后，可确定编码得到的每一编码特征向量对应的特征编码时间，根据各特征编码时间生成多个编码特征向量对应的特征编码时间序列；进而，按照特征编码时间序列关系，分别依序对每一编码特征向量进行多重注意力机制计算，以获取每一特征编码时间对应的目标注意力特征向量。

在一些实施方式中，为了避免模型在特征向量转化过程的信息遗漏现象，所引入的该多重注意力计算过程可以包括硬注意力机制的计算和软注意力机制的计算，通过硬注意力机制和软注意力机制结合，以解决信息遗漏问题。则步骤(103.2)“按照特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量”，可以包括：

(103.2.1)按照特征编码时间序列，对每一特征编码时间的编码特征向量进行硬注意力计算，得到每一特征编码时间对应的硬注意力特征向量。

需要说明的是，该硬注意力机制表示注意力非0即1，用于选取最重要的编码特征向量作为硬注意力特征向量。

为了避免模型在特征向量转化过程的信息遗漏现象，通过硬注意力机制对该每一特征编码时间的编码特征向量进行计算处理，以获取每一特征编码时间对应的硬注意力特征向量。

在一些实施方式中，针对硬注意力机制的计算过程为：针对每一特征编码时间对应的编码特征向量，分别与其他特征特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；从多个特征内积值选取最大的目标特征内积值，并将目标特征内积值对应的编码特征向量作为当前的特征特征编码时间对应的硬注意力特征向量。具体的，针对每一特征编码时间对应的编码特征向量，将其与其他特征编码时间的编码特征向量之间进行内积遍历计算，得到多个特征内积值，进而，从多个特征内积值中选取对应内积值最大的编码特征向量作为当前的特征编码时间的硬注意力特征向量。

(103.2.2)对每一特征编码时间的编码特征向量进行软注意力计算，得到每一特征编码时间对应的软注意力特征向量。

需要说明的是，该软注意力机制主要全面综合多个编码特征向量，以从所有的编码特征向量因素计算出该软注意力特征向量。

为了避免模型在特征向量转化过程的信息遗漏现象，还通过软注意力机制对该每一特征编码时间的编码特征向量进行计算处理，以获取每一特征编码时间对应的硬注意力特征向量。

在一些实施方式中，该软注意力机制的计算过程可以包括：针对每一特征编码时间对应的编码特征向量，分别与其他特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；对每一特征内积值进行归一化处理，得到每一特征编码时间对应的软注意力权重值；将每一特征编码时间的软注意力权重值与对应的编码特征向量进行加权求和处理，得到每一特征编码时间对应的软注意力特征向量。具体的，针对每一特征编码时间对应的编码特征向量，将其与其他特征编码时间的编码特征向量之间进行内积遍历计算，得到多个特征内积值，进而，通过激活函数对每一特征内积值进行归一化处理，得到每一特征内积值对应的软注意力权重值，以作为各个特征编码时间对应的软注意力权重值，从而，针对每一特征编码时间的软注意力权重值，将其与所有特征编码时间的编码特征向量之间进行加权求和，得到每一特征编码时间对应的软注意力特征向量。

(103.2.3)根据每一编码特征向量、软注意力特征向量及硬注意力特征向量，确定每一特征编码时间对应的目标注意力特征向量。

为了确保模型在对待推送内容信息进行编码处理后的信息完整，本申请实施例在得到每一特征编码时间对应的编码特征向量、软注意力特征向量及硬注意力特征向量后，可根据该每一特征编码时间对应的编码特征向量、软注意力特征向量及硬注意力特征向量确定当前特征编码时间的目标注意力特征向量；具体的，可以是对每一特征编码时间对应的编码特征向量、软注意力特征向量及硬注意力特征向量进行融合、加权等处理，以得到每一特征编码时间的目标注意力特征向量。以此，确保模型在对待推送内容信息进行编码处理后的信息完整，以便于后续对该结合软硬注意力计算的特征向量进行解码处理时，提高待推送文本与待推送内容信之间贴合度。

通过以上方式，可在解码之前引入多重注意力机制对编码后的各编码特征向量进行多重注意力计算，有效避免信息以，以便于后续对各目标注意力特征进行解码，有效避免模型在对待推送内容信息进行编码处理后的信息遗漏的现象，提高后续待推送文本与实际需求的匹配度。

104、对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

其中，该待推送文本为经过编码、多重注意力机制、解码等处理后，得到的文本，以便后续将该待推送文本发送/上传到相应的平台或目标地址。例如，以商品标题作为待推送内容信息为例，该待推送文本可以是广告文案，其可上传至相关的广告平台。

具体的，为了获取待推送内容信息对应的待推送文本，本申请实施例在对待推送内容信息进行编码处理和多重注意力计算后，可按照各特征编码时间的先后关系，依序对每一目标注意力特征向量进行解码处理，以获取每一解码时刻的解码字符，从而，将所有解码字符按照解码时序进行拼接或融合，以得到待推送文本。以此，实现通过具有多重注意力机制的端到端目标文本模型对待推送内容信息进行转换表达，自动生成内容贴合的完整待推送文本，有效避免待推送文本出现信息遗漏的现象，使得待推送文本与待推送内容信息之间更贴合，如与待推送文本与产品实际情况之间更贴合。

在一些实施方式中，在通过目标文本模型生成待推送内容信息对应的推送文本后，可对该推送文本进行选择使用或放弃使用。例如，步骤104之后，还可包括：根据预设词性信息对待推送文本进行词信息提取，得到多个目标词信息；根据多个目标词信息，确定待推送文本与待推送内容信息之间语义匹配度；若识别到语义匹配度大于预设匹配阈值，则将待推送文本确定为目标推送文本，并对目标推送文本进行推送。

其中，该预设词性信息可以是预先设定词典，用于对句子、词语、字符等进行划分、提取等。

具体的，为了确保生成的待推送文本更符合用户/平台的需求，本申请实施例在通过目标文本模型生成待推送文本后，可通过预设设定的词性信息对推送文本进行词信息提取处理，得到推送文本对应的多个目标词信息。进而，根据提取的多个目标词信息，对待推送文本与待推送内容信息之间进行语义评估；其中，该语义评估过程可以：提取待推送内容信息对应的多个待转换词信息，对多个目标词信息与多个待转换词信息之间进行词语义匹配，得到目标词信息可匹配数量，从而，计算目标词信息可匹配数量与待转换词信息的数量之间的比值，将该比值确定为语义匹配度。最后，将语义匹配度与预设匹配阈值进行对比，当检测到该语义匹配度大于或等于预设匹配阈值时，说明生成的推送文本与待推送内容信息之间的语义较为匹配，可将该待推送文本确定为目标推送文本，并对目标推送文本进行推送，以提高推送文本的推送效益。

通过以上方式，实现通过具有多重注意力机制的端到端目标文本模型对待推送内容信息进行转换表达，自动生成内容贴合的完整待推送文本，有效避免待推送文本出现信息遗漏的现象，使得待推送文本与待推送内容信息之间更贴合，如与待推送文本与产品实际情况之间更贴合。

由上可知，本申请实施例可以获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。由此可得，本方案可通过文本模型对待推送内容信息进行编码，得到不同编码时刻的编码特征向量，进而，通过多重注意力机制分别对每一时刻的编码特征向量进行多重的注意力计算，以得到每一时刻的注意力计算结果，从而，对每一时刻的注意力计算结果进行解码处理得到待推送文本；以此，摆脱了对文本模板的依赖，实现根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

本申请实施例以数据处理为例，对本申请实施例提供的数据处理方法作进一步叙述。

图3是本申请实施例提供的推送文本生成方法的另一步骤流程示意图，图4是本申请实施例提供的目标文本模型的结构示意图。为了便于理解，本申请实施例结合图3-4进行描述。

在本申请实施例中，将从推送文本生成装置的角度进行描述，该推送文本生成装置具体可以集成在计算机设备如终端或服务器中。例如，该计算机设备上的处理器执行推送文本生成方法对应的程序时，该推送文本生成方法的具体流程如下：

201、获取样本待推送内容信息及样本推送文本。

其中，该样本推送文本可以是上传后的推送文本。例如，以展示各自推送信息的信息平台为例，其可包括历史时间内上传且符合用户需求的推送信息，可以将该平台上的推送信息作为样本推送文本，以及，将每一样本推送文本对应的内容信息原文本作为待推送内容信息。

202、将样本待推送内容信息输入预设文本模型，得到输出的预测推送文本。

为了实现通过模型对待推送的内容信息原文本进行转换，需要对模型进行预先训练，以获取可用于文本信息转换表达的目标文本模型。

在训练过程中，将样本待推送内容信息输入该预设文本模型，以使得预设文本模型中的编码模块依次针对样本待推送内容信息中的每一字符进行逐字的编码处理，实现将每一字符转化为特征向量，每一个字符的转换对应一个特征编码时间(时刻)，得到每一特征编码时间对应的编码特征向量；进而，通过多重注意力机制模块分别对每一特征编码时间对应的编码特征向量进行注意力计算，如进行软注意力计算和硬注意力计算，从而，将软注意力计算特征和硬注意力计算特征结合当前的特征编码向量得到未收敛时的目标注意力特征；最后，对该每一未收敛时的目标注意力特征进行解码处理，得到预测推送文本，该预测推送文本包含按照特征解码时序排列的多个预测字符。

203、确定多个预测字符在预测推送文本中的字符序列关系。

进而，确定预测推送文本中多个预测字符之间的字符序列关系，即每一预测字符的顺序；此外，还需确定样本推送文本中多个样本字符的样本字符序列关系。

204、基于字符序列关系，计算每一预测字符与样本推送文本中对应样本字符之间的交叉熵损失值。

具体的，根据字符序列关系与样本字符序列关系之间的关联性，将每一预测字符与其在样本推送文本中对应的目标样本字符进行交叉熵损失计算，得到交叉熵损失值。

205、根据交叉熵损失值按照梯度下降方式对预设文本模型的模型参数进行更新，直至模型收敛，得到目标文本模型。

具体的，根据该交叉熵损失值对预测文本模型的模型参数进行反向调整，具体可以是按照梯度下降算法方式调整该预设文本模型的网络参数，使得交叉熵损失值消失，使得模型完成迭代收敛，得到训练收敛的目标文本模型。

206、获取待推送内容信息，并将待推送内容信息输入目标文本模型。

其中，该待推送内容信息可以是需要推送的原文内容信息。待推送内容信息具体可以是实物的相关介绍文本，例如，具体可以是某产品的说明书、标题等相关信息；此外，待推送内容信息还可以是文章的内容信息，如文章(不限于包括新闻、书籍)的正文信息、标题等。

例如，通过数据通道/接口获取相关平台发送的请求上传推送的内容信息，又如，接收用户终端请求推送的内容信息。进而，将该待推送内容信息输入目标文本模型，以进行信息转换表达。

207、通过目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量。

其中，该特征编码时间可以是目标文本模型在对待推送内容信息中每一字符进行编码时的时间或时刻。

其中，该编码特征向量可以是一个字符经过特征编码转化后的特征向量，即每一个编码特征向量与待推送内容信息中的一个目标字符相对应。

具体的，为了对待推送内容信息中的每一字符进行准确编码处理，本申请实施例在对每一字符进行编码处理时，首先需要对待推送内容信息中的所有字符进行单个拆解处理，以得到待推送内容信息对应的多个待编码文本字符；进而，确定待推送内容信息中多个待编码文本字符之间的字符序列关系；最后，结合字符序列关系，使得目标文本模型中的编码模块在每一编码时刻仅按照字符序列关系对待推送内容信息中的一个字符进行编码处理，得到每一特征编码时间对应的编码特征向量。

208、确定每一编码特征向量对应的特征编码时间，并根据每一特征编码时间确定编码特征向量对应的特征编码时间序列。

其中，该特征编码时间序列可以是有多个特征编码时间按照时间先后顺序所生成的时间序列关系。

为了后续能够按照特征编码时间的维度对每一特征编码时间对应的编码特征向量进行多重注意力机制处理，可确定编码得到的每一编码特征向量对应的特征编码时间，根据各特征编码时间生成多个编码特征向量对应的特征编码时间序列。

209、按照特征编码时间序列，对每一特征编码时间的编码特征向量进行硬注意力计算，得到每一特征编码时间对应的硬注意力特征向量。

具体的，为了避免模型在特征向量转化过程的信息遗漏现象，通过硬注意力机制对该每一特征编码时间的编码特征向量进行计算处理，以选取最重要的编码特征向量作为硬注意力特征向量。具体的，针对每一特征编码时间对应的编码特征向量，将其与其他特征编码时间的编码特征向量之间进行内积遍历计算，得到多个特征内积值，进而，从多个特征内积值中选取对应内积值最大的编码特征向量作为当前的特征编码时间的硬注意力特征向量。

210、对每一特征编码时间的编码特征向量进行软注意力计算，得到每一特征编码时间对应的软注意力特征向量。

为了避免模型在特征向量转化过程的信息遗漏现象，还通过软注意力机制对该每一特征编码时间的编码特征向量进行计算处理，以综合考虑所有的编码特征向量因素计算出该软注意力特征向量。具体的，针对每一特征编码时间对应的编码特征向量，将其与其他特征编码时间的编码特征向量之间进行内积遍历计算，得到多个特征内积值，进而，通过激活函数对每一特征内积值进行归一化处理，得到每一特征内积值对应的软注意力权重值，以作为各个特征编码时间对应的软注意力权重值，从而，针对每一特征编码时间的软注意力权重值，将其与所有特征编码时间的编码特征向量之间进行加权求和，得到每一特征编码时间对应的软注意力特征向量。

211、根据每一编码特征向量、软注意力特征向量及硬注意力特征向量，确定每一特征编码时间对应的目标注意力特征向量。

具体的，可以是对每一特征编码时间对应的编码特征向量、软注意力特征向量及硬注意力特征向量进行融合、加权等处理，以得到每一特征编码时间的目标注意力特征向量。

212、对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

具体的，可按照各特征编码时间的先后关系，依序对每一目标注意力特征向量进行解码处理，以获取每一解码时刻的解码字符，从而，将所有解码字符按照解码时序进行拼接或融合，以得到待推送文本。

进一步的，为了确保生成的待推送文本更符合用户/平台的需求，本申请实施例在通过目标文本模型生成待推送文本后，可通过预设设定的词性信息对推送文本进行词信息提取处理，得到推送文本对应的多个目标词信息。进而，根据提取的多个目标词信息，对待推送文本与待推送内容信息之间进行语义评估；其中，该语义评估过程可以：提取待推送内容信息对应的多个待转换词信息，对多个目标词信息与多个待转换词信息之间进行词语义匹配，得到目标词信息可匹配数量，从而，计算目标词信息可匹配数量与待转换词信息的数量之间的比值，将该比值确定为语义匹配度。最后，将语义匹配度与预设匹配阈值进行对比，当检测到该语义匹配度大于或等于预设匹配阈值时，说明生成的推送文本与待推送内容信息之间的语义较为匹配，可将该待推送文本确定为目标推送文本，并对目标推送文本进行推送，以提高推送文本的推送效益。

为了便于对本申请实施例的理解，将以具体的应用场景实例对本申请实施例进行描述。具体的，通过执行以上步骤201-212，以及结合图4，对该应用场景实例进行描述。

本申请实施例的应用场景实例可适用于产品信息推送平台的推送文本生成场景。为了便于理解，本申请实施例将分别对以上场景进行叙述，具体如下：

一、该推送文本生成过程可涉及到相关的目标文本模型，该目标文本模型用于将产品相关的原文信息(待推送内容信息)转换生成待推送文本，其中，相关的原文信息不限于包括正文、标题等。

参见图4所示，该目标文本模型可不限于包括编码器(编码模块)、多重注意力机制(注意力模块)、解码器(解码模块)。需要说明的是，编码器和解码器都是采用基于LSTM长短期循环神经网络的子结构，LSTM长短期循环网络通过门控单元可以有效缓解传统循环神经网络长距离依赖问题。

为了获取目标文本模型，需要对相应的预设文本模型进行离线训练。该训练过程可以为：(1)数据收集:收集广告平台的历史广告数据，包括广告文案以及对应的商品标题，作为训练数据集。(2)训练过程：将商品标题作为输入，对应广告文案作为对应标注。计算解码器每一个时刻的输出和对应标注之间的交叉熵损失，通过梯度下降算法进行模型参数更新。(3)等到模型收敛之后，保存编码器和解码器到本地，留作后续推断使用。

二、推送文本生成场景示例的过程

(1)编码处理过程：加载训练过程中存储的编码器，将产品相关信息(如标题)输入编码器(encoder-LSTM1)，通过encoder-LSTM1对商品标题进行特征抽取，生成稠密的特征向量。

(2)多重注意力机制处理过程：由于编码器把产品相关信息压缩成一个稠密向量表示，这个过程中会存在极大的信息遗漏，因而，引入多重注意力机制，具体包括硬注意力机制和软注意力机制。

(2.1)针对硬注意力机制，顾名思义注意力非0即1，从encoder的输出向量中选取最重要的那个作为硬注意力输入。具体流程：在解码过程中，使用前一时刻的输出向量，和encoder所有时刻的特征输出计算内积，选取对应内积最大的encoder的特征输出作为解码器该时刻的硬注意力输入。

(2.2)针对软注意力机制，在解码过程中，使用前一时刻的输出向量，和encoder所有时刻的特征输出计算内积，通过softmax函数进行归一化作为encoder各个时刻的注意力权重，通过加权求和的方式，生成解码器该时刻的软注意力输入。

(2.3)通过软硬注意力结合的多种注意力机制生成目标注意力特征向量，以便综合全面的注意力特征在后续解码处理过程中促进推送文案中相邻字符之间关联感知性，有效避免信息缺漏的同时，达到贴合产品相关信息以及语义平滑的推送文本。

(3)解码处理过程：加载训练过程中存储的解码器，将目标注意力特征向量输入解码器(decoder-LSTM2)，通过解码器(decoder-LSTM2)对目标注意力特征向量进行解码，按时间序列逐字生成产品的推送文案/文本。需要说明的是，解码阶段采用贪心搜索进行逐字解码，即每一时刻只选取概率最大的字符作为生成结果。

通过以上应用场景实例，可实现自动化生成产品相关内容信息对应的推送文本，且软硬注意力结合的多重注意力机制可以有效解决输入信息遗漏的问题，更加贴合产品相关信息的进行推送文案生成。

由以上可知，本申请实施例可获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。由此可得，本方案可通过文本模型对待推送内容信息进行编码，得到不同编码时刻的编码特征向量，进而，通过多重注意力机制分别对每一时刻的编码特征向量进行多重的注意力计算，以得到每一时刻的注意力计算结果，从而，对每一时刻的注意力计算结果进行解码处理得到待推送文本；以此，摆脱了对文本模板的依赖，实现根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

为了更好地实施以上方法，本申请实施例还提供一种推送文本生成装置。例如，如图5所示，该推送文本生成装置可以包括获取单元401、编码单元402、计算单元403和解码单元404。

获取单元401，用于获取待推送内容信息；

编码单元402，用于将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；

计算单元403，用于对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；

解码单元404，用于对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

在一些实施方式中，编码单元402，还用于：通过目标文本模型中的编码模块对待推送内容信息进行文本字符拆解处理，得到多个待编码文本字符；确定每一待编码文本字符在待推送内容信息中的字符序列关系；按照字符序列关系，依序对每一待编码文本字符进行编码处理，得到每一特征编码时间对应的编码特征向量。

在一些实施方式中，计算单元403，还用于：确定每一编码特征向量对应的特征编码时间，并根据每一特征编码时间确定编码特征向量对应的特征编码时间序列；按照特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量。

在一些实施方式中，计算单元403，还用于：按照特征编码时间序列，对每一特征编码时间的编码特征向量进行硬注意力计算，得到每一特征编码时间对应的硬注意力特征向量；对每一特征编码时间的编码特征向量进行软注意力计算，得到每一特征编码时间对应的软注意力特征向量；根据每一编码特征向量、软注意力特征向量及硬注意力特征向量，确定每一特征编码时间对应的目标注意力特征向量。

在一些实施方式中，计算单元403，还用于：针对每一特征编码时间对应的编码特征向量，分别与其他特征特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；从多个特征内积值选取最大的目标特征内积值，并将目标特征内积值对应的编码特征向量作为当前的特征特征编码时间对应的硬注意力特征向量。

在一些实施方式中，计算单元403，还用于：针对每一特征编码时间对应的编码特征向量，分别与其他特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；对每一特征内积值进行归一化处理，得到每一特征编码时间对应的软注意力权重值；将每一特征编码时间的软注意力权重值与对应的编码特征向量进行加权求和处理，得到每一特征编码时间对应的软注意力特征向量。

在一些实施方式中，推送文本生成装置还包括训练单元，用于：获取样本待推送内容信息及样本推送文本；将样本待推送内容信息输入预设文本模型，得到输出的预测推送文本，预测推送文本包含按照特征解码时序排列的多个预测字符；确定多个预测字符在预测推送文本中的字符序列关系；基于字符序列关系，计算每一预测字符与样本推送文本中对应样本字符之间的交叉熵损失值；根据交叉熵损失值按照梯度下降方式对预设文本模型的模型参数进行更新，直至模型收敛，得到目标文本模型。

在一些实施方式中，推送文本生成装置还包括推送单元，用于：根据预设词性信息对待推送文本进行词信息提取，得到多个目标词信息；根据多个目标词信息，确定待推送文本与待推送内容信息之间语义匹配度；若识别到语义匹配度大于预设匹配阈值，则将待推送文本确定为目标推送文本，并对目标推送文本进行推送。

由以上可知，本申请实施例可以通过获取单元401获取待推送内容信息；通过编码单元402将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；通过计算单元403对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；通过解码单元404对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。由此可得，本方案可通过文本模型对待推送内容信息进行编码，得到不同编码时刻的编码特征向量，进而，通过多重注意力机制分别对每一时刻的编码特征向量进行多重的注意力计算，以得到每一时刻的注意力计算结果，从而，对每一时刻的注意力计算结果进行解码处理得到待推送文本；以此，摆脱了对文本模板的依赖，实现根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

本申请实施例还提供一种计算机设备，如图6所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及推送文本生成。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

计算机设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，计算机设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由此可得，本方案可通过文本模型对待推送内容信息进行编码，得到不同编码时刻的编码特征向量，进而，通过多重注意力机制分别对每一时刻的编码特征向量进行多重的注意力计算，以得到每一时刻的注意力计算结果，从而，对每一时刻的注意力计算结果进行解码处理得到待推送文本；以此，摆脱了对文本模板的依赖，实现根据完整的待推送内容信息自动生成内容贴合的待推送文本，有效避免待推送文本出现内容信息遗漏的现象，使得待推送文本与产品之间更贴合，提高推送效益。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种推送文本生成方法中的步骤。例如，该指令可以执行如下步骤：

获取待推送内容信息；将待推送内容信息输入目标文本模型，使得目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；对每一目标注意力特征进行解码处理，得到目标文本模型输出的待推送文本。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种数据处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。

以上对本申请实施例所提供的一种推送文本生成方法、装置以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种推送文本生成方法，其特征在于，包括：

获取待推送内容信息；

将所述待推送内容信息输入目标文本模型，使得所述目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；

对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；

对每一目标注意力特征进行解码处理，得到所述目标文本模型输出的待推送文本。

2.根据权利要求1所述的方法，其特征在于，所述目标文本模型包含编码模块，所述使得所述目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量，包括：

通过所述目标文本模型中的编码模块对所述待推送内容信息进行文本字符拆解处理，得到多个待编码文本字符；

确定每一待编码文本字符在所述待推送内容信息中的字符序列关系；

按照所述字符序列关系，依序对所述每一待编码文本字符进行编码处理，得到每一特征编码时间对应的编码特征向量。

3.根据权利要求1所述的方法，其特征在于，所述对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征，包括：

确定每一编码特征向量对应的特征编码时间，并根据每一特征编码时间确定所述编码特征向量对应的特征编码时间序列；

按照所述特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量。

4.根据权利要求3所述的方法，其特征在于，所述按照所述特征编码时间序列，对每一编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征向量，包括：

按照所述特征编码时间序列，对每一特征编码时间的编码特征向量进行硬注意力计算，得到所述每一特征编码时间对应的硬注意力特征向量；

对每一特征编码时间的编码特征向量进行软注意力计算，得到所述每一特征编码时间对应的软注意力特征向量；

根据所述每一编码特征向量、软注意力特征向量及硬注意力特征向量，确定每一特征编码时间对应的目标注意力特征向量。

5.根据权利要求4所述的方法，其特征在于，所述对每一特征编码时间的编码特征向量进行硬注意力计算，得到所述每一特征编码时间对应的硬注意力特征向量，包括：

针对每一特征编码时间对应的编码特征向量，分别与其他特征特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；

从所述多个特征内积值选取最大的目标特征内积值，并将所述目标特征内积值对应的编码特征向量作为当前的特征特征编码时间对应的硬注意力特征向量。

6.根据权利要求4所述的方法，其特征在于，所述对每一特征编码时间的编码特征向量进行软注意力计算，得到所述每一特征编码时间对应的软注意力特征向量，包括：

针对每一特征编码时间对应的编码特征向量，分别与其他特征编码时间对应的编码特征向量进行内积计算，得到多个特征内积值；

对每一特征内积值进行归一化处理，得到每一特征编码时间对应的软注意力权重值；

将每一特征编码时间的软注意力权重值与对应的编码特征向量进行加权求和处理，得到所述每一特征编码时间对应的软注意力特征向量。

7.根据权利要求1所述的方法，其特征在于，所述将所述待推送内容信息输入目标文本模型之前，还包括：

获取样本待推送内容信息及样本推送文本；

将所述样本待推送内容信息输入预设文本模型，得到输出的预测推送文本，所述预测推送文本包含按照特征解码时序排列的多个预测字符；

确定所述多个预测字符在所述预测推送文本中的字符序列关系；

基于所述字符序列关系，计算每一预测字符与所述样本推送文本中对应样本字符之间的交叉熵损失值；

根据所述交叉熵损失值按照梯度下降方式对所述预设文本模型的模型参数进行更新，直至模型收敛，得到目标文本模型。

8.根据权利要求1所述的方法，其特征在于，所述对每一目标注意力特征进行解码处理，得到所述目标文本模型输出的待推送文本之后，还包括：

根据预设词性信息对所述待推送文本进行词信息提取，得到多个目标词信息；

根据所述多个目标词信息，确定所述待推送文本与所述待推送内容信息之间语义匹配度；

若识别到所述语义匹配度大于预设匹配阈值，则将所述待推送文本确定为目标推送文本，并对所述目标推送文本进行推送。

9.一种推送文本生成装置，其特征在于，包括：

获取单元，用于获取待推送内容信息；

编码单元，用于将所述待推送内容信息输入目标文本模型，使得所述目标文本模型基于每一特征编码时间提取待推送内容信息对应的编码特征向量；

计算单元，用于对每一特征编码时间的编码特征向量进行多重注意力计算，得到每一特征编码时间对应的目标注意力特征；

解码单元，用于对每一目标注意力特征进行解码处理，得到所述目标文本模型输出的待推送文本。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的推送文本生成方法中的步骤。

Images