CN111444695A - 基于人工智能的文本生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于人工智能的文本生成方法、装置、设备及存储介质，该方法包括：在获取到待生成文本的模板信息之后，可以先根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，并根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，以便将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。其中，因强文本生成模型能够基于各符号位置的格式信息，准确地确定出各符号位置的符号概率，使得本申请能够借助实现按照任一模板格式要求生成强模板文本的目的。

Description

基于人工智能的文本生成方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的文本生成方法、装置、设备及存储介质。

背景技术

在一些应用场景(例如，对给定歌谱进行填词、或者对给定词牌名进行填词等应用场景)下，需要生成具有强模板的文本(例如，诗歌等文本)。其中，具有强模板的文本(下文简称为，强模板文本)是指表述所使用的模板格式比较固定的文本。为了便于理解具有强模板的文本，下面以具有强模板的五言绝句为例进行说明。

五言绝句是中国传统诗歌的一种体裁，简称五绝；而且，五言绝句的格律(也就是模板格式)主要包括以下三种要求：①篇幅固定。全篇只有四句，每句五字，总共二十字。②押韵严格。一般只押平声韵且不能出韵，也就是说不可押仄韵且韵脚必须用同一韵中的字，不得用邻韵的字。③讲究平仄。具有“平平仄仄平”“仄仄平平仄”“平平平仄仄”“仄仄仄平平”四种基本句型，并由这四种句型按照粘对规则组合成“仄起首句不入韵”“仄起首句入韵”“平起首句不入韵”“平起首句入韵”四种基本格式。例如，对于王之涣的《登鹳雀楼》来说，因“白日依山尽，黄河入海流。欲穷千里目，更上一层楼。”的韵律为“仄仄平平仄，平平仄仄平。平平平仄仄，仄仄仄平平。”，使得王之涣的《登鹳雀楼》属于仄起首句不入韵式的格律。可见，五言绝句的模板格式比较固定，使得五言绝句属于具有强模板的文本。

然而，如何按照用户提供的模板格式要求，生成符合该模板格式要求的文本仍是一亟待解决的技术问题。

发明内容

本申请实施例提供了一种基于人工智能的文本生成方法、装置、设备及存储介质，能够按照用户提供的模板格式，生成符合该模板格式的文本。

有鉴于此，本申请第一方面提供了一种基于人工智能的文本生成方法，包括：

获取待生成文本的模板信息；

根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

本申请第二方面提供了一种基于人工智能的文本生成装置，包括：

获取单元，用于获取待生成文本的模板信息；

提取单元，用于根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

生成单元，用于根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

确定单元，用于根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

处理单元，用于将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行上述第一方面所述的基于人工智能的文本生成方法。

本申请第四方面提供了计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的基于人工智能的文本生成方法。

本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的基于人工智能的文本生成方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供的基于人工智能的文本生成方法中，在获取到待生成文本的模板信息之后，可以先根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，并根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，以便将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

其中，因预先构建的强文本生成模型能够基于待生成文本中各符号位置的格式信息，准确地确定出待生成文本中各符号位置的符号概率，使得后续可以基于符号概率能够准确地确定出待生成文本中各符号位置的符号；还因用户提供的模板格式都可以细化到待生成文本中每个符号应该具有的格式信息，使得在获取到待生成文本的模板信息之后，可以先基于该模板信息准确地确定出待生成文本中各符号位置的格式信息，再利用预先构建的强文本生成模型准确地确定出待生成文本中各符号位置的符号概率，如此能够基于符号概率准确地确定出待生成文本中各符号位置的符号。可见，如此能够实现了按照用户提供的任一模板格式，生成符合该模板格式的文本的目的。

附图说明

图1为本申请实施例提供的基于人工智能的文本生成方法的一种应用场景示意图；

图2为本申请实施例提供的基于人工智能的文本生成方法的另一种应用场景示意图；

图3为本申请实施例提供的一种基于人工智能的文本生成方法的流程示意图；

图4为本申请实施例提供的模板信息的示意图；

图5为本申请实施例提供的待补全文本的示意图；

图6为本申请实施例提供的基于人工智能的文本生成方法的另一种实施方式的流程示意图；

图7为本申请实施例提供的强文本生成模型的训练过程的流程示意图；

图8为本申请实施例提供的包括两层注意力层的强文本生成模型的训练示意图；

图9为本申请实施例提供的应用于图1所示场景下的基于人工智能的文本生成方法的流程图；

图10为本申请实施例提供的强模板文本生成指令的触发方式示意图；

图11为本申请实施例提供的生成的强模板文本的显示示意图；

图12为本申请实施例提供的一种基于人工智能的文本生成装置的结构示意图；

图13为本申请实施例提供的另一种基于人工智能的文本生成装置的结构示意图；

图14为本申请实施例提供的一种终端设备的结构示意图；

图15为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，可以利用训练文本以及训练文本的模板名称(例如，五言绝句等模板名称)训练文本生成模型，使得训练好的文本生成模型能够基于用户提供的模板名称生成符合该模板的文本。例如，若利用五言绝句、五言律诗和七言绝句这三种模板名称训练文本生成模型，则训练好的文本生成模型只能生成符合五言绝句、五言律诗和七言绝句模板格式的文本。

可见，在上述相关技术中，训练好的文本生成模型只能生成那些符合训练时定义好的固定模板(也就是，训练时涉及到的模板名称对应的模板)的文本，无法根据用户提供的自创模板(例如，自创模板为“5,5,7,5,5,5,7,5”，且“5”或“7”均是指分句中的字数)，生成符合该自创模板的文本。

针对上述相关技术中的文本生成过程存在的技术问题，本申请实施例提供了一种基于人工智能的文本生成方法，能够按照用户提供的任一模板格式要求(例如，自创模板格式等)，生成符合该模板格式要求的文本。

在本申请实施例中，基于人工智能的文本生成方法是一种文本处理技术，且文本处理技术是一种常用的自然语言处理(Nature Language processing,NLP)技术。其中，自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

可见，作为一种自然语言处理技术的机器翻译，也属于人工智能(ArtificialIntelligence,AI)的一种。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

基于上述内容可知，本申请实施例提供的基于人工智能的文本生成方法，涉及人工智能的自然语言处理技术，尤其涉及自然语言处理技术中的文本处理技术。

另外，在本申请实施例提供的基于人工智能的文本生成方法，具体可以为包括：先获取待生成文本的模板信息，并根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，并根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，以便将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

可见，因预先构建的强文本生成模型能够基于待生成文本中各符号位置的格式信息，准确地确定出待生成文本中各符号位置的符号概率，使得基于符号概率能够准确地确定出待生成文本中各符号位置的符号。还因用户提供的模板格式都可以细化到待生成文本中每个符号应该具有的格式信息，使得在获取到待生成文本的模板信息之后，可以先基于该模板信息准确地确定出待生成文本中各符号位置的格式信息，再利用预先构建的强文本生成模型准确地确定出待生成文本中各符号位置的符号概率，如此便能够基于符号概率准确地确定出待生成文本中各符号位置的符号。如此实现了按照用户提供的任一模板格式(例如，自创模板等)，生成符合该模板格式的文本的目的。

应理解，本申请实施例提供的基于人工智能的文本生成方法可以应用于数据处理设备，如终端设备、服务器等；其中，终端设备具体可以为智能手机、计算机、个人数字助理(Personal Digital Assitant，PDA)、平板电脑等；服务器具体可以为应用服务器，也可以为Web服务器，在实际部署时，该服务器可以为独立服务器，也可以为集群服务器。

若本申请实施例提供的基于人工智能的文本生成方法由终端设备执行时，则终端设备可以直接根据用户输入的待生成文本的模板信息生成符合该模板信息的待生成文本，以供用户查看。若本申请实施例提供的基于人工智能的文本生成方法由服务器执行时，则服务器先根据终端设备上传的待生成文本的模板信息，生成符合该模板信息的待生成文本；再将生成的待生成文本发送给终端设备，以便终端设备将接收的待生成文本进行显示，以供用户查看。

为了便于理解本申请实施例提供的技术方案，下面对本申请实施例提供的基于人工智能的文本生成方法应用于终端设备为例，对本申请实施例提供的基于人工智能的文本生成方法适用的应用场景进行示例性介绍。

参见图1，图1为本申请实施例提供的基于人工智能的文本生成方法的应用场景示意图。如图1所示，该应用场景包括：终端设备101和用户102；其中，终端设备101用于执行本申请实施例提供的基于人工智能的文本生成方法，生成符合用户提供的模板信息的文本，以供用户102查看。

终端设备101在接收到用户102触发的强模板文本生成指令之后，终端设备101可以先获取待生成文本的模板信息，并根据该待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，并将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本，以便终端设备101将待生成文本显示给用户102。

应理解，在实际应用中，也可以将本申请实施例提供的基于人工智能的文本生成方法应用于服务器，参见图2，该图为本申请实施例提供的基于人工智能的文本生成方法的另一种应用场景示意图。如图2所示，服务器201能够在接收到终端设备202发送的强模板文本生成请求之后，先获取待生成文本的模板信息，并根据该待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，并将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本，以便服务器201可以将得到的待生成文本反馈给终端设备202，使得用户203能够在终端设备202上查看待生成文本。

应理解，图1和图2所示的应用场景仅为示例，在实际应用中，本申请实施例提供的基于人工智能的文本生成方法还可以应用于其他进行强模板文本生成的应用场景，在此不对本申请实施例提供的基于人工智能的文本生成方法做任何限定。

下面通过实施例对本申请提供的基于人工智能的文本生成方法进行介绍。

方法实施例一

参见图3，图3为本申请实施例提供的一种基于人工智能的文本生成方法的流程示意图。为了便于描述，下述实施例仅以终端设备为执行主体为例对该基于人工智能的文本生成方法进行介绍。如图3所示，该基于人工智能的文本生成方法包括S301-S305：

S301：获取待生成文本的模板信息。

待生成文本是指需要通过执行本申请实施例提供的基于人工智能的文本生成方法生成的文本。

模板信息用于表征待生成文本的模板格式要求；而且，本申请实施例不限定模板信息，例如，模板信息可以包括“五言绝句”等固定模板的模板名称；也可以包括词牌名(例如，鹧鸪天、卜算子等词牌名)；也可以包括文本结构(例如，“7,7,7,7,3,3,7,7,7”等结构，“7”和“3”均是指分句中的字数)；还可以包括文本韵律等。

另外，本申请实施例不限定模板信息的获取方式。例如，当利用终端设备执行本申请实施例提供的基于人工智能的文本生成方法时，模板信息可以是用户在终端设备上输入的模板信息。

基于上述内容可知，本申请实施例中，当用户想要使用终端设备生成具有目标模板的文本时，用户可以在终端设备上输入目标模板的模板信息(如图4所示的各示例中的输入)，以使得终端设备能够获取到目标模板的模板信息，并基于该模板信息生成符合目标模板的文本(如图4所示的各示例中的输出)。

S302：根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息。

符号是待生成文本的组成单元；而且待生成文本中的符号通常包括语言符号(例如，汉字或英文单词等)、标点符号(例如，“，”、“；”、“。”等)、分句结束符号、和文本结束符号。例如，当待生成文本为“白日依山尽，黄河入海流。”时，“白”、“日”、“依”、“山”、“尽”、“黄”、“河”、“入”、“海”和“流”均是语言符号；“，”和“。”均是标点符号；分句“白日依山尽，”和分句“黄河入海流。”之后均应该设置一个分句结束符号，来表征该分句结束；文本“白日依山尽，黄河入海流。”之后应该设置一个文本结束符号，来表征该文本结束。

符号位置是指符号在待生成文本中所处位置。例如，当待生成文本为“白日依山尽，黄河入海流。”时，该待生成文本包括15个符号位置，也就是，10个语言符号所处的符号位置、2个标点符号所处的符号位置、2个分句结束符号所处的符号位置、1个文本结束符号所处的符号位置。

格式信息用于表征一个符号在待生成文本中所具有的模板格式要求；而且，符号位置的格式信息是指位于该符号位置上的符号所具有的模板格式要求。

在一种可能的实施方式中，格式信息包括第一格式标识、第二格式标识和第三格式标识中的至少一种；第一格式标识用于表征符号类型及韵律信息；第二格式标识用于表征分句内部位置信息；第三格式标识用于表征分句位置信息。其中，符号类型是指符号所属类型，而且符号类型包括语言符号、标点符号、分句结束符号、和文本结束符号这四种。分句内部位置信息是指符号在该符号所属分句所处的位置。分句位置信息是指符号所属分句在待生成文本中所处位置。需要说明的是，在本申请实施例中，格式信息可以还包括第四标识，第四标识用于表征全文位置信息。为了便于理解和解释，下面结合示例进行说明。

作为示例，当待生成文本为“love is not love，bends with the remover toremove”时，则该待生成文本中各符号的标识集合如下：

(1)待生成文本中各符号的符号类型及韵律信息集合，也就是第一标识集合C＝{c₀,c₀,c₀,c₂,c₁,</s>c₀,c₀,c₀,c₀,c₀,c₂,c₁,</s>,<eos>}，其中，c₀为非韵脚语言符号的第一标识，c₂为韵脚语言符号的第一标识，c₁为标点符号的第一标识，</s>为分句结束符号的第一标识，<eos>为文本结束符号的第一标识。

(2)待生成文本中各符号的分句内部位置信息集合，也就是第二标识集合P＝{p₄,p₃,p₂,p₁,p₀,</s>p₆,p₅,p₄,p₃,p₂,p₁,p₀,</s>,<eos>}，其中，p_J-j为位于包括J个符号的分句中的第j个位置上的符号的第二标识，而且，在分句中各个符号的第二标识按照倒叙排列，</s>为分句结束符号的第二标识，<eos>为文本结束符号的第二标识。j为正整数。

(3)待生成文本中各符号的分句位置信息集合，也就是第三标识集合S＝{s₀,s₀,s₀,s₀,s₀,</s>s₀,s₀,s₀,s₀,s₀,s₀,s₀,</s>,<eos>}，其中，s_r-1为位于待生成文本中第r个分句中各个符号的第三标识，</s>为分句结束符号的第三标识，<eos>为文本结束符号的第三标识。r为正整数。

(4)待生成文本中各符号的全文位置信息集合，也就是第四标识集合G＝{g₀,g₁,g₂,g₃,g₄,g₅,g₆,g₇,g₈,g₉,g₁₀,g₁₁,g₁₂,g₁₃,g₁₄}，其中，g_x-1为位于待生成文本中第x个位置处的符号的第四标识。x为正整数。

基于上述内容可知，本申请实施例中，在获取到模板信息之后，可以从模板信息中提取待生成文本中各个符号应该满足的模板格式要求，分别作为待生成文本中各符号位置的格式信息，以便后续能够基于待生成文本中各符号位置的格式信息，确定待生成文本中位于各符号位置的字符。

S303：根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。

在本申请实施例中，强文本生成模型可以用于根据模板信息，生成符合该模板信息的文本；而且强文本生成模型是基于训练文本以及训练文本中各符号的格式信息训练得到的。另外，本申请实施例还提供了一种强文本生成模型的具体实施方式，请参见下文。

符号概率用于表征在符号位置上使用符号的可能性。例如，待生成文本中第j个符号位置的符号概率集合可以为pro_j＝{P_S1,P_S2,…,P_SN}，pro_j表示第j个符号位置的符号概率，P_Sy表示在第j个符号位置上的符号是第y个备选符号Sy的概率值，y为正整数，且y≤N，N表示备选符号总数。需要说明的是，本申请实施例不限定备选符号的获取方式，例如备选符号可以从一个预设词典中获取。

另外，本申请实施例还提供了一种S303的实施方式，具体为：根据待生成文本中各符号位置的格式信息，生成待生成文本中各符号位置的格式特征；将待生成文本中各符号位置的格式特征，输入强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。

可见，在本申请实施例中，在获取到待生成文本中各符号位置的格式信息之后，可以先对待生成文本中各符号位置的格式信息进行特征提取，得到待生成文本中各符号位置的格式特征，再将待生成文本中各符号位置的格式特征输入强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。其中，因各符号位置的格式特征能够准确地表征各符号位置的格式信息，使得强文本生成模型能够基于该格式特征，能够准确地输出待生成文本中各符号位置的符号概率，如此提高了符号概率的准确性。

需要说明的是，本申请实施例不限定符号位置的格式特征的获取方式，可以采用任一种能够从信息中提取特征的方式进行实施。

基于上述内容可知，在本申请实施例中，在获取到待生成文本中各符号位置的格式信息之后，可以直接根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到待生成文本中各符号位置的符号概率，以便后续能够基于该符号概率确定位于各个符号位置上的符号。

S304：根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号。

本申请实施例还提供了一种S304的具体实施方式，具体包括S3041-S3043：

S3041：将待生成文本中各符号位置的符号概率进行校验，得到待生成文本中各符号位置的校验符号概率。

本申请不限定校验规则，而且校验规则可以预先设定。例如，校验规则具体可以包括以下至少一种规则：

规则1：将值低于预设阈值的符号概率，重新赋值为0。如此能够保证符号概率值低于预设阈值的备选符号，不会参与待生成文本中符号的确定过程。其中，预设阈值可以预先设定，例如，预设阈值为0.005。

规则2：若第j个符号位置是韵脚所在位置，则针对第j个符号位置的所有符号概率，保留符合此处韵脚韵律的各备选符号的符号概率，并将不符合此处韵脚韵律的各备选符号的符号概率置零。如此能够保证不符合此处韵脚韵律的所有备选符号，不参与第j个符号位置的符号确定过程，j为正整数，且j≤M，M表示待生成文本中的符号位置总数。

规则3：将对应备选符号满足预设置零条件的符号概率置零，而且预设置零条件可以指符合敏感要求和噪音要求等符号。也就是，将敏感词和噪音词等备选符号对应的符号概率直接置零，以便保证这些敏感词和噪音词等备选符号，不会参与待生成文本中符号的确定过程，如此能够有效地避免待生成文本中出现这些敏感词和噪音词。

基于上述内容可知，本申请实施例中，在获取到待生成文本中符号位置的符号概率之后，可以先利用预设校验规则，对待生成文本中符号位置的符号概率进行校验，得到待生成文本中各符号位置的校验符号概率，以便后续能够基于该校验符号概率，确定位于各符号位置上的符号。其中，因在符号概率的校验过程中已将能够影响符号准确性的备选符号的符号概率置零，使得这些置零的备选符号不会参与待生成文本中符号的确定过程，如此能够有效地避免这些置零的备选符号对符号准确性所产生的不良影响。

S3042：根据待生成文本中各符号位置的校验符号概率，确定待生成文本中各符号位置对应的候选符号。

本申请实施例中，在获取到待生成文本中各符号位置的校验符号概率之后，可以基于第j个符号位置的校验符号概率，确定第j个符号位置对应的候选符号，其具体可以为：在第j个符号位置的校验符号概率集合中，将值最大的K个校验符号概率对应的备选符号，确定为第j个符号位置对应的K个候选符号，j为正整数，且j≤M，M表示待生成文本中的符号位置总数。

也就是，对于每个符号位置来说，可以利用排序最靠前的K个校验符号概率对应的备选符号，确定为该符号位置的K个候选符号，使得后续可以基于每个符号位置对应的K个候选符号，综合确定待生成文本中各符号位置的符号，如此能够有效地避免因随机因素导致地文本中存在自造词以及不连贯的问题，如此有利于提高待生成文本的文本质量。

S3043：根据待生成文本中各符号位置对应的候选符号，确定待生成文本中各符号位置的符号。

本申请实施例中，在获取到待生成文本中各符号位置对应的候选符号之后，在确定每个符号位置的符号时，不仅可以参考该符号位置自身对应的候选符号，还可以参考其他符号位置对应的候选符号，以便使得确定的待生成文本中各符号位置的符号更恰当可信。

基于上述S3041至S3043的相关内容可知，本申请实施例中，在获取到待生成文本中符号位置的符号概率之后，可以先对该符号概率进行校验，再基于校验后的符号概率确定每个符号位置对应的候选符号，以便后续可以参考各符号位置对应的候选符号，来综合确定各符号位置的符号，以使得最终确定的各符号位置的符号更恰当可信，如此使得由这些符号组合成的待生成文本更连贯、更符合用词规则，如此有利于提高待生成文本的文本质量。

S305：将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

符号位置排序是指符号在待生成文本中的位置排列顺序。

本申请实施例中，在确定出待生成文本中各符号位置的符号之后，可以将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本，使得待生成文本能够符合模板信息，如此实现了基于模板信息，生成符合该模板信息的强模板文本的目的。

基于上述S301至S305的相关内容可知，本申请实施例中，在获取到待生成文本的模板信息之后，可以先根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，并根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，以便将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

其中，因预先构建的强文本生成模型能够基于待生成文本中各符号位置的格式信息，准确地确定出待生成文本中各符号位置的符号概率，使得基于符号概率能够准确地确定出待生成文本中各符号位置的符号；还因用户提供的模板格式都可以细化到待生成文本中每个符号应该具有的格式信息，使得在获取到待生成文本的模板信息之后，可以先基于该模板信息准确地确定出待生成文本中各符号位置的格式信息，再利用预先构建的强文本生成模型准确地确定出待生成文本中各符号位置的符号概率，如此能够基于符号概率准确地确定出待生成文本中各符号位置的符号。可见，如此能够实现了按照用户提供的任一模板格式，生成符合该模板格式的文本的目的。

方法实施例二

另外，在一些应用场景(例如，补充诗词中缺少的词语(如图5所示)、添加符合已有多个分句的模板格式要求的其他分句、生成符合某个主题的文本等应用场景下)，强文本生成模型还需要依据待生成文本中的已有文本内容，生成待生成文本中各符号位置的符号概率。

基于此，本申请实施例还提供了基于人工智能的文本生成方法的另一种实施方式，在该实施方式中，如图6所示，该方法包括S601-S606：

S601：获取待补全文本。

待补全文本可以是指缺失部分内容的待生成文本，而且待补全文本可以为待生成文本提供符号信息。例如，如图5所示的待补全文本可知，与生成的待生成文本相比，待补全文本中缺少一些语言符号。

需要说明的是，在一些情况下，待补全文本也可以是指仅包括主题词的文本，例如，待补全文本还可以是“春天”这个主题词。

另外，本申请实施例不限定待补全文本的获取方式。例如，当利用终端设备执行本申请实施例提供的基于人工智能的文本生成方法时，待补全文本可以是用户在终端设备上输入的文本信息(如图5所示的待补全文本)。

基于上述内容可知，本申请实施例中，当用户想要使用终端设备对待补全文本进行补全时，用户可以在终端设备上输入待补全文本(如图5所示的各示例中的待补全文本)，以使得终端设备能够获取到待补全文本，以便后续能够基于待补全文本，生成文本内容完整的待生成文本，使得待生成文本包括有待补全文本中的文本内容。

S602：获取待生成文本的模板信息。

需要说明的是，S602的部分内容与上文S301的内容相同，请参见上文S301。

另外，在一些情况下，待补全文本也携带了待生成文本的模板格式信息(如图5所示的待补全文本)，此时，为了能够提高待生成文本的模板信息的准确性和全面性，本申请实施例还可以根据待补全文本确定待生成文本的模板信息。基于此，本申请实施例还提供了模板信息的一种可能的获取方式，其具体为：根据待补全文本，生成待生成文本的模板信息。

在该实施方式中，若用户提供了待补全文本和模板格式要求(如图5中示例1所示的输入)，则可以根据待补全文本和模板格式信息，生成待生成文本的模板信息，使得生成的模板信息能够全面覆盖待补全文本携带的模板格式要求以及用户提供的模板格式要求。然而，若用户只提供了待补全文本(如图5中示例2所示的输入)，则可以从待补全文本中提取待生成文本的模板信息。

基于上述内容可知，本申请实施例中，可以根据用户输入的待补全文本和/或模板格式信息，确定待生成文本的模板信息。

S603：根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息。

需要说明的是，S603的内容与上文S302的内容相同，请参见上文S302。

S604：根据待补全文本、待生成文本中各符号位置的格式信息、和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。

在本申请实施例中，强文本生成模型可以用于根据待补全文本及模板信息，生成符合该模板信息以及待补全文本的文本。

另外，本申请实施例还提供了一种S604的实施方式，具体为：提取待补全文本的文本特征；根据待生成文本中各符号位置的格式信息，生成待生成文本中各符号位置的格式特征；将待补全文本的文本特征和待生成文本中各符号位置的格式特征，输入强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。

可见，在本申请实施例中，在获取到待补全文本和待生成文本中各符号位置的格式信息之后，先分别对待补全文本和待生成文本中各符号位置的格式信息进行特征提取，得到待补全文本的文本特征和待生成文本中各符号位置的格式特征，再将待补全文本的文本特征和待生成文本中各符号位置的格式特征输入强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。其中，因待补全文本的文本特征能够准确地表征待补全文本，且各符号位置的格式特征能够准确地表征各符号位置的格式信息，使得强文本生成模型能够基于该文本特征和该格式特征，能够准确地输出待生成文本中各符号位置的符号概率，如此提高了符号概率的准确性。

需要说明的是，本申请实施例不限定待补全文本的文本特征的提取方式，可以采用任一种能够从文本中提取特征的方式进行实施。

基于上述内容可知，在本申请实施例中，在获取到待补全文本和待生成文本中各符号位置的格式信息之后，可以根据待补全文本、待生成文本中各符号位置的格式信息、和强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，以便后续能够基于该符号概率确定位于各个符号位置上的符号。

需要说明的是，S604的部分内容与上文S303的部分内容相同，请参见上文S303。

S605：根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号。

需要说明的是，S605的内容与上文S304的内容相同，请参见上文S304。

S606：将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

需要说明的是，S606的内容与上文S305的内容相同，请参见上文S305。

基于上述S601至S606的相关内容可知，本申请实施例中，在获取到待补全文本和待生成文本的模板信息之后，可以基于待补全文本和待生成文本的模板信息，综合生成待生成文本，使得生成的待生成文本不仅符合该模板信息对应的模板格式要求，还包括了待补全文本中具有实际意义的所有符号，使得待生成文本能够在符合模板信息对应的模板格式要求的前提下，补全了待补全文本。

可见，本申请实施例提供的基于人工智能的文本生成方法，不仅能够按照用户提供的模板要求，生成符合该模板要求的文本，还能够按照模板要求，将存在内容缺失的待补全文本进行补全，如此使得本申请实施例提供的基于人工智能的文本生成方法可以应用于多种应用场景下，如此提高了本申请实施例提供的基于人工智能的文本生成方法的应用范围。

方法实施例三

另外，为了能够更好的生成待生成文本，本申请实施例还提供了一种强文本生成模型的训练过程，下面结合附图进行解释和说明。

如图7所示，该图为本申请实施例提供的强文本生成模型的训练过程的流程图。如图7所示，强文本生成模型的训练过程，包括S701-S704：

S701：获取训练文本以及训练文本中各符号的格式信息。

本申请实施例不限定训练文本的获取方式，例如，可以直接将原始文本作为训练文本，也可以对原始文本进行处理之后，得到训练文本。为了便于理解，下面结合两种应用场景进行说明。

场景一：为了使得训练好的强文本生成模型，能够实现对类似于图5所示的待补充文本进行补充的功能，可以对原始文本进行掩码处理，以便使得掩码后的原始文本类似于图5所示的待补充文本，也就是，使得掩码后的原始文本缺少部分内容。基于此，本申请实施例提供了获取训练文本的一种实施方式，具体为：获取原始文本，并按照预设掩码信息，对原始文本进行掩码处理，得到训练文本。

其中，预设掩码信息是指需要从原始文件中被掩码的信息，而且预设掩码信息是根据应用场景预先设定的。例如，为了使得强文本生成模型能够用于对类似于图5所示的待补充文本进行补充，预设掩码信息可以包括以下至少一项内容：

内容1：原始文本中的部分分句。例如，当原始文本包括5个分句时，则预设掩码信息可以包括原始文本中的第1个分句和第3个分句。可见，基于此预设掩码信息生成的训练文本，能够使得强文本生成模型能够实现分句补充的功能。

内容2：原始文本的分句中的部分内容。例如，当原始文本包括5个分句，且每个分句包括7个语言符号时，则预设掩码信息可以包括原始文本的第1个分句中的第3个语言符号和第5个语言符号。可见，基于此预设掩码信息生成的训练文本，能够使得强文本生成模型能够实现对分句中缺失内容进行补充的功能(如图5中示例2所示)。

内容3：原始文本中的部分或全部韵脚。例如，当原始文本包括5个分句，且每个分句均包括一个韵脚时，则预设掩码信息可以包括原始文本的各个分句的韵脚。可见，基于此预设掩码信息生成的训练文本，能够使得强文本生成模型能够实现韵脚补充的功能。

内容4：原始文本中除了韵脚以外的其它语言符号。例如，当原始文本包括5个分句，且每个分句均包括一个韵脚时，则预设掩码信息可以包括原始文本的各个分句的非韵脚语言符号。可见，基于此预设掩码信息生成的训练文本，能够使得强文本生成模型能够实现基于韵脚进行非韵脚语言符号补充的功能(如图5中示例1所示)。

基于上述场景一的相关内容可知，可以基于不同的应用场景，对原始文本进行不同的掩码处理，使得掩码后的原始文本能够准确地表征该应用场景下的待补充文本的特征，从而使得基于掩码后的原始文本训练得到的强文本生成模型能够更好地实现该应用场景下的强模板文本生成功能。

场景二：为了使得训练好的强文本生成模型，能够生成符合特定主题(例如，春天等主题)的文本，或者生成包括特定主题词的文本，可以对原始文本中与该特定主题词相关的内容进行掩码处理。基于此，本申请实施例提供了获取训练文本的另一种实施方式，具体为：获取原始文本和原始主题词；根据原始主题词，确定至少一个目标主题词；将原始文本中的目标主题词进行掩码处理，得到训练文本。

其中，目标主题词是指与原始主题词在主题意义上相同或类似的主题词。例如，当原始主题词为“春天”时，则目标主题词可以包括任一种与春天相关的主题词(如，“春天”、“桃花”、“柳芽”、“春风”、“春耕”等主题词)。

基于上述场景二的相关内容可知，本申请实施例中，在获取到原始文本和原始主题词之后，可以先根据原始主题词确定各个目标主题词，再将原始文本中属于目标主题词的词汇进行掩码处理，并将掩码处理后的原始文本确定为训练文本，以便后续能够将该目标主题词、该训练文本的文本特征和该训练文本中各符号的格式特征，输入强文本生成模型，对该强文本生成模型进行训练。

需要说明的时，对于场景一和场景二中的掩码处理来说，掩码处理可以是指将一种具有实际意义的符号转换成另一种不具有实际意义的符号，例如，可将原始文本的部分内容转换成无意义符号“_”。另外，掩码处理还可以是指将具有实际意义的符号直接进行删除。

另外，训练文本中各符号的格式信息类似于上文中待生成文本中各符号位置的格式信息，请参见上文。

作为示例，当训练文本为“love is not love，bends with the remover toremove”时，则该训练文本中各符号的标识集合如下：

(1)训练文本中各符号的符号类型及韵律信息集合，也就是第一标识集合C＝{c₀,c₀,c₀,c₂,c₁,</s>c₀,c₀,c₀,c₀,c₀,c₂,c₁,</s>,<eos>}，其中，c₀为非韵脚语言符号的第一标识，c₂为韵脚语言符号的第一标识，c₁为标点符号的第一标识，</s>为分句结束符号的第一标识，<eos>为文本结束符号的第一标识。可见，如此第一标识的赋值规则可以让强文本生成模型在读模板信息时，碰到c₂的时候能推测出该出是结尾词、韵脚词，遇到c₁的时候能够知道该输出一个标点符号(c₁也可以采用模板信息中的标点符号进行表示)。

(2)训练文本中各符号的分句内部位置信息集合，也就是第二标识集合P＝{p₄,p₃,p₂,p₁,p₀,</s>p₆,p₅,p₄,p₃,p₂,p₁,p₀,</s>,<eos>}，其中，p_J-j为位于包括J个符号的分句中的第j个位置上的符号的第二标识，而且，在分句中各个符号的第二标识按照倒叙排列，</s>为分句结束符号的第二标识，<eos>为文本结束符号的第二标识。j为正整数。可见，如此能够使得学习到句子的一个渐进结束的过程，当遇到p₀的时候能够知道句子结束，当遇到p₂和p₁的时候能够意识到句子生成动态到了尾声。

(3)训练文本中各符号的分句位置信息集合，也就是第三标识集合S＝{s₀,s₀,s₀,s₀,s₀,</s>s₀,s₀,s₀,s₀,s₀,s₀,s₀,</s>,<eos>}，其中，s_r-1为位于训练文本中第r个分句中各个符号的第三标识，</s>为分句结束符号的第三标识，<eos>为文本结束符号的第三标识。r为正整数。可见，如此能够使得强文本生成模型确定出目前正在生成的句子位置，捕捉到押韵的句对。

(4)训练文本中各符号的全文位置信息集合，也就是第四标识集合G＝{g₀,g₁,g₂,g₃,g₄,g₅,g₆,g₇,g₈,g₉,g₁₀,g₁₁,g₁₂,g₁₃,g₁₄}，其中，g_x-1为位于训练文本中第x个位置处的符号的第四标识。x为正整数。

本申请实施例中不限定训练文本中各符号的格式信息的获取方式，例如，训练文本中各符号的格式信息的获取方式为：根据训练文本，生成训练文本中各符号的格式信息。

基于上述内容可知，本申请实施例中，在训练强文本生成模型之前，可以先获取训练文本，再根据训练文本生成训练文本中各符号的格式信息，以便后续能够基于训练文本以及该训练文本中各符号的格式信息，训练强文本生成模型。

S702：提取训练文本的文本特征。

本申请实施例中，在获取到训练文本之后，可以对训练文本进行特征提取，得到训练文本的文本特征，以便后续能够将该训练文本的文本特征，输入到强文本生成模型中，训练该强文本生成模型。

S703：根据训练文本中各符号的格式信息，确定训练文本中各符号的格式特征。

本申请实施例中，在获取到训练文本中各符号的格式信息之后，可以对该训练文本中各符号的格式信息进行特征提取，得到训练文本中各符号的格式特征，以便后续能够将该训练文本中各符号的格式特征，输入到强文本生成模型中，训练该强文本生成模型。

S704：利用训练文本的文本特征和训练文本中各符号的格式特征，对强文本生成模型进行训练，得到训练好的强文本生成模型。

本申请实施例不限定强文本生成模型的结构，例如，强文本生成模型可以基于Transformer的自回归语言模型生成。

另外，本申请实施例还提供了S704的一种实施方式，基于S701中的场景二的相关内容，S704具体可以为：利用至少一个目标主题词、训练文本的文本特征和训练文本中各符号的格式特征，对强文本生成模型进行训练。可见，本申请实施例中，在获取到目标主题词之后，可以将各目标主题词、训练文本的文本特征和训练文本中各符号的格式特征均输入到强文本生成模型中，以便可以基于该目标主题词对强文本生成模型进行训练，使得训练好的强文本生成模型能够实现依据特定主题词生成符合该特定主题词所属主题的待生成文本。

另外，为了提高强文本生成模型的翻译性能，本申请实施例针对Transformer的自回归语言模型进行以下改进：

改进1：将训练文本的文本特征和训练文本中各符号的格式特征均作为强文本生成模型的输入，得到公式(1)。

式中，

表示t时刻掩码自注意机制建模层的隐藏向量；

表示t时刻的训练文本的文本特征；

表示t时刻的训练文本中符号的第一格式标识的格式特征；

表示t时刻的训练文本中符号的第二格式标识的格式特征；

表示t时刻的训练文本中符号的第三格式标识的格式特征；

表示t时刻的训练文本中符号的第四格式标识的格式特征。

改进2：为了能够使得自回归(auto-regressive)这个动态过程中能够看到模板的未来信息，本申请实施例还引入了另一个变量，只融合了之前定义的符号信息，没有文本信息，该变量的计算公式如(2)所示。

式中，

表示全局注意力机制建模层t时刻的一个变量参数；

表示t时刻的训练文本中符号的第一格式标识的格式特征；

表示t时刻的训练文本中符号的第二格式标识的格式特征；

表示t时刻的训练文本中符号的第三格式标识的格式特征；

表示t时刻的训练文本中符号的第四格式标识的格式特征。

改进2：强文本生成模型包括掩码自注意机制建模层和全局注意力机制建模层，掩码自注意机制建模层的输出数据是全局注意力机制建模层的输入数据。

对于掩码自注意机制建模层来说，可以采用公式(3)-(6)进行实施。

K⁰，V⁰＝H⁰W^K，H⁰W^V (3)

Q⁰＝H⁰W^Q (4)

式中，K⁰表示掩码自注意机制建模层中的键集合，

表示t时刻的掩码自注意机制建模层中的键，t为正整数；V⁰表示掩码自注意机制建模层中的值集合，

表示t时刻的掩码自注意机制建模层中的值，t为正整数；H⁰表示掩码自注意机制建模层的隐藏向量集合，

表示t时刻的掩码自注意机制建模层的隐藏向量，t为正整数；W^K表示掩码自注意机制建模层中的键参数集合；W^V表示掩码自注意机制建模层中的值参数集合；W^Q表示掩码自注意机制建模层中的查询参数集合；Q⁰表示掩码自注意机制建模层中的查询集合，

表示t时刻的掩码自注意机制建模层中的查询，t为正整数；

表示0至t时刻的掩码自注意机制建模层中的键；

表示0至t时刻的掩码自注意机制建模层中的值；

表示t时刻的掩码自注意机制建模层的输出值；LN(·)表示正则化；S_LF-ATT(·)表示自注意机制；F_FN(·)表示前馈网络。

需要说明的是，在掩码自注意机制建模层中，只使用t时刻之前的状态作为需要注意的上下文。

对于全局注意力机制建模层来说，可以采用公式(7)-(10)进行实施。

K¹，V¹＝F⁰W^K，F⁰W^V (7)

Q¹＝C¹W^Q (8)

式中，K¹表示全局注意力机制建模层中的键集合，

表示t时刻的全局注意力机制建模层中的键，t为正整数；V¹表示全局注意力机制建模层中的值集合，

表示t时刻的全局注意力机制建模层中的值，t为正整数；F⁰表示全局注意力机制建模层中的一个变量参数集合，

且

表示全局注意力机制建模层t时刻的一个变量参数，t为正整数；W^K表示全局注意力机制建模层中的键参数集合；W^V表示全局注意力机制建模层中的值参数集合；W^Q表示全局注意力机制建模层中的查询参数集合；Q¹表示全局注意力机制建模层中的查询集合，

表示t时刻的全局注意力机制建模层中的查询，t为正整数；C¹表示掩码自注意机制建模层的输出值集合，

表示t时刻的掩码自注意机制建模层的输出值，t为正整数；

表示t时刻的全局注意力机制建模层的输出值；LN(·)表示正则化；G_LOBAL-ATT(·)表示全局注意力机制；F_FN(·)表示前馈网络。

需要说明的是，在全局注意力机制建模层中，使用所有时刻的状态作为需要注意的上下文。

基于上述内容可知，如图8所示，本申请实施例结合自注意机制和全局注意力机制这两种机制来实现注意力确定过程。需要说明的是，在图8中，Token Emdeddings是指上文训练文本的文本特征；Format&Rhyme Emdeddings是指上文训练文本中各符号的第一格式标识的格式特征；Intra Position Emdeddings是指上文训练文本中各符号的第二格式标识的格式特征；segment Emdeddings是指上文训练文本中各符号的第三格式标识的格式特征；Global Position Emdeddings是指指上文训练文本中各符号的第四格式标识的格式特征；Masking Multi-Head Self-Attention是指掩码自注意机制；Global Multi-HeadAttention是指全局注意力机制。

另外，在强文本生成模型的训练过程中，采用了似然估计函数(如公式(11)所示)作为优化目标。

式中，

表示似然估计函数值；t表示第t时刻；P(y_t|y_<t)表示在第0时刻出现符号y₀至第t-1时刻出现符号y_t-1的情况下在第t时刻出现符号y_t的概率。

基于上述内容可知，本申请实施例中，强文本生成模型的训练过程具体可以包括：先获取训练文本以及训练文本中各符号的格式信息，并提取训练文本的文本特征；再根据训练文本中各符号的格式信息，确定训练文本中各符号的格式特征，并利用训练文本的文本特征和训练文本中各符号的格式特征，对强文本生成模型进行训练，得到训练好的强文本生成模型。其中，因强文本生成模型是基于训练文本的文本特征和训练文本中各符号的格式特征进行训练的，且强文本生成模型包括掩码自注意机制建模层和全局注意力机制建模层这两个注意力层，使得强文本生成模型能够更准确地确定出待生成文本中各符号位置的符号概率，如此有利于提高文本的生成质量。

需要说明的是，为了能够更好地训练强文本生成模型，可以利用大量的非强模板文本(也就是，不具有强模板的文本)，对强文本生成模型进行预测训练，得到预训练后的强文本生成模型，以便后续能够基于上述S701至S704，对该预训练后的强文本生成模型进一步进行训练，使得最终训练好的强文本生成模型能够生成质量更优的强模板文本。

还需要说明的是，本申请实施例不限定强文本生成模型的训练过程的执行主体。例如，强文本生成模型的训练过程的执行主体可以是终端设备，也可以是服务器。

为了便于进一步理解本申请实施例提供的基于人工智能的文本生成方法，场景实施例将结合图9对本申请实施例提供的基于人工智能的文本生成方法进行整体介绍。

场景实施例

场景实施例是对方法实施例提供的基于人工智能的文本生成方法的示例性介绍，为了简要起见，场景实施例中与方法实施例中部分内容相同，在此不再赘述，该内容相同的部分的技术详情请参照方法实施例中的相关内容。

参见图9，该图为本申请实施例提供的应用于图1所示场景下的基于人工智能的文本生成方法的流程图。

本申请实施例提供的基于人工智能的文本生成方法，包括S901-S906：

S901：终端设备101接收用户102触发的强模板文本生成指令之后，根据用户102的输入内容，生成待处理数据。其中，待处理数据包括待生成文本的模板信息和/或待补全文本。

本申请实施例不限定强模板文本生成指令的触发方式，例如，如图10所示，用户可以点击“生成”按钮的方式触发强模板文本生成指令。

本申请实施例不限定待处理数据，例如，待处理数据可以为待生成文本的模板信息，也可以为待补全文本，还可以为待生成文本的模板信息和待补全文本。

基于上述内容可知，本申请实施例中，在终端设备101接收到用户102触发的强模板文本生成指令之后，可以获取用户102的输入内容，具体为：若用户102只输入了模板格式要求，则终端设备101可以根据该模板格式要求生成待生成文本的模板信息，作为待处理数据；若用户102只输入了待补全文本，则终端设备101根据该待补全文本，生成待生成文本的模板信息，并将待补全文本和待生成文本的模板信息，作为待处理数据；若用户102输入了模板格式要求和待补全文本，则终端设备101可以根据该待补全文本和模板格式要求，生成待生成文本的模板信息，并将待补全文本和待生成文本的模板信息，作为待处理数据。

S902：终端设备101根据待处理数据，确定强文本生成模型的输入数据。其中，输入数据包括待生成文本中各符号位置的格式特征和/或待补全文本的文本特征。

本申请实施例不限定输入数据，若待处理数据包括待补全文本，则输入数据包括待补全文本的文本特征；若待处理数据包括待生成文本的模板信息，则输入数据包括待生成文本中各符号位置的格式特征；若待处理数据包括待生成文本的模板信息和待补全文本，则输入数据包括待生成文本中各符号位置的格式特征和待补全文本的文本特征。

需要说明的是，根据待补全文本，生成待补全文本的文本特征技术详情，以及根据待生成文本的模板信息，生成待生成文本中各符号位置的格式特征的技术详情，请参见上文。

S903：终端设备101将强文本生成模型的输入数据，输入到预先构建的强文本生成模型中，得到强文本生成模型输出的待生成文本中各符号位置的符号概率。

本申请实施例中，在终端设备101获取到强文本生成模型的输入数据之后，终端设备101可以直接将强文本生成模型的输入数据输入到预先构建的强文本生成模型中，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，以便后续可以基于各符号位置的符号概率，确定各符号位置的符号。

S904：终端设备101根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号。

本申请实施例中，在终端设备101获取到待生成文本中各符号位置的符号概率之后，终端设备101可以根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号。

需要说明的是，S904的相关内容类似于上文S304的相关内容，请参见上文。

S905：终端设备101将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

本申请实施例中，在终端设备101获取到待生成文本中各符号位置的符号之后，终端设备101可以将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

S906：终端设备101显示待生成文本，以供用户102查看。

本申请实施例中，在终端设备101获取到待生成文本之后，可以终端设备101对待生成文本进行显示，以供用户102在终端设备101上查看该待生成文本。例如，如图10和11所示，当用户102输入词牌名“鹧鸪天”和格式“7,7,7,7,3,3,7,7”之后，终端设备101可以显示出了待生成文本(如图11中生成文本的内容)，以便用户102可以查看并下载这个待生成文本。

基于上述S901至S906的相关内容可知，本申请实施例中，终端设备101接收用户102触发的强模板文本生成指令之后，终端设备101可以根据用户102的输入内容，生成符合该输入内容的待生成文本。可见，本申请实施例提供的基于人工智能的文本生成方法，能够满足多种应用场景下的强模板文本生成需求。

基于上述提供的基于人工智能的文本生成方法的相关内容，本申请实施例还提供了对应的基于人工智能的文本生成装置，以使得上述提供的基于人工智能的文本生成方法在实际中得以应用和实现。

装置实施例

需要说明的是，本实施例提供的基于人工智能的文本生成装置的技术详情可以参照上述提供的基于人工智能的文本生成方法。

参见图12，该图为本申请实施例提供的一种基于人工智能的文本生成装置的结构示意图。

本申请实施例提供的基于人工智能的文本生成装置1200，包括：

获取单元1201，用于获取待生成文本的模板信息；

提取单元1202，用于根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

生成单元1203，用于根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

确定单元1204，用于根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

处理单元1205，用于将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

可选的，在图12所示的基于人工智能的文本生成装置1200的基础上，所述格式信息包括第一格式标识、第二格式标识和第三格式标识中的至少一种；所述第一格式标识用于表征符号类型及韵律信息；所述第二格式标识用于表征分句内部位置信息；所述第三格式标识用于表征分句位置信息。

可选的，在图12所示的基于人工智能的文本生成装置1200的基础上，所述确定单元1204，具体用于：

将所述待生成文本中各符号位置的符号概率进行校验，得到所述待生成文本中各符号位置的校验符号概率；

根据所述待生成文本中各符号位置的校验符号概率，确定所述待生成文本中各符号位置对应的候选符号；

根据所述待生成文本中各符号位置对应的候选符号，确定所述待生成文本中各符号位置的符号。

可选的，在图12所示的基于人工智能的文本生成装置1200的基础上，所述强文本生成模型包括掩码自注意机制建模层和全局注意力机制建模层，所述掩码自注意机制建模层的输出数据是全局注意力机制建模层的输入数据。

可选的，在图12所示的基于人工智能的文本生成装置1200的基础上，如图13所示，所述装置1200还包括：

获得单元1206，用于获取待补全文本；

所述生成单元1203，具体用于：根据所述待补全文本、所述待生成文本中各符号位置的格式信息、和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率。

可选的，在图12或图13所示的基于人工智能的文本生成装置1200的基础上，所述强文本生成模型的训练过程，包括：

获取训练文本以及所述训练文本中各符号的格式信息；

提取所述训练文本的文本特征；

根据所述训练文本中各符号的格式信息，确定所述训练文本中各符号的格式特征；

利用所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练，得到训练好的强文本生成模型。

可选的，在图12或图13所示的基于人工智能的文本生成装置1200的基础上，所述获取训练文本，包括：获取原始文本，并按照预设掩码信息，对所述原始文本进行掩码处理，得到训练文本。

可选的，在图12或图13所示的基于人工智能的文本生成装置1200的基础上，所述获取训练文本，包括：获取原始文本和原始主题词；根据所述原始主题词，确定至少一个目标主题词；将所述原始文本中的目标主题词进行掩码处理，得到训练文本；

所述利用所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练，包括：利用所述至少一个目标主题词、所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练。

基于上述基于人工智能的文本生成装置1200的相关内容可知，本申请实施例中，在获取到待生成文本的模板信息之后，可以先根据待生成文本的模板信息，确定待生成文本中各符号位置的格式信息；再根据待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到强文本生成模型输出的待生成文本中各符号位置的符号概率，并根据待生成文本中各符号位置的符号概率，确定待生成文本中各符号位置的符号，以便将待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

其中，因预先构建的强文本生成模型能够基于待生成文本中各符号位置的格式信息，准确地确定出待生成文本中各符号位置的符号概率，使得基于符号概率能够准确地确定出待生成文本中各符号位置的符号；还因用户提供的模板格式都可以细化到待生成文本中每个符号应该具有的格式信息，使得在获取到待生成文本的模板信息之后，可以先基于该模板信息准确地确定出待生成文本中各符号位置的格式信息，再利用预先构建的强文本生成模型准确地确定出待生成文本中各符号位置的符号概率，如此能够基于符号概率准确地确定出待生成文本中各符号位置的符号。可见，如此能够实现了按照用户提供的任一模板格式，生成符合该模板格式的文本的目的。

本申请实施例还提供了一种用于生成强模板文本的终端设备和服务器，下面将从硬件实体化的角度对本申请实施例提供的用于生成强模板文本的终端设备和服务器进行介绍。

参见图14，为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为平板电脑为例：

图14示出的是与本申请实施例提供的终端相关的平板电脑的部分结构的框图。参考图14，平板电脑包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的平板电脑结构并不构成对平板电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行平板电脑的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据平板电脑的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1480是平板电脑的控制中心，利用各种接口和线路连接整个平板电脑的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行平板电脑的各种功能和处理数据，从而对平板电脑进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。

在本申请实施例中，该终端所包括的处理器1480还具有以下功能：

获取待生成文本的模板信息；

根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

可选的，所述处理器1480还用于执行本申请实施例提供的基于人工智能的文本生成方法的任意一种实现方式的步骤。

本申请实施例还提供了一种服务器，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。

服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器结构。

其中，CPU 1522用于执行如下步骤：

获取待生成文本的模板信息；

根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

可选的，CPU 1522还可以用于执行本申请实施例中基于人工智能的文本生成方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种基于人工智能的文本生成方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种基于人工智能的文本生成方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的文本生成方法，其特征在于，包括：

获取待生成文本的模板信息；

根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

2.根据权利要求1所述的方法，其特征在于，所述格式信息包括第一格式标识、第二格式标识和第三格式标识中的至少一种；所述第一格式标识用于表征符号类型及韵律信息；所述第二格式标识用于表征分句内部位置信息；所述第三格式标识用于表征分句位置信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号，包括：

将所述待生成文本中各符号位置的符号概率进行校验，得到所述待生成文本中各符号位置的校验符号概率；

根据所述待生成文本中各符号位置的校验符号概率，确定所述待生成文本中各符号位置对应的候选符号；

根据所述待生成文本中各符号位置对应的候选符号，确定所述待生成文本中各符号位置的符号。

4.根据权利要求1所述的方法，其特征在于，所述强文本生成模型包括掩码自注意机制建模层和全局注意力机制建模层，所述掩码自注意机制建模层的输出数据是全局注意力机制建模层的输入数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待补全文本；

所述根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率，具体为：

根据所述待补全文本、所述待生成文本中各符号位置的格式信息、和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述强文本生成模型的训练过程，包括：

获取所述训练文本以及所述训练文本中各符号的格式信息；

提取所述训练文本的文本特征；

根据所述训练文本中各符号的格式信息，确定所述训练文本中各符号的格式特征；

利用所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练，得到训练好的强文本生成模型。

7.根据权利要求6所述的方法，其特征在于，所述获取训练文本，包括：获取原始文本，并按照预设掩码信息，对所述原始文本进行掩码处理，得到所述训练文本；

或者，所述获取训练文本，包括：

获取原始文本和原始主题词；

根据所述原始主题词，确定至少一个目标主题词；

将所述原始文本中的目标主题词进行掩码处理，得到所述训练文本；

所述利用所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练，包括：

利用所述至少一个目标主题词、所述训练文本的文本特征和所述训练文本中各符号的格式特征，对所述强文本生成模型进行训练。

8.一种基于人工智能的文本生成装置，其特征在于，包括：

获取单元，用于获取待生成文本的模板信息；

提取单元，用于根据所述待生成文本的模板信息，确定所述待生成文本中各符号位置的格式信息；

生成单元，用于根据所述待生成文本中各符号位置的格式信息和预先构建的强文本生成模型，得到所述强文本生成模型输出的所述待生成文本中各符号位置的符号概率；所述强文本生成模型是基于训练文本以及所述训练文本中各符号的格式信息训练得到的；

确定单元，用于根据所述待生成文本中各符号位置的符号概率，确定所述待生成文本中各符号位置的符号；

处理单元，用于将所述待生成文本中各符号位置的符号按照符号位置排序组合，得到待生成文本。

9.一种设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7中任一项所述的方法。

Images