CN111061867A - 基于质量感知的文本生成方法、设备、存储介质及装置 - Google Patents

Abstract

本发明公开了一种基于质量感知的文本生成方法、设备、存储介质及装置，该方法通过获取待处理语料集，将待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿，通过训练好的质量感知遮挡语言模型，对文本草稿中待替换字的位置进行预测，根据预测的目标位置的上下文语境对目标位置的语义进行预测，获得目标字，结合上下文语境能够提高语义预测的准确性；通过训练好的质量感知遮挡语言模型，将目标字替换待替换字，获得新的文本草稿，返回根据新的文本草稿通过训练好的质量感知遮挡语言模型，对新的文本草稿中待替换字的位置进行预测的步骤，直至所有待替换字均被替换，获得目标文本，基于人工智能，通过多次迭代提高文本生成质量。

Description

基于质量感知的文本生成方法、设备、存储介质及装置

技术领域

本发明涉及人工智能的技术领域，尤其涉及一种基于质量感知的文本生成方法、设备、存储介质及装置。

背景技术

现有的文本生成方法主要是基于序列到序列的模型(Seq2seq)的单轮生成方法，该模型在文本生成阶段，是由左到右(或由右到左)逐字单向生成的，只考虑了前面已经生成的文本信息，一旦前面文本生成效果不好，则会对后生成的文本产生较大影响，造成偏差累积。目前的多轮迭代技术，采用的也是简单的从左到右每个字都更新一次，人工设定迭代轮次，相当于完全重新生成了整个文本。该方法存在三个关键问题：第一，无法判断生成的文本中哪些字词需要修改，哪些字词可以保留；第二，不能获得更符合该语境的字？第三，人工设定迭代轮次非常的经验化，无法明确迭代终止的客观条件是什么，导致自动生成的文本质量不佳。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于质量感知的文本生成方法、设备、存储介质及装置，旨在解决现有技术中自动生成的文本质量不佳的技术问题。

为实现上述目的，本发明提供一种基于质量感知的文本生成方法，所述基于质量感知的文本生成方法包括以下步骤：

获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿；

根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置；

通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；

通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

优选地，所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置之前，所述基于质量感知的文本生成方法还包括：

获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本；

建立待训练质量感知遮挡语言模型；

根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

优选地，所述替换文本包括：第一预设比例的第一替换文本、第二预设比例的第二替换文本和第三预设比例的标准文本；

所述获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本，包括：

通过随机标记，选取所述标准文本中每句话中的任意一个字随机替换为另外一个字获得第一替换文本，并记录被替换的字的位置标签，所述第一预设比例为所述第一替换文本占所有替换文本的比例；

通过随机标记，选取所述标准文本中每句话中的任意两个字随机替换为另外两个字获得第二替换文本，并记录被替换的字的位置标签，所述第二预设比例为所述第二替换文本占所有替换文本的比例；

保持所述标准文本不变，将所述标准文本作为替换文本，并将位置标签记录为第一预设值，所述第三比例为所述标准文本占所有替换文本的比例。

优选地，所述根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型，包括：

根据所述第一替换文本或所述第二替换文本通过所述待训练质量感知遮挡语言模型，对所述第一替换文本或所述第二替换文本中待更新字的位置进行预测，获得待更新字的预测位置；

通过所述待训练质量感知遮挡语言模型对所述预测位置的字的语义进行预测，获得所述预测位置对应的预测字；

通过所述待训练质量感知遮挡语言模型，将所述预测字替换所述待更新字，获得第一次预测文本，实现一次迭代，将所述第一次预测文本作为新的替换文本，返回所述根据所述新的替换文本通过所述待训练质量感知遮挡语言模型，对所述新的替换文本中待更新字的位置进行预测，获得待更新字的预测位置的步骤，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本，并根据所述标准文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

优选地，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本之后，包括：

计算所述预测文本与所述标准文本之间的文本相似度；

判断所述文本相似度是否超过预设相似度阈值；

在所述文本相似度未超过所述预设相似度阈值时，对所述第一比例、所述第二比例和所述第三比例进行调整，获得新的第一比例、新的第二比例和新的第三比例；

根据所述新的第一比例、所述新的第二比例和所述新的第三比例的替换文本对所述待训练质量感知遮挡语言模型进行训练，直至所述文本相似度超过所述预设相似度阈值，则停止对所述第一比例、所述第二比例和所述第三比例的调整。

优选地，所述直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，包括：

判断所述目标位置是否为第二预设值；

若所述目标位置为所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

优选地，所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置之前，所述基于质量感知的文本生成方法还包括：

将所述文本草稿进行向量化获得训练好的质量感知遮挡语言模型的输入向量；

所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置，包括：

根据所述输入向量通过训练好的质量感知遮挡语言模型，对所述输入向量中待替换字的位置进行预测，获得所述待替换字的目标位置；

所述通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字，包括：

对所述目标位置的字进行遮挡，获得遮挡文本，根据所述遮挡文本通过所述训练好的质量感知遮挡语言模型，结合所述目标位置的上下文语境信息对所述遮挡文本的所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

此外，为实现上述目的，本发明还提出一种基于质量感知的文本生成设备，所述基于质量感知的文本生成设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于质量感知的文本生成程序，所述基于质量感知的文本生成程序配置为实现如上文所述的基于质量感知的文本生成方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于质量感知的文本生成程序，所述基于质量感知的文本生成程序被处理器执行时实现如上文所述的基于质量感知的文本生成方法的步骤。

此外，为实现上述目的，本发明还提出一种基于质量感知的文本生成装置，所述基于质量感知的文本生成装置包括：

生成模块，用于获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿；

预测模块，用于根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置；

所述预测模块，还用于通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；

迭代模块，用于通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

本发明中，通过获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿，根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置，对位置进行预测，提高预测的精准度；通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字，结合上下文语境能够提高语义预测的准确性，能够预测到质量更好的字；通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，基于人工智能，通过多次迭代提高文本生成质量。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于质量感知的文本生成设备的结构示意图；

图2为本发明基于质量感知的文本生成方法第一实施例的流程示意图；

图3为本发明基于质量感知的文本生成方法第二实施例的流程示意图；

图4为本发明基于质量感知的文本生成方法第三实施例的流程示意图；

图5为本发明基于质量感知的文本生成装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于质量感知的文本生成设备结构示意图。

如图1所示，该基于质量感知的文本生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于质量感知的文本生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于质量感知的文本生成程序。

在图1所示的基于质量感知的文本生成设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述基于质量感知的文本生成设备通过处理器1001调用存储器1005中存储的基于质量感知的文本生成程序，并执行本发明实施例提供的基于质量感知的文本生成方法。

基于上述硬件结构，提出本发明基于质量感知的文本生成方法的实施例。

参照图2，图2为本发明基于质量感知的文本生成方法第一实施例的流程示意图，提出本发明基于质量感知的文本生成方法第一实施例。

在第一实施例中，所述基于质量感知的文本生成方法包括以下步骤：

步骤S10：获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿。

应理解的是，本实施例的执行主体是所述基于质量感知的文本生成设备，其中，所述基于质量感知的文本生成设备可为智能手机、个人电脑或服务器等电子设备，本实施例对此不加以限制。文本自动生成能应用于多种应用场景，比如人工智能(ArtificialIntelligence，AI)自动生成歌词，首先，设定一个关键词，将所述关键词输入所述序列到序列模型，所述序列到序列模型根据所述关键词生成句子，输出第一句话，将所述第一句话再输入所述序列到序列模型，所述序列到序列模型根据所述第一句话生成第二句话，再将所述第二句话输入所述序列到序列模型，如此重复，直至生成所述文本草稿。为了提高效率，可通过多线程处理器对所述待处理语料集进行多线程处理，从而生成多个所述文本草稿。

在具体实现中，还有其他很多应用场景，比如人工客服等场景，用户提出问题，进行语音识别，采集用户语音，并将所述用户语音转换为文本，即所述待处理语料集，所述待处理语料集的内容可能不能准确表达出视频会议传达的真实意图，此时需要通过所述序列到序列模型对所述待处理语料集进行处理，序列到序列模型(Sequence to Sequencenetwork or Encoder Decoder network，Seq2Seq)是由两个称为编码器和解码器组成的模型。编码器读取输入序列并输出单个矢量，解码器读取该矢量以产生输出序列。使用seq2seq模型，编码器会创建一个单一的矢量，在理想的情况下，将输入序列的“含义”编码为单个矢量-句子的N维空间中的单个点，从而生成所述文本草稿。

需要说明的是，上述编码-解码的方式生成文本草稿存在缺陷，在解码过程中，由左到右(或由右到左)逐字单向生成的，只考虑了前面已经生成的文本信息，一旦前面文本生成效果不好，则会对后生成的文本产生较大影响，造成偏差累积。因此，本实施例提出一种训练好的质量感知遮挡语言模型，通过掩盖字的位置然后对掩盖字的语义进行预测，通过学习所述掩盖字的上下文信息来实现预测。

步骤S20：根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置。

可理解的是，所述文本草稿包括至少一句话，可将所述文本草稿中的一句话、两句话、三句话或者多句话输入所述训练好的质量感知遮挡语言模型，所述训练好的质量感知遮挡语言(Quality Aware-Masked Language Model，QA-MLM)模型，根据上下文语境信息对所述文本草稿中所述待替换字的位置进行预测，比如，输入一句话包含7个字，Sg＝[s1,s2,s3,s4,s5,s6,s7]，对这句话中7个字，也就是有7个分类，结合上下文语境判断是否存在质量较差的字，即是否存在所述待替换字，若预测到位置P＝2为是质量较差的字，则所述目标位置为P＝2。

应理解的是，所述训练好的质量感知遮挡语言模型通过对待训练质量感知遮挡语言模型训练而获得，所述待训练质量感知遮挡语言模型可以是基于改进的双向编码器表征(Bidirectional Encoder Representations from Transformers，BERT)模型，所述BERT模型的输入为两句话：第一句话和第二句话，能够预测第一句话的下一句是否为第二句话，但是不能对句子中的字的质量进行预测。本实施例中，通过建立待训练质量感知遮挡语言模型；获取大量的标准文本，对所述标准文本中的字进行随机替换，获得替换文本；根据大量的所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。所述训练好的质量感知遮挡语言模型具备预测句子中每个字的质量是否较差，从而对预测的质量较差的字进行替换，输入不仅仅只是两句话，还可以是一句话、三句话或多句话，训练好的质量感知遮挡语言模型具备更好的质量感知能力。

步骤S30：通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

需要说明的是，所述训练好的质量感知遮挡语言模型中的遮蔽语言模型(maskedlanguage model，MLM)对所述目标位置的待替换字进行遮挡，融合所述目标位置的左右两侧语境，即所述上下文语境信息，对进行遮挡的所述目标位置的语义进行预测，预测出质量更好的字，即所述目标字。

步骤S40：通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

应理解的是，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，继续输入所述训练好的质量感知遮挡语言模型，通过训练好的质量感知遮挡语言模型，根据所述第一次迭代文本对所述第一次迭代文本中所述待替换字的位置进行预测，获得所述待替换字的目标位置；通过所述训练好的质量感知遮挡语言模型，根据所述上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第二次迭代文本，实现又一次迭代，将所述第二次迭代文本作为新的文本草稿，继续输入所述训练好的质量感知遮挡语言模型，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

需要说明的是，在预测所述待替换字的目标位置之后，还包括：判断所述目标位置是否为第二预设值；若所述目标位置不是所述第二预设值，则认定所述文本草稿中还存在未被替换的待替换字，继续迭代，执行所述通过所述训练好的质量感知遮挡语言模型，根据所述上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字的步骤，直至所述目标位置是所述第二预设值，则认定所述文本草稿中所有待替换字均被替换，迭代终止，获得迭代更新后的目标文本。所述第二预设值等于所述第一预设值，用于判断所述文本草稿中是否存在待替换字被感知，若没有待替换字被感知，则认定所述文本草稿中所有待替换字均被替换。

具体应用中，通过所述训练好的质量感知遮挡语言模型对所述歌词文本草稿进行迭代更新，获得目标歌词文本。

在进行迭代更新期间，首先预测所有具有待替换字在所述文本草稿的可能位置，再屏蔽这些位置上的字符，通过所述文本草稿输入到所述训练好的质量感知遮挡语言模型，可以预测相应的字符。结合上下文语境，在语义一致性和一致性方面，预测字符比原来的字符更合适。因此，用预测的字符替换所述文本草稿中的字符，完成一个迭代更新步骤，可以多次迭代更新所述文本草稿，直至所述预设质量感知掩蔽语言模型预测到预设终止位置(P＝0)。

本实施例中，通过获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿，根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置，对位置进行预测，提高预测的精准度；通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字，结合上下文语境能够提高语义预测的准确性，能够预测到质量更好的字；通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，基于人工智能，通过多次迭代提高文本生成质量。

参照图3，图3为本发明基于质量感知的文本生成方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明基于质量感知的文本生成方法的第二实施例。

在第二实施例中，所述步骤S20之前，还包括：

步骤S101：获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本。

应理解的是，所述标准文本为语义表达准确的训练文本，对所述标准文本中的字或词进行随机替换，存在替换字或词的文本即为所述替换文本。通常所述标准文本中原有的字或词均为语义表达质量最佳的字或词，则替换的字或词为质量较差的字词。

进一步地，在本实施例中，所述替换文本包括：第一预设比例的第一替换文本、第二预设比例的第二替换文本和第三预设比例的标准文本；

所述步骤S101，包括：

通过随机标记，选取所述标准文本中每句话中的任意一个字随机替换为另外一个字获得第一替换文本，并记录被替换的字的位置标签，所述第一预设比例为所述第一替换文本占所有替换文本的比例；

通过随机标记，选取所述标准文本中每句话中的任意两个字随机替换为另外两个字获得第二替换文本，并记录被替换的字的位置标签，所述第二预设比例为所述第二替换文本占所有替换文本的比例；

保持所述标准文本不变，将所述标准文本作为替换文本，并将位置标签记录为第一预设值，所述第三比例为所述标准文本占所有替换文本的比例。

需要说明的是，所述第一预设比例、第二预设比例和第三预设比例，根据训练过程中，设置不同的所述第一预设比例、第二预设比例和第三预设比例，计算获得最终预测文本的预测时间，预测时间越短，说明比例的设置有利于训练过程，从而确定出最佳的所述第一预设比例、第二预设比例和第三预设比例。还可以计算每次迭代后的迭代文本与标准文本之间的相似度，形似度越高，说明比例的设置有利于质量感知，从而确定出最佳的所述第一预设比例、第二预设比例和第三预设比例。例如，所述第一预设比例为60％，所述第二预设比例为20％，所述第三预设比例为20％。具体如下：

60％的第一替换文本：通过随机标记，用一个字符替换一个字符，例如原始文本Sg＝[s1,s2,s3,s4,s5,s6,s7]改为Sc＝[s1,s2,si1,s4,s5,s6,s7]，并且位置标签是p＝3，则替换文本行是Sm＝[s1,s2,MASK,s4,s5,s6,s7]。

20％的第二替换文本：用随机标记替换两个字符，例如原始文本Sg＝[s1,s2,s3,s4,s5,s6,s7]改为Sc＝[s1,si1,s3,s4,s5,si2,s7],并且位置标签是p＝[2,6]，则替换文本是Sm＝[s1,MASK,s3,s4,s5,MASK,s7]

20％的标准文本：保持所述标准文本不变，则将位置标签设置为0，即Sg＝Sc，位置标签是p＝0。即可将所述第一预设值设置为0。

步骤S102：建立待训练质量感知遮挡语言模型。

应理解的是，所述待训练质量感知遮挡语言模型可以是基于改进的双向编码器表征BERT模型，所述待训练质量感知遮挡语言模型首先预测较差字符的位置，然后预测该较差字符位置上的字符。通过大量的样本数据对所述待训练质量感知遮挡语言模型进行训练，以获得所述训练好的质量感知遮挡语言模型。按照以下方式构建训练语料，其中，被替换的位置可以表示为P＝[pi1，pi2，...，pir]，ir小于n，n为文本草稿中的总字符数量，而被遮挡的真实字符是si＝[si1,si2,...,sir]，被替换的位置数量r反映了待训练质量感知遮挡语言模型的学习能力，根据模型的容量和质量选择合适的r。

步骤S103：根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

可理解的是，所述待训练质量感知遮挡语言模型为以BERT模型为基础的语言模型，采用所述基础感知遮挡语言模型，根据所述标准文本的上下文语境信息对所述替换文本进行迭代更新，具体为，根据所述标准文本的上下文语境信息对所述替换文本中质量较差的字或词(即待更新字)的位置进行预测，获得所述质量较差的字的预测位置，再结合上下文语境信息预测所述预测位置的真实语义，即预测获得表示真实语义的预测字，将所述预测字替换所述待更新字，从而实现对所述替换文本的更新，重复上述步骤，直至所述替换文本中的所有待更新字或词均被替换完成，则迭代停止。所述待训练质量感知遮挡语言模型经过训练，即为所述训练好的质量感知遮挡语言模型，所述训练好的质量感知遮挡语言模型能够准确地识别出文本草稿中的待替换字的位置，并预测出该位置的语义，即质量更好的目标字，将目标字替换所述待替换字，获得第一次迭代文本，实现一次迭代，将所述第一次迭代文本作为新的文本草稿，并返回预测所述文本草稿中的待替换字的位置的步骤，直至所述文本草稿中所有的待替换字均被替换，迭代终止，获得目标文本。

进一步地，所述步骤S103，包括：

根据所述第一替换文本或所述第二替换文本通过所述待训练质量感知遮挡语言模型，对所述第一替换文本或所述第二替换文本中待更新字的位置进行预测，获得待更新字的预测位置；

通过所述待训练质量感知遮挡语言模型对所述预测位置的字的语义进行预测，获得所述预测位置对应的预测字；

通过所述待训练质量感知遮挡语言模型，将所述预测字替换所述待更新字，获得第一次预测文本，实现一次迭代，将所述第一次预测文本作为新的替换文本，返回所述根据所述新的替换文本通过所述待训练质量感知遮挡语言模型，对所述新的替换文本中待更新字的位置进行预测，获得待更新字的预测位置的步骤，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本，并根据所述标准文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

应理解的是，以诗集作为所述标准文本为例，进行说明，诗集包括唐代、宋代、元代、明代和清代的诗，从诗歌语料库中筛选出大约130525首诗，共有905790个诗歌，用于模型训练和评价，每个过滤的诗歌包含四个诗歌行中的四个或多个，每个诗行包含七个字符。首先利用序列到序列的模型生成诗歌草稿。在诗歌草稿文本生成后，使用所述待训练质量感知遮挡语言模型进行迭代更新。首先预测哪个字符位置的语义质量最差，若该位置最差，则整合前后语境信息预测该位置的字，本例中每行诗七个字符，四行的总共二十八个位置，再添加一个结束位置(p＝0)用以表征整首诗的产生足够好。如果预测到结束位置，认为诗歌的质量足够好，迭代替换过程自动终止。

进一步地，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本之后，还包括：

计算所述预测文本与所述标准文本之间的文本相似度；

判断所述文本相似度是否超过预设相似度阈值；

在所述文本相似度未超过所述预设相似度阈值时，对所述第一比例、所述第二比例和所述第三比例进行调整，获得新的第一比例、新的第二比例和新的第三比例；

根据所述新的第一比例、所述新的第二比例和所述新的第三比例的替换文本对所述待训练质量感知遮挡语言模型进行训练，直至所述文本相似度超过所述预设相似度阈值，则停止对所述第一比例、所述第二比例和所述第三比例的调整。

在具体实现中，为了提高所述待训练质量感知遮挡语言模型训练的有效性，在设置了第一预设比例的第一替换文本、第二预设比例的第二替换文本和第三预设比例的标准文本，还需要根据训练获得的预测文本的质量来判断所述第一预设比例、所述第二预设比例和所述第三预设比例是否设置合理。所述预设相似度阈值可根据实际应用中对输出文本质量要求的高低进行设置，比如设置所述预设相似度阈值为80％。

应理解的是，对所述预测文本与所述标准文本进行分词处理，获得所述预测文本的所有第一词语和所述标准文本的所有第二词语，计算所述第一词语词频逆向文件频率(Term Frequency-Inverse Document Frequency，TF-IDF)值和所述第二词语的TF-IDF值，将所述预测文本与所述标准文本均表示为以词语和词语的TF-IDF值组成的词向量，计算所述预测文本对应的词向量与所述标准文本对应的词向量之间的余弦距离，并将该余弦距离作为所述文本相似度。

在所述文本相似度未超过所述预设相似度阈值时，说明此时所述训练好的质量感知遮挡语言模型的质量感知能力较差，则可降低所述第一比例和所述第二比例，提高所述第三比例，对所述第一比例、所述第二比例和所述第三比例进行调整，获得新的第一比例、新的第二比例和新的第三比例，根据所述新的第一比例、所述新的第二比例和所述新的第三比例的替换文本对所述待训练质量感知遮挡语言模型进行训练，获得新的预测文本，返回所述计算所述预测文本与所述标准文本之间的文本相似度，直至所述文本相似度超过所述预设相似度阈值，则停止对所述第一比例、所述第二比例和所述第三比例的调整。

在实际应用中，采用序列到序列模型生成的文本为：

寂寞春风鸟自狂，秋风吹雨满庭香。

欲识故为归来晚，只有幽香伴钓芳。

采用所述训练好的质量感知遮挡语言模型生成的文本为：

寂寞春风鸟自狂，秋风吹雨满庭香。

欲知故国归来晚，只有幽香伴众芳。

可见，所述训练好的质量感知遮挡语言模型能够生成质量更好的文本。

在本实施例中，通过获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本，建立待训练质量感知遮挡语言模型，根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型，通过掩盖位置然后预测，通过学习所有上下文信息来实现预测，提高了训练好的质量感知遮挡语言模型的预测能力，提高文本生成质量。

参照图4，图4为本发明基于质量感知的文本生成方法第三实施例的流程示意图，基于上述第一实施例或第二实施例，提出本发明基于质量感知的文本生成方法的第三实施例。本实施例基于所述第一实施例进行说明。

在第三实施例中，所述步骤S40，包括：

步骤S401：通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，判断所述目标位置是否为第二预设值，若所述目标位置为所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

需要说明的是，所述第二预设值通常设置为0，当待替换字的目标位置预测为0时，即表示当前文本所有的字都恰当，无需进一步迭代更新，在训练语中也保留了真实的位置为0的情况，即20％的文本语料没有进行随机替换操作，因而这部分语料仍为高质量的文本，不需要迭代更新。

例如，原始文本为Sg＝[s1,s2,s3,s4,s5,s6,s7]，将其中的一个字进行随机替换，改为Sc＝[s1,s2,si1,s4,s5,s6,s7]，并且位置标签是p＝3，则替换文本行是Sm＝[s1,s2,MASK,s4,s5,s6,s7]。通过所述训练好的质量感知遮挡语言模型，预测到所述待替换字的目标位置为p＝3，将所述目标字替换所述待替换字，获得第一次迭代文本，若所述第一次迭代文本为Sg1＝[s1,s2,s3,s4,s5,s6,s7]，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中所述待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，预测新的目标位置为P＝0，判断0是所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

进一步地，在所述步骤S20之前，还包括：

将所述文本草稿进行向量化获得训练好的质量感知遮挡语言模型的输入向量。

相应地，所述步骤S20，包括：

根据所述输入向量通过训练好的质量感知遮挡语言模型，对所述输入向量中待替换字的位置进行预测，获得所述待替换字的目标位置。

可理解的是，需要将所述文本草稿表示成向量形式，才能通过所述预设质量感知遮挡语言模型进行迭代，以生成质量更好的目标文本。将所述文本草稿表示成向量形式，获得训练好的质量感知遮挡语言模型的输入向量，从而通过所述训练好的质量感知遮挡语言模型，对所述输入向量中所述待替换字的位置进行预测，获得所述待替换字的目标位置。

相应地，所述步骤S30，包括：

对所述目标位置的字进行遮挡，获得遮挡文本，根据所述遮挡文本通过所述训练好的质量感知遮挡语言模型，结合所述目标位置的上下文语境信息对所述遮挡文本的所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

可理解的是，所述训练好的质量感知遮挡语言模型中的遮蔽语言模型对所述目标位置的待替换字进行遮挡，获得所述遮挡文本，例如所述文本草稿Sg＝[s1,s2,s3,s4,s5,s6,s7]，所述目标位置是p＝3，对p＝3处的字进行遮挡，则所述遮挡文本是Sm＝[s1,s2,MASK,s4,s5,s6,s7]。将所述遮挡文本输入所述训练好的质量感知遮挡语言模型，所述训练好的质量感知遮挡语言模型结合所述目标位置p＝3的左右两侧语境，即所述上下文语境信息，对所述遮挡文本中进行遮挡的所述目标位置p＝3的语义进行预测，预测出质量更好的字，即所述目标字。

本实施例中，通过判断所述目标位置是否为第二预设值，若所述目标位置为所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，实现自动迭代终止，显著地提升了文本生成效果和质量，避免了现有方法简单地从左到右地完全重新生成式的迭代过程，同时也避免了无法选择合适迭代轮次，且计算量偏大的问题。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于质量感知的文本生成程序，所述基于质量感知的文本生成程序被处理器执行时实现如上文所述的基于质量感知的文本生成方法的步骤。

此外，参照图5，本发明实施例还提出一种基于质量感知的文本生成装置，所述基于质量感知的文本生成装置包括：

生成模块10，用于获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿。

应理解的是，文本自动生成能应用于多种应用场景，比如人工智能(ArtificialIntelligence，AI)自动生成歌词，首先，设定一个关键词，将所述关键词输入所述序列到序列模型，所述序列到序列模型根据所述关键词生成句子，输出第一句话，将所述第一句话再输入所述序列到序列模型，所述序列到序列模型根据所述第一句话生成第二句话，再将所述第二句话输入所述序列到序列模型，如此重复，直至生成所述文本草稿。为了提高效率，可通过多线程处理器对所述待处理语料集进行多线程处理，从而生成多个所述文本草稿。

在具体实现中，还有其他很多应用场景，比如人工客服等场景，用户提出问题，进行语音识别，采集用户语音，并将所述用户语音转换为文本，即所述待处理语料集，所述待处理语料集的内容可能不能准确表达出视频会议传达的真实意图，此时需要通过所述序列到序列模型对所述待处理语料集进行处理，序列到序列模型(Sequence to Sequencenetwork or Encoder Decoder network，Seq2Seq)是由两个称为编码器和解码器组成的模型。编码器读取输入序列并输出单个矢量，解码器读取该矢量以产生输出序列。使用seq2seq模型，编码器会创建一个单一的矢量，在理想的情况下，将输入序列的“含义”编码为单个矢量-句子的N维空间中的单个点，从而生成所述文本草稿。

需要说明的是，上述编码-解码的方式生成文本草稿存在缺陷，在解码过程中，由左到右(或由右到左)逐字单向生成的，只考虑了前面已经生成的文本信息，一旦前面文本生成效果不好，则会对后生成的文本产生较大影响，造成偏差累积。因此，本实施例提出一种训练好的质量感知遮挡语言模型，通过掩盖字的位置然后对掩盖字的语义进行预测，通过学习所述掩盖字的上下文信息来实现预测。

预测模块20，用于根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置。

可理解的是，所述文本草稿包括至少一句话，可将所述文本草稿中的一句话、两句话、三句话或者多句话输入所述训练好的质量感知遮挡语言模型，所述训练好的质量感知遮挡语言(Quality Aware-Masked Language Model，QA-MLM)模型，根据上下文语境信息对所述文本草稿中所述待替换字的位置进行预测，比如，输入一句话包含7个字，Sg＝[s1,s2,s3,s4,s5,s6,s7]，对这句话中7个字，也就是有7个分类，结合上下文语境判断是否存在质量较差的字，即是否存在所述待替换字，若预测到位置P＝2为是质量较差的字，则所述目标位置为P＝2。

应理解的是，所述训练好的质量感知遮挡语言模型通过对待训练质量感知遮挡语言模型训练而获得，所述待训练质量感知遮挡语言模型可以是基于改进的双向编码器表征(Bidirectional Encoder Representations from Transformers，BERT)模型，所述BERT模型的输入为两句话：第一句话和第二句话，能够预测第一句话的下一句是否为第二句话，但是不能对句子中的字的质量进行预测。本实施例中，通过建立待训练质量感知遮挡语言模型；获取大量的标准文本，对所述标准文本中的字进行随机替换，获得替换文本；根据大量的所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。所述训练好的质量感知遮挡语言模型具备预测句子中每个字的质量是否较差，从而对预测的质量较差的字进行替换，输入不仅仅只是两句话，还可以是一句话、三句话或多句话，训练好的质量感知遮挡语言模型具备更好的质量感知能力。

所述预测模块20，还用于通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

需要说明的是，所述训练好的质量感知遮挡语言模型中的遮蔽语言模型(maskedlanguage model，MLM)对所述目标位置的待替换字进行遮挡，融合所述目标位置的左右两侧语境，即所述上下文语境信息，对进行遮挡的所述目标位置的语义进行预测，预测出质量更好的字，即所述目标字。

迭代模块30，用于通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

应理解的是，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，继续输入所述训练好的质量感知遮挡语言模型，通过训练好的质量感知遮挡语言模型，根据所述第一次迭代文本对所述第一次迭代文本中所述待替换字的位置进行预测，获得所述待替换字的目标位置；通过所述训练好的质量感知遮挡语言模型，根据所述上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第二次迭代文本，实现又一次迭代，将所述第二次迭代文本作为新的文本草稿，继续输入所述训练好的质量感知遮挡语言模型，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

需要说明的是，在预测所述待替换字的目标位置之后，还包括：判断所述目标位置是否为第二预设值；若所述目标位置不是所述第二预设值，则认定所述文本草稿中还存在未被替换的待替换字，继续迭代，执行所述通过所述训练好的质量感知遮挡语言模型，根据所述上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字的步骤，直至所述目标位置是所述第二预设值，则认定所述文本草稿中所有待替换字均被替换，迭代终止，获得迭代更新后的目标文本。所述第二预设值等于所述第一预设值，用于判断所述文本草稿中是否存在待替换字被感知，若没有待替换字被感知，则认定所述文本草稿中所有待替换字均被替换。

具体应用中，通过所述训练好的质量感知遮挡语言模型对所述歌词文本草稿进行迭代更新，获得目标歌词文本。

在进行迭代更新期间，首先预测所有具有待替换字在所述文本草稿的可能位置，再屏蔽这些位置上的字符，通过所述文本草稿输入到所述训练好的质量感知遮挡语言模型，可以预测相应的字符。结合上下文语境，在语义一致性和一致性方面，预测字符比原来的字符更合适。因此，用预测的字符替换所述文本草稿中的字符，完成一个迭代更新步骤，可以多次迭代更新所述文本草稿，直至所述预设质量感知掩蔽语言模型预测到预设终止位置(P＝0)。

本实施例中，通过获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿，根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置，对位置进行预测，提高预测的精准度；通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字，结合上下文语境能够提高语义预测的准确性，能够预测到质量更好的字；通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，基于人工智能，通过多次迭代提高文本生成质量。

在一实施例中，所述基于质量感知的文本生成装置还包括：

随机替换模块，用于获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本；

建立模块，用于建立待训练质量感知遮挡语言模型；

训练模块，用于根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

在一实施例中，所述替换文本包括：第一预设比例的第一替换文本、第二预设比例的第二替换文本和第三预设比例的标准文本；

所述随机替换模块，还用于通过随机标记，选取所述标准文本中每句话中的任意一个字随机替换为另外一个字获得第一替换文本，并记录被替换的字的位置标签，所述第一预设比例为所述第一替换文本占所有替换文本的比例；通过随机标记，选取所述标准文本中每句话中的任意两个字随机替换为另外两个字获得第二替换文本，并记录被替换的字的位置标签，所述第二预设比例为所述第二替换文本占所有替换文本的比例；保持所述标准文本不变，将所述标准文本作为替换文本，并将位置标签记录为第一预设值，所述第三比例为所述标准文本占所有替换文本的比例。

在一实施例中，所述预测模块20，还用于根据所述第一替换文本或所述第二替换文本通过所述待训练质量感知遮挡语言模型，对所述第一替换文本或所述第二替换文本中待更新字的位置进行预测，获得待更新字的预测位置；通过所述待训练质量感知遮挡语言模型对所述预测位置的字的语义进行预测，获得所述预测位置对应的预测字；通过所述待训练质量感知遮挡语言模型，将所述预测字替换所述待更新字，获得第一次预测文本，实现一次迭代，将所述第一次预测文本作为新的替换文本，返回所述根据所述新的替换文本通过所述待训练质量感知遮挡语言模型，对所述新的替换文本中待更新字的位置进行预测，获得待更新字的预测位置的步骤，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本，并根据所述标准文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

在一实施例中，所述基于质量感知的文本生成装置还包括：

计算模块，用于计算所述预测文本与所述标准文本之间的文本相似度；

判断模块，用于判断所述文本相似度是否超过预设相似度阈值；

调整模块，用于在所述文本相似度未超过所述预设相似度阈值时，对所述第一比例、所述第二比例和所述第三比例进行调整，获得新的第一比例、新的第二比例和新的第三比例；

所述训练模块，还用于根据所述新的第一比例、所述新的第二比例和所述新的第三比例的替换文本对所述待训练质量感知遮挡语言模型进行训练，直至所述文本相似度超过所述预设相似度阈值，则停止对所述第一比例、所述第二比例和所述第三比例的调整。

在一实施例中，所述基于质量感知的文本生成装置还包括：

所述判断模块，还用于判断所述目标位置是否为第二预设值；

所述迭代模块30，还用于若所述目标位置为所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

在一实施例中，所述预测模块20，还用于对所述目标位置的字进行遮挡，获得遮挡文本，根据所述遮挡文本通过所述训练好的质量感知遮挡语言模型，结合所述目标位置的上下文语境信息对所述遮挡文本的所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

本发明所述基于质量感知的文本生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于质量感知的文本生成方法，其特征在于，所述基于质量感知的文本生成方法包括以下步骤：

获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿；

根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置；

通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；

通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

2.如权利要求1所述的基于质量感知的文本生成方法，其特征在于，所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置之前，所述基于质量感知的文本生成方法还包括：

获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本；

建立待训练质量感知遮挡语言模型；

根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

3.如权利要求2所述的基于质量感知的文本生成方法，其特征在于，所述替换文本包括：第一预设比例的第一替换文本、第二预设比例的第二替换文本和第三预设比例的标准文本；

所述获取标准文本，对所述标准文本中的字进行随机替换，获得替换文本，包括：

通过随机标记，选取所述标准文本中每句话中的任意一个字随机替换为另外一个字获得第一替换文本，并记录被替换的字的位置标签，所述第一预设比例为所述第一替换文本占所有替换文本的比例；

通过随机标记，选取所述标准文本中每句话中的任意两个字随机替换为另外两个字获得第二替换文本，并记录被替换的字的位置标签，所述第二预设比例为所述第二替换文本占所有替换文本的比例；

保持所述标准文本不变，将所述标准文本作为替换文本，并将位置标签记录为第一预设值，所述第三比例为所述标准文本占所有替换文本的比例。

4.如权利要求3所述的基于质量感知的文本生成方法，其特征在于，所述根据所述标准文本和所述替换文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型，包括：

根据所述第一替换文本或所述第二替换文本通过所述待训练质量感知遮挡语言模型，对所述第一替换文本或所述第二替换文本中待更新字的位置进行预测，获得待更新字的预测位置；

通过所述待训练质量感知遮挡语言模型对所述预测位置的字的语义进行预测，获得所述预测位置对应的预测字；

通过所述待训练质量感知遮挡语言模型，将所述预测字替换所述待更新字，获得第一次预测文本，实现一次迭代，将所述第一次预测文本作为新的替换文本，返回所述根据所述新的替换文本通过所述待训练质量感知遮挡语言模型，对所述新的替换文本中待更新字的位置进行预测，获得待更新字的预测位置的步骤，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本，并根据所述标准文本对所述待训练质量感知遮挡语言模型进行训练，获得训练好的质量感知遮挡语言模型。

5.如权利要求4所述的基于质量感知的文本生成方法，其特征在于，直至所述第一替换文本或所述第二替换文本中所有待更新字均被替换，则迭代终止，获得预测文本之后，包括：

计算所述预测文本与所述标准文本之间的文本相似度；

判断所述文本相似度是否超过预设相似度阈值；

在所述文本相似度未超过所述预设相似度阈值时，对所述第一比例、所述第二比例和所述第三比例进行调整，获得新的第一比例、新的第二比例和新的第三比例；

根据所述新的第一比例、所述新的第二比例和所述新的第三比例的替换文本对所述待训练质量感知遮挡语言模型进行训练，直至所述文本相似度超过所述预设相似度阈值，则停止对所述第一比例、所述第二比例和所述第三比例的调整。

6.如权利要求1所述的基于质量感知的文本生成方法，其特征在于，所述直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本，包括：

判断所述目标位置是否为第二预设值；

若所述目标位置为所述第二预设值，则认定所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

7.如权利要求1-6中任一项所述的基于质量感知的文本生成方法，其特征在于，所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置之前，所述基于质量感知的文本生成方法还包括：

将所述文本草稿进行向量化获得训练好的质量感知遮挡语言模型的输入向量；

所述根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置，包括：

根据所述输入向量通过训练好的质量感知遮挡语言模型，对所述输入向量中待替换字的位置进行预测，获得所述待替换字的目标位置；

所述通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字，包括：

对所述目标位置的字进行遮挡，获得遮挡文本，根据所述遮挡文本通过所述训练好的质量感知遮挡语言模型，结合所述目标位置的上下文语境信息对所述遮挡文本的所述目标位置的语义进行预测，获得所述目标位置对应的目标字。

8.一种基于质量感知的文本生成设备，其特征在于，所述基于质量感知的文本生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于质量感知的文本生成程序，所述基于质量感知的文本生成程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于质量感知的文本生成方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有基于质量感知的文本生成程序，所述基于质量感知的文本生成程序被处理器执行时实现如权利要求1至7中任一项所述的基于质量感知的文本生成方法的步骤。

10.一种基于质量感知的文本生成装置，其特征在于，所述基于质量感知的文本生成装置包括：

生成模块，用于获取待处理语料集，将所述待处理语料集进行多线程处理，通过序列到序列模型生成文本草稿；

预测模块，用于根据所述文本草稿通过训练好的质量感知遮挡语言模型，对所述文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置；

所述预测模块，还用于通过所述训练好的质量感知遮挡语言模型，根据所述目标位置的上下文语境信息对所述目标位置的语义进行预测，获得所述目标位置对应的目标字；

迭代模块，用于通过所述训练好的质量感知遮挡语言模型，将所述目标字替换所述待替换字，获得第一次迭代文本，将所述第一次迭代文本作为新的文本草稿，返回所述根据所述新的文本草稿通过训练好的质量感知遮挡语言模型，对所述新的文本草稿中待替换字的位置进行预测，获得所述待替换字的目标位置的步骤，直至所述文本草稿中所有所述待替换字均被替换，迭代终止，获得迭代更新后的目标文本。

Images