CN116432705A - 文本生成模型构建、文本生成方法和装置、设备及介质 - Google Patents

文本生成模型构建、文本生成方法和装置、设备及介质 Download PDF

Info

Publication number
CN116432705A
CN116432705A CN202310312753.5A CN202310312753A CN116432705A CN 116432705 A CN116432705 A CN 116432705A CN 202310312753 A CN202310312753 A CN 202310312753A CN 116432705 A CN116432705 A CN 116432705A
Authority
CN
China
Prior art keywords
text
sequence
repeated
predicted
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310312753.5A
Other languages
English (en)
Inventor
陈焕坤
王伟
曾志贤
张黔
张兴
顾伟正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Resources Digital Technology Co Ltd
Original Assignee
China Resources Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Resources Digital Technology Co Ltd filed Critical China Resources Digital Technology Co Ltd
Priority to CN202310312753.5A priority Critical patent/CN116432705A/zh
Publication of CN116432705A publication Critical patent/CN116432705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种文本生成模型构建、文本生成方法和装置、设备及介质，属于人工智能技术领域。方法包括：获取并将原始文本序列和重复文本序列输入至包括编码器、解码器、重复感知网络和全连接层的文本生成模型；通过编码器对原始文本序列进行编码得到文本向量序列；通过解码器对文本向量序列和重复文本序列进行解码得到候选文本序列；通过重复感知网络对候选文本序列进行重复字识别得到预测文本序列；通过全连接层对预测文本序列进行归一化得到预测字符概率序列；对预测字符概率序列和参考文本序列进行损失计算得到目标损失数据；根据目标损失数据对文本生成模型的参数调整。本申请实施例构建生成重复内容少的文本生成模型。

Description

文本生成模型构建、文本生成方法和装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种文本生成模型构建、文本生成方法和装置、设备及介质。
背景技术
目前，自然语言生成也称为文本生成，以在给定序列输入文本生成模型以输出特定要求的输出序列。但是由于文本生成模型并没有考虑到重复性问题，所以基于序列到序列的文本生成模型无法克服输出文本存在重复性问题，使得生成结果难以满足特定要求。因此，如何构建抑制文本重复性的文本生成模型，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种文本生成模型构建、文本生成方法和装置、设备及介质，旨在构建减少重复文本生成的文本生成模型，以减少生成文本中的重复性问题。
为实现上述目的，本申请实施例的第一方面提出了一种文本生成模型构建方法，所述方法包括：
获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
将所述原始文本序列和所述重复文本序列输入至预设的文本生成模型；其中，所述文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
根据所述目标损失数据对所述文本生成模型进行参数调整。
在一些实施例，所述候选文本序列包括文本向量；所述重复感知网络包括：积分层、第一归一化层和加权求和层；所述通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列，包括：
通过所述积分层对所述候选文本序列中的任意两个文本向量进行求积处理，得到候选相似度分值，并获取负数的所述候选相似度分值作为选定相似度分值；
通过所述第一归一化层对所述选定相似度分值进行归一化处理，得到目标相似度分值；
通过所述加权求和层和所述目标相似度分值对所述候选文本序列中的文本向量进行加权求和，得到所述预测文本序列。
在一些实施例，所述全连接层包括：矩阵处理层和第二归一化层；所述通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列，包括：
通过所述矩阵处理层和预设的矩阵参数对所述预测文本序列进行矩阵相乘，得到文本矩阵；其中，所述文本矩阵包括：候选字符概率；
通过所述第二归一化层对所述候选字符概率进行归一化处理，得到所述预测字符概率，并将所述文本矩阵的所述预测字符概率合并成所述预测字符概率序列。
在一些实施例，所述重复文本序列包括：字级重复序列、词级重复序列和句级重复序列；所述字符概率序列包括：第一概率序列和第二概率序列；所述第一概率序列为所述字级重复序列的所述预测字符概率序列，所述第二概率序列为所述词级重复序列和所述句级重复序列的所述预测字符概率序列；
所述对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据，包括：
对所述第一概率序列进行损失计算，得到第一损失数据；
对所述第二概率序列进行损失计算，得到第二损失数据；
对所述预测字符概率序列和所述参考文本序列进行损失计算，得到文本生成损失数据；
将所述第一损失数据、所述第二损失数据和所述文本生成损失数据进行合并，得到所述目标损失数据。
在一些实施例，所述获取文本训练数据，包括：
获取所述原始文本序列和所述参考文本序列；
获取所述参考文本序列的首句序列作为参考句序列；
在所述参考句序列中加入预设的重复字，得到所述字级重复序列；其中，所述重复字为所述参考句序列中的任意一个字；
在所述参考句序列中加入预设的重复词，得到所述词级重复序列；其中，所述重复词为所述参考句序列中的任意一个词；
对所述参考句序列进行重复拼接处理，得到所述句级重复序列。
为实现上述目的，本申请实施例的第二方面提出了一种文本生成方法，所述方法包括：
获取待处理文本序列；
将所述待处理文本序列输入至文本生成模型进行文本生成，得到目标字符概率序列；其中，所述文本生成模型通过上述第一方面所述的文本生成模型构建方法生成；
根据预设词表和所述目标字符概率序列生成目标文本。
在一些实施例，所述根据预设词表和所述目标字符概率序列生成所述目标文本，包括：
从所述目标字符概率序列中选出最大字符概率对应的字符位置，得到目标字符位置；
根据所述目标字符位置从所述预设词表中挑选出目标字符；
将所述目标字符进行顺序组合，得到所述目标文本。
为实现上述目的，本申请实施例的第三方面提出了一种文本生成模型构建装置，所述装置包括：
数据获取模块，用于获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
文本输入模块，用于将所述文本训练数据输入至预设的文本生成模型；其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
编码模块，用于通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
解码模块，用于通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
重复字识别模块，用于通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
归一化模块，用于通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
损失计算模块，用于对所述字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
参数调整模块，用于根据所述目标损失数据对所述文本生成模型进行参数调整。
为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第五方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请提出的文本生成模型构建、文本生成方法和装置、设备及介质,其通过先构造重复文本序列，并将重复文本序列和原始文本序列输入至文本生成模型，且文本生成模型包括重复感知网络，以通过重复感知网络感知原始文本序列中的重复内容，根据重复感知网络感知的重复内容减少输出文本中的重复内容，以构建生成文本的结果更优的文本生成模型。
附图说明
图1是本申请实施例提供的文本生成模型构建方法的流程图；
图2是图1中的步骤S101的流程图；
图3是图1中的步骤S105的流程图；
图4是图1中的步骤S106的流程图；
图5是图1中的步骤S107的流程图；
图6是本申请实施例提供的文本生成方法的流程图；
图7是图6中的步骤S603的流程图；
图8是本申请实施例提供的文本生成模型构建装置的结构示意图；
图9是本申请实施例提供的文本生成装置的结构示意图；
图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
Softmax函数：Softmax函数或称归一化指数函数，是逻辑函数的一种推广。Softmax函数能将一个含任意实数的K维向量Z“压缩”到另一个K维实向量σ(Z)中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1。
全连接层：全连接层，是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。
自然语言生成和自然语言理解是自然语言处理领域的两大分支。其中，自然语言生成也称为文本生成，旨在给定输入序列的前提下，生成满足特定要求的输出序列。其中，文本生成技术的应用领域十分广泛。例如，新闻摘要生成、对话生成和文言文生成等。
传统文本生成技术主要采用基于规则的方法，这种方法要人为设定规则模板，工作量大且生成文本单一，多样性低。随着深度学习的发展，基于序列到序列的模型成为文本生成的主流方法，并衍生出众多新兴的研究方向。例如，可控文本生成、长文本生成等领域。
然而，基于序列到序列的方法通常具有重复生成的通病，导致生成结果的可读性大为降低。为了解决重复性问题，大多数工作研究对解码算法加以改进，如集束搜索等，而训练阶段模型并不能学到如何缓解重复文本生成问题，导致文本生成的结果较差。
基于此，本申请实施例提供了一种文本生成模型构建、文本生成方法和装置、设备及介质，通过先构造重复文本序列，并将重复文本序列和原始文本序列输入至文本生成模型，且文本生成模型包括重复感知网络，以通过重复感知网络感知原始文本序列中的重复内容，根据重复感知网络感知的重复内容减少输出文本中的重复内容，以生成文本的结果更优。
本申请实施例提供的文本生成模型构建、文本生成方法和装置、设备及介质，具体通过如下实施例进行说明，首先描述本申请实施例中的文本生成模型构建方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的文本生成模型构建方法，涉及人工智能技术领域。本申请实施例提供的文本生成模型构建方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现文本生成模型构建方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据、用户图片信息以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的文本生成模型构建方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S108。
步骤S101，获取文本训练数据；其中，文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
步骤S102，将原始文本序列和重复文本序列输入至预设的文本生成模型；其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
步骤S103，通过编码器对原始文本序列进行编码处理，得到文本向量序列；
步骤S104，通过解码器对文本向量序列和重复文本序列进行解码处理，得到候选文本序列；
步骤S105，通过重复感知网络对候选文本序列进行重复字识别处理，得到预测文本序列；
步骤S106，通过全连接层对预测文本序列进行归一化处理，得到预测字符概率序列；其中，预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
步骤S107，对字符概率序列和参考文本序列进行损失计算，得到目标损失数据；
步骤S108，根据目标损失数据对文本生成模型进行参数调整。
本申请实施例所示意的步骤S101至步骤S108，通过将获取的原始文本序列和重复文本序列输入至预设的文本生成模型，文本生成模型包括：编码器、解码器、重复感知网络和全连接层，通过编码器先对原始文本序列进行编码处理得到文本向量序列，再通过解码器对文本向量序列和重复文本序列进行解码处理得到候选文本序列，然后由重复感知网络对候选文本序列进行重复字识别并减弱重复字以输出预测文本序列，通过全连接层对预测文本序列进行归一化后得到预测字符概率序列，以通过预测字符概率序列可以知晓每一位置对应到预设词表中每一字符的概率值，即可基于原始文本序列生成的预测文本。然后对预测字符概率序列和参考文本序列进行损失计算得到目标损失数据，以根据目标损失数据确定文本生成模型的损失情况，根据目标损失数据对文本生成模型进行参数调整，以构建减少文本内容重复生成的文本生成模型，使得文本生成效果更优。
在一些实施例的步骤S101中，可以直接采集文本训练数据。也可以通过其他方式从预设训练数据库中提取文本训练数据，不限于此。
请参阅图2，在一些实施例中，步骤S101可以包括但不限于包括步骤S201至步骤S205：
步骤S201，获取原始文本序列和参考文本序列；
步骤S202，获取参考文本序列的首句序列作为参考句序列；
步骤S203，在参考句序列中加入预设的重复字，得到字级重复序列；其中，重复字为参考句序列中的任意一个字；
步骤S204，在参考句序列中加入预设的重复词，得到词级重复序列；其中，重复词为参考句序列中的任意一个词；
步骤S205，对参考句序列进行重复拼接处理，得到句级重复序列。
在一些实施例的步骤S201中，获取原始文本序列和参考文本序列，原始文本序列由原始文本生成，根据原始文本中每一字映射的字向量组合成原始文本序列，参考文本序列由参考文本生成，以根据参考文本中每一字映射的字向量得到参考文本序列。其中，根据文本生成模型的应用场景不同，原始文本对应的参考文本不同。例如，若文本生成模型的应用场景为文本摘要生成，那么参考文本通过原始文本中提取出摘要；若文本生成模型的应用场景为对话生成，那么参考文本是基于原始文本的回复文本；若文本生成模型的应用场景为文言文生成，那么参考文本是对应于原始文本的文言文。因此，根据文本生成模型的应用场景，获取符合应用场景的原始文本和参考文本，并基于原始文本映射的字向量得到原始文本序列，再基于参考文本映射的字向量得到参考文本序列。
在一些实施例的步骤S202中，为了减少文本生成模型输出文本中的重复内容，需要提前构造重复文本序列。其中，重复文本序列包括：字级重复序列、词级重复序列、句级重复序列，字级重复序列表示句子中重复一个字，词级重复序列表示句子中重复一个词，句级重复序列表示整个句子重复。为了构建重复文本序列，需要先选出参考句序列，所以先在参考文本序列中提取出首句序列作为参考句序列。参考文本序列设置多个，并对每一参考序列开头的首个句子对应的序列设置为参考句序列，以构建多个参考句序列。
在一些实施例的步骤S203中，从参考句序列中选出一个词作为重复字，然后在参考句序列对应重复字位置后增加重复字，且迭代增加重复字。具体地，若确定参考文本序列中首个句子作为参考句序列S，并随即选择参考句序列中某个位置i的字作为重复字Si，在位置i后面迭代拼接重复字Si，以构建出字级重复序列为X′＝[S,Si,Si,…,Si]。
例如，若参考句序列对应的参考句为“今天天气很好”，确定重复字为“好”，那么生成字级重复序列对应的重复句为“今天天气很好好好好……”。
在一些实施例的步骤S204中，从参考句序列中筛选出任意一个短句作为重复词，并在参考句序列中重复词对应位置后增加重复词，采用重复迭代的方式增加重复词得到词级重复序列。具体地，从参考句序列中随机选择某个短句Si:i+m作为重复词，m为短语长度，并将重复词Si:i+m加入到参考重复序列对应位置后得到词级重复序列X″＝[S0:i+m,Si:i+m,…]。
例如，若确定重复词为“天气很好”，将重复词迭代增加在参考句序列中得到词级重复序列对应的句子为“今天天气很好天气很好天气很好……”。
完成字级重复序列和词级重复序列构建后，在一些实施例的步骤S205中，直接将整个参考句序列进行重复拼接，且迭代拼接得到句级重复序列，以构建字级重复序列、词级重复序列和句级重复序列，得到满足多种情况的重复内容。具体地，将参考句序列进行拼接得到句级重复序列为X″′＝[S,S,…S]。完成字级重复序列、词级重复序列和句级重复序列构建后，需要将三个序列截断至长度为n，且n为需要输出文本的文本长度。
例如，若参考句序列对应的参考句为“今天天气很好”，将参考句序列进行拼接得到句级重复序列对应的句子为“今天天气很好今天天气很好今天天气很好……”。
在本申请实施例所示意的步骤S201至步骤S205，通过选出参考文本序列中的首句作为参考句序列，再分别在参考句序列中增加重复字、重复词得到字级别重复序列、词级重复序列，然后将参考句序列进行重复拼接得到句级重复序列，最后构建三种级别的重复序列，以构建多种不同重复情况的重复序列，便于针对不同重复情况进行重复内容修正，减少文本中的重复内容。
构建完成重复文本序列之后，在一些实施例的步骤S102中，将原始文本序列和重复文本序列输入至文本生成模型，以基于重复文本序列和原始文本序列生成重复内容少的预测文本序列。其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层，重复感知网络能够将解码器输出的文本序列中的重复内容减少，以提高文本生成的效果。
具体地，编码器也称为transformer encoder，编码器用于将输入压缩成潜在空间表征，然后通过这种表征来重构输出。解码器也称为transformer decoder，用于根据给定输入向目标方向进行特征提取。重复感知网络内设有重复感知机制，以根据重复感知机制感知重复字，并减弱重复字的输出，以提升文本生成的效果。全连接层在本实施例用于归一化处理，以将重复感知网络输出的序列进行归一化处理，以生成元素总和为1的序列。
在一些实施例的步骤S103中，将原始文本序列输入至编码器，通过编码器对原始文本序列进行编码处理，也即将原始文本序列中每一文字对应的数据映射为向量以构建出文本向量序列。其中，文本向量序列包括多个文本向量，且每一文本向量用于表征原始文本序列中的每一文字数据。因此，通过向量的形式表征文字数据，能够更好地生成文本。具体地，若原始文本序列为Source Sequence，通过编码器对原始文本序列进行编码后得到文本向量序列为T(t1，t2，…,tn)。
在一些实施例的步骤S104中，编码器输出文本向量序列后，将文本向量序列和重复文本序列输入至解码器，以通过解码器对文本向量序列和重复文本序列进行解码处理，以找出能够表征原始文本序列的特征的候选文本序列。候选文本序列为H＝h1，h2，...，hn，且候选文本序列为隐状态序列。
需要说明的是，重复文本序列包括：字级重复序列、词级重复序列和句级重复序列，将字级重复序列和文本向量序列输入至解码器进行解码处理得到第一文本序列，将词级重复序列、句级重复序列和文本向量序列输入至解码器进行解码处理得到第二文本序列。因此，根据不同级别的重复序列生成对应的文本序列，能够基于解码器输出的文本序列判断不同重复情况的去重效果。
请参阅图3，在一些实施例中，候选文本序列包括文本向量；重复感知网络包括：积分层、第一归一化层和加权求和层；步骤S105可以包括但不限于包括步骤S301至步骤S303：
步骤S301，通过积分层对候选文本序列中的任意两个文本向量进行求积处理，得到候选相似度分值，并获取负数的候选相似度分值作为选定相似度分值；
步骤S302，通过第一归一化层对选定相似度分值进行归一化处理，得到目标相似度分值；
步骤S303，通过加权求和层和目标相似度分值对候选文本序列中的文本向量进行加权求和，得到预测文本序列。
在一些实施例的步骤S301中，候选文本序列包括多个文本向量，候选文本序列输入至积分层后，通过积分层对候选文本序列中的文本向量两两进行内积以得到候选相似度分值，以通过文本向量内积方式判断相邻两个文本向量是否相似，以根据候选相似度分值确定重复字。确定候选相似度分值后，选出负数的候选相似度分值作为选定相似度分值，且负数的候选相似度分值表征文本向量之间弱相似。
在一些实施例的步骤S302中，将选定相似度分值输入至第一归一化层进行归一化处理，以将选定相似度分值进行归一化处理得到目标相似度分值。其中，第一归一化层采用softmax函数对选定相似度分值进行归一化处理得到目标相似度分值。
具体地，由于候选相似度分值存在多个，那么目标相似度分值也存在多个，且按照顺序排序。候选相似分值通过文本向量内积得到，那么候选相似度分值为aij＝hi*hj，j≤i，且从候选相似度分值中选出负数的候选相似度分值为选定相似度分值ai＝[-ai1，-ai2，...，-aii]，且通过softmax函数对选定相似度分值进行归一化处理得到目标相似度分值为a′1＝softmax(ai)＝[a′i1，a′i2，...，a′1i]。因此，目标相似度分值为已经筛除重复度高的分值，以选出弱相似度，根据弱相似度的目标相似度分值即可计算出重复度低的文本序列。
确定了目标相似度分值后，且目标相似度分值存在多个，将多个目标相似度分值组合成目标相似度序列，在一些实施例的步骤S303中，通过目标相似度序列中的每一目标相似度分值作为权重系数和候选文本序列中的文本向量进行加权求和。其中，目标相似度分值越高，那么对应文本向量更加显著，若目标相似度分值越低，对应的文本向量输出也即更加不显著，通过对目标相似度分值和文本向量加权求和的方式计算出预测文本序列，以生成减弱重复内容的预测文本序列。
具体地，目标相似度分值和文本向量的计算为：h′i＝[a′i1*h1+a′i2*h2+…+a′ii*hi]+hi；其中，aij表示文本向量hi与hj之间的相似度。因此，通过公式计算出预测文本序列为H′＝[h′1,h′2,…,h′n]，以生成重复文本内容减弱的预测文本序列。
本申请实施例步骤S301至步骤S303,先对候选文本序列中的文本向量进行两两内积得到候选相似度分值，再获取负数的候选相似度分值作为选定相似度分值，然后对选定相似度分值进行归一化处理得到目标相似度分值，最后将目标相似度分值作为权重与文本向量进行加权求和处理得到预测文本序列。因此，选择负数的候选相似度分值，以选择弱相似度对应的相似度分值作为权重参数，以弱化重复的文本向量，突显不重复的文本向量，生成重复内容更少的预测文本序列。
请参阅图4，在一些实施例中，步骤S106可以包括但不限于包括步骤S401至步骤S402：
步骤S401，通过矩阵处理层和预设的矩阵参数对预测文本序列进行矩阵相乘，得到文本矩阵；其中，文本矩阵包括：候选字符概率；
步骤S402，通过第二归一化层对候选字符概率进行归一化处理，得到预测字符概率，并将文本矩阵的预测字符概率合并成预测字符概率序列。
在一些实施例的步骤S401中，全连接层包括矩阵处理层和第二归一化层，矩阵处理层预先设置矩阵参数，预测文本序列中文本向量的维度为D，预设词表大小为V，且预测文本序列的维度为n*D，预设的矩阵参数为矩阵W，维度为D*V。所以根据矩阵参数和预测文本序列进行矩阵乘法得到文本矩阵，设输出文本矩阵为P，P＝H’*W，维度为n*V。因此，将预测文本序列转换为与预设矩阵参数相关联的矩阵，以确定预测文本矩阵对应于预设词表中每一个字的文本矩阵。
确定文本矩阵后，且文本矩阵包括候选字符概率，需要进一步确定预测文本序列对应于预设词表中每一个字的概率值。在一些实施例的步骤S402中,通过第二归一化层对候选字符概率进行归一化处理，以得到预测字符概率。其中，文本矩阵的预测字符概率相加得到1。具体地，对候选字符概率进行归一化处理，主要运用softmax函数对文本矩阵中每一候选字符概率进行归一化操作，且对应的公式如公式(1)所示：
Figure BDA0004149126490000111
其中,pij为预测字符概率，
Figure BDA0004149126490000121
为第i个候选字符的置信度，也即上述第i个候选字符概率。
因此，通过公式(1)计算得到预测字符概率，并将预测字符概率合并成预测字符概率序列为pi＝[pi1,pi2,…,piV]。
在本申请实施例所示意的步骤S401至步骤S402，通过先根据预设的矩阵参数将预测文本序列转换为与预设词表对应的文本矩阵，再对文本矩阵中每一候选字符概率进行归一化处理得到预测字符概率，且预测字符概率合并成预测字符概率序列，以通过预测字符概率序列中的预测字符概率可以知晓对应于预测词表中字符的概率，便于根据预测字符概率序列从预设词表中找出对应的字符以构建预测文本。
请参阅图5，字符概率序列包括：第一概率序列和第二概率序列；第一概率序列为字级重复序列的预测字符概率序列，第二概率序列为词级重复序列和句级重复序列的预测字符概率序列；在一些实施例中，步骤S107可以包括但不限于包括步骤S501至步骤S504：
步骤S501，对第一概率序列进行损失计算，得到第一损失数据；
步骤S502，对第二概率序列进行损失计算，得到第二损失数据；
步骤S503，对字符概率序列和参考文本序列进行损失计算，得到文本生成损失数据；
步骤S504，将第一损失数据、第二损失数据和文本生成损失数据进行合并，得到目标损失数据。
在一些实施例的步骤S501中，将重复文本序列设置为字级重复序列，将字级重复序列输入至解码器后经过了重复感知网络、全连接层以得到对应字级重复序列的预测字符概率序列为第一概率序列。由于重复生成的另一个原因在于文本生成模型陷入循环计算中，为了打破这种训练，需要设置两个损失函数，先对第一概率序列进行损失计算得到第一损失数据。其中，第一损失数据计算的公式如公式(2)所示：
Figure BDA0004149126490000122
其中，l表示序列开始重复的位置，
Figure BDA0004149126490000123
为第一概率序列中的预测字符概率，V(xi+1)表示字符xi+1在预设词表中的位置。
在一些实施例的步骤S502中，将词级重复序列、句级重复序列输入至解码器，然后再通过重复感知网络和全连接层输出对应于词级重复序列、句级重复序列的预测字符概率，并将预测字符概率合并成第二概率序列。通过对第二概率序列进行损失计算得到第二损失数据，且第二损失数据的计算公式如公式(3)所示：
Figure BDA0004149126490000131
其中，公式
Figure BDA0004149126490000132
计算两个预测字符概率之间的差值，α为可学习参数，用于控制差值的幅度。在已生成字符xi+1,xi+2的情况下，当再次生成字符xi+1时，第二损失数据可降低字符xi+2的预测字符概率，进而缓解生成重复的词或者句子。
在一些实施例的步骤S503中，为了使得文本生成模型生成的预测字符概率序列对应的文本序列逼近参考文本序列，需要对字符概率序列和参考文本序列进行损失计算。其中，先根据预测字符概率和预设词表生成预测文本，再将预测文本转换为预测文本序列，再对参考文本序列和预测文本序列进行损失计算得到文本生成损失数据，通过文本生成损失数据可以判断文本生成模型的文本生成准确度，而第一损失数据和第二损失数据用于判断生成文本的重复情况。
计算第一损失数据、第二损失数据和文本生成损失数据后，在一些实施例的步骤S504中，将第一损失数据、第二损失数据和文本生成损失数据相加得到目标损失数据，且目标损失数据的计算公式如公式(4)所示：
loss＝losstoken+lossspan+losstarget (4)
其中，losstoken为第一损失数据，lossspan为第二损失数据，losstarget为文本生成数据。
在本申请实施例所示意的步骤S501至步骤S504，通过计算第一损失数据、第二损失数据，根据第一损失数据和第二损失数据确定生成文本的重复情况，再计算文本生成损失数据，根据文本生成损失数据确定所生成的文本准确情况。因此，通过将第一损失数据、第二损失数据和文本生成损失数据求和得到目标损失数据，以根据目标损失数据对文本生成模型进行参数调整，使得文本生成模型既能够生成符合要求的文本，又能够减少文本中的重复内容，使得文本生成更加准确。
计算得到目标损失数据后，在一些实施例的步骤S108中，根据目标损失数据对文本生成模型进行参数调整，直至目标损失数据收敛。其中，根据目标损失数据对文本生成模型进行反复迭代地参数调整，且每次调整完文本生成模型的参数后，再计算目标损失数据，再根据目标损失数据调整文本生成模型，直至目标损失数据收敛完成文本生成模型的参数调整。
请参阅图6，本申请实施例还提供了一种文本生成方法，文本生成方法包括但不限于包括步骤S601至步骤S603：
步骤S601，获取待处理文本序列；
步骤S602，将待处理文本序列输入至文本生成模型进行文本生成，得到目标字符概率序列；其中，文本生成模型通过上述的文本生成模型构建方法生成；
步骤S603，根据预设词表和目标字符概率序列生成目标文本。
在一些实施例的步骤S601中，当需要构建目标文本时，先获取待处理文本序列，且待处理文本序列由待处理文本构建。其中，获取待处理文本序列根据文本生成模型的应用场景确定，若应用场景为摘要生成，获取待处理文本序列为文章对应的文本序列，若应用场景为对话，那么待处理文本序列为输出话语对应的文本序列。因此，根据文本生成模型的应用场景，采用不同的待处理文本序列。
在一些实施例的步骤S602中，将待处理文本序列输入至文本生成模型，且文本生成模型如上述的文本生成模型构建方法得到，该文本生成模型能够生成重复性低且准确性高的文本序列，所以将待处理文本序列输入至文本生成模型得到目标字符概率序列。其中。目标字符概率序列记载每一位置在预设词表中每一字符的概率值，所以根据目标字符概率序列能够确定输出文本的概率。
在一些实施例的步骤S603中，根据目标字符概率序列中对应于预设词表中每一字符的目标字符概率，以计算出每一位置中属于哪一个字符的概率，使得目标文本生成更加简易且准确。
在本申请实施例所示意的步骤S601至步骤S603，通过将待处理文本序列输入至上述文本生成模型构建方法生成的文本生成模型，以通过文本生成模型对待处理文本序列进行文本生成得到目标字符概率序列，以根据目标字符概率序列确定每一位置对应于预设词表中每一字符的概率，以确定目标文本，使得目标文本构建简易、准确且重复内容减少。
请参阅图7，在一些实施例中，步骤S603可以包括但不限于包括步骤S701至步骤S703：
步骤S701，从目标字符概率序列中选出最大字符概率对应的字符位置，得到目标字符位置；
步骤S702，根据目标字符位置从预设词表中挑选出目标字符；
步骤S703，将目标字符进行顺序组合，得到目标文本。
在一些实施例的步骤S701中，目标字符概率序列包括多个目标字符概率，且每一位置的目标字符概率的数量与预设词表相同数量相同，也即在每一位置目标字符概率也以序列形式表征。因此，先从目标字符概率序列中选出最大字符概率对应的字符位置得到目标字符位置，也即每一位置最大的目标字符概率对应的位置作为目标字符位置。例如，若目标字符概率序列存在n个位置，且每一位置筛选出目标字符位置为[p12、p214、p319…pn21]。因此，目标字符位置也是以序列的形式表征。
在一些实施例的步骤S702中，根据目标字符位置从预设词表中挑选出目标字符。例如，目标字符位置为[p12、p214、p319…pn21]，第一位置选出预设词表中第二个字符，第二位置选出预设词表中第14个字符，第三位置选出预设词表中第19个字符，以此类推得到所有位置的目标字符。
筛选出目标字符后，在一些实施例的步骤S703中，将所有位置的目标字符拼接成目标文本，使得目标文本构建简易、重复性低。
在本申请实施例所示意的步骤S701至步骤S703，通过选出目标文本每一位置在预设词表中的位置作为目标字符位置，然后直接根据目标字符位置按照顺序从预设词表中挑选出目标字符，最后将所有的目标字符按照顺序拼接成目标文本，使得目标文本生成简易。
请参阅图8，本申请实施例还提供一种文本生成模型构建装置，可以实现上述文本生成模型构建方法，该装置包括：
数据获取模块801，用于获取文本训练数据；其中，文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
文本输入模块802，用于将文本训练数据输入至预设的文本生成模型；其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
编码模块803，用于通过编码器对原始文本序列进行编码处理，得到文本向量序列；
解码模块804，用于通过解码器对文本向量序列和重复文本序列进行解码处理，得到候选文本序列；
重复字识别模块805，用于通过重复感知网络对候选文本序列进行重复字识别处理，得到预测文本序列；
归一化模块806，用于通过全连接层对预测文本序列进行归一化处理，得到预测字符概率序列；其中，预测字符概率序列包括多个预测字符概率，且预测字符概率表征在预设词表第j个字符的概率值；
损失计算模块807，用于对字符概率序列和参考文本序列进行损失计算，得到目标损失数据；
参数调整模块808，用于根据目标损失数据对文本生成模型进行参数调整。
该文本生成模型构建装置的具体实施方式与上述文本生成模型构建方法的具体实施例基本相同，在此不再赘述。
请参阅图9，本申请实施例还提供一种文本生成装置，可以实现上述文本生成方法，该装置包括：
序列获取模块901，用于获取待处理文本序列；
序列输入模块902，用于将待处理文本序列输入至文本生成模型进行文本生成，得到目标字符概率序列；其中，文本生成模型通过上述权利要求1至5任一项所述的文本生成模型构建方法生成；
文本生成模块903，用于根据预设词表和目标字符概率序列生成目标文本。
该文本生成装置的具体实施方式与上述文本生成方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述文本生成模型构建方法，或者上述文本生成方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图10，图10示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1001，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1002，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本申请实施例的文本生成模型构建方法，或者上述文本生成方法；
输入/输出接口1003，用于实现信息输入及输出；
通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线1005，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息；
其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述文本生成模型构建方法，或者上述文本生成方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种文本生成模型构建方法，其特征在于，所述方法包括：
获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
将所述原始文本序列和所述重复文本序列输入至预设的文本生成模型；其中，所述文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
根据所述目标损失数据对所述文本生成模型进行参数调整。
2.根据权利要求1所述的方法，其特征在于，所述候选文本序列包括文本向量；所述重复感知网络包括：积分层、第一归一化层和加权求和层；所述通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列，包括：
通过所述积分层对所述候选文本序列中的任意两个文本向量进行求积处理，得到候选相似度分值，并获取负数的所述候选相似度分值作为选定相似度分值；
通过所述第一归一化层对所述选定相似度分值进行归一化处理，得到目标相似度分值；
通过所述加权求和层和所述目标相似度分值对所述候选文本序列中的文本向量进行加权求和，得到所述预测文本序列。
3.根据权利要求1所述的方法，其特征在于，所述全连接层包括：矩阵处理层和第二归一化层；所述通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列，包括：
通过所述矩阵处理层和预设的矩阵参数对所述预测文本序列进行矩阵相乘，得到文本矩阵；其中，所述文本矩阵包括：候选字符概率；
通过所述第二归一化层对所述候选字符概率进行归一化处理，得到所述预测字符概率，并将所述文本矩阵的所述预测字符概率合并成所述预测字符概率序列。
4.根据权利要求1所述的方法，其特征在于，所述重复文本序列包括：字级重复序列、词级重复序列和句级重复序列；所述字符概率序列包括：第一概率序列和第二概率序列；所述第一概率序列为所述字级重复序列的所述预测字符概率序列，所述第二概率序列为所述词级重复序列和所述句级重复序列的所述预测字符概率序列；
所述对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据，包括：
对所述第一概率序列进行损失计算，得到第一损失数据；
对所述第二概率序列进行损失计算，得到第二损失数据；
对所述预测字符概率序列和所述参考文本序列进行损失计算，得到文本生成损失数据；
将所述第一损失数据、所述第二损失数据和所述文本生成损失数据进行合并，得到所述目标损失数据。
5.根据权利要求4所述的方法，其特征在于，所述获取文本训练数据，包括：
获取所述原始文本序列和所述参考文本序列；
获取所述参考文本序列的首句序列作为参考句序列；
在所述参考句序列中加入预设的重复字，得到所述字级重复序列；其中，所述重复字为所述参考句序列中的任意一个字；
在所述参考句序列中加入预设的重复词，得到所述词级重复序列；其中，所述重复词为所述参考句序列中的任意一个词；
对所述参考句序列进行重复拼接处理，得到所述句级重复序列。
6.一种文本生成方法，其特征在于，所述获取目标用户数据的步骤，包括：
获取待处理文本序列；
将所述待处理文本序列输入至文本生成模型进行文本生成，得到目标字符概率序列；其中，所述文本生成模型通过上述权利要求1至5任一项所述的文本生成模型构建方法生成；
根据预设词表和所述目标字符概率序列生成目标文本。
7.根据权利要求6所述的方法，其特征在于，所述根据预设词表和所述目标字符概率序列生成所述目标文本，包括：
从所述目标字符概率序列中选出最大字符概率对应的字符位置，得到目标字符位置；
根据所述目标字符位置从所述预设词表中挑选出目标字符；
将所述目标字符进行顺序组合，得到所述目标文本。
8.一种文本生成模型构建装置，其特征在于，所述装置包括：
数据获取模块，用于获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
文本输入模块，用于将所述文本训练数据输入至预设的文本生成模型；其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
编码模块，用于通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
解码模块，用于通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
重复字识别模块，用于通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
归一化模块，用于通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
损失计算模块，用于对所述字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
参数调整模块，用于根据所述目标损失数据对所述文本生成模型进行参数调整。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的文本生成模型构建方法，或者如权利要求6至7任一项所述的文本生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的文本生成模型构建方法，或者如权利要求6至7任一项所述的文本生成方法。
CN202310312753.5A 2023-03-20 2023-03-20 文本生成模型构建、文本生成方法和装置、设备及介质 Pending CN116432705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310312753.5A CN116432705A (zh) 2023-03-20 2023-03-20 文本生成模型构建、文本生成方法和装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310312753.5A CN116432705A (zh) 2023-03-20 2023-03-20 文本生成模型构建、文本生成方法和装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116432705A true CN116432705A (zh) 2023-07-14

Family

ID=87078950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310312753.5A Pending CN116432705A (zh) 2023-03-20 2023-03-20 文本生成模型构建、文本生成方法和装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116432705A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894489A (zh) * 2023-09-08 2023-10-17 北京睿企信息科技有限公司 一种文本生成方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894489A (zh) * 2023-09-08 2023-10-17 北京睿企信息科技有限公司 一种文本生成方法、电子设备及存储介质
CN116894489B (zh) * 2023-09-08 2023-11-17 北京睿企信息科技有限公司 一种文本生成方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109740158B (zh) 一种文本语义解析方法及装置
CN113901191A (zh) 问答模型的训练方法及装置
CN114676234A (zh) 一种模型训练方法及相关设备
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
CN111767697B (zh) 文本处理方法、装置、计算机设备以及存储介质
CN116578688A (zh) 基于多轮问答的文本处理方法、装置、设备及存储介质
CN114841146B (zh) 文本摘要生成方法和装置、电子设备及存储介质
CN116050352A (zh) 文本编码方法和装置、计算机设备及存储介质
CN117271736A (zh) 一种问答对的生成方法和系统、电子设备及存储介质
CN116432705A (zh) 文本生成模型构建、文本生成方法和装置、设备及介质
CN109117471B (zh) 一种词语相关度的计算方法及终端
CN116306704B (zh) 篇章级文本机器翻译方法、系统、设备及介质
CN114611529B (zh) 意图识别方法和装置、电子设备及存储介质
CN116956925A (zh) 电子病历命名实体识别方法和装置、电子设备及存储介质
CN116701604A (zh) 问答语料库的构建方法和装置、问答方法、设备及介质
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质
CN116364054A (zh) 基于diffusion的语音合成方法、装置、设备、存储介质
CN114398903B (zh) 意图识别方法、装置、电子设备及存储介质
CN116629283A (zh) 文本翻译方法和装置、计算机设备及存储介质
CN116341553A (zh) 命名实体识别方法和装置、电子设备及存储介质
CN115221288A (zh) 语义解析方法、语义解析装置、电子设备及存储介质
CN115995225A (zh) 模型训练方法和装置、语音合成方法、设备及存储介质
CN114974219A (zh) 语音识别方法、语音识别装置、电子设备及存储介质
CN115145980B (zh) 对话回复生成方法和装置、电子设备及存储介质
CN114359810B (zh) 视频摘要生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination