CN112364602B - 一种多风格文本生成方法、装置、设备及可读存储介质 - Google Patents

一种多风格文本生成方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112364602B
CN112364602B CN202011245148.3A CN202011245148A CN112364602B CN 112364602 B CN112364602 B CN 112364602B CN 202011245148 A CN202011245148 A CN 202011245148A CN 112364602 B CN112364602 B CN 112364602B
Authority
CN
China
Prior art keywords
text
style
vector
word
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011245148.3A
Other languages
English (en)
Other versions
CN112364602A (zh
Inventor
段逸群
杨海钦
姚晓远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011245148.3A priority Critical patent/CN112364602B/zh
Publication of CN112364602A publication Critical patent/CN112364602A/zh
Application granted granted Critical
Publication of CN112364602B publication Critical patent/CN112364602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多风格文本生成方法、装置、设备及可读存储介质，所述方法包括：接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方；本发明能够生成包含多种风格的文本，从而提高文本可读性。

Description

一种多风格文本生成方法、装置、设备及可读存储介质
技术领域
本发明涉及语音语义技术领域，特别涉及一种多风格文本生成方法、装置、设备及可读存储介质。
背景技术
文本生成技术一直以来因其实用性受到了比较大的技术关注；例如，可代替人工进行写作、回复；目前大多数的文本生成技术主要基于循环神经网络(RNN)以一种逐个单词或字符采样的的形式形成一整个句子。然而现有的文本生成技术只能生成单一风格的文本，无法生成同时包含多种风格的文本。因此，如何生成包含多种风格的文本成为本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的在于提供一种多风格文本生成方法、装置、设备及可读存储介质，能够生成包含多种风格的文本，从而提高文本可读性。
根据本发明的一个方面，提供了一种多风格文本生成方法，所述方法包括：
接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
可选的，所述利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量，包括：
将所述N个风格词按序形成词序列；
针对所述词序列中的一个目标风格词，根据所述词序列中位于所述目标风格词的前一个风格词传递给所述目标风格词的隐藏影响因子，利用预设第一门递归单元GRU模型，计算出所述目标风格词传递给所述词序列中位于所述目标风格词的后一个风格词的隐藏影响因子；
将根据所述词序列中的第N个风格词计算出的隐藏影响因子作为所述风格词向量。
可选的，所述利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本，包括：
将所述风格词向量作为第一层的隐藏影响因子h0、以及将预设开始字符向量s0输入到所述第二门递归单元GRU模型中，以得到输出向量s1和传递到第二层的隐藏影响因子h1；
将所述输出向量s1作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量r1；
将所述输出向量s1和第二层的隐藏影响因子h1重新输入到所述第二门递归单元GRU模型中，以得到输出向量s2和传递到第三层的隐藏影响因子h2，并将所述输出向量s2重新输入到所述第二端到端记忆网络MemN2N模型中，以得到文本向量r2，以此类推，直至所述第二门递归单元GRU模型的输出向量为预设结束字符向量；
分别将各个文本向量转化为文本词，并将所有文本词组合为所述目标文本。
可选的，所述将所述输出向量s1作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量r1，包括：
在所述端到端记忆网络MemN2N模型的第1个循环中，分别计算所述查询向量s1与预设的文本头部组中的第i个文本头部向量ki的相关度值pi；
根据第i个文本头部向量ki的相关度值pi与预设的文本尾部组中的第i个文本尾部向量li计算出第1个循环的文本子向量o1；
将所述查询向量s1与第1个循环的文本子向量o1相加得到第2个循环的查询向量s2；
根据所述第2个循环的查询向量s2重新计算出第2个循环的文本子向量o2以及第3个循环的查询向量s3，以此类推，直至计算出第M个循环的文本子向量oM；
将所述第M个循环的文本子向量oM作为文本向量r1。
可选的，所述方法还包括：
获取风格文本库；其中，所述风格文本库包括多个以知识三元组形式表示的风格文本，且所述风格文本包括：头部、关系部和尾部；
通过预设第一隐含层矩阵将每个风格文本中的头部转化为文本头部向量，从而形成文本头部组；
通过预设第二隐含层矩阵将每个风格文本中的尾部转化为文本尾部向量，从而形成文本尾部组；
根据每个风格文本中的关系部建立文本头部向量与文本尾部向量的对应关系。
可选的，所述方法还包括：
获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
为了实现上述目的，本发明还提供一种多风格文本生成装置，所述装置包括：
接收模块，用于接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
编码模块，用于利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
解码模块，用于利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
分类模块，用于从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断模块，用于判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
可选的，所述装置还包括：
训练模块，用于获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的多风格文本生成方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的多风格文本生成方法的步骤。
本发明提供的多风格文本生成方法、装置、设备及可读存储介质，编码器接收表征不同风格的风格词，并将多个风格词编码为中间隐含向量；解码器接收风格化的中间隐含向量，并根据该中间隐含向量解码出风格化的目标文本。本发明能够生成包含多种风格的文本，从而提高文本可读性。本发明通过编码解码风格这种架构实现了文本生成模型，从而把多模型才能做到的多文本风格生成，变为了单模型就可以实现的多风格文本生成，极大的减少了模型的参数，并且提升了模型推理的效率。此外，通过在不同风格上训练风格专有的分类器，并且同时用不同的风格分类器去监督同一个文本生成模型，达成了产生的同一个文本体现多种风格的效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的多风格文本生成方法的一种可选的流程示意图；
图2为实施例二提供的多风格文本生成装置的一种可选的组成结构示意图；
图3为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种多风格文本生成方法，如图1所示，该方法具体包括以下步骤：
步骤S101：接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词。
步骤S102：利用预设生成对抗GAN(Generative Adversarial Networks)模型中的编码器将所述N个风格词编码为风格词向量。
具体的，步骤S102，包括：
步骤A1：将所述N个风格词按序形成词序列；
步骤A2：针对所述词序列中的一个目标风格词xt，根据所述词序列中位于所述目标风格词的前一个风格词xt-1传递给所述目标风格词的隐藏影响因子Ht-1，利用预设第一门递归单元GRU模型GRU(xt，Ht-1)，计算出所述目标风格词传递给所述词序列中位于所述目标风格词的后一个风格词xt+1的隐藏影响因子Ht；
步骤A3：将根据所述词序列中的第N个风格词计算出的隐藏影响因子作为所述风格词向量。
在本实施例中，使用GRU作为编码器，并将GRU最终时刻的隐层状态作为输入到解码器中的向量。
成对抗GAN模型包括编码器、解码器和分类器；其中，编码器利用单向或双向循环神经网络按时间步依次处理目标文本生成指令中每个风格词对应的词向量，将生成的词向量作为解码器的输入；解码器利用单向或双向循环神经网络处理风格词向量，每个时间步接受上个时间步的输出词语以隐藏层状态生成当前时间步的输出词语，直至生成终止符合，从而实现目标文本的生成。
步骤S103：利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本。
具体的，步骤S103，包括：
步骤B1：将所述风格词向量作为第一层的隐藏影响因子h0、以及将预设开始字符向量s0输入到所述第二门递归单元GRU模型中，以得到输出向量s1和传递到第二层的隐藏影响因子h1；
其中，(s1，h1)＝GRU(s0，h0)。
步骤B2：将所述输出向量s1作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量r1。
进一步的，步骤B2，包括：
步骤B21：在所述端到端记忆网络MemN2N模型的第1个循环中，分别计算所述查询向量s1与预设的文本头部组中的第i个文本头部向量ki的相关度值pi；
其中，pi＝Softmax((s1)Tki)，T为转置函数；
步骤B22：根据第i个文本头部向量ki的相关度值pi与预设的文本尾部组中的第i个文本尾部向量li计算出第1个循环的文本子向量o1；
其中，o1＝∑ipili；
步骤B23：将所述查询向量s1与第1个循环的文本子向量o1相加得到第2个循环的查询向量s2；
步骤B24：根据所述第2个循环的查询向量s2重新计算出第2个循环的文本子向量o2以及第3个循环的查询向量s3，以此类推，直至计算出第M个循环的文本子向量oM；
步骤B25：将所述第M个循环的文本子向量oM作为文本向量r1。
步骤B3：将所述输出向量s1和第二层的隐藏影响因子h1重新输入到所述第二门递归单元GRU模型中，以得到输出向量s2和传递到第三层的隐藏影响因子h2，并将所述输出向量s2重新输入到所述第二端到端记忆网络MemN2N模型中，以得到文本向量r2，以此类推，直至所述第二门递归单元GRU模型的输出向量为预设结束字符向量；
步骤B4：分别将各个文本向量转化为文本词，并将所有文本词组合为所述目标文本。
其中，步骤B4，包括：
按照如下公式得到与文本向量ri对应的文本词wi：
P(ri＝wi)＝softmax(Wri)；
其中，W为预设包含多个文本词的矩阵，将计算出的所述矩阵W中的P值最大的词作为与ri对应的文本词wi。此外，还可利用蒙特卡洛模拟采样方式将所有文本词组合为目标文本。
在本实施例中，解码器采用了GRU+MemN2N的形式，以根据所述风格词向量生成目标文本；需要说明的是，在本实施例中，使用GRU网络代替MemN2N网络中的EmbeddingB矩阵。
更进一步的，所述方法还包括：
步骤C1：获取风格文本库；其中，所述风格文本库包括多个以知识三元组形式表示的风格文本，且所述风格文本包括：头部、关系部和尾部；
以“猫是一种动物”为例，知识三元组形式表示位(h：猫，r：属于，t：动物)，其中，h表示头部、t表示尾部、r表示头部与尾部的关系部；
步骤C2：通过预设第一隐含层矩阵EmbeddingA将每个风格文本中的头部转化为文本头部向量，从而形成文本头部组；
步骤C3：通过预设第二隐含层矩阵EmbeddingC将每个风格文本中的尾部转化为文本尾部向量，从而形成文本尾部组；
步骤C4：根据每个风格文本中的关系部建立文本头部向量与文本尾部向量的对应关系。
步骤S104：从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果。
其中，一个风格词的分类器用于判断目标文本是否表征所述风格词；分类器的输入为目标文本，分类器的输出为0至1的值，若分类器的分类结果越接近1，则说明目标文本越能表征对应的风格词；若分类器的分类结果越接近0，则说明目标文本越不能表征对应的风格词。
具体的，所述方法还包括：
步骤D1：获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
步骤D2：基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
步骤D3：从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
步骤D4：根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
步骤D5：以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
在本实施例中，首先将解码器和编码器分别在已经有文本样本集上进行预训练。需要说明的是，在预训练阶段，文本样本集中绝大部分文本样本只有一种风格的风格词标签；为了解决标签缺失的问题，在预训练阶段分别为每个文本样本添加N-1个的虚拟词标签，使得训练可以正常进行。其次针对不同的风格，分别在这些风格的文本样本集上训练风格专有分类器。训练之后的分类器应该具有分辨文本是否具有该种风格的能力。
当训练出编码器、解码器和分类器时，随机的采样不同的风格词输入并产生参考文本。利用与各个风格词对应的多个分类器同时地去给生成的参考文本进行评分。训练的目标函数为最大化所有的评分。此外，本实施例利用策略梯度，在每个产生的参考样本上，同时向着提高每种风格的评分进行优化。通过对于单一的文本样本同时优化来自N个域的风格分类器，完成了跨领域风格对齐。简单的说来自N个域的风格分类器同时约束同一个文本样本满足不同的风格，从而实现了跨领域风格化文本生成问题。
步骤S105：判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
在本实施例中，利用多个分类器同时作用于单一生成对抗GAN模型，从而使得生成对抗GAN模型可以具有生成的文本同时表征多种风格的能力，通过利用对抗生成技术，生成跨领域风格文本。与现有技术相比，本实施例的改进点主要体现在以下两个方面：1)生成对抗GAN模型由单纯的解码结构改为了编码-解码结构；2)由分别为各种风格设置对应的解码器改进为一个能够产生表征多种风格的解码器，从而节省了计算资源。本实施例利用文本对抗技术，生成了跨领域风格的文本。
实施例二
本发明实施例提供了一种多风格文本生成装置，如图2所示，该装置具体包括以下组成部分：
接收模块201，用于接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
编码模块202，用于利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
解码模块203，用于利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
分类模块204，用于从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断模块205，用于判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
具体的，编码模块202，用于：
将所述N个风格词按序形成词序列；
针对所述词序列中的一个目标风格词，根据所述词序列中位于所述目标风格词的前一个风格词传递给所述目标风格词的隐藏影响因子，利用预设第一门递归单元GRU模型，计算出所述目标风格词传递给所述词序列中位于所述目标风格词的后一个风格词的隐藏影响因子；
将根据所述词序列中的第N个风格词计算出的隐藏影响因子作为所述风格词向量。
进一步的，解码模块203，用于：
将所述风格词向量作为第一层的隐藏影响因子h0、以及将预设开始字符向量s0输入到所述第二门递归单元GRU模型中，以得到输出向量s1和传递到第二层的隐藏影响因子h1；
将所述输出向量s1作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量r1；
将所述输出向量s1和第二层的隐藏影响因子h1重新输入到所述第二门递归单元GRU模型中，以得到输出向量s2和传递到第三层的隐藏影响因子h2，并将所述输出向量s2重新输入到所述第二端到端记忆网络MemN2N模型中，以得到文本向量r2，以此类推，直至所述第二门递归单元GRU模型的输出向量为预设结束字符向量；
分别将各个文本向量转化为文本词，并将所有文本词组合为所述目标文本。
进一步的，解码模块203在实现将所述输出向量s1作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量r1的功能时，具体包括：
在所述端到端记忆网络MemN2N模型的第1个循环中，分别计算所述查询向量s1与预设的文本头部组中的第i个文本头部向量ki的相关度值pi；
根据第i个文本头部向量ki的相关度值pi与预设的文本尾部组中的第i个文本尾部向量li计算出第1个循环的文本子向量o1；
将所述查询向量s1与第1个循环的文本子向量o1相加得到第2个循环的查询向量s2；
根据所述第2个循环的查询向量s2重新计算出第2个循环的文本子向量o2以及第3个循环的查询向量s3，以此类推，直至计算出第M个循环的文本子向量oM；
将所述第M个循环的文本子向量oM作为文本向量r1。
进一步的，所述装置还包括：
设置模块，用于获取风格文本库；其中，所述风格文本库包括多个以知识三元组形式表示的风格文本，且所述风格文本包括：头部、关系部和尾部；
通过预设第一隐含层矩阵将每个风格文本中的头部转化为文本头部向量，从而形成文本头部组；
通过预设第二隐含层矩阵将每个风格文本中的尾部转化为文本尾部向量，从而形成文本尾部组；
根据每个风格文本中的关系部建立文本头部向量与文本尾部向量的对应关系。
更进一步的，所述装置还包括：
训练模块，用于获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图3仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行处理器302中存储的多风格文本生成方法的程序，所述多风格文本生成方法的程序被执行时实现如下步骤：
接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种多风格文本生成方法，其特征在于，所述方法包括：
接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方；
其中，所述利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本，包括：
将所述风格词向量作为第一层的隐藏影响因子、以及将预设开始字符向量/>输入到第二门递归单元GRU模型中，以得到输出向量/>和传递到第二层的隐藏影响因子/>；
将所述输出向量作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量/>；
将所述输出向量和第二层的隐藏影响因子/>重新输入到所述第二门递归单元GRU模型中，以得到输出向量/>和传递到第三层的隐藏影响因子/>，并将所述输出向量/>重新输入到所述端到端记忆网络MemN2N模型中，以得到文本向量/>，以此类推，直至所述第二门递归单元GRU模型的输出向量为预设结束字符向量；
分别将各个文本向量转化为文本词，并将所有文本词组合为所述目标文本。
2.根据权利要求1所述的多风格文本生成方法，其特征在于，所述利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量，包括：
将所述N个风格词按序形成词序列；
针对所述词序列中的一个目标风格词，根据所述词序列中位于所述目标风格词的前一个风格词传递给所述目标风格词的隐藏影响因子，利用预设第一门递归单元GRU模型，计算出所述目标风格词传递给所述词序列中位于所述目标风格词的后一个风格词的隐藏影响因子；
将根据所述词序列中的第N个风格词计算出的隐藏影响因子作为所述风格词向量。
3.根据权利要求1所述的多风格文本生成方法，其特征在于，所述将所述输出向量作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量/>，包括：
在所述端到端记忆网络MemN2N模型的第1个循环中，分别计算所述查询向量与预设的文本头部组中的第i个文本头部向量/>的相关度值/>；
根据第i个文本头部向量的相关度值/>与预设的文本尾部组中的第i个文本尾部向量计算出第1个循环的文本子向量/>；
将所述查询向量与第1个循环的文本子向量/>相加得到第2个循环的查询向量/>；
根据所述第2个循环的查询向量重新计算出第2个循环的文本子向量/>以及第3个循环的查询向量/>，以此类推，直至计算出第M个循环的文本子向量/>；
将所述第M个循环的文本子向量作为文本向量/>。
4.根据权利要求3所述的多风格文本生成方法，其特征在于，所述方法还包括：
获取风格文本库；其中，所述风格文本库包括多个以知识三元组形式表示的风格文本，且所述风格文本包括：头部、关系部和尾部；
通过预设第一隐含层矩阵将每个风格文本中的头部转化为文本头部向量，从而形成文本头部组；
通过预设第二隐含层矩阵将每个风格文本中的尾部转化为文本尾部向量，从而形成文本尾部组；
根据每个风格文本中的关系部建立文本头部向量与文本尾部向量的对应关系。
5.根据权利要求1所述的多风格文本生成方法，其特征在于，所述方法还包括：
获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
6.一种多风格文本生成装置，其特征在于，所述装置包括：
接收模块，用于接收请求方发送的目标文本生成指令；其中，所述目标文本生成指令包括：目标文本所需表征的N个风格词；
编码模块，用于利用预设生成对抗GAN模型中的编码器将所述N个风格词编码为风格词向量；
解码模块，用于利用所述生成对抗GAN模型中的解码器根据所述风格词向量生成目标文本；
分类模块，用于从所述生成对抗GAN模型中获取与所述N个风格词对应的N个预设分类器，并将所述目标文本分别输入到各个分类器中，以得到各个分类器的分类结果；
判断模块，用于判断所述各个分类器的分类结果是否均大于预设阈值，若是，则将所述目标文本发送至所述请求方；
其中，所述解码模块，用于：
将所述风格词向量作为第一层的隐藏影响因子、以及将预设开始字符向量/>输入到第二门递归单元GRU模型中，以得到输出向量/>和传递到第二层的隐藏影响因子/>；
将所述输出向量作为查询向量输入到预设端到端记忆网络MemN2N模型中，以得到文本向量/>；
将所述输出向量和第二层的隐藏影响因子/>重新输入到所述第二门递归单元GRU模型中，以得到输出向量/>和传递到第三层的隐藏影响因子/>，并将所述输出向量/>重新输入到所述端到端记忆网络MemN2N模型中，以得到文本向量/>，以此类推，直至所述第二门递归单元GRU模型的输出向量为预设结束字符向量；
分别将各个文本向量转化为文本词，并将所有文本词组合为所述目标文本。
7.根据权利要求6所述的多风格文本生成装置，其特征在于，所述装置还包括：
训练模块，用于获取预设文本样本集；其中，所述文本样本集中的每个文本样本均添加有一个风格词以及N-1个虚拟词；
基于所述文本样本集对初始编码器和初始解码器进行训练，以训练出用于将N个风格词转换为风格词向量的编码器以及训练出用于根据风格词向量生成目标文本的解码器；
从所述文本样本集中获取包含目标风格词的文本样本，并根据获取到的文本样本训练出用于判断目标文本是否表征所述目标风格词的分类器；
根据随机采用的N个风格词，利用训练好的编码器和解码器生成参考文本，并利用与所述N个风格词对应的N个分类器去对所述参考文本进行评分；
以最大化所有的评分作为目标函数对训练好的编码器和解码器进行优化，得到所述生成对抗GAN模型。
8.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
CN202011245148.3A 2020-11-10 2020-11-10 一种多风格文本生成方法、装置、设备及可读存储介质 Active CN112364602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011245148.3A CN112364602B (zh) 2020-11-10 2020-11-10 一种多风格文本生成方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011245148.3A CN112364602B (zh) 2020-11-10 2020-11-10 一种多风格文本生成方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112364602A CN112364602A (zh) 2021-02-12
CN112364602B true CN112364602B (zh) 2023-07-21

Family

ID=74509136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011245148.3A Active CN112364602B (zh) 2020-11-10 2020-11-10 一种多风格文本生成方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112364602B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694018B2 (en) * 2021-01-29 2023-07-04 Salesforce, Inc. Machine-learning based generation of text style variations for digital content items

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444967A (zh) * 2020-03-30 2020-07-24 腾讯科技（深圳）有限公司 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN111475649A (zh) * 2020-04-02 2020-07-31 中国人民解放军国防科技大学 基于深度学习的虚假新闻预测方法、系统、装置、介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540446B2 (en) * 2018-01-31 2020-01-21 Jungle Disk, L.L.C. Natural language generation using pinned text and multiple discriminators
US10437936B2 (en) * 2018-02-01 2019-10-08 Jungle Disk, L.L.C. Generative text using a personality model
US20200134449A1 (en) * 2018-10-26 2020-04-30 Naver Corporation Training of machine reading and comprehension systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444967A (zh) * 2020-03-30 2020-07-24 腾讯科技（深圳）有限公司 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN111475649A (zh) * 2020-04-02 2020-07-31 中国人民解放军国防科技大学 基于深度学习的虚假新闻预测方法、系统、装置、介质

Also Published As

Publication number Publication date
CN112364602A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN110263323B (zh) 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统
US10380236B1 (en) Machine learning system for annotating unstructured text
CN112435656B (zh) 模型训练方法、语音识别方法、装置、设备及存储介质
CN112115267B (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN112509555B (zh) 方言语音识别方法、装置、介质及电子设备
CN112951203B (zh) 语音合成方法、装置、电子设备及存储介质
CN107832300A (zh) 面向微创医疗领域文本摘要生成方法及装置
CN110069611B (zh) 一种主题增强的聊天机器人回复生成方法及装置
CN111653275A (zh) 基于lstm-ctc尾部卷积的语音识别模型的构建方法及装置、语音识别方法
CN116737938A (zh) 基于微调大模型在线数据网络细粒度情感检测方法及装置
CN113190675A (zh) 文本摘要生成方法、装置、计算机设备和存储介质
CN112364602B (zh) 一种多风格文本生成方法、装置、设备及可读存储介质
CN114445832A (zh) 基于全局语义的文字图像识别方法、装置及计算机设备
CN112052329A (zh) 文本摘要生成方法、装置、计算机设备及可读存储介质
CN111126059B (zh) 一种短文文本的生成方法、生成装置及可读存储介质
CN111832699A (zh) 用于神经网络的计算高效富于表达的输出层
CN112199482B (zh) 一种对话生成方法、装置、设备及可读存储介质
CN113420869B (zh) 基于全方向注意力的翻译方法及其相关设备
CN113077785B (zh) 一种端到端的多语言连续语音流语音内容识别方法及系统
WO2022257454A1 (zh) 一种合成语音的方法、装置、终端及存储介质
CN113747480B (zh) 5g切片故障的处理方法、装置及计算设备
CN110222693B (zh) 构建字符识别模型与识别字符的方法和装置
CN111460812B (zh) 语句情感分类方法及相关设备
CN116975298B (zh) 一种基于nlp的现代化社会治理调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant