CN111046178A - 一种文本序列生成方法及其系统 - Google Patents

一种文本序列生成方法及其系统 Download PDF

Info

Publication number
CN111046178A
CN111046178A CN201911200922.6A CN201911200922A CN111046178A CN 111046178 A CN111046178 A CN 111046178A CN 201911200922 A CN201911200922 A CN 201911200922A CN 111046178 A CN111046178 A CN 111046178A
Authority
CN
China
Prior art keywords
generator
text sequence
discriminator
module
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911200922.6A
Other languages
English (en)
Other versions
CN111046178B (zh
Inventor
杨杨
丹晓东
房超
高志鹏
邵苏杰
杨会峰
高丽芳
王静
于海涛
赵倩
张艺馨
石晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Beijing Smartchip Microelectronics Technology Co Ltd
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
Beijing University of Posts and Telecommunications
Beijing Smartchip Microelectronics Technology Co Ltd
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Beijing Smartchip Microelectronics Technology Co Ltd, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911200922.6A priority Critical patent/CN111046178B/zh
Publication of CN111046178A publication Critical patent/CN111046178A/zh
Application granted granted Critical
Publication of CN111046178B publication Critical patent/CN111046178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供的文本序列生成方法及其系统，包括：对抗网络模型包括生成器和判别器；生成器中包含特征反馈网络模块，用于从判别器中调取高阶特征，以生成指导特征向量；生成器基于指导特征向量，生成预输出文本序列的下一个词；判别器根据新构建的预输出文本序列和初始文本序列更新高阶特征；迭代执行上述步骤，直至新构建的预生成文本序列的总词数达到设定阈值时，输入至判别器进行判别，并根据分类判别结果计算更新梯度；根据更新梯度更新生成器的参数；迭代执行上述步骤直至生成器和判别器均收敛后，输出目标文本序列。本发明实施例通过增添特征转换反馈模块，将判别器提取到的特征向量输送至生成器作为指导信号，改善了生成器的生成质量。

Description

一种文本序列生成方法及其系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种文本序列生成方法及其系统。
背景技术
近年来，随着人工智能的不断发展，自然语言处理也受到了广泛关注。其中，文本生成作为自然语言处理领域中长期研究的课题之一，被应用于多种技术，如机器翻译、文本摘要、自动问答、智能客服等。文本生成旨在于连续的具体语境下，预测生成语法和语义正确的单词序列，是交互式人工智能系统不可或缺的组成部分。
目前，已有许多学者在在文本生成上取得了非凡的成就。在实现文本生成任务时，我们常采用前馈神经网络和循环神经网络。然而，基本的循环神经网络往往会对训练数据的分布过分依赖，而若采用人工模板提高文本生成的质量，则其通用性和扩展性都会大大降低。目前，完全基于数据科学的文本生成方法还没能取得令人满意的成果。
例如，现有技术中存在的一种应用于终端设备发布社交消息的场景中的文本生成方法及终端设备，通过对目标图像进行识别，得到该目标图像的内容信息；根据用户的用词习惯，生成与该内容信息对应的文本信息。该方法及装置主要用于解决用户为待发布的图像添加一段描述性的文本信息，导致发布消息的过程耗时较长的问题。
上述方案存在如下缺陷：该方案采用深度学习模型，能根据目标图像和用户的用词习惯生成与内容信息对应的文本信息，可以减少用户构思并编辑文本信息的时间。但该方案只提出了一种可能的文本生成解决方案，并没有给出具体的算法，其文本生成的效果尚未明确。
再例如，现有技术中还存在一种医疗文本的生成方法，通过利用词向量表示医疗文档的词汇并对医疗文档进行文本分类；获得医疗文档的最佳的输出序列标注；获得医疗文档的关键词集的索引，将索引随机打乱顺序，得到新的医疗文档及其对应的序列标注；采用基于生成式对抗网络的生成模型训练生成并输出医疗文本；获取生成的医疗文本的BLEU参数；对生成的医疗文本进行评估，最终得到目标医疗文本。
但是该方案也存在着不可克服的缺陷，表现在：该方案利用词向量对文本进行标注并获得关键词集的索引；随后随机打乱索引，得到新的对应的序列标注；最后，基于生成式对抗网络的生成模型训练生成输出新的目标文本。这一方案，通过先获得词集的索引，然后仅根据随机打乱的索引生成新的文本，并不具有很强的自我文本生成能力，模板痕迹过重，扩展性不高。
发明内容
有鉴于此，本发明实施例提供一种文本序列生成方法及其系统，用以解决现有技术中对于生成对抗网络模型中的判别器反馈信号弱，导致生成器接收标量信号并不能有效地指导网络往正确的方向进行更新，导致收敛性差的缺陷。
第一方面，本发明实施例提供一种文本序列生成方法，包括以下步骤：
S1：将初始文本序列输入至对抗网络模型，该对抗网络模型包括生成器和判别器，该生成器中包含至少一个特征反馈网络模块。
S2：特征反馈网络模块用于从判别器中调取高阶特征，并基于高阶特征生成指导特征向量。
S3：生成器基于指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至判别器中。
S4：判别器根据新构建的预输出文本序列和初始文本序列更新高阶特征。
S5：迭代执行上述步骤S2-S4，直至新构建的预生成文本序列的总词数达到设定阈值，将预生成文本序列输入至判别器进行判别，并根据分类判别结果计算更新梯度。
S6：根据更新梯度更新生成器的参数，并再次输入初始文本序列至更新后的生成器中。
S7：迭代执行上述步骤S2至S6直至生成器和判别器均收敛后，输出目标文本序列。
进一步地，在将初始文本序列输入至对抗网络模型之前，还包括：
基于长短期记忆神经网络并利用交叉熵作为损失函数，构建生成器；基于卷积神经网络网络，构建判别器；反馈网络模块也是基于长短期记忆神经网络所构建；分别对生成器和所述判别器进行预训练。
进一步地，上述生成器的优化目标函数为：
Figure BDA0002295848300000031
其中，Y1:T为生成器生成的文本序列；Dφ为判别器参数；log[Dφ(Y1:T)]为生成序列在判别器输出给生成器的奖励函数；
Figure BDA0002295848300000032
为对所述奖励函数进行期望值计算的函数，θ为生成器的参数。
进一步地，上述特征反馈网络模块用于从判别器中调取高阶特征，包括以下步骤：判别器的词嵌入层将输入的文本转换成对应的文本向量；以步长为1的卷积层代替经典的CNN模型的池化层，利用卷积层对所述文本向量进行特征提取，获取与文本向量相对应的特征向量；该特征向量用于表征所述高阶特征。
进一步地，上述并基于所述高阶特征生成指导特征向量，包括：
基于长短期记忆神经网络获取当前时间步的特征转换向量；根据特征转换向量获取维度变换向量；根据维度变换向量与当前时间步的序列，获取指导特征向量；该指导特征向量用于表征词库中各个词被选择的概率。
进一步地，上述生成器基于指导特征向量，生成预输出文本序列中的下一个词，包括：
将指导特征向量输入至生成器的softmax层中，以根据词库中各个词被选择的概率，选择概率最大的词作为预输出文本序列中的下一个词。
进一步地，上述基于长短期记忆神经网络获取当前时间步的特征转换向量的计算方法为：
zt，ht C＝Cδ(ft，ht-1 C)；
上述根据特征转换向量获取维度变换向量的计算方法为：
Figure BDA0002295848300000041
第二方面，本发明实施例提供一种文本序列生成系统，包括：
生成器模块、判别器模块、特征反馈网络模块、第一判断循环模块以及第二判断循环模块，其中：
生成器运算模块用于接收初始文本序列，并对初始文本序列进行运算，并将运算结果输入至判别器模块中；特征反馈网络模块用于从判别器模块中调取高阶特征，并基于高阶特征生成指导特征向量；生成器模块用于接收初始文本序列并结合所述指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至判别器中；判别器模块根据新构建的预输出文本序列和初始文本序列更新高阶特征。
第一判断循环模块用于控制生成器模块、特征反馈网络模块以及判别器模块，直至新构建的预生成文本序列的总词数达到设定阈值时，将新构建的预生成文本序列输入至判别器进行判别，并根据分类判别结果计算更新梯度；生成器模块用于根据所述更新梯度更新生成器的参数，并再次输入初始文本序列至更新后的生成器中。第二判断循环模块用于控制生成器模块、特征反馈网络模块以及判别器模块，直至生成器和判别器的运算结果均收敛后，由生成器模块输出目标文本序列。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的文本序列生成方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述的文本序列生成方法的步骤。
本发明实施例提供的文本序列生成方法及其系统，通过在生成器中增加一个特征反馈网络模块，并利用该模块从判别器中提取出的特征对生成器的下一个序列生成进行辅助决策的方法，有效的克服了现有的生成对抗神经网络模型在文本生成等方面，生成网络从判别网络中所获取的反馈信息量少、对当前序列的质量好坏仅做出标量评价所造成的文本生成质量差的缺陷，提高了生成器的生成质量以及收敛性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文本序列生成方法的流程示意图；
图2为本发明实施例提供的一种文本序列生成方法中各个模型的结构示意图；
图3为本发明实施例提供的一种文本序列生成方法的结构示意图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
文本生成方法，是通过在特定情境下生成语法语义正确的连续文本序列，目前大多的编码解码方法和循环神经网络都存在一定的局限性，例如：基本的循环神经网络常面临对训练数据过度依赖的问题。GAN对抗神经网络能一定程度上解决RNN和自编码方式在自然语言生成上的问题，但其仍存在文本生成质量差的问题。造成这种现象的主要原因是生成网络从判别网络收到的反馈信息量太少，判别器对于序列的判断打分是一个标量，只能得到当前序列质量好坏的评价，但对于如何向正确方向进行改进只能通过大量的搜索采样进行优化，并且有限的采样次数对于完整空间分布来说也是极少的，并且实际训练中容易出现判别器回传给生成器的梯度极其小，这些问题导致生成器接收标量信号并不能有效地指导网络往正确的方向进行更新。
针对上针对判别器反馈信号弱的缺点，本文提出一种文本序列生成方法，通过在生成器网络中增加一个特征指导模块，利用判别器网络当中提取到的特征在生成序列过程中进行辅助决策的方法，如图1所示，具体包括以下步骤：
步骤S1：将初始文本序列输入至对抗网络模型，所述对抗网络模型包括生成器和判别器，所述生成器中包含至少一个特征反馈网络模块；
步骤S2：所述特征反馈网络模块用于从所述判别器中调取高阶特征，并基于所述高阶特征生成指导特征向量；
步骤S3：所述生成器基于所述指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至所述判别器中；
步骤S4：所述判别器根据所述新构建的预输出文本序列和所述初始文本序列更新所述高阶特征；
步骤S5：迭代执行步骤S2-S4，直至所述新构建的预生成文本序列的总词数达到设定阈值时，将所述预生成文本序列输入至所述判别器进行判别，并根据分类判别结果计算更新梯度；
步骤S6：根据所述更新梯度更新所述生成器的参数，并再次输入所述初始文本序列至更新后的生成器中；
步骤S7：迭代执行步骤S2至S6直至所述生成器和判别器均收敛后，输出目标文本序列。
对抗网络模型(Generative Adversarial Networks，简称GAN)，是一种深度学习模型，是无监督学习最具前景的方法之一。该模型通过(至少)两个模块：生成器(Generative Model)和判别器(Discriminative Model)的互相博弈学习产生收敛性和准确性高的输出。
在本发明实施例中，生成器和判别器可以不限定为神经网络，仅限定两者具有能够拟合相应的生成和判断的函数即可，但最好为神经网络网络模型。
具体地，在本发明实施例中主要是利用对抗网络模型的生成器和判别器进行文本序列的自主生成，但考虑到现有的对抗网络模型中，判别器仅能对于生成器的生成结果进行概率判断，即判断生成器所产生的序列的正确与否的概率值，该概率值为一个标量，其对于生成器的改进所起的作用非常小。因此，在本发明实施例提供的文本序列生成方法，通过在生成网络中设置至少一个特征反馈网络模块，该特征网络模块用于对判断器判断过程中所抽取的高阶特征进行调用，以对生成器中下一个词的生成起到辅助决策的作用。
进一步地，在判别器中，利用卷积层对初始文本以及当前步的部分生成序列再次进行特征提取，以对上一个循环阶段中所提取的高级特征进行更新。此时，特征反馈网络模块再次对当前步的高级特征进行调用，用以为预输出文本序列中的下一个词的生成起辅助作用。
依次执行上述步骤，即逐个的生成一个文本序列中的每个词，直至该文本序列中的词的总数达到目标文本序列的个数(即设定阈值)，则将获取到的文本序列输入至判别器中进行判别(此时初始文本序列一直存在与该判别器中)。判别器中的Logistics分类器(例如二分类器)，结合输入的预生成文本序列和初始文本序列进行高阶特征提取，并根据提取的结果进行分类判断。具体地选取奖励值(reward)大的动作的梯度作为更新梯度。
利用该更新梯度对生成器的参数进行更新，以提高生成器的收敛性，并进一步地提高判断性的收敛性。
进一步地，再次将初始文本序列输入至更新后的生成器中，迭代进行上述所有的步骤，直至产生一个新的预生成文本序列，并利用判别器再次对新的预生成文本序列进行判别，直至判别的结果合乎收敛性，则以该时间步的预生成文本序列作为目标文本序列输出。
本发明实施例提供的文本序列生成方法，通过在生成器中增加一个特征反馈网络模块，并利用该模块从判别器中提取出的特征对生成器的下一个序列生成进行辅助决策的方法，有效的克服了现有的生成对抗神经网络模型在文本生成等方面，生成网络从判别网络中所获取的反馈信息量少、对当前序列的质量好坏仅做出标量评价所造成的文本生成质量差的缺陷，提高了生成器的生成质量以及收敛性。
基于上述实施例的内容，作为一种可选实施例，在上述将初始文本序列输入至对抗网络模型之前，还包括：基于长短期记忆神经网络并利用交叉熵作为损失函数，构建生成器；基于卷积神经网络，构建判别器；反馈网络模块也是基于长短期记忆神经网络所构建；分别对生成器和判别器进行预训练。
RNN是一种用于处理序列数据的神经网络，相比于一般的神经网络来说，能够处理序列变化的数据，比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。而LSTM是一种记忆RNN上做出改进的特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸等缺陷，主要通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的RNN那样只能够无差别的记忆叠加方式，依次对于长序列的数据处理优势明显。但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。有鉴于此，在本发明实施例中，选用长短期记忆神经网络(LSTM)构建生成器，同时利用卷积神经网络(RNN)构建判别器，是综合考虑两个不同的神经网络的特性做出的合理选择，利用LSTM进行长序列的生成，同时利用RNN对获取的结果进行判断。
进一步地，在本发明实施例提供的文本序列生成方法，在进行文本序列生成之前，还包括对于对抗网络模型的训练的过程。
在训练的过程中，生成器的目标就是尽量生成真实的文本序列去欺骗判别器。而对判别器进行训练的目标就是尽量把生成器生成的文本序列和真实的文本序列进行区分。这样，生成器和判别器就构成了一个动态的“博弈过程”。在最理想的状态下，当生成器生成的文本序列G(z)，对于判别器来说，它难以判定该文本序列G(z)究竟是不是真实的，即D(G(z))＝0.5，则此时，认为对于对抗网络模型的训练完成。
具体地，在本发明实施例中，提供一种预训练方法，包括：
首先对训练样本集进行去噪处理，并将样本集中的所有的文本数据通过Word2Vector语言模型转化为向量Vs；
采用循环神经网络构建生成器Gθ，以长短期记忆神经网络作为具体单元，将向量Vs作为神经网络的输入，采用最大似然估计的方式预训练生成器。
采用交叉熵作为损失函数，利用每个单元输出的联合概率分布选择生成序列，并将生成器生成的文本数据作为负样本集合记为Yθ。其中，生成器生成的文本序列记为：
Y1:T＝(y1,...yT),yi∈y，
其中，Y1:T表示生成器生成的文本序列；yi为第i个负样本集合，T为负样本集合的个数；
采用卷积神经网络构建判别器Dφ，设置卷积核大小等相应网络参数，将初始文本序列的数据作为正样本YTruth和生成器生成的所有负样本Yθ一起输入至判别器中进行预训练。
基于上述实施例的内容，作为一种可选实施例，在进入对抗生成阶段，对原始GAN生成器优化函数进行改进，得到梯度增强版的优化目标，即将生成器Gθ的优化目标设置为：
Figure BDA0002295848300000091
其中，Y1:T为生成器生成的文本序列；Dφ为判别器参数；log[Dφ(Y1:T)]为生成序列在判别器输出给生成器的奖励函数；
Figure BDA0002295848300000092
为对所述奖励函数进行期望值计算的函数，θ为生成器的参数。
进一步地，针对文本序列为离散数据，存在对目标函数无法求梯度的问题，在本实施例中，结合强化学习理论(即利用特征反馈网络模块进行强化学习)，将生成器生成文本序列最后一步动作后得到的完整序列(即预输出文本序列)送入判别器进行判别。并将判别器输出的概率作为生成器的奖励，其中，生成器则对奖励期望进行最大化。
需要说明的是，在本发明实施例中可以对生成器与判别器进行交替训练，例如可以采用生成器训练1次，判别器训练3次的方式，完成对于对抗网络模型的训练。
基于上述实施例的内容，作为一种可选实施例，其中，特征反馈网络模块用于从判别器中调取高阶特征，可以包括以下步骤：
判别器的词嵌入层将输入的文本转换成对应的文本向量；以步长为1的卷积层代替经典的CNN模型的池化层，利用卷积层对文本向量进行特征提取，获取与文本向量相对应的特征向量；其中，特征向量用于表征高阶特征。
具体地，如图2所示，将初始文本(即图中的真实文本)与部分生成序列(即图中的生成文本)共同构建成输入至判别器的输入文本，利用判别器的词嵌入层对输入文本进行向量化处理，比如通过Word2Vector语言模型转化处理为对应的文本向量。
进一步地，在本发明实施例中提供的判别器是基于经典CNN网络模型构建的，具体地是将经典CNN网络模型中的池化层用步长为1的卷积层进行替代后获取的。当文本向量输入至CNN网络模型后，对文本向量所包含的高阶特征进行提取，获取特征向量ft，则该特征转换向量可以用于表征在判别器中所抽取的当前步的输入文本的高阶特征(其中输入文本还是包括：初始文本与部分生成序列)。
基于上述实施例的内容，作为一种可选实施例，其中，基于上述高阶特征生成指导特征向量，包括但不限于以下骤：
基于所述长短期记忆神经网络获取当前时间步的特征转换向量；根据特征转换向量获取维度变换向量；根据维度变换向量与当前时间步的序列，获取指导特征向量。其中，最后所获取到的指导特征向量可以用于表征词库中各个词被选择的概率。
具体地，上述基于长短期记忆神经网络，根据特征转化向量ft获取当前时间步的特征转换向量zt的计算方法可以是：
zt，ht C＝Cδ(ft，ht-1C)，
其中，C表示特征反馈网络模块，δ为特征反馈网络模块的参数，
Figure BDA0002295848300000112
表示当前时间步的隐状态向量，zt表示当前时间步的特征转换向量；其中当前时间步的特征转换向量zt由当前时间步的特征向量和前一时间步的隐状态向量共同决定，为保持网络后续训练的稳定性，可将zt统一为单位向量。
其中，考虑到特征转换向量zt与生成器中每个时间步产生的向量维度不一致，可以结合最近k步的特征转换向量zt对特征向量进行转换。其中，根据特征转换向量zt获取维度变换向量Zt的计算方法可以是：
Figure BDA0002295848300000111
其中，W表示维度变换矩阵，Zt表示维度变换向量，zi表示第i个时间步的特征向量。
基于上述实施例的内容，作为一种可选实施例，上述生成器基于指导特征向量，生成预输出文本序列中的下一个词，包括：将指导特征向量输入至所述生成器的softmax层中，以根据词库中各个词被选择的概率，选择概率最大的词作为预输出文本序列中的下一个词。依次迭代上述所有的步骤，并设定预输出文本序列的长度，逐个的生成一个完整长度的预输出文本序列，最后利用判别器对上述预输出文本序列进行判别，直至获取到收敛性最好的一组预输出文本序列作为目标文本序列。
为了更清楚的展示本发明实施例的技术方案，特发明提供以下具体实施例，如图2所示：
在本发明的实例中，采用COCO数据集作为真实文本数据进行实验，其中，COCO数据集是微软团队获取的一个可以用来图像识别的数据集，其中有对图像的人工文本描述并以此作为真实样本。本实施例中的网络模型共包含特征反馈网络模块和文本生成器两个循环神经网络单元，对于这两部分采用长短期记忆单元作为其基本单元，规定目标文本序列的标准生成长度为20，两个循环神经网络的隐藏层大小设为128，从判别器提取的文本特征向量大小为16维以送入特征反馈网络模块。在生成器与判别器对抗训练阶段，本实施例通过反复尝试最终将生成器与判别器训练次数比例定位1:3，即生成器训练1次，判别器训练3次。
本发明实例具体步骤描述如下：
S1、对数据集进行去噪等预处理，将待增强的数据集文本数据(初始文本序列)通过Word2Vector方法转化为向量Vs(即图中的Word Embeding步骤)；同时，以长短期神经网络(LSTM)为基本单元构建生成器Gθ，以卷积神经网络(CNN)构建判别器Dφ，将数据输入进行预处理。其中，向量Vs可表示为如下：
[0.09750147 0.12574093 0.84731793...0.69222506 0.39059294 0.8774194]
S2、对生成器和判别器预训练完成后进入对抗生成阶段。结合强化学习理论，将生成器生成文本序列最后一步动作后得到完整序列(即预输出文本序列)送入判别器进行判别，输出的概率作为生成器的奖励，生成器就是要最大化奖励期望。
S31、设置结合特征提取的反馈网络，将待判别样本经过判别器Dφ的词嵌入层处理得到文本向量，再经卷积层的特征提取，然后去掉经典方式的池化层，用步长为1的卷积层代替，后续经过全连接层得到从样本中抽取的高阶特征向量ft，可表示为如下：
[0.95750208 0.24307833 0.80187139...0.91382569 0.672369290.18909328]。
S32、对于特征向量ft，为使其作为生成器的指导信号，采用一个LSTM网络进行转化，与文本生成模块保持同步，获得当前时间步的特征转换向量zt，可表示为如下：
[0.75800776 0.7593903 0.23590515...0.24866929 0.54038801 0.50168169]
S33、由于特征转换向量zt与文本生成模块中每个时间步产生的向量维度不一致，还需要进行线性转换，同时考虑到网络的稳定性，结合最近k步的特征转换向量进行转换，得到维度变换向量Zt，可表示为如下：
[0.3091549 0.8566278 0.79694154...0.15202798 0.36452464 0.40177511]
S34、原始生成器模块不变，用Xt表示当前时间步的序列表示，通过与Wt进行矩阵乘法得到一个词库大小的向量，表示词库中各个词被选择的概率Pt，再通过softmax层选出序列的下一个词，直至结束。
S4、同时，可以生成器与判别器交替进行训练，最终生成所有网络模型的增强参数数据集Data，完成对生成对抗网络模型的预训练。
如图3所示，本发明实施例还提供一种文本序列生成系统，包括但不限于以下结构：
生成器模块11、判别器模块12、特征反馈网络模块13、第一判断循环模块14以及第二判断循环模块15，其中：
生成器模块11用于接收初始文本序列，并对所述初始文本序列进行运算，并将运算结果输入至判别器模块12中；
特征反馈网络模块13主要用于从判别器模块12中调取高阶特征，并基于调取的高阶特征生成指导特征向量；生成器模块11用于接收初始文本序列并结合特征反馈网络模块13所生成的指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至判别器12中；判别器模块根据新构建的预输出文本序列和初始文本序列更新之前的高阶特征。
第一判断循环模块14主要用于控制生成器模块11、特征反馈网络模块13以及判别器模块12，循坏上述步骤，直至新构建的预生成文本序列的总词数达到设定阈值后，将新构建的预生成文本序列输入至判别器12中进行判别，并根据分类判别结果计算更新梯度；
生成器模块11还用于根据更新梯度更新生成器的参数，并再次输入初始文本序列至更新后的生成器11中；
第二判断循环模块15主要用于控制生成器模块11、特征反馈网络模块13以及判别器模块12，直至生成器和判别器的运算结果均收敛后，由生成器模块11输出目标文本序列。
本发明实施例提供的文本序列生成系统，通过在生成器中增加一个特征反馈网络模块，并利用该模块从判别器中提取出的特征对生成器的下一个序列生成进行辅助决策的方法，有效的克服了现有的生成对抗神经网络模型在文本生成等方面，生成网络从判别网络中所获取的反馈信息量少、对当前序列的质量好坏仅做出标量评价所造成的文本生成质量差的缺陷，提高了生成器的生成质量以及收敛性。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下步骤：S1：将初始文本序列输入至对抗网络模型，该对抗网络模型包括生成器和判别器，该生成器中包含至少一个特征反馈网络模块；S2：特征反馈网络模块用于从判别器中调取高阶特征，并基于高阶特征生成指导特征向量；S3：生成器基于指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至判别器中；S4：判别器根据新构建的预输出文本序列和初始文本序列更新高阶特征；S5：迭代执行上述步骤S2-S4，直至新构建的预生成文本序列的总词数达到设定阈值，将预生成文本序列输入至判别器进行判别，并根据分类判别结果计算更新梯度；S6：根据更新梯度更新生成器的参数，并再次输入初始文本序列至更新后的生成器中；S7：迭代执行上述步骤S2至S6直至生成器和判别器均收敛后，输出目标文本序列。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括以下步骤：S1：将初始文本序列输入至对抗网络模型，该对抗网络模型包括生成器和判别器，该生成器中包含至少一个特征反馈网络模块；S2：特征反馈网络模块用于从判别器中调取高阶特征，并基于高阶特征生成指导特征向量；S3：生成器基于指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至判别器中；S4：判别器根据新构建的预输出文本序列和初始文本序列更新高阶特征；S5：迭代执行上述步骤S2-S4，直至新构建的预生成文本序列的总词数达到设定阈值，将预生成文本序列输入至判别器进行判别，并根据分类判别结果计算更新梯度；S6：根据更新梯度更新生成器的参数，并再次输入初始文本序列至更新后的生成器中；S7：迭代执行上述步骤S2至S6直至生成器和判别器均收敛后，输出目标文本序列。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种文本序列生成方法，其特征在于，包括：
S1：将初始文本序列输入至对抗网络模型，所述对抗网络模型包括生成器和判别器，所述生成器中包含至少一个特征反馈网络模块；
S2：所述特征反馈网络模块用于从所述判别器中调取高阶特征，并基于所述高阶特征生成指导特征向量；
S3：所述生成器基于所述指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至所述判别器中；
S4：所述判别器根据所述新构建的预输出文本序列和所述初始文本序列更新所述高阶特征；
S5：迭代执行步骤S2-S4，直至所述新构建的预生成文本序列的总词数达到设定阈值时，将所述预生成文本序列输入至所述判别器进行判别，并根据分类判别结果计算更新梯度；
S6：根据所述更新梯度更新所述生成器的参数，并再次输入所述初始文本序列至更新后的生成器中；
S7：迭代执行步骤S2至S6直至所述生成器和判别器均收敛后，输出目标文本序列。
2.根据权利要求1所述的文本序列生成方法，其特征在于，在所述将初始文本序列输入至对抗网络模型之前，还包括：
基于长短期记忆神经网络并利用交叉熵作为损失函数，构建所述生成器；基于卷积神经网络，构建所述判别器；
所述反馈网络模块也是基于长短期记忆神经网络所构建；
分别对所述生成器和所述判别器进行预训练。
3.根据权利要求2所述的文本序列生成方法，其特征在于，所述生成器的优化目标函数为：
Figure FDA0002295848290000011
其中，Y1:T为生成器生成的文本序列；Dφ为判别器参数；log[Dφ(Y1:T)]为生成序列在判别器输出给生成器的奖励函数；
Figure FDA0002295848290000021
为对所述奖励函数进行期望值计算的函数，θ为生成器的参数。
4.根据权利要求2所述的文本序列生成方法，其特征在于，所述特征反馈网络模块用于从所述判别器中调取高阶特征，包括以下步骤：
所述判别器的词嵌入层将输入的文本转换成对应的文本向量；
以步长为1的卷积层代替经典的CNN模型的池化层，利用卷积层对所述文本向量进行特征提取，获取与所述文本向量相对应的特征向量；
所述特征向量用于表征所述高阶特征。
5.根据权利要求2所述的文本序列生成方法，其特征在于，所述并基于所述高阶特征生成指导特征向量，包括：
基于所述长短期记忆神经网络获取当前时间步的特征转换向量；
根据所述特征转换向量获取维度变换向量；
根据所述维度变换向量与当前时间步的序列，获取所述指导特征向量；
所述指导特征向量用于表征词库中各个词被选择的概率。
6.根据权利要求5所述的文本序列生成方法，其特征在于，所述生成器基于所述指导特征向量，生成预输出文本序列中的下一个词，包括：
将所述指导特征向量输入至所述生成器的softmax层中，以根据所述词库中各个词被选择的概率，选择概率最大的词作为所述预输出文本序列中的下一个词。
7.根据权利要求5所述的文本序列生成方法，其特征在于，
所述基于所述长短期记忆神经网络获取当前时间步的特征转换向量的计算方法为：
zt，ht C＝Cδ(ft，ht-1 C)，
其中，C表示特征反馈网络模块,δ为特征反馈网络模块的参数，
Figure FDA0002295848290000022
表示当前时间步的隐状态向量，ft为提取的代表文本特征的向量，zt表示当前时间步的特征转换向量；其中当前时间步的特征转换向量zt由当前时间步的特征向量和前一时间步的隐状态向量共同决定，为保持络后续训练的稳定性，可将zt统一为单位向量；
所述根据所述特征转换向量获取维度变换向量的计算方法为：
Figure FDA0002295848290000031
其中，W表示维度变换矩阵，Zt表示维度变换向量，zi表示第i个时间步的特征向量。
8.一种文本序列生成系统，其特征在于，包括：
生成器模块、判别器模块、特征反馈网络模块、第一判断循环模块以及第二判断循环模块，其中：
所述生成器模块用于接收初始文本序列，并对所述初始文本序列进行运算，并将运算结果输入至所述判别器模块中；
所述特征反馈网络模块用于从所述判别器模块中调取高阶特征，并基于所述高阶特征生成指导特征向量；
所述生成器模块用于接收初始文本序列并结合所述指导特征向量，生成预输出文本序列中的下一个词，并将新构建的预输出文本序列输入至所述判别器中；
所述判别器模块根据所述新构建的预输出文本序列和所述初始文本序列更新所述高阶特征；
所述第一判断循环模块用于控制所述生成器模块、所述特征反馈网络模块以及所述判别器模块，直至所述新构建的预生成文本序列的总词数达到设定阈值时，将所述新构建的预生成文本序列输入至所述判别器进行判别，并根据分类判别结果计算更新梯度；
所述生成器模块用于根据所述更新梯度更新生成器的参数，并再次输入所述初始文本序列至更新后的生成器中；
所述第二判断循环模块用于控制所述生成器模块、所述特征反馈网络模块以及所述判别器模块，直至所述生成器和判别器的运算结果均收敛后，由所述生成器模块输出目标文本序列。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的文本序列生成方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的文本序列生成方法的步骤。
CN201911200922.6A 2019-11-29 2019-11-29 一种文本序列生成方法及其系统 Active CN111046178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911200922.6A CN111046178B (zh) 2019-11-29 2019-11-29 一种文本序列生成方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911200922.6A CN111046178B (zh) 2019-11-29 2019-11-29 一种文本序列生成方法及其系统

Publications (2)

Publication Number Publication Date
CN111046178A true CN111046178A (zh) 2020-04-21
CN111046178B CN111046178B (zh) 2023-06-20

Family

ID=70233093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911200922.6A Active CN111046178B (zh) 2019-11-29 2019-11-29 一种文本序列生成方法及其系统

Country Status (1)

Country Link
CN (1) CN111046178B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000769A (zh) * 2020-08-17 2020-11-27 东北林业大学 一种基于对抗网络的服装商品广告文案生成方法
CN112733835A (zh) * 2021-03-31 2021-04-30 杭州科技职业技术学院 基于原图像和动态信息融合的息屏画面生成方法
CN113312609A (zh) * 2021-05-14 2021-08-27 华南理工大学 基于策略梯度的生成式对抗网络的口令破解方法及系统
WO2024066041A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 基于序列对抗和先验推理的电子保函自动生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563779A (zh) * 2018-04-25 2018-09-21 北京计算机技术及应用研究所 一种基于神经网络的无模板自然语言文本答案生成方法
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
CN109766432A (zh) * 2018-07-12 2019-05-17 中国科学院信息工程研究所 一种基于生成对抗网络的中文摘要生成方法和装置
US20190236139A1 (en) * 2018-01-31 2019-08-01 Jungle Disk, L.L.C. Natural language generation using pinned text and multiple discriminators

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236139A1 (en) * 2018-01-31 2019-08-01 Jungle Disk, L.L.C. Natural language generation using pinned text and multiple discriminators
CN108563779A (zh) * 2018-04-25 2018-09-21 北京计算机技术及应用研究所 一种基于神经网络的无模板自然语言文本答案生成方法
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
CN109766432A (zh) * 2018-07-12 2019-05-17 中国科学院信息工程研究所 一种基于生成对抗网络的中文摘要生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙博: "基于生成对抗网络的文本自动生成方法研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000769A (zh) * 2020-08-17 2020-11-27 东北林业大学 一种基于对抗网络的服装商品广告文案生成方法
CN112733835A (zh) * 2021-03-31 2021-04-30 杭州科技职业技术学院 基于原图像和动态信息融合的息屏画面生成方法
CN113312609A (zh) * 2021-05-14 2021-08-27 华南理工大学 基于策略梯度的生成式对抗网络的口令破解方法及系统
CN113312609B (zh) * 2021-05-14 2022-12-16 华南理工大学 基于策略梯度的生成式对抗网络的口令破解方法及系统
WO2024066041A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 基于序列对抗和先验推理的电子保函自动生成方法及装置

Also Published As

Publication number Publication date
CN111046178B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN108959396B (zh) 机器阅读模型训练方法及装置、问答方法及装置
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
CN105122279B (zh) 在识别系统中保守地适配深度神经网络
CN111046178A (zh) 一种文本序列生成方法及其系统
CN111027292B (zh) 一种限定采样文本序列生成方法及其系统
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN112131890A (zh) 一种会话意图智能识别模型的构建方法、装置及设备
CN111741330A (zh) 一种视频内容评估方法、装置、存储介质及计算机设备
CN111460833A (zh) 文本生成方法、装置和设备
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
CN111859964A (zh) 一种语句中命名实体的识别方法及装置
CN112559706B (zh) 对话生成模型的训练方法、对话方法、设备以及存储介质
CN111626041B (zh) 一种基于深度学习的音乐评论生成方法
CN113111190A (zh) 一种知识驱动的对话生成方法及装置
CN114048729A (zh) 医学文献评价方法、电子设备、存储介质和程序产品
CN110717027B (zh) 多轮智能问答方法、系统以及控制器和介质
CN114332565A (zh) 一种基于分布估计的条件生成对抗网络文本生成图像方法
CN113869005A (zh) 一种基于语句相似度的预训练模型方法和系统
CN114757310B (zh) 情感识别模型及其训练方法、装置、设备及可读存储介质
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
CN112328774B (zh) 基于多文档的任务型人机对话任务的实现方法
CN113836910A (zh) 一种基于多层次语义的文本识别方法及系统
CN113094504A (zh) 基于自动机器学习的自适应文本分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant