CN111859978B - 一种基于深度学习的情感文本生成方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的情感文本生成方法，将变分自编码器和辅助分类器生成对抗网络有效地结合在一起，通过变分自编码器的数据特征挖掘以及潜在空间表示的优异性能进行情感文本生成任务，并在其中添加了注意力机制，而辅助分类器生成对抗网络的判别器则设计了一种利用词频‑逆文档频率、情感注意力融合特征向量加权计算的多特征卷积神经网络与深度双向门控循环单元组成的模型进行数据判别，并在其基础上增加了集成学习模块来提供生成器额外的情感分类损失惩罚。本发明生成的情感文本一定程度上接近真实的情感文本，不仅可用于文本分析的数据增强工作，也可使人机对话生成更加感性化的内容，提高结果精确率的同时也可提升执行效率。

Description

一种基于深度学习的情感文本生成方法

技术领域

本发明属于自然语言处理领域中，具体涉及一种基于深度学习的情感文本生成方法。

背景技术

伴随着互联网不断前进的脚步，信息化社会阶段已经逐渐从满足人们的基本要求发展至利用智能化技术提供给人们更加便利化生活的阶段。现如今，无论是电商平台中智能化的导购小助手，还是金融领域中人性化的服务机器人，人机对话模式越来越受到用户群体的关注。通过产生更加感性化的对话内容来获得用户认可甚至信任是情感文本生成技术的应用方向之一。

同时，情感文本生成技术的前提是学习文本数据的真实结构与情感特征，以往文本数据的情感特征仅仅是基于情感词典的方式进行无监督式学习，后来发展为以统计学为基础的机器学习。但情感文本数据常常由于人工标注的经验性误差导致其训练数据集出现不平衡情况，因此情感文本生成技术通过生成指定情感类别的文本数据成为有效解决情感数据不平衡问题的数据增强技术之一。

发明内容

发明目的：本发明旨在提出一种基于深度学习的情感文本生成方法，利用深度学习的相关模型对真实情感文本相关句法结构和情感特征信息进行训练学习后再重建其数据分布规律，进而生成句法结构和情感特征均高度相似的重构情感文本，不但可以作为数据增强技术的有力支撑，也可以有效地提升针对文本数据内部的学习建模能力。

发明内容：本发明提供一种基于深度学习的情感文本生成方法，具体包括以下步骤：

(1)重构情感文本的词向量特征表示和字向量特征表示：将真实情感文本的词向量表示和字向量表示分别输入至编码器部分的双向长短时记忆网络中进行计算，计算出近似标准正态分布的后验分布潜在变量，将潜在变量、前一时刻的隐藏层状态和输出、情感标签向量以及当前时刻结合注意力机制得到的注意力分配权重共同输入至解码器部分的双向长短时记忆网络中进行计算，通过词向量重构表示和字向量重构表示得到真实情感文本的重构情感文本特征表示；

(2)真实情感文本和重构情感文本的真伪判定以及二者的情感判定：首先将真实情感文本和重构情感文本的词特征向量、字特征向量分别输入至深度双向门控循环单元中进行语义特征提取；再将特征向量分别与文本的词语级TF-IDF、情感注意力融合特征向量以及字符级TF-IDF、情感注意力融合特征向量进行权重计算得到的加权特征向量同时输入至多特征卷积神经网络中进行文本真伪和情感类别判定；同时将词向量表示输入至基于Stacking算法的集成情感分类模型中进行情感类别判定，最终分别得到真实情感文本和重构情感文本的真伪性、情感倾向性判定结果；

(3)对重构部分和判定部分的进行训练，获取情感文本生成模型；

(4)生成多样化的情感文本：训练完成后，将从近似后验分布潜在变量中进行循环随机采样得到的样本数据与指定的情感标签向量进行结合后输入至解码器中生成对应情感标签的情感文本。

进一步地，所述步骤(1)包括以下步骤：

(11)将真实情感文本分别通过中文领域基于转换器模型的双向编码表示和词向量转换两种预训练模型计算得到的文本词特征向量和字特征向量表示输入至编码器部分的双向长短时记忆网络中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出；

(12)根据编码器输出的隐藏层状态H对其每个时刻取最大值处理得到H_x后，可利用神经网络计算出其均值和对数方差，并采用重参数化的技巧对其进行转换后，将转换后的潜在变量和情感标签向量输入至解码器部分的双向长短时记忆网络结构中，并结合注意力机制进行序列的输出，输出第k个时刻隐藏层状态s_k为：s_k＝BiLSTM(Z，s_k-1，y_k-1，c_k，C)，其中z表示潜在变量，s_k-1表示前一时刻的双向隐藏层状态，y_k-1表示前一时刻的输出，C表示当前目标生成所需要结合的情感标签向量，c_k表示当前时刻由编码器的隐藏状态结合注意力机制生成的语义编码向量；

(13)将隐藏层状态s_k通过一层神经网络即可分别获得情感文本重构的词向量输出和字向量输出。

进一步地，所述步骤(2)包括以下步骤：

(21)将真实情感文本和重构情感文本的词向量表示输入至基于Stacking算法的集成情感分类模型用于文本的情感判定，其中基分类器模型为朴素贝叶斯模型、决策树模型以及深度双向门控循环单元与多特征卷积神经网络的结合模型，元分类器模型则为支持向量机模型；深度双向门控循环单元与多特征卷积神经网络的结合模型同时接受真实和重构的词向量表示和字向量表示，分别输入至深度双向门控循环单元网络结构中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出；设文本数据输入X＝{x₁，x₂，...，x_n}，x_k表示文本中通过词嵌入处理后的第k个词向量或字向量，则首层正向的第k个隐藏层状态即由门控循环单元计算得到：

同理反向的第k个隐藏层状态即：/>

随后第l层反向的第k个隐藏层状态即：/>

其正向的第k个隐藏层状态即：/>

最后连结两个方向的隐藏状态/>

和/>

得到最终隐藏状态/>

即：/>

并将其输入至输出层；对双向隐藏层状态利用注意力机制分别计算其注意力权重参数，即：/>

其中W和V分别表示权重参数，b表示偏置参数，e_k表示语义特征向量，e_j表示情感标签向量，α_k表示语义特征对文本情感类别的权重；

(22)将各时刻的隐藏层状态输出利用其计算完成对应级别的TF-IDF特征向量和情感注意力的融合特征向量进行加权计算，得到加权特征向量，输入至多特征卷积神经网络中进行文本的真伪判定和情感判定。

进一步地，所述步骤(3)包括以下步骤：

(31)结合近似后验分布、解码器生成的损失函数并求其对于编码器的梯度来进行超参数更新训练；

(32)结合近似后验分布、解码器生成、解码器分类的损失函数并求其对于解码器的梯度来进行超参数更新训练；

(33)结合判别器生成、判别器分类的损失函数并求其对于判别器的梯度来进行超参数更新训练。

有益效果：与现有技术相比，本发明的有益效果：

1、传统的文本生成模型大多依靠于语言模型，无法生成多样化的文本，而变分自编码器与辅助分类器生成对抗网络在图像处理领域中能够生成多样化的图像数据，将二者结合并改进了相应的训练方法使其应用于文本生成领域，进而生成多样化的情感文本数据；

2、在文本语义特征提取方面，将双向门控循环单元设计为交替式方向的深度结构，让模型在学习过程中不仅能够避免时间跨度过长导致信息参数更新不合理的问题，还能够将文本每一个方向的语义信息尽可能综合地保留，充分考虑了输入词的上下文信息；同时将原始卷积神经网络设计为TF-IDF与情感注意力融合特征向量加权的多特征卷积神经网络结构，使深度双向门控循环单元提取后的语义特征在加权后融合其文本词向量表示和字向量表示，提升了对文本语义信息处理的效果；

3、辅助分类器生成对抗网络仅通过判别器同时对文本进行真伪和类别的判定，但文本类别存在特征不明显的情况，导致生成过程中模型会将注意力更加倾向于真伪性方面，因此将判别器类别判定部分通设计为集成学习来进行额外的特征学习，进而反馈给生成器更多关于文本情感特征构造的信息。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案和有益效果更加清晰明了，下面结合附图对本发明进行更进一步的描述：

本发明提出一种基于深度学习的情感文本生成方法，将变分自编码器与辅助分类器生成对抗网络进行融合后应用于文本生成领域。通过变分自编码器的数据特征挖掘以及潜在空间表示的优异性能进行情感文本生成任务，针对其编码器和解码器的结构单元均使用了双向长短时记忆网络，并在其中添加了注意力机制，而辅助分类器生成对抗网络的判别器则设计了一种利用词频-逆文档频率、情感注意力融合特征向量加权计算的多特征卷积神经网络与深度双向门控循环单元组成的模型进行数据判别，并在其基础上增加了集成学习模块来提供生成器额外的情感分类损失惩罚，提高了生成文本的合理性。其具体实现步骤如下：

步骤1：重构情感文本的词向量特征表示和字向量特征表示。

首先将真实情感文本的词向量表示和字向量表示分别输入至编码器部分的双向长短时记忆网络中进行计算，计算出近似标准正态分布的后验分布潜在变量，将潜在变量、前一时刻的隐藏层状态和输出、情感标签向量以及当前时刻结合注意力机制得到的注意力分配权重共同输入至解码器部分的双向长短时记忆网络中进行计算，通过词向量重构表示和字向量重构表示得到真实情感文本的重构情感文本特征表示。

将真实情感文本分别通过中文领域基于转换器模型的双向编码表示(Bidirectional Encoder Representations from Transformers，BERT)和词向量转换(Word to Vector，Word2Vec)两种预训练模型计算得到的文本词特征向量和字特征向量表示输入至编码器部分的双向长短时记忆网络中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出。将得到的隐藏层状态通过注意力机制分别赋予不同的权重值。根据编码器输出的隐藏层状态H对其每个时刻取最大值处理得到H_x后，可利用神经网络计算出其均值和对数方差，并采用重参数化的技巧对其进行转换后，将潜在变量和情感标签向量输入至解码器部分的双向长短时记忆网络(Bidirectional Long Short-TermMemory，BiLSTM)结构中，并结合注意力机制进行序列的输出，输出第k个时刻隐藏层状态s_k为：s_k＝BiLSTM(Z，s_k-1，y_k-1，c_k，C)，其中Z表示潜在变量，s_k-1表示前一时刻的双向隐藏层状态，y_k-1表示前一时刻的输出，C表示当前目标生成所需要结合的情感标签向量，c_k表示当前时刻由编码器的隐藏状态结合注意力机制生成的语义编码向量，最终将隐藏层状态s_k通过一层神经网络即可分别获得重构情感文本的词向量输出和字向量输出。

步骤2：真实情感文本和重构情感文本的真伪判定以及二者的情感判定：。

首先将真实情感文本和重构情感文本的词特征向量、字特征向量分别输入至深度双向门控循环单元中进行语义特征提取；再将特征向量分别与文本的词语级TF-IDF(TermFrequency-Inverse Document Frequency，词频-逆文档频率)、字符级TF-IDF以及情感注意力融合特征向量进行权重计算得到的加权特征向量同时输入至多特征卷积神经网络中进行文本真伪和情感类别判定；同时将词向量表示输入至基于Stacking算法的集成情感分类模型中进行情感类别判定，最终分别得到真实情感文本和重构情感文本的真伪性、情感倾向性判定结果。

将真实情感文本和重构情感文本的词向量表示输入至基于Stacking算法的集成情感分类模型用于文本的情感判定，其中基分类器模型为朴素贝叶斯模型、决策树模型以及深度双向门控循环单元与多特征卷积神经网络的结合模型，元分类器模型则为支持向量机模型；深度双向门控循环单元与多特征卷积神经网络的结合模型同时接受真实和重构的词向量表示和字向量表示，分别输入至深度双向门控循环单元网络结构中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出。

设文本数据输入X＝{x₁，x₂，...，x_n}，x_k表示文本中通过词嵌入处理后的第k个词向量或字向量，则首层正向的第k个隐藏层状态即由门控循环单元(Gated Recurrent Unit，GRU)计算得到：

同理反向的第k个隐藏层状态即：/>

随后第l层反向的第k个隐藏层状态即：/>

其正向的第k个隐藏层状态即：/>

最后连结两个方向的隐藏状态/>

和/>

得到最终隐藏状态

即：/>

并将其输入至输出层；对双向隐藏层状态利用注意力机制分别计算其注意力权重参数，即：/>

其中W和V分别表示权重参数，b表示偏置参数，e_k表示语义特征向量，e_j表示情感标签向量，α_k表示语义特征对文本情感类别的权重。

将各时刻的隐藏层状态输出利用其计算完成对应级别的TF-IDF特征向量和情感注意力融合特征向量分别进行加权计算，得到加权特征向量，输入至多特征卷积神经网络中进行文本的真伪判定和情感判定。

假设有文本D，其特征向量为{x₁，x₂，...，x_n}，其中x_i表示经过处理后的词向量或字向量，而使用h×d格式的卷积核对其进行滑动划分后，文本D被划分成：D_i：i+h-1＝{x_i，x_i+1，...，x_i+h-1}，对其进行卷积计算操作即：c_i＝f(WD_i：i+h-1+b)，其中，c_i表示经过卷积计算后的第i个特征，W表示权重参数，b表示偏置参数，f表示非线性映射函数，当整体文本特征向量完成卷积计算后，会得到n-h+1个特征值，则特征图谱表示为：C＝[c₁，c₂，...，c_n-h+1]。对特征图谱进行数据压缩的操作，采取最大值池化的方式进行压缩计算，其计算公式为：

其中k表示具体要选取最大值的数量，l表示文本数据的长度，h表示卷积核滑动窗口的高度。因此最终池化后的特征向量为：/>

处理完所有的特征图谱后，将特征向量进行合并融合操作。将此结果输入至两个全连接网络进行传播计算，并使用Softmax分类方法进行类别判定，训练过程即：/>

其中o(x)表示全连接层计算的输出，W表示权重参数，b表示偏置参数，k表示类别数量，/>

则表示特征向量，p(i)表示类别为i时对应的概率，因此分类概率最大的类别即为文本数据最终的真伪性和情感判定结果。

步骤3：重构部分和判定部分的模型训练过程。

首先结合近似后验分布、解码器生成的损失函数并求其对于编码器的梯度来进行超参数更新训练，然后结合近似后验分布、解码器生成、解码器分类的损失函数并求其对于解码器的梯度来进行参数更新训练，最后结合判别器生成、判别器分类的损失函数并求其对于判别器的梯度来进行参数更新训练。其中近似后验分布的损失函数为变分自编码器中已有的损失函数，解码器生成和解码器分类的损失函数为辅助分类器生成对抗网络中已有的损失函数，并利用序列生成对抗网络中的策略梯度方法进行优化，判别器生成和判别器分类的损失函数对应于辅助分类器生成对抗网络中已有的损失函数，并且判别器分类损失函数由深度双向门控循环单元和多特征卷积神经网络结合模型中的交叉熵损失函数和基于Stacking算法的集成情感分类模型中已有的损失函数共同组成。

步骤4：生成多样化的情感文本：训练完成后，将从近似后验分布潜在变量中进行循环随机采样得到的样本数据与指定的情感标签向量进行结合后输入至解码器中生成对应情感标签的情感文本。

Claims (4)

1.一种基于深度学习的情感文本生成方法，其特征在于，包括以下步骤：

(1)重构情感文本的词向量特征表示和字向量特征表示：将真实情感文本的词向量表示和字向量表示分别输入至编码器部分的双向长短时记忆网络中进行计算，计算出近似标准正态分布的后验分布潜在变量，将潜在变量、前一时刻的隐藏层状态和输出、情感标签向量以及当前时刻结合注意力机制得到的注意力分配权重共同输入至解码器部分的双向长短时记忆网络中进行计算，通过词向量重构表示和字向量重构表示得到真实情感文本的重构情感文本特征表示；

(2)真实情感文本和重构情感文本的真伪判定以及二者的情感判定：首先将真实情感文本和重构情感文本的词特征向量、字特征向量分别输入至深度双向门控循环单元中进行语义特征提取；再将特征向量分别与文本的词语级TF-IDF、情感注意力融合特征向量以及字符级TF-IDF、情感注意力融合特征向量进行权重计算得到的加权特征向量同时输入至多特征卷积神经网络中进行文本真伪和情感类别判定；同时将词向量表示输入至基于Stacking算法的集成情感分类模型中进行情感类别判定，最终分别得到真实情感文本和重构情感文本的真伪性、情感倾向性判定结果；

(3)对重构部分和判定部分的进行训练，获取情感文本生成模型；

(4)生成多样化的情感文本：训练完成后，将从近似后验分布潜在变量中进行循环随机采样得到的样本数据与指定的情感标签向量进行结合后输入至解码器中生成对应情感标签的情感文本。

2.根据权利要求1所述的一种基于深度学习的情感文本生成方法，其特征在于，所述步骤(1)包括以下步骤：

(11)将真实情感文本分别通过中文领域基于转换器模型的双向编码表示和词向量转换两种预训练模型计算得到的文本词特征向量和字特征向量表示输入至编码器部分的双向长短时记忆网络中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出；

(12)根据编码器输出的隐藏层状态H对其每个时刻取最大值处理得到H_x后，可利用神经网络计算出其均值和对数方差，并采用重参数化的技巧对其进行转换后，将转换后的潜在变量和情感标签向量输入至解码器部分的双向长短时记忆网络结构中，并结合注意力机制进行序列的输出，输出第k个时刻隐藏层状态s_k为：s_k＝BiLSTM(Z，s_k-1，y_k-1，c_k，C)，其中Z表示潜在变量，s_k-1表示前一时刻的双向隐藏层状态，y_k-1表示前一时刻的输出，C表示当前目标生成所需要结合的情感标签向量，c_k表示当前时刻由编码器的隐藏状态结合注意力机制生成的语义编码向量；

(13)将隐藏层状态s_k通过一层神经网络即可分别获得情感文本重构的词向量输出和字向量输出。

3.根据权利要求1所述的一种基于深度学习的情感文本生成方法，其特征在于，所述步骤(2)包括以下步骤：

(21)将真实情感文本和重构情感文本的词向量表示输入至基于Stacking算法的集成情感分类模型用于文本的情感判定，其中基分类器模型为朴素贝叶斯模型、决策树模型以及深度双向门控循环单元与多特征卷积神经网络的结合模型，元分类器模型则为支持向量机模型；深度双向门控循环单元与多特征卷积神经网络的结合模型同时接受真实和重构的词向量表示和字向量表示，分别输入至深度双向门控循环单元网络结构中进行计算，得到每个时刻下的隐藏层状态输出以及最终的语义编码向量输出；设文本数据输入X＝{x₁，x₂，...，x_n}，x_k表示文本中通过词嵌入处理后的第k个词向量或字向量，则首层正向的第k个隐藏层状态即由门控循环单元计算得到：

同理反向的第k个隐藏层状态即：/>

随后第l层反向的第k个隐藏层状态即：/>

其正向的第k个隐藏层状态即：

最后连结两个方向的隐藏状态/>

和/>

得到最终隐藏状态/>

即：

并将其输入至输出层；对双向隐藏层状态利用注意力机制分别计算其注意力权重参数，即：/>

其中W和V分别表示权重参数，b表示偏置参数，e_k表示语义特征向量，e_j表示情感标签向量，α_k表示语义特征对文本情感类别的权重；

(22)将各时刻的隐藏层状态输出利用其计算完成对应级别的TF-IDF特征向量和情感注意力的融合特征向量进行加权计算，得到加权特征向量，输入至多特征卷积神经网络中进行文本的真伪判定和情感判定。

4.根据权利要求1所述的一种基于深度学习的情感文本生成方法，其特征在于，所述步骤(3)包括以下步骤：

(31)结合近似后验分布、解码器生成的损失函数并求其对于编码器的梯度来进行超参数更新训练；

(32)结合近似后验分布、解码器生成、解码器分类的损失函数并求其对于解码器的梯度来进行超参数更新训练；

(33)结合判别器生成、判别器分类的损失函数并求其对于判别器的梯度来进行超参数更新训练。

Images