CN115935975A - 一种情感可控的新闻评论生成方法 - Google Patents

Abstract

本发明提供了一种情感可控的新闻评论生成方法，首先对新闻数据集进行清理和预处理；训练一个基于深度学习的实体级别情感分析模型；通过对比学习进一步提高实体级别情感分析模型的性能；将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端到端的情感可控新闻评论生成模型；将新闻数据输入到训练好的端到端的情感可控新闻评论生成模型，得到情感极性合适，内容与新闻高度相关的新闻评论；本发明方法生成的评论内容简洁，清晰，易于理解，新闻与评论之间不存在不一致的信息。

Description

一种情感可控的新闻评论生成方法

技术领域

本发明涉及深度学习领域，特别是指一种情感可控的新闻评论生成方法。

背景技术

在一些热点新闻下，我们经常可以看见人们各自对新闻事件发表自己的观点，对当今人 们认知的发展起到了重要的作用。然而在现今信息时代的大背景下，大量涌现的新闻会让一 些重要的新闻被人们忽略，如果有一项技术可以根据这些冷门的重要新闻生成并发表一些评 论，就有助于鼓励人们在该新闻上的参与和互动，让这些重要的新闻走入大众的视野当中。

但是，现有的自动评论生成方法生成的评论存在着很多问题，比如多样性严重不足，缺 乏新闻中实体层面的情感表达，这样的评论往往不具有很强的辨识度，很难被看作是一条真 实的人为发表的评论。因此如何根据新闻生成更加真实的评论是一个迫切需要解决的问题。

自动评论生成任务是一个可提供的有效的技术手段，它通过对新闻文本进行建模，从而 自动生成评论，在舆情的控制和提高与人类的交互等方面起到了重要作用。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种情感可控的新闻评论生成 方法，该方法生成的评论内容简洁，清晰，易于理解，新闻与评论之间不存在不一致的信息。

本发明采用如下技术方案：

一种情感可控的新闻评论生成方法，包括以下步骤：

采集新闻数据集，对新闻数据集进行预处理，得到预处理后的新闻数据集；

利用预处理后的新闻数据集训练实体级别情感分析模型，得到预训练后的实体级别情感 分析模型，所述实体级别情感分析模型包括五个部分，第一部分为句子编码模块，对新闻主 体中每个句子中的上下文进行编码；第二部分为基于异构图的新闻编码模块，基于异构图神 经网络构建句子和单词之间的关系；第三部分为顺序实体编码模块，对实体的新闻故事序列 进行编码；第四部分为注意模块，捕获新闻和实体之间的关联；第五部分为预测模块，综合 各种因素对情感进行分类。

采用无监督方式和有监督方式对预训练后的实体级别情感分析模型进行再训练，得到训 练完成的实体级别情感分析模型；

将训练完成的实体级别情感分析模型与评论生成模型结合，训练一个端到端的情感可控 的新闻评论生成模型，所述情感可控的新闻评论生成模型分为三个部分，第一部分为新闻内 容编码模块，获得新闻内容的表征；第二部分为情感编码模块，采用训练完成的实体级别情 感分析模型得到新闻中对于实体的情感倾向表征，且将情感倾向表征和内容编码模块得到的 新闻内容的表征融合；第三部分为评论生成模块，采用双向解码器在实体前后进行新闻评论 的生成，并根据词频和生成单词的位置优化评论生成的效果；

将新闻数据输入端到端的情感可控新闻评论生成模型，得到情感极性、内容与新闻高度 相关的新闻评论。

具体地，对新闻数据集进行预处理，得到预处理后的新闻数据集，具体为：

收集在线新闻平台上的新闻数据，首先将新闻内容按照句号进行分句，抽取新闻内容当 中的新闻实体，并将表情符号和非法符号删除。

具体地，利用预处理后的新闻数据集训练实体级别情感分析模型，得到预训练后的实体 级别情感分析模型，具体训练步骤为：

构造训练集，采用无监督的方式对每个新闻实体在新闻中的情感倾向进行标注，并标注 新闻实体的情感得分f；

对于一则新闻，包含若干个句子序列

其中s_i为句子中的单词，

为 第i个句子的长度，经过嵌入层后得到

其中d_w表示单 词嵌入向量的维度大小，

即为句子序列中单词s_i的嵌入向量，再通过CNN层采用卷积的方 式来对每一个句子捕获n-gram的特征，CNN的输出经过BiLSTM层捕获句子间的依赖关系， 最后得到第i个句子的输出

其中d_s表示句子嵌入向量的维度大小；

构建异构图的数据结构，分别构造单词节点和句子节点，并对单词节点和句子节点进行 初始化，再构造单词节点和句子节点的边，边的权重为w_i,j＝tfi,j/df(j),tf(i,j)是单词j出现 在句子i中的次数，df(j)是包含单词j的句子数量；

通过注意力图神经网络并逐层更新单词节点的状态：

其中LeakyReLU是深度学习中常用的激活函数，提供非线性变换，||是连接操作，σ是 Sigmoid函数，W_a、

均为可学习的参数矩阵，

是与第i个句子节点相邻的 单词节点集合，

和

是注意力图神经网络的中间量，l代表当前的层数，

则为更新 后第i个句子节点在第l+1层的状态；句子节点采用相同方式进行更新，最终将注意力图神经 网络最后一层得到的所有句子节点状态通过前馈神经网络FFN得到关于新闻的表示h_n：

其中

第i个句子节点在图神经网络最后一层L层的状态；

对于每个新闻n，在数据集中获取其实体集合ε(n)，对于实体集合ε中的每一个实体E， 都会根据新闻发布时间来为实体构造一个序列q_E＝＜n_E,1,…,n_E,t,…,n_E,N(E)＞，代表包含实 体E的时间有序的新闻序列，N(E)代表包含实体E的新闻个数，t代表新闻出现在这个序列中 的序号。

如图1所示，构造的序列将会作为GRU的输入，GRU每一个时间步的输入为步骤三得到的对应的新闻表示，比如对于q_E序列中的新闻n_E,t，我们在GRU的输入即为

GRU采 用重置门，更新门来更新隐藏状态，具体流程如下：

其中W_z、W_r、W_o均为可学习的权重矩阵，z^o,t和r^o,t分别为更新们和重置门的输出，

为候选 输出状态，o^t是实际输出状态，tanh(·)和σ(·)分别为tanh和sigmoid激活函数。

这里采用注意力机制来捕获实体和新闻之间的关系表示，设E_o、E_p均为新闻n的实体， 且E_o是序列最长的实体，即

我们将E_o、E_p实体构造的新闻序列通过 上述的GRU网络后就可以得到E_o ^t和E_p ^t，接下来注意力机制的计算流程如下：

其中W_M、

均为可学习的参数矩阵；

将得到的关系表示f_n和实体E∈ε(n)的嵌入向量e_E拼接起来，通过MLP层来预测新闻对 于实体的情感分数

h＝Sigmoid((f_n||e_E)W_h+b_h)，

其中，W_h、W_o为可学习的参数矩阵,b_h、b_o分别为隐藏层和输出层的偏置向量；

最后将预测的情感分数

与标注好的情感得分f通过二值交叉熵损失函数计算损失，以此 来训练实体级别情感分析模型：

具体地，采用无监督方式和有监督方式对预训练后的实体级别情感分析模型进行再训练， 得到训练完成的实体级别情感分析模型，具体为：

构建训练集，分别构造无监督对比学习的数据集和有监督对比学习的训练集；所述无监 督对比学习的数据集为

为新闻n_i的正例，m为对比学习训练集的长 度；所述有监督对比学习的训练集数据集

对于新闻n_j，

为不重复 的情感极性相同的新闻，

为不重复的情感极性相反的新闻的新闻

构成有监督对比学习 的数据集

采用无监督方式对预训练后的实体级别情感分析模型进行训练，首先将无监督对比学习 的数据集中的数据对

分别输入到预训练后的实体级别情感分析模型中，分别得到

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，h_k则为一个batch内的其它新闻通过实体级别情感分 析模型中得到的隐藏状态，sim为相似度计算函数，这里采用的计算方法是余弦相似度，τ是 温度系数，设定为0.05，e是自然常数；

采用有监督方式对实体级别情感分析模型进行训练，首先将有监督对比学习的数据集中 的数据组分别输入到无监督方式训练后的实体级别情感分析模型中，得到隐藏状态表示为 

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，

和

分别为一个batch中的正样本和负样本新闻 通过实体级别情感分析模型得到的隐藏状态。

具体地，将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端到 端的情感可控的新闻评论生成模型，训练步骤如下：

构建训练集，筛选包含实体的评论，一条新闻n对应一条包含实体E的评论y，以及一个 新闻标题t，并且按照2-gram词频对数据集进行筛减；

新闻内容编码模块将新闻的内容进行编码，将新闻标题t输入到Transformer的编码端， 新闻内容编码模块包括一个多头注意力网络和FFN，其中多头注意力网络的公式如下:

MultiHead(Q,K,V)＝[head₁；…；head_h]W^m,

其中Attention为自注意力机制的计算公式，如下所示：

其中d_k为K的长度，

W^m都为多头网络的可学习的参数矩阵，h＝4，Q、 K、V均为编码端新闻标题t的输入，再通过FNN，其公式如下：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂

其中x为FFN网络的输入，W₁、W₂为可学习的参数矩阵，b₁、b₂为偏置向量，新闻标题t通过内容编码模块被映射为内容表征的矩阵表示Z_t。

情感编码模块通过训练完成的实体级别情感分析模型，输入新闻n和实体E后得到情感表 征的隐藏状态h，并与内容编码模块的输出进行拼接，即[h；Z_t]，[；]为拼接操作；

评论生成模块主要由一个前向Transformer解码器和一个后向Transformer解码器组成， 将评论中的实体为分界点，在实体的前后分别使用一个解码器来生成评论序列，训练时，我 定位目标评论序列y中的实体，将实体前的序列提取出来并且按逆序排列，表示为y′，并作为 后向解码器的目标序列，目标评论序列y作为前向解码器的目标序列，输入解码器后最终可以 得到输出o^V＝Decoder(y)，最后采用交叉熵损失函数来计算损失:

其中|V|表示词库的大小，

表示输出概率分布在目标单词位置的值，

则为输出概率分 布在维度k的值；

对交叉熵损失添加关于词频的改进：

其中freq(token_t)代表目标单词在总的语料库中的词频，λ为可调整的超参数。

具体地，所述将新闻数据输入端到端的情感可控新闻评论生成模型，得到情感极性、内 容与新闻高度相关的新闻评论，具体为：

根据词频计算得分，并采用束搜索的生成办法，束搜索中的概率计算公式如下：

p_nextword＝w_cp_nextword，

其中token_t为当前束中由解码器生成的词，参数λ为可调整的超参数，控制词频对于束搜索概 率的控制；

最终束搜索的得分由以下公式确定：

其中α为长度惩罚因子，在前向解码器和后向解码器中分别采用不同的长度惩罚因子。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明提供了一种情感可控的新闻评论生成方法，首先对新闻数据集进行清理和预处理； 训练一个基于深度学习的实体级别情感分析模型；通过对比学习进一步提高实体级别情感分 析模型的性能；将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端 到端的情感可控的新闻评论生成模型；将新闻数据输入到训练好的端到端的情感可控新闻评 论生成模型，得到情感极性合适，内容与新闻高度相关的新闻评论；本发明方法生成的评论 内容简洁，清晰，易于理解，新闻与评论之间不存在不一致的信息。

附图说明

图1是本发明实施例提出的一种情感可控的新闻评论生成方法流程图。

图2是本发明实施例提出的实体级别情感分析模型。

图3是本发明实施例提出的情感可控的新闻评论生成模型。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

如图1，为本发明实施例提供的一种情感可控的新闻评论生成方法，本发明的核心思想在 于，提出一个情感可控的新闻评论生成模型。该模型将新闻评论生成模型和实体级别情感分 析模型结合在一起来生成情感可控的新闻评论。步骤101收集新闻数据，步骤102到103分 别采用图神经网络和对比学习来训练实体级别情感分析模型，步骤104训练的将实体级别情 感分析模型与新闻评论生成模型结合后的端到端模型。最后在步骤105中，使用训练好的参 数进行实际输出。

具体包括以下步骤：

S101：收集新闻数据，对新闻数据集进行清理和预处理。

收集在线新闻平台上的新闻数据，对其进行清理和预处理。首先将新闻主体按照句号进 行分句，抽取新闻当中的实体，将表情符号和其它非法符号删除；同时对于新闻的文本进行 分析，使其成为列表的形式，最终收集的新闻数据并经过简单预处理的新闻数据样本如下：

S102：使用经过处理后的新闻数据集，训练一个实体级别情感分析模型来检测新闻中对 于新闻中出现的实体的情感倾向。该情感模型(图2)主要由五个部分组成。第一部分是句 子编码模块，它对新闻主体每个句子中的上下文进行编码，以表示实体级别情感分类的局部 因素。第二部分是基于异构图的新闻编码模块，基于异构图神经网络构建句子和单词之间的 关系，用来捕获实体级别情感分类的短期因素。第三个顺序实体编码模块，对实体的新闻故 事序列进行编码，以表示实体级别的情感分类的长期因素。第四部分注意模块捕获新闻和实 体之间的关联，以表示实体级别情感分类的全局因素。第五部分预测模块综合各种因素对情 感进行最终分类。

将预处理的新闻数据集用来训练一个实体级别的情感分析模型来检测新闻中对于新闻中 出现的实体的情感倾向，以此依照以下步骤进行训练。:

S1021：构造训练集，采用无监督的方式对每个实体在新闻中的情感倾向进行标注，新闻 主体已经被分为了多句话，如果某句话中包含该实体，则通过开源的情感分析工具对其情感 分数进行标注，标注完成后再将这些分数取平均，就作为新闻对于这个实体的情感分数。

S1022：首先对于一则新闻，包含若干个句子序列

其中s_i为句子中 的单词，

为第i个句子的长度。将其经过嵌入层后可以得到

其中d_w表示单词嵌入向量的维度大小，

即为句子序列中单词s_i的嵌入向量。 接下来它将通过CNN层采用卷积的方式来对每一个句子捕获n-gram的特征，CNN的输出经 过一个BiLSTM层来捕获句子间的依赖关系，最后得到第i个句子的输出

其中d_s表 示句子嵌入向量的维度大小。

S1023：构建异构图的数据结构，分别构造单词类型和句子类型的节点，对于句子节点的 初始状态用上一个步骤的

初始化，单词节点的初始状态则用单词嵌入向量

初始化， 

接下来构建单词节点和句子节点的边，如果第i个句子包含第j个单词，则他们 之间存在一条边，边的权重用TF-IDF计算，即为tfidf_i,j＝tfi,j/df(j),tf(i,j)是单词j出现 在句子i中的次数，df(j)是包含单词j的句子数量，得到的边权重记为w_i,j。接下来通过注 意力图神经网络并逐层更新句子节点的状态：

其中LeakyReLU是深度学习中常用的激活函数，提供非线性变换，||是连接操作，σ是 Sigmoid函数，W_a、

均为可学习的参数矩阵，

是与第i个句子节点相邻的 单词节点集合，

和

是注意力图神经网络的中间量，l代表当前的层数，

则为更新 后第i个句子节点在第l+1层的状态。句子节点也采用类似的方式进行更新，最终我们将注意 力图神经网络最后一层得到的所有句子节点状态通过前馈神经网络FFN得到关于新闻的表示h_n：

其中

第i个句子节点在图神经网络最后一层L层的状态。

S1024：对于每个新闻n，我们可以在数据集中获取其实体集合ε(n)，对于实体集合ε中 的每一个实体E，都会根据新闻发布时间来为实体构造一个序列 q_E＝＜n_E,1,…,n_E,t,…,n_E,N(E)＞，代表着包含实体E的时间有序的新闻序列，N(E)代表包含实 体E的新闻个数，t代表新闻出现在这个序列中的序号。如图1所示，构造的序列将会作为 GRU的输入，GRU每一个时间步的输入为步骤三得到的对应的新闻表示，比如对于q_E序列 中的新闻n_E,t，我们在GRU的输入即为

GRU采用重置门，更新门来更新隐藏状态，具 体流程如下：

其中W_z、W_r、W_o均为可学习的权重矩阵，z^o,t和r^o,t分别为更新们和重置门的输出，

为 候选输出状态，o^t是实际输出状态，tanh(·)和σ(·)分别为tanh和sigmoid激活函数。

S1025：因为每一个新闻包含多个实体，每个实体又和多个新闻相关，这里采用注意力机 制来捕获实体和新闻之间的关系，假如E_o、E_p均为新闻n的实体，且E_o是序列最长的实体， 即

我们将E_o、E_p实体构造的新闻序列通过上述的GRU网络后就可 以得到E_o ^t和E_p ^t，接下来注意力机制的计算流程如下：

其中W_M、

均为可学习的参数矩阵。

S1026：最后我们将上一步骤得到的表示f_n和实体E∈ε(n)的嵌入向量e_E拼接起来，通过 MLP层来预测新闻对于该实体的情感倾向

h＝Sigmoid((f_n||e_E)W_h+b_h)，

W_h、W_o为可学习的参数矩阵,b_h、b_o分别为隐藏层和输出层的偏置向量。最后将预测的 情感分数

与事先标注好的情感得分f通过二值交叉熵损失函数计算损失，以此来训练实体级 别情感分析模型：

模型图如图2所示，在训练之前，首先需要对数据集进行标注，如果某句话中包含该实 体，则通过开源的情感分析工具对其情感分数进行标注，标注完成后再将这些分数取平均， 就作为新闻对于这个实体的情感分数，标注完成的数据集格式如下：

S103：将训练完成的实体级别情感分析继续训练，通过对比学习的方法强化实体级别情 感分析模型的表现，主要分为有监督和无监督两种方法。

通过对比学习进一步提高实体级别情感分析模型的性能。首先处理数据集，以此依照以 下步骤进行训练：

S1031：构建训练集，分别构造无监督对比学习和有监督对比学习的训练集。首先对新闻 n，对其以P＝0.1的概率舍弃一些词，并将其作为对比学习的正例，和原先的新闻构成一个数 据对

m为对比学习训练集的长度。接下来构造有监督对比学习的训练 集，在实体E相同的情况下分别选择和一条新闻情感极性相同和情感极性相反的新闻，具体 做法是首先选择包含实体E的所有新闻，并分别评估这些新闻对实体E的情感分数，分数取0-10， 如果大于等于5，我们认为新闻对实体E的情感是积极的，如果小于5，我们认为新闻对实体E的 情感是消极的，评估完成后我们对任意的新闻n_j选择不重复的情感极性相同的新闻

和情感 极性相反的新闻的新闻

构成有监督对比学习的数据集

S1032：采用无监督方式对实体级别情感分析模型进一步训练，首先我们将无监督对比学 习的数据对

分别输入到步骤2)初步训练好的实体级别情感分析模型中，我们不取最 后得到的情感分数，取其MLP层的隐藏状态h作为对比学习需要靠近的目标，这样我们就可 以分别得到

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，h_k则为一个batch内的其它新闻通过实体级别情感 分析模型中得到的隐藏状态，sim为相似度计算函数，这里采用的计算方法是余弦相似度，τ是 温度系数，设定为0.05，e是自然常数；

S1033：采用有监督方式对实体级别情感分析模型进一步训练，首先将有监督对比学习数 据组分别输入到步骤2)初步训练好的实体级别情感分析模型中，得到隐藏状态表示为 

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，

和

分别为一个batch中的正样本和负样本新闻 通过实体级别情感分析模型得到的隐藏状态。

无监督的方法正样本直接通过原始的新闻以P＝0.1的概率mask一些词，从而作为无监督 对比学习的数据对。对于有监督对比学习，以步骤102的数据格式为例，假设当前选取的新 闻实体是“娜扎”，同时可以看到标注的得分是9.9，由于分数的范围是0-10，9.9大于5，因 此我们可以认为这则新闻对“娜扎”这一实体的情感是积极的，为了构造有监督对比学习数 据对，我们需要寻找其它的新闻，这些新闻的共同点是都包含实体“娜扎”，如果这些新闻中 存在对于实体“娜扎”的评分大于等于5的，我们将这则新闻作为对比学习的正样本，如果 存在对于实体“娜扎”的评分小于5的，我们将这则新闻作为对比学习的负样本，接下来就 可以通过有监督对比学习进一步训练实体级别情感分析模型。

本发明将102和103步骤训练的实体级别情感分析模型与各种现有的实体级别情感分析 模型进行比较。比较方法为(1)SVM。支持向量机，传统的有监督机器学习方式。(2)TD-LSTM。 LSTM基础上的改进模型，将句子的Aspect作为关键词，将其前后的序列分别通过LSTM网 络，得到的最后一个时间步的隐藏状态通过分类层来判断文本的类别。(3)TC-LSTM。在 TD-LSTM的基础上，将关键词的信息加入到前后的LSTM网络当中，将其与时间步的隐藏 状态结合。(4)AF-LSTM。采用快速傅里叶变换来将Aspect关键词和句子序列之中的其它词 结合起来，通过注意力网络来使模型关注到Aspect关键词和每个句子中单词的关系，从而进 行更好的方面级文本分类。(5)ASGCN。利用语法树来对原句进行建模，构建一个图神经网 络来捕获句子单词和Aspect之间的关系，用图神经网络建模的结果对文本进行分类。(6) BERT-single。采用BERT中[CLS]处的结果进行分类。在表1中给出实体级别情感分析模型和 其他模型的比较，实验结果证明实体级别情感分析模型可以更好捕获新闻对于某个实体的情 感倾向：

表1：实体级别情感分析模型与其他模型比较

S104：将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端到端 的情感可控的新闻评论生成模型，主要分为三个部分，第一部分是新闻内容编码模块，它将 新闻标题作为输入，获得新闻内容的表征；第二部分是情感编码模块，它采用预训练好的实 体级别情感分析模型得到新闻中对于实体的情感倾向，并且将情感倾向的表征和内容编码模 块得到的内容的表征融合；第三部分是评论生成模块，它采用双向解码器在实体前后进行新 闻评论的生成，并根据词频和生成单词的位置优化评论生成的效果。

将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端到端的情感 可控的新闻评论生成模型，如图3所示，依次按照以下步骤进行训练：

S1041：构建训练集，筛选包含实体的评论，一条新闻n对应一条包含实体E的评论y，以 及一个新闻标题t，并且按照2-gram词频对数据集进行筛减，目标是筛减后的数据集2-gram 词频不会出现很大的差异。

S1042：新闻内容编码模块将新闻的内容进行编码，将新闻标题t输入到Transformer的编 码端，它包括一个多头注意力网络和FFN，其中多头注意力网络的公式如下:

MultiHead(Q,K,V)＝[head₁；…；head_h]W^m,

其中Attention为自注意力机制的计算公式，如下所示：

其中d_k为K的长度。

W^m都为多头网络的可学习的参数矩阵，我们采用 4个头即h＝4，Q、K、V均为编码端新闻标题t的输入，接下来再通过FNN，其公式如下：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂,

其中x为FFN网络的输入，W₁、W₂为可学习的参数矩阵，b₁、b₂为偏置向量。最后，标题t通过内容编码模块被映射为内容表征的矩阵表示Z_t。

S1043：情感编码模块通过预训练好的实体级别情感分析模型输入新闻n和实体E后得到 情感表征的隐藏状态h，将其与内容编码模块的输出进行拼接，即[h||Z_t]，以此来指导评论生 成模块的输出，||为拼接操作。评论生成模块主要由一个前向Transformer解码器和一个后向 Transformer解码器组成，这里的前向代表按照语句正序生成的方向，后向则代表语句逆序生 成的方向。我们的评论生成模块需要围绕新闻中出现的实体来生成评论，因此我们就将评论 中的实体为分界点，在该实体的前后分别使用一个解码器来生成评论序列，这样的进行评论 生成的优点在于在确保最终评论中一定有实体存在的同时，也没有对实体的位置有定性的要 求。具体而言，在训练时，我们需要定位目标评论序列中的实体，将实体前的序列(包括实 体)提取出来并且按逆序排列，表示为y′，它将作为后向解码器的目标序列，而原先的目标 评论序列y则作为前向解码器的目标序列，输入解码器后最终可以得到输出o^V＝Decoder(y)， 最后采用交叉熵损失函数来计算损失：

其中|V|表示词库的大小，

表示输出概率分布在目标单词位置的值，

则为输出概率分 布在维度k的值。交叉熵损失计算公式也是在sequence-to-sequence模型中最常用的损失函数， 但是它对于每个词的权重分配是公平的，也就是说，如果在数据集中存在一些出现频率较大 的词，以相同的权重分配来计算损失就有失公平，它可能导致模型最终趋向于生成出现频率 较高的词，对最终输出序列的多样性就会产生影响。因此本工作对交叉熵损失添加了关于词 频的改进，如式3-13所示:

我们对交叉熵损失函数加上了词频的分母项，其中freq(token_t)代表目标单词在总的语料 库中的词频,λ为可以调整的超参数，目的在于针对一些高频出现的词，减少它们出现时的损 失，从而让模型参数的优化较少，相反的，对于一些低频的词，就可以增加它们出现时的损 失，扩大模型参数的优化幅度，从而削弱原始语料库中的词频对模型输出序列多样性的影响。

S105：在应用阶段，将新闻数据通过端到端的情感可控新闻评论生成模型，得到情感极 性合适，内容与新闻高度相关的新闻评论。

将新闻数据输入到训练好的端到端的情感可控新闻评论生成模型，由于生成时由于采用 的是自回归的方式，因此我们推理根据词频计算得分，并采用束搜索的生成办法，束搜索中 的概率计算公式如下：

p_nextword＝w_cp_nextword，

其中token_t为当前束中由解码器生成的词，参数λ控制词频对于束搜索概率的控制，这里 的参数λ采用和步骤4)训练评论生成模型时采用的词频控制参数λ一致，最终束搜索的得分 由以下公式确定：

其中α为长度惩罚因子，在前向解码器和后向解码器中分别采用不同的长度惩罚因子，因 为新闻评论中实体的位置通常处于靠前的位置，因此后向序列一般短于前向序列。我们首先 根据前向解码器生成实体之前的评论，再将前向解码器生成的评论作为提示词输入到后向解 码器当中，生成实体之后的评论，这样我们就可以得到情感极性合适，内容与新闻高度相关 的新闻评论。

本发明将情感可控的新闻评论生成系统与各种现有的评论生成系统进行比较，比较方法 为：(1)LSTM-T。传统的LSTM seq2seq模型，即Encoder和Decoder均由LSTM组成，Encoder 输入的序列是新闻标题序列。(2)LSTM-B。同上，Encoder输入的序列是新闻文本序列。(3) LSTM+Attention-T。在LSTM seq2seq模型的基础上加入Attention机制，Encoder输入的序 列是新闻标题序列。(4)LSTM+Attention-B。同上，Encoder输入的序列是新闻文本序列。(5) ControlVAE。通过VAE构建一个评论生成器，再通过一个GAN网络来进行对抗训练，从而 控制生成文本的情感。(6)Self-Attention。Encoder采用一个Transformer，Decoder采用普通 的LSTM。(7)Graph2seq。Encoder端将新闻文本内容和标题通过一定的规则转化为图的数 据结构，通过图神经网络来建模捕获新闻中的信息，Decoder端通过LSTM和Attention机制 来注意到之前新闻的信息，并产生合适的新闻评论。从表2得出该系统提出的模型的ROUGE 指标和BLEU指标是最高的。

表2：各个评论生成系统ROUGE、BLEU得分对比

并且从一些可读性自动评估发现，本专利剔除的模型的可读性相比其它也是较好的。表3给 出了各个新闻评论生成系统的可读性自动评估指标比较，Flesch Reading指标得分越高代表可 读性越好，Linsearwrite、Gunningfog、Textstandard指标越低越好，比如返回8.2分，代表八 年级的学生可以理解这一文本：

表3：可读性自动评估指标

方法	Flesch Reading	Linsearwrite	Gunningfog	Textstandard
					LSTM-T	112.51	3.803	3.824	2.904
LSTM-B	112.02	3.835	3.924	3.043
					LSTM-A-T	114.01	3.05	3.24	2.56
LSTM-A-B	113.53	3.09	3.24	2.67
					ControlVAE	113.94	3.05	3.24	2.52
Self-Attention	112.1	3.98	4.01	3.11
					Graph2seq	113.68	3.225	3.37	2.292
Ours	115.96	2.093	2.47	2.154

本发明的评论生成系统最重要的特点就在于它能比其它系统生成情感极性更加合适的评 论，因此在表4中我们比较了本发明的情感可控的新闻评论生成系统相比于其它评论生成系 统的情感控制准确率：

表4：评论生成准确率对比结果

从表格中的结果中可以看到，我们的模型生成的新闻评论在可读性和共现指标不低于其 它模型生成的评论的同时，可以达到很好的评论情感可控的效果，因为情感可控的评论生成 系统较少，上面比对的基准工作大多都是直接生成而没有对评论的情感进一步的控制。因此 可以说本工作提出的情感可控新闻评论生成系统可以很好地根据新闻生成情感可控的评论， 并且优于现有的已知的绝大多数系统。

最后，给出应用阶段一个情感可控新闻评论生成的例子，表5包含本发明的系统生成的 评论和其他模型生成的评论之间的对比：

表5通过不同评论生成系统输出的评论对比

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对 本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (6)

1.一种情感可控的新闻评论生成方法，其特征在于，包括以下步骤：

采集新闻数据集，对新闻数据集进行预处理，得到预处理后的新闻数据集；

利用预处理后的新闻数据集训练实体级别情感分析模型，得到预训练后的实体级别情感分析模型，所述实体级别情感分析模型包括五个部分，第一部分为句子编码模块，对新闻主体中每个句子进行编码；第二部分为基于异构图的新闻编码模块，基于异构图神经网络构建句子和单词之间的关系；第三部分为顺序实体编码模块，对实体的新闻序列进行编码；第四部分为注意力模块，捕获新闻和实体之间的关联；第五部分为预测模块，综合各种因素对实体级别情感进行分类；

采用无监督方式和有监督方式对预训练后的实体级别情感分析模型进行再训练，得到训练完成的实体级别情感分析模型；

将训练完成的实体级别情感分析模型与评论生成模型结合，训练一个端到端的情感可控的新闻评论生成模型，所述情感可控的新闻评论生成模型分为三个部分，第一部分为新闻内容编码模块，获得新闻内容的表征；第二部分为情感编码模块，采用训练完成的实体级别情感分析模型得到新闻中对于实体的情感倾向表征，且将情感倾向表征和新闻内容编码模块得到的新闻内容的表征融合；第三部分为评论生成模块，采用双向解码器在实体前后进行新闻评论的生成，并根据词频和生成单词的位置优化评论生成的效果；

将新闻数据输入端到端的情感可控新闻评论生成模型，得到情感极性、内容与新闻高度相关的新闻评论。

2.如权利要求1所述一种情感可控的新闻评论生成方法，其特征在于，所述采集新闻数据集，对新闻数据集进行预处理，得到预处理后的新闻数据集，具体为：

收集在线新闻平台上的新闻数据，首先将新闻内容按照句号进行分句，抽取新闻内容当中的新闻实体，并将表情符号和非法符号删除。

3.如权利要求1所述一种情感可控的新闻评论生成方法，其特征在于，利用预处理后的新闻数据集训练实体级别情感分析模型，得到预训练后的实体级别情感分析模型，具体训练步骤为：

构造训练集，采用无监督的方式对每个新闻实体在新闻中的情感倾向进行标注，并标注新闻实体的情感得分f；

对于一则新闻，包含若干个句子序列

其中s_i为句子中的单词，

为第i个句子的长度，经过嵌入层后得到

其中d_w表示单词嵌入向量的维度大小，

即为句子序列中单词s_i的嵌入向量，再通过CNN层采用卷积的方式来对每一个句子捕获n-gram的特征，CNN的输出经过BiLSTM层捕获句子间的依赖关系，最后输出第i个句子的嵌入向量

其中d_s表示句子嵌入向量的维度大小；

构建异构图的数据结构，分别构造单词节点和句子节点，并对单词节点和句子节点进行初始化，再构造单词节点和句子节点的边，边的权重为w_i,j＝tf(i,j)/df(j),tf(i,j)是单词j出现在句子i中的次数，df(j)是包含单词j的句子数量；

通过注意力图神经网络并逐层更新单词节点的状态：

其中，

是注意力图神经网络的中间量，l＝0,1,…,L代表当前的层数，LeakyReLU是深度学习中常用的激活函数，提供非线性变换，||是拼接操作，

是第l层第i个句子的嵌入向量，其初始化为前述输出

是单词节点j的嵌入向量，σ是Sigmoid函数，W_a、

均为可学习的参数矩阵，

是与第i个句子节点相邻的单词节点集合最终将注意力图神经网络最后一层得到的所有句子节点的嵌入向量通过前馈神经网络FFN得到关于新闻的新闻表示h_n：

其中

第i个句子节点在图神经网络最后一层L层的状态；

对于每个新闻n，在数据集中获取其实体集合ε(n)，对于实体集合ε中的每一个实体E，都会根据新闻发布时间来为实体构造一个实体的新闻序列q_E＝＜n_E,1,…,n_E,t,…,n_E,N(E)＞，代表包含实体E的时间有序的所有新闻，N(E)代表包含实体E的新闻个数，t代表新闻出现在这个序列中的序号；

构造的序列将会作为GRU的输入，GRU每一个时间步的输入为得到的对应新闻的新闻表示，对于q_E序列中的新闻n_E,t，在GRU的输入即为

GRU采用重置门，更新门更新隐藏状态，具体流程如下：

其中W_z、W_r、W_o均为可学习的权重矩阵，z^o,t和r^o,t分别为更新们和重置门的输出，

为候选输出状态，o^t是实际输出状态，tanh(·)和σ(·)分别为tanh和sigmoid激活函数。

采用注意力机制捕获实体和新闻之间的关系表示，设E_o、E_p均为新闻n中包含的实体，且E_o是序列最长的实体，即

将E_o、E_p实体构造的新闻序列通过GRU网络后得到E_o ^t和E_p ^t，注意力机制的计算流程如下：

其中W_M、

均为可学习的参数矩阵；

将得到的关系表示f_n和实体E∈ε(n)的嵌入向量e_E拼接起来，通过MLP层来预测新闻对于实体的情感分数

h＝σ((f_n||e_E)W_h+b_h)，

其中，W_h、W_o为可学习的参数矩阵,b_h、b_o分别为可学习的隐藏层和输出层的偏置向量；

最后将预测的情感分数

与标注好的情感得分f通过二值交叉熵损失函数计算损失，以此来训练实体级别情感分析模型：

4.如权利要求3所述一种情感可控的新闻评论生成方法，其特征在于，采用无监督方式和有监督方式对预训练后的实体级别情感分析模型进行再训练，得到训练完成的实体级别情感分析模型，具体为：

构建训练集，分别构造无监督对比学习的数据集和有监督对比学习的训练集；所述无监督对比学习的数据集为

为新闻n_i的正例，m为对比学习训练集的长度；所述有监督对比学习的训练集数据集

对于新闻n_j，

为不重复的且与n_i情感极性相同的新闻，

为不重复的情感极性相反的新闻；

采用无监督方式对预训练后的实体级别情感分析模型进行训练，首先将无监督对比学习的数据集中的数据对

分别输入到预训练后的实体级别情感分析模型中，分别得到

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，h_k则为一个batch内的其它新闻通过实体级别情感分析模型中得到的隐藏状态，sim为相似度计算函数，这里采用的计算方法是余弦相似度，τ是温度系数，设定为0.05，e是自然常数；

采用有监督方式对实体级别情感分析模型进行训练，首先将有监督对比学习的数据集中的数据组分别输入到无监督方式训练后的实体级别情感分析模型中，得到隐藏状态表示为

并采用以下公式计算对比损失：

其中N为一个batch内的样本数量，

和

分别为一个batch中的正样本和负样本新闻通过实体级别情感分析模型得到的隐藏状态。

5.如权利要求1所述一种情感可控的新闻评论生成方法，其特征在于，将预训练好的实体级别情感分析模型与评论生成模型结合起来，训练一个端到端的情感可控的新闻评论生成模型，训练步骤如下：

构建训练集，筛选包含实体的评论，一条新闻n对应一条包含实体E的评论y，以及一个新闻标题t，数据集根据评论中bi-gram二元分词出现频率对数据集进行筛减，优先删除包含词频较高的bi-gram二元分词的数据样本；

新闻内容编码模块将新闻的内容进行编码，将新闻标题t输入到Transformer的编码端，新闻内容编码模块包括一个多头注意力网络和FFN，其中多头注意力网络的公式如下:

head_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^V),

MultiHead(Q,K,V)＝[head₁；…；head_h]W^m,

其中Attention为自注意力机制的计算公式，如下所示：

其中d_k为K的长度，W_i ^Q、W_i ^K、W_i ^V、W^m都为多头网络的可学习的参数矩阵，h＝4，Q、K、V均为编码端新闻标题t的输入，再通过FNN，其公式如下：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂

其中x为FFN网络的输入，W₁、W₂为可学习的参数矩阵，b₁、b₂为偏置向量，新闻标题t通过内容编码模块被映射为内容表征的矩阵表示Z_t。

情感编码模块通过训练完成的实体级别情感分析模型，输入新闻n和实体E后得到情感表征的隐藏状态h，并与内容编码模块的输出进行拼接，即[h||Z_t]，||为拼接操作；

评论生成模块主要由一个前向Transformer解码器和一个后向Transformer解码器组成，将评论中的实体为分界点，在实体的前后分别使用一个解码器来生成评论序列，训练时，定位目标评论序列y中的实体，将实体前的序列提取出来并且按逆序排列，表示为y′，并作为后向Transformer解码器的目标序列，目标评论序列y作为前向Transformer解码器的目标序列。对于第p个位置，前向解码器和后向解码器的输出表示为O^p＝TransformerF(h||Z_t),V^p＝TransformerB(h||Z_t)，其中TransformerF表示前向Transformer解码器，TransformerB表示后向Transformer解码器，O^p∈R^|V|,V^p∈R^|V|是在词库|V|个词的概率分布，最后采用交叉熵损失函数来计算损失:

其中|V|表示词库的大小y_p表示前向解码器的目标序列y在位置p的单词的值，y′_p表示后向解码器的目标序列y’在位置p的单词的值，

则为前向Transformer解码器输出概率在单词k的概率值，

则为后向Transformer解码器输出概率在单词k的概率值；

对交叉熵损失添加关于词频的改进：

其中freq(token_t)代表目标单词在总的语料库中的词频，λ为可调整的超参数。

6.如权利要求5所述一种情感可控的新闻评论生成方法，其特征在于，所述将新闻数据输入端到端的情感可控新闻评论生成模型，得到情感极性、内容与新闻高度相关的新闻评论，具体为：

根据词频计算得分，并采用束搜索的生成办法，束搜索中的概率计算公式如下：

p_nextword＝w_cp_nextword，

其中token_t为当前束中由解码器生成的词，参数λ为可调整的超参数，控制词频对于束搜索概率的控制；

最终束搜索的得分由以下公式确定：

其中α为长度惩罚因子，在前向解码器和后向解码器中分别采用不同的长度惩罚因子。

Images