CN112966526A - 一种基于情感词向量的汽车在线评论情感分析方法 - Google Patents

Abstract

本发明公开的属于汽车在线评论技术领域，具体为一种基于情感词向量的汽车在线评论情感分析方法，其包括：输入层；特征学习层；注意力层；情感分类层。该基于情感词向量的汽车在线评论情感分析方法，在已构建的特定汽车评论文本数据集上进行上述方法的实验分析，使得该模型能够更好的抽取关于汽车评论文本的特征，提升该模型在汽车领域文本评论情感倾向分析的准确率；通过设计对比实验，在汽车领域的文本评论分类准确率以及F1值相较于传统的情感分类方法取得了有效改善，具有一定的应用价值。

Description

一种基于情感词向量的汽车在线评论情感分析方法

技术领域

本发明涉及汽车在线评论技术领域，具体为一种基于情感词向量的汽车在线评论情感分析方法。

背景技术

随着我国的经济水平飞速发展，互联网在国内的普及度日益提高，而与此同时人民生活质量也在不断改善。日益向好的发展趋势促使汽车这一种重要的交通运输工具，也逐渐进入了千家万户。同时，汽车制造业正逐渐向智能化、信息化转变，而人们消费意识的提高，对于汽车这一类大型商品的综合要求也在不断发生着变化，因此对于汽车服务商而言，了解用户的个性化需求，精准掌握市场动向，从而制定合理的企业营销策略具有重大意义。

目前，在国内已经出现了多个具有一定专业性的汽车门户网站，这些网站的用户保持着极高的活跃度和积极性，由此便产生了海量的用户在线评论数据。对于汽车服务商而言，不同的用户对于某一汽车商品的评价具有极高的商业价值信息，而面对如此多的评论数据，如果仅依靠人工进行文本的分析和挖掘，无疑是一件非常庞大且繁复的工作。如果能够自动从汽车评论文本中学习文本特征，从而实现情感信息提取，并通过分类模型对汽车评论做出情感倾向的判断，进而能够对评论中的正面评价和负面评价进行挖掘，便可以获取更深层次的关键信息，从而更为客观的了解用户的需求，极大的减少了汽车企业了解市场动向的人力成本和时间成本，给予了企业更为灵活的决策方案。

目前国内外针对情感分析任务的主流研究方法主要有3种，分别是(1)基于情感词典和规则的分类方法；(2)基于传统机器学习的分类方法；(3)基于深度学习的分类方法。这三种流行方法在一定程度上都存在各自缺陷：

(1)基于词典的方法是利用情感知识来尽可能完整地创建相应的情感词典，然后依据规则进行文本对照，进而计算得到文本的情感类型。情感词典被用于融合语言资源，其中每个单词与指示其情感极性的分数相关。但是由于情感词典自身不能考虑上下文对与单词关联的极性值的影响，因此它们只能在识别大型数据集中的粗略意见倾向上获得良好的性能。

(2)基于机器学习的情感分类方法大体可分为有监督式和半监督式的两类机器学习算法，虽然这其中不乏性能较为优异的分类模型，但由于这些分类模型的性能通常取决于标注数据集的质量，而高质量的标注数据集往往需要付出大量的人工成本才能得到。这样便造成了机器学习方法更多的受限于复杂的特征工程，并且依赖人工数据集的设计，导致分类在某一领域表现良好但在其他领域却不尽然，因此在大规模推广方面存在阻力。

(3)相对于前两种情感分析方法，深度学习技术在自动化的捕获文本特征方面取得了巨大进步，但就目前的模型应用现状来看，词向量的表征能力对模型的分类效果至关重要。而目前性能表现突出的词向量预训练模型如Bert，在情感信息表征能力上仍存在不足，致使在解决情感分析任务时，语言模型往往仅能够学习文本数据的语义信息，而忽略了文本中所蕴含的情感信息，这对模型来说无疑是巨大的损失。

基于对上述问题的思考及分析，本发明在深度学习技术的基础上，保留其自动化捕获文本特征能力的同时，提出改进创新方式，设计一种基于情感词向量的汽车在线评论情感分析方法。

本发明首先在传统词向量训练模型中进行改进，考虑在预训练阶段加入情感信息作为先验知识，让模型在捕获文本特征的同时，能通过学习目标词的上下文，并将其所蕴含的情感信息准确预测出来，最终通过大规模的预训练任务，提升模型的表征能力。其次，在自动学习文本语义特征的基础上尝试加入注意力机制Attention，将Attention所具有的特定选择能力加入到文本特征抽取过程中，提升基础模型对特征情感词的关注度，从而有效改善文本情感分析算法的性能。

本发明通过利用深度学习技术提取用户在汽车网站中对相关汽车品牌的评价，挖掘用户需求痛点，关注消费者的切实需求，对汽车企业制造商与服务商的未来发展策略和改进方向具有重要指导意义。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种基于情感词向量的汽车在线评论情感分析方法，其包括：

1)输入层:在输入层中，主要将模型的输入文本转化为不同的低维且连续的实值向量，构成词嵌入表示；词向量输入层作为加载词向量的模型，将获取到的评论文本数据映射到向量空间中去，从而实现将词语表示为固定长度的向量；让预训练语言模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值；

2)特征学习层：特征学习层能够学习输入句子的向量表示，对目标词及其上下文的依赖关系进行建模；在整体情感分析模型中，选取双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息；

3)注意力层：通过特征学习层中BiLSTM网络的前后向隐含层，学习目标词与上下文的语义信息，在BiLSTM网络的基础上增加注意力机制，来使模型对不同的隐藏层向量分配不同的注意力关注值；

4)情感分类层：在情感分类层，将注意力层的输出作为本层的输入，数据的分类是由全连接层实现，全连接层采用softmax模型作情感倾向预测。

作为本发明所述的基于情感词向量的汽车在线评论情感分析方法的一种优选方案，其中：在预训练阶段加入情感信息作为先验知识，通过大规模的预训练任务，提升模型的表征能力，具体步骤如下：

对Bert而言，文本特征的学习主要依靠掩盖语言模型的预测过程。Bert在训练模型参数时，会在掩盖语言模型中采用“掩盖”的方式去掉特定词，然后通过模型训练的方式自动进行补全，模型的输出则是目标词可能的概率分布；在训练时，将已有的领域情感词典中的情感词进行情感极性标注，并作为监督信息馈送到模型中；情感词典中的情感词作为掩盖词的依据，通过掩盖语言模型的预测任务，让模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值，从而能够让模型在捕获文本特征时，不仅能够很好的预测掩盖词的语义信息，并且能通过学习该词的上下文将其所蕴含的情感信息准确预测出来。

对于序列S，将编码后的上下文信息作为掩盖词的动态词向量，并使用softmax对其情感倾向做预测，其所属的概率分布计算公式如下所示：

其中，x_MASX表示的是序列S中掩盖词w经Transformer提取后对应的表征，

为权重矩阵。

作为本发明所述的基于情感词向量的汽车在线评论情感分析方法的一种优选方案，其中：选取双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息，BiLSTM由两个隐含层构成，同时连接到输出层单元，该隐含层是两个顺序方向相反的LSTM叠加组成的，具体步骤如下：

BiLSTM从词向量输入层中接收词向量序列{e₁,e₂,e₃,...,e_n}作为输入，其中e_i表示输入序列中一个的词向量。而后分别经过前向单元和后向单元读取到t时刻的前向信息

和后向信息

最终的隐藏语义状态h_t是由前向信息

和后向信息

融合而来的；

最后将隐含层的输出进行拼接，作为注意力层的输入。

作为本发明所述的基于情感词向量的汽车在线评论情感分析方法的一种优选方案，其中：考虑在BiLSTM网络的基础上增加注意力机制，来使得模型对不同的隐藏层向量分配不同的注意力关注值，对不同文本情感词分配不同的注意力权重，具体步骤如下：

经由BiLSTM网络特征学习后所产生的隐藏层向量，会作为注意力层的输入进入到该层，然后对该输入中不同时刻的隐藏层向量分配以不同的权重关注度，从而得到新的隐藏层向量表示u_t：

u_t＝tanh(Wh_t) (5)

其中，h_t的归一化系数δ_t可以由softmax函数计算得出：

最后，由隐藏向量的加权平均值便可得到句子的向量表示。

S＝∑_tδ_th_t (7)

作为本发明所述的基于情感词向量的汽车在线评论情感分析方法的一种优选方案，其中：在最后的softmax层实现情感倾向的概率表示，具体步骤如下：

softmax模型会得到一个K维的向量，而该K维向量最终会映射到另一个向量值的和为1的空间。输出层的计算公式如下式所示：

0＝softmax(W_Sh+b_s) (8)

在输出层进行类别划分，经过分类的处理，最终可以得到情感倾向的概率表示。

与现有技术相比：通过以构造情感词向量为模型输入，经过BiLSTM网络层进行特征学习，而后利用注意力层强调关注重点情感词对文本的不同权重分配，最后利用softmax对文本进行具体情感分类，从而确定文本情感倾向，该基于情感词向量的汽车在线评论情感分析方法，在已构建的特定汽车评论文本数据集上进行上述方法的实验分析，使得该模型能够更好的抽取关于汽车评论文本的特征，提升该模型在汽车领域文本评论情感倾向分析的准确率；通过设计对比实验，在汽车领域的文本评论分类准确率以及F1值相较于传统的情感分类方法取得了有效改善，具有一定的应用价值。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明的算法实现架构图；

图2为本发明的情感词向量优化流程图；

图3为本发明的汽车在线评论舆情监控系统图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明提供一种基于情感词向量的汽车在线评论情感分析方法，在已构建的特定汽车评论文本数据集上进行上述方法的实验分析，使得该模型能够更好的抽取关于汽车评论文本的特征，提升该模型在汽车领域文本评论情感倾向分析的准确率；通过设计对比实验，在汽车领域的文本评论分类准确率以及F1值相较于传统的情感分类方法取得了有效改善，具有一定的应用价值；

请参阅图1、图2和图3，

1)输入层

在输入层中，根据词嵌入的原理，该层主要将模型的输入文本转化为不同的低维且连续的实值向量，构成词嵌入表示。词向量输入层作为加载词向量的模型，目的是将获取到的评论文本数据映射到向量空间中去，从而实现将词语表示为固定长度的向量。让预训练语言模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值，从而能够让预训练模型在捕获文本特征时，不仅能够很好的预测掩盖词的语义信息，并且能通过学习该词的上下文将其所蕴含的情感信息准确预测出来，最终实现情感词向量的生成；

2)特征学习层

特征学习层的主要设计目的是能够学习输入句子的向量表示，对目标词及其上下文的依赖关系进行建模。为了能够将输入的文本数据中上下文语义信息同时学习出来，在整体情感分析模型中，本发明选取了双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息。

3)通过特征学习层中BiLSTM网络的前后向隐含层，有效学习了目标词与上下文的语义信息，但在具体的文本中，实际的情感倾向并非与每个单词都有较强的相关性，模型应该更多的去关注部分带有情感倾向的词义信息。基于此，本发明考虑在BiLSTM网络的基础上增加注意力机制，来使模型对不同的隐藏层向量分配不同的注意力关注值，从而有效实现对不同文本情感词分配不同的注意力权重。

4)在情感分类层，本方法首先将注意力层的输出作为本层的输入，数据的分类是由全连接层实现，全连接层采用softmax模型作情感倾向预测。

请再次参阅图1、图2和图3，

1.尽管词向量的引入已经为情感分析任务带来了显著改变，但从传统的预训练模型的特点来看，其训练产生的词向量，往往只能给出文本中所蕴含的语义特征，而相应的有关文本数据的情感特征却不能够有效表达。因此，如果能够让语言模型在训练词向量的同时能够将情感信息包含在内，那么针对情感分析方面的相关任务，便可以有效关注到文中的情感信息，从而提高模型所学习到的词向量的质量，进而更有利于情感分类准确性的提升。因此基于Bert的情感词向量改进方法，可以考虑在预训练阶段加入情感信息作为先验知识，通过大规模的预训练任务，提升模型的表征能力。

对Bert而言，文本特征的学习主要依靠掩盖语言模型的预测过程。Bert在训练模型参数时，会在掩盖语言模型中采用“掩盖”的方式去掉特定词，然后通过模型训练的方式自动进行补全，模型的输出则是目标词可能的概率分布；在训练时，将已有的领域情感词典中的情感词进行情感极性标注，并作为监督信息馈送到模型中；情感词典中的情感词作为掩盖词的依据，通过掩盖语言模型的预测任务，让模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值，从而能够让模型在捕获文本特征时，不仅能够很好的预测掩盖词的语义信息，并且能通过学习该词的上下文将其所蕴含的情感信息准确预测出来。

对于序列S，将编码后的上下文信息作为掩盖词的动态词向量，并使用softmax对其情感倾向做预测，其所属的概率分布计算公式如下所示：

其中，x_MASX表示的是序列S中掩盖词w经Transformer提取后对应的表征，

为权重矩阵。

2.为了能够将输入的文本数据中上下文语义信息同时学习出来，在模型中，本方法选取了双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息。BiLSTM由两个隐含层构成，同时连接到输出层单元。该隐含层是两个顺序方向相反的LSTM叠加组成的，这样叠加的好处是可以同时学习当前文本上文信息和下文信息。

BiLSTM从词向量输入层中接收词向量序列{e₁,e₂,e₃,...,e_n}作为输入，其中e_i表示输入序列中一个的词向量。而后分别经过前向单元和后向单元读取到t时刻的前向信息

和后向信息

最终的隐藏语义状态h_t是由前向信息

和后向信息

融合而来的；

最后将隐含层的输出进行拼接，作为注意力层的输入。

3.考虑在BiLSTM网络的基础上增加注意力机制，来使得模型对不同的隐藏层向量分配不同的注意力关注值，从而有效对不同文本情感词分配不同的注意力权重。

经由BiLSTM网络特征学习后所产生的隐藏层向量，会作为注意力层的输入进入到该层，然后对该输入中不同时刻的隐藏层向量分配以不同的权重关注度，从而得到新的隐藏层向量表示u_t：

u_t＝tanh(Wh_t) (5)

其中，h_t的归一化系数δ_t可以由softmax函数计算得出：

最后，由隐藏向量的加权平均值便可得到句子的向量表示。

S＝∑_tδ_th_t (7)

4.在最后的softmax层实现情感倾向的概率表示。

softmax模型会得到一个K维的向量，而该K维向量最终会映射到另一个向量值的和为1的空间。输出层的计算公式如下式所示：

0＝softmax(W_Sh+b_s) (8)

在输出层进行类别划分，经过分类的处理，最终可以得到情感倾向的概率表示。

实施例

本发明可以应用到在线评论舆情监控系统中，将整个模型封装成可安装的情感分析模块，并将其嵌入到舆情监控系统中，形成最终的基于汽车领域在线评论的舆情监控系统。整个系统的流程图如图3所示。

在汽车在线评论舆情监控系统中，该系统可以实时从汽车之家等门户网站上自动化采集用户对某一车型的在线文本评论，并将其整理汇总，形成可分析的文本数据；品牌运营方或宣传方通过制定排除词等内容，形成品牌评论宣传方案，并利用方案对汇总的文本数据进行初步筛选，从中过滤掉一部分不合法数据；然后将其余的正常文本评论馈送到汽车评论情感分析模型中，并对评论数据进行情感倾向分类，然后将分类完的文本进行可视化分析，例如使用词云等方案显示出现频率高的关键词，形成具体的舆情分析报告，并对包含敏感词的负面评论形成负面信息预警，对品牌方的产品质量进行示警。一个通用的舆情监控系统可以使用本发明中的情感分析模型，通过利用深度学习技术提取用户在汽车网站中对相关汽车品牌的评价，挖掘用户需求痛点，关注消费者的切实需求，对汽车企业制造商与服务商的未来发展策略和改进方向提供合理指导。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (5)

1.一种基于情感词向量的汽车在线评论情感分析方法，其特征在于，包括：

1)输入层:在输入层中，主要将模型的输入文本转化为不同的低维且连续的实值向量，构成词嵌入表示；词向量输入层作为加载词向量的模型，将获取到的评论文本数据映射到向量空间中去，从而实现将词语表示为固定长度的向量；让预训练语言模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值；

2)特征学习层：特征学习层能够学习输入句子的向量表示，对目标词及其上下文的依赖关系进行建模；在整体情感分析模型中，选取双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息；

3)注意力层：通过特征学习层中BiLSTM网络的前后向隐含层，学习目标词与上下文的语义信息，在BiLSTM网络的基础上增加注意力机制，来使模型对不同的隐藏层向量分配不同的注意力关注值；

4)情感分类层：在情感分类层，将注意力层的输出作为本层的输入，数据的分类是由全连接层实现，全连接层采用softmax模型作情感倾向预测。

2.根据权利要求1所述的一种基于情感词向量的汽车在线评论情感分析方法，其特征在于，在预训练阶段加入情感信息作为先验知识，通过大规模的预训练任务，提升模型的表征能力，具体步骤如下：

对Bert而言，文本特征的学习主要依靠掩盖语言模型的预测过程。Bert在训练模型参数时，会在掩盖语言模型中采用“掩盖”的方式去掉特定词，然后通过模型训练的方式自动进行补全，模型的输出则是目标词可能的概率分布；在训练时，将已有的领域情感词典中的情感词进行情感极性标注，并作为监督信息馈送到模型中；情感词典中的情感词作为掩盖词的依据，通过掩盖语言模型的预测任务，让模型在该阶段能够充分学习上下文的情感信息来对掩盖的情感词进行预测，而已有的情感词作为目标语义信息以监督学习的方式馈送给模型，而后通过反向传播的方式调整参数值，从而能够让模型在捕获文本特征时，不仅能够很好的预测掩盖词的语义信息，并且能通过学习该词的上下文将其所蕴含的情感信息准确预测出来。

对于序列S，将编码后的上下文信息作为掩盖词的动态词向量，并使用softmax对其情感倾向做预测，其所属的概率分布计算公式如下所示：

其中，x_MASX表示的是序列S中掩盖词w经Transformer提取后对应的表征，

为权重矩阵。

3.根据权利要求1所述的一种基于情感词向量的汽车在线评论情感分析方法，其特征在于，选取双向长短期记忆网络BiLSTM作为特征学习层来处理评论文本的语义信息，BiLSTM由两个隐含层构成，同时连接到输出层单元，该隐含层是两个顺序方向相反的LSTM叠加组成的，具体步骤如下：

BiLSTM从词向量输入层中接收词向量序列{e₁,e₂,e₃,...,e_n}作为输入，其中e_i表示输入序列中一个的词向量。而后分别经过前向单元和后向单元读取到t时刻的前向信息

和后向信息

最终的隐藏语义状态h_t是由前向信息

和后向信息

融合而来的；

最后将隐含层的输出进行拼接，作为注意力层的输入。

4.根据权利要求1所述的一种基于情感词向量的汽车在线评论情感分析方法，其特征在于，考虑在BiLSTM网络的基础上增加注意力机制，来使得模型对不同的隐藏层向量分配不同的注意力关注值，对不同文本情感词分配不同的注意力权重，具体步骤如下：

经由BiLSTM网络特征学习后所产生的隐藏层向量，会作为注意力层的输入进入到该层，然后对该输入中不同时刻的隐藏层向量分配以不同的权重关注度，从而得到新的隐藏层向量表示u_t：

u_t＝tanh(Wh_t) (5)

其中，h_t的归一化系数δ_t可以由softmax函数计算得出：

最后，由隐藏向量的加权平均值便可得到句子的向量表示。

S＝∑_tδ_th_t (7)

5.根据权利要求1所述的一种基于情感词向量的汽车在线评论情感分析方法，其特征在于，在最后的softmax层实现情感倾向的概率表示，具体步骤如下：

softmax模型会得到一个K维的向量，而该K维向量最终会映射到另一个向量值的和为1的空间。输出层的计算公式如下式所示：

0＝softmax(W_Sh+b_s) (8)

在输出层进行类别划分，经过分类的处理，最终可以得到情感倾向的概率表示。

Images