CN107341145A - 一种基于深度学习的用户情感分析方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的用户情感分析方法，其中，方法的实现包括数据预处理、词向量学习、文本向量学习、用户特征向量表示、用户情感分析以及模型更新。本发明方法使用用户发表的文本信息提取用户的特征向量，并基于该用户特征向量及词向量信息实现基于用户特征的文本情感分析，基于本发明不仅优化了用户特征学习的复杂程度、而且得到的用户特征向量具有更丰富的用户画像信息，使得基于该用户特征向量及词向量对文本进行情感分析时提升了情感分析的准确度及效率。

Description

一种基于深度学习的用户情感分析方法

技术领域

本发明属于情感分析技术领域，更具体地，涉及一种基于深度学习的用户情感分析方法。

背景技术

随着互联网的快速发展，用户规模呈爆发式增长，同时促进了人们社交网络的形成与拓展。社交网络已经在我们的日常生活中成为不可代替的一部分。每个用户都可以随时把自己的心情，态度，观点发布于网络，也可以利用社交网络发现具有相同观念的好友，快速获取最新的知识。情感分析是数据挖掘领域的研究热点之一，传统的情感分析方法在进行文本相关特征提取时会产生一定的噪声或信息缺失，同时在情感预测方面也存在一定缺陷。基于深度学习的情感分析方法可以自动的学习并在模型中利用文本相关特征，然而现有深度学习方法对于文本的用户等信息利用不全面。

用户情感分析的关键之一在于合理的利用用户信息。利用用户信息的分析任务通常是利用用户信息来提升情感分析的效果。或利用社交网络中用户的关注关系等发现社区或计算用户影响力，或利用用户的相关行为特征进行推荐。但传统的方法在利用用户的信息或用户表现的相关特征行为时均需要特征提取，而提取的特征不仅大多为离散的、多个不相关特征的叠加(如将用户的入度和出度分别作为一个特征)而且通常需要花费大量的计算代价。且提取的特征具有以下缺点：(1)特征维度大，易造成维度灾难和数据稀疏性，特征提取过程繁琐，特征提取的结果不完善或存在噪声；(2)传统特征提取往往不具有语义信息，故会造成原有文本语义信息的丢失，对于文本中的情感转移现象以及深层语义情感分析效果不理想。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种基于深度学习的用户情感分析方法，由此解决传统的用户情感分析方法在利用用户的信息或用户表现的相关特征行为时均需要特征提取，且提取的特征不仅大多为离散的、多个不相关特征的叠加而且通常需要花费大量计算代价，从而导致情感分析的准确度及效率较低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的用户情感分析方法，包括以下步骤：

对原始数据集中的所有用户及其发表的文本内容进行预处理得到目标数据集，对目标数据集中的单词进行训练得到各单词对应的词向量，对目标数据集中的文本进行训练得到各文本对应的文本向量；

对于每个用户，基于用户u_x的用户信息及用户u_x发表的文本中单词的词向量(w₁,w₂,w₃,...,w_T)，最大化概率得到用户u_x的第一特征向量，其中，w_t表示词向量(w₁,w₂,w₃,...,w_T)中的任意词向量；

最大化概率得到用户u_x的第二特征向量，其中，N为用户数目，c为用户u_x发表的文本内容的个数，t_j为用户u_x发表的第j个文本的文本向量；

将用户u_x的第一特征向量以及用户u_x的第二特征向量进行拼接得到用户u_x的目标特征向量，通过所有用户的目标特征向量对待分析用户进行情感分析。

优选地，所述对目标数据集中的文本进行训练得到各文本对应的文本向量，包括：

对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，其中，卷积神经网络的结构为：

卷积神经网络的第一层输入文本对应的单词序列；

卷积神经网络的第二层为对第一层输入的卷积操作，卷积操作使用多个filter得到多个特征层；

卷积神经网络的第三层为池化层，对每个特征层向量取均值得到输出结果；

卷积神经网络的第四层为线性层，输出长度为文本向量的长度；

卷积神经网络的第五层为激活层，使用hTanh函数使得输出结果介于-1到1之间。

优选地，所述对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，包括：

设每个词向量的长度为d，输入文本序列s的句子长度为|s|，则卷积神经网络的第一层的输入矩阵记为S且

卷积神经网络的第二层使用多个filter对每m个单词做卷积操作得到n个输出向量c，将n个输出向量c记为矩阵C，其中，

将矩阵C作为卷积神经网络第三层池化层的输入，第三层对输入的每个向量c去均值，将矩阵转换为n维向量将作为卷积神经网络第四层的输入；

设文本向量的输出长度也为d，则经过卷积神经网络第四层线性层后得到d维输出向量：y＝C^T·W+b,其中y为第四层的输出，表示输入文本序列s的d维向量表示，W为参数，b为偏置；

卷积神经网络第五层的输出记为r，则：r＝htanh(w₁·y^T+b),其中，y为第四层的输出，w₁为权重，b为偏置，htanh的计算方式为：

替换文本序列s中的单词为所有单词中的一个随机单词得到新的文本序列，然后分别将原始序列和新的序列作为输入至卷积神经网络并得到两个不同的输出值，则理论上两个结果差值较大，故该神经网络的损失函数记为：MAX(0,1-r₁+r₂)，然后根据输出的损失函数优化卷积神经网络的参数，其中r₁和r₂分别为两个序列的输出结果；

使用卷积神经网络第四层线性层的输出作为文本的向量表示。

优选地，所述对每m个单词做卷积操作的计算方式为：

对于第i至i+m-1个单词做卷积时的计算方式为：其中，(F×S_i)_l表示F和S_i矩阵的第l维向量的叉乘结果。

优选地，所述由所有用户的目标特征向量对待分析用户进行情感分析，包括：

获得整合待分析用户信息的文本向量；

根据整合待分析用户信息的文本向量，依据情感分析的不同任务进行调整，得到最终的情感分析结果。

优选地，所述获得整合待分析用户信息的文本向量包括：

查找待分析用户发表的文本中的单词的词向量，若单词不存在则使用预设的向量表示该单词；

查找待分析用户的特征向量；

使用卷积神经网络对待分析用户发表的文本进行卷积操作后，在采样层加入待分析用户信息，以使在采样层中使得原有文本的语义按待分析用户的性格有所偏移，在此基础上得到最终的文本向量表示，其中，在卷积神经网络的第二层增加输入为待分析用户的特征向量。

优选地，在所述得到最终的情感分析结果之后，所述方法还包括：

根据情感分析结果与实际结果的偏差信息，使用反向传播算法和随机梯度下降对卷积神经网络中的参数进行更新，对于卷积神经网络中每个神经元的权重，按照以下方式进行更新：将输入的数据和输出的损失相乘，从而获得权重的梯度；将梯度乘上一个预设比率并取反后加到该神经元的各参数权重上。

总体而言，本发明方法与现有技术方案相比，能够取得下列有益效果：

(1)对于已有用户及其相关的文本资源，首先学习词向量表示并将文本内容表示为文本向量，然后基于文本向量及词向量学习用户的特征向量，即使用特定长度的向量作为用户的特征向量，采用本发明的用户特征向量由于具有丰富的用户画像信息，使得基于该用户特征向量对文本进行情感分析时提升了情感分析的准确度及效率。

(2)本发明的用户情感分析方法依赖于用户发表的相关文本得到用户的特征表示，所以相比于传统的用户特征表示方法(比如将年龄、性别、好友数分别作为一个特征)更能在一定程度代表用户的性格或兴趣、同时对于新增的用户也不需要额外的计算便可以直接得到对应的用户特征向量。

(3)对于得到的用户特征向量可以结合不同情感分析任务设计不同的网络结构，用以进行多种类型的情感分析。针对不同的情感分析任务可以使用不同的参数学习方法提升情感分析准确度

附图说明

图1为本发明实施例公开的一种基于深度学习的用户情感分析方法的示意图；

图2为本发明实施例公开的一种用户特征表示方法；

图3为本发明实施例公开的另一种用户特征表示方法；

图4为本发明实施例公开的一种用户情感分析方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示为根据本发明的基于深度学习的用户情感分析方法示意图。其中包括了数据预处理、词向量学习、文本向量学习、用户特征向量表示、用户情感分析、模型更新六个步骤。该方法依赖于用户发表的相关文本得到用户的特征表示，并依赖于使用本学习方法得到的用户特征向量具有丰富的用户画像信息提升了对用户相关文本进行情感分析的准确度。

本方法需要事先对模型进行预训练，其中训练的语料集为包含用户信息的文本内容，且该文本内容标注了情感倾向性信息。可选的文本语料来源可以是Twitter、Weibo等社交媒体或Yelp等评论网站，其中Twitter、Weibo中的文本内容依据句中的表情符号进行句子的情感倾向性的判定，Yelp等评论信息则依据该评论的打分情况决定文本的情感倾向性。同时为了验证训练得到模型的效果，每次均将数据集的80％作为训练集，另外20％作为测试集。本方法具体的实施过程如下所述：

S1、对原始数据集中的所有用户及其发表的文本内容进行预处理得到目标数据集，对目标数据集中的单词进行训练得到各单词对应的词向量，对目标数据集中的文本进行训练得到各文本对应的文本向量；

其中，对所有用户及其发表的文本内容进行预处理得到目标数据集可以采用以下方式实现：

对已有的用户及文本信息进行预处理，每个文本内容均对应相关的用户。首先过滤所有句子长度小于6个单词的文本。然后统计文本中所有词语及标点符号的出现次数，对于次数少于特定值的词语使用特殊的标记符号进行替换，如将次数少于3次的词语或标点符号均替换为<N_U_L_L>。最后对于每个用户计算其发表的文本的数量，若用户发表的有效文本数少于2，则将该用户及其相关的文本从数据集中删除。

其中，对目标数据集中的单词进行训练得到各单词对应的词向量可以采用以下方式实现：

在得到目标数据集之后，可以使用word2vec中的skip-gram模型训练得到单词及特殊标记符号(本实施例为<N_U_L_L>)的向量表示。由于已经对词语进行了预处理，所以在使用google的word2vec时只需要设置最小词频的计数与预处理后的词频相同即可，词向量训练结果存储在文本中供接下来的步骤使用。然而本发明实施例的词向量训练方式不局限于skip-gram模型，例如还可以采用cbow模型。

其中，对目标数据集中的文本进行训练得到各文本对应的文本向量，可以采用以下方式实现：

对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，其中，卷积神经网络的结构为：

卷积神经网络的第一层输入文本对应的单词序列；

卷积神经网络的第二层为对第一层输入的卷积操作，卷积操作使用多个filter得到多个特征层；

卷积神经网络的第三层为池化层，对每个特征层向量取均值得到输出结果；

卷积神经网络的第四层为线性层，输出长度为文本向量的长度；

卷积神经网络的第五层为激活层，使用hTanh函数使得输出结果介于-1到1之间。

其中，对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，可以采用以下方式实现：

设每个词向量的长度为d，输入文本序列s的句子长度为|s|，则卷积神经网络的第一层的输入矩阵记为S且

卷积神经网络的第二层使用多个filter对每m个单词做卷积操作得到n个输出向量c，将n个输出向量c记为矩阵C，其中，

对每m个单词做卷积操作的计算方式为：

对于第i至i+m-1个单词做卷积时的计算方式为：其中，其中S_i表示第i至i+m-1个单词向量构成的输入矩阵，F表示每个filter层的初始参数权重矩阵，矩阵中的数值可以使用随机化初始为[-0.5,0.5]区间内的小数。(F×S_i)_l表示F和S_i矩阵的第l维向量的叉乘结果，卷积神经网络的第二层使用多个filter则得到n个F矩阵，即

将矩阵C作为卷积神经网络第三层池化层的输入，第三层对输入的每个向量c去均值，将矩阵转换为n维向量将作为卷积神经网络第四层的输入；

设文本向量的输出长度也为d，则经过卷积神经网络第四层线性层后得到d维输出向量：y＝C^T·W+b，其中y为第四层的输出，表示输入文本序列s的d维向量表示，W为参数，b为偏置；

卷积神经网络第五层的输出记为r，则：r＝htanh(w₁·y^T+b),其中，y为第四层的输出，w₁为权重，b为偏置，htanh的计算方式为：

其中，卷积神经网络第五层的输出的目的在于计算损失函数，以此提升文本向量表示的准确度。

替换文本序列s中的单词为所有单词中的一个随机单词得到新的文本序列，然后分别将原始序列和新的序列作为输入至卷积神经网络并得到两个不同的输出值，则理论上两个结果差值较大，故该神经网络的损失函数记为：MAX(0,1-r₁+r₂)，然后根据输出的损失函数优化卷积神经网络的参数，其中r₁和r₂分别为两个序列的输出结果；

使用卷积神经网络第四层线性层的输出作为文本的向量表示。

S2、对于每个用户，基于用户u_x的用户信息及用户u_x发表的文本中单词的词向量(w₁,w₂,w₃,...,w_T)，最大化概率得到用户u_x的第一特征向量，其中，w_t表示词向量(w₁,w₂,w₃,...,w_T)中的任意词向量；

S3、最大化概率得到用户u_x的第二特征向量，其中，N为用户数目，c为用户u_x发表的文本内容的个数，t_j为用户u_x发表的第j个文本的文本向量；

例如，对于用户1发表了“我在昆明工作”，用户2发表了“我在北京工作”，则一个好的用户特征向量应该尽可能满足以下两种情况：

情况1：p(昆明|我,在,工作,用户1)>p(北京|我,在,工作,用户2)

情况2：p(我在昆明工作|用户1)>p(我在昆明工作|用户2)

因此本发明在进行用户特征向量表示时以实现以上两种情况为出发点，首先经过上述步骤S1得到了词向量表示，文本向量，然后利用以上信息训练用户的特征向量，该过程使用图2和图3所示的两种方法分两个步骤进行：

步骤S2的目的是学习用户特征向量使得该特征向量可以满足情况1，其网络结构如图2，详细过程如下：

给定用户u_x及用户u_x发表的文本中单词的词向量(w₁,w₂,w₃,...,w_T)，对(w₁,w₂,w₃,...,w_T)中的每个词向量w_t，则在给定词向量w_t-k,...,w_t+k以及用户u_x的情况下词向量w_t出现的概率和为：

模型应该使得以上概率最大化，且该任务为一个多分类任务，可以通过softmax函数来计算输出结果，因此p(w_t|w_t-k,...,w_t+k,u_x)的计算方式为：

其中，表示每个可能输出的词向量w_i的概率，且a，U为softmax函数的参数，函数h表示对(w_i-k,...,w_i+k,u_x)中的词向量进行求和或均值，模型中参数学习的过程通常采用随机梯度下降的方法。

步骤S3的目的学习到用户特征向量使得该特征向量可以满足情况2，步骤S3的训练过程与步骤S2的训练过程类似，其网络结构如图3，但对于用户u_x的关联文本向量t_j应该最大化以下概率：

S4、将用户u_x的第一特征向量以及用户u_x的第二特征向量进行拼接得到用户u_x的目标特征向量，以由所有用户的目标特征向量对待分析用户进行情感分析。

其中，由所有用户的目标特征向量对待分析用户进行情感分析过程为：

一是获得具有用户信息的文本向量表示，二则是依据一得到的向量及不同的情感分析任务选择不同的激活函数实现函数的输出。

其中，获得整合用户信息的文本向量表示的过程为：

如图4所示为基于步骤S1、S2、S3以及S4得到词向量、文本向量以及用户特征向量表示后进行用户情感分析的卷积神经网络结构示意图，该步骤首先将用户文本中的词语在词向量表中查找相应单词的向量表示，若单词表中不存在该单词则使用特定的向量表示该单词。同时在用户特征向量表中查找该用户的特征向量。然后使用卷积神经网络先对文本进行卷积得到文本表示后在采样层加入所属用户的信息，即在此层中使得原有文本的语义按用户的性格有所偏移，在此基础上得到最终的文本向量表示。其中卷积神经网络的结构为：

卷积神经网络的第一层输入文本的对应的单词序列；

卷积神经网络的第二层为对第一层输入的卷积操作，同时在第二层添加输入为用户特征向量，卷积操作使用多个filter得到多个特征层；

卷积神经网络的第三层为池化层，对每个特征层向量取均值得到输出结果；

本步骤的神经网络基本结构与步骤S1类似，区别在于第二层的卷积操作加入了用户特征向量的卷积，所以对于最终的情感分析结果产生了影响。

上述步骤S1中对文本中每m个单词做卷积操作得到输出向量c的计算方法为：则在加入用户的卷积操作时与原神经网络的区别在于S_i矩阵每次都由m个单词向量及用户特征向量U_x拼接得到。该层得到的池化结果同步骤S1与filter的个数有关，n个filter的池化层输出向量为该层的输出向量同时具备了文本的语义信息及用户的信息，该层的输出向量用于不同的用户情感分析任务。

用户情感分析：该步骤的具体的输出或神经网络的结构依据情感分析任务的不同进行适当的调整。例如获得整合用户信息的文本向量为一个n维向量，基于该向量可以直接结合logistic函数实现文本情感的二分类。或者可以和步骤S1类似添加一个线性层将n维向量转化为其他维度后结合softmax函数实现文本情感的多分类或结合logistic函数实现文本情感的二分类。

对于输入向量x以及与其维度相同的权重向量θ，logistic函数的计算方法如下：

对于输入向量x以及与其维度相同的权重向量θ，softmax函数的输出y属于某一类别i的计算方法如下：

作为一种可选的实施方式，在得到最终的情感分析结果之后，还包括参数更新的操作：

对于上述的所有卷积神经网络，根据情感分析结果与实际结果的偏差信息，使用反向传播算法和随机梯度下降对模型中的参数进行更新。对于神经网络中每个神经元的权重，按照以下步骤进行更新：将输入的数据和输出的损失相乘，从而获得权重的梯度；将这个梯度乘上一个预设比率(学习率)并取反后加到该神经元各参数的权重上。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差，其中预设比率可以由经验或者实际需要进行确定。

在本发明中用到的多为神经网络结构，其中神经网络的部分中间层以及部分使用卷积层和采样层的结构在示意图中均使用一层表示，但是不同的网络结构可能适用于不同的任务，所以在实际的设计过程中可以是对于不同种中间层或卷积层的多个组合。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的用户情感分析方法，其特征在于，包括以下步骤：

对原始数据集中的所有用户及其发表的文本内容进行预处理得到目标数据集，对目标数据集中的单词进行训练得到各单词对应的词向量，对目标数据集中的文本进行训练得到各文本对应的文本向量；

对于每个用户，基于用户u_x的用户信息及用户u_x发表的文本中单词的词向量(w₁,w₂,w₃,...,w_T)，最大化概率得到用户u_x的第一特征向量，其中，w_t表示词向量(w₁,w₂,w₃,...,w_T)中的任意词向量；

最大化概率得到用户u_x的第二特征向量，其中，N为用户数目，c为用户u_x发表的文本内容的个数，t_j为用户u_x发表的第j个文本的文本向量；

将用户u_x的第一特征向量以及用户u_x的第二特征向量进行拼接得到用户u_x的目标特征向量，通过所有用户的目标特征向量对待分析用户进行情感分析。

2.根据权利要求1所述的方法，其特征在于，所述对目标数据集中的文本进行训练得到各文本对应的文本向量，包括：

对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，其中，卷积神经网络的结构为：

卷积神经网络的第一层输入文本对应的单词序列；

卷积神经网络的第二层为对第一层输入的卷积操作，卷积操作使用多个filter得到多个特征层；

卷积神经网络的第三层为池化层，对每个特征层向量取均值得到输出结果；

卷积神经网络的第四层为线性层，输出长度为文本向量的长度；

卷积神经网络的第五层为激活层，使用hTanh函数使得输出结果介于-1到1之间。

3.根据权利要求2所述的方法，其特征在于，所述对于目标数据集中的每段文本使用卷积神经网络学习将文本表示为与各文本对应的文本向量，包括：

设每个词向量的长度为d，输入文本序列s的句子长度为|s|，则卷积神经网络的第一层的输入矩阵记为S且

卷积神经网络的第二层使用多个filter对每m个单词做卷积操作得到n个输出向量c，将n个输出向量c记为矩阵C，其中，

将矩阵C作为卷积神经网络第三层池化层的输入，第三层对输入的每个向量c去均值，将矩阵转换为n维向量将作为卷积神经网络第四层的输入；

设文本向量的输出长度也为d，则经过卷积神经网络第四层线性层后得到d维输出向量：其中y为第四层的输出，表示输入文本序列s的d维向量表示，W为参数，b为偏置；

卷积神经网络第五层的输出记为r，则：其中，y为第四层的输出，w₁为权重，b为偏置，htanh的计算方式为：

替换文本序列s中的单词为所有单词中的一个随机单词得到新的文本序列，然后分别将原始序列和新的序列作为输入至卷积神经网络并得到两个不同的输出值，则理论上两个结果差值较大，故该神经网络的损失函数记为：MAX(0,1-r₁+r₂)，然后根据输出的损失函数优化卷积神经网络的参数，其中r₁和r₂分别为两个序列的输出结果；

使用卷积神经网络第四层线性层的输出作为文本的向量表示。

4.根据权利要求3所述的方法，其特征在于，所述对每m个单词做卷积操作的计算方式为：

对于第i至i+m-1个单词做卷积时的计算方式为：其中，(F×S_i)_l表示F和S_i矩阵的第l维向量的叉乘结果，S_i表示第i至i+m-1个单词向量构成的输入矩阵，F表示每个filter层的初始参数权重矩阵。

5.根据权利要求2至4任意一项所述的方法，其特征在于，所述由所有用户的目标特征向量对待分析用户进行情感分析，包括：

获得整合待分析用户信息的文本向量；

根据整合待分析用户信息的文本向量，依据情感分析的不同任务进行调整，得到最终的情感分析结果。

6.根据权利要求5所述的方法，其特征在于，所述获得整合待分析用户信息的文本向量包括：

查找待分析用户发表的文本中的单词的词向量，若单词不存在则使用预设的向量表示该单词；

查找待分析用户的特征向量；

使用卷积神经网络对待分析用户发表的文本进行卷积操作后，在采样层加入待分析用户信息，以使在采样层中使得原有文本的语义按待分析用户的性格有所偏移，在此基础上得到最终的文本向量表示，其中，在卷积神经网络的第二层增加输入为待分析用户的特征向量。

7.根据权利要求1所述的方法，其特征在于，在所述得到最终的情感分析结果之后，所述方法还包括：

根据情感分析结果与实际结果的偏差信息，使用反向传播算法和随机梯度下降对卷积神经网络模型中的参数进行更新，对于卷积神经网络中每个神经元的权重，按照以下方式进行更新：将输入的数据和输出的损失相乘，从而获得权重的梯度；将梯度乘上一个预设比率并取反后加到该神经元各参数的权重上。