CN109684646A - 一种基于话题影响力的微博话题情感分析方法 - Google Patents

Abstract

本发明公开了一种基于话题影响力的微博话题情感分析方法，该方法包括以下步骤：采集微博用户个人信息数据及微博文本数据；对数据进行预处理；使用LDA模型进行主题聚类；选取话题的微博内容进行情感极性标注并训练生成SVM分类器；使用SVM分类器得到未标注文本的情感倾向性；计算微博用户影响力因子值及该微博与话题相似度，结合微博情感极性和话题影响力因子计算整个话题的情感值，并以此对话题进行排序，为舆情分析提供参考。本发明能及时发现微博文本的话题中可能突发的舆情事件及热点话题，并根据话题影响力对话题舆情度进行排序，可应用于网络舆情监管和突发舆情事件的监测，解决目前舆情系统监管不及时性和盲目性问题。

Description

一种基于话题影响力的微博话题情感分析方法

技术领域

本发明涉及一种基于话题影响力的微博话题情感分析方法，属于大数据以及文本挖掘技术领域。

背景技术

在当今的信息时代，人们越来越依赖于网络，也越来越习惯在社交网络上去获取信息、交流信息及表达自己的个人情感；新浪微博等社交平台拥有庞大的微博用户量和用户通过使用微博而产生的庞大数据，这些数据背后都蕴含着巨大的商业价值和社会价值。因此与微博相关的研究课题越来越受到我们的关注，而微博情感分析以及背后更深层次的舆情分析更是这些课题中的热点。

情感分析又称意见挖掘，其目的是通过对带有个人主观情感或者分析文本进行分析，挖掘其中的个人观点或评价信息，以更加直观的方式或者形式呈现给我们。微博由于文字限制，文本通常比较短小，且表达方式比较自由，对于语法结构要求也比较宽松，因此针对微博进行情感分析具有一定的难度。

现有技术中，微博情感分析方法主要分为两种：一种是基于情感语义词典的方法，一种是基于机器学习的方法。使用情感词典来分析文本情感，应用于词语特征级，分析精度高，但是受到NLP技术及相关抽取技术的限制，容易丢失数据集中隐藏的重要模式；使用机器学习的方法来进行分析主要是通过学习大量的数据来训练出分类模型，该方法对于情感分析比较客观，准确性高，但是对于训练语料依赖性很高，训练周期较长。

发明内容

针对上述问题，本发明提出了一种基于话题影响力的微博话题情感分析方法，实现了客观且精准的情感分析，并根据情感分析的结果做出舆情预警。

具体的技术方案如下：

一种基于话题影响力的微博话题情感分析方法，包括以下步骤：

步骤1，通过微博提供的API接口获取微博用户的个人信息数据，包括用户的用户微博数、粉丝数、关注数、评论数；采用网络爬虫方式获取大量微博文本；

步骤2，对微博文本进行数据预处理，包括过滤噪声、分词和去停用词；

步骤3，将微博文本按照自带hashtag进行粗分类，使用LDA模型进一步进行主题聚类：微博文本中经常会出现##话题，首先我们可以初步按照自带话题标签对微博文本进行分类；其次利用LDA模型得到主题分布，将微博文本进一步地细分为各主题区间；

步骤4，对部分微博文本进行情感极性标注，若该条微博文本情感倾向为正向，则标记为1，否则标记为-1；利用标注微博文本集进行训练并优化，生成SVM情感分类器；使用SVM分类器得到未标注微博文本情感极值；

步骤5，根据步骤1所采集到数据计算用户影响力和话题内该用户发布的微博文本与话题相似度来计算该文本的话题影响力；

步骤6，计算出该微博文本的主流情感倾向及情感值并对话题情感值进行排序；感极性值P接近0，则该话题为中性；P>0，则该话题为正向；P<0代表该话题为负面情绪；若一个话题负向情感值极高，则说明该话题很有可能引起突发舆情事件，应做出舆情预警。

步骤3中LDA模型进行主题聚类的方法为：

过程3.1，根据已有标签的微博文本语料库进行学习，生成LDA主题模型；具体LDA主题模型生成过程可以描述如下：

3.1.1，文本d中词项总数N_d服从泊松分布，其参数为ξ：N_d～Poisson(ξ)；

3.1.2，对每篇文档d，按概率生成其主题分布：

3.1.3，对每个主题z，按概率生成其词项分布：

3.1.4，根据主题分布和词语分布生成文本中的每一个词语；

过程3.2，采用Gibbs抽样算法对生成的LDA主题模型进行主题抽取；

过程3.3，对需要进行主题分类的文本利用Gibbs抽样算法推断其主题分布概率。

步骤4中SVM分类器预测未标注文本情感倾向的方法为：

过程4.1，选取部分微博文本进行人工标注作为训练集，其余采集的未标注微博文本作为测试集；

过程4.2，特征提取，选取一些文本特征进行训练，包括词性、情感词、否定词、程度副词及特殊符号；

过程4.3，对特征进行降维，不断优化模型直至生成SVM分类器；

过程4.4，利用SVM分类器预测得到微博情感极值。

步骤5中话题影响力和话题情感值的计算方法为：

过程5.1，根据采集到的用户数据进行标准化和归一化处理，筛选用户的微博发布数、评论数、粉丝数和被提及次数；计算出对于话题传播影响最大的属性特征值——活跃度H、传播力C、覆盖度G；通过用户影响力计算公式来得到用户影响力；

过程5.2，通过TF-IDF算法计算文本内容和话题的相似度作为话题影响力的因子；

过程5.3，根据用户影响力以及微博相似度来计算该条微博文本的话题影响力。

进一步的，过程5.1中，微波发布数包括原创和转发微博的总数。

步骤6中话题的主流情感倾向及情感值的计算方法为：

过程6.1，选取一段时间，统计该段时间内话题内发布微博的用户数；

过程6.2，根据SVM分类器的情感极性预测结果计算情感极性为正、负向的用户集合；

过程6.3，根据不同用户的不同微博文本的话题影响力来计算整个话题的情感倾向及情感值。

本发明的有益效果为：

本发明实现了客观且精准的情感分析，并根据情感分析的结果做出舆情预警，分析的准确性高，训练周期短，加快了反应速度。

附图说明

图1为本发明的方法流程图。

具体实施方式

为使本发明的技术方案更加清晰明确，下面结合附图对本发明进行进一步描述，任何对本发明技术方案的技术特征进行等价替换和常规推理得出的方案均落入本发明保护范围。

一种基于话题影响力的微博话题情感分析方法，其具体步骤如下：

步骤1，通过微博提供的API接口获取微博用户的个人信息数据，包括用户的用户微博数、粉丝数、关注数、评论数；登录新浪微博的开放平台，在Python下安装SDK，进行OAuth 2认证，访问创建的应用后将页面导向新浪服务器然后输入信息到新浪服务器后授权给应用访问用户数据；采用网络爬虫方式获取大量微博文本；

步骤2，对微博文本进行数据预处理，包括过滤噪声、分词和去停用词；保留微博文本的hashtag标签以及表情符号，并将表情符号转化为对应的文本信息；

步骤3，将微博按照自带hashtag标签分类到对应的微博话题中；没有自带标签的文本使用LDA主题模型进行主题聚类，细分到对应的微博话题中；使用LDA主题模型进行话题聚类的计算过程具体分为以下过程：

过程3.1，根据已有选定的话题标签的微博文本语料库进行学习，生成LDA主题模型；具体LDA主题模型生成过程可以描述如下：

3.1.1，文本d中词项总数N_d服从泊松分布，其参数为ξ：N_d～Poisson(ξ)；

3.1.2，对每篇文档d，按概率生成其主题分布：

3.1.3，对每个主题z，按概率生成其词项分布：

3.1.4，根据主题分布和词语分布生成文本中的每一个词语；

LDA模型生成过程中，所有观测变量和隐含变量在给定超参数下联合概率为：

过程3.2，采用Gibbs抽样算法对生成的LDA主题模型进行主题抽取；由于LDA主题模型中计算隐含变量联合分布较为复杂，因此采用常用的Gibbs抽样算法来进行主题抽取，其采样过程及公式如下：

3.2.1，选择合适的主题数K,选择合适的超参数向量

3.2.2，对应语料库中每一篇文档的每一个词，随机赋予一个主题；

3.2.3，重新扫描语料库，对于每一个词，利用Gibbs采样公式更新它的主题；

3.2.4，重复3.2.3基于坐标轴轮换的Gibbs采样过程，直到Gibbs采样收敛；

3.2.5，统计语料库中的各文档各词的主题，得到文档主题分布和词语分布；

其中，z_i＝j表示将词语i分配给主题k，表示除去i的词，表示除去词语i的词向量，表示除去词i的主题向量，表示与词项w_i相同的分配主题为k的词项数，表示文档m中分配主题为k的词项数，W为不计重复的词汇总数，K为选定的主题数，α_z为主题z在微博m中出现的先验概率，β_w为词语w在主题z中出现的先验概率；

过程3.3，对需要进行主题分类的文本利用Gibbs抽样算法推断其主题分布概率。

其中，代表微博文本m中主题为k的词汇数目，α_k为主题k在微博m中出现的先验概率。

步骤4，对部分微博文本进行情感极性标注，若该条微博情感倾向为正向，则标记为1，否则标记为-1；利用标注微博文本集进行训练并优化，生成SVM情感分类器；使用SVM分类器得到未标注微博文本情感极值；具体过程如下：

过程4.1，选取部分微博文本进行人工标注作为训练集，其余采集的未标注微博文本作为测试集；

过程4.2，特征提取，选取一些文本特征进行训练，包括词性、情感词、否定词、程度副词及特殊符号；

过程4.3，对特征进行降维，不断优化模型直至生成SVM分类器；

过程4.4，利用SVM分类器预测得到微博情感极值；

步骤5，根据步骤1所采集到数据计算用户影响力和话题内该用户发布的微博与话题相似度来计算该条微博的话题影响力；具体过程如下：

过程5.1，通过用户影响力计算公式来计算用户影响力；

Y＝ω₁×F+ω₂×H+ω₃×C

其中，F＝a∩b∩c代表用户影响覆盖度，a代表粉丝用户集合，b代表评论用户集合，c代表转发用户集合，代表用户活跃度，d代表一段时间内用户发布微博数(包括原创微博和转发微博)，e代表一段时间内用户评论的微博数，代表用户传播力，f代表该用户微博平均被转发数，g代表该用户微博平均被评论数，T代表选取时间时长，ω_i代表各参数权值；

过程5.2，使用余弦相似度算法计算用户微博与话题的相似度，具体过程如下：

5.2.1，使用TF-IDF算法，找出一篇微博文本和该话题初始文本的关键词；测试集文本进行分词后，统计每个文档中每个词语的词频TF，计算每个词的逆文档频率IDF，从而计算出每个词语的TF-IDF值；根据词语TF-IDF值选择排序靠前的关键词作为每篇文本的关键词；

其中，N代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数。

在一些特殊的情况下该公式会有一些小问题，比如某一个生僻词在语料库中不存在，此时公式中分母为0，IDF则没有意义。所以我们需要做一些平滑，使语料库中没有出现的词也可以得到一个合适的IDF值。IDF平滑后的公式之为：

则

TF-IDF(x)＝TF(x)*IDF(x)

其中TF(x)代表词x在当前文本中的词频；

5.2.2，两篇微博各取出若干个关键词(为公平起见，一般取的词数相同)，合并成一个集合，计算每篇文章对于这个集合中的词的词频；为了避免文章长度的差异，可以使用相对词频；选出的不同词的数量决定了词频向量的长度；

5.2.3，生成两篇文章各自的词频向量；所有文章对应的词频向量等长，相同位置的元素对应同一词；

5.2.4，计算两个向量的余弦相似度，值越大就表示越相似；一般情况下，相似度都是归一化到[0,1]区间内；

其中，A_i代表话题内任一微博文本的关键词，B_i代表该话题初始文本的关键词；

过程5.3，计算该微博文本的话题影响力；

Y_z＝cosθ×Y

步骤6，计算出该微博文本的话题的主流情感倾向及情感值并对话题情感值进行排序；情感极性值P接近0，则该话题为中性；P>0，则该话题为正向；P<0代表该话题为负面情绪；若一个话题负向情感值极高，则说明该话题很有可能引起突发舆情事件，应做出舆情预警。具体过程如下：

过程6.1，选取一段时间，统计该段时间内发布微博的用户数；

过程6.2，根据SVM分类器的情感极性预测结果计算情感极性为正、负向的用户集合；

过程6.3，根据不同用户的不同微博文本的话题影响力来计算整个话题的情感倾向及情感值

其中，P_pos代表情感极性为正向的情感值总和，P_neg代表情感极性为负向的情感值总和，N_pos代表情感极性为正向的话题内用户，N_neg代表情感极性为负向的话题内用户，N代表一段时间内发布微博的用户数。

Claims (6)

1.一种基于话题影响力的微博话题情感分析方法，其特征为，包括以下步骤：

步骤1，通过微博提供的API接口获取微博用户的个人信息数据，包括用户的用户微博数、粉丝数、关注数、评论数；采用网络爬虫方式获取大量微博文本；

步骤2，对微博文本进行数据预处理，包括过滤噪声、分词和去停用词；

步骤3，将微博文本按照自带hashtag进行粗分类，使用LDA模型进一步进行主题聚类：微博文本中经常会出现##话题，首先我们可以初步按照自带话题标签对微博文本进行分类；其次利用LDA模型得到主题分布，将微博文本进一步地细分为各主题区间；

步骤4，对部分微博文本进行情感极性标注，若该条微博文本情感倾向为正向，则标记为1，否则标记为-1；利用标注微博文本集进行训练并优化，生成SVM情感分类器；使用SVM分类器得到未标注微博文本情感极值；

步骤5，根据步骤1所采集到数据计算用户影响力和话题内该用户发布的微博文本与话题相似度来计算该文本的话题影响力；

步骤6，计算出该微博文本的主流情感倾向及情感值并对话题情感值进行排序；感极性值P接近0，则该话题为中性；P>0，则该话题为正向；P<0代表该话题为负面情绪；若一个话题负向情感值极高，则说明该话题很有可能引起突发舆情事件，应做出舆情预警。

2.如权利要求1所述的一种基于话题影响力的微博话题情感分析方法，其特征为，步骤3中LDA模型进行主题聚类的方法为：

过程3.1，根据已有标签的微博文本语料库进行学习，生成LDA主题模型；具体LDA主题模型生成过程可以描述如下：

3.1.1，文本d中词项总数N_d服从泊松分布，其参数为ξ：N_d～Poisson(ξ)；

3.1.2，对每篇文档d，按概率生成其主题分布：

3.1.3，对每个主题z，按概率生成其词项分布：

3.1.4，根据主题分布和词语分布生成文本中的每一个词语；

LDA模型生成过程中，所有观测变量和隐含变量在给定超参数下联合概率为

过程3.2，采用Gibbs抽样算法对生成的LDA主题模型进行主题抽取；

过程3.3，对需要进行主题分类的文本利用Gibbs抽样算法推断其主题分布概率。

3.如权利要求1所述的一种基于话题影响力的微博话题情感分析方法，其特征为，步骤4中SVM分类器预测未标注文本情感倾向的方法为：

过程4.1，选取部分微博文本进行人工标注作为训练集，其余采集的未标注微博文本作为测试集；

过程4.2，特征提取，选取一些文本特征进行训练，包括词性、情感词、否定词、程度副词及特殊符号；

过程4.3，对特征进行降维，不断优化模型直至生成SVM分类器；

过程4.4，利用SVM分类器预测得到微博情感极值。

4.如权利要求1所述的一种基于话题影响力的微博话题情感分析方法，其特征为，步骤5中话题影响力和话题情感值的计算方法为：

过程5.1，根据采集到的用户数据进行标准化和归一化处理，筛选用户的微博发布数、评论数、粉丝数和被提及次数；计算出对于话题传播影响最大的属性特征值——活跃度H、传播力C、覆盖度G；通过用户影响力计算公式来得到用户影响力；

过程5.2，通过TF-IDF算法计算文本内容和话题的相似度作为话题影响力的因子；

过程5.3，根据用户影响力以及微博相似度来计算该条微博文本的话题影响力。

5.如权利要求4所述的一种基于话题影响力的微博话题情感分析方法，其特征为，过程5.1中，微波发布数包括原创和转发微博的总数。

6.如权利要求1所述的一种基于话题影响力的微博话题情感分析方法，其特征为，步骤6中话题的主流情感倾向及情感值的计算方法为：

过程6.1，选取一段时间，统计该段时间内话题内发布微博的用户数；

过程6.2，根据SVM分类器的情感极性预测结果计算情感极性为正、负向的用户集合；

过程6.3，根据不同用户的不同微博文本的话题影响力来计算整个话题的情感倾向及情感值。