CN107943800A - 一种微博话题舆情计算与分析的方法 - Google Patents

Abstract

本发明公开了一种微博舆情计算与分析的方法。方法包括以下步骤：S1利用爬虫软件抓取微博数据，将抓取到的数据进行预处理；S2建立情感计算所需要的文本情感词库和表情符号情感词库。S3依据微博的点赞数、评论数、转发数计算微博话题的扩散度。将计算出的扩散度作为计算微博话题舆情的一个因素。S4计算微博话题情感倾向。对于不包含表情符号的微博内容，直接以建立的文本情感词库为情感词典，利用朴素贝叶斯完成；对于包含表情符号的微博，分别计算文本情感倾向和表情符号的情感倾向，最后综合两部分的情感倾向实现情感倾向计算。S5微博舆情分析。融合微博话题扩散度和话题情感倾向实现对微博舆情的分析。该方法使计算出的微博话题的舆情更加准确。

Description

一种微博话题舆情计算与分析的方法

技术领域

本发明涉及一种微博舆情分析与计算的方法，属于新闻传播与计算机技术的交叉领域。

背景技术

现今，微博在人们的生活中占据了越来越重要的位置。人们可以通过微博平台参与时政、影视、甚至是明星生活的讨论。因为现在的微博平台没有门槛限制，而且简单和随意，这些特点使微博用户的数量近年来持续增长。所有的人都可以注册使用，公司、慈善团体和政府部门等组织机构也开始使用微博作为市场营销和公共关系管理的一种工具。这种情况促使微博成为发表心情、表达看法的热门平台。同时，微博中的一些看法和思想会影响微博用户做出一些决定，而且微博中的一些舆论也会影响用户对事情的看法，激发用户参与讨论的热情。因此舆情分析在这个社交网络迅猛发展的时代显得尤为重要。

现今技术中，对于微博情感倾向分析的研究没有将微博中的表情符号详细计算到微博的情感倾向中，作为表达微博情感必不可少的表情符号，如果在微博情感倾向分析中不予考虑，会相对降低情感倾向分析的准确性。

发明内容

本发明的目的在于提供一种基于微博话题的舆情分析及舆情值的计算法方法，该方法能够有效的分析微博话题所呈现的舆论情况，并计算出对应话题的舆情值。

为实现上述目的，本发明的技术方案是：提供一种微博舆情分析及计算的方法，包括以下步骤：

步骤1微博数据预处理：目前，新浪微博是用户人数最多的微博平台。因此，本发明以新浪微博为研究微博内容的平台。首先对抓取的数据预处理，去除微博数据中的标点符号和停用词。并对其进行分词，本发明采用中国科学院计算技术研究所研制的汉语词法分析系统(Institute of Computing Technology Chinese Lexical Analysis System，ICTCLAS)进行微博数据分词。

步骤2建立情感词库：在实际的微博话题分析中，简单的把情感分为正面和负面过于笼统，对于情感的分析会造成偏差。本发明采用中文情感词汇本体库作为研究的情感词典。中文情感词汇本体库是大连理工大学信息检索研究室整理和标注的一个中文本体资源库。该资源库从不同角度描述一个中文词汇或者短语，包括词语词性种类、情感类别、情感强度及极性等信息，实现了将文本情感分为更细致的乐、好、怒、哀、惧、恶、惊7大类。完善了之前研究用到的情感词典只把文本情感分为正面情感和负面情感的缺陷。

步骤3计算微博话题扩散度：将微博话题扩散度定义为在给定时间内，给定话题的转发量，评论数，点赞量的总和。转发表示用户对该微博内容感兴趣并愿意扩散；评论微博表示出用户对该微博的支持或反对观点；点赞表示用户对该微博表示支持或是欣赏。转发、评论和点赞代表微博在用户之间的扩散程度。本发明用微博的转发、评论、点赞来衡量微博话题扩散度H。H的计算如下所示：

H＝ω₁c+ω₂r+ω₃z

其中，c表示在t时间内微博话题的转发数，r表示在t事件内的评论数，z表示t时间内微博的点赞数，而分别表示评论数、转发数、点赞数在计算微博话题扩散度时的权重。

微博话题是一个供多用户共同参与讨论话题的平台。本发明抓取参与微博话题的用户，从参与评论用户发布内容的评论、转发、点赞数获得该微博话题的评论数、转发数、点赞数。

步骤4微博中表情符号库建立：表情符号与用户主观情感紧密相连，越来越多用户喜欢在微博中用表情符号直接的表达自己的情感、心情等。本发明对于表情符号的情感分析主要基于建立一个准确的大规模表情符号语料库，并将相似的表情符号聚类。本发明将具有以下两个特征的表情符号定为相似的表情符号，归为一类。(1)两种表情符号经常同时出现，即它们的共现达到一定的频繁模式。(2)在语义上有很强的联系。

结合FP增长算法和检索距离，将其作为表情符号聚类的算法。FP增长算法是一种有效的检测频繁模式的算法，是Apriori算法的一种改进算法。Apriori算法在产生频繁模式完全集前对数据库进行多次扫描，同时产生大量的候选频繁集，使Apriori算法时间和空间复杂度较大。而FP增长算法在不生成候选项的情况下，完成Apriori算法功能，减小了算法时间和空间复杂度。FP增长算法是使用一种称作FP树的紧凑数据结构组织数据，并直接从该结构中提取频繁项集。本发明用检索距离测试两个表情符号之间的相似性，将基于谷歌距离 的语义相似度算法运用于文中表情符号的相似度计算中，对FP增长算法的聚类结果进行距离检索，进一步精确表情符号的分类。

进一步地，所述微博总表情符号库建立采用表情符号聚类方法为：

A1输入微博语料库数据D，最小支持阈值min_sup，RD阈值λ。

A2对于抓取d中表情符号，计算频繁项集F，并按照支持度递减的顺序，重新排列F得到频繁项集L

A3重新扫描语料库构建FP-tree，根据最小支持度选择表情符号的频繁2项

A4在频繁2项集中，利用公式计算出表情符号q_i和q_j的检索距离RD(q_i，q_j)

A5如果RD(q_i，q_j)≤λ，将q_i和q_j聚为一类。

A6重复上述步骤，直到所有常用表情符号聚类完成，形成表情符号列表。

步骤5微博话题情感倾向分析：微博话题的情感倾向即微博用户通过发布微博内容所展现出的情感。现在，用户发布的微博内容已由原来单纯的文本信息转变为文本、表情符号、图片等相结合的形式。如何通过面向多维关联的数据进行情感分析，增强结果的有效性，是本发明解决的关键科学问题。将微博内容归为纯文本形式和文本与表情符号共存形式。对于这两种形式，采取不同方法分析微博内容所表现的情感倾向。对于没有表情符号的纯文本微博内容，需要运用朴素贝叶斯的方法匹配出情感倾向。而对于有表情符号的微博，采用融合文本分析出的情感和表情符号分析出的情感。

基于文本情感词典和表情符号库，运用朴素贝叶斯进行微博情感分析。对于不同微博话题，一种表情符号和情感词可能持有不同的情感，本发明对于微博情感分析是基于某一特定话题进行。

对于不包含表情符号的微博内容，本发明将中文情感词汇本体库作为情感词典，将朴素贝叶斯算法作为分类纯文本微博情感倾向的算法，如下公式：

其中，s＝{s₁，s₂…s_m}是文本情感词库。假设d中每一个词w_i与其他词w_k(i≠k)相互条件独立，则：

可近似为如下公式。

其中，表示不带表情符号微博d的情感倾向。

对于包含表情符号的微博内容，首先将表情符号进行人工标注情感倾向类别，确定每个表情符号类的情感倾向，完成表情符号库的建立。抓取出微博中的表情符号，创建表情符号集。将表情符号集与表情符号库相匹配，使用朴素贝叶斯算法，得到表情符号的情感倾向。计算出包含表情符号的微博情感倾向，如公式所示。

其中，k是微博中包含表情符号的数量，v_i是该微博内容中包含的表情符号，α是不带表情符号的微博内容在微博情感分析中的权重，本发明取为0.5，F＝{F₁，F₂…F_m}是表情符号库。记maxE(S_j)即为微博的情 感倾向。按公式(1)将获得的微博话题情感倾向分为两大类得到最终的微博情感倾向。

步骤6微博话题舆情分析及计算：用微博话题的扩散度与微博话题的情感倾向进行微博话题舆情分析POA。对于微博话题情感属于怒、哀、惧、恶、惊等方面的，将其与扩散度融合，可以表示用户对于某个观点或某部电影等表现出的不赞成度；而对于属于乐、好方面的微博，表示出用户的支持度。通过将扩散度和情感倾向进行融合获得微博话题的舆情情况，如公式：

POA＝H×Em

其中，POA表示在一定时间中微博话题的舆情值，H表示某微博话题在一定时间的扩散度；Em表示在一定时间微博话题展现出的用户情感倾向。

附图说明

图1本发明基本流程图

图2微博内容提取方式图

图3表情符号库图

图4考虑表情符号和不考虑表情符号的情感分析结果对比

图5不同方法情感倾向分析对比图

图6微博话题舆情分析结果图

具体实施方式

下面结合附图，对本发明的实施例进行进一步的详细说明。

如图1所示，本发明提供了一种面向微博话题的舆情分析方法，包括以下步骤：

S1采集新浪微博平台中比较热门的5个微博话题作为本发明实例的测试数据。首先抓取10个大V用户从2015年9月答2016年5月期间的所有微博。将这些数据作为数据集a，为建立表情符号库做准备。同时抓取新浪微博中这段时间中出现的热门微博话题，将这些数据作为测试数据保存为数据集b。对这些数据集进行剔除垃圾用户、去掉停用词等预处理操作，并对预处理后的数据集进行分词操作。

S2分别建立微博内容文本形式和表情符号形式所需要的情感词库。对于文本形式的微博内容，本发明采用中文情感词汇本体库作为研究的情感词典。中文情感词汇本体库是大连理工大学信息检索研究室整理和标注的一个中文本体资源。该资源库从不同角度描述一个中文词汇或者短语，包括词语词性种类、情感类别、情感强度及极性等信息，实现了将文本情感分为更细致的乐、好、怒、哀、惧、恶、惊7大类。同时，本发明利用FP增长算法和检索距离融合完成表情符号情感词库的建立。

S3对上述采集到的测试数据集b按照包含表情符号和不包含表情符号分成两大类。对于不包含表情符号的微博内容，本发明将已建立的中文情感词汇本体库作为情感词库，并通过朴素贝叶斯方式对微博中每一个词进行情感倾向概率计算，取概率最大的作为不包含表情符号的微博的情感倾向。而对于包含表情符号的微博内容，将内容分为表情符号和文本两部分进行微博情感倾向的计算。文本部分情感词库为中文情感词汇本体库，表情符号部分将已建立的表情符号库作为情感库，对两部分内容同时进行朴素贝叶斯计算，并将词汇中两部分 按照给定的参数进行加和，完成对于包含表情符号的文本情感倾向计算。

如图2所示，由于微博发布的形式有多种多样，在提取微博数据的时候，所需要提取的内容也是不同的。一条微博的内容形式有好多种，将微博内容分为4类进行抓取。图中第一类是原发布或者只提及某人而不评论；对于这类微博我们提取发布的内容作为实验数据。第二类是转发的同时对原微博内容进行评论；提取这类微博转发时的评论作为实验数据。第三类是只转发而不评论，提取这类微博的转发内容作为实验数据。第四类是提及某人并且评论，提取提及某人时的评论内容作为实验数据。

如图3所示，本发明提供了通过表情符号聚类方法所建立的表情符号库的一部分，具体介绍如下：通过前文所提到的将FP增长算法和检索距离结合的方式完成微博中表情符号聚类。将实验数据中的数据集1作为该算法的输入数据集。

如图4所示，本发明将考虑表情符号的情感倾向分析和不考虑表情符号的情感倾向分析这两种情况进行对比。将带表情符号的微博话题分为表情符号和文本分别进行情感倾向分析。当对表情符号分析的时候，将表情符号库作为情感库，运用朴素贝叶斯算法将微博话题中的表情符号与表情符号库进行匹配，得到表情符号的情感倾向。对微博话题中文本分析时，将中文情感词汇本体库作为研究的情感词典，运用朴素贝叶斯算法匹配出文本的情感倾向。最后将表情符号情感倾向和文本情感倾向融合，计算出带有表情符号的微博话题情感倾向的 结果。将得到的结果与传统的不考虑表情符号的微博情感分析对比，得出结论，对于不同的话题，虽然前者对不同的话题情感分析的准确率有一定波动，但整体上，考虑表情符号的情感倾向分析都要比忽略表情符号有更高的准确率。

如图5所示，是用KNN算法，SVM算法以及本文的朴素贝叶斯算法进行微博话题情感分析的分析结果。现今关于研究微博情感分析的方法有多种，对于不同的方法所实现的结果和效率都是不同的，因此本发明将设计的微博情感倾向分析的方法与目前的一些技术方法进行比较。通过比较可以得出结论，KNN算法不管是在准确率，召回率还是F值上都处于劣势。SVM算法在准确率上和本发明采取的朴素贝叶斯算法非常接近，但是从整体上分析可以得出，本发明所采取的的朴素贝叶斯算法对于微博话题舆情分析更加准确。

如图6所示，将参与话题讨论的所有微博按照本发明所述方法完成微博话题舆情分析，得到相应的舆情值。可以看出，对于话题1和话题2，微博话题的情感是不支持或消极，在不支持的消极情绪程度上，拐卖儿童量刑的话题有更高的不支持程度，所以若两个话题同时出现，有关部门更应该首先关注拐卖儿童量刑，其次解决结婚证有效期该是7年的问题。而对于话题5、话题6和话题7同属于娱乐类的节目，从表3可以看出用户呈现的情感是支持喜欢的积极情绪，但是从舆情值上可以看出对于电影狼图腾的支持程度更高。通过对于表3的分析，可以简单完成用户对于某话题的情感倾向，并且准确的判断出对于同类型的话题，公众的情感倾向度，从而更有利于相关部门按 照舆情情况作出最有效的措施。

Claims (5)

1.一种计算微博舆情值的方法，其特征在于，包括以下步骤：

步骤1微博数据预处理；

步骤2建立情感词库。建立微博中文本情感词库和表情符号情感词库；

步骤3计算微博话题扩散度；

步骤4微博话题情感倾向分析；

步骤5微博话题舆情分析。

2.根据权利要求1所述的微博舆情计算与分析方法，其特征在于，所述情感词库的建立通过以下方式获得：

A1、采用中文情感词汇本体库作为研究的情感词典。实现了将文本情感分为更细致的乐、好、怒、哀、惧、恶、惊7大类。

A2、输入微博语料库数据D，最小支持阈值min_sup，RD阈值λ。

A3、对于抓取d中表情符号，计算频繁项集F，并按照支持度递减的顺序，重新排列得到频繁项集。

A4、重新扫描语料库构建FP-tree，根据最小支持度选择表情符号的频繁2项。

A5、在频繁2项集中，利用公式计算出表情符号q_i和q_j的检索距离RD(q_i，q_j)

A6、如果RD(q_i，q_j)≤λ，将q_i和q_j聚为一类。

A7、重复上述步骤，直到所有常用表情符号聚类完成，形成表情符号列表。

3.根据权利要求1所述的微博舆情分析和计算方法，其特征在于，所述微博话题扩散度通过以下方式获得：

将微博话题扩散度定义为在给定时间内，给定话题的转发量，评论数，点赞量的总和。转发、评论和点赞代表微博在用户之间的扩散程度。

H＝ω₁c+ω₂r+ω₃z

其中，c表示在t时间内微博话题的转发数，r表示在t事件内的评论数，z表示t时间内微博的点赞数，而分别表示评论数、转发数、点赞数在计算微博话题扩散度时的权重。

4.根据权利要求1所述的微博舆情分析和计算方法，其特征在于，所述微博话题情感倾向分析通过以下方式获得：

B1、对于不包含表情符号的微博内容，本发明将中文情感词汇本体库作为情感词典，将朴素贝叶斯算法作为分类纯文本微博情感倾向的算法：

其中，S＝{S₁，S₂…S_m}是文本情感词库。假设中每一个词与其他词相互条件独立，则：

其中，表示不带表情符号微博的情感倾向。

B2、对于包含表情符号的微博内容，首先将表情符号进行人工标 注情感倾向类别，确定每个表情符号类的情感倾向，完成表情符号库的建立。抓取出微博中的表情符号，创建表情符号集。将表情符号集与表情符号库相匹配，使用朴素贝叶斯算法，得到表情符号的情感倾向。计算出包含表情符号的微博情感倾向。

其中，k是微博中包含表情符号的数量，v_i是该微博内容中包含的表情符号，α是不带表情符号的微博内容在微博情感分析中的权重，本发明取为0.5，F＝{F₁，F₂…F_m}是表情符号库。

5.根据权利要求1所述的微博舆情分析和计算方法，其特征在于，所述微博话题舆情分析与计算通过以下方式获得：

对于微博话题情感属于怒、哀、惧、恶、惊等方面的，将其与扩散度融合，可以表示用户对于某个观点或某部电影等表现出的不赞成度；而对于属于乐、好方面的微博，表示出用户的支持度。通过将扩散度和情感倾向进行融合获得微博话题的舆情情况：

POA＝H×Em

其中，POA表示在一定时间中微博话题的舆情值，H表示某微博话题在一定时间的扩散度；Em表示在一定时间微博话题展现出的用户情感倾向。