CN103150367B - 一种中文微博的情感倾向分析方法 - Google Patents

Abstract

本发明公开了一种中文微博的情感倾向分析方法，包括步骤：对微博文本进行分类，根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本；根据微博文本的类型，对微博文本进行情感倾向分析。本发明的情感分析方法通过根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本然后分别进行分析，实施简单、成本低廉、准确率高等优点，具有很强的现实意义和实际价值。

Description

一种中文微博的情感倾向分析方法

技术领域

本发明属于网络信息处理技术领域，具体涉及一种针对中文微博的情感倾向分析方法。

背景技术

随着互联网的发展和Web2.0的兴起，人们越来越习惯于在网络上表达自己的观点。网民针对某些热点事件的看法，对于政府了解当前的舆情信息、判断当前的舆论形势及决策是非常有价值的。而针对商品、商家的评论，则对商家调整市场策略和买家选择商品都有一定的帮助。现在网络上存在海量的带有情感倾向性的文本，依靠人工去判断这些文本的情感倾向是不可能完成的任务，文本情感分析就是针对这个领域提出的一个新兴的研究方向，它利用计算机来自动地对文本的情感倾向性进行分析。

微博是一种通过关注机制分享简短实时信息的广播式的社交网络平台。用户开通微博服务后，可以发表、转发及评论消息，来标记生活、分享新鲜事、表达观点等。微博一问世就凭借其开放性、平等性、易用性迅速吸引了大众的目光。以新浪微博为例，截止2011年底，新浪微博的注册用户已达3亿，日活跃用户超过3000万，日均发表微博数量将近1亿条。微博文本的数量大，更新快，其中很多表达了用户对某些事件的观点和态度，研究微博文本的情感倾向性具有重要的现实意义。

中文微博与传统的中文文本相比具有明显的差异性，微博是口语化、不规则的文本，内容较短，用词比较随意，微博之间具有链接关系；而与英文微博相比，中文微博最长允许140个中文字符，比英文微博的140个英文字符（大概20-30个单词）具有更丰富的内容。因此针对传统中文文本和英文微博的情感分析研究成果并不完全适用于中文微博文本。

发明内容

本发明目的在于解决现有技术存在的上述问题，提出了一种中文微博的情感倾向分析方法。

本发明的技术的方案为：一种中文微博的情感倾向分析方法，具体包括如下步骤：

S1.对微博文本进行分类，根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本；

S2.根据微博文本的类型，对微博文本进行情感倾向分析。

进一步的，对原创类文本进行情感倾向分析的具体过程如下：

步骤10，对微博文本进行预处理，即提取文本中的下述字段，包括：微博中使用的表情、作者、转发数、评论数、包含的外部链接、标签、文本中是否其他用户、作者是否加V；

步骤11，对预处理后的微博文本进行分析，依据预先定义的情感词典，根据是否包含情感词、情感表情、外部链接来判断文本的主客观倾向；

步骤12，如果步骤11中判断的微博文本为客观文本，则将微博文本的情感倾向记为中性；否则，按下述过程判断微博文本的正负向：

步骤121，将微博文本分句，将句子中的用户、标签去掉，然后使用分词工具将句子分词并标注词性；

步骤122，根据预定义的情感词典，情感组合短语、否定词典、转折词典、句中包含的情感表情、表示感情的标点符号，来计算每句的情感倾向，然后综合计算整个微博文本的情感倾向以及置信度；

步骤123，选取情感词、表情、否定词、转折词，使用分类器来分析情感倾向；

步骤124，依据步骤122及123的结果，综合评定微博文本的情感倾向。

进一步的，对转发或评论类文本进行情感倾向分析的具体过程如下：

步骤20，查找到转发或评论类文本对应的原创类文本；

步骤21，判断原创类文本的情感倾向；

步骤22，如果转发或评论类文本的字数不大于预先设定的阈值，则转向步骤23；否则，计算该转发或评论类文本的情感倾向；

步骤23，根据情感词典和情感表情的数量来分析情感倾向，如果计算出的情感倾向为中性，则认为该文本的情感倾向与该文本对应的原创类文本的情感倾向相同，否则计算出的情感倾向即为该文本的情感倾向。

本发明的有益效果：本发明的情感分析方法通过根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本然后分别进行分析，在对网络上随机抓取的1000条微博文本进行测试，得到的分析准确率为81%，与现有文献相比，准确率有所提高；且方法过程比较简明，实施起来比较简单，成本低廉，具有很强的实用价值。

附图说明

图1是本发明的中文微博文本情感分析方法的流程示意图。

图2是实施例中的原创类文本的情感分析的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

需要说明的是，本实施例是以新浪微博为例进行说明，本领域的技术人员应该意识到本发明的方法并不限于新浪微博。

本发明实施例提供了一种中文微博的情感倾向分析方法，流程示意如图1所示，具体包括如下步骤：

S1.对微博文本进行分类，根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本；

S2.根据微博文本的类型，对微博文本进行情感倾向分析。

这里依照微博的格式，将微博文本分为原创类文本和转发或评论类文本，原创类文本定义为没有上文关系的文本，即该文本是由作者发出，而转发或评论文本的微博是与上文相关的，这种类型的微博都有一个原创类文本。

以新浪微博为例，原创类文本微博的格式为“【7月5日起国内航空燃油附加费将下调】自1日起，航空煤油出厂价从6月的每吨7464元降至6724元。国内航空公司开始纷纷下调国内航段燃油附加费”。而转发的格式为“我今天凌晨订的5号也是130啊!是不是得5号开始订才下调？//小新和苹果:为毛今天定10号的机票还是130的燃油附加税呢？”。“//”为新浪微博的转发标识符。评论的格式为“刘大懒人：叔定的4号的票啊，悲催(7月3日22:40)”。

这里可以通过格式标识符将微博分类，不同的类型的文本分别处理。

对原创类文本的微博，情感分析的流程示意图如图2所示，具体过程如下：

步骤(2.1)，对微博文本进行预处理，即从微博文本中提取一些字段，所述字段具体包括：微博中使用的表情、转发数、评论数、是否包含外部链接、标签、文本中是否其他用户、作者是否加V。这些字段都是显式的在微博中出现的，可以直接提取；

步骤(2.2)，对预处理后的微博文本进行分析，依据预先定义的情感词典，根据是否包含情感词、情感表情、外部链接来判断文本的主客观倾向。

主观文本指作者带有情感倾向性的，客观文本则是作者描述了一件客观事实，没有情感色彩。

这里可以采用如下一种方式判断是否为客观文本，首先，检查文本中是否含有外部链接，经观察，含有外部链接的文本多为客观新闻的转载或推荐，不含有情感倾向，将含有链接的文本直接归为客观文本，跳到步骤(2.3)，不含有链接的文本继续下面的分析。由于微博的随意性，口语化，微博文本中使用情感表情非常常见，这些情感符号一定程度上表明了作者是否具有情感倾向。因此，首先检查微博文本中是否使用了情感表情，经过整理，新浪微博的默认表情中，正向表情有33个，负向表情有34个，包含情感表情的，认为是主观文本，转向步骤（2.3），不含有情感表情的，依据是否含有情感词来判断是否为主客观文本，情感词由构造好的情感词表提供，构造方式为HowNet提供的情感词典筛选掉重复加收集的一些网络词语，例如给力、尼玛等，正向情感词有4508个，负向情感词有4369个。

步骤(2.3)，如果步骤(2.2)中分析出来的微博文本为客观文本，则将微博文本的情感倾向记为中性；主观文本按照下面方法继续分析其正负向：

步骤(2.3.1)，使用“。？！”等标点符号将主观文本分句，由于微博中的用户名、使用##包含的标签信息对文本表达情感倾向并无作用，但其中可能含有否定词、情感词，因此，将句子中的用户、标签去掉；然后使用分词工具将句子分词并标注词性。

步骤(2.3.2)，使用语义的方法计算情感倾向，计算过程如下：

先以句子为单位，分别计算情感倾向，用w表示情感词的权值，p表示加权系数，n表示句中包含的情感词和情感表情的个数(重复的只算1次)。

正向情感词或正向表情的权值w(词语)为1，加权系数p(词语)为1，负向情感词或负向表情权值w(词语)为-1，加权系数p(词语)为1，如果有重复，加权系数p记为1.1或-1.1，不累计。含有否定词的句子(例如“不能”)，查找该否定词后面离该否定词最近的一个情感词，取该情感词的加权系数p(词语)为-1，如果没有找到，认为该否定词不起作用。含有双重否定词的句子（例如，“不得不”），或者使用表示强烈情感的标点符号（例如“！！，？!”），整句的情感系数p(句)为1.1，否则为1。

句子的情感值w(句)计算公式为：

置信度α(句)计算公式为：

整条微博的情感值w(文本)计算公式为：w(文本)=∑w(句)α(句)。

如果w(文本)不小于0，则判定微博的情感倾向为正向，情感倾向s(语义)为1，否则判定微博的情感倾向为负，情感倾向s(语义)为-1。

置信度α(语义)计算公式为：

文本的情感分析结果由二元组(s(语义)，α(语义))来表示。

步骤(2.3.3)，使用分类的方法计算情感倾向，具体过程如下：

分类方法不分句，只需要删去微博中的用户名、使用##包含的标签信息。选取情感词、表情、否定词、转折词等特征，特征提取方式使用TF-IDF方法。经过对朴素贝叶斯、最大熵、SVM等分类器的测试后，选择了结果最好的朴素贝叶斯分类器，从新浪微博随机抓取了3000条微博，人工标注后选取正负向数据各1000条作为训练数据，构造分类器，来分析情感倾向。经测试，准确率为65%，因此，把置信度α(分类)设置为0.65，置信度依赖于训练语料的准确率，训练语料不变，则值不变。训练过程是预先执行的过程，实际使用时，使用朴素贝叶斯分类器将微博文本分为正负两类，正向对应的s(分类)为1，负向对应的s(分类)为-1。

分类方法确定的情感分析结果由二元组(s(分类),α(分类))表示。

步骤(2.3.4)，依据步骤(2.3.2)及(2.3.3)的结果，使用如下公式来综合评定文本的情感倾向：

置信度计算公式为：

最终的情感分析结果由下式确定：即s=1时，情感分析结果为正向，s=-1时，情感分析结果为负向。

步骤(3)，对评论或者转发类型的微博，情感分析可以利用原始文本来提高准确度。分析的过程如下所示；

步骤(3.1)，首先查找到本微博的原创类文本，评论一般跟原始微博是一起的，转发的微博跟原始微博有链接关系，可以很容易的找出原创类文本；

步骤(3.2)，分析原创类文本的情感倾向，原创类文本的情感分析方法采用步骤(2)的所述分析方法，计算出原创类文本的情感倾向和置信度二元组(s(原始)，α(原始))；

步骤(3.3)，通过对新浪微博的观察发现，有的评论，作者写一大段文字来说明自己的观点，而有的则只用表情符号或鲜明的表明情感的词语来表达情感，这两种类型的微博需要采取不同的分析方法，这里使用字数来区分这两种类型，经过试验，字数阈值设为10能达到最好的准确率。

对于不超过10个字的评论或转发，作者表达自己的情感是采用鲜明的情感词，因此，只需要根据情感词典和情感表情以及否定词及双重否定词来分析情感倾向，正向情感词和情感表情的权值w(词语)取1，加权系数p(词语)为1，负向情感词或负向表情权值w(词语)为-1，加权系数p(词语)为1，如果有重复，加权系数p记为1.1或-1.1，不累计。含有否定词的句子(例如“不能”)，查找该否定词后面离该否定词最近的一个情感词，取该情感词的加权系数p(词语)为-1，如果没有找到，认为该否定词不起作用。

情感值由如下公式计算：情感值=∑w(词语)p(词语)

如果情感词为0，则认为该文本与原创类文本的情感倾向相同，如果情感值大于0，文本的情感倾向为正向，小于0为负向。

而大于10个字的评论或转发，按照步骤(2.1)-(2.3)来分析文本的情感倾向。

以上就是本发明方法的具体实例，下面举例进行说明。

例：这恶心的画皮2我有点怕，听说挺重口味的[哭][哭][哭][哭]，别吓我[惊恐]。

首先可以分析出这是一条原创类微博，微博中含有表示负向的情感表情[哭]，所以微博为主观微博。再按照语义的方法计算情感倾向：本条微博只有1句，不需要分句。句中含有负向情感词“恶心”，“重口味”，多个负向表情[哭]，负向表情[惊恐]。因此，句子的情感值w(句)=((-1)+(-1)+(-1)*1.1+(-1))/4=-1.025，置信度α(句)=1.0，w(文本)=w(句)=-1.025，得到二元组(s(语义)，α(语义))为(-1,1.0)；然后使用分类器来判定文本的情感倾向为负向，得到二元组(s(分类)，α(分类))为(-1,0.65)；最后，s(语义)α(语义)+s(分类)α(分类)=-1.65<0，因此s=-1，该文本的情感倾向为负向。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (5)

1.一种中文微博的情感倾向分析方法，具体包括如下步骤：

S1.对微博文本进行分类，根据文本的构成特征将微博文本分为原创类文本和转发或评论类文本；

对原创类文本进行情感倾向分析的具体过程如下：

步骤10，对微博文本进行预处理，即提取文本中的下述字段，所述字段具体包括：微博中使用的表情、作者、转发数、评论数、包含的外部链接、标签、文本中是否其他用户、作者是否加V；

步骤11，对预处理后的微博文本进行分析，依据预先定义的情感词典，根据是否包含情感词、情感表情、外部链接来判断文本的主客观倾向；

步骤12，如果步骤11中判断的微博文本为客观文本，则将微博文本的情感倾向记为中性；否则，按下述过程判断微博文本的正负向：

步骤121，将微博文本分句，将句子中的用户、标签去掉，然后使用分词工具将句子分词并标注词性；

步骤122，根据预定义的情感词典，情感组合短语、否定词典、转折词典、句中包含的情感表情、表示感情的标点符号，来计算每句的情感倾向，然后综合计算整个微博文本的情感倾向以及置信度；

步骤123，选取情感词、表情、否定词、转折词，使用分类器来分析情感倾向；

步骤124，依据步骤122及123的结果，综合评定微博文本的情感倾向；

S2.根据微博文本的类型，对微博文本进行情感倾向分析。

2.根据权利要求1所述的中文微博的情感倾向分析方法，其特征在于，对转发或评论类文本进行情感倾向分析的具体过程如下：

步骤20，查找到转发或评论类文本的原创类文本；

步骤21，判断原创类文本的情感倾向；

步骤22，如果转发或评论类文本的字数不大于预先设定的阈值，则转向步骤23；否则，计算该转发或评论类文本的情感倾向；

步骤23，根据情感词典和情感表情的数量来分析情感倾向，如果计算出的情感倾向为中性，则认为该文本的情感倾向与该文本的原创类文本的情感倾向相同，否则，计算出的情感倾向即为该文本的情感倾向。

3.根据权利要求2所述的中文微博的情感倾向分析方法，其特征在于，综合计算整个微博文本的情感倾向以及置信度的具体过程如下：

先以句子为单位，分别计算情感倾向，用w表示情感词的权值，p表示加权系数，n表示句中包含的情感词和情感表情的个数，重复的只算1次；

正向情感词或正向表情的权值w(词语)为1，加权系数p(词语)为1，负向情感词或负向表情权值w(词语)为-1，加权系数p(词语)为1，如果有重复，加权系数p记为1.1或-1.1，不累计；含有否定词的句子，查找该否定词后面离该否定词最近的一个情感词，取该情感词的加权系数p(词语)为-1，如果没有找到，认为该否定词不起作用，含有双重否定词的句子，或者使用表示强烈情感的标点符号，整句的情感系数p(句)为1.1，否则为1；

句子的情感值w(句)计算公式为：

置信度α(句)计算公式为

整条微博的情感值w(文本)计算公式为：w(文本)＝Σw(句)α(句)；

如果w(文本)不小于0，则判定微博的情感倾向为正向，情感倾向s(语义)为1，否则判定微博的情感倾向为负，情感倾向s(语义)为-1；

置信度α(语义)计算公式为：

整个微博文本的情感分析结果由二元组(s(语义)，α(语义))来表示。

4.根据权利要求3所述的中文微博的情感倾向分析方法，其特征在于，综合评定微博文本的情感倾向的具体过程如下：

置信度计算公式为：

其中，二元组(s(分类),α(分类))为步骤123得到的情感分析结果；

最终的情感分析结果由下式确定：即s＝1时，情感分析结果为正向，s＝-1时，情感分析结果为负向。

5.根据权利要求4所述的中文微博的情感倾向分析方法，其特征在于，所述的分类器具体为朴素贝叶斯分类器。