CN103761239B - 一种利用表情符号对微博进行情感倾向分类的方法 - Google Patents

Abstract

本发明公开了一种根据表情符号对微博进行情感倾向分类的方法，包括：创建中性情感集、消极情感集和积极情感集；利用中性情感集、消极情感集和积极情感集，建立中性情感贝叶斯分类器；利用由消极情感集和积极情感集，建立极性情贝叶斯情感分类器；利用中性情感贝叶斯分类器和极性情感贝叶斯分类器对待测微博进行情感分类。本发明通过建立一个两阶段分类，即建立中性情感分类器，把中性情感的微博剔除，建立极性情感分类器，将有极性情感的微博分为积极情感和消极情感，该分类器分类速度快、占用空间小且鲁棒，且本发明能通过微博准确的了解到人们对当前的热门话题或事件的态度和网民的情绪，对社会科研和调查有着重要的帮助。

Description

一种利用表情符号对微博进行情感倾向分类的方法

技术领域

本发明涉及一种利用表情符号对微博进行情感倾向分类的方法。

背景技术

微博现今已经成为互联网上最耀眼的新兴互动平台，用户广泛接受并积极参与，其应用价值迅速获得认可。据2012年1月16日CNNIC发布的《第29次中国互联网络发展状况调查统计报告》统计，截至2011年12月底，中国网民规模突破5亿，微博用户数达到2.5亿，目前有近半数网民在使用，比例由2010年的13.8％增至2011年底的48.7％，微博较上一年底增长了296.0％。2.4亿多用户，每秒就能生成超过1000条微博。微博仅用一年时间就发展成为近一半中国网民使用的重要互联网应用。微博因为每次发布的文本相当短，又与博客应用不同的是，微博最初的使用方法就是用手机短信发送信息而不是通过电脑，这体现了微博的几个重要的特点：1.灵活性，用户无需像博客那样必须坐在电脑面前才能发布信息，而是随时随地；2.文本短，微博的内容都极为简洁，如twitter的文字上限为140个字符，中文微博大多为140个汉字，表达的信息非常有限；3.随意性，除了一些新闻媒体和机器人账号以外，大部分普通用户使用都不是为发表新闻而使用微博的，多数内容都是一时的所见所想，以及对别人发表内容的回复或转发等。此外，微博还具有极大的开放性，微博上的内容绝大部分是公开的，这意味着任何人进入微博后都能看到任何人的所有公开的微博，因此在微博上能获取的信息量极大。

由于微博这样的短文本有没足够的词语共现、特征稀疏，因此传统的分类方法，如“词袋法”就不能很好地作用在短文本上。如何对微博这样包含大量主题、形式随意的短文进行分类，已经成了文本挖掘领域的研究新阵地。

人们在博客、微博和各种网上社交网络上不断发表着自己对政治、经济、运动等话题的观点、看法。这样的基于文本的社会媒体平台的兴起，使得主题广泛的、海量的、带有观点的文本数据大量涌出，因此人们将目光聚集在数据挖掘上，期待能够自动区分这些带有观点和兴趣的内容，监测公众的观点、态度，展现线上社会群体的情绪，作为许多有价值的实时应用的基础。

发明内容

本发明设计开发了一种根据表情符号对微博进行情感倾向分类的方法。

本发明提供的技术方案为：

一种利用表情符号对微博进行情感倾向分类的方法，包括：

步骤一、创建中性情感集、消极情感集和积极情感集，具体为：

a、选取在两年中的新浪微博中使用次数超过20万次的表情符号m个，作为种子表情符号，对选取的每个种子表情符号都抽取包含这个表情符号的微博n条作为第一微博集，每个第一微博集包含n条第一微博，从m×n条第一微博的文本中提取重现性在前100的词作为高频词，对每个种子表情符号都选取包含有这个表情符号的微博p条，作为第二微博集，每个第二微博集包含p条第二微博，观察m×p条第二微博文本内容，若一条第二微博中包含的高频词与该条第二微博的文本的情感倾向一致，则认为该条第二微博中包含的种子表情符号的情感倾向明显，并提取该条第二微博中的种子表情符号作为基准表情符号，人工将基准表情符号分类为积极情感和消极情感；

b、所有积极情感的基准表情符号和所有含有积极情感的基准表情符号的第一微博组成积极情感集，所有消极情感的基准表情符号和所有含有消极情感的基准表情符号的第一微博组成消极情感集；

c、定义：新闻没有情感倾向，作为中性情感的微博，选取新浪微博中的新闻用户在两年中发布的微博，作为中性情感集中的中性微博，其中，选取的中性微博的数量与消极情感集和积极情感集中的第一微博之和相等；

步骤二、利用中性情感集、消极情感集和积极情感集，建立中性情感贝叶斯分类器；利用由消极情感集和积极情感集，建立极性情感贝叶斯分类器；

步骤三、利用中性情感贝叶斯分类器和极性情感贝叶斯分类器对待测微博进行情感分类，具体为：若待测微博中含有表情符号，则提取待测微博中的表情符号为待测表情符号，将待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号对比，若待测微博中只含有与积极情感集中的基准表情符号匹配的待测表情符号或只含有与消极情感集中的基准表情符号匹配的待测表情符号，则定义该待测微博为的情感为与该待测微博中含有的表情符号的情感倾向相同的情感倾向，

若待测微博中的待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号均不匹配，则利用中性情感贝叶斯感情分类器判断待测微博是否为中性微博，若待测微博为中性微博则中性情感贝叶斯感情分类器定义该待测微博为中性微博，若待测微博不是中性微博，则极性情感贝叶斯分类器将该待测微博分类，将该待测微博定义为积极情感微博或消极情感微博。

优选的是，所述的利用表情符号对微博进行情感倾向分类的方法中，所述步骤二中，创建中性情感贝叶斯分类器的具体步骤为：

d、从积极情感集、消极情感集和中性情感集中选取数量相等的第一微博和中性微博作为第一基础集，将第一基础集中的第一微博和中性微博的数量按9:1拆分，将9份第一微博和中性微博的作为第一训练集，将1份第一微博和中性微博作为第一测试集；

e、利用简易中文分词系统将第一训练集中的第一微博和中性微博进行分词得到第一关键词，得到的所有第一关键词组成第一词典，去除第一词典中的停用的第一关键词、出现次数小于等于3次的第一关键词和在第一训练集的所有第一微博和中性微博中出现频率高于80％的第一关键词，剩余的第一关键词组成中性情感词典；

f、将第一训练集中的中性微博与第一训练集中的第一微博的先验概率设定为0.5，建立中性情感贝叶斯分类模型，得到中性情感词典中各个第一关键词对中性情感、消极情感和积极情感的权重，得到中性情感贝叶斯分类器。

优选的是，所述的利用表情符号对微博进行情感倾向分类的方法中，所述步骤二中，创建极性情感贝叶斯分类器的具体步骤为：

h、从积极情感集和消极情感集中分别选取数量相等的第一微博作为第二基础集，将第二基础集中的第一微博的数量按9:1拆分，将9份第一微博作为第二训练集，将1份第一微博作为第二测试集，其中第二训练集中，包含积极情感的基准表情符号的第一微博的数量与包含消极情感的基准表情符号的第一微博的数量相等；

i、利用简易中文分词系统将第二训练集中的第一微博进行分词得到第二关键词，得到的所有第二关键词组成第二词典，去除第二词典中的停用的第二关键词、出现次数小于等于3次的第二关键词和在第二训练集的所有第一微博中出现频率高于80％的第二关键词，剩余的第二关键词组成极性情感词典；

k、将含有积极情感的表情符号的第一微博与含有消极感情的表情符号的第一微博的先验概率均设定为0.5，建立极性情感贝叶斯分类模型，得到极性情感词典中各个第二关键词对积极情感和消极情感的权重，得到极性情感贝叶斯分类器。

优选的是，所述的利用表情符号对微博进行情感倾向分类的方法中，m＝600～700，n＝9000～11000，p＝80～110。

本发明设计了一种利用表情符号对微博进行情感倾向分类的方法，其通过官方新闻用户的微博得到中性情感集，利用表情符号标注积极情感集合消极情感集，进而建立一个两阶段分类，即建立中性情感分类器，把中性情感的微博剔除，建立极性情感分类器，将有极性情感的微博分为积极情感和消极情感，该分类器分类速度快、占用空间小且鲁棒，其中对积极微博分类准确率达79.2％，召回率为75.1％，F-measure为77.1％；对消极微博分类准确率达76.3％，召回率为80.3％，F-measure为78.27％。本发明能通过微博准确的了解到人们对当前的热门话题或事件的态度和网民的情绪，对社会科研和调查有着重要的帮助。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供一种利用表情符号对微博进行情感倾向分类的方法，包括：

步骤一、创建中性情感集、消极情感集和积极情感集，具体为：

a、选取在2011和2012年中的新浪微博中使用次数超过20万次的表情符号624个，作为种子表情符号，对选取的每个种子表情符号都抽取包含这个表情符号的微博n条作为第一微博集，每个第一微博集包含10000条第一微博，从624×10000条第一微博的文本中提取重现性在前100的词作为高频词，对每个种子表情符号都选取包含有这个表情符号的微博100条作为第二微博集，每个第二微博集包含100条第二微博，观察这624×100条第二微博文本内容，若一条第二微博中包含的高频词与该条第二微博的文本的情感倾向一致，则认为该条第二微博中包含的种子表情符号的情感倾向明显，并提取该种子表情符号为基准表情符号，人工对基准表情符号非为积极情感和消极情感，以此能获得141个积极表情符号，94个消极表情符号；

b、所有积极情感的基准表情符号和所有含有积极情感的基准表情符号的第一微博组成积极情感集，所有消极情感的基准表情符号和所有含有消极情感的基准表情符号的第一微博组成消极情感集；

c、定义：新闻没有情感倾向，作为中性情感的微博，从新浪微博在2011年和2012年中的84个新闻用户发布的多条新闻微博作为中性情感集中的中性微博，其中，选取的中性微博的数量与消极情感集和积极情感集中的第一微博之和相等；

步骤二、利用中性情感集、消极情感集和积极情感集，建立中性情感贝叶斯分类器；利用由消极情感集和积极情感集，建立极性情感贝叶斯分类器；

具体为：

中性情感贝叶斯分类器的建立：

从积极情感集、消极情感集和中性情感集中选取数量相等的第一微博和中性微博作为第一基础集，将第一基础集中的第一微博和中性微博的数量按9:1拆分，将9份第一微博和中性微博的作为第一训练集，将1份第一微博和中性微博作为第一测试集；

e、利用开源分词程序SCWS将第一训练集中的第一微博和中性微博进行分词得到第一关键词，得到的所有第一关键词组成第一词典，去除第一词典中的停用的第一关键词、出现次数小于等于3次的第一关键词和在第一训练集的所有第一微博和新闻微博中出现频率高于80％的第一关键词，剩余的第一关键词组成中性情感词典；

f、将第一训练集中的中性微博与第一训练集中的第一微博的先验概率设定为0.5，建立中性情感贝叶斯分类模型，得到中性情感词典中各个第一关键词对中性情感、消极情感和积极情感的权重，得到中性情感分类器，如公式(1)所示：

$s\left(t\right)=\underset{j}{\mathrm{argmax}}\left(P\right(s_j\left){\Π}_{i=1}^{d}p\right(w_i|s_j\left)\right)---\left(1\right),$

其中，s(t)表示待测微博t的情感倾向，定义任意一条待测微博t为t＝(w₁,...,wi,...,wd)，其中w_i表示中性情感词典中第i个第一关键词在t待测微博中出现的次数，s_j在中性情感分类器中表示中性情感/消极或积极情感类别，P(s_j)为s_j的先验概率，p(w_i|s_j)表示w_i的经验分布，该分部可以通过第一训练集训练得到，其中n(w_i,s_j)为第一关键词w_i在s_j类情感集中出现的次数；

利用十折交叉检验得到该分类模型对积极微博分类准确率达79.2％％，召回率为75.1％，F-measure为77.1％；对消极微博分类准确率达76.3％，召回率为80.3％，F-measure为78.27％。

极性情感贝叶斯分类器的建立：

h、从积极情感集和消极情感集中分别选取数量相等第一微博作为第二基础集，将第二基础集中的第一微博的数量按9:1拆分，将9份第一微博作为第二训练集，将1份第一微博作为第二测试集，其中第二训练集中包含积极情感的基准表情符号的第一微博的数量与包含消极情感的基准表情符号的第一微博的数量相等；

i、利用开源分词程序SCWS将第二训练集中的第一微博进行分词得到第二关键词，所有第二关键词组成的第二词典，去除第二词典中的停用的第二关键词、出现次数小于等于3次的第二关键词和在第二训练集中的所有第一微博中出现频率高于80％的第二关键词，剩余的第二关键词组成极性情感词典；

k、将含有积极情感的表情符号的第一微博与含有消极感情的表情符号的第一微博的先验概率均设定为0.5，建立极性情感贝叶斯分类模型，得到极性情感词典中各个第二关键词对积极情感和消极情感的权重，得到极性情感分类器，如公式(2)所示，

$s\left(t\right)=\underset{j}{\mathrm{argmax}}\left(P\right(s_j\left){\Π}_{i=1}^{d}p\right(w_i|s_j\left)\right)---\left(2\right),$

其中s(t)表示待测微博t的情感倾向，定义待测微博t为t＝(w₁,...,wi,...,wd)，其中w_i表示极性情感词典中第i个第二关键词在该待测微博中出现的次数，s_j在极性情感分类器中表示积极情感类别或消极情感类别，P(s_j)为s_j的先验概率，p(w_i|s_j)表示w_i的经验分布，该分部可以通过第二训练集训练得到，其中n(w_i,s_j)为第二关键词w_i在s_j类情感集中出现的次数；利用十折交叉检验得到该分类模型对积极微博分类准确率达79.2％％，召回率为75.1％，F-measure为77.1％；对消极微博分类准确率达76.3％，召回率为80.3％，F-measure为78.27％。

步骤三、利用中性情感贝叶斯分类器和极性情感贝叶斯分类器对待测微博进行情感分类，具体为：若待测微博中含有表情符号，则提取待测微博中的表情符号为待测表情符号，将待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号对比，若待测微博中只含有与积极情感集中的基准表情符号匹配的待测表情符号或只含有与消极情感集中的基准表情符号匹配的待测表情符号，则定义该待测微博为的情感为与该待测微博中含有的表情符号的情感倾向相同的情感倾向，

若待测微博中的待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号均不匹配，则利用中性情感贝叶斯感情分类器判断待测微博是否为中性微博，若待测微博为中性微博则中性情感贝叶斯感情分类器定义该待测微博为中性微博，若待测微博不是中性微博，则极性情感贝叶斯分类器将该待测微博分类，将该待测微博定义为积极情感微博或消极情感微博。

本发明设计了一种利用表情符号对微博进行情感倾向分类的方法，其通过官方新闻用户的微博得到中性情感集，利用表情符号标注积极情感集合消极情感集，进而建立一个两阶段分类，即建立中性情感分类器，把中性情感的微博剔除，建立极性情感分类器，将有极性情感的微博分为积极情感和消极情感，该分类器速度快、占用空间小且鲁棒的情感分类器，该情感分类器能准确快速的进行情感分类，其中对积极微博分类准确率达79.2％，召回率为75.1％，F-measure为77.1％；对消极微博分类准确率达76.3％，召回率为80.3％，F-measure为78.27％。本发明能通过微博准确的了解到人们对当前的热门话题或事件的态度和网民的情绪，对社会科研和调查有着重要的帮助。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (4)

1.一种利用表情符号对微博进行情感倾向分类的方法，其特征在于，包括：

步骤一、创建中性情感集、消极情感集和积极情感集，具体为：

a、选取在两年中的新浪微博中使用次数超过20万次的表情符号m个，作为种子表情符号，对选取的每个种子表情符号都抽取包含这个表情符号的微博n条作为第一微博集，每个第一微博集包含n条第一微博，从m×n条第一微博的文本中提取重现性在前100的词作为高频词，对每个种子表情符号都选取包含有这个表情符号的微博p条，作为第二微博集，每个第二微博集包含p条第二微博，观察m×p条第二微博文本内容，若一条第二微博中包含的高频词与该条第二微博的文本的情感倾向一致，则认为该条第二微博中包含的种子表情符号的情感倾向明显，并提取该条第二微博中的种子表情符号作为基准表情符号，人工将基准表情符号分类为积极情感和消极情感；

b、所有积极情感的基准表情符号和所有含有积极情感的基准表情符号的第一微博组成积极情感集，所有消极情感的基准表情符号和所有含有消极情感的基准表情符号的第一微博组成消极情感集；

c、定义：新闻没有情感倾向，作为中性情感的微博，选取新浪微博中的新闻用户在两年中发布的微博，作为中性情感集中的中性微博，其中，选取的中性微博的数量与消极情感集和积极情感集中的第一微博之和相等；

步骤二、利用中性情感集、消极情感集和积极情感集，建立中性情感贝叶斯分类器；利用由消极情感集和积极情感集，建立极性情感贝叶斯分类器；

步骤三、利用中性情感贝叶斯分类器和极性情感贝叶斯分类器对待测微博进行情感分类，具体为：若待测微博中含有表情符号，则提取待测微博中的表情符号为待测表情符号，将待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号对比，若待测微博中只含有与积极情感集中的基准表情符号匹配的待测表情符号或只含有与消极情感集中的基准表情符号匹配的待测表情符号，则定义该待测微博为的情感为与该待测微博中含有的表情符号的情感倾向相同的情感倾向，

若待测微博中的待测表情符号与积极情感集中的基准表情符号和消极情感集中的基准表情符号均不匹配，则利用中性情感贝叶斯感情分类器判断待测微博是否为中性微博，若待测微博为中性微博则中性情感贝叶斯感情分类器定义该待测微博为中性微博，若待测微博不是中性微博，则极性情感贝叶斯分类器将该待测微博分类，将该待测微博定义为积极情感微博或消极情感微博。

2.如权利要求1所述的利用表情符号对微博进行情感倾向分类的方法，其特征在于，所述步骤二中，创建中性情感贝叶斯分类器的具体步骤为：

d、从积极情感集、消极情感集和中性情感集中选取数量相等的第一微博和中性微博作为第一基础集，将第一基础集中的第一微博和中性微博的数量按9:1拆分，将9份第一微博和中性微博的作为第一训练集，将1份第一微博和中性微博作为第一测试集；

e、利用简易中文分词系统将第一训练集中的第一微博和中性微博进行分词得到第一关键词，得到的所有第一关键词组成第一词典，去除第一词典中的停用的第一关键词、出现次数小于等于3次的第一关键词和在第一训练集的所有第一微博和中性微博中出现频率高于80％的第一关键词，剩余的第一关键词组成中性情感词典；

f、将第一训练集中的中性微博与第一训练集中的第一微博的先验概率设定为0.5，建立中性情感贝叶斯分类模型，得到中性情感词典中各个第一关键词对中性情感、消极情感和积极情感的权重，得到中性情感贝叶斯分类器。

3.如权利要求1所述的利用表情符号对微博进行情感倾向分类的方法，其特征在于，所述步骤二中，创建极性情感贝叶斯分类器的具体步骤为：

h、从积极情感集和消极情感集中分别选取数量相等的第一微博作为第二基础集，将第二基础集中的第一微博的数量按9:1拆分，将9份第一微博作为第二训练集，将1份第一微博作为第二测试集，其中第二训练集中，包含积极情感的基准表情符号的第一微博的数量与包含消极情感的基准表情符号的第一微博的数量相等；

i、利用简易中文分词系统将第二训练集中的第一微博进行分词得到第二关键词，得到的所有第二关键词组成第二词典，去除第二词典中的停用的第二关键词、出现次数小于等于3次的第二关键词和在第二训练集的所有第一微博中出现频率高于80％的第二关键词，剩余的第二关键词组成极性情感词典；

k、将含有积极情感的表情符号的第一微博与含有消极感情的表情符号的第一微博的先验概率均设定为0.5，建立极性情感贝叶斯分类模型，得到极性情感词典中各个第二关键词对积极情感和消极情感的权重，得到极性情感贝叶斯分类器。

4.如权利要求1～3任意一项所述的利用表情符号对微博进行情感倾向分类的方法，其特征在于，m＝600～700，n＝9000～11000，p＝80～110。