CN101127042A - 一种基于语言模型的情感分类方法 - Google Patents

Abstract

本发明公开了一种基于语言模型的情感分类方法。借助搜索引擎，从互联网上收集博客文章，并基于投票的办法对文章进行情感极性的标注，形成情感语料库；以语言模型为基础，从标注好的语料库中学习得到情感语言模型；对待分类的文本同样学习得到对应的语言模型，从而通过语言模型间的距离计算对文本进行情感分类。与现有的情感分类方法相比，可利用语言模型通过统计方式准确把握自然语言内在的结构规律，能摆脱对情感词典的依赖性，提高已有机器学习类情感分类方法的精度。

Description

一种基于语言模型的情感分类方法

技术领域

本发明涉及数据挖掘、机器学习、中文信息处理，特别是涉及一种基于语言模型的情感分类方法。

背景技术

随着互联网应用的繁荣，特别是Web2.0革命的到来，越来越多的用户参与到了网络活动中，如撰写博客，在论坛上发表评论，等等。这些由个体用户产生的数据与传统权威媒体产生的数据相比，具有其鲜明的特点，如带个人情感，更有真实性，语言比较口语化等等。

用户产生数据的积累也给一些传统问题的解决和新应用的产生提供了可能性。如在传统的企业产品质量跟踪中，需要通过用户问卷调查等费时费力的手段进行，而且所获得的反馈数据的时效性和数量都不能得到保证；而借助互联网论坛上大量用户针对产品所发表的评论，我们通过分析其中的正面和负面评价，可以方便快速地获得终端消费者对于产品的意见，从而可以在减少人工劳动、保证反馈数量的同时，也有效地解决了时效性的问题。

在针对用户产生数据的处理和应用中，其中最关键的一个问题是情感分类问题。情感分类的任务是指判别一段文本的情感极性，确定所表达的观点是正面，负面还是中性的。传统的情感分类方法主要分为两类：基于词典和基于机器学习。基于词典的方法中，需要事先定义一个标注了词的情感极性的词典，句子或者文章的情感极性通过在其中出现的正面或者负面情感词汇的多少，以一定的计算方法进行衡量；基于机器学习的方法则把情感分类的问题归类为文本分类的问题，采用了在文本分类中常用的如朴素贝叶斯模型，支持向量机等分类方法，通过对标注好情感极性的文本的训练学习，得到分类器，对新的文本进行情感分类。但是基于词典的方法易受词典大小的影响，不够灵活；借助文本分类思想的机器学习方法将文本视为由一系列相互间独立的词组成的集合，纯粹基于概率的思想，没有从语言的内在结构出发。

语言模型是自然语言的数学模型，描述了自然语言的统计和结构方面的内在规律，最早被用于语音识别和自然语言处理领域。从1998年开始，开始被应用到信息检索领域，具体方法为：为每一篇文本，包括查询条件，估计一个语言模型，然后根据文本的语言模型和查询条件的语言模型之间的相似度，对文本进行排序。语言模型由于其成熟的概率理论和简单的使用方式，在很多的实验中都有着优异的表现。

发明内容

正是由于语言模型在理论上的成熟和实际应用中的简单有效，以及其对自然语言本质的描述能力，本发明的目的在于提供一种基于语言模型的情感分类方法，将该模型应用到情感分类中，以弥补原有方法的不足。

本发明解决其技术问题采用的技术方案是：

1)情感语料库收集：通过收集互联网上的博客文章作为原始语料库，再对文本情感极性进行人工标注，判断是正面，负面还是中性评价；

2)词空间定义：对所收集的语料库文本进行分词处理，将其中的词取出，组成词空间V；

3)情感语言模型建立：基于以上对标注的情感语料库中的文本进行分词处理后，计算词空间V中的每个词在正面和负面语料库中出现的概率，分别得出正面情感语言模型LM_P和负面情感语言模型LM_N；

4)文本语言模型建立：对待分类的文本进行分词处理，计算词空间V中的每个词在文本中出现的概率，得到该文本的语言模型LM_T；

5)文本情感判断：计算文本语言模型LM_T与正面情感语言模型LM_P、负面情感语言模型LM_N之间的距离，分别记为Dist_P和Dist_N；当Dist_P＞Dist_N时，判别文本的情感为负面，当Dist_P＜Dist_N时，则判别文本的情感为正面，当Dist_P＝Dist_N时，则判别文本的情感为中性。

所述的步骤1)中的博客文章是利用百度提供的博客搜索服务得到的。

为了得到搜索结果，提供给百度博客搜索服务的查询条件为电影名称、数码产品的名称。

每个查询所取的结果数目可根据应用环境的要求进行设置。

所述的步骤2)中的词为去掉停用词之后的集合。

所述的步骤3)，4)中的词w在语料库C中或文本D中出现的概率的计算方法为：

$p\left(w\right|X)=\frac{C(w,X)}{\underset{w_i\∈V}{\mathrm{\Σ}}C(w_i,X)}$

其中，

X代表语料库C或文本D；

C(w，X)为词w在语料库C或文本D中出现的次数；

$\underset{w_i\∈V}{\mathrm{\Σ}}C(w_i,X)$ 为词空间V中的所有词在语料库C或文本D中出现的总次数。

所述的步骤3)，4)中所得到的情感语言模型和文本语言模型实际表示为词空间V中所有词的概率分布情况；正面情感模型LM_P，负面情感模型LM_N和文本情感模型LM_T可分别表示为：P(w|LM_P)，P(w|LM_N)和P(w|LM_T)，其中w为词空间V中的词。

所述的步骤5)中，两个语言模型LM_A和LM_B之间的距离的计算公式为：

$\mathrm{Dist}=-\underset{w\∈V}{\mathrm{\Σ}}P\left(w\right|{\mathrm{LM}}_A)\log \frac{P\left(w\right|{\mathrm{LM}}_A)}{P\left(w\right|{\mathrm{LM}}_B)}.$

两个语言模型之间的距离越大，他们之间的相似度越小。

本发明与背景技术相比，具有有益的效果是：

与现有基于情感词典的情感分类方法不同，无需借助事先定义的情感词典，不受词典词汇量大小的影响，应用灵活；与现有采用文本分类思想基于机器学习的情感分类方法不同，不再把文本看成是由独立的词组成的一个集合，而从语言的更本质属性、结构出发，对文本进行建模，更好地捕捉了自然语言在统计和结构方面的内在规律，从而提高已有机器学习类情感分类方法的精度。

附图说明

图1为本发明的流程图。

具体实施方式

本发明的处理流程如图1所示。首先确定提供给百度博客搜索的查询条件，为电影名称，数码产品名称，如“十面埋伏”，“诺基亚N72”，“IBM T60”等；百度博客搜索返回的结果可能会有很多，根据实际应用中的需求，仅选择其中的一部分，如要求准确率高则选择全部的搜索结果，如要求较少的训练时间则选择前100个或200个结果，然后利用提取的博客文章建立原始情感语料库。对这些原始语料库中的文本进行人工标注，确定其情感极性，即为正面，负面还是中性的；标注的方式采用投票的方式进行，对一篇文本根据所获得的正面，负面和中性的票数决定；由于中文文本中的词之间没有明显的间隔符隔开，对语料库中的文本进行中文分词处理(如哈尔滨工业大学信息检索实验室提供的中文分词程序)，并去除其中的没有意义的停用词(如“的”，“是”，“这”，“我们”等)，将剩余的词组成词空间V。根据词频，分别计算词空间中的词在正面情感语料库和负面情感语料库中出现的概率，得到对应的正面情感语言模型和负面情感语言模型。对新的文本同样计算词空间中的词在其中出现的概率，得到文本语言模型。最后根据文本语言模型和两类情感语言模型间的距离计算，判断文本的情感极性，即距离越小，两个模型的相似度越大，文本就归类为对应的情感极性。

本发明实施的关键主要包括：博客文章的获取，博客文章极性的人工标注，语言模型间距离的计算。

1.博客文章的获取

博客文章的获取通过百度提供的博客搜索服务获得，获取的办法为：首先提供查询条件，包括了电影名称，手机、电脑等数码产品名称，之所以选择此类名称作为查询条件是因为包含这些名称的博客文章往往是有可能包含一些带有情感评论因素的语句。在返回的结果页面中，通过分析网页源码，抽取出每个查询结果对应的URL，通过网络爬虫将URL对应的文章爬取下来。

在百度博客搜索的结果页面中抽取博客文章URL的方法如下：查找网页HTML源码中的＜a style＝″color:#008000″href＝字符串，其后″″内的即为某个结果对应原文的URL地址。

2.博客文章极性的人工标注

博客文章感情极性的标注由十名标注者完成。由于不同的人背景不同，对于同样的文本可能会有不同的情感极性判断，因此，文章最终极性采用投票的方式确定：

对某篇文章D，假设标注为正面极性的票数为a，负面极性的票数为b，认为是中性的票数为c，D的极性判断方式如下：

当a≠b时，

若max(a，b，c)＝a，那么确定D的感情极性为正面；

若max(a，b，c)＝b，那么确定D的感情极性为负面；

若max(a，b，c)＝c，那么确定D的感情极性为中性；

若max(a，b，c)＝a，c或b，c，则舍弃该文章；

当a＝b时，

确定D的感情极性为中性。

3.语言模型间距离的计算

由于词空间中词的个数较多，得到的语言模型的表示维数就很大，在计算这样两个大维数的模型间的距离时，需要采用一定的策略减少计算量，提高计算的效率。

假设两个语言模型LM_A和LM_B分别表示为P(w|LM_A)，P(w|LM_B)，w为词空间中的词，其实际的距离计算公式可以转化为：

$\mathrm{Dist}=-\underset{{w_i}^{\′}}{\mathrm{\Σ}}P\left(w_i^{\′}\right|{\mathrm{LM}}_A)\log \frac{P\left(w_i^{\′}\right|{\mathrm{LM}}_A)}{P\left(w_i^{\′}\right|{\mathrm{LM}}_B)}$

其中，

w_i′为满足P(w_i′|LM_A)≠0，且P(w_i′|LM_B)≠0，并出现在词空间中的词。

Claims (9)

1.一种基于语言模型的情感分类方法，其特征在于：

1)情感语料库收集：通过收集互联网上的博客文章作为原始语料库，再对文本情感极性进行人工标注，判断是正面，负面还是中性评价；

2)词空间定义：对所收集的语料库文本进行分词处理，将其中的词取出，组成词空间V；

3)情感语言模型建立：基于以上对标注的情感语料库中的文本进行分词处理后，计算词空间V中的每个词在正面和负面语料库中出现的概率，分别得出正面情感语言模型LM_P和负面情感语言模型LM_N；

4)文本语言模型建立：对待分类的文本进行分词处理，计算词空间V中的每个词在文本中出现的概率，得到该文本的语言模型LM_T；

5)文本情感判断：计算文本语言模型LM_T与正面情感语言模型LM_P、负面情感语言模型LM_N之间的距离，分别记为Dist_P和Dist_N；当Dist_P＞Dist_N时，判别文本的情感为负面，当Dist_P＜Dist_N时，则判别文本的情感为正面，当Dist_P＝Dist_N时，则判别文本的情感为中性。

2.根据权利要求1所述的一种基于语言模型的情感分类方法，其特征在于：所述的步骤1)中的博客文章是利用百度提供的博客搜索服务得到的。

3.根据权利要求2所述的一种基于语言模型的情感分类方法，其特征在于：为了得到搜索结果，提供给百度博客搜索服务的查询条件为电影名称、数码产品的名称。

4.根据权利要求2所述的一种基于语言模型的情感分类方法，其特征在于，每个查询所取的结果数目可根据应用环境的要求进行设置。

5.根据权利要求1所述的一种基于语言模型的情感分类方法，其特征在于，所述的步骤2)中的词为去掉停用词之后的集合。

6.根据权利要求1所述的一种基于语言模型的情感分类方法，其特征在于，所述的步骤3)，4)中的词w在语料库C中或文本D中出现的概率的计算方法为：

$p\left(w\right|X)=\frac{C(w,X)}{\underset{w_i\∈V}{\mathrm{\Σ}}C(w_i,X)}$

其中，

X代表语料库C或文本D；

C(w，X)为词w在语料库C或文本D中出现的次数；

$\underset{w_i\∈V}{\mathrm{\Σ}}C(w_i,X)$ 为词空间V中的所有词在语料库C或文本D中出现的总次数。

7.根据权利要求1所述的一种基于语言模型的情感分类方法，其特征在于，步骤3)，4)中所得到的情感语言模型和文本语言模型实际表示为词空间V中所有词的概率分布情况；正面情感模型LM_P，负面情感模型LM_N和文本情感模型LM_T可分别表示为：P(w|LM_P)，P(w|LM_N)和P(w|LM_T)，其中w为词空间V中的词。

8.根据权利要求1所述的一种基于语言模型的情感分类方法，其特征在于，步骤5)中，两个语言模型LM_A和LM_B之间的距离的计算公式为：

$\mathrm{Dist}=-\underset{w\∈V}{\mathrm{\Σ}}P\left(w\right|{\mathrm{LM}}_A)\log \frac{P\left(w\right|{\mathrm{LM}}_A)}{P\left(w\right|{\mathrm{LM}}_B)}.$

9.根据权利要求8所述的一种基于语言模型的情感分类方法，其特征在于，两个语言模型之间的距离越大，他们之间的相似度越小。

Images