CN101593204A - 一种基于新闻评论网页的情感倾向性分析系统 - Google Patents

Abstract

本发明涉及一种基于新闻评论网页的实体情感倾向性分析系统，其特征在于：它包括用户输入模块、实体提取和层次关系发现模块、同层实体提取模块、实体特征提取模块、实体定位模块和情感输出模块；用户输入模块包括用户输入的新闻评论网页集合和情感分析规则；情感分析规则中包括参考实体和情感动词；实体提取和层次关系发现模块用于从新闻评论网页中提取有效实体，并建立实体层次关系图；同层实体提取模块在实体层次关系图中定位参考实体，建立由情感关系树组成的实体情感关系图；实体特征提取模块用于获取新闻评论网页中的中间实体，并输出中间实体的情感分析数据；实体定位模块中判断中间实体是否存在于实体情感关系图和情感关系树中。

Description

一种基于新闻评论网页的情感倾向性分析系统

技术领域

本发明涉及一种数据挖掘系统，特别是关于一种基于新闻评论网页的实体情感倾向性分析系统。

背景技术

情感倾向性分析是通过对新闻材料信息进行分析和挖掘，用以获取公众舆论对某些产品、企业、政策等实体的情感倾向。这样就能更好地掌握公众对政府政策、企业动态等热点问题的情感倾向，为政府、企业的战略决策方向提供科学依据。现有的关于产品情感分析系统主要侧重于段落粒度或者句子粒度的产品评价的情感分析。此类系统主要是通过抽取新闻材料中的情感特征，利用分类或者统计的方法实现情感分析，这种方法对于情感特征抽取简单的领域相对适用。

而由于目前日益复杂的社会政治经济环境，上述分析系统对于复杂的分析实体不太适用。首先，在新闻评论和企业竞争力评论领域中，情感特征复杂多变，情感特征的抽取和用户的背景知识密切相关，对某个事件的评价和相关人物、地点、组织等背景知识密切相关，这样就很难在复杂的背景下分析出舆论对实体的情感倾向。其次，这些领域中情感分析和用户的情感立场密切相关，例如，对一个用户感觉正向的评论对另外的用户感觉可能是负向的，而对于两个对立的实体来说，对一个实体的“赞成”，可能是对另一个实体的“反对”；而对一个实体中包含的某一实体的“赞成”态度，也可能是对这个实体的“赞成”态度。这样就不能在一个统一的立场下，分析同一实体的情感倾向。

发明内容

针对上述问题，本发明的目的是提供一种根据用户提供的表示用户情感立场的参考实体和情感动词等情感分析规则，对有关新闻评论进行情感分析，得出情感倾向量化输出的基于新闻评论网页的实体情感倾向性分析系统。

为实现上述目的，本发明采取以下技术方案：一种基于新闻评论网页的实体情感倾向性分析系统，其特征在于：它包括用户输入模块、实体提取和层次关系发现模块、同层实体情感提取模块、实体特征提取模块、实体定位模块和情感输出模块；所述用户输入模块包括用户输入的新闻网页集合和情感分析规则；所述情感分析规则中包括参考实体和情感动词；所述实体提取和层次关系发现模块用于从所述新闻网页中提取有效实体，并建立实体层次关系图；所述同层实体情感提取模块在所述实体层次关系图中定位所述参考实体，利用参考实体、与参考实体同层次的有效实体和情感动词，获取新闻评论网页；通过对所述情感动词的新闻评论网页聚类，获得新闻评论网页子集和对应的情感主题；所述实体特征提取模块用于获取待测新闻评论网页中的中间实体，并输出所述中间实体的情感分析数据；所述实体定位模块中，判断所述中间实体是否存在于所述实体情感关系图中，如果所述中间实体不存在于所述实体情感关系图中，则直接在所述情感输出模块中输出所述情感分析数据，反之在所述实体情感关系图中定位所述中间实体；如果所述中间实体与所述参考实体同在一情感关系树中，则在所述情感输出模块中输出参考实体的情感分析数据，反之根据中间实体所在的新闻评论语句相同情感主题的所述新闻评论网页子集合进行相似度判定，间接获取所述参考实体的情感分析数据。

所述实体提取和层次关系发现模块中，通过表格结构处理和文本处理方法来提取所述有效实体。

所述情感关系树以所述参考实体或与参考实体同层次的有效实体为根节点，根节点之间存在所述情感主题的连接关系，通过文档聚类发现情感主题。

所述实体特征提取模块中，通过实体抽取工具获取中间实体。

所述实体特征提取模块中，通过情感分析工具得到所述中间实体的情感分析数据。

所述情感动词为表明情感倾向的动词，包括正向的和负向的动词，或带有权重的动词。

本发明由于采取以上技术方案，其具有以下优点：1、本发明通过用户提供的实体提取规则和情感特征从新闻评论网页中提取有效实体，并建立实体情感关系图，对用户的背景知识进行建模，识别实体之间和内部的层次关系，从而直接或间接的得出新闻评论网页中针对参考实体的情感分析数据，提高情感分析的正确性。2、本发明通过在实体情感关系图中定位中间实体的情感值，通过新闻网页聚类的方式，发现实体情感关系图中根节点之间不同情感主题，在情感分析中考虑用户的立场，获取针对参考实体的情感信息，提高情感分析的正确性。本发明可广泛用于国家方针政策的制定和企业战略方向的咨询工作。

附图说明

图1是本发明系统的整体结构示意图

图2是本发明利用实体情感关系图对新闻评论网页做实体情感倾向性分析的流程示意图

图3是本发明本发明实施例的实体情感关系示意图

实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明的系统包括用户输入模块1、实体提取和层次关系发现模块2、同层实体情感提取模块3、实体特征提取模块4、实体定位模块5和情感输出模块6。用户输入模块1包括由用户通过其指定的关于参考实体的权威网站中下载的新闻网页集合，以及用户指定的参考实体和情感动词等情感分析规则。权威网站是个可选的参数，针对于一个参考实体，作为构建实体情感关系图的新闻网页集合的重要来源；用户指定的参考实体体现出用户的分析立场；情感动词为表明情感倾向的动词，包括正向的、负向的，也可以带有权重。

将来自权威网站的新闻网页集合输入到实体提取和层次关系发现模块2中，基于新闻网页中表格结构处理和文本处理的方法来提取新闻评论网页中的有效实体，并建立实体层次关系图。基于表格结构处理的提取，是使用启发式规则实现表格检测，检测网页中存在的表格；如果某个有效实体出现在表格的行中，则其他行中的有效实体为这个有效实体的同层实体；如果某个有效实体出现在表格的表头中，则表示这个有效实体为出现在表格的行中有效实体的上层实体。基于文本处理的提取是利用正则表达式处理分词之后的集合，如“A包括B、C、D、……”或“B、C、D、……等A”，则A和B、C、D之间存在总-分的关系。

同层实体情感提取模块3根据用户输入模块1的参考实体，在实体层次关系图中定位一个由用户指定的参考实体来表示用户分析评论的立场，在实体情感关系图中找出与参考实体同一层次的有效实体；根据情感动词，利用元搜索或者搜索系统在网络中获取同时包含参考实体、情感动词和实体层次关系图中与参考实体同层次的有效实体的新闻评论网页集合，如搜索所有同时包含参考实体“中国”、情感动词“谴责”和与参考实体同层次的有效实体“美国”的新闻评论网页。利用文本聚类的方法，得出在相同情感动词下针对不同情感主题的新闻评论网页子集合，以及这些新闻网页子集合所对应的情感主题。如在“谴责”这一情感动词下，“中国”与“美国”之间的情感主题有“台湾问题”和“人权问题”等。通过不同的情感动词，根据情感动词获取相应的新闻评论网页集合，再分别进行聚类，发现参考实体和同级实体在正向和负向情感方面的情感主题。针对参考实体、与参考实体同层次的有效实体和情感主题建立实体情感关系图。实体情感关系图是由一系列的情感关系树构成，每棵树的根节点是参考实体或者与参考实体同层次的有效实体，根节点之间存在连接关系，每个连接关系表示一个情感主题，同时标记该情感主题对应的情感动词。两个根节点之间的情感主题的情感动词，表示两个实体在这一情感主题上的情感倾向，如在“禽流感”这一情感主题上，美国这一实体对中国的情感动词为“赞成”；而对“台湾问题”这一情感主题，中国对美国的情感动词为“反对”。情感关系树的内部存在层次关系，确定根节点后，根据实体层次关系图中的实体包含关系，建立关于指定的参考实体或与参考实体同层次的有效实体的情感关系树。

本发明的目的是从新闻评论中获取针对参考实体的情感分析数据，对于其他实体不同情感主题下的情感因素，要考虑构造出的情感关系图，结合当前新闻的情感主题，综合考虑对参考实体的影响。

在实体特征提取模块4中输入待测新闻评论网页，利用现有的实体抽取工具对待测新闻评论网页进行分析，获取中间实体。之后对中间实体的情感特征进行分析，利用语句级别的情感分析工具，分析这个中间实体所在的评论语句的情感倾向，输出量化的情感分析数据到实体定位模块5中。本发明的实体抽取工具用于提取待测新闻评论网页中的中间实体，借助现有的实体抽取工具实现；情感分析工具单纯分析每句话获取其情感倾向，也通过现有工具实现。

如图2所示，在实体定位模块5中输入同层实体情感提取模块3中建立的实体情感关系图，判断中间实体是否存在于实体情感关系图中。如果中间实体不存在于实体情感关系图中，则说明现有的实体情感关系图没有此中间实体的信息，也即只能进行无背景知识的情感分析，在情感输出模块6中直接输出实体特征提取模块4的中间实体的情感分析数据。反之如果中间实体存在于实体情感关系图中，则在实体情感关系图中定位这个中间实体。如果中间实体包含在参考实体所在的情感关系树中，则直接在情感输出模块6输出根据中间实体得到的参考实体的情感分析数据；如果中间实体在实体情感关系图中，却不包含在参考实体所在的情感关系树中，则将中间实体所在的新闻评论语句与同层实体情感提取模块3中的相同情感主题的新闻评论网页子集合进行相似度判定，判断其所在的新闻评论网页和前面建立的不同情感主题的相似度。将当前新闻评论网页归属到相似度最高的情感主题中，从而间接的获取针对参考实体的情感分析数据，在情感输出模块6中输出带有情感权重的情感分析数据。情感分析数据表明了新闻评论人对中间实体的情感倾向，通过判断中间实体的归属，如中间实体属于参考实体，则直接得到新闻评论对参考实体的情感倾向；或者间接的通过与其他同层实体的情感相似度判定，得到新闻评论对参考实体的间接的情感倾向。

下面通过一个实施例来进一步说明本发明的系统。

中国政府和美国政府均为实体，中国政府下设有国务院、各级省市政府等各级政府构成的实体层次，美国政府也有对应的实体层次。对于如“禽流感”和“台湾”这类情感主题，需要通过新闻评论来分析新闻评论人对中国政府的情感。对中国政府这一参考实体的评价不仅仅要看新闻评论中对中国政府本身的评价，而且要看对中国政府包含的各级政府的评价，因此对各级政府的好恶观点均可反映为对中国的观点。同时，对于不同的新闻情感主题，某些事件中国和美国之间是彼此矛盾的，而另外的事件中国美国利益是相同的，因此对美国的评价也对中国政府的情感产生间接影响。

1、构造实体情感关系图

通过用户指定的权威网站，利用网页收集机制下载新闻网页，作为新闻网页集合；同时用户指定参考实体和情感动词等情感分析规则。

1)基于新闻网页中利用文本处理和表格结构处理来提取新闻网页中的有效实体，并建立实体层次关系图。

2)在实体层次关系图中定位参考实体如“中国政府”，并查找参考实体的同层实体，如“美国政府”。

3)用户输入参考实体“中国政府”和情感动词如“支持”，在利用搜索引擎技术在网络中搜索同时包含“中国政府”、“支持”和“美国政府”的新闻评论网页。

4)对搜索的新闻评论网页进行聚类，将新闻评论网页分为对应不同情感主题的新闻评论网页子集合。例如某一新闻评论网页子集合对应的情感主题为“禽流感”，美国政府对中国政府在情感主题“禽流感”下的情感动词“支持”。

5)针对参考实体和情感主题建立实体情感关系图，如图3所示。

2、利用实体情感关系图对示例中的新闻评论网页做实体情感倾向性分析

示例1、对参考实体的直接情感分析

i)利用现有的实体抽取工具，从待测新闻评论网页中获取到中间实体“卫生部”。

ii)利用用户训练的语句级别的情感分析工具，分析“卫生部”的情感特征，得到中间实体的情感分析数据。

iii)在实体情感关系图中定位中间实体，由于“卫生部”存在于实体情感关系图中，并且与“中国政府”同在一棵情感关系树中，则在情感分析中考虑这一因素。

iv)中间实体“卫生部”包含在参考实体“中国政府”所在的情感关系树中，则直接输出对于参考实体“中国政府”的情感分析数据，即“卫生部”的情感特征。

示例2、对参考实体的间接情感分析

I)利用现有的实体抽取工具，从待测新闻评论网页中获取到中间实体“美国”。

II)利用用户训练的语句级别的情感分析工具，分析“美国”的情感特征，得到中间实体的情感分析数据。

III)在实体情感关系图中定位中间实体，由于“美国”在实体情感关系图中，却不包含在参考实体所在的情感关系树中，则需要对“美国”所在的新闻评论语句与相同情感主题的新闻评论网页子集合进行相似度判定。

IV)由于“美国”在另一棵情感层次树中，发现当前的新闻和中国、美国实体之间的已有情感主题进行匹配，定位“台湾”主题，发现中国、美国实体在台湾主题上意见相反，则因此新闻评论人对“美国”在此问题上的负面评价对于参考实体“中国政府”来讲是正面的。

V)输出对于参考实体“中国政府”的情感分析数据。

Claims (10)

1、一种基于新闻评论网页的实体情感倾向性分析系统，其特征在于：它包括用户输入模块、实体提取和层次关系发现模块、同层实体情感提取模块、实体特征提取模块、实体定位模块和情感输出模块；所述用户输入模块包括用户输入的新闻网页集合和情感分析规则；所述情感分析规则中包括参考实体和情感动词；所述实体提取和层次关系发现模块用于从所述新闻网页中提取有效实体，并建立实体层次关系图；所述同层实体情感提取模块在所述实体层次关系图中定位所述参考实体，利用参考实体、与参考实体同层次的有效实体和情感动词，获取新闻评论网页；通过对所述情感动词的新闻评论网页聚类，获得新闻评论网页子集和对应的情感主题；

所述实体特征提取模块用于获取待测新闻评论网页中的中间实体，并输出所述中间实体的情感分析数据；所述实体定位模块中，判断所述中间实体是否存在于所述实体情感关系图中，如果所述中间实体不存在于所述实体情感关系图中，则直接在所述情感输出模块中输出所述情感分析数据，反之在所述实体情感关系图中定位所述中间实体；如果所述中间实体与所述参考实体同在一情感关系树中，则在所述情感输出模块中输出参考实体的情感分析数据，反之根据中间实体所在的新闻评论语句相同情感主题的所述新闻评论网页子集合进行相似度判定，间接获取所述参考实体的情感分析数据。

2、一种如权利要求1所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述实体提取和层次关系发现模块中，通过表格结构处理和文本处理方法来提取所述有效实体。

3、一种如权利要求1所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述情感关系树以所述参考实体或与参考实体同层次的有效实体为根节点，根节点之间存在所述情感主题的连接关系，通过文档聚类发现情感主题。

4、一种如权利要求2所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述情感关系树以所述参考实体或与参考实体同层次的有效实体为根节点，根节点之间存在所述情感主题的连接关系，通过文档聚类发现情感主题。

5、一种如权利要求1或2或3或4所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述实体特征提取模块中，通过实体抽取工具获取中间实体。

6、一种如权利要求1或2或3或4所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述实体特征提取模块中，通过情感分析工具得到所述中间实体的情感分析数据。

7、一种如权利要求5所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述实体特征提取模块中，通过情感分析工具得到所述中间实体的情感分析数据。

8、一种如权利要求1或2或3或4或7所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述情感动词为表明情感倾向的动词，包括正向的和负向的动词，或带有权重的动词。

9、一种如权利要求5所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述情感动词为表明情感倾向的动词，包括正向的和负向的动词，或带有权重的动词。

10、一种如权利要求6所述的基于新闻评论网页的实体情感倾向性分析系统，其特征在于：所述情感动词为表明情感倾向的动词，包括正向的和负向的动词，或带有权重的动词。

Images