CN101727487A - 一种面向网络评论的观点主题识别方法和系统 - Google Patents

Abstract

本发明公开了一种面向网络评论的观点主题识别方法和系统，其方法包括步骤：a.文本输入，输入评论源和所有评论文本；b.文本预处理，对输入的文本进行词语切分和词性标注，去除停用词、标点符号和特定虚词，并统计词语的词频信息；c.主题词判决，计算词语权重值，如果词语权重值大于设定的阈值，则该词语判断为观点主题词；d.主题构建，将零散的观点主题词合并成为完整的观点主题；e.主题筛选，通过观点主题过滤确定有效的观点主题；本发明克服观点分析方法和系统的领域限制，不需构建本体库，从整体的角度识别观点主题，有效避开了单句观点分析存在的困难，在面对宽领域和随时间动态改变的网络评论数据实现自动识别短语模式的观点主题。

Description

一种面向网络评论的观点主题识别方法和系统

技术领域

本发明涉及数据挖掘、机器学习、中文信息处理技术领域，特别是涉及一种面向网络评论的观点主题识别方法和系统。

背景技术

目前，随着信息传播技术的发展和普及，互联网已成为当今社会人们获取信息的重要渠道。互联网快捷、方便的特性，以及强大的交互能力，为人们交流思想、阐明观点、发表意见提供了新的平台。通过互联网，人们对社会公共事务特别是社会热点焦点问题发表有一定影响力、带倾向性的意见或言论，针对这类文本的观点分析具有广泛的实用价值。然而，网络中可供人们谈论的主题非常多，并且网络评论的观点主题会随着评论数据的变化而改变。因此首先需要完成网络评论中谈论主题的自动识别，从而实现评论的观点分析。现有的观点主题识别方法都是在限定领域内展开，其方法的基本思想是：在特定领域内，观点主题具有比较稳定的特性。如产品评论领域，针对特定产品评论的观点主题一般为产品名称、产品元件及其相关属性，并且在一定时间段内不会变动。由于特定领域内的观点主题具备这种稳定特性，目前常见的识别方法是：首先通过全自动或半自动的方式构建特征本体库，再由查询匹配确定评论的主题。在特征本体库的构建过程中，一般选取名词和名词短语作为候选主题，再通过各种规则进行筛选从而确定领域的特征本体。

上述方法中的观点主题识别是通过查询已经构建的特征本体库实现，致使观点分析局限于该特定领域而无法得到扩展。由于网络中人们谈论话题的多样性，并且随着时间的推移会不断涌现出新的话题，如网络舆情分析中不同事件对应不同的观点主题，构建特征本体库的方法不再有效，需要对观点主题进行自动识别。

发明内容

有鉴于此，本发明的目的在于提供一种面向网络评论的观点主题识别方法，克服观点分析的领域限制，不需构建本体库，从整体的角度识别观点主题，有效避开了单句观点分析存在的困难，在面对宽领域和随时间动态改变的网络评论数据实现自动识别短语模式的观点主题。

为达到上述目的，本发明的面向网络评论的观点主题识别方法，包括以下步骤：

a.文本输入

输入评论源和所有评论文本；

b.文本预处理

对输入的文本进行词语切分和词性标注，去除停用词、标点符号和特定虚词，并统计词语的词频信息；

c.主题词判决

计算词语权重值，如果词语权重值大于设定的阈值，则该词语判断为观点主题词；

d.主题构建

将零散的观点主题词合并成为完整的观点主题；

e.主题筛选

通过观点主题过滤确定有效的观点主题。

进一步，在c步骤中，计算词语权重时，权重因素包括整体词频权重、词性权重、词语出现的位置权重和词语长度权重。

进一步，在计算整体词频权重时，引入同义词林消除同义词引起的主题分散问题。

进一步，所述权重因素还包括词语情感权重，计算词语情感权重时，引入情感词库，词语出现在包含情感词的句子中的归一化频率为词语情感权重。

进一步，所述的阈值可以设定为固定值或百分比，也可根据不同的话题选取不同的阈值，也可以根据词语权重值的中位数或均值动态计算阈值。

进一步，在d步骤中，以观点主题词为线索词，并添加位置约束条件，采用位置相关的频繁项挖掘算法，实现未登录词和词组类型的观点主题识别。

进一步，在所述的频繁项挖掘算法中，根据实际情况限定线索词周围词语的窗口长度。

进一步，观点主题过滤包括词性组合过滤、单字选择过滤和包含关系过滤。

本发明的另一个目的在于提供一种实现上述面向网络评论的观点主题识别方法的系统，该系统包括：

评论输入模块，用于输入评论源和所有评论文本；预处理模块，用于实现包括词语切分、词性标注、去除停用词、标点符号和特定虚词、统计词语的词频信息的操作；主题词判决模块，用于根据权重计算公式计算词语权重值并根据设定的阈值判别观点主题词；主题构建模块，用于将零散的观点主题词通过频繁项挖掘算法合并成为完整的观点主题；主题筛选模块，用于通过词性组合过滤、单字选择过滤和包含关系过滤，最终确定有效的观点主题。

本发明的有益效果是：

由于现有的面向产品评论的观点主题识别方法在普通评论数据中不再有效，并且现有的面向网络评论的观点分析方法需要一种方法能够自动识别观点的主题。与现有技术相比，本发明提供了一种面向网络评论的观点主题识别方法和系统，它克服了观点分析的领域限制，不需构建本体库。它从整体的角度识别观点主题，有效地避开了单句观点分析存在的困难，并且本发明能够自动识别短语模式的观点主题，适合于宽领域和随时间动态改变的网络评论数据

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明方法实施例一的操作步骤流程图；

图2为本发明方法实施例二的操作步骤流程图；

图3为本发明系统模块连接示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

实施例一

本实施例对网络评论产生的相关知识进行描述，认为主观性评论的发表都是由一个源事件引起，如网络新闻评论中的新闻、论坛中的首帖、产品评论中的产品信息或产品属性列表等，这里将它们统称为评论源。一般情况下，人们浏览关注的评论源并发表自己的主观性意见，因此可以认为评论源是网络评论的触发者。

本实施例对评论源进行分析，识别出评论源中受到评论者关注的主题词；再根据位置相关的关联规则挖掘算法构建候选的观点主题；最后通过制定的规则过滤不符合要求的候选主题。如图1所示，本实施例实现网络评论的观点主题识别方法的步骤如下：

步骤S21为评论源输入，选择网络评论中的评论源，由一组字符序列组成，用符号s表示。步骤S22对评论源进行预处理；首先进行词语切分和词性标注，得到有序的词语序列s＝<w_s1，w_s2，…，w_sk>，其中w表示词语；去除停用词、标点符号和特定虚词后，归纳相同词语得到一组词语集合s′，其中s′中的词语都属于词语序列s，且s′内的每个词语都不相同。S23为评论输入，选择各个评论者发表的评论信息，用符号ri表示，评论集为R＝{r₁，r₂，…，r_n}，并对评论集R进行词语切分。步骤S24，对词语集合s′中的各个词语w_cj(j＝1，…，r)进行权重计算，确定其反映观点主题的能力；本实施例用词语的权重值W(w_cj)(j＝1，2，…，r)评估，其中对观点主题判断产生影响的主要因素包括整体词频、词性信息、位置信息和词语长度信息，具体实施时需要如下计算步骤：

●步骤S241，计算整体词频权重，即各个词语w_cj在评论源s和评论集R中总共出现的频数，它反映评论者的关注程度，用Freq(w_cj)表示，Freq(w_cj)∈{1，2，…}；

●步骤S242，计算词性权重，观点主题中不同词性词语所占的比例各不相同，本实施例中认为名词和动词占有最大的比例，用Pos(w_cj)表示，1≤Pos(w_cj)≤2；

●步骤S243，计算位置权重，词语w_cj在评论源中所处的位置信息(如标题、段落首句等)，表明评论源的发表者对词语重要性的评估，记为Loc(w_cj)，Loc(w_cj)∈{1，3/2，2}；

●步骤S244，计算词语长度权重，不同长度词语所蕴含的具体语义存在差异，用Len(w_cj)描述，1≤Len(w_cj)≤2。

综合以上四个权重因素，词语权重值表示为

W(w_cj)＝Freq(w_cj)·Pos(w_cj)·Loc(w_cj)·Len(w_cj)，(j＝1，2，…，r)

当词语w_cj的权重值W(w_cj)大于设定阈值θ_W时，认为该词为受到评论者关注的主题词；

S25表示频繁项挖掘步骤，由于受到未登录词和短语类型的观点主题的影响，许多观点主题无法作为整体被分词程序切分，需要将零散的主题词合并为完整的观点主题。本发明采用位置相关的关联规则挖掘算法实现，即为算法添加位置约束条件：要求频繁k项集只与它在事务上相邻的上一项和下一项来产生两个不同的k+1项候选集。这里，选择S24中确定的主题词作为线索词，利用关联规则算法挖掘满足最小支持度p％的频繁项集，作为候选观点主题；

在主题过滤步骤S26中，设定的观点主题过滤方法包括：词性组合过滤，如“V+A(动词+形容词)”、“N+A(名词+形容词)”等不符合主题词性组合的候选项；单字选择过滤，过滤除名词和字符串以外的单字符候选项；包含关系过滤，即长字符主题中的各个子集必须包含足够的独立项才能形成单独的观点主题；

经过以上步骤即得到已识别的观点主题S27。

例如：事件“央视在中国全面停播NBA”中，评论源中满足权重值设定阈值的部分主题词如下表所示：

关键词	词性	频数	关键词	词性	频数
						NBA	x	826	体育	n	289
停	v	701	大	a	123
						播	v	639	篮球	n	119
中国	n	562	转播	v	113

通过位置相关的关联规则挖掘以后，得到候选的观点主题包含1-频繁项、2-频繁项和3-频繁项，其中1-频繁项如上表所示，2-频繁项和3-频繁项如下表所示：

2-频繁项	频数	3-频繁项	频数
				停播	373	停播NBA	106
播NBA	132

由观点主题过滤方法，过滤除名词以外的单字符候选项“停”、“播”和“大”；比较3-频繁项“停播NBA”的子集(2-频繁项)“停播”和“播NBA”，“停播”的独立项(即不包含在“停播NBA”中的频数为267，大于设定阈值，而“播NBA”的独立项频数为26，不符合阈值要求，因此过滤候选观点主题“播NBA”。

本实施例中，对网络评论产生的相关知识描述不局限于网络新闻评论中的新闻、论坛中的首帖、产品评论中的产品信息或产品属性列表这三种形式的网络评论，在实际应用中，还可以是相关形式的网络资源，如Blog评论、日志评论等。

本实施例中，权重值比较的阈值可以设定为某一固定值，也可根据不同的话题选取不同的阈值，或根据中位数、均值等动态计算阈值。

本实施例中，为了提高位置相关的关联规则的计算效率，可根据实际情况限定线索词周围词语的范围，如选择线索词w_i左右各三个词语组成窗口[w_i-3，w_i-2，w_i-1，w_i，w_i+1，w_i+2，w_i+3]，当评论形式比较简洁时，还可选择更短的窗口。

实施例二

本实施例考虑到实际情况中网络评论中的观点主题不仅来源于评论源，评论者也会提出与评论源相关的主题。基于以上事实，本实施例将网络评论的观点主题分为两类：评论*，观点主题在评论源中出现；评论#，观点主题没有出现于评论源中，而是由评论者提出。

本实施例不仅考虑评论源中的观点主题，也识别评论中的反复出现的观点主题。同时，加入两个基础语义词典——同义词林，克服同义词引起的主题分散问题；和情感词库，更加精确地判断观点主题所在的句子。

在识别出网络评论的观点主题后，确定主题之间的关系将有利于后续针对主题的观点分析。本实施例仅提供一种简单的动词作用对象的一种确定方法，例如评论“赞成停播！”中识别“停播”的对象为“NBA”。如图2所示，本施例实现网络评论的观点主题识别方法的步骤如下：

步骤S41为评论源输入，选择网络评论中的评论源，由一组字符序列组成，用符号s表示；步骤S42为评论输入，选择网络评论中的所有评论，用符号r_i表示，评论集为R＝{r₁，r₂，…，r_n}；步骤S43进行文本预处理，对输入的两路文本进行词语切分和词性标注，然后去除停用词、标点符号和特定虚词后，统计各个词语的词频信息，并将所有出现于评论源中的词语和其余词语中频数占前10％的词语送入步骤S44；

在步骤S44中，对步骤S43送入的词语w_dj(j＝1，…，q)进行权重计算，确定其反映观点主题的能力。本实施例也使用词语的权重值W(w_dj)(j＝1，2，…，q)进行评估，其中对观点主题判断产生影响的主要因素包括整体词频、词性信息、位置信息、词语长度和词语情感信息，具体计算权重值时，包括以下步骤：

●步骤S441，计算整体词频，即词语w_dj在评论源s和评论集R中总共出现的频数f(w_dj)。与实施一不同的是本实施例加入同义词林消除同义词引起的主题分散问题，搜寻词语w_dj在同义词林中的所有具有同义关系的词语w′_ti(i＝1，…，m)，以及这些同义词在集合{s，R}中的频数f′_ti。整体词频用Freq(w_dj)表示，用α表示可变参数，

$\mathrm{Freq}\left(w_{\mathrm{dj}}\right)=f\left(w_{\mathrm{dj}}\right)+\mathrm{\&alpha;}\&CenterDot;\left(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{f^{\&prime;}}_{\mathrm{ti}}\right)$

●步骤S442、S443和S444的操作与实施例一相同，分别为计算词性信息权重、计算词语位置信息权重和计算词语长度权重的步骤；

●S445为计算词语情感信息权重的步骤，词语w_dj出现在包含情感词的句子中的归一化频率。情感词对句子的主观性具有很好的指示作用，并且情感词的对象一般为观点主题。评论的句子中包含情感词，则观点主题出现的概率增大。用Sen(w_dj)表示词语w_dj和情感词共处同一句的句子数量除以最大值后的归一化频率。

综合以上因素，权重值表示为

W(w_cj)＝Freq(w_dj)·Pos(w_dj)·Loc(w_dj)·Len(w_dj)·Sen(w_dj)，(j＝1，2，…，q)

当词语w_dj的权重值W(w_dj)大于设定阈值θ′_W时，认为该词为受到评论者关注的主题词；

步骤S47和S48分别是频繁项挖掘和主题过滤，其操作与实施例一相同；

本实施中还需要步骤S49对观点主题进行简单的组织。如果两个主题t_i和t_j，其中t_i为动词，t_j由t_i(或t_i在同义词林中的同义词)加上名词(或命名实体)组成，则认为t_i作用于该名词(或命名实体)；

经过以上步骤，就得到本实施例已识别的观点主题S4A。

本实施例中，S43过程将所有出现于评论源中的词语和其余词语中频数占前10％的词语送入步骤S44，也可以设定为固定值，如频数为前十名的词语；

本实施例中，同义词林中词语的关系选择相等、同义，而不考虑不等、同类关系；情感词库除了常用的书面语情感词外，还应针对网络评论数据收入网络情感词。

如图3所示，本发明的种面向网络评论的观点主题识别系统，包括评论输入模块5-1，输入评论源和所有评论文本；预处理模块5-2，实现词语切分和词性标注，去除停用词、标点符号和特定虚词，统计词语的词频信息等操作；主题词判决模块5-3，根据权重计算公式和设定的阈值判断观点主题词；主题构建模块5-4，将部分零散的观点主题词通过关联规则挖掘算法合并成为完整的观点主题；主题筛选模块5-5，通过词性组合和其它预先制定的规则确定有效的观点主题。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种面向网络评论的观点主题识别方法，其特征在于，该方法包括以下步骤：

a.文本输入

输入评论源和所有评论文本；

b.文本预处理

对输入的文本进行词语切分和词性标注，去除停用词、标点符号和特定虚词，并统计词语的词频信息；

c.主题词判决

计算词语权重值，如果词语权重值大于设定的阈值，则该词语判断为观点主题词；

d.主题构建

将零散的观点主题词合并成为完整的观点主题；

e.主题筛选

通过观点主题过滤确定有效的观点主题。

2.根据权利要求1所述的面向网络评论的观点主题识别方法，其特征在于：c步骤中，计算词语权重时，权重因素包括整体词频权重、词性权重、词语出现的位置权重和词语长度权重。

3.根据权利要求2所述面向网络评论的观点主题识别方法，其特征在于：计算整体词频权重时，引入同义词林消除同义词引起的主题分散问题。

4.根据权利要求2所述面向网络评论的观点主题识别方法，其特征在于：所述权重因素还包括词语情感权重，计算词语情感权重时，引入情感词库，词语出现在包含情感词的句子中的归一化频率为词语情感权重。

5.根据权利要求3或4所述的面向网络评论的观点主题识别方法，其特征在于：所述的阈值可以设定为固定值或百分比，也可根据不同的话题选取不同的阈值，也可以根据词语权重值的中位数或均值动态计算阈值。

6.根据权利要求5所述的面向网络评论的观点主题识别方法，其特征在于：d步骤中，以观点主题词为线索词，并添加位置约束条件，采用位置相关的频繁项挖掘算法，实现未登录词和词组类型的观点主题识别。

7.根据权利要求6所述的面向网络评论的观点主题识别方法，其特征在于：在所述的频繁项挖掘算法中，根据实际情况限定线索词周围词语的窗口长度。

8.根据权利要求7所述的面向网络评论的观点主题识别方法，其特征在于：观点主题过滤包括词性组合过滤、单字选择过滤和包含关系过滤。

9.实现根据权利要求1所述方法的面向网络评论的观点主题识别系统，其特征在于，该系统包括：

评论输入模块，用于输入评论源和所有评论文本；预处理模块，用于实现包括词语切分、词性标注、去除停用词、标点符号和特定虚词、统计词语的词频信息的操作；主题词判决模块，用于根据权重计算公式计算词语权重值并根据设定的阈值判别观点主题词；主题构建模块，用于将零散的观点主题词通过频繁项挖掘算法合并成为完整的观点主题；主题筛选模块，用于通过词性组合过滤、单字选择过滤和包含关系过滤，最终确定有效的观点主题。

Images