CN105069647A - 一种改进的抽取中文商品评论中评价对象的方法 - Google Patents

Abstract

本发明公开了一种改进的抽取中文商品评论中评价对象的方法，其具体实现过程为，首先获取网络上的网络评论；将获取的网络评论文本进行预处理；对经过预处理的文本进行文本聚类，人工选取抽取候选评价对象；在候选评价对象中通过Bootstrapping方法抽取评价对象。该改进的抽取中文商品评论中评价对象的方法与现有技术相比，能够有效避免了人工选择属性词的局限性，提高对中文商品评价中评价对象的准确度，使得评价对象属性词抽取的准确率、覆盖率和可移植性得到提高，实用性强，易于推广。

Description

一种改进的抽取中文商品评论中评价对象的方法

技术领域

本发明涉及数据抽取技术领域，具体地说是一种实用性强的改进的抽取中文商品评论中评价对象的方法。

背景技术

随着Internet的发展跟电子商务的普及，越来越多的消费者开始在电子商务相关网站上发表自己对相关商品的评论，并且消费者们也开始习惯在购买商品前查看电子商务网站上他人的相关评论。但由于用户的个人喜好以及个人关注点的不同，其评论往往是有很大差别，而且用户经常会在一条评论中表达出对产品多个属性的观点，另外评论一般都是大量出现的，想要人工从这些评论中找自己关注的内容费时费力。因此在这些非结构化的商品评论中抽取自己想要的观点，尤其是描述产品各属性的观点成为当今较热门的话题。

以购买手机产品为例，消费者们在购买前往往会参考网络上的评论信息，例如中关村网站上的评论：“这款手机样式挺新颖，分辨率高，我很满意，就是容易死机很讨厌”，“联想的手机性价比就是高，但在外观上不如苹果这些高端手机好看，质量还有待测验。”，“note3的像素很高，电池撑得时间也很长的，就是手机容易卡死，这点很让我着急。”。这些评论中每条评论里面都描述了商品的多个属性，如果人工筛选是很容易判断哪些是我们想要的，但是由于评论数量一般都是大量出现，人工筛选并不能满足需要，因此就需要寻找合适的方法来自动抽取需要的观点。

近年来，国内外主要研究的抽取方法主要分为有监督的方法跟无监督的方法2种。赵军等在2006年提出了一种基于层级隐马尔可夫模型的产品命名实体识别方法，该方法很好地处理了多尺度嵌套序列问题；Arun 等人提出了一种基于生成关系数据库的抽取方法。Mannai等人采用贝叶斯网络的方式实现抽取工作。Gamon M 等人利用tf-idf 得到属性词，并把得到的属性词分类，分为一般属性词与特殊属性词。Qiu 等人提出了一种基于少量种子情感词抽取情感词与特征词的方法，然而这种方法并非是基于方面属性的考虑。此外，这种方法没有考虑模板的自动抽取，是人工定义的模板，可扩展性受到很大限制。在抽取与过滤特征词的过程中仅仅考虑了词频，没有考虑特征词与模板的亲密度关系。由于目前产品评论属性词抽取的准确率、覆盖率、可移植性都有待进一步提高，所以有必要进行深入研究。基于此，现提供一种改进的抽取中文商品评论中评价对象的方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、改进的抽取中文商品评论中评价对象的方法。

一种改进的抽取中文商品评论中评价对象的方法，其具体实现过程为：

首先获取网络上的网络评论；

将获取的网络评论文本进行预处理；

对经过预处理的文本进行文本聚类，人工选取抽取候选评价对象；

在候选评价对象中通过Bootstrapping方法抽取评价对象。

所述文本预处理是指将收集到的网络评论数据集进行分词、停用词的过滤。

所述候选评价对象抽取过程为：选取数据集的候选名词性短语的词性组合规则，将预处理后的评论文本中满足规则的短语提取出来，然后判断候选短语的完整性，并将具有完整性的短语称之为候选对象。

所述候选评价对象抽取的具体步骤如下：

1）根据分词后的词性标注，将满足以下10组词性规则的名词性短语作为候选短语：n、n+n、n+n+n、n+v、v+n、a+n、n+a、x+n、n+x、x+n+v；

2）将得到的候选名词性短语进行完整性判断。

所述步骤2）中候选名词性短语的完整性判断规则为：

首先在评论A=a1 a2...ai...an中，其中ai表示在评论A中的第i个词，且评论A中候选对象B出现在其中的n个不同位置b1,b2,...bi...,bn；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi−1个词和第bk −1个词不相同时，则将此B称为左完整；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi+B个词和第bk +B个词不相同时，则将此B称为右完整；

当B既是左完整又是右完整时，则将此B称为完整性的评价对象。

抽取评价对象的具体步骤如下：

A、选取部分符合上述完整性判断规则的候选评价对象作为初始学习数据集；

B、对学习数据集中的数据采用评分公式进行评分，该评分公式为：

；

其中，表示相邻评价词信息，即候选评价对象前后十个位置含有的评价词的数目；表示词汇或短语的支持度，即词汇或短语在语料中出现的次数； 表示纯支持度，即指候选评价对象作为名词或名词短语在句中出现，并且句中不再包含其他候选评价对象的句子数目；表示模板支持度，即候选评价对象被模板从语料中抽取出来的次数，a指的是系数；

C、选取得分高的前m个数据的词性规则加入到学习数据集中；

D、从实验数据集中再随机抽出新的词性规则模板，重复步骤B、C操作，直到没有发现新的符合条件的评价对象模板为止；

E、将符合模板的短语取出，作为被抽取的最终评价对象。

所述步骤B中m取值范围为3≤m≤8，系数a取值为4。

所述步骤C中选出的数据的得分必须大于阈值β，该阈值β为200。

本发明的一种改进的抽取中文商品评论中评价对象的方法，具有以下优点：

本发明提出的一种改进的抽取中文商品评论中评价对象的方法，能够有效避免了人工选择属性词的局限性，提高对中文商品评价中评价对象的准确度，使得评价对象属性词抽取的准确率、覆盖率和可移植性得到提高，实用性强，易于推广。

附图说明

附图1为本发明的整体实现流程图。

附图2为本发明改进的 Bootstrapping方法抽取评价对象的流程图。

附图3为本发明方法和不采用候选短语完整性调和平均值比较图。

附图4为本发明和关键词匹配方法调和平均值比较图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明主要研究了中文商品评论中的评价对象抽取问题，提出了一种改进的抽取中文商品评论中评价对象的方法，具体为一种基于Bootstrapping的中文商品评价对象抽取的方法，Bootstrapping是一种利用有限的样本资料经由多次重复抽样，重新建立起足以代表母体样本分布之新样本的方法。

由于Bootstrapping在初始阶段只需要少量学习数据，这样不仅显著降低了对专家的依赖程度，同时也极大地提升了算法的通用性和可移植性，因此本发明选择此种方法来进行对象抽取的研究。提出一种选择候选对象的新方法，并将筛选过的候选名词性短语通过Bootstrapping方法对其进行属性词的扩展，这样就避免了人工选择属性词的局限性。将实验结果计算其准确率、召回率和调和平均值来判断此方法的性能指标。

如附图1、图2所示，其具体实现过程为：

首先获取网络上的网络评论，一般通过爬虫软件获取；

将获取的网络评论文本进行预处理；

对经过预处理的文本进行文本聚类，人工选取抽取候选评价对象；

在候选评价对象中通过Bootstrapping方法抽取评价对象。

所述文本预处理是指将收集到的网络评论数据集进行分词、停用词的过滤。

所述候选评价对象抽取过程为：选取数据集的候选名词性短语的词性组合规则，将预处理后的评论文本中满足规则的短语提取出来，然后判断候选短语的完整性，并将具有完整性的短语称之为候选对象。

所述候选评价对象抽取的具体步骤如下：

1）根据分词后的词性标注，将满足以下10组词性规则的名词性短语作为候选短语：n、n+n、n+n+n、n+v、v+n、a+n、n+a、x+n、n+x、x+n+v；

2）将得到的候选名词性短语进行完整性判断。

所述步骤2）中候选名词性短语的完整性判断规则为：

首先在评论A=a1 a2...ai...an中，其中ai表示在评论A中的第i个词，且评论A中候选对象B出现在其中的n个不同位置b1,b2,...bi...,bn；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi−1个词和第bk −1个词不相同时，则将此B称为左完整；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi+B个词和第bk +B个词不相同时，则将此B称为右完整；

当B既是左完整又是右完整时，则将此B称为完整性的评价对象。

抽取评价对象的具体步骤如下：

A、选取部分符合上述完整性判断规则的候选评价对象作为初始学习数据集；

B、对学习数据集中的数据采用评分公式进行评分，该评分公式为：

；

其中，表示相邻评价词信息，即候选评价对象前后十个位置含有的评价词的数目；表示词汇或短语的支持度，即词汇或短语在语料中出现的次数；表示纯支持度，即指候选评价对象作为名词或名词短语在句中出现，并且句中不再包含其他候选评价对象的句子数目；表示模板支持度，即候选评价对象被模板从语料中抽取出来的次数，a指的是系数；

C、选取得分高的前m个数据的词性规则加入到学习数据集中；

D、从实验数据集中再随机抽出新的词性规则模板，重复步骤B、C操作，直到没有发现新的符合条件的评价对象模板为止；

E、将符合模板的短语取出，作为被抽取的最终评价对象。

所述步骤B中m取值范围为3≤m≤8，系数a取值为4。

所述步骤C中选出的数据的得分必须大于阈值β，该阈值β为200。

具体实施例：

本实施例针对电子商务中的手机销售方面的评论进行研究，从中关村在线中爬取了3组用户对某安卓系统手机的点评，每组的数目分别为2180条、1920条、1563条作为实验数据集data1、data2、data3。实验环境是Microsoft Visual Studio 2010平台，使用C++语言，首先将三个数据集分别用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS对其进行分词、词性标注，然后用专用的停用词表对其过滤，将处理后的数据集中符合词性规则的短语放入程序中进行试验，最后将实验结果计算其准确率、召回率和平均值来判断此方法的性能指标。

准确率=抽出正确特征词的个数/抽出的所有词的个数。

召回率=抽出正确特征词的个数/标准答案中特征词的个数。

调和平均值= (2·准确率·召回率)/（准确率+召回率）。

实验1：将data1进行本文方法与不采用候选短语完整性评价后结果比较。

将data1进行本文方法与不采用候选短语完整性评价来比较最后实验结果，下表展示了部分实验结果。

通过实验结果可以看出如果不采用判断候选短语的完整性并不能很好的展现评价对象，其准确率与召回率不如本文方法高。不采用完整性判断往往会使更多杂乱的短语进入到评价对象的抽取中，导致实验结果的精确度降低，而如果在进行对象抽取前先对这些评价短语进行完整性的判断，不仅可以过滤掉无用的短语还可以选出较重要的信息短语。因此经过这组实验可以看出判断候选短语完整性的重要程度，为了证明此方法的可行性，本文又将data2放入程序中进行实验，其结果调和平均值的比较如附图3所示，其中上侧曲线为调和平均值1，指本文方法结果，下侧曲线为调和评价值2，是不采用候选短语完整性方法结果。

从上述两组实验结果可以看出，本文方法是可行的，并且判断候选短语的完整性对实验结果的精确度提高有很大的帮助，但由于在程序中需要对每一个候选短语都评价其完整性，因此程序的时间复杂度较高，在效率上还有待提高。

实验2：本文方法与关键词匹配选取评价对象得分后结果比较。

选取实验数据集data3，将其进行本文方法抽取评价对象，再用关键词匹配的方法抽取评价对象，将其调和平均值进行比较。关键词匹配的方法抽取评价对象用的实验环境依然是Microsoft Visual Studio 2010平台，使用C++语言。实验结果如附图4所示，其中在纵轴0.7和0.8之间波动的为调和平均值1，指本文方法结果，另一曲线为调和评价值3，是关键词匹配的方法结果。

从实验结果中可以看出，关键词匹配的方法的调和平均值波动较大，对部分评价对象的抽取很准确，但对有些对象抽取误差较大，并不稳定，而本文的方法虽然在精确度上有待提高，但是前后误差并没有那么大起伏，若存在很大的起伏会导致抽取的对象不完整，不能全面的抽取文中描述的对象，因此在这一点上本文方法还是可以选取的。同时由于本文方法牵扯到完整性评价，其算法的时间复杂度较关键词匹配的方法高一点，这点还有待继续改进。

本发明将筛选过的候选名词性短语通过Bootstrapping方法对其进行属性词的扩展，这样就避免了人工选择属性词的局限性，从而提高对中文商品评价中评价对象的准确度。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种改进的抽取中文商品评论中评价对象的方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (8)

1.一种改进的抽取中文商品评论中评价对象的方法，其特征在于，其具体实现过程为，

首先获取网络上的网络评论；

将获取的网络评论文本进行预处理；

对经过预处理的文本进行文本聚类，人工选取抽取候选评价对象；

在候选评价对象中通过Bootstrapping方法抽取评价对象。

2.根据权利要求1所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述文本预处理是指将收集到的网络评论数据集进行分词、停用词的过滤。

3.根据权利要求1所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述候选评价对象抽取过程为：选取数据集的候选名词性短语的词性组合规则，将预处理后的评论文本中满足规则的短语提取出来，然后判断候选短语的完整性，并将具有完整性的短语称之为候选对象。

4.根据权利要求1、2或3所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述候选评价对象抽取的具体步骤如下：

1）根据分词后的词性标注，将满足以下10组词性规则的名词性短语作为候选短语：n、n+n、n+n+n、n+v、v+n、a+n、n+a、x+n、n+x、x+n+v；

2）将得到的候选名词性短语进行完整性判断。

5.根据权利要求4所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述步骤2）中候选名词性短语的完整性判断规则为：

首先在评论A=a1 a2...ai...an中，其中ai表示在评论A中的第i个词，且评论A中候选对象B出现在其中的n个不同位置b1,b2,...bi...,bn；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi−1个词和第bk −1个词不相同时，则将此B称为左完整；

当至少存在一组<i,k>，其中1≤i<k≤n，使得A中第bi+B个词和第bk +B个词不相同时，则将此B称为右完整；

当B既是左完整又是右完整时，则将此B称为完整性的评价对象。

6.根据权利要求1所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，抽取评价对象的具体步骤如下：

A、选取部分符合上述完整性判断规则的候选评价对象作为初始学习数据集；

B、对学习数据集中的数据采用评分公式进行评分，该评分公式为：

；

其中，表示相邻评价词信息，即候选评价对象前后十个位置含有的评价词的数目；表示词汇或短语的支持度，即词汇或短语在语料中出现的次数； 表示纯支持度，即指候选评价对象作为名词或名词短语在句中出现，并且句中不再包含其他候选评价对象的句子数目；表示模板支持度，即候选评价对象被模板从语料中抽取出来的次数，a指的是系数；

C、选取得分高的前m个数据的词性规则加入到学习数据集中；

D、从实验数据集中再随机抽出新的词性规则模板，重复步骤B、C操作，直到没有发现新的符合条件的评价对象模板为止；

E、将符合模板的短语取出，作为被抽取的最终评价对象。

7.根据权利要求6所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述步骤B中m取值范围为3≤m≤8，系数a取值为4。

8.根据权利要求6所述的一种改进的抽取中文商品评论中评价对象的方法，其特征在于，所述步骤C中选出的数据的得分必须大于阈值β，该阈值β为200。