CN104331451A - 一种基于主题的网络用户评论的推荐度评分方法 - Google Patents

Abstract

本发明公开了一种基于主题的网络用户评论的推荐度评分方法，其步骤是：1)获取网络中同一主题下的用户评论，以句子为单位组织这些评论；2)基于句子中的情感词，对句子完成情感评分；3)以句子和对应的情感评分作为输入，按用户单位，训练隐马尔可夫SVM模型；4)针对待评分的目标评论，采用模型每一个句子评分；5)针对待评分的目标评论，采用步骤2)对每一个句子评分；6)采用加权平均法，综合两个方面的评分，获得目标评论的推荐度评分。本方法采用无监督方式，应用公开的情感词库，无需人工评价，计算成本简单；适用于网络评论快速更新的情形；能够挖掘主题特征，充分考虑其他用户评论的情感倾向，及主题对目标用户评论的影响，提高评分的准确性和及时性。

Description

一种基于主题的网络用户评论的推荐度评分方法

 

技术领域

本发明涉及一种网络用户评论的推荐度评分方法，具体是在给定主题下，运用数据挖掘、机器学习、自然语言处理等领域技术，基于公开的情感词库，以无监督方式自动完成对网络用户评论的推荐度评分，不需要人工参与。

背景技术

随着Web技术的广泛应用和发展，互联网进入人们社会生活的各个领域。用户在网络上开展各种活动和生活娱乐，通过论坛、博客、微博、微信等平台发表了大量的评论或留言。这些评论能够代表网络用户的看法和观点，通过分析这些网络评论的情感倾向和推荐度，有助于了解用户态度、言论导向、产品接受度等信息，从而辅助产品推荐和信息检索等应用。

目前大部分网络评论都围绕某一主题，例如电影影评、产品评论、以及热点话题等。对用户评论的推荐度评分需要考虑主题的特性。现有的评分方法仅考虑用户评论本身，没有挖掘和利用主题的上下文和语境，不能准确判断评论的情感倾向；而且需要人工评价和标记，不适于网络用户评论快速更新的特点。

发明内容

本发明所要解决的技术问题是提供一种针对网络用户评论的自动的推荐度评分方法，该方法采用无监督方式，不需要人工干预和标记，应用机器学习技术（隐马尔可夫SVM模型）和公开的情感词库，对一个主题下的用户评论进行推荐度评分，该方法完全替代了人工，提高了效率，且具有重复性。

为实现上述目的，本发明采用如下的步骤：

1) 获取网络中同一主题下的用户评论，以句子为单位组织这些评论；给定主题T，T = {R₁, R₂, ...}表示主题T下的所有用户评论；获取这些评论后，对其中的一个评论R，将其分割为句子集合，即：R = {S₁, S₂, … }，其中S代表一个句子；

2）基于句子中的情感词，对每一个句子完成情感评分；

3) 以句子和对应的情感评分作为输入，按用户单位，训练隐马尔可夫SVM模型(Hmm-SVM)；

4) 针对待评分的目标评论，采用Hmm-SVM模型为评论中的每一个句子评分；

5) 针对待评分的目标评论，采用步骤2)方法对其中每一个句子评分；

6) 采用加权平均法，综合两个方面的评分，获得目标评论的推荐度评分。

上述步骤2)中基于情感词对句子评分的处理过程是：首先将句子S解析成单词的序列S = <w1, w2, ..., wn>，其中w为单词，n为句子中包含的单词总数；然后对照情感词库，提取其中的情感词和程度词；分别对情感词和程度词打分；接下来针对情感词和程度词的组合打分；完成单词组合打分后，汇总成句子的情感评分，公式如下：

其中R代表待评分的句子，v(w)代表对单词或词组的评分，n为句子中的单词总数；最后将句子的情感评分离散化为三个极性：正面、负面、中性。

上述步骤2)中对情感词和程度词打分的过程是，依据已制定和公开的情感词库将情感词分成正反两个极性，其中正面极性打分为1；负面极性打分为-1；依据已制定和公开的情感词库将程度词分为正向及反向两个等级：其中正向等级打分为1；反向等级打分为-1；

情感词分两个极性，参照已制定和公开的情感词库：

1) 正面：对应情感词库的“正面情感”或“正面评价”词语，例如：“爱，赞赏，快乐，动听，对劲儿，催人奋进”等；打分为1；

2) 负面：对应情感词库的“负面情感”或“负面评价”词语，例如：“哀伤，半信半疑，鄙视，丑，苦，华而不实”等；打分为-1；

程度词对应情感词库中的“程度等级”词语，参照已制定和公开的情感词库：

1) 正向：例如“极其，很，较大/多”；打分为1；

2) 反向：例如“欠缺，没有，几乎不”；打分为-1。

上述步骤2)中对情感词和程度词的组合打分的方法是：分三种情况：

1) 情感词单独出现，其前后没有程度词：按照情感词极性直接打分；

2) 程度词单独出现，其前后没有情感词：忽略程度词；

3) 情感词和程度词成对出现：分数为情感词和程度词打分的乘积。

上述步骤3)中按用户单位训练隐马尔可夫SVM模型的处理流程是：首先以用户为单位，收集用户U在主题下的所有评论中的句子，组成一个句子序列；然后将序列中的句子排序，即U = <S₁, S₂, ... >，排序规则是：属于同一评论的按先后次序，属于不同评论则按时间顺序；接下来以句子为单位，提取文本特征，将句子S转换为一个有标记的特征向量S = <f1, f2, ..., v>，其中f为文本特征值，v为离散化的情感评分；最后按照用户单位，以句子序列对应的特征向量序列作为输入，训练隐马尔可夫SVM模型；

上述步骤4)中采用Hmm-SVM模型为目标评论中的句子评分的处理流程是：首先将目标评论D分割为句子集合D = {S₁, S₂, ...}，其中S为句子；然后以句子为单位，提取文本特征，将这些句子转换为无标记的文本特征向量S = <f₁, f₂, ...>，其中f为文本特征值；最后将特征向量序列（按评论中出现的先后次序排序）输入训练后的Hmm-SVM模型，获得目标评论中每一个句子的情感极性。

上述步骤3)和步骤4)中以句子为单位提取的文本特征包括：形容词的个数和比例，副词的个数和比例；感叹词个数和比例，介词的个数和比例，代词的个数和比例，动词的个数和比例，连词的个数和比例，名词的个数和比例，正面情感词个数和比例，负面情感词个数和比例，共计20个特征，其中比例按照词个数除以句子中的单词总数计算。

上述步骤2)和步骤6)中将连续的情感评分离散化为三个极性的方法是：

1) 正面，评分大于等于t，t为阈值，取值空间为[0.02~0.2]，建议取值0.1；此时评分为1；

2) 负面，评分小于等于-t，t含义同上；此时评分为-1；

3) 中性，评分介于-t和t之间，t含义同上；此时评分为0。

上述步骤6）的具体过程是：给定目标评论D = {S₁, S₂, ..., Sm}，其中S_i为句子，m为评论中的句子总数，采用下述公式获得综合评分v(D)：

其中v₁(S_i)代表Hmm-SVM模型对句子S_i的情感评分，v₂(S_i)代表基于情感词对句子S_i的评分，w是权重，取值空间为[0.4~0.6]，建议取值0.5；如此计算出的评分是一个连续值，可以进一步将其离散化为三个极性：正面、负面、中性，其中正面代表推荐，负面代表不推荐，中性代表中立。

本发明采用无监督的方式，运用已制定和公开的情感词库，以句子为单位判断用户评论的推荐度倾向，计算简单高效；可以采用其他的机器学习技术，具有较好的扩展性；同时能够利用主题的上下文环境，有效提高用户评论推荐度评分的准确性；实验数据表明，本发明方法能够快速完成网络用户评论的自动评分，与人工评价结果相比较，具有较高的准确性；另外，通过已有的推荐度评分，可以采用迭代的方式完成新评论的评分，进一步提高准确性，有效辅助产品推荐和信息检索等应用。

附图说明

图1是基于主题的网络用户评论的推荐度评分方法的总体框架；

图2是基于情感词对句子完成情感评分的流程图；

图3是训练隐马尔可夫SVM模型的流程图；

图4是基于隐马尔可夫SVM模型对句子序列完成情感评分的流程图。

具体实施方式

图1所示为基于主题的网络用户评论的推荐度评分方法的技术框架。方法的输入是同一主题下的用户评论；方法的输出是目标用户评论的推荐度评分。本发明方法需要情感词库，目前国内外已制定和公开针对不同语言的情感词库（例如中国知网的HowNet词库和英文的Riloff词库等）。技术框架分6个步骤：1) 获取网络中同一主题下的用户评论，以句子为单位组织这些评论；2）基于句子中的情感词，对每一个句子完成情感评分；3) 以句子和对应的情感评分作为输入，按用户单位，训练隐马尔可夫SVM模型(Hmm-SVM)；4) 针对待评分的目标评论，采用Hmm-SVM模型为评论中的每一个句子评分；5) 针对待评分的目标评论，采用步骤2)方法对每一个句子评分；6) 采用加权平均法，综合两个方面的评分，获得目标评论的推荐度评分。

第一个步骤是获取网络中同一主题下的用户评论，以句子为单位组织这些评论。给定主题T，T = {R₁, R₂, ...}表示主题T下的所有用户评论；获取这些评论后，对其中的一个评论R，将其分割为句子集合，即：R = {S₁, S₂, …}，其中S代表一个句子。例如对以下一个电影的网络评论：

“还没仔细看，但总体感觉很满意，画面感不错，声音效果也不错，演员的演技也行。翻译也还行，没有生硬的感觉。总之非常好，这部外国电影还是不错的选择。”

这段评论可以分成三个句子：

S₁ “还没仔细看，但总体感觉很满意，画面感不错，声音效果也不错，演员的演技也行。”

S₂ “翻译也还行，没有生硬的感觉。”

S₃ “总之非常好，这部外国电影还是不错的选择。”

第二个步骤是基于句子中的情感词，对每一个句子完成情感评分。处理流程如图2所示。给定句子S，首先将其解析成单词的序列，即：S = <w1, w2, ..., wn>，其中w为单词，n为句子中包含的单词总数；然后对照情感词库，提取其中的情感词和程度词，分别对情感词和程度词打分。打分方法如下：

情感词分两个极性：

1) 正面：对应情感词库的“正面情感”或“正面评价”词语，例如：“爱，赞赏，快乐，动听，对劲儿，催人奋进”等；打分为1；

2) 负面：对应情感词库的“负面情感”或“负面评价”词语，例如：“哀伤，半信半疑，鄙视，丑，苦，华而不实”等；打分为-1；

程度词对应情感词库中的“程度等级”词语，分两个等级：

1) 正向：例如“极其，很，较大/多”；打分为1；

2) 反向：例如“欠缺，没有，几乎不”；打分为-1。

接下来针对情感词和程度词的组合打分，分三种情况：

1) 情感词单独出现，其前后没有程度词：按照情感词极性直接打分；

2) 程度词单独出现，其前后没有情感词：忽略程度词；

3) 情感词和程度词成对出现：分数为情感词和程度词打分的乘积。

完成单词组合打分后，汇总成句子的情感评分，公式如下：

                             （1）

其中R代表待评分的句子，v(w)代表对单词或词组的评分，n为句子中的单词总数。以上例中的句子S₃为例，解析成单词序列为：

“总之 非常 好 这部 外国 电影 还是 不错 的 选择”

序列中有10个单词，情感词有“好，不错”，程度词有“非常”，与情感词“好”成对出现。这个句子的情感评分为(1′1 + 1)/10 = 0.2。

最后将句子的情感评分离散化为三个极性：

1) 正面，评分大于等于t，t为阈值，取值空间为[0.02~0.2]，建议取值0.1；此时评分为1；

2) 负面，评分小于等于-t，t含义同上；此时评分为-1；

3) 中性，评分介于-t和t之间，t含义同上；此时评分为0。

第三个步骤是以句子和对应的情感评分作为输入，按用户单位，训练隐马尔可夫SVM模型(Hmm-SVM)。处理流程如图3所示。首先以用户为单位，给定用户U，收集U在主题下的所有评论中的句子，组成一个句子序列。然后将序列中的句子排序，即U = <S₁, S₂, ... >，排序规则是：属于同一评论的按先后次序，属于不同评论则按时间顺序。

接下来以句子为单位，提取文本特征，具体包括：形容词的个数和比例，副词的个数和比例；感叹词个数和比例，介词的个数和比例，代词的个数和比例，动词的个数和比例，连词的个数和比例，名词的个数和比例，正面情感词个数和比例，负面情感词个数和比例，共计20个特征，其中比例按照词个数除以句子中的单词总数计算。

于是每一个句子S成为一个有标记的特征向量S = <f1, f2, ..., v>，其中f为文本特征值，v为离散化的情感评分。

最后按照用户单位，以句子序列对应的特征向量序列作为输入，训练隐马尔可夫SVM模型；该模型是基于序列的机器学习模型，能够学习序列中的上下文环境。在模型应用时也是对一个目标序列中的所有句子进行分类（三个极性对应三个类别）。

第四个步骤是针对待评分的目标评论，采用Hmm-SVM模型为评论中的每一个句子评分。处理流程如图4所示。首先将目标评论D分割为句子集合D = {S₁, S₂, ...}，其中S为句子；然后以句子为单位，按步骤3）提取文本特征，将这些句子转换为无标记的文本特征向量S = <f₁, f₂, ...>，其中f为文本特征值；最后将特征向量序列（按评论中出现的先后次序排序）输入训练后的Hmm-SVM模型，获得目标评论中每一个句子的情感极性。

第五个步骤是针对待评分的目标评论，采用步骤2)方法对每一个句子评分；处理流程与步骤2)相同。

第六个步骤是采用加权平均法，综合两个方面的评分，获得目标评论的推荐度评分。给定目标评论D = {S₁, S₂, ..., Sm}，其中S（或S_i）为句子，m为评论中的句子总数，采用下述公式获得综合评分v(D)：

                            （2）

其中v₁(S_i)代表Hmm-SVM模型对句子S_i的情感评分，v₂(S_i)代表基于情感词对句子S_i的评分，w是权重，取值空间为[0.4~0.6]，建议取值0.5。如此计算出的评分是一个连续值，可以进一步将其离散化为三个极性：正面、负面、中性，所用方法与步骤2)相同。其中正面代表推荐，负面代表不推荐，中性代表中立。

本发明方法采用无监督的方式，运用已制定和公开的情感词库，以句子为单位判断用户评论的情感倾向，充分学习同主题的上下文环境，不需要人工干预和标记，适用于网络评论的自动推荐度评分；实验数据表明本发明方法能够快速完成网络用户评论的自动评分，与人工评价结果相比较，具有较高的准确性：推荐度评价的一致性超过70%，能够满足鉴别网络评论的基本要求。另外，本发明方法具有较好的扩展性：其一可以采用其他的人工智能技术；其二通过迭代应用，可以进一步提高网络评论推荐度评分的准确性。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。 

Claims (10)

1.一种基于主题的网络用户评论的推荐度评分方法，其特征在于包含以下步骤：

1) 获取网络中同一主题下的用户评论，以句子为单位组织这些评论；给定主题T，T = {R₁, R₂, ...}表示主题T下的所有用户评论；获取这些评论后，对其中的一个评论R，将其分割为句子集合，即：R = {S₁, S₂, … }，其中S代表一个句子；

2）基于句子中的情感词，对每一个句子完成情感评分；

3) 以句子和对应的情感评分作为输入，按用户单位，训练隐马尔可夫SVM模型(Hmm-SVM)；

4) 针对待评分的目标评论，采用Hmm-SVM模型为评论中的每一个句子评分；

5) 针对待评分的目标评论，采用步骤2)方法对每一个句子评分；

6) 采用加权平均法，综合步骤4）及步骤5）两个方面的评分，获得目标评论的推荐度评分。

2.根据权利要求1所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤2)的处理流程是：首先将句子S解析成单词的序列S = <w₁, w₂, ..., w_n>，其中w为单词，n为句子中包含的单词总数；然后对照情感词库，提取其中的情感词和程度词；分别对情感词和程度词打分；接下来针对情感词和程度词的组合打分；完成单词组合打分后，汇总成句子的情感评分，其公式如下：

 

其中R代表待评分的句子，代表对单词或词组的评分，n为句子中的单词总数；最后将句子的情感评分离散化为三个极性：正面、负面、中性。

3.根据权利要求2所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤2)中对情感词和程度词打分的过程是，依据已制定和公开的情感词库将情感词分成正反两个极性，其中正面极性打分为1；负面极性打分为-1；参照已制定和公开的情感词库：将程度词分为正向及反向两个等级：其中正向等级打分为1；反向等级打分为-1。

4.根据权利要求3所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤2)中对情感词和程度词的组合打分的过程分三种情况：

1) 情感词单独出现，其前后没有程度词：按照情感词极性直接打分；

2) 程度词单独出现，其前后没有情感词：忽略程度词；

3) 情感词和程度词成对出现：分数为情感词和程度词打分的乘积。

5.根据权利要求4所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，步骤2）中将句子的情感评分离散化为三个极性：正面、负面、中性的具体评分标准为：

1) 正面，评分大于等于t，t为阈值，取值空间为[0.02~0.2]，建议取值0.1；此时评分为1；

2) 负面，评分小于等于-t，t含义同上；此时评分为-1；

3) 中性，评分介于-t和t之间，t含义同上；此时评分为0。

6.根据权利要求5所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤3)中按用户单位训练隐马尔可夫SVM模型的处理过程是：首先以用户为单位，收集用户U在主题下的所有评论中的句子，组成一个句子序列；然后将序列中的句子排序，即U = <S₁, S₂, ... >，排序规则是：属于同一评论的按先后次序，属于不同评论则按时间顺序；接下来以句子为单位，提取文本特征，将句子S转换为一个有标记的特征向量S = <f1, f2, ..., v>，其中f为文本特征值，v为离散化的情感评分；最后按照用户单位，以句子序列对应的特征向量序列作为输入，训练隐马尔可夫SVM模型。

7.根据权利要求6所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤3)中以句子为单位提取的文本特征包括：形容词的个数和比例，副词的个数和比例；感叹词个数和比例，介词的个数和比例，代词的个数和比例，动词的个数和比例，连词的个数和比例，名词的个数和比例，正面情感词个数和比例，负面情感词个数和比例，共计20个特征，其中比例按照词个数除以句子中的单词总数计算。

8.根据权利要求6或7所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤4)中采用Hmm-SVM模型为目标评论中的句子评分的处理过程是：首先将目标评论D分割为句子集合D = {S₁, S₂, ...}，其中S为句子；然后以句子为单位，提取文本特征，将这些句子转换为无标记的文本特征向量S = <f₁, f₂, ...>，其中f为文本特征值；最后将特征向量序列，按评论中出现的先后次序排序输入训练后的Hmm-SVM模型，获得目标评论中每一个句子的情感极性。

9.根据权利要求8所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，上述步骤4)中以句子为单位提取的文本特征包括：形容词的个数和比例，副词的个数和比例；感叹词个数和比例，介词的个数和比例，代词的个数和比例，动词的个数和比例，连词的个数和比例，名词的个数和比例，正面情感词个数和比例，负面情感词个数和比例，共计20个特征，其中比例按照词个数除以句子中的单词总数计算。

10.根据权利要求9所述的基于主题的网络用户评论的推荐度评分方法，其特征在于，步骤6）的具体过程是：给定目标评论D = {S₁, S₂, ..., Sm}，其中S_i为句子，m为评论中的句子总数，采用下述公式获得综合评分v(D)：

其中v₁(S_i)代表Hmm-SVM模型对句子S_i的情感评分，v₂(S_i)代表基于情感词对句子S_i的评分，w是权重，取值空间为[0.4~0.6]，建议取值0.5；如此计算出的评分是一个连续值，可以进一步将其离散化为三个极性：正面、负面、中性，其中正面代表推荐，负面代表不推荐，中性代表中立。