CN109857852B - 一种电商在线评论训练集特征的筛选判断方法及系统 - Google Patents

Abstract

本发明公开了一种电商在线评论训练集特征的筛选判断方法及系统，涉及自然语言处理技术与情感判断领域，包括获取电商在线评论的训练集；进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；根据备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；构建电商在线评论的文句‑关键词二分网络；计算情感权重；根据情感权重，建立关键词权重表；根据关键词权重表，获取训练集中的情感特征关键词；根据情感特征关键词，进行电商在线评论文本情感判断，本发明可以让电商企业和研究人员快速了解训练集中的关键词特征，更好的把握情感特点，准确作出情感分析判断，为后续电商在线评论文本情感分析提供保障。

Description

一种电商在线评论训练集特征的筛选判断方法及系统

技术领域

本发明涉及自然语言处理技术与情感判断领域，特别是指一种电商在线评论训练集特征的筛选判断方法及系统。

背景技术

在电商在线评论文本情感分析中，往往采用训练集对分类器进行训练，以期获得文本情感分析的关键词特征。在以往的研究中，词袋模型和文句-关键词矩阵是主要的研究形式，这种形式以文字或者表格的形式展现，在一定程度上帮助研究者进行训练集关键词选择。

但现有研究中，没有通过图形展现文本训练集关键词特征的形态学方法，缺少对关键词特征值更深入的分析与探索。因此，本发明基于复杂网络方法，对电商在线评论文本训练集关键词特征进行分析，以优化对训练集关键词特征选择的目的，以期为电商在线评论文本情感分析提供保障。

发明内容

有鉴于此，本发明的目的在于提出一种电商在线评论训练集特征的筛选判断方法及系统，通过构建电商在线评论的文句-关键词二分网络，可以让电商企业和研究人员快速了解训练集中的关键词特征，更好的把握情感特点，准确作出情感分析判断，为后续电商在线评论文本情感分析提供保障。

一种电商在线评论训练集特征的筛选判断方法，包括：

获取电商在线评论，得到电商在线评论的训练集；

对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

构建电商在线评论的文句-关键词二分网络；

根据所述文句-关键词二分网络，计算情感权重；

根据所述情感权重，建立关键词权重表；

根据所述关键词权重表，获取训练集中的情感特征关键词；

根据所述情感特征关键词，进行电商在线评论文本情感判断。

可选的，对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性，具体包括：

对训练集中所有的电商在线评论进行分词和统计，得到所述备选词，对分词后的备选词按照统计从多到少排序，得到所述词频并标注所述词性，其中词性包括积极词性和消极词性。

可选的，根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典，具体包括：

对所述备选词及备选词的词频和词性进行人工定性分析，筛选出具有其中的带有情感表达的备选词作为电商在线评论关键词，并定义关键词的情感极性，建立电商在线评论关键词及关键词词典，其中所述情感极性包括积极极性和消极极性。

可选的，构建电商在线评论的文句-关键词二分网络，具体包括：

对电商在线评论人工定性分析，获取电商在线评论文句的情感极性，并对每条电商在线评论进行编号，列举编号、文句的关键词性和文句中涵盖关键词词典中的关键词，将出现在文句中的关键词与文句对应的情感极性进行连接。

可选的，根据所述文句-关键词二分网络，计算情感权重，具体包括：

根据每个关键词与文句的情感极性连接的数量，分别计算关键词节点的积极度a、消极度b和节点度h，其中积极度a为关键词与积极极性连接的数量，消极度b为关键词与消极极性连接的数量，节点度h为关键词与感极性连接的数量，h＝a+b，计算情感权重w，w＝(a-b)/(a+b)。

可选的，所述情感权重w的计算结果按照四舍五入方式保留两位小数，当关键词的h＝0时，不计算该关键词的情感权重w，并去除该关键词。

可选的，根据所述情感权重，建立关键词权重表，具体包括：

根据所述情感权重w的数值，建立关键词权重表。

可选的，根据所述关键词权重表，获取训练集中的情感特征关键词，具体包括：

设定阈值，筛选绝对值大于所述阈值的情感权重w，作为训练集中的情感特征关键词。

一种电商在线评论训练集特征的筛选判断系统，包括：

训练集获取模块：获取电商在线评论，得到电商在线评论的训练集；

分词与统计模块：对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

关键词词典建立模块：根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

二分网络建立模块：构建电商在线评论的文句-关键词二分网络；

情感权重计算模块：根据所述文句-关键词二分网络，计算情感权重；

关键词权重建立模块：根据所述情感权重，建立关键词权重表；

特征关键词获取模块：根据所述关键词权重表，获取训练集中的情感特征关键词；

情感判断模块：根据所述情感特征关键词，进行电商在线评论文本情感判断。

从上面所述可以看出，本发明的有益效果为：本发明首先从形态学解决了训练集关键词特征与文句情感属性的表达，弥补了词袋模型和文句-关键词矩阵形式展现不足的特点；其次，增加了对关键词词性的统计，区别于现有技术中仅仅筛选出关键词及关键词的词频，再利用文本训练集的文句-关键词二分网络的度计算了情感权重，并优选了对关键词选择结果，获得了情感特征关键词。本发明可以为文本情感分析提供更多的分析思路；

因此应用本发明，可以让电商企业和研究人员快速了解训练集中的关键词特征，更好的把握情感特点，准确作出情感分析判断，为后续电商在线评论文本情感分析提供保障。

附图说明

图1为本发明实施例方法的流程图；

图2为本发明实施例方法中构建文句-关键词二分网络的示意图；

图3为本发明实施例系统的框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

作为一个实施例，本发明提供的一种电商在线评论训练集特征的筛选判断方法，包括：

获取电商在线评论，得到电商在线评论的训练集；

对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

构建电商在线评论的文句-关键词二分网络；

根据所述文句-关键词二分网络，计算情感权重；

根据所述情感权重，建立关键词权重表；

根据所述关键词权重表，获取训练集中的情感特征关键词；

根据所述情感特征关键词，进行电商在线评论文本情感判断。

本实施例还提供一种电商在线评论训练集特征的筛选判断系统，包括：

训练集获取模块：获取电商在线评论，得到电商在线评论的训练集；

分词与统计模块：对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

关键词词典建立模块：根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

二分网络建立模块：构建电商在线评论的文句-关键词二分网络；

情感权重计算模块：根据所述文句-关键词二分网络，计算情感权重；

关键词权重建立模块：根据所述情感权重，建立关键词权重表；

特征关键词获取模块：根据所述关键词权重表，获取训练集中的情感特征关键词；

情感判断模块：根据所述情感特征关键词，进行电商在线评论文本情感判断。

通过该电商在线评论训练集特征的筛选判断方法以及系统的设计，本发明首先从形态学解决了训练集关键词特征与文句情感属性的表达，弥补了词袋模型和文句-关键词矩阵形式展现不足的特点；其次，增加了对关键词词性的统计，区别于现有技术中仅仅筛选出关键词及关键词的词频，再利用文本训练集的文句-关键词二分网络的度计算了情感权重，并优选了对关键词选择结果，获得了情感特征关键词。本发明可以为文本情感分析提供更多的分析思路；

因此应用本发明，可以让电商企业和研究人员快速了解训练集中的关键词特征，更好的把握情感特点，准确作出情感分析判断，为后续电商在线评论文本情感分析提供保障。

下面结合较佳实施例对本发明进行阐述。

请参阅图1和图2，该方法包括

步骤1：从网页web端、手机app端等端口获取电商在线评论，得到电商在线评论的训练集；

步骤2：对训练集中的电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性，对训练集中所有的电商在线评论进行分词和统计，得到关键词，对分词后的关键词按照统计从多到少排序，得到词频并标注词性，其中词性包括积极词性和消极词性，请参阅表1，表1只举例了部分关键词；

表1

步骤3：根据备选词及备选词的词频和词性，对备选词及备选词的词频和词性进行人工定性分析，筛选出具有其中的带有情感表达的备选词作为电商在线评论关键词，并定义关键词的情感极性，其中情感极性包括积极极性和消极极性，请参阅图2；

表2

步骤4：构建电商在线评论的文句-关键词二分网络，对之前从网页web端、手机app端等端口获取的训练集中的每条电商在线评论进行编号，对电商在线评论人工定性分析，获取电商在线评论文句的情感极性，并对每条电商在线评论进行编号，列举编号、文句的关键词性和文句中涵盖关键词词典中的关键词，将出现在文句中的关键词与文句对应的情感极性进行连接，请参阅表3，训练集中电商在线评论的部分文句如下，文句节点用编号表示，积极类型文句用圆圈节点形状，消级类型文句用方形节点形状，当某个关键词在某个编号文句中出现时，就建立该情感词与该编号节点的连接；

表3

步骤5：根据每个关键词与文句的情感极性连接的数量，分别计算关键词节点的积极度a、消极度b和节点度h，其中积极度a为关键词与积极极性连接的数量，消极度b为关键词与消极极性连接的数量，节点度h为关键词与感极性连接的数量，h＝a+b，计算情感权重w，w＝(a-b)/(a+b)，请参阅图2，关键词“不错”的度h＝3，积极度为a＝2，消极度为b＝1，依次类推，在情感权重w的计算结果按照四舍五入方式保留两位小数，当关键词的h＝0时，不计算该关键词的情感权重w，并去除该关键词，例如；

“不错”的情感权重w＝(2-1)/(2+1)＝0.3

“好吃”的情感权重w＝(3-1)/(3+1)＝0.5

“霉味”的情感权重w＝(0-1)/(1)＝-1

“不好”的情感权重w＝(0-3)/(3)＝-1

“满意”的情感权重w＝(1-0)/(1+0)＝1

“物美价廉”h＝0，从情感词典中去除该词

步骤6：根据情感权重w的数值，建立关键词权重表，请参阅表4；

表4

步骤7：根据关键词权重表，获取训练集中的情感特征关键词，设定阈值，筛选绝对值大于阈值的情感权重w，作为训练集中的情感特征关键词，请参阅表4，选择阈值为0.6，因此，该训练集中关键词满足条件的包括“满意”、“不好”、“霉味”，故最终选择这些关键词作为判断电商在线评论的情感倾向关键词；

步骤8：根据情感特征关键词，区别于现有的仅仅通过人工对电商在线评论训练集进行筛选，提取其中关键词和关键词，获得文句-关键词矩阵，进行情感判断，加入了对关键词情感极性的筛选判断，获得情感特征关键词，再进行电商在线评论文本情感判断，筛选出的情感特征关键词对于情感判断的分析更加准确，对情感判断无作用的词会尽可能少地出现，获得的判断结果更利于各大电商去了解顾客的真实购物体验。

请参阅图3，该系统包括：

训练集获取模块：从网页web端、手机app端等端口获取电商在线评论，得到电商在线评论的训练集；

分词与统计模块：对训练集中的电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性，对训练集中所有的电商在线评论进行分词和统计，得到关键词，对分词后的关键词按照统计从多到少排序，得到词频并标注词性，其中词性包括积极词性和消极词性，请参阅表1，表1只举例了部分关键词；

表1

关键词词典建立模块：根据备选词及备选词的词频和词性，对备选词及备选词的词频和词性进行人工定性分析，筛选出具有其中的带有情感表达的备选词作为电商在线评论关键词，并定义关键词的情感极性，其中情感极性包括积极极性和消极极性，请参阅图2；

表2

二分网络建立模块：构建电商在线评论的文句-关键词二分网络，对之前从网页web端、手机app端等端口获取的训练集中的每条电商在线评论进行编号，对电商在线评论人工定性分析，获取电商在线评论文句的情感极性，并对每条电商在线评论进行编号，列举编号、文句的关键词性和文句中涵盖关键词词典中的关键词，将出现在文句中的关键词与文句对应的情感极性进行连接，请参阅表3，训练集中电商在线评论的部分文句如下，文句节点用编号表示，积极类型文句用圆圈节点形状，消级类型文句用方形节点形状，当某个关键词在某个编号文句中出现时，就建立该情感词与该编号节点的连接；

表3

情感权重计算模块：根据每个关键词与文句的情感极性连接的数量，分别计算关键词节点的积极度a、消极度b和节点度h，其中积极度a为关键词与积极极性连接的数量，消极度b为关键词与消极极性连接的数量，节点度h为关键词与感极性连接的数量，h＝a+b，计算情感权重w，w＝(a-b)/(a+b)，请参阅图2，关键词“不错”的度h＝3，积极度为a＝2，消极度为b＝1，依次类推，在情感权重w的计算结果按照四舍五入方式保留两位小数，当关键词的h＝0时，不计算该关键词的情感权重w，并去除该关键词，例如；

“不错”的情感权重w＝(2-1)/(2+1)＝0.3

“好吃”的情感权重w＝(3-1)/(3+1)＝0.5

“霉味”的情感权重w＝(0-1)/(1)＝-1

“不好”的情感权重w＝(0-3)/(3)＝-1

“满意”的情感权重w＝(1-0)/(1+0)＝1

“物美价廉”h＝0，从情感词典中去除该词

关键词权重建立模块：根据情感权重w的数值，建立关键词权重表，请参阅表4；

表4

特征关键词获取模块：根据关键词权重表，获取训练集中的情感特征关键词，设定阈值，筛选绝对值大于阈值的情感权重w，作为训练集中的情感特征关键词，请参阅表4，选择阈值为0.6，因此，该训练集中关键词满足条件的包括“满意”、“不好”、“霉味”，故最终选择这些关键词作为判断电商在线评论的情感倾向关键词；

情感判断模块：根据情感特征关键词，区别于现有的仅仅通过人工对电商在线评论训练集进行筛选，提取其中关键词和关键词，获得文句-关键词矩阵，进行情感判断，加入了对关键词情感极性的筛选判断，获得情感特征关键词，再进行电商在线评论文本情感判断，筛选出的情感特征关键词对于情感判断的分析更加准确，对情感判断无作用的词会尽可能少地出现，获得的判断结果更利于各大电商去了解顾客的真实购物体验。

综上所述，本发明的有益效果为：本发明首先从形态学解决了训练集关键词特征与文句情感属性的表达，弥补了词袋模型和文句-关键词矩阵形式展现不足的特点；其次，增加了对关键词词性的统计，区别于现有技术中仅仅筛选出关键词及关键词的词频，再利用文本训练集的文句-关键词二分网络的度计算了情感权重，并优选了对关键词选择结果，获得了情感特征关键词。本发明可以为文本情感分析提供更多的分析思路；

因此应用本发明，可以让电商企业和研究人员快速了解训练集中的关键词特征，更好的把握情感特点，准确作出情感分析判断，为后续电商在线评论文本情感分析提供保障。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种电商在线评论训练集特征的筛选判断方法，其特征在于，包括：

获取电商在线评论，得到电商在线评论的训练集；

对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

构建电商在线评论的文句-关键词二分网络；

根据所述文句-关键词二分网络，计算情感权重；

根据所述情感权重，建立关键词权重表；

根据所述关键词权重表，获取训练集中的情感特征关键词；

根据所述情感特征关键词，进行电商在线评论文本情感判断；

对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性，具体包括：

对训练集中所有的电商在线评论进行分词和统计，得到所述备选词，对分词后的备选词按照统计从多到少排序，得到所述词频并标注所述词性，其中词性包括积极词性和消极词性；

根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典，具体包括：

对所述备选词及备选词的词频和词性进行人工定性分析，筛选出其中的带有情感表达的备选词作为电商在线评论关键词，并定义关键词的情感极性，建立电商在线评论关键词及关键词词典，其中所述情感极性包括积极极性和消极极性；

构建电商在线评论的文句-关键词二分网络，具体包括：

对电商在线评论人工定性分析，获取电商在线评论文句的情感极性，并对每条电商在线评论进行编号，列举编号、文句的关键词性和文句中涵盖关键词词典中的关键词，将出现在文句中的关键词与文句对应的情感极性进行连接；

根据所述文句-关键词二分网络，计算情感权重，具体包括：

根据每个关键词与文句的情感极性连接的数量，分别计算关键词节点的积极度a、消极度b和节点度h，其中积极度a为关键词与积极极性连接的数量，消极度b为关键词与消极极性连接的数量，节点度h为关键词与情感极性连接的数量，h＝a+b，计算情感权重w，w＝(a-b)/(a+b)。

2.根据权利要求1所述的电商在线评论训练集特征的筛选判断方法，其特征在于：所述情感权重w的计算结果按照四舍五入方式保留两位小数，当关键词的h＝0时，不计算该关键词的情感权重w，并去除该关键词。

3.根据权利要求2所述的电商在线评论训练集特征的筛选判断方法，其特征在于：根据所述情感权重，建立关键词权重表，具体包括：

根据所述情感权重w的数值，建立关键词权重表。

4.根据权利要求3所述的电商在线评论训练集特征的筛选判断方法，其特征在于：根据所述关键词权重表，获取训练集中的情感特征关键词，具体包括：

设定阈值，筛选绝对值大于所述阈值的情感权重w，作为训练集中的情感特征关键词。

5.一种电商在线评论训练集特征的筛选判断系统，用于执行如权利要求1-4中任意一项所述的方法，其特征在于，包括：

训练集获取模块：获取电商在线评论，得到电商在线评论的训练集；

分词与统计模块：对所述训练集中的所述电商在线评论进行分词和统计，获取电商在线评论的备选词及备选词的词频和词性；

关键词词典建立模块：根据所述备选词及备选词的词频和词性，获取电商在线评论关键词及关键词词典；

二分网络建立模块：构建电商在线评论的文句-关键词二分网络，包括对电商在线评论人工定性分析，获取电商在线评论文句的情感极性，并对每条电商在线评论进行编号，列举编号、文句的关键词性和文句中涵盖关键词词典中的关键词，将出现在文句中的关键词与文句对应的情感极性进行连接；

情感权重计算模块：根据所述文句-关键词二分网络，计算情感权重，包括根据每个关键词与文句的情感极性连接的数量，分别计算关键词节点的积极度a、消极度b和节点度h，其中积极度a为关键词与积极极性连接的数量，消极度b为关键词与消极极性连接的数量，节点度h为关键词与情感极性连接的数量，h＝a+b，计算情感权重w，w＝(a-b)/(a+b)；

关键词权重建立模块：根据所述情感权重，建立关键词权重表；

特征关键词获取模块：根据所述关键词权重表，获取训练集中的情感特征关键词；

情感判断模块：根据所述情感特征关键词，进行电商在线评论文本情感判断。

Images