CN104615772A - 一种用于电子商务的文本评价数据专业程度分析方法 - Google Patents

Abstract

本发明公开了一种用于电子商务的文本评价数据专业程度分析方法，包括如下步骤：S1，获取全部商品评价文本数据相关的概念层次树；S2，计算每个概念层次树上该评价文本数据的专业程度值；S3，综合全部概念层次树上取值，计算评价文本数据的专业程度；S4，将评价文本数据的专业程度划分为若干个等级，得到全部商品评价文本数据的专业程度等级，将专业程度高的商品评价文本数据推荐给用户。通过本发明技术方案使用户能够直接、客观的获取评价数据，并且将评价数据的内容进行量化处理，根据等级高低客观排序。

Description

一种用于电子商务的文本评价数据专业程度分析方法

技术领域

本发明涉及计算机领域，尤其涉及一种用于电子商务的文本评价数据专业程度分析方法。有利于消费者查看更有参考价值的评价信息。

背景技术

近年来，电子商务行业发展迅猛，越来越多的人倾向于网上购物，为了保障产品的信息的真实性，监督商家的服务，买家可以对所购买的产品进行评价，这些评价数据包含了简单的打分和文本描述数据。这些评价数据，尤其是文本评价数据是其他消费者进行交易的重要参考。因此这些评价数据对于消费者、营销方、生产厂家以及电子商务平台运营商具有重要价值。由于不同消费者的消费经验、评价态度等存在着巨大差异，导致评价数据中包含的信息和价值也存在较大差异。通常一条评价数据越专业，那么其中包含的有用信息就越多，对于消费者的参考价值就越大。

如果我们能够对某个卖家或者商品的评价的文本数据的专业程度进行定理分析，那么消费者、营销方、生产厂家以及电子商务平台运营商就能够更为有效地利用交易过程中生产的海量文本评价数据。例如，可以按照评价的专业程度来向消费者展示最有价值的文本评价数据，有利于消费者快速筛选合适的商品和卖家。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种用于电子商务的文本评价数据专业程度分析方法。

为了实现本发明的上述目的，本发明提供了一种用于电子商务的文本评价数据专业程度分析方法，其关键在于，包括如下步骤：

S1，获取全部商品评价文本数据相关的概念层次树；

S2，计算每个概念层次树上该评价文本数据的专业程度值；

S3，综合全部概念层次树上取值，计算评价文本数据的专业程度；

S4，将评价文本数据的专业程度划分为若干个等级，得到全部商品评价文本数据的专业程度等级，将专业程度高的商品评价文本数据推荐给用户。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S1包括：

S1-1，为一类商品评价文本数据，建立其概念层次树，每个概念层次树至少需要关联该商品的类别或者具体的商品代码，并且该商品的类别或者具体的商品代码没有数据噪声，将该概念层次树存储到用来存放概念层次树的库中；

S1-2，概念层次树是一种以树形结构来表示某个特定领域中各个概念之间的从属关系。每个概念层次树中的每个节点代表某个用来描述商品评价文本数据的外观、构成和功能特性的概念，节点之间的连线表示这些概念之间的从属关系，父节点表示比较一般的概念，其子节点表示比较具体的概念；值得注意的是某个概念有可能对应多个词语来描述。例如“颜色”这个概念可能对应{色彩、颜色、配色}等多个词语，因此概念层次树维护工具可以为每个概念关联多个词语。

S1-3，概念层次树中每个商品评价文本数据概念对应节点到根节点的路径长度称为概念的深度，其中根节点的深度定义为零。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S2包括：

S2-1，通过基于字典的中文分词方法提取涉及概念的词语集合，将商品文本评价数据进行分词处理，并将得到所有涉及概念的词语提取出来；

S2-2，对概念匹配处理，将分词得到的每一个词语与概念层次树中的概念进行匹配，若词语包含在概念层次树某个概念的词语集合中，则认为该词语和该概念匹配，并记录该词语在概念层次树中的深度，若词语不能与概念层次树中概念匹配，则丢弃；

S2-3，定量计算商品评价文本数据的专业程度值，根据每个词语对应的概念深度和出现的次数计算该文本评价数据的专业程度的取值，即为专业程度值。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S3包括：

S3-1，采用加权平均的方式将每个概念层次树上的取值汇总为一个最终的专业程度值；

S3-2，具体权重的选择根据领域专家指定，或根据概念层次树对应的商品分类的层次自动计算。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S4包括：

S4-1，采用数据离散化方法，将商品评价文本数据的专业程度根据计算的程度值高低划分为若干个等级，将专业程度高的商品评价文本数据推荐给用户。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S2-2包括：

记为集合S＝{x₁,x₂…x_n}，S表示从一条文本评价数据中提取出的词语的集合，x_i表示具体的词语，下标n表示词语的个数，集合D＝{d₁,d₂…d_n}，D表示词语对应的概念的深度的集合，d_i表示词语对应的概念的深度，下标n表示词语的个数，i为正整数，1≤i≤n。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S2-3包括：

专业程度值计算如下：

${\mathrm{sc}}_k=1-e^{-\frac{{\mathrm{\Σ}}_{i=1}^n{d}_i*w_i}{n}};$

w_i＝tf_i*idf_i；

${\mathrm{tf}}_i=\frac{m}{n};$

${\mathrm{idf}}_i=\log \frac{\left|E\right|}{\left|\right\{j:x_i\∈e_j\left\}\right|};$

其中，sc_k表示某条商品评价文本数据根据选定的概念层次树t_k计算出的得分，是对商品评价文本数据的专业程度的度量；n表示从一条商品评价中提取出的词语的个数；d_i表示商品评价的词语x_i对应的概念的深度；w_i表示词语x_i在一条评价中的权重，若一个词语在一条评价中出现的次数越多，在其他评价中出现的次数越少，则该词语在该条评价中的权重越大；

tf_i表示词语x_i在一条商品评价中出现的频率，通过词语x_i在一条商品评价中出现的次数m与该条评价中词语的个数n的比值计算得出idf_i表示词语x_i在整个商品评价集合中的评价频率，是对一个词语普遍重要性的度量，通过商品评价的总数|E|与包含词语x_i的评价总数比值的对数得到e_i为商品评价中具体的某一条评价；某一特定评价内的高词语频率，以及该词语在整个评价集合中的低评价频率，产生出高权重的w_i。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S3-2包括：

专业程度综合分数计算过程如下：

$\mathrm{score}=\underset{k=1}{\overset{1}{\mathrm{\Σ}}}{\mathrm{\α}}_k*{\mathrm{sc}}_k,$

其中α_k为每个概念层次树对应的权重，sc_k为商品评价文本数据基于每个概念层次树计算得到的分数，l为所选择的概念层次树的个数，score为综合所有概念层次树的分数得到的文本评价数据的最终分数，下标k为正整数，1≤k≤l。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

基于某一特定领域构造的概念层次树来分析商品评价数据的专业程度，涉及到的商品特征更全面、更权威，结合词语对应概念之间的层次关系，使分析结果更具说服力，有利于挖掘文本评价数据的价值。

本发明中的概念层次树是一种灵活的机制，应用过程中可以根据需要不断扩充。同一类商品在系统中可以对应多个层次的概念层次树，通过综合多个层次的评价结果，保障了评价结果能够较全面地反映实际情况。

将商品评价数据的专业程度级别进行划分，有助于消费者快速获取有参考价值的评价数据，对商品有个更详细、更真实的了解，提高交易效率，改善用户体验，加快电子商务的发展。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明中手机概念层次树的示例图；

图2是本发明中商品评价文本数据专业程度分析总体流程图；

图3是本发明中商品评价文本数据在某个概念树上的专业度计算流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1为本发明实施例提供的关于手机概念层次树的一部分概念的示意图。为一类商品评价文本数据，建立其概念层次树，每个概念层次树至少需要关联该商品的类别或者具体的商品代码，并且该商品的类别或者具体的商品代码没有数据噪声，其中数据噪声为概念层次树在手机商品评价文本数据时，存在的商品实际参数与商品评价文本数据不一致的情况，本发明筛选出没有数据噪声的商品评价文本数据，将该商品评价文本数据存储到用来存放概念层次树的库中，树中的每个节点代表某个用来描述手机的外观、构成和功能等特性的概念。节点间的连线表示这些概念之间的从属关系，父节点表示比较一般的概念，其子节点表示比较具体的概念。图1中评价手机的概念包含了：应用、系统、外观、摄像等概念；对于“外观”这个概念则又包含了“大小”和“颜色”两个子概念。显然，“外观”相对于“大小”、“颜色”来说是一个更一般的概念，“大小”、“颜色”相对于“外观”则是更具体的概念。

本发明提供了一种用于电子商务的文本评价数据专业程度分析方法，其关键在于，包括如下步骤：

S1，获取全部商品评价文本数据相关的概念层次树；

S2，计算每个概念层次树上该评价文本数据的专业程度值；

S3，综合全部概念层次树上取值，计算评价文本数据的专业程度；

S4，将评价文本数据的专业程度划分为若干个等级，得到全部商品评价文本数据的专业程度等级，将专业程度高的商品评价文本数据推荐给用户。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S1包括：

S1-1，为一类商品评价文本数据，建立其概念层次树，每个概念层次树至少需要关联该商品的类别或者具体的商品代码，并且该商品的类别或者具体的商品代码没有数据噪声，将该概念层次树存储到用来存放概念层次树的库中；

S1-2，概念层次树是一种以树形结构来表示某个特定领域中各个概念之间的从属关系。每个概念层次树中的每个节点代表某个用来描述商品评价文本数据的外观、构成和功能特性的概念，节点之间的连线表示这些概念之间的从属关系，父节点表示比较一般的概念，其子节点表示比较具体的概念；值得注意的是某个概念有可能对应多个词语来描述。例如“颜色”这个概念可能对应{色彩、颜色、配色}等多个词语，因此概念层次树维护工具可以为每个概念关联多个词语。

S1-3，概念层次树中每个商品评价文本数据概念对应节点到根节点的路径长度称为概念的深度，其中根节点的深度定义为零。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S2包括：

S2-1，通过基于字典的中文分词方法提取涉及概念的词语集合，将商品文本评价数据进行分词处理，并将得到所有涉及概念的词语提取出来；

S2-2，对概念匹配处理，将分词得到的每一个词语与概念层次树中的概念进行匹配，若词语包含在概念层次树某个概念的词语集合中，则认为该词语和该概念匹配，并记录该词语在概念层次树中的深度，若词语不能与概念层次树中概念匹配，则丢弃；

S2-3，定量计算商品评价文本数据的专业程度值，根据每个词语对应的概念深度和出现的次数计算该文本评价数据的专业程度的取值，即为专业程度值。

所述的用于电子商务的文本评价数据专业程度分析方法，优选的，所述S3包括：

S3-1，采用加权平均的方式将每个概念层次树上的取值汇总为一个最终的专业程度值；

S3-2，具体权重的选择根据领域专家指定，或根据概念层次树对应的商品分类的层次自动计算。

本发明方法的总体流程图如图2所示，具体描述如下。

步骤1，选择所有相关的概念层次树。根据评价的商品的类别和编号到存放概念层次树的数据库中检索所有相关的概念层次树。即为集合T＝{t₁,t₂…t_l}，l为选择的所有相关的概念层次树的个数。

步骤2，计算每个概念层次树上该评价文本的专业程度取值，其具体的计算过程如下(如图3所示)：

步骤2.1，提取可能涉及概念的词语集合，主要是通过分词方法，将文本评价数据进行分词处理，然后通过句法分析，提取出所有可能涉及概念的词语。这些词语通常为名词或者动词。

步骤2.2，概念匹配处理。将分词得到的每一个词语与概念层次树中的概念进行匹配。若词语包含在概念层次树某个概念的词语集合中，则认为该词语和该概念匹配，并记录该词语在概念层次树中的深度。若词语不能与概念层次树中概念匹配，则丢弃。记集合S＝{x₁,x₂…x_n}，S表示从一条文本评价数据中提取出的词语的集合，x_i表示具体的词语，n表示词语的个数。集合D＝{d₁,d₂…d_n}，D表示词语对应的概念的深度的集合，d_i表示词语对应的概念的深度，n表示词语的个数。

步骤2.3，定量计算评价数据的专业程度。根据每个词汇对应的概念的概念深度和出现的次数综合计算该文本评价数据的专业程度的取值。公式如下：

${\mathrm{sc}}_k=1-e^{-\frac{{\mathrm{\Σ}}_{i=1}^n{d}_i*w_i}{n}}---\left(1\right)$

w_i＝tf_i*idf_i   (2)

${\mathrm{tf}}_i=\frac{m}{n}---\left(3\right)$

${\mathrm{idf}}_i=\log \frac{\left|E\right|}{\left|\right\{j:x_i\∈e_j\left\}\right|}---\left(4\right)$

其中，sc_k表示某条商品评价文本数据根据选定的概念层次树t_k计算出的得分，是对商品评价文本数据的专业程度的度量；n表示从一条商品评价中提取出的词语的个数；d_i表示商品评价的词语x_i对应的概念的深度；w_i表示词语x_i在一条评价中的权重，若一个词语在一条评价中出现的次数越多，在其他评价中出现的次数越少，则该词语在该条评价中的权重越大。

tf_i表示词语x_i在一条商品评价中出现的频率，通过词语x_i在一条商品评价中出现的次数m与该条评价中词语的个数n的比值计算得出idf_i表示词语x_i在整个商品评价集合中的评价频率，是对一个词语普遍重要性的度量，通过商品评价的总数|E|与包含词语x_i的评价总数比值的对数得到e_i为商品评价中具体的某一条评价；某一特定评价内的高词语频率，以及该词语在整个评价集合中的低评价频率，产生出高权重的w_i。

公式(1)计算每条商品评价中的所有词语对应的概念的深度与其权重的乘积的平均值，并进行归一化。由公式可知，商品评价的词语对应的概念的深度越大，在评价中所占的权重越大，该评价的最终得分越高，即评价越专业。

步骤3，综合所有概念层次树上取值。可以采用加权平均的方式将每个概念层次树上的取值汇总为一个最终的专业程度值。具体权重的选择可以根据领域专家指定，也可以根据概念树对应的商品分类的层次自动计算。公式如下：

$\mathrm{score}=\underset{k=1}{\overset{1}{\mathrm{\Σ}}}{\mathrm{\α}}_k*{\mathrm{sc}}_k$

其中α_k为每个概念层次树对应的权重，sc_k为商品评价文本数据基于每个概念层次树计算得到的分数，l为所选择的概念层次树的个数，score为综合所有概念层次树的分数得到的文本评价数据的最终分数，下标k为正整数，1≤k≤l。

步骤4，将评价数据的专业程度划分为若干个等级。为了便于使用，采用数据离散化方法，将评价数据的专业程度根据需要划分为若干个等级。如可以将专业程度划分为不专业、一般和专业三个级别。具体划分标准可以根据所有评价数据的专业程度值进行排序，按照用户指定的标准(如分位数或者百分比)来制定划分标准。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种用于电子商务的文本评价数据专业程度分析方法，其特征在于，包括如下步骤：

S1，获取全部商品评价文本数据相关的概念层次树；

S2，计算每个概念层次树上该评价文本数据的专业程度值；

S3，综合全部概念层次树上取值，计算评价文本数据的专业程度；

S4，将评价文本数据的专业程度划分为若干个等级，得到全部商品评价文本数据的专业程度等级，将专业程度高的商品评价文本数据推荐给用户。

2.根据权利要求1所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S1包括：

S1-1，为一类商品评价文本数据，建立其概念层次树，每个概念层次树至少需要关联该商品的类别或者具体的商品代码，并且该商品的类别或者具体的商品代码没有数据噪声，将该概念层次树存储到用来存放概念层次树的库中；

S1-2，概念层次树是一种以树形结构来表示某个特定领域中各个概念之间的从属关系。每个概念层次树中的每个节点代表某个用来描述商品评价文本数据的外观、构成和功能特性的概念，节点之间的连线表示这些概念之间的从属关系，父节点表示比较一般的概念，其子节点表示比较具体的概念；值得注意的是某个概念有可能对应多个词语来描述。例如“颜色”这个概念可能对应{色彩、颜色、配色}等多个词语，因此概念层次树维护工具可以为每个概念关联多个词语。

S1-3，概念层次树中每个商品评价文本数据概念对应节点到根节点的路径长度称为概念的深度，其中根节点的深度定义为零。

3.根据权利要求1所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S2包括：

S2-1，通过基于字典的中文分词方法提取涉及概念的词语集合，将商品文本评价数据进行分词处理，并将得到所有涉及概念的词语提取出来；

S2-2，对概念匹配处理，将分词得到的每一个词语与概念层次树中的概念进行匹配，若词语包含在概念层次树某个概念的词语集合中，则认为该词语和该概念匹配，并记录该词语在概念层次树中的深度，若词语不能与概念层次树中概念匹配，则丢弃；

S2-3，定量计算商品评价文本数据的专业程度值，根据每个词语对应的概念深度和出现的次数计算该文本评价数据的专业程度的取值，即为专业程度值。

4.根据权利要求1所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S3包括：

S3-1，采用加权平均的方式将每个概念层次树上的取值汇总为一个最终的专业程度值；

S3-2，具体权重的选择根据领域专家指定，或根据概念层次树对应的商品分类的层次自动计算。

5.根据权利要求1所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S4包括：

S4-1，采用数据离散化方法，将商品评价文本数据的专业程度根据计算的程度值高低划分为若干个等级，将专业程度高的商品评价文本数据推荐给用户。

6.根据权利要求3所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S2-2包括：

记为集合S＝{x₁,x₂…x_n}，S表示从一条文本评价数据中提取出的词语的集合，x_i表示具体的词语，下标n表示词语的个数，集合D＝{d₁,d₂…d_n}，D表示词语对应的概念的深度的集合，d_i表示词语对应的概念的深度，下标n表示词语的个数，i为正整数，1≤i≤n。

7.根据权利要求3所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S2-3包括：

专业程度值计算如下：

${\mathrm{sc}}_k=1-e^{-\frac{{\mathrm{\Σ}}_{i=1}^n{d}_i*w_i}{n}};$

w_i＝tf_i*idf_i；

${\mathrm{tf}}_i=\frac{m}{n};$

${\mathrm{idf}}_i=\log \frac{\left|E\right|}{\left|\right\{j:x_i\∈e_j\left\}\right|};$

其中，sc_k表示某条商品评价文本数据根据选定的概念层次树t_k计算出的得分，是对商品评价文本数据的专业程度的度量；n表示从一条商品评价中提取出的词语的个数；d_i表示商品评价的词语x_i对应的概念的深度；w_i表示词语x_i在一条评价中的权重，若一个词语在一条评价中出现的次数越多，在其他评价中出现的次数越少，则该词语在该条评价中的权重越大；

tf_i表示词语x_i在一条商品评价中出现的频率，通过词语x_i在一条商品评价中出现的次数m与该条评价中词语的个数n的比值计算得出idf_i表示词语x_i在整个商品评价集合中的评价频率，是对一个词语普遍重要性的度量，通过商品评价的总数|E|与包含词语x_i的评价总数比值的对数得到e_i为商品评价中具体的某一条评价；某一特定评价内的高词语频率，以及该词语在整个评价集合中的低评价频率，产生出高权重的w_i。

8.根据权利要求4所述的用于电子商务的文本评价数据专业程度分析方法，其特征在于，所述S3-2包括：

专业程度综合分数计算过程如下：

$\mathrm{score}=\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_k*{\mathrm{sc}}_k,$

其中α_k为每个概念层次树对应的权重，sc_k为商品评价文本数据基于每个概念层次树计算得到的分数，l为所选择的概念层次树的个数，score为综合所有概念层次树的分数得到的文本评价数据的最终分数，下标k为正整数，1≤k≤l。