CN106204140A

CN106204140A - 一种基于kl距离的群体观点迁移检测方法

Info

Publication number: CN106204140A
Application number: CN201610544119.4A
Authority: CN
Inventors: 吕钊; 王茂全
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2016-12-07

Abstract

本发明公开了一种基于KL距离的群体观点迁移检测方法，包括如下步骤：获取评论数据，评论数据包括评论者、评论时间、评论分数、文本信息和投票信息；根据收集数据中的评论时间对评分进行排序，并统计各个单位时间内的评分等级所占比例，得到二维的评分分布矩阵；根据Kullback‑Leibler Divergence公式计算两个单位时间内数据概率分布的距离，得到一维的KLD序列；使用基于KL距离的群体观点迁移检测算法，利用按评论时间滑动的时间窗口，对时间窗口内的KLD序列进行检测直到时间线的末尾，输出时间窗口内KLD的最大值作为观点改变点。

Description

一种基于KL距离的群体观点迁移检测方法

技术领域

本发明属于数据挖掘领域，尤其涉及一种基于KL距离的群体观点迁移检测方法。

背景技术

随着互联网的发展，淘宝，亚马逊，Yelp等网上购物与评论平台成了人们生活中不可或缺的部分。通过这些在线购物平台，用户发表了大量的评论数据。这些在线评论数据为用户提供了历史客户关于相关产品或服务有价值的信息反馈，进而影响着用户的决策过程。开发并展示这些数据是一个购物平台中的一项关键功能。除了为客户可以从这些评论数据中获取参考性的价值，公司和商家也可以从中受益，例如，使用评论数据检测产品的缺陷，检查客户满意度的变化等。现有研究中主要把重点放在对垃圾评论的识别上，其主要方法是检测评分异常点和分析评论的文本信息以识别垃圾评论。目前也有研究在做商品的方向观点识别，以获取评论者对商品各个方面的观点。本发明主要解决的问题是识别评论群体对商品整体的观点转变情况。

为了克服上述缺陷，本发明提出了一种基于KL距离的群体观点迁移检测方法一个方法来分析这些评论数据流所包含数据的时序特征。通过提供产品或服务的时间标定的评论数据，利用统计评分求得单位时间内的评分分布图，并使用本发明提出的基于滑动窗口的KLD观点变化检测算法就可以检测出用户观点发生迁移变化的时间点。

发明内容

本发明提出了一种基于KL距离的群体观点迁移检测方法，包括如下步骤：

步骤一：获取评论数据，所述评论数据包括评论者、评论时间、评论分数、文本信息和投票信息；根据收集数据中的评论时间对评分进行排序，并统计各个单位时间内的评分等级所占比例，得到二维的评分分布矩阵；根据Kullback-Leibler Divergence公式计算两个单位时间内数据概率分布的距离，得到一维的KLD序列；

步骤二：使用基于KL距离的群体观点迁移检测算法，利用按评论时间滑动的时间窗口，对所述时间窗口内的KLD序列进行检测直到时间线的末尾，输出所述时间窗口内KLD的最大值作为观点改变点。

本发明提出的所述基于KL距离的群体观点迁移检测方法中，所述步骤一中进一步包括：使用拉普拉斯平滑方法，将步骤一中的评分分布矩阵中的零值调整为极小的非零值。

本发明提出的所述基于KL距离的群体观点迁移检测方法中，所述非零值为0.00001％。

本发明提出的所述基于KL距离的群体观点迁移检测方法中，所述步骤一中进一步包括：将评分数据的概率和大于1的比例值平均分配到非零比例中。

本发明提出的所述基于KL距离的群体观点迁移检测方法中，利用基于滑动窗口的Kullback-Leibler Divergence观点迁移检测算法对所述KLD序列进行检测，包括如下步骤：

I)设置变量的初始值，并初始化时间窗口W大小为N，记时间序列为t，记时间t的评分等级分布为x_t，时间t所在时间窗口的评分等级分布数据记为x_wi，(i＝1,2,,...,N)；

II)移动所述时间窗口，对于当前时刻t的评分等级分布数据x_t,计算x_t与x_t-1之间的KLD值，放入所述时间窗口的前端，其中K为特征个数；

III)计算所述时间窗口中的KLD均值，记为avg_kld，若当前时刻t的kld值x_t大于avg_kld则删除所述窗口中末端的数据，否则时间窗口的大小N值加一；

IV)计算当前时间窗口体x_wi中的KL距离的最大值作为观点改变点，并输出；

V)返回进行步骤II)，直到遍历完所有数据。

本发明的有益效果在于：本发明利用基于KL距离的群体观点迁移检测算法来检测用户在评论数据流中的观点迁移变化点。该方法可以有效地检测出观点迁移点。通过该方法检测出来的变化点，可以及时地从大量的评论数据流中获取用户对产品或服务的信息反馈，及时发现相关产品的缺陷与优点。

附图说明

图1为数据收集与基于KL距离的群体观点迁移检测算法的流程图

图2为用户评分概率分布柱状图

图3为KL距离时序图

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提供一种基于KL距离的群体观点迁移检测方法，检查用户对产品或服务的观点变化。具体包括以下步骤：

步骤一：数据预处理，具体为：

ⅰ)收集商务平台上的用户评论数据。其中评论数据主要包括五个部分：评论者，评论时间，评论分数，评论的文本数据和评论的投票信息。在本发明中，主要利用评论时间与分数数据，这里记单位时间为z。其中对于评论分数不同的网站有不同的规格，如：五分制，十分制，百分制。这里记评分级数为L。

本发明实施例中，收取了Yelp网站上Mon Amin Gubi餐馆的评论数据。考虑到餐馆的运营特点，本实施例中取单位时间z为一个月。因为Yelp网站上的评论分数为五分制，所以评分等级L＝5。进而收集并统计得到了116个单位时间内的各个评分段的分布矩阵，记为D_116×5。

ⅱ)根据收集数据中评分的时间游标对评分进行排序，设定单位时间大小为T，并统计每个单位时间T内，各个评分等级所占比例，从而得到二维的评分分布矩阵。通过计算相邻行的评分分布来进一步得到一维的KLD序列。为避免除数为零的情况，优选地使用拉普拉斯平滑的方法，将所占比例为零的的评分修改为极小的非零值，如取值为0.00001％，同时为了保证各个评分概率和为一的特征，将多出来的比例值平摊到非零比例中；评分分布柱状图见图2，图2中横坐标为时间，单位为月；纵坐标为1、2、3、4、5分的评分统计分布。

iii)根据KLD计算公式，计算相邻两个时间单位间数据概率分布的距离，从而得到一维的KLD序列。

步骤二：使用基于KL距离的群体观点迁移检测算法，对KLD时间序列值进行检测。检测出来的点就是观点迁移的点。具体为：

I)初始化算法变量的初始值：记窗口为W，W的大小为N，记时间为t，此时的评分分布数据记为x_t，时间窗口W中的评分数据记为x_wi；其中w为0,1,2...；i＝1,2,,...,N；设置N＝6；设窗口的最大值为W_max＝12；

II)对于任输入的x_t,计算x_t与x_t-1之间的KL距离，并将之放入窗口W的头部。其中K为特征个数，这里K取值为0，1，2，3，4。其中，当t＝1时取KL距离的值为0。

III)计算窗口W中的KLD均值，记为avg_kld。a.输入时间t的KL距离值x_t，若新加入的x_t值大于avg_kld则删除窗口W中的末尾数据，此时N值不变，否则窗口增大N＝N+1；t＝t+1；若N>W_max则保留窗口W中的前W_max个KL距离值。b.若无新的KL距离输入则退出，算法结束。

IV)计算窗口W中的最大值，并输出这个最大值点作为用户观点迁移点。

V)回到步骤II)

步骤三：Top-N检测算法。具体为：

I)本实验设置N为10。

II)计算步骤一中的KLD序列的前N个最大值作为观点变迁点输出。

经过本发明方法检测之后，获得了如图3所示的用于表征用户群体对产品观点转变点的KL距离时序图。其中圆点为检测出的对应的群体观点变化的时间点。通过对这些时间点下的文字评论进行审核，发现这些时间点内的评论观点相较于之前时间的评论观点发生了观点变化。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims

1.一种基于KL距离的群体观点迁移检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于KL距离的群体观点迁移检测方法，其特征在于，所述步骤一中进一步包括：使用拉普拉斯平滑方法，将步骤一中的评分分布矩阵中的零值调整为极小的非零值。

3.如权利要求2所述的基于KL距离的群体观点迁移检测方法，其特征在于，所述非零值为0.00001％。

4.如权利要求1或2所述的基于KL距离的群体观点迁移检测方法，其特征在于，所述步骤一中进一步包括：将评分数据的概率和大于1的比例值平均分配到非零比例中。

5.如权利要求1所述的基于KL距离的群体观点迁移检测方法，其特征在于，利用基于滑动窗口的Kullback-Leibler Divergence观点迁移检测算法对所述KLD序列进行检测，包括如下步骤：

I)设置变量的初始值，并初始化时间窗口W大小为N，记时间序列为t，记时间t的评分等级分布为x_t，记时间t所在时间窗口的评分等级分布数据记为x_wi，(i＝1,2,,...,N)；

V)返回进行步骤II)，直到遍历完所有数据。