CN106250917A - 一种基于加速近端梯度pca的时序评分异常值检测方法 - Google Patents

Abstract

本发明公开了一种基于加速近端梯度PCA的时序评分异常值检测方法，包括步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比值，得到评分分布的矩阵；步骤二：利用加速近端梯度PCA算法对所述评分分布矩阵进行降秩，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。

Description

一种基于加速近端梯度PCA的时序评分异常值检测方法

技术领域

本发明属于数据挖掘领域，主要涉及一种基于加速近端梯度PCA的时序评分异常值检测方法。

背景技术

随着经济和科技的快速发展，网购已经深入人们生活的点点滴滴。2015年我国人均网购金额已经超过9000元，由此产生了大量针对产品或者服务的评分数据。一方面这些评分可以给消费者提供参考，帮助他们在购物的时候做出选择；另一方面，这些评分数据也影响着商家的生产经营策略，他们可以根据评分数据，及时发现产品的缺陷，从而达到盈利的目标。但是，这些评分数据会受到异常值的影响，比如说，商家故意营造产品的高质量假象。因此，检测出这些异常评分、还原用户评分的基本表现具有十分重要的意义。

用户对于产品的评分数据并不是完全静态的，它会随着时间变化，而针对这些评分数据的时空分析可以为相关人员研究产品质量的发展提供深层次的了解。

用户的常规评分行为称为基本行为，这些基本行为描述了产品或者服务随时间而变化的总体质量。相反，异常现象就是脱离了基本行为的评分，例如，产品的质量发生变化。

主成分分析是用于高维数据分析的主要方法之一，在科学和工程领域有广泛的应用。主成分分析是一种降维的统计方法，借助一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。

发明内容

本发明提出了一种基于加速近端梯度PCA的时序评分异常值检测方法，该方法包括以下具体步骤：

步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比值，得到评分分布矩阵；

步骤二：利用加速近端梯度PCA算法对所述评分分布矩阵进行降秩，具体采用了加速近端梯度算法，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。

本发明提出的所述基于加速近端梯度PCA的时序评分异常值检测方法中，利用加速近端梯度PCA对所述矩阵进行降秩，包括如下步骤：

1、步骤i：初始化零矩阵(A_k，A_k-1，E_k，E_k-1)，所述零矩阵(A_k，A_k-1，E_k，E_k-1)与所述低秩矩阵及所述稀疏矩阵同大，初始化迭代操作的步长(t_k,t_k-1)、优化函数的折中因子(λ)、和所述评分分布矩阵的二范数(μ_k)；

步骤ii：分别计算矩阵分别以如下公式表示：

$Y_k^A=A_k+\frac{t_{k-1}-1}{t_k}(A_k-A_{k-1});$

$Y_k^E=E_k+\frac{t_{k-1}-1}{t_k}(E_k-E_{k-1});$

$G_k^A=Y_k^A-\frac{1}{2}(Y_k^A+Y_k^E-D);$

$G_k^E=Y_k^E-\frac{1}{2}(Y_k^A+Y_k^E-D);$

上式中，表示矩阵A_k邻近的矩阵，表示矩阵E_k邻近的矩阵，表示求解矩阵A_k的最优化问题中的变量，表示求解矩阵E_k的最优化问题中的变量；

步骤iii：对矩阵进行奇异值分解，得到其中U表示左奇异值，Σ表示奇异值矩阵，V表示右奇异值；

步骤iv：计算A_k+1，E_k+1，分别以如下公式表示：

$A_{k+1}={\mathrm{US}}_{\frac{{\mathrm{\μ}}_K}{2}}\left(\mathrm{\Σ}\right)V^T;$

其中S_ε(x)表示对对角矩阵x做阈值化的函数，S_ε(x)＝max(x_ii-ε,0)；

步骤v：更新t_k+1，即得到本次迭代的步长

步骤vi：计算如下迭代循环条件

$S_{k+1}^A=2(Y_k^A-A_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

$S_{k+1}^E=2(Y_k^E-E_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

$stop=\frac{\left|\right|S_{k+1}^A,S_{k+1}^E|{|}_F}{2\×max(1,|\left|A_{k+1}{E}_{k+1}\right|{|}_F)};$

其中||·||_F表示求矩阵的Forbenius范数，分别表示低秩矩阵和稀疏矩阵本次迭代后与上次迭代结果的距离；如果不满足迭代条件，结束循环，进入步骤viii。否则进入步骤vii；

步骤vii：对循环初始值重新赋值，t_k-1＝t_k,t_k＝t_k+1；A_k-1＝A_k,E_k-1＝E_k；A_k＝A_k+1,E_k＝E_k+1，然后进行步骤ii：

步骤viii：得到低秩矩阵和稀疏矩阵，所述低秩矩阵A_k+1表示用户基本行为的评分分布，所述稀疏矩阵E_k+1表示检测到的用户的异常行为。

本发明的有益效果在于：本发明利用加速近端梯度鲁棒主成分分析的方法来检测动态评分数据中的异常值。该方法可以有效的减少程序运行的时间，并且提高异常值检测的准确率。通过该方法检测出来的用户基本行为，可以客观的衡量产品的质量；而检测出的异常行为则可以及时的发现产品的某些变化带来的实际效果。

附图说明

图1为基于加速近端梯度PCA的时序评分异常值检测方法的流程图。

图2为加速近端梯度PCA算法的流程图。

图3为实施例中某产品评分分布示意图。

图4为实施例中用加速近端梯度PCA方法处理剔除掉异常数据的某产品评分分布示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本实施例中，收集亚马逊网站上某产品3年内的所有评分，将所有的评分数据按时间排序，把该时间序列分成100个间隔相等的时间段，这里时间段数量的取值方法是通过统计所有的评分数，然后除以50，保证平均每个时间段里有50个评分数。每个时间段的长度为(tm_max-tm_min)/100，tm_max是最晚的评论时间，tm_min是最早的评论时间。统计每段时间内各个评分值占该时间段内评分总数的比例，将所有的比值构成一个5×100的矩阵D。

然后利用加速近端梯度PCA算法，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。具体步骤如下：

i.矩阵D表示原始评分分布矩阵，矩阵A表示低秩矩阵，矩阵E表示稀疏矩阵，为了进行对矩阵A和D的迭代更新计算，引入零矩阵A_k，A_k-1，E_k，E_k-1，它们表示的意义与对应的矩阵A和D一致，具体的是代表了迭代过程中前两次迭代后得出的结果，对它们进行初始化，使得上述矩阵是与矩阵D等大小的零矩阵。用t来控制每一步迭代的步长，因为每次迭代操作的步长均不一样，引入t_k,t_k-1，表示迭代过程中前两次的步长，并且初始化为0。令λ＝0.12为优化函数的折中因子，μ_k＝||D||₂为拉格朗日函数的乘子，μ_k即为所述评分分布矩阵D的二范数。令矩阵A_k，A_k-1，E_k，E_k-1为5×100的零矩阵，t_k,t_k-1＝0，λ＝0.12。计算μ_k＝||D||₂，即求矩阵D的二范数。

ii.按以下公式分别计算矩阵

$Y_k^A=A_k+\frac{t_{k-1}-1}{t_k}(A_k-A_{k-1});$

$Y_k^E=E_k+\frac{t_{k-1}-1}{t_k}(E_k-E_{k-1});$

$G_k^A=Y_k^A-\frac{1}{2}(Y_k^A+Y_k^E-D);$

$G_k^E=Y_k^E-\frac{1}{2}(Y_k^A+Y_k^E-D);$

iii.对矩阵进行奇异值分解，得到

iv.按以下公式计算A_k+1，E_k+1；

$A_{k+1}={\mathrm{US}}_{\frac{{\mathrm{\μ}}_K}{2}}\left(\mathrm{\Σ}\right)V^T;$

其中S_ε(x)是对对角矩阵x做阈值化的函数，具体为

S_ε(x)＝max(x_ii-ε,0)；

v.更新t_k+1，

vi.计算如下迭代循环条件

$S_{k+1}^A=2(Y_k^A-A_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

$S_{k+1}^E=2(Y_k^E-E_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

其中||·||_F表示求矩阵的Forbenius范数。如果stop的值小于10^-7则迭代完成，结束循环，进入步骤viii。否则进入下一步。

vii.对循环初始值重新赋值，具体方法如下

t_k-1＝t_k,t_k＝t_k+1

A_k-1＝A_k,E_k-1＝E_k

A_k＝A_k+1,E_k＝E_k+1，然后进入步骤ii。

viii.循环结束时，矩阵A_k+1表示用户基本行为的评分分布，矩阵E_k+1表示检测到的用户的异常行为。

根据以上步骤，本实施例以图形显示相关结果，图3显示的是该产品的原评分分布图，图4是用加速近端梯度PCA方法处理剔除掉异常数据的某产品评分分布示意图。从这两张图中可以看出，本发明所提出的方法可以准确的找出异常评分，恢复产品真实的评分数据。

为了将本发明所提出来的加速近端梯度PCA的方法与传统的主成分分析方法做比较，针对某一产品的评分数据，在该数据的100组评分中，任意选取5组数据，向其中随机地添加评分，即异常评分。分别用两种方法对此数据进行处理，得到各自的评分恢复数据，将该数据与原始未添加异常值的数据进行比较，计算误差。传统的主成分分析方法的准确率为78％，加速近端梯度PCA方法的准确率为84％。

本发明所采用的加速近端梯度PCA方法，该方法可以处理满足稀疏要求下的任何分布的异常值，而传统的主成分分析方法只能处理满足高斯分布的异常值。因此，在处理一般的评分数据时，加速近端梯度PCA方法所恢复的正常评分数据更加接近原始的不受异常评分影响的评分分布，即有更高的准确率。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (2)

1.一种基于加速近端梯度PCA的时序评分异常值检测方法，其特征在于，该方法包括以下具体步骤：

步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比值，得到评分分布矩阵；

步骤二：利用加速近端梯度PCA算法对所述评分分布矩阵进行降秩，具体采用了加速近端梯度算法，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。

2.如权利要求1所述的时序评分异常值检测方法，其特征在于，利用加速近端梯度PCA对所述矩阵进行降秩，包括如下步骤：

步骤i：初始化零矩阵(A_k，A_k-1，E_k，E_k-1)，所述零矩阵(A_k，A_k-1，E_k，E_k-1)与所述低秩矩阵及所述稀疏矩阵同大，初始化迭代操作的步长(t_k,t_k-1)、优化函数的折中因子(λ)、和所述评分分布矩阵的二范数(μ_k)；

步骤ii：分别计算矩阵分别以如下公式表示：

$Y_k^A=A_k+\frac{t_{k-1}-1}{t_k}(A_k-A_{k-1});$

$Y_k^E=E_k+\frac{t_{k-1}-1}{t_k}(E_k-E_{k-1});$

$G_k^A=Y_k^A-\frac{1}{2}(Y_k^A+Y_k^E-D);$

$G_k^E=Y_k^E-\frac{1}{2}(Y_k^A+Y_k^E-D);$

上式中，表示矩阵A_k邻近的矩阵，表示矩阵E_k邻近的矩阵，表示求解矩阵A_k的最优化问题中的变量，表示求解矩阵E_k的最优化问题中的变量；

步骤iii：对矩阵进行奇异值分解，得到其中U表示左奇异值，∑表示奇异值矩阵，V表示右奇异值；

步骤iv：计算A_k+1，E_k+1，分别以如下公式表示：

$A_{k+1}={\mathrm{US}}_{\frac{{\mathrm{\μ}}_K}{2}}\left(\mathrm{\Σ}\right)V^T;$

其中S_ε(x)表示对对角矩阵x做阈值化的函数，S_ε(x)＝max(x_ii-ε,0)；

步骤v：更新t_k+1，即得到本次迭代的步长

步骤vi：计算如下迭代循环条件

$S_{k+1}^A=2(Y_k^A-A_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

$S_{k+1}^E=2(Y_k^E-E_{k+1})+(A_{k+1}+E_{k+1}-Y_k^A-Y_k^E);$

$stop=\frac{\left|\right|S_{k+1}^A,S_{k+1}^E|{|}_F}{2\×\max (1,||A_{k+1},E_{k+1}|{|}_F)};$

其中||·||_F表示求矩阵的Forbenius范数，分别表示所述低秩矩阵和所述稀疏矩阵本次迭代后与上次迭代结果的距离；如果不满足迭代条件，结束循环，进入步骤viii。否则进入步骤vii；

步骤vii：对循环初始值重新赋值，t_k-1＝t_k,t_k＝t_k+1；A_k-1＝A_k,E_k-1＝E_k；A_k＝A_k+1,E_k＝E_k+1，然后进行步骤ii：

步骤viii：得到低秩矩阵和稀疏矩阵，所述低秩矩阵A_k+1表示用户基本行为的评分分布，所述稀疏矩阵E_k+1表示检测到的用户的异常行为。