CN105046275A - 基于角度方差的大规模高维离群数据检测方法 - Google Patents

Abstract

本发明公开了一种基于角度方差的大规模高维离群数据检测方法，属于离群数据挖掘技术领域，包括以下步骤：（1）数据点集投影到与随机向量正交的超平面上；（2）计算投影后的数据点的角度方差无偏期望值；（3）计算各数据点的角度方差；（4）确定离群数据：角度方差最小的n个点为数据集离群度最大的离群点。本发明可以高效快速地从大规模高维数据中发现隐藏在其中的离群数据。

Description

基于角度方差的大规模高维离群数据检测方法

技术领域

本发明涉及一种基于角度方差的大规模高维离群数据检测方法，属于离群数据挖掘技术领域。

背景技术

离群数据挖掘技术是目前数据挖掘领域的研究热点之一，广泛应用于网络流量入侵检测、交通事故检测、科学数据测量异常检测等领域。目前已有的离群数据挖掘主要基于距离或最近邻概念进行离群挖掘，在高维数据中，高维空间距离和最近邻已经不再具有欧式空间的特性，就会出现距离维度灾难的情况。在高维数据中，由于离群点远离其它数据点，离群点与其它点组成的向量的夹角变化不大，而非离群点被包围在数据点中，非离群点与其它点组成的向量的夹角变化较大，因此根据夹角变化的方差可以发现隐藏在高维数据中的离群数据。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于角度方差的大规模高维离群数据检测方法，可以高效快速地从大规模高维数据中发现隐藏在其中的离群数据。

为达到上述目的，本发明所采用的技术方案是：基于角度方差的大规模高维离群数据检测方法，包括如下步骤：

步骤一：数据点集投影到与随机向量正交的超平面上；

步骤二：计算投影后的数据点的角度方差无偏期望值；

步骤三：计算各数据点的角度方差；

步骤四：确定离群数据：角度方差最小的n个点为数据集离群度最大的离群点，其中n为高维离群数据中点的个数。

所述步骤一包括如下步骤：

步骤1-1)形式化数据集：大规模高维离群数据可形式化为：

给定的数据集点P∈D，点A∈D\{P},点B∈D\{P,A},表示向量表示向量表示向量和向量角度；

步骤1-2)定义基于角度的离群因子OF(P)，即角度方差形式化为：

大规模高维离群数据集D,|D|＝n,点P∈D,点A∈D\{P},点B∈D\{P,A},点P的离群因子OF(P)定义为的方差，一阶矩为二阶矩为即：

$OF\left(P\right)={\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2-{\left({\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\right)}^2=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}^2}{\frac{1}{2}(n-1)(n-2)}-{\left(\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}(n-1)(n-2)}\right)}^2;$

步骤1-3)数据点集投影到与随机向量正交的超平面上，其中向量坐标从标准正态分布N(0,1)中随机选择:

依据投影之后的数据，估计每个点的角度无偏期望值,其中随机向量取v₁,v₂,…,v_i∈R^d，各向量坐标从标准正态分布N(0,1)中独立选取，选取独立随机向量对于向量v_i，只有当向量和位于与v_i正交的超平面不同侧时，这种情况的概率与角度成正比,采用如下选取方式：

对于点A,B,P,的概率存在如下关系：

$\mathrm{Pr}\[X_{PAB}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}}{2\mathrm{\π}}$

同样，由于对称性，也存在以下关系：

$\mathrm{Pr}\[X_{PBA}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}}{2\mathrm{\π}}.$

所述步骤二是根据随机超平面投影来估计个数据点的角度方差，包括一阶矩估计和二阶矩估计，具体包括如下步骤：

步骤2-1)一阶矩估计：对于向量v∈R^d和点P，

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}(n-1)(n-2)}=\frac{2}{(n-1)(n-2)}\left(2\mathrm{\π}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]\right)\\ =\frac{2\mathrm{\π}}{(n-1)(n-2)}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}\left(E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]+E\[X_{\stackrel{\‾}{PBA}}^{\left(i\right)}\]\right)=\frac{2\mathrm{\π}}{(n-1)(n-2)}\left|L_P^{\left(i\right)}\right|\left|R_P^{\left(i\right)}\right|\end{array};$

其中，表示由随机投影时，P点左侧的点组成的集合；表示由随机投影时，P点右侧的点组成的集合，即为P点和其它点的角度期望无偏估计值；

步骤2-2)二阶矩估计：对于点P，随机确定集合D\{P}的次序为x_i(i＝1,2…n)，对于使用向量v_i后的每一个投影取两个向量X_i,Y_i∈{0,1}，因此有第k个投影坐标与集合D\{P}第k个点对应；如果集合的第k个点位于分区的左边则向量X_i或Y_i第k个坐标为1，如果集合的第k个点位于分区的右边则向量X_i或Y_i第k个坐标为0；

其中(X_iY_i)为向量X_i,Y_i的外积，且P的对角线元素为0，因此，就是t次投影后A位于分区左边，B位于分区右边的次数，可以根据矩阵P的元素估计点P与点A，B的角度的平方

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2=\frac{{\mathrm{\Σ\φ}}_{PAB}^2}{\frac{1}{2}(n-1)(n-2)}=\frac{\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}\left({\mathrm{\φ}}_{\stackrel{\‾}{PAB}}^2+{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}^2\right)}{\frac{1}{2}(n-1)(n-2)}\\ =\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}\left(\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}E\left({\stackrel{\‾}{P}}_{ij}^2\right)-\frac{k}{\mathrm{\π}}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}\right)\\ =\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}E\left(\right|\left|\stackrel{\‾}{P}\right|{|}_F^2)-\frac{2\mathrm{\π}}{k-1}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\end{array}.$

所述步骤四中确定离群数据的具体方法如下：

步骤4-1)将步骤三中所有数据点的角度方差按照大小进行排序，得到角度方差数列L；

步骤4-2)划分角度方差序列L为2类：C_A和C_B，C_A为数值较小的一类，C_B为数值较大的一类；

分类算法步骤为：依次比较数据序列L中的前后数据，如果数值变化大于某一阈值ε，则该数据及其后面所有的数据都划分为类C_B，其中ε由用户确定，即

C_A＝Φ,C_B＝L

如果d＝|l_i+1-l_i|＜ε，则C_A＝C_A∪{l_i}

否则，C_B＝C_B\{l_i}

4-3)确定离群点，具体方法为：

获得的类别C_A，如果C_A的数据个数大于某一阈值δ，则没有检测到离群点，否则C_A中所有数据对应的点为离群点，其中δ由用户设定。

与现有技术相比，本发明所达到的有益效果是：本发明提供的基于角度方差的大规模高维离群数据检测方法，能有效克服基于高维距离和最近邻等离群检测方法的“维度灾难”问题，利用本发明可以广泛应用于信用卡欺诈检测、交通事故检测、科学数据测量异常检测等高维数据中。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，基于角度方差的大规模高维离群数据检测方法，包括如下步骤：

步骤一：数据点集投影到与随机向量正交的超平面上；

步骤1-1)形式化数据集：大规模高维离群数据可形式化为：

给定的数据集点P∈D，点A∈D\{P},点B∈D\{P,A},表示向量表示向量表示向量和向量角度；

步骤1-2)定义基于角度的离群因子OF(P)，即角度方差形式化为：

大规模高维离群数据集D,|D|＝n,点P∈D,点A∈D\{P},点B∈D\{P,A},点P的离群因子OF(P)定义为的方差，一阶矩为二阶矩为即：

$OF\left(P\right)={\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2-{\left({\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\right)}^2=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}^2}{\frac{1}{2}(n-1)(n-2)}-{\left(\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}(n-1)(n-2)}\right)}^2;$

步骤1-3)数据点集投影到与随机向量正交的超平面上，其中向量坐标从标准正态分布N(0,1)中随机选择:

依据投影之后的数据，估计每个点的角度无偏期望值,其中随机向量取v₁,v₂,…,v_i∈R^d，各向量坐标从标准正态分布N(0,1)中独立选取，选取独立随机向量对于向量v_i，只有当向量和位于与v_i正交的超平面不同侧时，这种情况的概率与角度成正比,采用如下选取方式：

对于点A,B,P,的概率存在如下关系：

$\mathrm{Pr}\[X_{PAB}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}}{2\mathrm{\π}}$

同样，由于对称性，也存在以下关系：

$\mathrm{Pr}\[X_{PBA}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}}{2\mathrm{\π}}.$

步骤二：计算投影后的数据点的角度方差无偏期望值，即根据随机超平面投影来估计个数据点的角度方差，包括一阶矩估计和二阶矩估计，具体包括如下步骤：

步骤2-1)一阶矩估计：对于向量v∈R^d和点P，

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}(n-1)(n-2)}=\frac{2}{(n-1)(n-2)}\left(2\mathrm{\π}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]\right)\\ =\frac{2\mathrm{\π}}{(n-1)(n-2)}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}\left(E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]+E\[X_{\stackrel{\‾}{PBA}}^{\left(i\right)}\]\right)=\frac{2\mathrm{\π}}{(n-1)(n-2)}\left|L_P^{\left(i\right)}\right|\left|R_P^{\left(i\right)}\right|\end{array};$

其中，表示由随机投影时，P点左侧的点组成的集合；表示由随机投影时，P点右侧的点组成的集合，即为P点和其它点的角度期望无偏估计值；

步骤2-2)二阶矩估计：对于点P，随机确定集合D\{P}的次序为x_i(i＝1,2…n)，对于使用向量v_i后的每一个投影取两个向量X_i,Y_i∈{0,1}，因此有第k个投影坐标与集合D\{P}第k个点对应；如果集合的第k个点位于分区的左边则向量X_i或Y_i第k个坐标为1，如果集合的第k个点位于分区的右边则向量X_i或Y_i第k个坐标为0；

其中(X_iY_i)为向量X_i,Y_i的外积，且的对角线元素为0，因此，就是t次投影后A位于分区左边，B位于分区右边的次数，可以根据矩阵P的元素估计点P与点A，B的角度的平方

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2=\frac{{\mathrm{\Σ\φ}}_{PAB}^2}{\frac{1}{2}(n-1)(n-2)}=\frac{\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}\left({\mathrm{\φ}}_{\stackrel{\‾}{PAB}}^2+{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}^2\right)}{\frac{1}{2}(n-1)(n-2)}\\ \frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}\left(\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}E\left({\stackrel{\‾}{P}}_{ij}^2\right)-\frac{k}{\mathrm{\π}}\underset{\underset{A\≠B}{A,B\∈D\backslash \left\{P\right\}}}{\Σ}{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}\right)\\ =\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}E\left(\right|\left|\stackrel{\‾}{P}\right|{|}_F^2)-\frac{2\mathrm{\π}}{k-1}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\end{array}.$

步骤三：计算各数据点的角度方差，即各数据点P的离群因子OF(P)，

$\begin{array}{c}OF\left(P\right)={\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2-{\left({\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\right)}^2=\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}E\left(\right|\left|\stackrel{\‾}{P}\right|{|}_F^2)-\frac{2\mathrm{\π}}{k-1}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}-{\left({\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\right)}^2\\ =\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}E\left(\right|\left|\stackrel{\‾}{P}\right|{|}_F^2)-\frac{4{\mathrm{\π}}^2}{k(k-1)(n-1)(n-2)}\left|L_P^{\left(i\right)}\right||R_P^{\left(i\right)}-{\left(\frac{2\mathrm{\π}}{(n-1)(n-2)}\left|L_P^{\left(i\right)}\right||R_P^{\left(i\right)}\right)}^2\end{array}$

其中，k表示对于点P有第k个投影坐标与集合D\{P}中第k个点对应；是由构成的矩阵，元素表示t次投影后任意点A位于分区左边，点B位于分区右边的次数。

步骤四：确定离群数据：角度方差最小的n个点为数据集离群度最大的离群点，其中n为高维离群数据中点的个数，具体方法如下：

步骤4-1)将步骤三中所有数据点的角度方差按照大小进行排序，得到角度方差数列L；

步骤4-2)划分角度方差序列L为2类：C_A和C_B，C_A为数值较小的一类，C_B为数值较大的一类；

分类算法步骤为：依次比较数据序列L中的前后数据，如果数值变化大于某一阈值ε，则该数据及其后面所有的数据都划分为类C_B，其中ε由用户确定，即

C_A＝Φ,C_B＝L

如果d＝|l_i+1-l_i|＜ε，则C_A＝C_A∪{l_i}

否则，C_B＝C_B\{l_i}

4-3)确定离群点，具体方法为：

获得的类别C_A，如果C_A的数据个数大于某一阈值δ，则没有检测到离群点，否则C_A中所有数据对应的点为离群点，其中δ由用户设定。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.基于角度方差的大规模高维离群数据检测方法，其特征在于，包括如下步骤：

步骤一：数据点集投影到与随机向量正交的超平面上；

步骤二：计算投影后的数据点的角度方差无偏期望值；

步骤三：计算各数据点的角度方差；

步骤四：确定离群数据：角度方差最小的n个点为数据集离群度最大的离群点，其中n为高维离群数据中点的个数。

2.根据权利要求1所述的基于角度方差的大规模高维离群数据检测方法，其特征在于，所述步骤一包括如下步骤：

步骤1-1)形式化数据集：大规模高维离群数据可形式化为：

给定的数据集|D|＝n,点P∈D，点A∈D\{P},点B∈D\{P,A},表示向量 表示向量 表示向量和向量角度；

步骤1-2)定义基于角度的离群因子OF(P)，即角度方差形式化为：

大规模高维离群数据集D,|D|＝n,点P∈D,点A∈D\{P},点B∈D\{P,A},点P的离群因子OF(P)定义为的方差，一阶矩为二阶矩为即：

$OF\left(P\right)={\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2-{\left({\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\right)}^2=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}^2}{\frac{1}{2}(n-1)(n-2)}-{\left(\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}(n-1)(n-2)}\right)}^2;$

步骤1-3)数据点集投影到与随机向量正交的超平面上，其中向量坐标从标准正态分布N(0,1)中随机选择:

依据投影之后的数据，估计每个点的角度无偏期望值,其中随机向量取v₁,v₂,…,v_i∈R^d，各向量坐标从标准正态分布N(0,1)中独立选取，选取独立随机向量对于向量v_i，只有当向量和位于与v_i正交的超平面不同侧时，这种情况的概率与角度成正比,采用如下选取方式：

对于点A,B,P,的概率存在如下关系：

$\mathrm{Pr}\[X_{PAB}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}}{2\mathrm{\π}}$

同样，由于对称性，也存在以下关系：

$\mathrm{Pr}\[X_{PBA}^i=1\]=\frac{{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}}{2\mathrm{\π}}.$

3.根据权利要求2所述的基于角度方差的大规模高维离群数据检测方法，其特征在于，所述步骤二是根据随机超平面投影来估计个数据点的角度方差，包括一阶矩估计和二阶矩估计，具体包括如下步骤：

步骤2-1)一阶矩估计：对于向量v∈R^d和点P，

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}=\frac{{\mathrm{\Σ\φ}}_{\stackrel{\‾}{PAB}}}{\frac{1}{2}\left(n-1\right)\left(n-2\right)}=\frac{2}{\left(n-1\right)\left(n-2\right)}\left(2\mathrm{\π}\underset{\begin{array}{c}A,B\∈D\backslash \left\{P\right\}\\ A\≠B\end{array}}{\Σ}E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]\right)\\ =\frac{2\mathrm{\π}}{\left(n-1\right)\left(n-2\right)}\underset{\begin{array}{c}A,B\∈D\backslash \left\{P\right\}\\ A\≠B\end{array}}{\Σ}\left(E\[X_{\stackrel{\‾}{PAB}}^{\left(i\right)}\]+E\[X_{\stackrel{\‾}{PBA}}^{\left(i\right)}\]\right)=\frac{2\mathrm{\π}}{\left(n-1\right)\left(n-2\right)}\left|L_P^{\left(i\right)}\right|\left|R_P^{\left(i\right)}\right|\end{array};$

其中，表示由随机投影时，P点左侧的点组成的集合；表示由随机投影时，P点右侧的点组成的集合，即为P点和其它点的角度期望无偏估计值；

步骤2-2)二阶矩估计：对于点P，随机确定集合D\{P}的次序为x_i(i＝1,2…n)，对于使用向量v_i后的每一个投影取两个向量X_i,Y_i∈{0,1}，因此有第k个投影坐标与集合D\{P}第k个点对应；如果集合的第k个点位于分区的左边则向量X_i或Y_i第k个坐标为1，如果集合的第k个点位于分区的右边则向量X_i或Y_i第k个坐标为0；

其中(X_iY_i)为向量X_i,Y_i的外积，且的对角线元素为0，因此，就是t次投影后A位于分区左边，B位于分区右边的次数，可以根据矩阵的元素估计点P与点A，B的角度的平方

$\begin{array}{c}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}^2=\frac{{\mathrm{\Σ\φ}}_{PAB}^2}{\frac{1}{2}\left(n-1\right)\left(n-2\right)}=\frac{\underset{\begin{array}{c}A,B\∈D\backslash \left\{P\right\}\\ A\≠B\end{array}}{\Σ}\left({\mathrm{\φ}}_{\stackrel{\‾}{PAB}}^2+{\mathrm{\φ}}_{\stackrel{\‾}{PBA}}^2\right)}{\frac{1}{2}\left(n-1\right)\left(n-2\right)}\\ =\frac{4{\mathrm{\π}}^2}{k\left(k-1\right)\left(n-1\right)\left(n-2\right)}\left(\underset{i=1}{\overset{n-1}{\Σ}}\underset{j=1}{\overset{n-1}{\Σ}}E\left({\stackrel{\‾}{P}}_{ij}^2\right)-\frac{k}{\mathrm{\π}}\underset{\begin{array}{c}A,B\∈D\backslash \left\{P\right\}\\ A\≠B\end{array}}{\Σ}{\mathrm{\φ}}_{\stackrel{\‾}{PAB}}\right)\\ =\frac{4{\mathrm{\π}}^2}{k\left(k-1\right)\left(n-1\right)\left(n-2\right)}E\left({||\stackrel{\‾}{P}||}_F^2\right)-\frac{2\mathrm{\π}}{k-1}{\mathrm{E\φ}}_{\stackrel{\‾}{PAB}}\end{array}.$

4.根据权利要求3所述的基于角度方差的大规模高维离群数据检测方法，其特征在于，所述步骤四中确定离群数据的具体方法如下：

步骤4-1)将步骤三中所有数据点的角度方差按照大小进行排序，得到角度方差数列L；

步骤4-2)划分角度方差序列L为2类：C_A和C_B，C_A为数值较小的一类，C_B为数值较大的一类；

分类算法步骤为：依次比较数据序列L中的前后数据，如果数值变化大于某一阈值ε，则该数据及其后面所有的数据都划分为类C_B，其中ε由用户确定，即

C_A＝Φ,C_B＝L

如果d＝|l_i+1-l_i|<ε，则C_A＝C_A∪{l_i}

否则，C_B＝C_B\{l_i}

4-3)确定离群点，具体方法为：

获得的类别C_A，如果C_A的数据个数大于某一阈值δ，则没有检测到离群点，否则C_A中所有数据对应的点为离群点，其中δ由用户设定。