CN103870682B

CN103870682B - 一种局部分块的一类支持向量数据描述方法

Info

Publication number: CN103870682B
Application number: CN201410071393.5A
Authority: CN
Inventors: 蒋云良; 胡文军; 王培良; 陶剑文; 楼俊钢; 皋军
Original assignee: Huzhou University
Current assignee: Huzhou University
Priority date: 2014-02-28
Filing date: 2014-02-28
Publication date: 2017-04-19
Anticipated expiration: 2034-02-28
Also published as: CN103870682A

Abstract

一种局部分块的一类支持向量数据描述方法，通过局部分块和局部样本重构，使异常数据检测方法能够捕捉数据的全局几何结构，而且具备揭示数据局部几何结构信息的能力，具有较好监测异常数据的性能优势。

Description

一种局部分块的一类支持向量数据描述方法

技术领域

本发明涉及数据异常检测领域，尤其涉及一种局部分块的一类支持向量数据描述方法。

背景技术

现有通过对正常样本数据的学习进而获得其特征属性的过程称为异常检测，隶属于一类分类问题。在许多应用领域，如假币识别，医疗诊断，机器故障诊断，生物发酵过程异常监测，通信领域辐射源个体识别等，获得异常数据的可能性很小，且获取的过程需要花费大量的人力和物力。因此，异常检测在近几十年里得到了广泛关注。

一类支持向量数据描述的异常检测方法一直得到较大关注。许多学者提出了诸多改进版本，如小球体大间隔方法、多球支持向量数据描述方法等。上述异常检测方法在构建数学模型时，仅仅考虑到数据的全局几何结构，而忽略了数据的局部几何结构，导致隐藏在局部结构中的信息丢失，降低了上述方法在异常数据检测中的识别精度。

发明内容

本发明为了解决现有技术问题，既考虑到数据的全局几何结构，也考虑到数据的局部几何结构，设计一种实现有效的异常数据检测的局部分块的一类支持向量数据描述方法。

本发明的技术方案是：一种局部分块的一类支持向量数据描述方法，包括如下步骤：

步骤1：对样本集X＝(x₁，…，x_N)进行局部分块，得到各个局部分块P_i(i＝1，…，N)，具体方法为：把x_i对应最近邻个数K的最近邻样本集所构成的局部区域称为x_i在样本集X上的一个局部分块，其中，表示x_i的第p个最近邻样本点；

步骤2：计算重构系数其中，x_i的局部重构系数h为热核参数，得到重构系数矩阵W＝(W₁，…W_N)，用来权衡局部分块内不同样本对该局部区域内在几何结构的贡献程度；

步骤3：通过核函数计算核矩阵K，其中k(·，·)为核函数；

步骤4：设定核化模型：

其中通过拉格朗日获得所述核化模型的对偶形式：

步骤5：将步骤2得到的重构系数矩阵和步骤3得到的核矩阵代入步骤4的对偶形式，得到拉格朗日乘子向量α：α＝(α₁，…，α_N)^T；

步骤6：根据决策函数

f(x)＝R²+2[k(x，x₁)，…，k(x，x_N)]Wα-k(x，x)-α^T(W^TKW)α对未知样本x进行决策，其中核化后的球心：W是拉格朗日乘子α_s满足0＜α_s＜C条件所对应样本点x_s的重构系数向量，若f(x)≥0，则x为正常样本，否则为异常样本。

作为一种优选，步骤2中的近邻个数K从网格{2，3，…，14}中选择。

作为一种优选，步骤2中的热核参数h从网格表{2^-14，2^-13，…，2¹³，2¹⁴}中选择。

作为一种优选，步骤3中的核函数k(·，·)选为高斯核函数：

k(x_i，x_j)＝exp(-||x_i-x||²/2σ²)；

其中核带宽参数σ＝2^mσ₀，m＝{-4.5，-4.0，…，4.0，4.5}；

σ₀是样本数据平均2范数的平方根。

综上所述，本发明的有益效果是：提出的一类支持向量数据描述方法具有捕捉数据局部几何结构能力，从而使得构建的数据模型具有更好异常数据检测能力。

附图说明

图1为现有原始一类支持向量数据描述方法对半月形数据集的识别效图；

图2为本发明方法对半月形数据集的识别效图；

具体实施方式

利用本发明进行异常数据检测任务。本发明包括如下步骤：

此时x_i可根据如下进行重构：其中是只与局部分块P_i内样本相关的重构系数，是x_i根据局部分块P_i和重构系数重构后的新样本数据。

步骤2：计算重构系数其中，x_i的局部重构系数h为热核参数，因为热核函数可以反映出样本的几何分布，从而得到重构系数矩阵W＝(W₁，…W_N)，用来权衡局部分块内不同样本对该局部区域内在几何结构的贡献程度；

步骤3：通过核函数计算核矩阵K，其中k(·，·)为核函数；

根据原始一类支持向量数据描述方法(OCSVDD)中思想是在特征空间中找到一个超球,且要求该超球体积尽可能小，利用超球球面将正常样本和异常样本分离开，超球内(含超球面)样本为正常样本，而超球外样本为异常样本。我们将局部分块和重构函数引入后，设定步骤4的新核化模型：

其中通过拉格朗日获得所述核化模型的对偶形式：

步骤6：根据决策函数：

f(x)＝R²+2[k(x，x₁)，…，k(x，x_N)]Wα-k(x，x)-α^T(W^TKW)α对未知样本x进行决策，其中核化后的球心：W_s是拉格朗日乘子α_s满足0＜α_s＜C条件所对应样本点x_s的重构系数向量，若f(x)≥0，则x为正常样本，否则为异常样本。

实验1：利用人造半月形数据比较原始一类支持向量数据描述方法(OCSVDD)和本发明(OCSVDD_LP)两种算法的识别效果：

实验环境：CPU2.30GHz，8G RAM，Intel Core(TM)，WIN7OS，Matlab2011b。实验中，算法选择高斯核函数k(x_i，x_j)＝exp(-||x_i-x_j||²/2σ²)，其中σ是带宽参数.重构系数则采用热核函数计算。

本节实验的识别效果如图1和图2：其中半月形数据包含200个样本点。实验时，两种算法的核带宽参数σ均以样本数据平均2范数的平方根σ₀为基准，并取σ＝2^mσ₀，其中m＝{-4.5，-4.0，…，4.0，4.5}，惩罚系数C均从网格表{1，3，5，7，9}×10ⁿ中选择，其中n＝{-1，-2，-3}；OCSVDD_LP中的热核参数h从网格表{2^-14，2^-13，…，2¹³，2¹⁴}中选择，局部分块时的最近邻个数K则从网格{2，3，…，14}中选择。图中线条为超球面，线条中的数字为超球半径，此图中的参数信息如下：图1：σ＝2^0.5σ₀，C＝0.05；图2：σ＝2^-1.5σ₀，C＝0.03，h＝2⁶，K＝3。

从图上可以看出：1、两种方法得到的超球面都能捕获数据的全局几何结构(半月形结构)，这说明了本方法适用于数据的异常检测；2、OCSVDD超球面比较平滑，而OCSVDD_LP超球面比较粗超，这说明了本发明提出的通过局部分块及其对应样本点的贡献程度来重构数据的OCSVDD_LP方法能够捕获数据的局部几何结构。

实验2：利用OCC数据集比较OCSVDD_LP，OCSVDD，该数据集常被用于异常数据检测，可从http：//homepage.tudelft.nl/n9d04/occ/index.html网站下载得到，表1给出了4类9种OCC数据集的特征属性。

表1OCC数据集

数据集	维数	样本数	正常数据	异常数据
					Iris(Setosa)	4	150	50	100
Iris(Versicolor)	4	150	50	100
					Iris(Virginica)	4	150	50	100
Wine(1)	13	178	59	119
					Wine(2)	13	178	71	107
Wine(3)	13	178	48	130
					Biomed(Healthy)	5	194	127	67
Biomed(Diseased)	5	194	67	127
					Ecoli(Periplasm)	7	336	52	284

同时，为了避免计算时出现数据过大或过小，数据进行了归一化处理。训练样本：从正常数据中随机抽取70％数据构成训练样本。测试样本：剩余30％的正常数据和异常数据一起构成测试样本。参数选择：对于OCSVDDLP和OCSVDD算法，核带宽参数σ、惩罚系数C、热核参数h和最近邻个数K等参数的选择方法同实验1，表2给出了实验结果。

参阅表2，由于本发明利用局部分块和样本重构实现了数据的局部几何结构信息，结果OCSVDD_LP获得了最好检测结果，且标准差也较小，这在一定程度上说明了本文提出的基于局部分块和样本数据重构方法提高了对异常数据检测的能力。

表2在OCC的几何精度比较

数据集	OCSVDD_LP	OCSVDD
			Iris(Setosa)	100.00±0.00	96.15±4.82
Iris(Versicolor)	89.684±2.60	89.08±3.08

Iris(Virginica)	92.73±2.68	91.34±6.23
			Wine(1)	94.17±3.80	93.73±3.07
Wine(2)	88.36±3.17	91.02±3.46
			Wine(3)	97.77±2.62	95.15±5.22
Biomed(Healthy)	76.73±2.37	75.92±1.77
			Biomed(Diseased)	47.66±7.53	46.64±6.31
Ecoli(Periplasm)	89.84±3.27	86.66±5.04

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims

1.一种局部分块的一类支持向量数据描述方法，其特征在于：包括如下步骤：

步骤1：对样本集X＝(x₁,…,x_N)进行局部分块，得到各个局部分块P_i(i＝1,…,N)，具体方法为：把x_i对应最近邻个数K的最近邻样本集所构成的局部区域称为x_i在样本集X上的一个局部分块，其中，表示x_i的第p个最近邻样本点；

步骤2：计算重构系数其中，x_i的局部重构系数h为热核参数，得到重构系数矩阵W＝(w₁,…w_N)，用来权衡局部分块内不同样本对该局部区域内在几何结构的贡献程度；

步骤3：通过核函数计算核矩阵K，其中k(·,·)为核函数，其中就是将类似原始一类支持向量的数据原本不可分的状态映射到高维的希尔伯特空间中进行可分化；

步骤4：设定核化模型：

\min R^{2} + C Σ_{i = 1}^{N} ξ_{i}

其中通过拉格朗日获得所述核化模型的对偶形式：C为惩罚系数；

步骤5：将步骤2得到的重构系数矩阵和步骤3得到的核矩阵代入步骤4的对偶形式，得到拉格朗日乘子向量α：α＝(α₁,…,α_N)^T；

步骤6：根据决策函数

f(x)＝R²+2[k(x,x₁),…,k(x,x_N)]Wα-k(x,x)-α^T(W^TKW)α对未知样本x进行决策，其中核化后的球心：w_s是拉格朗日乘子α_s满足0＜α_s＜C条件所对应样本点x_s的重构系数向量，若f(x)≥0，则x为正常样本，否则为异常样本。

2.根据权利要求1所述的一种局部分块的一类支持向量数据描述方法，其特征在于：步骤1中的最近邻个数K从网格{2,3,…,14}中选择。

3.根据权利要求1所述的一种局部分块的一类支持向量数据描述方法，其特征在于：步骤2中的热核参数h从网格表{2^-14,2^-13,…,2¹³,2¹⁴}中选择。

4.根据权利要求1所述的一种局部分块的一类支持向量数据描述方法，其特征在于：步骤3中的核函数k(·,·)选为高斯核函数

k(x_i,x_j)＝exp(-||x_i-x_j||²/2σ²)

其中核带宽参数σ＝2^mσ₀,m＝{-4.5,-4.0,…,4.0,4.5}，

σ₀是样本数据平均2范数的平方根。