CN109816119A - 一种基于无监督学习的无线传感器异常数据检测方法 - Google Patents

Abstract

本发明公开了一种基于无监督学习的无线传感器异常数据检测方法，包括步骤：1、获取无线传感器节点连续采集的m个数据构成训练样本集；2、建立四分之一超球支持向量机模型，其球心位于高维空间坐标原点，最小支持半径为R；3、应用粒子群算法和训练样本集对四分之一超球支持向量机模型的参数进行优化，得到优化模型；4、获取无线传感器节点连续采集的m+1个数据T_q，计算T_m+1在优化模型的映射空间中到球心的距离d(T_m+1)，如果d(T_m+1)≤R，T_m+1为正常数据；如果d(T_m+1)＞R，用{T₁,T₂,..T_m}作为训练样本集重新训练模型并计算最小支持半径R_new，计算T_m+1在更新后模型的映射空间中到球心的距离d(T_m+1)_new，如果d(T_m+1)_new≤R_new，数据T_m+1为正常数据，否则T_m+1为异常数据。该方法采用无监督学习，无需对样本进行标注，且检测正确率较高。

Description

一种基于无监督学习的无线传感器异常数据检测方法

技术领域

本发明属于无线传感器安全领域，具体涉及一种基于无监督学习的无线传感器异常数据检测方法。

背景技术

无线传感器网络近年来越来越多地受到全世界的广泛关注，已经成为一个极为重要的研究领域，它在融合通信和传感领域的同时，已实现的成果也为其他领域的研究打下了基础。无线传感器网络具有广泛的使用场景，如环境监测应用、军事侦察、医疗设备、智能农业、炼油工业等。

无线传感器网络通常是由在大范围内密集部署的多个传感器组成，这些外观小巧的传感器用于监视并收集周围的环境信息，同时通过无线电通信将这些信息发送至汇聚节点。由于这些传感器设备成本低，使得它们通常具有存储器空间小、计算能力低、电池容量小、使用寿命短和能量带宽有限的特点，容易使收集到的数据与一般情况下的正常数据有偏差。此外，无线传感器的部署地点常常处于空旷、人烟稀少的野外地区，增加了遭受自然灾难侵袭的可能性，导致硬件和软件的故障，这也提高了异常数据的产生率，所以务必要对无线传感器节点进行异常数据检测，这可以提升网络中采集的数据质量，进行安全监控，并发现重要事件。

针对无线传感器节点的异常检测问题，国内外许多研究人员早已提出了各种应对方法，如文献Outlier detection in sensor networks中提出的一种基于直方图的统计学方法，收集节点数据分布的直方图信息来进行正常和异常数据的筛选，但是太多的直方图信息会增加通信开销。另外一些方法使用机器学习中的相关算法进行异常检测，如A.T.C.Andrade等人提出的CWA(Outlier detection using k-means clustering andlightweight methods for Wireless Sensor Networks)方法，使用聚类方法对节点进行分簇来识别出异常值。

支持向量机是一种基于分类的机器学习方法，具有单分类、二分类和多分类三种形式。在二分类和多分类方法中，需要使用带标签的训练样本，而在无线传感器节点的异常数据检测中无法事先对采集的数据进行判别，所以单分类支持向量机作为一种无监督技术，更适合用在这样的场景中。与将超平面或超球作为映射空间的单分类方法相比，四分之一超球方法不使用非线性方法解决计算问题，算法更容易实现。相关方法也已提出很多，如S.Rajasegarar等提出的BOD(Quarter Sphere Based Distributed Anomaly Detectionin Wireless Sensor Networks)方法，Yang Zhang等提出的AOD(Ensuring high sensordata quality through use of online outlier detection techniques)方法，都是在四分之一超球支持向量机的基础上实现，但是这些方法的检测率和误报率仍存在进步的空间。

发明内容

发明目的：本发明旨在提供一种可以在线实时检测无线传感器节点采集数据是否异常的方法，该方法采用无监督学习，无需对样本进行标注，且检测正确率较高。

技术方案：本发明采用如下技术方案：

一种基于无监督学习的无线传感器异常数据检测方法，包括步骤：

(1)获取无线传感器节点连续采集的m个数据，构成训练样本集S，S＝{s_i|i＝1..m}，s_i为D维向量；

(2)建立四分之一超球支持向量机模型，所述四分之一超球支持向量机模型的球心位于高维空间坐标原点，最小支持半径为R，其所要求解的约束问题为：

s.t.||φ(x)||²≤R²+ξ_i

ξ_i≥0

其中R属于实数集ξ＝{ξ_i|i＝1..m}为松弛变量，ξ属于m维实数向量集其每一个元素ξ_i均为实数；u为惩罚参数，φ(x)为原始数据空间到高维空间的映射函数。其对偶形式为：

其中a＝{a_i|i＝1..m}为拉格朗日乘子，a属于m维实数向量集k(x_i,x_i)为核函数，k(x_i,x_i)＝φ(x_i)·φ(x_i)＝||φ(x_i)||²，φ(x_i)·φ(x_i)是φ(x_i)的内积，k(x,z)＝exp(-||x-z||²/2σ²)；

(3)应用粒子群算法和训练样本集对参数u和σ进行优化，得到优化后的四分之一超球支持向量机模型；计算出模型的最小支持半径R；

(4)获取无线传感器节点连续采集的m+1个数据T_q，q＝1..m+1，数据T_m+1是否异常的检测步骤为：

计算数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)，如果d(T_m+1)≤R，数据T_m+1为正常数据；如果d(T_m+1)＞R，用{T₁,T₂,..T_m}构成新的训练样本集T，按照步骤2-3重新构建并训练四分之一超球支持向量机模型，得到更新后的最小支持半径R_new，重新计算数据T_m+1在更新后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)_new，如果d(T_m+1)_new≤R_new，数据T_m+1为正常数据，否则T_m+1为异常数据。

所述步骤(3)包括：

(3.1)定义M个粒子组成粒子集Z＝{z_j|j＝1..M}，每个粒子的位置用p表示，p＝(u,σ)；随机初始化M个粒子的位置和速度，第j个粒子z_j的位置为p_j＝(u_j,σ_j)，速度为v_j；

定义位置在(u,σ)粒子的适应度为：其中N(u,σ)表示以u和σ的值作为参数的四分之一超球支持向量机模型对训练样本集S中的样本进行异常检测，检测结果正确的数量；

初始化迭代次数h＝0，初始化第j个粒子的最佳位置p_j,best为p_j；

(3.2)将M个粒子的初始位置p_j＝(u_j,σ_j)分别作为参数计算适应度，选择其中适应度值最大的粒子位置作为初始的粒子集最佳位置p_best；

(3.3)按如下更新方程更新粒子集Z中粒子z_j的位置和速度：

上式中，上标表示迭代次数；c₁、c₂为加速度系数；r₁、r₂为(0,1)范围内均匀分布的伪随机数；位置在(u,σ)粒子的惯性权重ω(u,σ)为：

ω_min为惯性权重可取的最小值，ω_max为惯性权重可取的最大值，f_avg为第h次迭代完成后所有粒子适应度的平均值，f_min为第h次迭代完成后所有粒子适应度的最小值；

更新完成后重新计算每个粒子的适应度；如果则将p_j,best的值更新为如果则将p_best更新为

迭代次数h加一；

(3.4)重复步骤(3.3)，直到迭代次数h达到预设的阈值H_th，或p_best连续H_t′_h次迭代都不发生更新，结束迭代；此时p_best的值(u_best,σ_best)即为步骤(2)中建立的四分之一超球支持向量机模型的最优参数；根据(u_best,σ_best)的值计算出模型的最小支持半径R，步骤如下：

将u＝u_best、σ＝σ_best、训练样本集S代入步骤(2)中建立的四分之一超球支持向量机模型的约束问题的对偶形式中，求解出拉格朗日乘子a＝{a_i|i＝1..m}，对于符合的序号i，计算其对应的样本s_i在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(s_i)，最小支持半径R的值即为d(s_i)。

步骤(4)中计算待检测数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)为：

(4.1)计算训练样本集的核函数矩阵其中1_m是所有元素为的m阶方阵；K为m阶方阵，其第i行j列的元素为k(s_i,s_j)，s_i与s_j为训练样本集中的样本，i,j＝1..m，核函数矩阵的第i行j列的元素为

(4.2)

本发明中，惯性权重可取的最小值ω_min为0.4，惯性权重可取的最大值ω_max为0.9，加速度系数c₁、c₂均为2。

有益效果：与现有技术相比，本发明公开的方法具有以下有益效果：

与基于二分类或多分类支持向量机这些需要带标签样本作为训练样本的检测方法相比，本发明作为一种无监督学习方法，可以在训练样本全部为正常数据的情况下建立模型，减小了因训练样本选择不当而造成建立不可靠模型带来的损失；

与使用默认参数建立支持向量机的检测方法相比，本发明结合粒子群算法这种收敛快且计算简便的优化算法，并考虑其中的惯性权重对于全局搜索和局部搜索能力的重要性使用一种改进的自适应方法，用最终收敛得到的最佳参数代替默认参数，增强了支持向量机模型的检测准确性；

与需要收集一段时间内节点的多个数据作为测试样本的离线异常检测方法相比，本发明可以以一种在线检测方法执行检测过程，每收集一个数据就可以立即对其进行正常和异常的判断，增强了异常检测方法的实时性能。此外，在本发明中，训练模型会根据数据分布的变化不断进行自我更新，提升了检测结果的可靠性，能够在保证较高检测率的同时也在一定程度上降低误报率。

附图说明

图1为本发明公开方法的整体流程示意图；

图2为四分之一超球支持向量机平面图；

图3为实施例中传感器节点1收集数据分布；

图4为本发明方法和使用SVDD方法进行异常数据检测的检测率比较图；

图5为本发明方法和使用SVDD方法进行异常数据检测的误报率比较图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，一种基于无监督学习的无线传感器异常数据检测方法，包括步骤：

步骤1、获取无线传感器节点连续采集的m个数据，构成训练样本集S，S＝{s_i|i＝1..m}，s_i为D维向量，D的值视传感器采集信息的属性个数而定，如传感器可以采集温度和湿度信息，则D为2；

步骤2、建立四分之一超球支持向量机模型，所述四分之一超球支持向量机模型的球心位于高维空间坐标原点，其平面图如图2所示，该类型的支持向量机将原始数据映射到高维空间的几何体中，通过数据点距离球心的位置来判断正异常，所创建的球体半径为R，称为最小支持半径，任何正常数据都必须处在球体内部或球面上，其所要求解的约束问题为：

s.t.||φ(x)||²≤R²+ξ_i

ξ_i≥0

其中R属于实数集ξ＝{ξ_i|i＝1..m}为松弛变量，ξ属于m维实数向量集其每一个元素ξ_i均为实数；u为惩罚参数，φ(x)为原始数据空间到高维空间的映射函数；

其对偶形式为：

其中a＝{a_i|i＝1..m}为拉格朗日乘子，a属于m维实数向量集k(x_i,x_i)为核函数，k(x_i,x_i)＝φ(x_i)·φ(x_i)＝||φ(x_i)||²，φ(x_i)·φ(x_i)是φ(x_i)的内积，本发明采用高斯核函数，即径向基函数(Radial Basis Function，RBF)，具体表达式为：k(x,z)＝exp(-||x-z||²/2σ²)。于是原始问题变成了求解a_i的线性优化问题，模型建立的关键在于对偶问题中u和核函数参数σ的选取，为了找到能够使模型达到最佳的参数u和σ，本发明使用一种改进的粒子群算法进行参数优化。

步骤3、应用粒子群算法和训练样本集对参数u和σ进行优化，得到优化后的四分之一超球支持向量机模型；计算出模型的最小支持半径R；

所述步骤(3)包括：

(3.1)定义M个粒子组成粒子集Z＝{z_j|j＝1..M}，每个粒子的位置用p表示，p＝(u,σ)；随机初始化M个粒子的位置和速度，第j个粒子z_j的位置为p_j＝(u_j,σ_j)，速度为v_j；

定义位置在(u,σ)粒子的适应度为：其中N(u,σ)表示以u和σ的值作为参数的四分之一超球支持向量机模型对训练样本集S中的样本进行异常检测，检测结果正确的数量；

初始化迭代次数h＝0，初始化第j个粒子的最佳位置p_j,best为p_j；

(3.2)将M个粒子的初始位置p_j＝(u_j,σ_j)分别作为参数计算适应度，选择其中适应度值最大的粒子位置作为初始的粒子集最佳位置p_best；

(3.3)按如下更新方程更新粒子集Z中粒子z_j的位置和速度：

上式中，上标表示迭代次数；c₁、c₂为加速度系数；r₁、r₂为(0,1)范围内均匀分布的伪随机数；为位置在处粒子的权重，本发明采用自适应惯性权重的方法，即惯性权重ω随粒子距离最佳位置的远近在规定范围内动态改变：惯性权重大，算法全局搜索效果明显；惯性权重小，算法局部搜索效果明显，位置在(u,σ)粒子的惯性权重ω(u,σ)为：

ω_min为惯性权重可取的最小值，ω_max为惯性权重可取的最大值，f_avg为第h次迭代完成后所有粒子适应度的平均值，f_min为第h次迭代完成后所有粒子适应度的最小值；本发明中，惯性权重可取的最小值ω_min为0.4，惯性权重可取的最大值ω_max为0.9，加速度系数c₁、c₂均为2。

更新完成后重新计算每个粒子的适应度；如果则将p_j,best的值更新为如果则将p_best更新为

迭代次数h加一；

(3.4)重复步骤(3.3)，直到迭代次数h达到预设的迭代次数阈值H_th，或p_best连续H_t′_h次迭代都不发生更新，结束迭代；H_t′_h为预设的迭代停止阈值；此时p_best的值(u_best,σ_best)即为步骤(2)中建立的四分之一超球支持向量机模型的最优参数；根据(u_best,σ_best)的值计算出模型的最小支持半径R，步骤如下：

将u＝u_best、σ＝σ_best、训练样本集S代入步骤(2)中建立的四分之一超球支持向量机模型的约束问题的对偶形式中，求解出拉格朗日乘子a＝{a_i|i＝1..m}，对于符合的序号i，计算其对应的样本s_i在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(s_i)，最小支持半径R的值即为d(s_i)。

如a＝{a_i|i＝1..m}中有多个元素的值符合则任选一个来完成计算。

步骤4、获取无线传感器节点连续采集的m+1个数据T_q，q＝1..m+1，数据T_m+1是否异常的检测步骤为：

计算数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)，如果d(T_m+1)≤R，数据T_m+1为正常数据；如果d(T_m+1)＞R，用{T₁,T₂,..T_m}构成新的训练样本集T，按照步骤2-3重新构建并训练四分之一超球支持向量机模型，得到更新后的最小支持半径R_new，重新计算数据T_m+1在更新后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)_new，如果d(T_m+1)_new≤R_new，数据T_m+1为正常数据，否则T_m+1为异常数据。

计算数据T_m+1在映射空间中到球心的距离：d(T_m+1)＝||φ(T_m+1)||，由于采用基于距离的核函数结果会受到范数的影响，致使所有样本对应的核函数值变得相等，约束问题不能得到正确的解，本实施例中将原映射函数改写为：

的形式，对应的核函数矩阵变为：计算待检测数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)为：

(4.1)计算训练样本集的核函数矩阵其中1_m是所有元素为的m阶方阵；K为m阶方阵，其第i行j列的元素为k(s_i,s_j)，s_i与s_j为训练样本集中的样本，i,j＝1..m，k(s_i,s_j)＝exp(-||s_i-s_j||²/2σ²)；核函数矩阵的第i行j列的元素为

(4.2)数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)为：

在步骤(3.4)中，样本s_i在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(s_i)也按上述方法来计算。

为了验证本发明的性能，下面具体通过实例说明。

数据样本采用IBRL(英特尔伯克利实验室)数据集，使用其中1号传感器节点采集从上午6点至下午5点的温度与湿度信息，如图3所示，实心点是选取的10％的异常数据——这些数据点与其他点的马氏距离相距较远。

图4和图5对比了本发明公开的方法与使用默认参数的SVDD(Support VectorData Description，支持向量数据描述)方法，当训练样本的个数分别选取为50，100，250，450时，检测率对比和误报率具体数值分别如表2和表3所示。说明本发明公开的方法检测效果要比SVDD方法突出。

表2本发明方法与SVDD方法检测率

表3本发明方法与SVDD方法误报率

上述仅为本发明的优选实施方式，非限制本发明的适用范围。本领域技术人员可以在不超出本发明权利要求书所述内容的情况下，对局部细节进行修改或替换，这些修改和替换也应包含在本发明的保护范围之中。

Claims (5)

1.一种基于无监督学习的无线传感器异常数据检测方法，其特征在于，包括步骤：

(1)获取无线传感器节点连续采集的m个数据，构成训练样本集S，S＝{s_i|i＝1..m}；

(2)建立四分之一超球支持向量机模型，所述四分之一超球支持向量机模型的球心位于高维空间坐标原点，最小支持半径为R，其所要求解的约束问题为：

s.t.||φ(x)||²≤R²+ξ_i

ξ_i≥0

其中R属于实数集ξ＝{ξ_i|i＝1..m}为松弛变量，ξ属于m维实数向量集其每一个元素ξ_i均为实数；u为惩罚参数，φ(x)为原始数据空间到高维空间的映射函数；

其对偶形式为：

其中a＝{a_i|i＝1..m}为拉格朗日乘子，a属于m维实数向量集k(x_i,x_i)为核函数，k(x_i,x_i)＝φ(x_i)·φ(x_i)＝||φ(x_i)||²，φ(x_i)·φ(x_i)是φ(x_i)的内积，采用高斯核函数k(x,z)＝exp(-||x-z||²/2σ²)；

(3)应用粒子群算法和训练样本集对参数u和σ进行优化，得到优化后的四分之一超球支持向量机模型；计算出模型的最小支持半径R；

(4)获取无线传感器节点连续采集的m+1个数据T_q，q＝1..m+1，数据T_m+1是否异常的检测步骤为：

计算数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)，如果d(T_m+1)≤R，数据T_m+1为正常数据；如果d(T_m+1)＞R，用{T₁,T₂,..T_m}构成新的训练样本集T，按照步骤2-3重新构建并训练四分之一超球支持向量机模型，得到更新后的最小支持半径R_new，重新计算数据T_m+1在更新后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)_new，如果d(T_m+1)_new≤R_new，数据T_m+1为正常数据，否则T_m+1为异常数据。

2.根据权利要求1所述的基于无监督学习的无线传感器异常数据检测方法，其特征在于，所述步骤(3)包括：

(3.1)定义M个粒子组成粒子集Z＝{z_j|j＝1..M}，每个粒子的位置用p表示，p＝(u,σ)；随机初始化M个粒子的位置和速度，第j个粒子z_j的位置为p_j＝(u_j,σ_j)，速度为v_j；

定义位置在(u,σ)粒子的适应度为：其中N(u,σ)表示以u和σ的值作为参数的四分之一超球支持向量机模型对训练样本集S中的样本进行异常检测，检测结果正确的数量；

初始化迭代次数h＝0，初始化第j个粒子的最佳位置p_j,best为p_j；

(3.2)将M个粒子的初始位置p_j＝(u_j,σ_j)分别作为参数计算适应度，选择其中适应度值最大的粒子位置作为初始的粒子集最佳位置p_best；

(3.3)按如下更新方程更新粒子集Z中粒子z_j的位置和速度：

上式中，上标表示迭代次数；c₁、c₂为加速度系数；r₁、r₂为(0,1)范围内均匀分布的伪随机数；位置在(u,σ)粒子的惯性权重ω(u,σ)为：

ω_min为惯性权重可取的最小值，ω_max为惯性权重可取的最大值，f_avg为第h次迭代完成后所有粒子适应度的平均值，f_min为第h次迭代完成后所有粒子适应度的最小值；

更新完成后重新计算每个粒子的适应度；如果则将p_j,best的值更新为如果则将p_best更新为

迭代次数h加一；

(3.4)重复步骤(3.3)，直到迭代次数h达到预设的阈值H_th，或p_best连续H_t′_h次迭代都不发生更新，结束迭代；此时p_best的值(u_best,σ_best)即为步骤(2)中建立的四分之一超球支持向量机模型的最优参数；根据(u_best,σ_best)的值计算出模型的最小支持半径R，步骤如下：

将u＝u_best、σ＝σ_best、训练样本集S代入步骤(2)中建立的四分之一超球支持向量机模型的约束问题的对偶形式中，求解出拉格朗日乘子a＝{a_i|i＝1..m}，对于符合的序号i，计算其对应的样本s_i在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(s_i)，最小支持半径R的值即为d(s_i)。

3.根据权利要求1所述的基于无监督学习的无线传感器异常数据检测方法，其特征在于，步骤(4)中计算待检测数据T_m+1在优化后的四分之一超球支持向量机模型的映射空间中到球心的距离d(T_m+1)为：

(4.1)计算训练样本集的核函数矩阵其中1_m是所有元素为的m阶方阵；K为m阶方阵，其第i行j列的元素为k(s_i,s_j)，s_i与s_j为训练样本集中的样本，i,j＝1..m，k(s_i,s_j)＝exp(-||s_i-s_j||²/2σ²)；核函数矩阵的第i行j列的元素为

4.根据权利要求2所述的基于无监督学习的无线传感器异常数据检测方法，其特征在于，惯性权重可取的最小值ω_min为0.4，惯性权重可取的最大值ω_max为0.9。

5.根据权利要求2所述的基于无监督学习的无线传感器异常数据检测方法，其特征在于，加速度系数c₁、c₂均为2。