CN105307200A - 一种基于轨迹的无线传感器网络多维数据异常值检测方法 - Google Patents

Abstract

本发明公开了一种关于无线传感器网络多维数据的异常值检测方法。主要考虑现有方法中不能很好的利用传感器节点之间的空间相关性及节点数据的时间相关性等问题。主要方法是通过对传感器节点进行分簇，并进一步对所得分簇结果训练包含所有簇内节点的椭圆，从而可以达到对数据降维的目的。对网络内所有节点选取相同时间段10组数据并作相应降维处理后，将降维后的10个数据拟合成一条曲线，作为测试曲线。同样对次日相同时间段内的节点数据作上述处理，所得曲线作为检测曲线。通过对测试曲线与检测曲线的趋势及相似度进行比较，判断该节点收集到的数据是否存在异常值。本发明所述异常值检测方法实现过程比较简单，且在检测过程中不需要额外的数据通信，同时还可以实现对传感器节点收集的多维数据的检测。

Description

一种基于轨迹的无线传感器网络多维数据异常值检测方法

技术领域

本发明涉及无线传感器领域，特别是无线传感器网络中多维数据异常值检测，用于解决无线传感器网络所收集的多维数据存在不可靠数据的问题。

技术背景

无线传感器网络(WSNs)是由大量廉价微型节点组成，且节点之间通过无线电通信方式交流。网络的目的是通过节点之间的相互协作来完成对部署区域的监测并将收集到的数据传输给远程观测者。由于网络监测区域多为无人监督的恶劣环境，同时出于对部署成本的考虑，网络通常选择低成本、低质量的节点，导致传感器所采集到的数据会存在许多误差数据、错误数据、不一致数据甚至可能丢失数据。传感器节点所收集的数据存在如此多的不可靠数据使得其不能被直接用于科学研究。为此，为了更好的使用WSNs数据，同时为了实现其各种功能，对网络中的异常值进行检测变得日趋重要。

目前，已经有多重异常值检测方法：基于邻近节点的方法，基于统计学的方法，基于分簇的方法，基于聚类的方法以及基于频谱分析的方法。但是，传感器网络的一些自身特点使得并不是所有的现有检测方法都能很好的直接用于其中。为此，为了更好的设计关于WSNs的高效、可行的异常值检测方法，需要考虑以下特点：

(1)节点能力受限。传感器节点的廉价微型特性导致其携带电源的能量相当有限。能量的多少在一定程度上影响了传感器节点的处理、储存和通信收发能力。因此，在实际应用中，应该充分考虑传感器节点的各种能量和能力限制，然而多数传统检测方法很少考虑算法在节点能力受限的情况下的性能。

(2)分布式自组织。在WSNs中，所有节点均处于相同地位，没有任何一个节点是严格意义上的“统治者”，这种网络节点之间的平等直接影响即是其通过分布式协作即可保证网络的正常运行。同时，WSNs的节点具有很强的自组织能力，其可以在任何恶劣或者动态环境下配置网络，并通过特定的途径将监测数据传送给远程观测者，实现网络的功能。考虑网络的超强自组织能力能很好降低网络开销，从而设计更有效的异常值检测算法

(3)高能耗高负载。无线传感器网络节点的无线通信会消耗节点的大部分能量，其是节点计算消耗的好多倍。然而，多数传统异常值检测方法采用集中处理所收集数据的方法，大大增加了节点能耗和通信负载，降低网络寿命。因此，如何可以降低通信能耗以延长WSNs寿命是设计WSNs异常值检测方法的一个重要考虑方面。

(4)实时性。综合分析WSNs的应用领域可以得出，对异常值的检测都需要在线且实时。网络对事件的反应时间与系统的性能成正比。因此，设计实时的异常值检测方法是及其有必要的。

综上所述，实时的、分布式的同时可以保持较低通信能耗与通信负载，并可以实现较高检测率与较低误报率的异常值检测方法才是适合无线传感器网络的异常值检测算法。

在文献Statistics-basedoutlierdetectionforwirelesssensornetworks中，作者给出几种基于统计学模型的WSNs异常数据检测方法。包括只考虑时间相关性的方法、只考虑空间相关性的方法以及同事考虑时空相关性的方法。但是，就多维数据而言，文章中依然采用时间序列模型及地理统计学，没有考虑对数据降维，大大增加了计算消耗。

文献Trajectory-basedmulti-dimensionaloutlierdetectioninwirelesssensornetworksusingHiddenMarkovModels中，作者利用傅里叶变换对传感器节点收集到的多维数据降维。同时，在隐马尔科夫模型应用的过程中还利用了数据之间的时间相关性。但是，文中没有考虑节点之间存在的空间相关性。

文献Distributedonlineoutlierdetectioninwirelesssensornetworksusingellipsoidalsupportvectormachine中，作者利用超椭球支持向量机对数据分类从而达到找出异常数据的目的。文中利用范数定义多维数据之间的距离。其在达到较高的检出率的同时，还保证了有很低的误检测率。同时，该方法还是一种在线的，实时检方法。但训练椭球支持向量机的过程需要事先明确数据的分布，需要较大能量消耗。

文献AnEnergy-EfficientOutlierDetectionBasedonDataClusteringinWSNs中，通过对节点之间的空间相关性分析来对节点进行分簇，从而减少了通信交流进而减少了能量消耗。但对于多维数据先分别对一维数据处理后再整合，增加了计算量。

在无线传感器网络中，理论上相邻区域内的节点数据具有空间相关性，且同一节点连续时间段内数据具有时间相关性。但目前已有文献只有少数异常检测方法同时考虑了时间和空间相关性，这必然会使得检测准确度降低或者使检测成本增加。

发明内容

本发明的目的在于针对目前已有WSNs异常值检测方法的不足，提出了一种同时考虑时间和空间相关性的基于轨迹的多维数据WSNs异常值检测方法。在详细介绍本发明前，首先给出三个定义。

定义1(PermissionRange：许可半径)d维传感器数据集其中这里表示第i个节点的第k维数据。其第k维许可半径定义为：

${\mathrm{PR}}_k=\left(MAX\right(\{r_1^d\[k\],\mathrm{...},r_n^d\[k\]\})-MIN\left(\right\{r_1^d\[k\],\mathrm{...},r_n^d\[k\]\left\}\right))/\[2(n-1)\]$

这里，如果有则称数据与在第k维是相邻的；如果与在第k维相邻，则其在第k维同属一个簇。对节点i,j，只有当其d维数据与在所有的第k(1≤k≤d)维均同属一个簇时，才称节点i,j属于同一个簇。

定义2(Clusterrange:簇区间)簇C_j的簇区间记为CR_i ^d，其中对1≤k≤d有

${\mathrm{CR}}_i^d\[k\]=\[{\min }_i^d\[k\],{\max }_i^d\[k\]\]$

其中，为簇C_i在第k维的簇区间。

给定簇C_i和C_j，簇区间分别为和对于第k维数据，如果有：

$\left\{\begin{array}{c}{\min }_i^d\left[k\right]<{\min }_j^d\left[k\right]\\ {\min }_j^d\left[k\right]-{\max }_i^d\left[k\right]\&le;{\mathrm{PR}}_k\end{array}\right.$

则称簇区间和在第k维重叠。

当簇区间和在第k维重叠时，称簇C_i和簇C_j在第k维可合并，且新形成的簇之簇半径为CR＝［MIN({min_i,min_j}),MAX({max_i,max_j})］。当簇C_i和C_j在所有第k(1≤k≤d)维均重叠时，簇C_i和C_j可合并为新的簇。

定义3(函数相似)定义在X上的函数g(x)和f(x)是相似的，如果当g(x)和f(x)平移至相同起点后，有：对任意的x∈X，都有|f(x)-g(x)|＜c；

或者有：

$\frac{|\underset{X}{\&Integral;}g\left(x\right)dx-\underset{X}{\&Integral;}f\left(x\right)dx|}{\min \left(\underset{X}{\&Integral;}g\right(x)dx,\underset{X}{\&Integral;}f\left(x\right)dx)}<c.$

上式中，c是一个大于0的参数，但不能过大，应该远远小于1。在实际应用中由实际情况确定其值。

本发明的基本技术思路：首先，根据某相同时刻传感器节点数据对传感器节点分簇，对分簇后的每个簇分别训练超椭球并相应计算超椭球各个轴长，将轴长比例系数作为系数对多维数据线性降维，降维后的数据拟合成数据曲线，作为测试曲线。对次日相同时间段的数据作相同降维、曲线拟合处理，拟合后的曲线作为检测曲线。比较测试曲线与检测曲线的趋势及曲线相似度，以此来检测节点收集的多维数据是否存在异常数据。

其具体实现步骤如下：

S1:选取相同适当时间段传感器节点数据(2004-03-0100：57——2004-03-0101：03)；

S2：依据数据对节点分簇；

S3：对相应的簇训练超椭球并相应计算超椭球各个轴长；

S4：据轴长将数据降维；

S5：将降维后的数据进行非线性曲线拟合；

S6：选取节点在2004-03-0200：57——2004-03-0201：03时间段内数据，并根据对应分簇按S4、S5处理数据；

S7：比较两条曲线相似度，以确定是否存在异常数据；

S8：重复S4、S5、S6、S7，直至全部节点检测完毕。

相对于目前已有技术，本发明优点如下：

(1)本发明分簇过程考虑了网络节点之间的空间相关性，这使得数据降维过程更加准确且有针对性。

(2)本发明通过利用椭圆对数据进行线性降维，避免了直接使用多维数据造成的计算量过大的缺点。

(3)本发明在进行异常值检测的过程利用了节点数据之间的时间相关性，通过比较连续两天数据拟合曲线来实现检测过程。

(4)本发明可以通过适当调节比值参数c的大小来实现在不同监测环境的检测要求。

(5)本发明在整个检测过程中，没有额外通信消耗，故其同样适用于动态变化的无线传感器网络。

综上所述，本发明在检测过程中充分利用了网络相邻节点数据之间的空间相关性及同一节点数据的时间相关性；通过分簇对数据降维，避免了直接处理多维数据计算复杂度较高的缺点；异常值检测方法可以准确检测出网络节点处连续出现异常值的情况，且检出率较高，误检率较低。

附图说明

图1是本发明的总流程图；

图2是传感器网络部署节点图；

图3是节点分簇结果图；

图4是超椭圆长短轴比例图；

图5是节点13的数据拟合曲线；

图6是节点30的数据拟合曲线；

图7是节点33数据拟合曲线；

图8是节点38数据拟合曲线；

图9是节点51数据拟合曲线；

图10是节点39数据拟合曲线；

图11是点44数据拟合曲线；

图12是取不同阈值c时的检测结果图。

具体实施方法

为使本发明的技术方案更加清晰，以下结合附图深一步给出其具体操作过程：

如图1至图12所示，本发明的具体步骤如下：

步骤1：选取测试数据。从IBRL实验室(http://db.lcs.mit.edu/labdata/labdata.htmlIntelLabData英特尔-伯克利联合实验室)获取每个节点2004-03-0100：57——2004-03-0101：03时间段内的10个数据作为测试数据。对其进行适当处理，使其不含异常数据。

步骤2：分簇。根据每个节点某相同时刻点的数据对节点分簇。具体方法为：根据数据分别计算PR_k，其中

${\mathrm{PR}}_k=\left(MAX\right(\{r_1^d\&lsqb;k\&rsqb;,\mathrm{...},r_n^d\&lsqb;k\&rsqb;\})-MIN(\{r_1^d\&lsqb;k\&rsqb;,\mathrm{...},r_n^d\&lsqb;k\&rsqb;\}\left)\right)/\&lsqb;2(n-1)\&rsqb;$

判断与在第k维是否相邻，进一步判断对所有k是否都有与相邻，从而对节点分簇。

步骤3：训练超椭球。对已分好的簇训练刚好包含簇内所有节点的超椭球。具体方法为：(1)分别写出簇内节点所收集的多维数据的协方差矩阵Σ并计算其对应特征值。按特征值的大小依次排列，其分别对应椭圆的长轴、次长轴，等等。

步骤4：数据降维。通过步骤3计算超椭球各个轴长对应的比例系数a_i并将其作为线性降维的系数，即做

步骤5：曲线拟合。对降维后的数据在二维平面进行曲线拟合。本实施例中将十组数据拟合成一条8次光滑非线性函数曲线并将其起点平移至原点，平移后的曲线作为测试曲线f(x)。

步骤6：选取检测数据。在IBRL实验室选取2004-03-0200：57——2004-03-0201：03时间段内10个数据作为检测数据。

步骤7：处理检测数据。将所选取的检测数据作步骤4、步骤5的处理。将所得的曲线称为检测曲线g(x)。

步骤8：比较曲线。将测试曲线与检测曲线进行相似度比较。选取适当阈值c，判断是否有|f(x)-g(x)|＜c或者成立。

步骤9：检测异常。根据步骤8中的判断结果检测节点处是否存在异常数据。

步骤10：重复检测。重复上述步骤，直至检测完所有节点数据。

本发明算法的效果可以通过如下仿真来进一步说明：

1.仿真条件

本发明通过对IBRL实验室数据集(http://db.lcs.mit.edu/labdata/labdata.html)的实验仿真来说明该算法的有效性。仿真实验是在一台4G内存，赛扬双核2.6GHz，32位win7操作系统下，使用matlab2008a进行的。在仿真过程中分别取c＝0.05、c＝0.08与c＝0.1。

2.仿真内容

采用IBRL实验室真实部署的无线传感器网络收集的数据进行仿真实验(http://db.lcs.mit.edu/labdata/labdata.html)。IBRL网络是由54个Mica2dot传感器所组成。其每隔30秒传感器节点收集一次数据，每组数据包括数据收集时间点、温度、湿度、电压及光照。该网站提供数据为2004年2月28日至2004年5月5日传感器节点所收集数据。其中节点5与节点15显示没有数据，其余节点数据也存在少量缺失情况，但可以选取适当时间段数据进行仿真实验。在仿真过程只考虑每个节点的两个属性(选取温度和湿度)，但对于更多属性的情况可以相似处理。

综上，选取除节点5与15之外的52个节点2004-03-0100：57——2004-03-0101：03时间段与2004-03-0200：57——2004-03-0201：03时间段内温度与湿度数据进行仿真。

图2给出了收集数据的无线传感器网络部署节点图，其可以对图3的分簇结果进一步检验。

图5至图11给出了部分节点测试和检测数据拟合曲线。其中实线代表测试数据拟合曲线，虚线代表检测数据拟合曲线。图5是节点13的数据拟合曲线；图6是节点30的数据拟合曲线；图7是节点33数据拟合曲线；图8是节点38数据拟合曲线；图9是节点51数据拟合曲线；图10是节点39数据拟合曲线；图11是点44数据拟合曲线。在检测过程中，曲线相似度用绝对值之差来刻画。当阈值c＝0.05时，准确检测出节点13、30、33、38、51处存在异常值，并且节点39、44被误检为异常值。当阈值c＝0.08时，准确检测出节点13、30、33、38、51处存在异常值，无节点被误检。当阈值c＝0.1时，节点30、33、38、51被成功检出，节点13被漏检，无误检。综上，针对本实验室的数据，选择阈值c＝0.08是比较合理的。

符号说明

WSNs:无线传感器网络

PR:许可半径

CR：簇区间

IBRL：英特尔-伯克利联合实验室。

Claims (8)

1.一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：其包括以下步骤:

S1：选取测试数据；

S2：对选取的测试数据进行节点分簇；

S3：对已分好的簇训练刚好包含簇内所有节点的超椭球，并计算相应超椭球的轴长；

S4：根据各个超椭球的轴长进行数据降维；

S5：对根据各个超椭球的轴长降维后的数据进行相应的曲线拟合；

S6：选取检测数据；

S7：处理检测数据；

S8：将测试曲线与检测曲线进行相似度比较，确定数据是否存在异常数据；

S9：重复步骤S4至步骤S8直至检测完所有节点数据。

2.根据权利要求1所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S1的具体过程为：在IBRL实验室选取节点连续两天相同时间段内数据，且所选第一天的数据无异常值存在。

3.根据权利要求2所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S2的具体过程为：

根据每个节点某相同时刻点的数据对节点分簇，通过选取的节点数据，计算数据在每个维度的许可半径，

${\mathrm{PR}}_k=\left(MAX\right(\{r_1^d\&lsqb;k\&rsqb;,...,r_n^d\&lsqb;k\&rsqb;\})-MIN\left(\right\{r_1^d\&lsqb;k\&rsqb;,...,r_n^d\&lsqb;k\&rsqb;\left\}\right))/\&lsqb;2(n-1)\&rsqb;$

判断与是否相邻；若相邻，则节点i,j在第维方向上同属一个簇。只有满足节点在所有的k维上都属同一个簇时，称节点i,j同簇。同时，若两个簇C_i和C_j的簇区间和满足

$\left\{\begin{array}{c}mi{n}_i^d\&lsqb;k\&rsqb;<mi{n}_j^d\&lsqb;k\&rsqb;\\ mi{n}_j^d\&lsqb;k\&rsqb;-{\max }_i^d\&lsqb;k\&rsqb;\&le;P{R}_k\end{array}\right.$

对所有k成立时，则簇C_i和C_j可合并为一个簇，簇半径为

CR＝[MIN({min_i,min_j}),MAX({max_i,max_j})]。

4.根据权利要求3所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S3的具体过程为：

用超椭球的各个轴长之间的比例关系来描述数据属性之间的联系，超椭球的各个轴长分别为σ_pl≥σ_p-1l≥σ_p-2l≥…≥σ₁l；其中，σ_i(1≤i≤p)表示数据集D的协方差矩阵Σ的特征值之平方根，用μ表示数据集D的均值，则对应超椭球的轴长

$l=max\left\{\right||d-\mathrm{\&mu;}|{|}_{{\mathrm{\&Sigma;}}^{-1}}|d\&Element;D\}.$

5.根据权利要求4所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S4的具体过程为：计算超椭球各个轴长对应的比例系数a_i并将其作为线性降维的系数d，即

6.根据权利要求5所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S5的具体过程为：对降维后的数据在二维平面进行曲线拟合；十组数据拟合成一条八次光滑非线性函数曲线并将其起点平移至原点，平移后的曲线作为测试曲线f(x)。

7.根据权利要求6所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S7的具体过程为：按照所述步骤S4和S5的方法对选取的测试数据进行数据降维和曲线拟合，得到检测曲线g(x)。

8.根据权利要求7所述的一种基于轨迹的无线传感器网络多维数据异常值检测方法，其特征在于：所述步骤S8需要通过判断两条曲线的相似程度来确定异常值，其具体过程为：

设f(x)为拟合的测试曲线，g(x)为拟合的待检测曲线，对于预先设定的阈值c(0＜c＜1)，当曲线f(x)与曲线g(x)满足，对任意的x∈X，有

|f(x)-g(x)|＜c

或者满足

$\frac{|\underset{X}{\&Integral;}g\left(x\right)dx-\underset{X}{\&Integral;}f\left(x\right)dx|}{\min (\underset{X}{\&Integral;}g\left(x\right)dx,\underset{X}{\&Integral;}f\left(x\right)dx)}<c$

则称该节点处无异常值存在，否则，认为存在异常值。