CN110309886B - 基于深度学习的无线传感器高维数据实时异常检测方法 - Google Patents

基于深度学习的无线传感器高维数据实时异常检测方法 Download PDF

Info

Publication number
CN110309886B
CN110309886B CN201910610145.6A CN201910610145A CN110309886B CN 110309886 B CN110309886 B CN 110309886B CN 201910610145 A CN201910610145 A CN 201910610145A CN 110309886 B CN110309886 B CN 110309886B
Authority
CN
China
Prior art keywords
data
qssvm
dimensional
dbn
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910610145.6A
Other languages
English (en)
Other versions
CN110309886A (zh
Inventor
乔焰
崔信红
金鹏
焦俊
马慧敏
王婧
苏仕芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN201910610145.6A priority Critical patent/CN110309886B/zh
Publication of CN110309886A publication Critical patent/CN110309886A/zh
Application granted granted Critical
Publication of CN110309886B publication Critical patent/CN110309886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习的无线传感器高维数据异常检测方法，包括以下步骤：（101）、获取历史数据；（102）、建立DBN‑QSSVM混合模型；（103）、利用传感器历史数据对混合模型进行训练；（104）、采集待检测的传感器测试数据；（105）、利用（103）中训练好的DBN‑QSSVM混合模型对传感器测试数据进行异常检测；（106）、输出传感器测试数据中的异常数据。本发明改进了现有技术的相关算法和流程，提出了一个在处理高维度数据时，实现在线检测技术的方法，可以在不降低数据异常检测方法准确性的情况下，大大降低该方法的空间和时间复杂度，从而更加适用于大规模高维数据异常检测。

Description

基于深度学习的无线传感器高维数据实时异常检测方法
技术领域
本发明涉及无线传感器异常数据检测方法领域，具体是一种基于深度学习的无线传感器高维数据实时异常检测方法。
背景技术
随着传感器技术的迅速发展，无线传感器网络被越来越多地应用到工业、农业、医疗、卫生等行业中。其中，将传感器节点散布在目标区域内，通过无线传感器节点采集目标区域内的环境参数(温度，湿度，CO2浓度等)，可以实时监控散布区域的内部环境变化情况。为了能够及时准确地发现自然环境中的突发事件以及监测传感器网络的健康状况，提高无线传感器网络的可靠性，那么对传感器采集到的数据进行异常检测就显得尤为重要。
异常检测技术是避免无线传感器网络发生异常的有效手段之一，无线传感器网络异常检测的关键是检测传感器收集的数据中的异常。异常数据是指与数据集中大多数数据不同的一小部分数据，或者不遵循与数据集中其他大多数数据相同统计模型的小部分数据。实现对数据的异常检测可以看成是消除不符合预期的行为的一个方法。目前，数据异常检测的方法可分为四种：基于统计的异常检测方法；基于最近邻居的异常检测方法；基于簇的异常检测方法；基于分类的异常检测方法。
基于统计的异常检测方法，是通过原有数据估计一个统计(概率分布)模型来检测异常，该模型能够捕捉数据的分布，并评估数据实例与模型的匹配程度，如果通过该模型生成的数据实例的概率非常低，则该数据实例被定义为异常。利用统计学方法对数据做异常检测是标准统计学方法的一种有效应用。该方法的优点是，当数据和检验类型内容足够时，此检测方法会非常有效；缺点是，这种方法主要仅适用于单个属性的数据，不适用于多维属性数据。
基于最近邻的异常检测方法，是最早提出的传感器故障检测和数据异常分析方法。这类方法需要传感器收集所有邻居采集到的数据，并与自己的数据做比较。若自身的数据和邻居传感器收集的数据相差超过预定义的阈值，则将其判别为异常数据。该方法的优点是使用距离来测量数据对象之间的相近度，该方法更简单，更易于使用；缺点是对大规模高维数据的处理效率明显下降，因为数据集规模的变大会导致算法的时间复杂度呈指数级增长。
基于簇的方法，是将具有相似行为的数据实例分组到同一个簇中，并将不能分组到任何一个簇中的数据实例定义为异常。其中，簇头是根据事先的定义的估选出来的，普通节点会选择最近的簇头节点发送检测数据。然而，如果簇头是通过随机选择的方式产生，那么这通常会导致较差的分簇结果，使得一些节点传输距离变长，从而加速了能量消耗并大大缩短了节点的生存时间。基于簇的方法的主要优点是在找到异常值时也获得了数据对象的分布情况，使得检测结果更加直观和清晰；缺点是不同类型的数据集对该种方法的结果具有显著的影响，说明基于簇的方法通用性差。
基于分类的方法，是使用部分输入数据来训练一个分类模型，输入数据中既有正常数据也有异常数据，再将剩余部分数据用作测试数据，以验证分类模型的检测效果。其中，基于分类的方法可分为有监督和无监督两种方式。文献High-dimensional and large-scale anomaly detection using a linear one-class SVM with deep learning(作者：Sarah M.ErfaniSutharshanRajasegarar1ShanikaKarunasekeraChristopherLeckie，时间：2016-10，刊物：Pattern Recognition，58卷，121-134页)，其公开了基于分类模型采用线性单分类SVM对传感器异常数据进行检测的方法，但其对高维数据存在检测效果不理想的问题，并且无法做到实时异常检测。
专利号为201811541556.6的中国专利：一种面向大规模高维传感器数据的在线式异常检测方法，其公开了采用基于深度信念网络和1/4球面支持向量机建立的混合模型实现传感器数据异常检测的方法，属于无监督的基于分类的检测方法。但该方法在求解高维空间中超球面的半径R时，需要对核函数k中心化后进行求解，而求解核函数需要占用大量的内存空间和时间，能耗较高。并且该方法最终采用滑窗的方式判断和去除异常数据，同样增加了数据处理负担，并且无法实现实时异常检测。
发明内容
本发明的目的是提供一种基于深度学习的无线传感器高维数据实时异常检测方法，以解决现有技术基于分类模型进行传感器异常数据检测时，存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。
为了达到上述目的，本发明所采用的技术方案为：
基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：包括以下步骤：
(101)、获取某一连续时间段的传感器数据样本，作为历史数据X；
(102)、构建DBN-QSSVM混合模型，所述DBN-QSSVM混合模型为深度信念网络DBN和四分之一球的支持向量机QSSVM组成的混合模型；
(103)、将步骤(101)获取的历史数据输入至DBN-QSSVM混合模型，以对DBN-QSSVM混合模型进行训练，得到异常检测模型，其中：
高维的历史数据X首先输入至深度信念网络DBN，以对深度信念网络DBN进行训练，得到训练好的模型参数；同时由深度信念网络DBN将高维的历史数据X进行降维处理，得到低维历史数据
Figure BDA0002121982510000031
低维历史数据
Figure BDA0002121982510000032
输入至支持向量机QSSVM，以对支持向量机QSSVM进行训练，得到支持向量机QSSVM的半径R，支持向量机QSSVM的半径R通过求解公式(1)得到：
Figure BDA0002121982510000033
Figure BDA0002121982510000034
公式(1)中，Φ(·)为低维历史数据样本到支持向量机QSSVM中高维特征空间的映射函数，R为高维特征空间中超球面的半径即支持向量机QSSVM的半径，ξi是松弛变量，允许部分样本在球面之外，v∈(0,1)为在球面之外样本的比率，m是样本数量，
Figure BDA0002121982510000035
是实数集；
通过引入拉格朗日乘子αi简化公式(1)，以将公式(1)转换为对偶形式，由此将半径R的求解转换为拉格朗日乘子αi的求解，对偶形式的表达式如公式(2)所示：
Figure BDA0002121982510000036
Figure BDA0002121982510000041
公式(2)中，
Figure BDA0002121982510000042
为基于距离的核函数，
Figure BDA0002121982510000043
为低维历史数据
Figure BDA0002121982510000044
中第i个数据；
设低维历史数据
Figure BDA0002121982510000045
通过z-transformation函数对低维历史数据进行处理，以将所有的低维历史数据集中到以原点为中心的位置，经z-transformation函数处理后的低维历史数据
Figure BDA0002121982510000046
如公式(3)所示：
Figure BDA0002121982510000047
公式(3)中，μ是属性值的均值，σ是标准方差；
采用输入变量的中值和中值绝对偏差MAD分别对应代替均值μ和标准差σ，以在输入空间建立QSSVM模型来代替在特征空间建模，进而避免异常值干扰，公式(2)中的
Figure BDA0002121982510000048
的内积可表示为
Figure BDA0002121982510000049
从而避免计算核函数，由此公式(2)可转换为公式(4)：
Figure BDA00021219825100000410
Figure BDA00021219825100000411
公式(4)中，其中，
Figure BDA00021219825100000412
表示第i个低维历史数据
Figure BDA00021219825100000413
到原点的距离；
将公式(4)中的
Figure BDA00021219825100000414
用di'代替，然后对di'作降序排序，得到序列{d1',d2',d3',...,dm'}，其中，d1'≥d2'≥d3'≥...≥dm'，因此公式(4)的表述可以转换为公式(5)：
Figure BDA00021219825100000415
Figure BDA00021219825100000416
则支持向量机QSSVM的半径R可由公式(6)获得：
R2＝d(j+1)'
Figure BDA0002121982510000051
根据定理可知，支持向量机QSSVM的半径R为经快速排序法降序排序的数序列{d1',d2',d3',...,dm'}的第
Figure BDA0002121982510000052
个元素值；
最终，向DBN-QSSVM混合模型加载深度信念网络DBN训练获得的模型参数，以及支持向量机QSSVM训练获得的支持向量机QSSVM的半径R，可将DBN-QSSVM混合模型转换为异常检测模型；
(104)、选取某一连续时间段待检测的传感器数据样本，作为待检测的传感器测试数据χtest；
(105)、将步骤(104)获取的待检测的传感器测试数据χtest，输入至异常检测模型，通过异常检测模型对待检测的传感器测试数据χtest进行异常检测处理；
(106)、由异常检测模型输出待检测的传感器测试数据χtest中的异常数据。
所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：步骤(102)中的深度信念网络DBN其由多层受限玻尔兹曼机RBM组成，下层受限玻尔兹曼机RBM的输出作为上层受限玻尔兹曼机RBM的输入，最上层受限玻尔兹曼机RBM的输出连接支持向量机QSSVM；
高维的历史数据X输入至最下层的受限玻尔兹曼机RBM，深度信念网络DBN中，利用贪婪算法对多层受限玻尔兹曼机RBM进行逐层训练，最终由最上层受限玻尔兹曼机RBM输出经降维处理后的低维历史数据
Figure BDA0002121982510000053
即对原高维的历史数据X实现了特征提取。
所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：每层受限玻尔兹曼机RBM分别由隐藏层和可见层构成，隐藏层、可见层之间的神经元相互独立，每层受限玻尔兹曼机RBM的相同层之间没有连接，但每层RBM中隐藏层和可见层之间是全连接关系。
所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：步骤(105)中，采用异常检测模型对步骤(104)得到的待检测的传感器测试数据χtest进行实时异常检测的具体步骤如下：
(501)、将待检测的高维的传感器测试数据χtest输入至异常检测模型中的经训练的深度信念网络DBN，得到经降温处理后的低维测试数据
Figure BDA0002121982510000061
(502)、利用z-transformation函数将低维测试数据
Figure BDA0002121982510000062
集中到以原点为中心的位置，可得到数据
Figure BDA0002121982510000063
(503)、将数据
Figure BDA0002121982510000064
入至经训练的支持向量机QSSVM模型，并采用决策函数实现对数据
Figure BDA0002121982510000065
的实时异常检测，通过决策函数判断一个新到来的数据样本
Figure BDA0002121982510000066
是否是异常的，决策函数公式如下：
Figure BDA0002121982510000067
公式(7)中，支持向量机QSSVM的半径R由公式(6)计算而来，
Figure BDA0002121982510000068
是一个数据样本点
Figure BDA0002121982510000069
的内积，代表数据样本点
Figure BDA00021219825100000610
到原点的距离，如果
Figure BDA00021219825100000611
内积超过R，那么该数据样本点就是异常点。
本发明提出了一个新的基于分类模型的高维数据实时异常检测方法。这个方法能够在无监督的方式下实现对高维数据的实时异常检测。虽然这些年提出了许多数据异常检测方法，但是几乎所有的方法都不能很好的处理高维数据的异常检测问题。比如，数据的高维问题对异常检测构成重大挑战，不相关特征会隐藏异常的存在，也就是人们常说的“维度灾难”，是许多异常检测技术的障碍所在，而且处理高维数据易产生较大的空间和时间复杂度问题。为了解决这些问题，本发明提出了一个适用于处理高维数据的基于深度学习的无线传感器异常检测方法，结合DBN模型与QSSVM分类模型实现对高维数据的异常检测研究。本发明的发法能够很好的解决高维数据所带来的“维度灾难”问题，并在大大降低本发明方法的空间和时间复杂度情况下，保证本发明方法对高维数据异常检测的准确性和鲁棒性。
本发明提供了一种基于深度学习的无线传感器异常检测方法，改进了现有技术的相关算法和流程，主要优点为：
1)无监督。由于实际环境存在各种复杂的因素，所以对于传感器采集到的数据很难人为地去对这些数据正异常情况做标记，所以本发明需要选用无监督的模型去做数据降维处理以及分类；
2)低能耗。为了克服原有分类算法的高能耗缺陷，本发明从空间和时间角度降低分类算法的复杂度，而且传感器间也不需要额外通信，从而实现本文异常检测算法的低能耗；
3)可处理高维数据。由于数据的高维问题对异常检测构成重大挑战，不相关特征会隐藏异常的存在，也就是人们常说的“维度灾难”，是许多异常检测技术的障碍所在，本发明采用无监督的DBN模型将数据从高维空间映射到低维空间，减少数据的冗余特征，加快算法对其的异常检测处理；
4)准确度高。实现高异常检测率是评价一个异常检测算法的一个度量标准，本发明采用混合模型DBN-QSSVM实现对高维数据的实时异常检测。
附图说明
图1为该发明方法流程框图。
图2为该发明步骤(102)DBN-QSSVM混合模型。
图3为该发明步骤(102)中深度信念网络模型。
图4为该发明步骤(102)中受限玻尔兹曼机模型。
图5为发明步骤(103)历史数据对混合模型进行训练流程框图。
图6为该发明步骤(105)训练好的混合模型对待检测的传感器测试数据进行异常检测流程框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，基于深度学习的无线传感器高维数据实时异常检测方法，包括以下步骤：
(101)、获取某一连续时间段的传感器数据样本，作为历史数据X；
(102)、构建DBN-QSSVM混合模型，如图2、图3、图4所示，所述DBN-QSSVM混合模型为深度信念网络DBN(Deep BeliefNetwork，DBN)和四分之一球的支持向量机QSSVM(Quarter-sphere Support Vector Machine,QSSVM)组成的混合模型；
(103)、如图5所示，将步骤(101)获取的历史数据输入至DBN-QSSVM混合模型，以对DBN-QSSVM混合模型进行训练，得到异常检测模型，其中：
高维的历史数据X首先输入至深度信念网络DBN，以对深度信念网络DBN进行训练，得到训练好的模型参数；同时由深度信念网络DBN将高维的历史数据X进行降维处理，得到低维历史数据
Figure BDA0002121982510000081
低维历史数据
Figure BDA0002121982510000082
输入至支持向量机QSSVM，以对支持向量机QSSVM进行训练，得到支持向量机QSSVM的半径R，支持向量机QSSVM的半径R通过求解公式(1)得到：
Figure BDA0002121982510000083
Figure BDA0002121982510000084
公式(1)中，Φ(·)为低维历史数据样本到支持向量机QSSVM中高维特征空间的映射函数，R为高维特征空间中超球面的半径即支持向量机QSSVM的半径，ξi是松弛变量，允许部分样本在球面之外，v∈(0,1)为在球面之外样本的比率，m是样本数量，
Figure BDA0002121982510000085
是实数集；
通过引入拉格朗日乘子αi简化公式(1)，以将公式(1)转换为对偶形式，由此将半径R的求解转换为拉格朗日乘子αi的求解，对偶形式的表达式如公式(2)所示：
Figure BDA0002121982510000086
Figure BDA0002121982510000087
公式(2)中，
Figure BDA0002121982510000088
为基于距离的核函数，
Figure BDA0002121982510000089
为低维历史数据
Figure BDA00021219825100000810
中第i个低维历史数据；
在公式(2)中产生了m×m的核函数k，处理核函数k会需要大量的内存空间和时间。本发明通过z-transformation函数将数据
Figure BDA00021219825100000811
集中到输入空间原点，通过这一步骤，使所有的数据变量都集中到以原点为中心的位置，避免大尺度范围的数据变量模糊了小尺度范围数据变量的影响。
设低维历史数据
Figure BDA0002121982510000091
通过z-transformation函数对低维历史数据进行处理，以将所有的低维历史数据集中到以原点为中心的位置，经z-transformation函数处理后的低维历史数据
Figure BDA0002121982510000092
如公式(3)所示：
Figure BDA0002121982510000093
公式(3)中，μ是属性值的均值，σ是标准方差；
采用输入变量的中值和中值绝对偏差MAD(median absolute deviation)分别对应代替均值μ和标准差σ，以在输入空间建立QSSVM模型来代替在特征空间建模，进而避免异常值干扰，公式(2)中的
Figure BDA0002121982510000094
的内积可表示为
Figure BDA0002121982510000095
从而避免计算核函数，由此公式(2)可转换为公式(4)：
Figure BDA0002121982510000096
Figure BDA0002121982510000097
公式(4)中，其中，
Figure BDA0002121982510000098
表示第i个低维历史数据
Figure BDA0002121982510000099
到原点的距离；
将公式(4)中的
Figure BDA00021219825100000910
用di'代替，然后对di'作降序排序，得到序列{d1',d2',d3',...,dm'}，其中，d1'≥d2'≥d3'≥...≥dm'，因此公式(4)的表述可以转换为公式(5)：
Figure BDA00021219825100000911
Figure BDA00021219825100000912
则支持向量机QSSVM的半径R可由公式(6)获得：
R2＝d(j+1)'
Figure BDA00021219825100000913
根据定理可知(该定理为文献：Cheng P,Zhu M.Lightweight anomaly detectionfor wireless sensor networks[M].Taylor&Francis,Inc.2015.中定理4)，支持向量机QSSVM的半径R为经快速排序法降序排序的数序列{d1',d2',d3',...,dm'}的第
Figure BDA0002121982510000101
个元素值；
最终，向DBN-QSSVM混合模型加载深度信念网络DBN训练获得的模型参数，以及支持向量机QSSVM训练获得的支持向量机QSSVM的半径R，可将DBN-QSSVM混合模型转换为异常检测模型；
(104)、选取某一连续时间段待检测的传感器数据样本，作为待检测的传感器测试数据χtest；
(105)、将步骤(104)获取的待检测的传感器测试数据χtest，输入至异常检测模型，通过异常检测模型对待检测的传感器测试数据χtest进行异常检测处理；
(106)、由异常检测模型输出待检测的传感器测试数据χtest中的异常数据。
如图3所示，步骤(102)中的深度信念网络DBN其由多层受限玻尔兹曼机RBM组成，它既可以被看作一个生成模型，也可以当作判别模型，可以有效地提取高维数据集的特征。
下层受限玻尔兹曼机RBM的输出作为上层受限玻尔兹曼机RBM的输入，最上层受限玻尔兹曼机RBM的输出连接支持向量机QSSVM；
高维的历史数据X输入至最下层的受限玻尔兹曼机RBM，深度信念网络DBN中，利用贪婪算法对多层受限玻尔兹曼机RBM进行逐层训练，最终由最上层受限玻尔兹曼机RBM输出经降维处理后的低维历史数据
Figure BDA0002121982510000102
即对原高维的历史数据X实现了特征提取。
如图4所示，每层受限玻尔兹曼机RBM分别由隐藏层和可见层构成，隐藏层、可见层之间的神经元相互独立，每层受限玻尔兹曼机RBM的相同层之间没有连接，但每层RBM中隐藏层和可见层之间是全连接关系，图4为RBM模型，每层有多个单元构成，一层直降没有连接，两层之间全连接。
如图6所示，步骤(105)中，采用异常检测模型对步骤(104)得到的待检测的传感器测试数据χtest进行实时异常检测的具体步骤如下：
(501)、将待检测的高维的传感器测试数据χtest输入至异常检测模型中的经训练的深度信念网络DBN，得到经降温处理后的低维测试数据
Figure BDA0002121982510000111
(502)、利用z-transformation函数将低维测试数据
Figure BDA0002121982510000112
集中到以原点为中心的位置，可得到数据
Figure BDA0002121982510000113
(503)、将数据
Figure BDA0002121982510000114
入至经训练的支持向量机QSSVM模型，并采用决策函数实现对数据
Figure BDA0002121982510000115
的实时异常检测，通过决策函数判断一个新到来的数据样本
Figure BDA0002121982510000116
否是异常的，决策函数公式如下：
Figure BDA0002121982510000117
公式(7)中，支持向量机QSSVM的半径R由公式(6)计算而来，
Figure BDA0002121982510000118
是一个数据样本点
Figure BDA0002121982510000119
的内积，代表数据样本点
Figure BDA00021219825100001110
到原点的距离，如果
Figure BDA00021219825100001111
内积超过R，那么该数据样本点就是异常点。
步骤(102)、(103)、(105)算法伪代码如表1、表2所示：
表1：模型训练算法伪代码
Figure BDA00021219825100001112
表1展示了模型训练算法模型的伪代码，输入一个m行d列的训练数据集X和ν(对训练数据中所占有的异常数据比率的预测概率值)，输出一个训练好的DBN模型还有QSSVM模型的半径R。首先使用训练数据集X去学习DBN的参数，与此同时，获得降维数据集
Figure BDA00021219825100001113
(第一行)；然后通过z-transformation函数将
Figure BDA0002121982510000121
集中到以原点为中心的地方(第二行)；最后将得到的
Figure BDA0002121982510000122
的内积降序排列(第三行)，选择第
Figure BDA0002121982510000123
个元素作为QSSVM的半径值(第四行)。所以，由模型训练部分可得到训练好的DBN模型，经DBN降维处理的数据集，训练好的QSSVM模型以及QSSVM的模型半径。
表2：实时异常检测算法伪代码
Figure BDA0002121982510000124
表2是实时异常检测算法的伪代码，输入一个新到来的数据χtest，一个已训练好的DBN模型和一个QSSVM模型的半径R，算法的输出是y。该实时异常检测算法，首先用表1训练好的DBN模型对数据χtest做降维处理(第一行)，然后用z-transformation函数对
Figure BDA0002121982510000125
做集中到以原点为中心位置的处理(第二行)，然后计算数据点
Figure BDA0002121982510000126
的内积d'(第三行)，并比较QSSVM的半径R与
Figure BDA0002121982510000127
(第四行)，如果
Figure BDA0002121982510000128
大于半径R，那么输出y值为-1(-1，表示新来的数据χtest是异常的)，否则为1(1，表示新来的数据χtest是正常的)(第五到九行)。所以，异常检测部分可实现对任一新来的数据实时判断是否异常。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (4)

1.基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：包括以下步骤：
(101)、获取某一连续时间段的传感器数据样本，作为历史数据X；
(102)、构建DBN-QSSVM混合模型，所述DBN-QSSVM混合模型为深度信念网络DBN和四分之一球的支持向量机QSSVM组成的混合模型；
(103)、将步骤(101)获取的历史数据输入至DBN-QSSVM混合模型，以对DBN-QSSVM混合模型进行训练，得到异常检测模型，其中：
高维的历史数据X首先输入至深度信念网络DBN，以对深度信念网络DBN进行训练，得到训练好的模型参数；同时由深度信念网络DBN将高维的历史数据X进行降维处理，得到低维历史数据
Figure FDA0002121982500000011
低维历史数据
Figure FDA0002121982500000012
输入至支持向量机QSSVM，以对支持向量机QSSVM进行训练，得到支持向量机QSSVM的半径R，支持向量机QSSVM的半径R通过求解公式(1)得到：
Figure FDA0002121982500000013
Figure FDA0002121982500000014
公式(1)中，Φ(·)为低维历史数据样本到支持向量机QSSVM中高维特征空间的映射函数，R为高维特征空间中超球面的半径即支持向量机QSSVM的半径，ξi是松弛变量，允许部分样本在球面之外，v∈(0,1)为在球面之外样本的比率，m是样本数量，
Figure FDA0002121982500000015
是实数集；
通过引入拉格朗日乘子αi简化公式(1)，以将公式(1)转换为对偶形式，由此将半径R的求解转换为拉格朗日乘子αi的求解，对偶形式的表达式如公式(2)所示：
Figure FDA0002121982500000016
Figure FDA0002121982500000021
公式(2)中，
Figure FDA0002121982500000022
为基于距离的核函数，
Figure FDA0002121982500000023
为低维历史数据
Figure FDA0002121982500000024
中第i个数据；
设低维历史数据
Figure FDA0002121982500000025
通过z-transformation函数对低维历史数据进行处理，以将所有的低维历史数据集中到以原点为中心的位置，经z-transformation函数处理后的低维历史数据
Figure FDA0002121982500000026
如公式(3)所示：
Figure FDA0002121982500000027
公式(3)中，μ是属性值的均值，σ是标准方差；
采用输入变量的中值和中值绝对偏差MAD分别对应代替均值μ和标准差σ，以在输入空间建立QSSVM模型来代替在特征空间建模，进而避免异常值干扰，公式(2)中的
Figure FDA0002121982500000028
的内积可表示为
Figure FDA0002121982500000029
从而避免计算核函数，由此公式(2)可转换为公式(4)：
Figure FDA00021219825000000210
Figure FDA00021219825000000211
公式(4)中，其中，
Figure FDA00021219825000000212
表示第i个低维历史数据
Figure FDA00021219825000000213
到原点的距离；
将公式(4)中的
Figure FDA00021219825000000214
用di'代替，然后对di'作降序排序，得到序列{d1',d2',d3',...,dm'}，其中，d1'≥d2'≥d3'≥...≥dm'，因此公式(4)的表述可以转换为公式(5)：
Figure FDA00021219825000000215
Figure FDA00021219825000000216
则支持向量机QSSVM的半径R可由公式(6)获得：
R2＝d(j+1)'
Figure FDA0002121982500000031
根据定理可知，支持向量机QSSVM的半径R为经快速排序法降序排序的数序列{d1',d2',d3',...,dm'}的第
Figure FDA0002121982500000033
个元素值；
最终，向DBN-QSSVM混合模型加载深度信念网络DBN训练获得的模型参数，以及支持向量机QSSVM训练获得的支持向量机QSSVM的半径R，可将DBN-QSSVM混合模型转换为异常检测模型；
(104)、选取某一连续时间段待检测的传感器数据样本，作为待检测的传感器测试数据χtest；
(105)、将步骤(104)获取的待检测的传感器测试数据χtest，输入至异常检测模型，通过异常检测模型对待检测的传感器测试数据χtest进行异常检测处理；
(106)、由异常检测模型输出待检测的传感器测试数据χtest中的异常数据。
2.根据权利要求1所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：步骤(102)中的深度信念网络DBN其由多层受限玻尔兹曼机RBM组成，下层受限玻尔兹曼机RBM的输出作为上层受限玻尔兹曼机RBM的输入，最上层受限玻尔兹曼机RBM的输出连接支持向量机QSSVM；
高维的历史数据X输入至最下层的受限玻尔兹曼机RBM，深度信念网络DBN中，利用贪婪算法对多层受限玻尔兹曼机RBM进行逐层训练，最终由最上层受限玻尔兹曼机RBM输出经降维处理后的低维历史数据
Figure FDA0002121982500000032
即对原高维的历史数据X实现了特征提取。
3.根据权利要求2所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：每层受限玻尔兹曼机RBM分别由隐藏层和可见层构成，隐藏层、可见层之间的神经元相互独立，每层受限玻尔兹曼机RBM的相同层之间没有连接，但每层RBM中隐藏层和可见层之间是全连接关系。
4.根据权利要求1所述的基于深度学习的无线传感器高维数据实时异常检测方法，其特征在于：步骤(105)中，采用异常检测模型对步骤(104)得到的待检测的传感器测试数据χtest进行实时异常检测的具体步骤如下：
(501)、将待检测的高维的传感器测试数据χtest输入至异常检测模型中的经训练的深度信念网络DBN，得到经降温处理后的低维测试数据
Figure FDA0002121982500000041
(502)、利用z-transformation函数将低维测试数据
Figure FDA0002121982500000042
集中到以原点为中心的位置，可得到数据
Figure FDA0002121982500000043
(503)、将数据
Figure FDA0002121982500000044
入至经训练的支持向量机QSSVM模型，并采用决策函数实现对数据
Figure FDA0002121982500000045
的实时异常检测，通过决策函数判断一个新到来的数据样本
Figure FDA0002121982500000046
是否是异常的，决策函数公式如下：
Figure FDA0002121982500000047
公式(7)中，支持向量机QSSVM的半径R由公式(6)计算而来，
Figure FDA0002121982500000048
是一个数据样本点
Figure FDA0002121982500000049
的内积，代表数据样本点
Figure FDA00021219825000000410
到原点的距离，如果
Figure FDA00021219825000000411
内积超过R，那么该数据样本点就是异常点。
CN201910610145.6A 2019-07-08 2019-07-08 基于深度学习的无线传感器高维数据实时异常检测方法 Active CN110309886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610145.6A CN110309886B (zh) 2019-07-08 2019-07-08 基于深度学习的无线传感器高维数据实时异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610145.6A CN110309886B (zh) 2019-07-08 2019-07-08 基于深度学习的无线传感器高维数据实时异常检测方法

Publications (2)

Publication Number Publication Date
CN110309886A CN110309886A (zh) 2019-10-08
CN110309886B true CN110309886B (zh) 2022-09-20

Family

ID=68079381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610145.6A Active CN110309886B (zh) 2019-07-08 2019-07-08 基于深度学习的无线传感器高维数据实时异常检测方法

Country Status (1)

Country Link
CN (1) CN110309886B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826642B (zh) * 2019-11-15 2023-03-24 安徽农业大学 一种针对传感器数据的无监督异常检测方法
CN110806743A (zh) * 2019-12-05 2020-02-18 成都天玙兴科技有限公司 基于人工智能的设备故障检测与预警系统及方法
CN111189488B (zh) * 2019-12-13 2020-12-04 精英数智科技股份有限公司 一种传感器数值异常识别方法、装置、设备及存储介质
CN111245833B (zh) * 2020-01-13 2020-10-27 暨南大学 一种车辆入侵检测方法及装置
CN111507376B (zh) * 2020-03-20 2023-04-28 厦门大学 一种基于多种无监督方法融合的单指标异常检测方法
CN111654874B (zh) * 2020-06-03 2023-02-24 枣庄学院 一种无线传感网异常检测方法
CN112134873B (zh) * 2020-09-18 2022-04-26 国网山东省电力公司青岛供电公司 一种IoT网络异常流量实时检测方法及系统
CN112836896A (zh) * 2021-03-03 2021-05-25 西门子工厂自动化工程有限公司 用于维护设备的方法和用于维护设备的系统
CN113259388B (zh) * 2021-06-22 2021-11-12 贝壳找房(北京)科技有限公司 网络流量异常检测方法、电子设备及可读存储介质
US20230092627A1 (en) * 2021-09-21 2023-03-23 International Business Machines Corporation Distributed sensing and classification
CN114490779B (zh) * 2022-02-21 2022-11-04 中航信移动科技有限公司 一种服务器
CN117056862B (zh) * 2023-10-10 2023-12-19 贵州省畜牧兽医研究所 基于物联网的家禽养殖环境异常监测系统
CN117133131B (zh) * 2023-10-26 2024-02-20 深圳市地铁集团有限公司 基于arm技术体系的智能通行控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076475A1 (zh) * 2016-10-26 2018-05-03 广东产品质量监督检验研究院 一种基于深度学习法构建的光伏组件加速退化模型及光伏组件寿命预测方法
CN108848068A (zh) * 2018-05-29 2018-11-20 上海海事大学 基于深度信念网络-支持向量数据描述的apt攻击检测方法
CN109612513A (zh) * 2018-12-17 2019-04-12 安徽农业大学 一种面向大规模高维传感器数据的在线式异常检测方法
CN109816119A (zh) * 2019-02-02 2019-05-28 南京邮电大学 一种基于无监督学习的无线传感器异常数据检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190135616A1 (en) * 2017-11-03 2019-05-09 University Of Dayton Deep learning software enhanced microelectromechanical systems (mems) based inertial measurement unit (imu)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076475A1 (zh) * 2016-10-26 2018-05-03 广东产品质量监督检验研究院 一种基于深度学习法构建的光伏组件加速退化模型及光伏组件寿命预测方法
CN108848068A (zh) * 2018-05-29 2018-11-20 上海海事大学 基于深度信念网络-支持向量数据描述的apt攻击检测方法
CN109612513A (zh) * 2018-12-17 2019-04-12 安徽农业大学 一种面向大规模高维传感器数据的在线式异常检测方法
CN109816119A (zh) * 2019-02-02 2019-05-28 南京邮电大学 一种基于无监督学习的无线传感器异常数据检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于深度信念网络和线性单分类SVM的高维异常检测;李昊奇等;《电信科学》;20180120(第01期);全文 *
基于深度信念网络的集成分类器在气体识别中的应用;王春香等;《计算机工程》;20161015(第10期);全文 *
基于深度信念网络的高维传感器数据异常检测算法;金鹏等;《传感技术学报》;20190630;第32卷(第6期);全文 *
基于高维数据流的异常检测算法;余立苹等;《计算机工程》;20180115(第01期);全文 *

Also Published As

Publication number Publication date
CN110309886A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309886B (zh) 基于深度学习的无线传感器高维数据实时异常检测方法
Zhao et al. Deep multi-scale convolutional transfer learning network: A novel method for intelligent fault diagnosis of rolling bearings under variable working conditions and domains
Duan et al. Deep learning enabled intelligent fault diagnosis: Overview and applications
Ko et al. Fault classification in high-dimensional complex processes using semi-supervised deep convolutional generative models
CN109612513B (zh) 一种面向大规模高维传感器数据的在线式异常检测方法
Liu et al. LSTM-GAN-AE: A promising approach for fault diagnosis in machine health monitoring
CN110826642B (zh) 一种针对传感器数据的无监督异常检测方法
CN105607631B (zh) 间歇过程弱故障模型控制限建立方法及弱故障监测方法
Huang et al. Metric learning-based fault diagnosis and anomaly detection for industrial data with intraclass variance
Yu et al. Stacked denoising autoencoder‐based feature learning for out‐of‐control source recognition in multivariate manufacturing process
CN113807444A (zh) 基于约束对抗卷积自编码记忆融合网络的故障诊断方法
CN111860775A (zh) 基于cnn和rnn融合的船舶故障实时诊断方法
Dong et al. Quality monitoring and root cause diagnosis for industrial processes based on Lasso-SAE-CCA
CN116520799A (zh) 基于时空变分图注意力自编码器的复杂工业过程故障检测方法
CN116451022A (zh) 一种基于深度鉴别对抗域自适应轴承故障诊断方法
Zhang et al. Condition monitoring for confined industrial process based on infrared images by using deep neural network and variants
Cheng et al. MMFSL: A Novel Multimodal Few-Shot Learning Framework for Fault Diagnosis of Industrial Bearings
CN113608968B (zh) 一种基于密度距离综合决策的电力调度监控数据异常检测方法
Stržinar et al. Soft sensor for non-invasive detection of process events based on Eigenresponse Fuzzy Clustering
CN117951646A (zh) 一种基于边缘云的数据融合方法及系统
He et al. Feature selection-based multi-view concentration for multivariate time series classification and its application
Yang et al. LSTA-Net framework: Pioneering intelligent diagnostics for insulating bearings under real-world complex operational conditions and its interpretability
Zhang et al. A flexible monitoring framework via dynamic-multilayer graph convolution network
Yu et al. A hybrid learning-based model for on-line monitoring and diagnosis of out-of-control signals in multivariate manufacturing processes
Bukhsh Contrastive sensor transformer for predictive maintenance of industrial assets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant