CN112288034A - 一种无线传感器网络半监督在线异常检测方法 - Google Patents
一种无线传感器网络半监督在线异常检测方法 Download PDFInfo
- Publication number
- CN112288034A CN112288034A CN202011307249.9A CN202011307249A CN112288034A CN 112288034 A CN112288034 A CN 112288034A CN 202011307249 A CN202011307249 A CN 202011307249A CN 112288034 A CN112288034 A CN 112288034A
- Authority
- CN
- China
- Prior art keywords
- data
- label
- model
- classification
- clusters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 42
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 239000013256 coordination polymer Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002657 fibrous material Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种无线传感器网络半监督在线异常检测方法，属于无线传感器网络数据可靠性技术领域。所述方法通过综合时空相关性和双检验机制的无线传感器网络半监督在线异常检测方法，解决了有监督学习异常检测算法需要完善的有标注数据集、无监督学习异常检测算法只适合检测统计异常、半监督学习异常检测算法对分布不均匀数据分类效果差的的问题，达到了利用少量有标注数据训练模型并在在线检测阶段异常检测准确度高，并且，本申请所提出的K‑means模型更新算法可以有效提高现有异常检测模型的检测准确度。
Description
技术领域
本发明涉及一种无线传感器网络半监督在线异常检测方法，属于无线传感器网络数据可靠性技术领域。
背景技术
无线传感器网络经常被于环境监测领域，传感器节点需要不间断地采集环境参数，形成随时间变化的传感器数据流。受监测环境、通信信道或传感器节点本身等多方面因素的影响，传感器节点采集到的原始数据流不可避免地存在缺失、数据异常等问题，而这些问题通常意味着所监测环境发生异常事件或者部分传感器节点发生异常问题。
传感器数据流的异常检测是为了及时发现数据流中与正常模式有明显差异的数据。检测到异常数据之后，便可以实现对环境事件的实时报警、异常数据修复、节点故障修复等应用。因此，传感器数据流的异常检测对于监测系统的可靠性保障和管理部门的决策支持均有重要意义。
数据流的异常检测是数据科学中非常重要的一方面。近年来，已经有大量的研究者利用机器学习方法提取数据流(比如传感器数据流)的特征来进行数据流的异常检测。异常检测算法按照是否需要人工标注好的数据集，可分为有监督学习异常检测算法、无监督学习异常检测算法以及半监督学习异常检测算法。
其中，有监督学习异常检测算法可以有效利用环境监测数据流的时空特性，对各种异常都有高的检测准确率，但是需要提前人工标注数据，而实际应用中难以获取有效的有标注数据集；无监督学习异常检测算法不需要提前标注数据，但是有很大的局限性，只适合检测统计异常；而半监督学习异常检测算法可以利用少部分有标注数据集来训练模型并检测无标签数据，并可以将置信度高的无标签数据加入训练集，一起训练模型，是一种迭代的过程，适合用来进行在线检测。但是目前的半监督分类模型对于数据分布不均衡的数据(如异常检测数据集)的检测效果差，难以评估。
发明内容
为了解决现有的半监督学习异常检测算法对数据分布不均衡的监测数据检测效果差的问题，本发明提供了一种综合时空相关性和双检验机制的无线传感器网络半监督在线异常检测方法，综合时空相关性和双检验机制实现在线异常检测，充分利用了无线传感网络数据流的时空特征，不需要提前准备完善的有标注数据集，并且可以自动适应新的异常种类，即使数据分布不均衡也能够获得较好的检测结果。
一种无线传感器网络半监督在线异常检测方法，所述方法包括：
S1获取待检测的无标记的传感器网络数据，构成无标注数据集；
S2利用预训练好的时空特征提取模型获取无标注数据集中的数据的分类标签Yclstm，所述时空特征提取模型包含用于提取数据的空间特征的CNN模型和用于提取数据的时间特征的LSTM模型；同时利用K-means获取无标注数据集中的数据对应K-means的分类标签YK-means；
S3根据S2得出的分类标签Yclstm和分类标签YK-means判断是否更新预训练好的时空特征提取模型；
S4若S3的判断结果为无需更新，则直接输出分类标签Yclstm作为待检测的无标注的传感器网络数据的分类结果；
S5若S3的判断结果为需要更新，则生成新的训练数据训练时空特征提取模型中的LSTM模型，不断迭代至获取到的分类标签Yclstm与分类标签YK-means的分类误差小于预定阈值或迭代次数超过预定次数；输出此时得到的分类标签Yclstm，作为待检测的无标注的传感器网络数据的分类结果。
可选的，所述S2中利用预训练好的时空特征提取模型获取无标记数据集中的数据的分类标签Yclstm包括：
使用卷积神经网络CNN模型提取数据的空间特征；
将提取出的空间特征输入长短时记忆网络LSTM模型的LSTM层提取相应的时间特征；
将提取出的时间特征和空间特征输入长短时记忆网络的全连接层，对数据进行分类，得到分类标签Yclstm。
可选的，所述S2中利用K-means获取无标注数据集中的数据对应K-means的分类标签YK-means，包括：
将无标注数据集中的数据聚类为4个簇C＝{c1,c2,c3,c4}，并获取其四个聚类中心CenterP＝{cp1,cp2,cp3,cp4}；
将4个簇中数据量最少的簇ci设置为异常簇，其余簇设置为正常簇；若存在多个数据量最小的簇，则计算各聚类中心到其余簇聚类中心的合向量的模VectorMod＝{vm1,vm2,vm3,vm4}，并将所有数据量最小的簇中合向量的模最大的簇设置为异常簇，其余簇设置为正常簇，由此得到新的簇的集合{CP,CN}，其中CP为异常簇，CN为正常簇，由此获得K-means的分类标签YK-means。
可选的，各聚类中心到其余聚类中心的合向量的模vmi定义为：
其中cpi和cpj表示两个不同的聚类中心。
可选的，所述S3根据S2得出的分类标签Yclstm和分类标签YK-means判断是否更新预训练好的时空特征提取模型，包括：
根据下式计算分类标签Yclstm和分类标签YK-means的分类误差ε；
其中Ws为分类标签的数量。
可选的，所述S5包括：
S51依据分类标签Yclstm和分类标签YK-means获取新的有标注数据集；
S52将分类所得标签Yclstm与YK-means相同部分对应的数据作为可信数据，并对其进行标注，其余作为不可信数据；
S53利用K-means算法对不可信数据以k＝2进行再次聚类，并将聚类所得簇中，数据量少的认定为异常簇，数据量多的认定为正常簇，并对其进行标注；
S54将步骤53中标注好的数据依据数据的时间戳合并，作为新的有标注数据集；
S55将步骤54得到的新的有标注数据集中的数据输入CNN模型提取对应的空间特征，并将提取到的空间特征作为LSTM网络的输入；
S56利用反向传播不断更新LSTM网络的参数，直到LSTM网络的输出经全连接层以及Softmax分类器得到的分类结果同原始有标注数据误差小于分类误差的预定阈值时，结束迭代；若迭代次数超过20次，结束迭代；
S57输出此时得到的分类标签Yclstm，作为待检测的无标注的传感器网络数据的分类结果。
可选的，所述S1中预训练好的时空特征提取模型的训练过程为：
预采集传感器网络数据流数据，并对数据进行标注，将预采集到的数据中数值符合规律的数据，标注为正常数据，标签为0；将数值突变、与正常数据变化趋势不同的数据，标注为异常数据，标签为1，得到用于训练时空特征提取模型的有标注数据集；所述传感器网络数据流数据为待检测的无线传感器网络；
利用有标注的数据集对时空特征提取模型进行预训练，获取预训练模型，即预训练好的时空特征提取模型。
可选的，所述获取预训练模型，包括：
使用卷积神经网络提取有标注数据集中的数据的空间特征；
将提取出的空间特征输入长短时记忆网络中的LSTM层提取相应的时间特征；
将提取出的时间特征和空间特征输入长短时记忆网络的全连接层，对数据进行分类；
利用反向传播更新预训练模型的模型参数，得到预训练模型，即预训练好的时空特征提取模型。
可选的，所述利用反向传播更新预训练模型的模型参数，得到预训练模型，包括：
利用平均交叉熵作为预训练模型的损失函数；
利用实际标签y与预测标签y′计算交叉熵Hy′(y)：
其中y′b为预测标签y′中第b个标签，yb为实际标签y中第b个标签；
损失函数为：loss＝Hy′(y)/N，其中Ny为实际标签y中标签的数量，Ny′为预测标签y′中标签的数量，并且Ny＝Ny′；反向传播利用梯度下降的方式拟合时空特征提取模型的参数，目标是最小化损失函数，得到待检测的传感器网络数据对应的时空特征提取模型的模型参数。
本申请还提供一种基于无线传感器网络的环境监测方法，所述方法采用上述无线传感器网络半监督在线异常检测方法对传感器采集到的数据进行异常检测，根据异常检测结果判断环境监测结果；所述传感器采集到的数据包括环境温度、湿度、光照强度及传感器电压。
本发明有益效果是：
通过综合时空相关性和双检验机制的无线传感器网络半监督在线异常检测方法，解决了有监督学习异常检测算法需要完善的有标注数据集、无监督学习异常检测算法只适合检测统计异常、半监督学习异常检测算法对分布不均匀数据分类效果差的的问题，达到了利用少量有标注数据训练模型并在在线检测阶段异常检测准确度高，并且，本申请所提出的K-means模型更新算法可以有效提高现有异常检测模型的检测准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中无线传感器网络数据流在线异常检测方法的流程图。
图2(a)-图2(d)为本发明一个实施例中CNN、LSTM、C-LSTM、CKM、LKM、C-LKM算法在各时间段上对应不同异常值数量占比的F1分数仿真结果图；
其中图2(a)为在异常值数量占比为1％的数据集上，各算法在各时间段上的F1分数；
图2(b)为在异常值数量占比为2％的数据集上，各算法在各时间段上的F1分数；
图2(c)为在异常值数量占比为5％的数据集上，各算法在各时间段上的F1分数；
图2(d)为在异常值数量占比为10％的数据集上，各算法在各时间段上的F1分数。
图3(a)-图3(d)为本发明一个实施例中CNN、LSTM、C-LSTM、CKM、LKM、C-LKM算法在各时间段上对应不同异常值数量占比的召回率仿真结果图；
其中图3(a)为在异常值数量占比为1％的数据集上，各算法在各时间段上的召回率；
图3(b)为在异常值数量占比为2％的数据集上，各算法在各时间段上的召回率；
图3(c)为在异常值数量占比为5％的数据集上，各算法在各时间段上的召回率；
图3(d)为在异常值数量占比为10％的数据集上，各算法在各时间段上的召回率。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种无线传感器网络半监督在线异常检测方法，参见图1，所述方法包括：
一、预训练阶段：利用待检测的传感器网络数据训练已有的时空特征提取模型，获取相应的模型参数。其中传感器网络数据即为无线传感网络中的传感器采集的数据；比如，如果是利用无线传感网络进行环境监测，则传感器网络数据即为传感器采集的环境的温度、湿度、光照强度以及传感器自身的电压。具体的，预训练过程包括：
步骤1：预采集传感器网络数据流，并对数据进行标注。
将预采集到的数据中数值符合规律的数据，标注为正常数据，标签为0；将数值突变、与正常数据变化趋势不同的数据，标注为异常数据，标签为1；得到有标注的数据集。
步骤2：利用有标注的数据集对时空特征提取模型进行预训练，获取预训练模型。
步骤21：使用卷积神经网络(CNN)提取数据的空间特征；
步骤22：将提取出的空间特征输入长短时记忆网络(LSTM)中的LSTM层提取相应的时间特征；
步骤23：将提取出的时间特征和空间特征输入长短时记忆网络(LSTM)的全连接层，对数据进行分类；
时空特征提取模型中的卷积神经网络(CNN)包含两个卷积层，两个最大池化层，每一个卷积层都包含64个大小为[5,5]的卷积核，以步长为1进行卷积，利用tanh函数作为激活函数，每个卷积层后接一个最大池化层，卷积和池化的操作均不使用数据填充(padding)。
长短时记忆网络(LSTM)包含两个LSTM层和两个作为分类器的全连接层。其中两个LSTM层每层包含64个节点；分类器包含两个全连接层，第一个全连接层包含32个节点，利用tanh函数作为激活函数，第二个全连接层包含2个节点，最后利用softmax函数获取最终的分类标签；
步骤24：利用反向传播更新预训练模型的模型参数，即得到待检测的传感器网络数据对应的时空特征提取模型的模型参数。
具体的，利用平均交叉熵作为预训练模型的损失函数。
利用实际标签y与预测标签y′计算交叉熵Hy′(y)。
其中y′b为预测标签y′中第b个标签，yb为实际标签y中第b个标签。
由交叉熵函数可知，预测标签越准确，交叉熵越小。
损失函数为：loss＝Hy′(y)/N，其中N为实际标签y中标签的数量，并且Ny＝Ny′。反向传播利用梯度下降的方式拟合时空特征提取模型的参数，目标是最小化损失函数，得到待检测的传感器网络数据对应的时空特征提取模型的模型参数。
二、在线检测过程：将预训练得到的时空特征提取模型参数应用于在线异常检测方法中，实现对于待检测的传感器网络数据的异常检测。具体的，在线检测过程包括：
步骤3：利用时空特征提取模型获取新数据的分类标签Yclstm，时空特征提取模型的模型参数为步骤24利用反向传播更新后的参数；所述新数据为无标注的传感器数据。
同时利用K-means获得新数据的K-means的分类标签YK-means；具体的，包括
步骤31将无标注的传感器数据聚类为4个簇C＝{c1,c2,c3,c4}，并获取其四个聚类中心CenterP＝{cp1,cp2,cp3,cp4}。
步骤32：将4个簇中数据量最少的簇ci设置为异常簇，其余簇设置为正常簇。
若存在多个数据量最小的簇，则计算各聚类中心到其余簇聚类中心的合向量的模VectorMod＝{vm1,vm2,vm3,vm4}，并将所有数据量最小的簇中合向量的模最大的簇设置为异常簇，其余簇设置为正常簇。
据此，获取新的簇的集合{CP,CN}，其中CP为异常簇，CN为正常簇，由此获得K-means的分类标签YK-means。
其中各聚类中心cpi到其余聚类中心的合向量的模vmi定义为：
步骤4：对比时空特征提取模型获取的新数据的分类标签Yclstm和K-means模型更新算法获取的新数据的分类标签YK-means的分类误差；
如果分类误差低于预定阈值，则判定时空特征提取模型获取的新数据的分类标签准确，可以直接输出；否则判定时空特征提取模型获取的新数据的分类标签不准确，时空特征提取模型需要进行调整。
分类误差ε是指，Yclstm和YK-means不同的数据的个数：
其中Ws为获取的分类标签的数量。
步骤5：如果需要调整时空特征提取模型参数，则生成新的有标注数据集，并对模型进行更新。
步骤51：依据时空特征提取模型获取的新数据的分类标签Yclstm和K-means模型更新算法获取的新数据的分类标签YK-means获取新的有标注数据集；
步骤52：认定分类所得标签Yclstm与YK-means相同部分对应的数据为可信数据，并对其进行标注；
步骤53：利用K-means算法对不可信数据以k＝2进行再次聚类，并将聚类所得簇中，数据量少的认定为异常簇，数据量多的认定为正常簇，并对其进行标注；
步骤54：将步骤53中标注好的数据依据数据的时间戳合并，作为新的有标注数据集；
步骤55：将步骤54得到的新的有标注数据集中的数据输入预训练的CNN提取数据的空间特征，并将提取好的特征作为LSTM网络的输入；
步骤56：利用反向传播不断更新LSTM网络的参数，直到LSTM网络的输出经全连接层以及Softmax分类器分类结果同原始有标注数据误差小于分类误差的预定阈值时，结束迭代；若迭代次数超过20次，结束迭代。
步骤6：输出新采集数据的分类标签，得出异常检测的结果。
为验证本申请提出的半监督在线异常检测(C-LKM)方法对于数据分布不均衡的数据(如异常检测数据集)的检测效果，特进行仿真实验，如下所述：
本申请选择在真实的数据集Berkeley datasets中检验本申请方法的检测性能。
英特尔实验室数据集收集自2004年2月28日至4月5日期间部署在英特尔伯克利研究实验室的54个Mica2Dot传感器。每个节点每31秒收集一次相对湿度、温度、光照和电压值。
本实施例实验数据为31号节点前40000组数据，忽略长时间丢失数据的情况，并对其余缺失值使用线性插值法进行补齐，取补齐后数据的前60000组数据作为实验数据集，并默认此数据集不存在异常值。之后，对数据插入异常点。随机选取一定比例的正常时刻，将其四个属性值改为异常值。
异常值计算方法为，以随机选取的异常点为中心，以15为时间窗口，计算该时间窗口内各属性的均值
以及方差
其中
分别表示第n个时间窗口内，温度、湿度、光照强度、电池电压的均值；
分别表示第n个时间窗口内，温度、湿度、光照强度、电池电压的方差。异常值Xi′的计算方法为：
其中m为计算机生成的随机数，m为正整数，rm和rv为取值在(0，1]内的随机数。
实验中，分别向IBRL_31数据集中插入1％、2％、5％、10％的异常点，获取四组异常占比分别为1％、2％、5％、10％的有标注数据集。取每组前5000组数据做训练集，预训练时空特征提取模型。
实验将本申请提出的C-LKM(CNN-LSTM-K-means)方法与传统卷积神经网络CNN、长短时记忆网络LSTM、C-LSTM，以及使用了K-means模型更新算法的CKM(CNN-K-means)、LKM(LSTM-K-means)方法做对比。
本实验将异常检测作为二分类问题进行解决，最终分类结果为：异常P、正常N。对于二分类问题，将最终分类结果划分为：真正例TP(True Positive)、假正例FP(FalsePositive)、真反例TN(True Negative)、假反例FN(False Negative)，其中正例P为异常数据，反例N为正常数据。异常检测数据集存在正反例占比不均的问题，为准确反映各对比模型的异常检测性能，采用召回率Recall、准确率Accuracy、F1-Score作为算法的评价指标。
Recall＝TP/(TP+FN)
Accuracy＝(TP+TN)/(P+N)
实验结果如图2所示。
上述方法中，CNN算法可参考：Napoletano P,Piccoli F,Schettini R.Anomalydetection in nanofibrous materials by cnn-based self-similarity[J].Sensors,2018,18(1):209.
LSTM算法可参考：Hochreiter S,Schmidhuber J.Long Short-Term Memory[J].Neural computation,1997,9(8):1735-1780.
C-LSTM算法可参考：Kim T-Y,Cho S-B.Web Traffic Anomaly Detection UsingC-LSTM Neural Networks[J].Expert Systems with Applications,2018,106:66-76.
根据图2和图3所示的试验结果可知：
本申请提供的C-LKM方法较C-LSTM方法在F1-Score和召回率上有明显提升。当异常占比为1％时，C-LKM在每一段测试集上的F1-Score最高为0.942，召回率最高为0.983，在全部55000组数据上的F1-Score均值为0.939，召回率均值为0.954。当异常占比为2％时，C-LKM在每一段测试集上的F1-Score最高为0.956，召回率最高为0.989，在全部55000组数据上的F1-Score均值为0.948，召回率均值为0.949。当异常占比为5％时，C-LKM在每一段测试集上的F1-Score最高为0.968，召回率最高为0.980，在全部55000组数据上的F1-Score均值为0.965，召回率均值为0.964。当异常占比为10％时，C-LKM在每一段测试集上的F1-Score最高为0.976，召回率最高为0.977，在全部55000组数据上的F1-Score均值为0.970，召回率均值为0.954。
综上可知，本申请提出的C-LKM方法在面对数据分布极度不均匀的情况(上述实验数据中，异常占比只为1％、2％、5％、10％)，相较于其他对比算法，本申请提供的C-LKM算法提升了异常点检测准确度。
对比未使用K-means模型更新算法的原算法，使用K-means模型更新算法之后，模型在各区间上的F1-Score和召回率均获得明显提升，其中，K-means模型更新算法对CNN以及LSTM算法提升最明显。这是由于单独的CNN无法有效提取传感器数据流的时间特征，单独的LSTM算法无法有效提取传感器数据流的空间特征，这导致预训练期间，他们的模型无法有效拟合。随着输入数据增加，K-means模型更新算法可以利用新获取的传感器数据继续训练预训练模型，帮助模型进一步拟合，从而提升模型异常检测效果。C-LSTM算法本身已经可以有效提取传感器数据流的时空特征，在预训练阶段已经获得了较好的拟合效果，但是由于训练集数量较少，只有5000组数据，并且训练集异常占比低，数据分布极度不均匀，异常种类不全，导致模型并未完全拟合。因此检测结果没有本申请方法好。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种无线传感器网络半监督在线异常检测方法，其特征在于，所述方法包括：
S1获取待检测的无标记的传感器网络数据，构成无标注数据集；
S2利用预训练好的时空特征提取模型获取无标注数据集中的数据的分类标签Yclstm，所述时空特征提取模型包含用于提取数据的空间特征的CNN模型和用于提取数据的时间特征的LSTM模型；同时利用K-means获取无标注数据集中的数据对应K-means的分类标签YK-means；
S3根据S2得出的分类标签Yclstm和分类标签YK-means判断是否更新预训练好的时空特征提取模型；
S4若S3的判断结果为无需更新，则直接输出分类标签Yclstm作为待检测的无标注的传感器网络数据的分类结果；
S5若S3的判断结果为需要更新，则生成新的训练数据训练时空特征提取模型中的LSTM模型，不断迭代至获取到的分类标签Yclstm与分类标签YK-means的分类误差小于预定阈值或迭代次数超过预定次数；输出此时得到的分类标签Yclstm，作为待检测的无标注的传感器网络数据的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述S2中利用预训练好的时空特征提取模型获取无标记数据集中的数据的分类标签Yclstm包括：
使用卷积神经网络CNN模型提取数据的空间特征；
将提取出的空间特征输入长短时记忆网络LSTM模型的LSTM层提取相应的时间特征；
将提取出的时间特征和空间特征输入长短时记忆网络的全连接层，对数据进行分类，得到分类标签Yclstm。
3.根据权利要求2所述的方法，其特征在于，所述S2中利用K-means获取无标注数据集中的数据对应K-means的分类标签YK-mearns，包括：
将无标注数据集中的数据聚类为4个簇C＝{c1，c2，c3，c4}，并获取其四个聚类中心CenterP＝{cp1，cp2，cp3，cp4}；
将4个簇中数据量最少的簇ci设置为异常簇，其余簇设置为正常簇；若存在多个数据量最小的簇，则计算各聚类中心到其余簇聚类中心的合向量的模VectorMod＝{vm1，vm2，vm3，vm4}，并将所有数据量最小的簇中合向量的模最大的簇设置为异常簇，其余簇设置为正常簇，由此得到新的簇的集合{CP，CN}，其中CP为异常簇，CN为正常簇，由此获得K-means的分类标签YK-means。
4.根据权利要求3所述的方法，其特征在于，各聚类中心到其余聚类中心的合向量的模vmi定义为：
其中cpi和cpj表示两个不同的聚类中心。
5.根据权利要求4所述的方法，其特征在于，所述S3根据S2得出的分类标签Yclstm和分类标签YK-means判断是否更新预训练好的时空特征提取模型，包括：
根据下式计算分类标签Yclstm和分类标签YK-means的分类误差ε；
其中Ws为分类标签的数量。
6.根据权利要求5所述的方法，其特征在于，所述S5包括：
S51依据分类标签Yclstm和分类标签YK-means获取新的有标注数据集；
S52将分类所得标签Yclstm与YK-means相同部分对应的数据作为可信数据，并对其进行标注，其余作为不可信数据；
S53利用K-means算法对不可信数据以k＝2进行再次聚类，并将聚类所得簇中，数据量少的认定为异常簇，数据量多的认定为正常簇，并对其进行标注；
S54将步骤53中标注好的数据依据数据的时间戳合并，作为新的有标注数据集；
S55将步骤54得到的新的有标注数据集中的数据输入CNN模型提取对应的空间特征，并将提取到的空间特征作为LSTM网络的输入；
S56利用反向传播不断更新LSTM网络的参数，直到LSTM网络的输出经全连接层以及Softmax分类器得到的分类结果同原始有标注数据误差小于分类误差的预定阈值时，结束迭代；若迭代次数超过20次，结束迭代；
S57输出此时得到的分类标签Yclstm，作为待检测的无标注的传感器网络数据的分类结果。
7.根据权利要求6所述的方法，其特征在于，所述S1中预训练好的时空特征提取模型的训练过程为：
预采集传感器网络数据流数据，并对数据进行标注，将预采集到的数据中数值符合规律的数据，标注为正常数据，标签为0；将数值突变、与正常数据变化趋势不同的数据，标注为异常数据，标签为1，得到用于训练时空特征提取模型的有标注数据集；所述传感器网络数据流数据为待检测的无线传感器网络；
利用有标注的数据集对时空特征提取模型进行预训练，获取预训练模型，即预训练好的时空特征提取模型。
8.根据权利要求7所述的方法，其特征在于，所述获取预训练模型，包括：
使用卷积神经网络提取有标注数据集中的数据的空间特征；
将提取出的空间特征输入长短时记忆网络中的LSTM层提取相应的时间特征；
将提取出的时间特征和空间特征输入长短时记忆网络的全连接层，对数据进行分类；
利用反向传播更新预训练模型的模型参数，得到预训练模型，即预训练好的时空特征提取模型。
9.根据权利要求8所述的方法，其特征在于，利用反向传播更新预训练模型的模型参数，得到预训练模型，包括：
利用平均交叉熵作为预训练模型的损失函数；
利用实际标签y与预测标签y′计算交叉熵Hy′(y)：
其中y′b为预测标签y′中第b个标签，yb为实际标签y中第b个标签；
损失函数为：loss＝Hy′(y)/N，其中Ny为实际标签y中标签的数量，Ny′为预测标签y′中标签的数量，并且Ny＝Ny′；反向传播利用梯度下降的方式拟合时空特征提取模型的参数，目标是最小化损失函数，得到待检测的传感器网络数据对应的时空特征提取模型的模型参数。
10.一种基于无线传感器网络的环境监测方法，其特征在于，所述方法采用权利要求1-9任一所述的无线传感器网络半监督在线异常检测方法对传感器采集到的数据进行异常检测，根据异常检测结果判断环境监测结果；所述传感器采集到的数据包括环境温度、湿度、光照强度及传感器电压。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011307249.9A CN112288034B (zh) | 2020-11-19 | 2020-11-19 | 一种无线传感器网络半监督在线异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011307249.9A CN112288034B (zh) | 2020-11-19 | 2020-11-19 | 一种无线传感器网络半监督在线异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288034A true CN112288034A (zh) | 2021-01-29 |
| CN112288034B CN112288034B (zh) | 2024-03-29 |
Family
ID=74398302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011307249.9A Active CN112288034B (zh) | 2020-11-19 | 2020-11-19 | 一种无线传感器网络半监督在线异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288034B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113328986A (zh) * | 2021-04-09 | 2021-08-31 | 国网浙江省电力有限公司金华供电公司 | 基于卷积神经网络与lstm结合的网络流量异常检测方法 |
| CN113378966A (zh) * | 2021-06-25 | 2021-09-10 | 中国科学技术大学 | 一种基于弱监督学习的手机传感器数据标注方法 |
| CN113420825A (zh) * | 2021-07-07 | 2021-09-21 | 国能龙源蓝天节能技术有限公司 | 一种基于支持向量机的异常数据检测方法及电子设备 |
| CN113541834A (zh) * | 2021-06-24 | 2021-10-22 | 西安电子科技大学 | 一种异常信号半监督分类方法、系统、数据处理终端 |
| CN114419035A (zh) * | 2022-03-25 | 2022-04-29 | 北京百度网讯科技有限公司 | 产品识别方法、模型训练方法、装置和电子设备 |
| CN116933114A (zh) * | 2023-06-12 | 2023-10-24 | 浙江大学 | 一种基于cnn-lstm的直流微电网检测方法及装置 |
| CN118606872A (zh) * | 2024-08-08 | 2024-09-06 | 华侨大学 | 一种安全水设备异常的检测模型及异常检测的方法和设备 |
-
2020
- 2020-11-19 CN CN202011307249.9A patent/CN112288034B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| NUSAYBAH ALGHANMI等: ""HLMCC: A Hybrid Learning Anomaly Detection Model for Unlabeled Data in Internet of Things", 《HTTPS://IEEEXPLORE.IEEE.ORG/ABSTRACT/DOCUMENT/8932357》, pages 179492 - 179504 * |
| TAE-YOUNG KIM等: "Web traffic anomaly detection using C-LSTM neural networks", 《EXPERT SYSTEMS WITH APPLICATIONS》, pages 66 - 76 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113328986A (zh) * | 2021-04-09 | 2021-08-31 | 国网浙江省电力有限公司金华供电公司 | 基于卷积神经网络与lstm结合的网络流量异常检测方法 |
| CN113541834A (zh) * | 2021-06-24 | 2021-10-22 | 西安电子科技大学 | 一种异常信号半监督分类方法、系统、数据处理终端 |
| CN113541834B (zh) * | 2021-06-24 | 2023-03-03 | 西安电子科技大学 | 一种异常信号半监督分类方法、系统、数据处理终端 |
| CN113378966A (zh) * | 2021-06-25 | 2021-09-10 | 中国科学技术大学 | 一种基于弱监督学习的手机传感器数据标注方法 |
| CN113378966B (zh) * | 2021-06-25 | 2023-03-10 | 中国科学技术大学 | 一种基于弱监督学习的手机传感器数据标注方法 |
| CN113420825A (zh) * | 2021-07-07 | 2021-09-21 | 国能龙源蓝天节能技术有限公司 | 一种基于支持向量机的异常数据检测方法及电子设备 |
| CN114419035A (zh) * | 2022-03-25 | 2022-04-29 | 北京百度网讯科技有限公司 | 产品识别方法、模型训练方法、装置和电子设备 |
| CN114419035B (zh) * | 2022-03-25 | 2022-06-17 | 北京百度网讯科技有限公司 | 产品识别方法、模型训练方法、装置和电子设备 |
| CN116933114A (zh) * | 2023-06-12 | 2023-10-24 | 浙江大学 | 一种基于cnn-lstm的直流微电网检测方法及装置 |
| CN118606872A (zh) * | 2024-08-08 | 2024-09-06 | 华侨大学 | 一种安全水设备异常的检测模型及异常检测的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288034B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288034A (zh) | 一种无线传感器网络半监督在线异常检测方法 | |
| CN110097755B (zh) | 基于深度神经网络的高速公路交通流量状态识别方法 | |
| CN111314331B (zh) | 一种基于条件变分自编码器的未知网络攻击检测方法 | |
| Zheng et al. | Semi-supervised classification on data streams with recurring concept drift and concept evolution | |
| CN111694879A (zh) | 一种多元时间序列异常模式预测方法及数据采集监控装置 | |
| CN107292097B (zh) | 基于特征组的中医主症选择方法 | |
| CN109685153B (zh) | 一种基于特征聚合的社交网络谣言鉴别方法 | |
| CN110287439A (zh) | 一种基于lstm的网络行为异常检测方法 | |
| CN113887616A (zh) | 一种epg连接数的实时异常检测系统及方法 | |
| CN111126576B (zh) | 一种深度学习的训练方法 | |
| CN112270355A (zh) | 基于大数据技术与sae-gru的主动安全预测方法 | |
| CN113225346A (zh) | 一种基于机器学习的网络运维态势评估方法 | |
| CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及系统 | |
| CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
| CN109902754A (zh) | 一种高效的半监督多层次入侵检测方法及系统 | |
| CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
| CN117973511A (zh) | 一种融合知识图谱和神经网络的电梯故障诊断方法 | |
| CN113312968B (zh) | 一种监控视频中的真实异常检测方法 | |
| CN115409154A (zh) | 一种融合元学习和预训练的概念漂移主动检测方法 | |
| CN115348215A (zh) | 一种基于时空注意力机制的加密网络流量分类方法 | |
| CN116401537A (zh) | 基于多任务的网络多元时间流量序列异常检测方法及装置 | |
| CN112561153A (zh) | 一种基于模型集成的景区人群聚集预测方法 | |
| Su et al. | ADCMO: an anomaly detection approach based on local outlier factor for continuously monitored object | |
| CN115223103B (zh) | 基于数字图像处理的高空抛物检测方法 | |
| CN114362973B (zh) | 结合K-means和FCM聚类的流量检测方法及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |