CN116193425A - 一种基于感知分组的时间序列异常数据在线检测方法 - Google Patents

一种基于感知分组的时间序列异常数据在线检测方法 Download PDF

Info

Publication number
CN116193425A
CN116193425A CN202310101794.XA CN202310101794A CN116193425A CN 116193425 A CN116193425 A CN 116193425A CN 202310101794 A CN202310101794 A CN 202310101794A CN 116193425 A CN116193425 A CN 116193425A
Authority
CN
China
Prior art keywords
sensor node
sensor
node
time sequence
correlation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310101794.XA
Other languages
English (en)
Inventor
高聪
高瑞
王忠民
陈彦萍
金小敏
夏虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202310101794.XA priority Critical patent/CN116193425A/zh
Publication of CN116193425A publication Critical patent/CN116193425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/009—Security arrangements; Authentication; Protecting privacy or anonymity specially adapted for networks, e.g. wireless sensor networks, ad-hoc networks, RFID networks or cloud networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H04W12/122—Counter-measures against attacks; Protection against rogue devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于感知分组的时间序列异常数据在线检测方法，包括：传感器节点采集当前时间序列数据；将当前时间序列上传至云服务器，以使云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图，并基于相关系数图对多个传感器节点进行分组之后，将分组结果发送至无线传感器网络；利用预先训练好的贝叶斯网络模型对自身的当前时间序列进行异常筛选，得到初级检测结果；针对分组后的每个节点集合，根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果；确定各传感器节点当前时间序列的检测结果。本发明可以减少无线传感器网络中通信的复杂度，减少能耗、提高异常检测准确率。

Description

一种基于感知分组的时间序列异常数据在线检测方法
技术领域
本发明属于无线传感器网络技术领域，具体涉及一种基于感知分组的时间序列异常数据在线检测方法。
背景技术
无线传感器网络是由传感器自主分布在特定空间形成的网络。随着智慧城市、自动化工厂以及智慧医疗的迅速发展，无线传感器网络已经成为了一种重要的信息采集方式。无线传感器网络由分布在一个地理区域内的大量节点组成，其中，每个节点都连接一个或多个传感器，各节点都由微控制器、电子电路、无线电收发器和能量源等多个部分组成。
虽然密码、安全路由等应用技术提高了传感器网络的安全性，但无线传感器网络仍具有节点资源有限、易受攻击等特点，目前还没有有效的方法检测传感器网络中的数据异常，难以保证传感器网络数据的可靠性。因此如何高效、准确地利用数据进行异常检测是传感器网络安全领域的热点问题。
通常，当节点的测量数据明显偏离正常感知数据时，就被认为是异常数据，也称为离群值。离群值的来源包括传感器设备故障引起的噪声、部署环境中的突发自然事件、针对网络的恶意数据攻击等。根据时间序列的不同机理和表现形式，时间序列的异常类型通常分为点异常、模式异常和序列异常三种类型。点异常与模式异常、序列异常相比，能更好地反映一定时间段内数据的质量和无线传感器网络的安全状况，更具研究价值，因此对于无线传感器网络的异常检测主要针对点异常。
目前，本领域技术人员已经从五个方面对无线传感器网络的异常检测进行了分析和研究：基于统计、基于距离、基于密度、基于聚类和基于机器学习。针对基于统计的异常检测方法，通过判断数据与统计分布之间的差异是否大于异常的特定值或范围，可以有效地检测低维数据中的异常，但该方法不适用于多维数据。基于距离的异常检测方法通过计算空间中的数据与其邻近数据之间的距离差来检测异常；然而，对于多元数据，计算样本之间的距离成本过高。基于密度的异常检测方法的基本思想是通过比较对象与其邻域的密度来检测异常，该方法引入了LOF(Local Outlier Factor，局部离群因子)，LOF值越高、则数据异常的可能性越大；但是，该方法时间复杂度高且对LOF的阈值设置比较敏感。基于聚类的异常检测方法的局限性在于检测性能严重依赖于聚类的选择，并且对于多元数据具有较高的计算复杂度。进一步地，随着深度学习的发展，越来越多的基于机器学习的异常检测方法得到应用，但是这类方法的局限性在于模型训练时间长，针对不同的数据需要训练不同的模型。
可见，现有技术中的异常检测方法忽视了无线传感器网络的规模，同时没有充分利用无线传感器网络节点之间的时空相关性。由于无线传感器网络中的数据具有规模大、维度高、数据量大等特点，上述异常检测方法不仅耗时，而且计算成本也很高。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于感知分组的时间序列异常数据在线检测方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供一种基于感知分组的时间序列异常数据在线检测方法，应用于与云服务器通信连接的无线传感器网络，所述无线传感器网络包括多个传感器节点；
所述时间序列异常数据在线检测方法包括：
传感器节点采集当前时间序列；
传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图，并使所述云服务器基于所述相关系数图对多个传感器节点进行分组之后，将分组结果发送至所述无线传感器网络；
传感器节点利用预先训练好的贝叶斯网络模型对自身的当前时间序列进行异常筛选，得到初级检测结果；
针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果；
根据所述初级检测结果及所述二级检测结果，确定各传感器节点当前时间序列的检测结果。
在本发明的一个实施例中，传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图的步骤，包括：
传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据时间序列计算相关系数矩阵，并基于所述相关系数矩阵确定各传感器节点之间的相关系数后，进一步根据相关系数及第二预设阈值生成相关系数图。
在本发明的一个实施例中，所述相关系数矩阵表示为：
Figure BDA0004085459960000031
其中，
Figure BDA0004085459960000032
式中，R为相关系数矩阵，ci,j表示传感器节点i与传感器节点j之间的相关系数，i＝1,2,...,n，j＝1,2,...,n，n表示传感器节点的数量，si(m)、sj(m)分别表示传感器节点i、传感器节点j在时刻m采集的时间序列，
Figure BDA0004085459960000033
分别表示t0～T时间段内传感器节点i、传感器节点j采集的时间序列均值，/>
Figure BDA0004085459960000034
Figure BDA0004085459960000041
si、sj分别表示传感器节点i、传感器节点j采集的数据序列，si＝{si(1),si(2),…si(m)}、sj＝{sj(1),sj(2),…sj(m)}，||·||2表示L2范数即欧几里得范数。
在本发明的一个实施例中，所述云服务器按照如下步骤生成相关系数图：
比较传感器节点i与传感器节点j之间的相关系数ci,j的大小；
当相关系数ci,j大于等于第二预设阈值时，在传感器节点i与传感器节点j之间建立一条无向边，并将相关系数ci,j作为传感器节点i与传感器节点j之间的权重wi,j；
当相关系数ci,j小于第二预设阈值时，将传感器节点i与传感器节点j之间的权重wi,j置为0；
遍历所有传感器节点后，基于得到的邻接矩阵生成相关系数图。
在本发明的一个实施例中，所述云服务器按照如下步骤对多个传感器节点进行分组：
针对传感器节点i，分别计算传感器节点i与各个邻居节点的匹配价值，其中，所述邻居节点为通过无向边与所述传感器节点i连接的传感器节点；
当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0时，将传感器节点i与匹配价值最大的邻居节点匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0且相等时，随机选取一个邻居节点与传感器节点i匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均小于0时，则传感器节点i不与邻居节点匹配为一组；
将匹配为一组的传感器节点i和传感器节点l合并为新的传感器节点k，并调整所述相关系数图；
直至各传感器节点与自身各个邻居节点的匹配价值均小于0时，根据当前的相关系数图获得传感器节点的分组结果。
在本发明的一个实施例中，按照如下公式计算所述匹配价值：
Figure BDA0004085459960000051
其中，W表示当前的相关系数图中所有权重之和，ki表示所有传感器节点i与所有邻居节点间权重之和，kl表示所有传感器节点l与所有邻居节点间权重之和，传感器节点l为传感器节点i的邻居节点，wi,l表示传感器节点i与传感器节点l之间的权重。
在本发明的一个实施例中，针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果的步骤，包括：
分别获取最近T时间内传感器节点i采集的第一时间序列Si(t-T,t)和传感器节点l采集的第二时间序列Sl(t-T,t)，并计算第一时间序列的均值
Figure BDA0004085459960000052
以及第二时间序列的均值/>
Figure BDA0004085459960000053
将
Figure BDA0004085459960000054
和/>
Figure BDA0004085459960000055
作为区域中心，并计算所述当前时间序列与所述区域中心的马氏距离；
判断所述当前时间序列与所述区域中心的马氏距离是否大于第一预设阈值；若是，则当前时间序列的二级检测结果为异常；反之，则当前时间序列的二级检测结果为正常。
在本发明的一个实施例中，根据所述初级检测结果及所述二级检测结果，确定各传感器节点当前时间序列的检测结果的步骤，包括：
若当前时间序列的初级检测结果与二级检测结果均为异常，则该传感器节点当前时间序列的检测结果为异常；
若当前时间序列的初级检测结果和\或二级检测结果为正常，则该传感器节点当前时间序列的检测结果为正常。
与现有技术相比，本发明的有益效果在于：
本发明提供一种基于感知分组的时间序列异常数据在线检测方法，云服务器利用相关系数表征各传感器节点之间的相关性强弱，并基于相关系数生成相关系数图，从而基于相关系数图对无线传感器节点进行分组，不仅可以减少无线传感器网络中通信的复杂度，还能够减少能耗、提高异常检测准确率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的基于感知分组的时间序列异常数据在线检测方法的一种流程图；
图2是本发明实施例提供的基于感知分组的时间序列异常数据在线检测方法的一种示意图；
图3a是本发明实施例提供的生成数据集的一种示意图；
图3b是本发明实施例提供的生成数据集的另一种示意图；
图4a是本发明实施例提供的生成数据集的DR指标和FPR指标结果图；
图4b是本发明实施例提供的生成数据集的F1指标结果图；
图5a是本发明实施例提供的滑动窗口大小与异常比例的FDR指标对比图；
图5b是本发明实施例提供的滑动窗口大小与异常比例的DR指标对比图；
图5c是本发明实施例提供的异常比例与相关阈值的FPR指标对比图；
图5d是本发明实施例提供的异常比例与相关阈值的DR指标对比图；
图6a是本发明实施例提供的FPR指标对比图；
图6b是本发明实施例提供的DR指标对比图；
图6c是本发明实施例提供的F1指标对比图；
图7是本发明实施例提供的数据量与能耗的关系示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
通常，无线传感器网络的传感器节点直接部署在外部环境中进行数据采集。由于传感器节点完全暴露在其无法控制的外部环境中，其物理资源如能源、计算能力、存储容量、通信能力等非常有限。因此，传感器节点非常容易受到环境因素和恶意数据损坏的干扰，导致传感器网络采集到的数据出现异常。
有鉴于此，本发明提供一种基于感知分组的时间序列异常数据在线检测方法。
图1是本发明实施例提供的基于感知分组的时间序列异常数据在线检测方法的一种流程图，图2是本发明实施例提供的基于感知分组的时间序列异常数据在线检测方法的一种示意图。如图1-2所示，本发明实施例提供一种基于感知分组的时间序列异常数据在线检测方法，应用于与云服务器通信连接的无线传感器网络，无线传感器网络包括多个传感器节点；
上述时间序列异常数据在线检测方法包括：
S1、传感器节点采集当前时间序列；
S2、传感器节点将自身的当前时间序列上传至云服务器，以使云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图，并使云服务器基于相关系数图对多个传感器节点进行分组之后，将分组结果发送至无线传感器网络；
S3、传感器节点利用预先训练好的贝叶斯网络模型对自身的当前时间序列进行异常筛选，得到初级检测结果；
S4、针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果；
S5、根据初级检测结果及二级检测结果，确定各传感器节点当前时间序列的检测结果。
具体而言，无线传感器网络中各个传感器节点采集到的数据为一个时间序列，各传感器节点首先将自身采集的当前时间序列上传到云服务器，云服务器根据当前时间序列计算各传感器节点之间的相关系数并生成相关系数图，其中，相关系数表征了各传感器节点之间的相关性强弱。由于随机分组的方式忽视了传感器节点之间的相关性，导致检测误差较大，因此本实施例基于相关系数图，通过计算匹配价值来衡量两个传感器节点是否属于同一分组，进而决策出每个传感器节点的最优分组。
应当理解，本实施例中时间序列的异常在线检测包括初级检测和二级检测。在初级检测阶段，各传感器节点利用预先训练好的贝叶斯网络模型检测自身的当前时间序列是否异常，示例性地，贝叶斯网络模型可以由正常的历史时间序列训练获得，通过最大后验概率推理当前时间序列的类别，得到初级检测结果。接着，在二级检测阶段，利用正常的历史时间序列确定正常数据的范围，该范围在几何上表示一个区域，通过计算当前时间序列与区域中心的马氏距离来获得二级检测结果。最终，可以根据初级检测结果与二级检测结果判断当前时间序列正常或异常。
可选地，上述步骤S2中，传感器节点将自身的当前时间序列上传至云服务器，以使云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图的步骤，包括：
传感器节点将自身的当前时间序列上传至云服务器，以使云服务器根据时间序列计算相关系数矩阵，并基于相关系数矩阵确定各传感器节点之间的相关系数后，进一步根据相关系数及第二预设阈值生成相关系数图。
本实施例中，相关系数矩阵表示为：
Figure BDA0004085459960000081
其中，
Figure BDA0004085459960000082
式中，R为相关系数矩阵，ci,j表示传感器节点i与传感器节点j之间的相关系数，i＝1,2,...,n，j＝1,2,...,n，n表示传感器节点的数量，si(m)、sj(m)分别表示传感器节点i、传感器节点j在时刻m采集的时间序列，
Figure BDA0004085459960000091
分别表示t0～T时间段内传感器节点i、传感器节点j采集的时间序列均值，/>
Figure BDA0004085459960000092
Figure BDA0004085459960000093
si、sj分别表示传感器节点i、传感器节点j采集的数据序列，si＝{si(1),si(2),…si(m)}、sj＝{sj(1),sj(2),…sj(m)}，||·||2表示L2范数即欧几里得范数。
可选地，云服务器按照如下步骤生成相关系数图：
比较传感器节点i与传感器节点j之间的相关系数ci,j的大小；
当相关系数ci,j大于等于第二预设阈值时，在传感器节点i与传感器节点j之间建立一条无向边，并将相关系数ci,j作为传感器节点i与传感器节点j之间的权重wi,j；
当相关系数ci,j小于第二预设阈值时，将传感器节点i与传感器节点j之间的权重wi,j置为0；
遍历所有传感器节点后，基于得到的邻接矩阵生成相关系数图。
具体而言，构造无向相关图，无线传感器网络中的每个传感器节点对应相关图中的每个顶点，即无线传感器网络中的传感器节点数量与无向相关图中的顶点数量相等，定义wi,j为无向相关图中传感器节点i与传感器节点j之间的权重。对于传感器节点i与传感器节点j，当相关系数ci,j大于等于第二预设阈值cmin时，在传感器节点i对应的顶点与节点j对应的顶点之间建立一条无向边，并将相关系数ci,j作为传感器节点i与传感器节点j之间的权重，即wi,j＝ci,j；当相关系数ci,j小于第二预设阈值cmin时，则将权重wi,j赋值为0，即wi,j＝0。对各传感器节点执行上述操作后得到邻接矩阵，通过邻接矩阵可以生成相关系数图。
进一步地，所述云服务器按照如下步骤对多个传感器节点进行分组：
针对传感器节点i，分别计算传感器节点i与各个邻居节点的匹配价值，其中，邻居节点为通过无向边与传感器节点i连接的传感器节点；
当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0时，将传感器节点i与匹配价值最大的邻居节点匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0且相等时，随机选取一个邻居节点与传感器节点i匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均小于0时，则传感器节点i不与邻居节点匹配为一组；
将匹配为一组的传感器节点i和传感器节点l合并为新的传感器节点k，并调整相关系数图；
直至各传感器节点与自身各个邻居节点的匹配价值均小于0时，根据当前的相关系数图获得传感器节点的分组结果。
在对传感器节点进行分组时，可先将相关系数图中的每个顶点对应的传感器节点各自视为一组，然后利用匹配价值
Figure BDA0004085459960000101
衡量将该传感器节点i与其邻居节点l分为一组而产生的增益。具体而言，依次计算传感器节点i与相邻传感器节点l匹配为一组带来的价值
Figure BDA0004085459960000102
如果传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0，则与匹配价值最大的邻居节点匹配为一组，其中，若与各个邻居节点匹配的匹配价值相等，则从中随机选择其中一个邻居节点进行匹配；如果传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均小于0，则不对传感器节点i进行匹配。
进一步地，将传感器节点i与传感器节点l匹配为一组后，在相关系数图中将两个传感器节点合并为新的传感器节点k，此时需要将原来与传感器节点i对应顶点以及与传感器节点j对应顶点相连的无向边修改为与新的传感器节点k对应的顶点相连。
当所有传感器节点之间的匹配价值均不大于0时，就获得了传感器节点的分组结果，云服务器可以将分组结果传输至无线传感器网络。
需要说明的是，本实施例中匹配价值
Figure BDA0004085459960000111
的计算方式为：
Figure BDA0004085459960000112
其中，W表示当前的相关系数图中所有权重之和，ki表示所有传感器节点i与所有邻居节点间权重之和，kl表示所有传感器节点l与所有邻居节点间权重之和，传感器节点l为传感器节点i的邻居节点，wi,l表示传感器节点i与传感器节点l之间的权重。
上述步骤S4中，针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果的步骤，包括：
S401、分别获取最近T时间内传感器节点i采集的第一时间序列Si(t-T,t)和传感器节点l采集的第二时间序列Sl(t-T,t)，并计算第一时间序列的均值
Figure BDA0004085459960000113
以及第二时间序列的均值/>
Figure BDA0004085459960000114
S402、将
Figure BDA0004085459960000115
和/>
Figure BDA0004085459960000116
作为区域中心，并计算所述当前时间序列与所述区域中心的马氏距离；
S403、判断所述当前时间序列与所述区域中心的马氏距离是否大于第一预设阈值；若是，则当前时间序列的二级检测结果为异常；反之，则当前时间序列的二级检测结果为正常。
定义Ri,j表示t时刻可能的具有相关一致性的当前时间序列对ri(t)和rj(t)的集合，在几何上Ri,j表示一个区域。如果传感器节点的当前时间序列对(ri(t),rj(t))∈Ri,j，则这两个读数对具有一致性，说明当前时间序列的二级检测结果为正常；否则，它们不具有一致性，当前时间序列的二级检测结果为异常。即：
Figure BDA0004085459960000117
本实施例中，第一时间序列的均值
Figure BDA0004085459960000121
以及第二时间序列的均值
Figure BDA0004085459960000122
作为区域中心，计算每个传感器节点的当前时间序列距离区域中心的马氏距离。在当前时间序列距离区域中心的马氏距离不大于第一预设阈值时，则认为当前时间序列具有一致性即Ci,j(t)＝1；否则，Ci,j(t)＝0。
可选地，第一预设阈值为绝对中位差阈值，绝对中位差阈值的定义为：
MAD＝b*median(X-median(X))
式中，b表示阈值调整系数，一般的，该阈值调整系数可以由用户根据具体数据确定，median(·)表示取中位数操作，X表示需要计算绝对中位差阈值的当前时间序列。
上述步骤S5中，根据初级检测结果及二级检测结果，确定各传感器节点当前时间序列的检测结果的步骤，包括：
若当前时间序列的初级检测结果与二级检测结果均为异常，则该传感器节点当前时间序列的检测结果为异常；
若当前时间序列的初级检测结果和\或二级检测结果为正常，则该传感器节点当前时间序列的检测结果为正常。
下面通过仿真实验对基于感知分组的时间序列异常数据在线检测方法做进一步说明。
本实施例选择IBRL数据集编号为27至42的节点进行实验，实验数据截取时间为2004年3月1日至3月9日，选用特征温度数据，如表1所示，将温度数据划分为不同区间，实验中随机间隔添加30％的原始数据，模拟持久异常数据，源数据中添加随机高斯异常，模拟点异常数据。
表1
Figure BDA0004085459960000123
本实施例使用python语言作为仿真工具，分别对生成数据集以及真实数据集进行仿真实验，其中，仿真数据集按照如下公式生成：
Figure BDA0004085459960000131
其中，
Figure BDA0004085459960000132
/>
接着按照如下公式添加异常数据：
Y(t)＝y(t)+g(t)+e(t)
其中，
Figure BDA0004085459960000133
n(t)～N(0,0.045)。
图3a是本发明实施例提供的生成数据集的一种示意图，图3b是本发明实施例提供的生成数据集的另一种示意图。如图3a所示，对于生成数据集Y(t)，g(t)表示噪声对数据的干扰，e(t)表示向数据中添加的异常数据，并且依赖于随机变量t，对生成数据集做归一化处理后如图3b所示。图4a是本发明实施例提供的生成数据集的DR(Detection Rate，检测率)和FPR(false positive rate，假阳性率)指标结果图。如图4a所示，横轴为异常数据占比、纵轴为DR指标和FPR指标，可见，本发明提供的基于感知分组的时间序列异常数据在线检测方法可以有效地应用于生成的数据集，并且随着异常数据纵轴比例的增加，DR和FPR变化相对平缓。图4b是本发明实施例提供的生成数据集的F1指标结果图。请参见图4b，横轴为异常数据占比、纵轴为F1指标，正如预期的那样，随着异常数量的增加，F1-measure缓慢下降。
为了准确的评估本方法的性能，引入DR、FPR以及F1作为实验指标。从分组效果、时间窗口大小和阈值大小三个方面验证了所提出方法的有效性。图5a是本发明实施例提供的滑动窗口大小与异常比例的FDR指标对比图，图5b是本发明实施例提供的滑动窗口大小与异常比例的DR指标对比图，图5c是本发明实施例提供的异常比例与相关阈值的FPR指标对比图，图5d是本发明实施例提供的异常比例与相关阈值的DR指标对比图。如图5a-5d所示，异常数据占比越高，则准确率越低、误检率越高，当时间窗口大于25且小于35时DR为高，然而随着时间窗口的增加，准确性并不总是增加，因为窗口越宽，包含的历史数据越多，从而导致时间相关性的偏差。从图5a可以看出，随着窗口的增大，FPR相对稳定，说明时间窗口越大，对误检率的影响相对较小。结合图5c-5d可以得出，当相关性阈值取值0.8时，呈现良好的准确率和假阳性检测率。
为了充分的评价本发明，将本发明提供的时间序列异常数据在线检测方法与其他三种方法进行了对比实验。图6a是本发明实施例提供的FPR指标对比图，图6b是本发明实施例提供的DR指标对比图，图6c是本发明实施例提供的F1指标对比图。请参见图6a和图6b，在相同条件下对比不同方法随着异常数据比例的增加的FPR与DR，在异常数量增加时，本发明提供的基于感知分组的时间序列异常数据在线检测方法在检测准确率和假阳性检测率方面优于所提到的三种方法。如图6c所示，本实施例进一步对比了四种方法的F1指标，本发明提供的基于感知分组的时间序列异常数据在线检测方法可以有效的解决因异常数量增加而产生的检测性能下降问题。可以看出，本发明提供的时间序列异常数据在线检测方法具有较高的准确率和相对较低的误检率。图7是本发明实施例提供的数据量与能耗的关系示意图。如图7所示，本发明提供的时间序列异常数据在线检测方法具有可接受的能耗和高准确率。
通过上述各实施例可知，本发明的有益效果在于：
本发明提供一种基于感知分组的时间序列异常数据在线检测方法，云服务器利用相关系数表征各传感器节点之间的相关性强弱，并基于相关系数生成相关系数图，从而基于相关系数图对无线传感器节点进行分组，不仅可以减少无线传感器网络中通信的复杂度，还能够减少能耗、提高异常检测准确率。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于感知分组的时间序列异常数据在线检测方法，其特征在于，应用于与云服务器通信连接的无线传感器网络，所述无线传感器网络包括多个传感器节点；
所述时间序列异常数据在线检测方法包括：
传感器节点采集当前时间序列；
传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图，并使所述云服务器基于所述相关系数图对多个传感器节点进行分组之后，将分组结果发送至所述无线传感器网络；
传感器节点利用预先训练好的贝叶斯网络模型对自身的当前时间序列进行异常筛选，得到初级检测结果；
针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果；
根据所述初级检测结果及所述二级检测结果，确定各传感器节点当前时间序列的检测结果。
2.根据权利要求1所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据各传感器节点之间的相关系数生成无线传感器网络的相关系数图的步骤，包括：
传感器节点将自身的当前时间序列上传至云服务器，以使所述云服务器根据时间序列计算相关系数矩阵，并基于所述相关系数矩阵确定各传感器节点之间的相关系数后，进一步根据相关系数及第二预设阈值生成相关系数图。
3.根据权利要求2所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，所述相关系数矩阵表示为：
Figure FDA0004085459950000021
其中，
Figure FDA0004085459950000022
式中，R为相关系数矩阵，ci,j表示传感器节点i与传感器节点j之间的相关系数，i＝1,2,...,n，j＝1,2,...,n，n表示传感器节点的数量，si(m)、sj(m)分别表示传感器节点i、传感器节点j在时刻m采集的时间序列，
Figure FDA0004085459950000023
分别表示t0～T时间段内传感器节点i、传感器节点j采集的时间序列均值，/>
Figure FDA0004085459950000024
Figure FDA0004085459950000025
si、sj分别表示传感器节点i、传感器节点j采集的数据序列，si＝{si(1),si(2),…si(m)}、sj＝{sj(1),sj(2),…sj(m)}，||·||2表示L2范数即欧几里得范数。/>
4.根据权利要求3所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，所述云服务器按照如下步骤生成相关系数图：
比较传感器节点i与传感器节点j之间的相关系数ci,j的大小；
当相关系数ci,j大于等于第二预设阈值时，在传感器节点i与传感器节点j之间建立一条无向边，并将相关系数ci,j作为传感器节点i与传感器节点j之间的权重wi,j；
当相关系数ci,j小于第二预设阈值时，将传感器节点i与传感器节点j之间的权重wi,j置为0；
遍历所有传感器节点后，基于得到的邻接矩阵生成相关系数图。
5.根据权利要求4所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，所述云服务器按照如下步骤对多个传感器节点进行分组：
针对传感器节点i，分别计算传感器节点i与各个邻居节点的匹配价值，其中，所述邻居节点为通过无向边与所述传感器节点i连接的传感器节点；
当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0时，将传感器节点i与匹配价值最大的邻居节点匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均大于0且相等时，随机选取一个邻居节点与传感器节点i匹配为一组；当传感器节点i与各个邻居节点匹配为一组而产生的匹配价值均小于0时，则传感器节点i不与邻居节点匹配为一组；
将匹配为一组的传感器节点i和传感器节点l合并为新的传感器节点k，并调整所述相关系数图；
直至各传感器节点与自身各个邻居节点的匹配价值均小于0时，根据当前的相关系数图获得传感器节点的分组结果。
6.根据权利要求5所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，按照如下公式计算所述匹配价值：
Figure FDA0004085459950000031
其中，W表示当前的相关系数图中所有权重之和，ki表示所有传感器节点i与所有邻居节点间权重之和，kl表示所有传感器节点l与所有邻居节点间权重之和，传感器节点l为传感器节点i的邻居节点，wi,l表示传感器节点i与传感器节点l之间的权重。
7.根据权利要求6所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，针对分组后的每个节点集合，传感器节点根据自身所属节点集合对应的第一预设阈值对自身的当前时间序列进行异常筛选，得到二级检测结果的步骤，包括：
分别获取最近T时间内传感器节点i采集的第一时间序列Si(t-T,t)和传感器节点l采集的第二时间序列Sl(t-T,t)，并计算第一时间序列的均值
Figure FDA0004085459950000041
以及第二时间序列的均值/>
Figure FDA0004085459950000042
将
Figure FDA0004085459950000043
和/>
Figure FDA0004085459950000044
作为区域中心，并计算所述当前时间序列与所述区域中心的马氏距离；
判断所述当前时间序列与所述区域中心的马氏距离是否大于第一预设阈值；若是，则当前时间序列的二级检测结果为异常；反之，则当前时间序列的二级检测结果为正常。
8.根据权利要求1所述的基于感知分组的时间序列异常数据在线检测方法，其特征在于，根据所述初级检测结果及所述二级检测结果，确定各传感器节点当前时间序列的检测结果的步骤，包括：
若当前时间序列的初级检测结果与二级检测结果均为异常，则该传感器节点当前时间序列的检测结果为异常；
若当前时间序列的初级检测结果和\或二级检测结果为正常，则该传感器节点当前时间序列的检测结果为正常。
CN202310101794.XA 2023-02-10 2023-02-10 一种基于感知分组的时间序列异常数据在线检测方法 Pending CN116193425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310101794.XA CN116193425A (zh) 2023-02-10 2023-02-10 一种基于感知分组的时间序列异常数据在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310101794.XA CN116193425A (zh) 2023-02-10 2023-02-10 一种基于感知分组的时间序列异常数据在线检测方法

Publications (1)

Publication Number Publication Date
CN116193425A true CN116193425A (zh) 2023-05-30

Family

ID=86433994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310101794.XA Pending CN116193425A (zh) 2023-02-10 2023-02-10 一种基于感知分组的时间序列异常数据在线检测方法

Country Status (1)

Country Link
CN (1) CN116193425A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117782364A (zh) * 2024-02-28 2024-03-29 西瑞思创(西安)实验仪器有限公司 一种高通量自动材料快筛反应器的实时监测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117782364A (zh) * 2024-02-28 2024-03-29 西瑞思创(西安)实验仪器有限公司 一种高通量自动材料快筛反应器的实时监测方法及系统
CN117782364B (zh) * 2024-02-28 2024-05-03 西瑞思创(西安)实验仪器有限公司 一种高通量自动材料快筛反应器的实时监测方法及系统

Similar Documents

Publication Publication Date Title
Otoum et al. Adaptively supervised and intrusion-aware data aggregation for wireless sensor clusters in critical infrastructures
Bhatti et al. Outlier detection in indoor localization and Internet of Things (IoT) using machine learning
Rajasegarar et al. Hyperspherical cluster based distributed anomaly detection in wireless sensor networks
CN110536258A (zh) 一种UASNs中基于孤立森林的信任模型
O'Reilly et al. Distributed anomaly detection using minimum volume elliptical principal component analysis
Yamauchi et al. Anomaly detection for smart home based on user behavior
Bhuiyan et al. Collusion attack detection in networked systems
CN111783845B (zh) 一种基于局部线性嵌入和极限学习机的隐匿虚假数据注入攻击检测方法
CN107276999B (zh) 一种无线传感器网络中的事件检测方法
CN116193425A (zh) 一种基于感知分组的时间序列异常数据在线检测方法
CN103533571A (zh) 基于投票策略的容错事件检测方法
KR20200046905A (ko) IoT 기상환경 수집 데이터의 안정성 확보 방법
CN117216660A (zh) 基于时序网络流量集成异常点和异常集群检测方法及装置
Nguyen et al. Improved localization accuracy using machine learning: Predicting and refining RSS measurements
CN110662220B (zh) 基于时空相关性和信息熵的无线传感器网络异常检测方法
Sadhukhan et al. A novel weighted fusion based efficient clustering for improved Wi-Fi fingerprint indoor positioning
CN112437440A (zh) 无线传感器网络中基于相关性理论的恶意共谋攻击抵抗方法
Won et al. Distance-based trustworthiness assessment for sensors in wireless sensor networks
Chen et al. Using node clustering and genetic programming to estimate missing data for marine environmental monitoring
Islam et al. Anomaly clustering based on correspondence analysis
Miller et al. Sequential anomaly detection in a batch with growing number of tests: Application to network intrusion detection
Ghaddar et al. Identifying mass-based local anomalies using binary space partitioning
CN113254485A (zh) 实时数据流异常检测方法及系统
Erhan et al. DDoS Detection Using Statistical Modelling
Naidoo et al. Feature selection for anomaly–based network intrusion detection using cluster validity indices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination