CN115567269A - 基于联邦学习与深度学习的物联网异常检测方法及系统 - Google Patents

基于联邦学习与深度学习的物联网异常检测方法及系统 Download PDF

Info

Publication number
CN115567269A
CN115567269A CN202211149065.3A CN202211149065A CN115567269A CN 115567269 A CN115567269 A CN 115567269A CN 202211149065 A CN202211149065 A CN 202211149065A CN 115567269 A CN115567269 A CN 115567269A
Authority
CN
China
Prior art keywords
internet
things
anomaly detection
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211149065.3A
Other languages
English (en)
Inventor
胡卓尔
高晖
许文俊
陆月明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202211149065.3A priority Critical patent/CN115567269A/zh
Publication of CN115567269A publication Critical patent/CN115567269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于联邦学习与深度学习的物联网异常检测方法及系统。该方法包括：采集物联网设备的流量数据并对流量数据进行降维；对降维后的良性流量数据以及物联网设备进行聚类，得到不同类别的物联网设备下不同类别的良性流量数据；针对各类物联网设备构建物联网异常检测模型；通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，并将每轮的训练参数发送至联邦学习中心服务器的全局模型中对全局模型参数进行更新；通过全局模型的参数对各物联网异常检测模型的参数进行更新；通过降维后的流量数据对训练好的物联网异常检测模型进行测试。本发明实现了无监督、低复杂度且高准确率的在线物联网异常检测。

Description

基于联邦学习与深度学习的物联网异常检测方法及系统
技术领域
本发明涉及物联网异常检测技术领域，特别是涉及一种基于联邦学习与深度学习的物联网异常检测方法及系统。
背景技术
近年，随着物联网(IoT)设备日渐普及，越来越多的物联网设备与智能家电走入了人们的生活，此外物联网基础设施也被广泛应用于健康、汽车和工业自动化等领域。据统计，到2030年全球预计将有超过1250亿台物联网设备接入网络。如今，许多物联网设备负责处理及存储机密数据或私人资料，任何安全性漏洞都可能导致无法正常提供服务或隐私泄露等严重后果。因此，设备异常检测已成为物联网研究领域下关注的主要问题之一。
首先，在现有的大多智能化设备异常检测方案中，客户端设备需要将本地原始流量数据上传至中央服务器以用于集中式的异常检测模型训练，但这种集中式的模型训练会导致数据隐私的问题。第二，在5G或6G场景下的物联网网络中包含成千上万种异构的物联网设备类型，这使得针对性地训练出覆盖所有设备类型的精确异常检测模型变得难以实现。第三，异常检测模型的训练需要大量的流量数据支撑，然而许多物联网设备的通信行为往往仅局限于传感器状态更新以及与用户命令相关的不频繁交互，因而不具备产生大量网络数据流量的条件，故而个性化模型训练缺乏数据导致无法有效地检测出微妙的流量异常。因此，如何在保护设备数据隐私的同时实现高效、精确且适配于异构场景的物联网异常检测机制成为了新一代物联网技术发展的新挑战。
发明内容
针对上述问题，本发明提供了一种基于联邦学习与深度学习的物联网异常检测方法及系统。
为实现上述目的，本发明提供了如下方案：
一种基于联邦学习与深度学习的物联网异常检测方法，包括：
采集物联网设备的流量数据并对所述流量数据进行降维；所述流量数据包括良性流量数据和异常流量数据；
对降维后的良性流量数据以及物联网设备进行聚类，得到不同类别的物联网设备下不同类别的良性流量数据；
针对各类物联网设备构建物联网异常检测模型；所述物联网异常检测模型包括观察层和检测层；
通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，并将每轮的训练参数发送至联邦学习中心服务器的全局模型中对所述全局模型参数进行更新；通过所述全局模型的参数对各物联网异常检测模型的参数进行更新；
通过降维后的流量数据对训练好的物联网异常检测模型进行测试；
通过测试好的物联网异常检测模型进行物联网异常检测。
可选地，基于三层编码器算法对所述流量数据进行降维。
可选地，基对降维后的良性流量数据以及物联网设备进行聚类，具体包括：
基于流量数据的特征，采用K-means算法对所述流量数据进行聚类；
根据聚类后的流量数据分布，采用K-means算法对所述物联网设备进行聚类。
可选地，所述观察层由L个三层自动编码器组成，所述检测层由1个三层自动编码器组成。
可选地，通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，具体包括：
将各类物联网设备下的不同类别的良性流量数据输入至观察层，得到重构数据；
将所述重构数据输入至所述检测层，得到初始重构误差；
选取所述初始重构误差中的最大值为异常阈值。
可选地，通过降维后的流量数据对训练好的物联网异常检测模型进行测试，具体包括：
将降维后的流量数据输入至训练好的物联网异常检测模型中，得到重构误差；
根据所述重构误差以及所述异常阈值的比较结果测试训练好的物联网异常检测模型的精确率。
本发明还提供了一种基于联邦学习与深度学习的物联网异常检测系统，包括：中心服务器和客户端组织；所述客户端组织包括客户端设备和客户端服务器；所述客户端设备包括数据收集器和数据包解析器；所述中心服务器包括聚合器和全局模型；
所述数据收集器用于采集物联网设备的流量数据；所述数据包解析器与所述数据接收器连接，用于提取所述流量数据的数据特征；
客户端服务器与所述数据包解析器连接，用于根据所述流量数据对物联网异常检测模型进行训练，并将每轮训练的参数更新至所述聚合器；
所述聚合器与所述客户服务器连接，用于聚合各物联网异常检测模型的参数；
所述全局模型与所述聚合器连接，用于根据聚合后的参数更新各物联网异常检测模型的参数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于联邦学习与深度学习的物联网异常检测方法及系统。该方法包括：采集物联网设备的流量数据并对所述流量数据进行降维；对降维后的良性流量数据以及物联网设备进行聚类，得到不同类别的物联网设备下不同类别的良性流量数据；针对各类物联网设备构建物联网异常检测模型；通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，并将每轮的训练参数发送至联邦学习中心服务器的全局模型中对所述全局模型参数进行更新；通过所述全局模型的参数对各物联网异常检测模型的参数进行更新；通过降维后的流量数据对训练好的物联网异常检测模型进行测试。本发明实现了无监督、低复杂度且高准确率的在线物联网异常检测，同时采用联邦学习以保护数据隐私并解决物联网场景下的异构性难题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于联邦学习与深度学习的物联网异常检测方法的流程图；
图2为本发明提供的基于联邦学习与深度学习的物联网异常检测方法的原理图；
图3为低异构场景下基于FedProx(μ＝1)、FedProx(μ＝0.1)、FedProx(μ＝0)、FedAvg算法分别进行物联网异常检测模型训练的性能对比仿真图；
图4为高异构场景下基于FedProx(μ＝1)、FedProx(μ＝0.1)、FedProx(μ＝0)、FedAvg算法分别进行物联网异常检测模型训练的性能对比仿真图；
图5为本发明提供的基于联邦学习与深度学习的物联网异常检测系统的架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，深度学习(DL)已广泛应用于计算机视觉、自然语言处理、物联网通信的设计及优化等领域，并在网络安全领域用于提升异常检测性能。深度学习作为一种机器学习算法，能够学习大量数据并将其表示神经网络各层中概念的嵌套层次结构，然而现有的基于DL实现的复杂网络异常检测系统难以部署在算力资源有限的网关上，并且忽视了数据流量维度、设备异构性导致的高训练复杂度的问题。同时，能否支持在线瞬时检测从而及时隔离被感染设备、阻止攻击传播，对于保障网络安全性至关重要。
联邦学习作为一种新兴的机器学习分布式训练范式，2016年由谷歌提出，其研究目的在于保障用户数据隐私及安全的前提下，实现多方协同且高效的机器学习。目前最为常见的联邦学习算法为FedAvg算法，尽管它解决了数据隐私性及训练效率的难题，但并未完全解决与异构性相关的潜在挑战。在诸如物联网的异构场景下，FedAvg算法设计中不允许参与训练的设备依据其潜在的系统资源约束自适应地调整本地工作量，而是简单的将系统资源不足的节点所获得的的计算成果抛弃；同时FedAvg算法设计中没有考虑在不同种类的设备间数据分布的差异性，因此FedAvg算法无法保证在异构场景下的训练收敛性。现有的适配异构场景的联邦学习算法通过假设所有的物联网设备都参与每一轮通信过程，这在现实场景中难以保证；并且许多现有方案忽视了物联网设备间系统能力异构的问题，这会影响联邦学习的训练效率。
综上可知，深度学习及联邦学习技术已分别在物联网安全防御领域下得到应用，但目前仍然缺乏轻量、准确且在线的物联网异常检测机制，适配于物联网异构场景的联邦学习算法优化，以及基于深度学习和联邦学习协同赋能的、系统性且完整的智能防御机制架构设计。
本发明的目的是提供一种基于联邦学习与深度学习的物联网异常检测方法及系统，即通过深度自动编码器算法来实现无监督的在线异常检测，并采用联邦学习算法赋能个性化的物联网异常检测模型训练，从而在保障用户数据隐私的同时实现高效且精准的物联网异常检测模型训练；同时，本发明针对训练数据设计了降维及聚类预处理以此降低深度模型训练复杂度，并且针对物联网场景下的设备算力差异及数据统计分布差异优化了联邦学习算法以此保证模型在异构场景下的收敛性能。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，一种基于联邦学习与深度学习的物联网异常检测方法，包括：
步骤101：采集物联网设备的流量数据并对所述流量数据进行降维；所述流量数据包括良性流量数据和异常流量数据。
步骤102：对降维后的良性流量数据以及物联网设备进行聚类，得到不同类别的物联网设备下不同类别的良性流量数据。
基于两层K-means算法实现物联网设备聚类，其中第一层针对物联网设备的流量数据特征进行数据聚类，第二层则针对流量数据数据分布情况进行物联网设备聚类，以此降低物联网异常检测模型训练的复杂度、提升防御架构的可扩展性。
步骤103：针对各类物联网设备构建物联网异常检测模型；所述物联网异常检测模型包括观察层和检测层。所述观察层由L个三层自动编码器组成，所述检测层由1个三层自动编码器组成。基于两层深度自动编码器算法实现在线、轻量且高效的物联网异常检测。
步骤104：通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，并将每轮的训练参数发送至联邦学习中心服务器的全局模型中对所述全局模型参数进行更新；通过所述全局模型的参数对各物联网异常检测模型的参数进行更新。
步骤105：通过降维后的流量数据对训练好的物联网异常检测模型进行测试。
步骤106：通过测试好的物联网异常检测模型进行物联网异常检测。
具体实施例如下：
本发明基于一项2018年发布的开源数据集，其中包含了8台商用物联网设备(智能门铃、安全摄像头、婴儿监控等)的良性流量数据以及受Mirai或BASHLITE僵尸网络感染的异常流量数据。该数据集的数据采集方式为：每检测到一个数据包到达后，则记录其源MAC-IP地址统计、来自其源IP地址的近期流量统计、其源IP地址至其目标IP地址之间的近期流量统计、其源IP地址及端口至其目标IP地址及端口之间的近期流量统计、其源IP地址至其目标IP地址之间的近期流量抖动统计。统计作用的时间窗口共五个：过去的100毫秒、500毫秒、1.5秒、10秒以及1分钟。最终，该数据集由115种数据属性构成。
自动编码器网络能实现将原有的高维数据x压缩成低维数据，再将压缩后所得的数据还原成高维数据x'，其中编码器部分负责数据降维操作而解码器部分负责数据的升维操作，输入数据x与输出数据x'之间的重建误差可定义为两个向量之间的均方根误差(RMSE)：
Figure BDA0003855658460000071
其中n表示输入数据向量的维数。于是，可以通过观察自动编码器多轮训练后的重构误差，选择合适的数据压缩后维度，从而实现在不损失原始数据的重要信息的前提下，经过自动编码器的压缩后，提炼出原始数据下最本质的特征。本发明基于三层自动编码器算法，针对n＝115维数据集进行降维，压缩后最终所得的数据v其维度设为m＝20维，训练135轮左右可得重构误差为RMSE(x,v)＝0.0490。
基于压缩后的设备流量数据，本发明采用K-means算法对流量数据及物联网设备进行两层聚类，以此将具有类似数据流量行为的物联网数据归为一类，从而实现在个性化物联网异常检测模型训练下的准确率与效率的折中。K-means算法是一种基于欧氏距离的无监督聚类算法，基于给定的样本集能够依照样本间的欧氏距离将样本集划分为K个簇，其收敛目标为在使得簇内的样本点尽量紧密的同时达到簇间距离的最大化。K-means聚类算法下每个簇的质点与簇内样本点的平方距离误差和称为畸变程度，可知当畸变程度越低时表征簇内样本分布越紧凑，而当畸变程度越高时表征簇内样本分布越松散，为了快速确定一个样本集下合适的K的取值范围，可观察在K不同的取值下畸变程度变化的情况，依据肘部法则可知，在达到某个临界点时畸变程度会得到极大改善，之后呈缓慢下降的走势，故而这个临界点可作为K的合适取值，以实现在聚类性能与效率间的折中。
本发明下的第一层聚类是基于8台商用物联网设备的所有良心流量数据进行的，首先设K的选择集为K＝{2,10,20,30,40,50}，经训练后依据肘部法则可知当K＝20时畸变程度已得到显著改善，故而可将物联网设备的所有良心流量数据样本聚类为20簇。依据第一轮聚类所得的样本数据的簇类型，分别统计8台不同的物联网设备在20个簇下的数据样本分布，本发明下的第二层聚类则是基于8台物联网设备的数据分布情况进行的，其中设K的选择集为K＝{3,4,5}，不同取值K下的设备聚类结果如表1-3所示。最终选取K＝4下的聚类结果即将8台物联网设备分为4簇，以实现在异常检测模型训练效率与准确性之间的折中。
表1针对设备的聚类分析结果(K＝5)
Figure BDA0003855658460000081
表2针对设备的聚类分析结果(K＝4)
Figure BDA0003855658460000082
表3针对设备的聚类分析结果(K＝3)
Figure BDA0003855658460000083
本发明基于自动编码器算法下输入层与输出层之间的重构误差来定义物联网流量异常检测的评判标准，以实现在线且轻量的设备异常检测。本发明的物联网异常检测模型由观察层和检测层构成：(1)观察层由L个三层自动编码器组成记为θ＝{θ1,θ2,…,θL}，这些编码器能够并行计算，每一轮训练下其输入数据为压缩后的数据v、其输出的重构数据记为v'，并传递其输入层与输出层间的重构误差给检测层，其中L的大小由负责训练此模型的设备性能确定以实现最高效的并行处理；(2)检测层由1个三层自动编码器组成，每一轮训练下该编码器的输入数据为来自观察层的L维数据
Figure BDA0003855658460000091
其输出的重构数据记为
Figure BDA0003855658460000092
其中zi为θi所输出的重构误差
Figure BDA0003855658460000093
并记录该编码器的重构误差
Figure BDA0003855658460000094
此外，训练轮次为
Figure BDA0003855658460000095
其中D为总样本数，于是经Kmax轮训练后可得Kmax条检测层重构误差。特别地，在训练过程中仅考虑良性设备数据，于是可取Kmax条检测层重构误差中的最大值为异常阈值Γ。在本发明的模型测试过程中，输入一组大小为L的测试数据集，经过观察层以及检测层后输出其最终的重构误差γ，若γ≤Γ则判为良心流量数据，若γ>Γ则判为有异常出现，并统计其精确率。
同时，每一轮模型训练的参数更新需上传至联邦学习中心服务器，在中心服务器内对多个设备模型的参数更新进行聚合，聚合结果用于更新全局模型，并将最新的本地模型分发至参与训练的各物联网异常检测模型，用于指导各物联网异常检测模型的训练方向。本发明采用了基于FedAvg改进的联邦学习算法Clustered-FedProx，在Clustered-FedProx中，为解决物联网场景下不同设备之间算力差异引发的挑战，该算法设计为允许每个各物联网异常检测模型能够依据自身的计算资源，灵活调整每迭代回合工作量大小；为解决数据异构性的问题，该算法在局部子问题中增加了一个近端项，以有效限制变量局部更新对全局的影响。在联邦学习机制下的一类物联网异常检测模型的每一次迭代中t∈{0,1,…,Tmax-1}，每一台物联网设备k∈Sc(其中Sc∈{S1,S2,S3,S4}指示属于哪一簇设备)，首先基于本地数据进行E轮的本地异常检测模型训练，并将本次迭代学习所得的参数更新上传至中央服务器，中央服务器则将这个本地参数更新取平均值以作为全局模型的参数更新，继而将全局模型的参数更新下发给同簇内的所有物联网设备，每台物联网设备再基于本次迭代后的全局参数更新进行E轮的本地异常检测模型训练且重复之前的流程，直至该簇的异常检测模型训练达到收敛。
为了验证本发明所提方案的有效性，本发明基于三种数据集分别开展了仿真测试：(1)簇4内的两台安全摄像头设备流量数据(低异构度)；(2)簇1内的两台门铃设备流量数据、以及簇4内的两台安全摄像头设备流量数据(中异构度)；(3)簇1内的两台门铃设备流量数据、簇3内婴儿监控设备流量数据、以及簇4内的两台安全摄像头设备流量数据(高异构度)。其中，理论上当模型训练超参数μ∈[0,1]设置的值越大时，Clustered-FedProx训练时所考虑的异构程度越大、越适配于异构场景下的模型训练。
参见图3，在低统计分布差异且低设备算力差异的物联网场景下，模型训练初期FedAvg算法下的异常检测测试准确率明显低于Clustered-FedProx算法下的性能，但随着模型训练的推进，四种模型训练情况逐渐收敛一致，但基于Clustered-FedProx(μ＝1)的异常检测算法性能始终优于其他算法，可见在低、中异构场景下基于Clustered-FedProx的异常检测算法有一定的性能提升。
参见图4，在高统计分布差异且高设备算力差异的物联网场景下，基于FedAvg的异常检测算法无法收敛，而基于Clustered-FedProx的异常检测算法能在多轮训练后收敛并达到较高的准确率，且基于Clustered-FedProx(μ＝1)的异常检测算法性能始终优于其他算法，可见在高异构场景下基于Clustered-FedProx的异常检测算法的性能提升显著。
本发明还提供了一种基于联邦学习与深度学习的物联网异常检测系统，包括：中心服务器和客户端组织；所述客户端组织包括客户端设备和客户端服务器；所述客户端设备包括数据收集器和数据包解析器；所述中心服务器包括聚合器和全局模型；
所述数据收集器用于采集物联网设备的流量数据；所述数据包解析器与所述数据接收器连接，用于提取所述流量数据的数据特征；
客户端服务器与所述数据包解析器连接，用于根据所述流量数据对物联网异常检测模型进行训练，并将每轮训练的参数更新至所述聚合器；
所述聚合器与所述客户服务器连接，用于聚合各物联网异常检测模型的参数；
所述全局模型与所述聚合器连接，用于根据聚合后的参数更新各物联网异常检测模型的参数。
如图5所示，物联网异常检测系统包含两类参与组织：中心服务器与客户端组织。其中，中心服务器所属于联邦学习平台的所有者，该组织下包含了聚合器以及全局模型，其负责聚合来自客户端本地模型的更新内容并维护一个全局模型用于指导多个本地模型的训练方向。客户端组织中包含客户端设备以及客户端服务器，其中客户端设备负责通过客户端数据收集器来采集原始设备流量数据，数据包解析器则负责解析并提取原始流量数据特征；客户端服务器负责基于本地设备流量数据和计算资源训练本地异常检测模型，并提交每轮次的模型训练更新至中心服务器。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于联邦学习与深度学习的物联网异常检测方法，其特征在于，包括：
采集物联网设备的流量数据并对所述流量数据进行降维；所述流量数据包括良性流量数据和异常流量数据；
对降维后的良性流量数据以及物联网设备进行聚类，得到不同类别的物联网设备下不同类别的良性流量数据；
针对各类物联网设备构建物联网异常检测模型；所述物联网异常检测模型包括观察层和检测层；
通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，并将每轮的训练参数发送至联邦学习中心服务器的全局模型中对所述全局模型参数进行更新；通过所述全局模型的参数对各物联网异常检测模型的参数进行更新；
通过降维后的流量数据对训练好的物联网异常检测模型进行测试；
通过测试好的物联网异常检测模型进行物联网异常检测。
2.根据权利要求1所述的基于联邦学习与深度学习的物联网异常检测方法，其特征在于，基于三层编码器算法对所述流量数据进行降维。
3.根据权利要求1所述的基于联邦学习与深度学习的物联网异常检测方法，其特征在于，对降维后的良性流量数据以及物联网设备进行聚类，具体包括：
基于流量数据的特征，采用K-means算法对所述流量数据进行聚类；
根据聚类后的流量数据分布，采用K-means算法对所述物联网设备进行聚类。
4.根据权利要求1所述的基于联邦学习与深度学习的物联网异常检测方法，其特征在于，所述观察层由L个三层自动编码器组成，所述检测层由1个三层自动编码器组成。
5.根据权利要求1所述的基于联邦学习与深度学习的物联网异常检测方法，其特征在于，通过各类物联网设备下的不同类别的良性流量数据对各物联网异常检测模型进行训练，具体包括：
将各类物联网设备下的不同类别的良性流量数据输入至观察层，得到重构数据；
将所述重构数据输入至所述检测层，得到初始重构误差；
选取所述初始重构误差中的最大值为异常阈值。
6.根据权利要求5所述的基于联邦学习与深度学习的物联网异常检测方法，其特征在于，通过降维后的流量数据对训练好的物联网异常检测模型进行测试，具体包括：
将降维后的流量数据输入至训练好的物联网异常检测模型中，得到重构误差；
根据所述重构误差以及所述异常阈值的比较结果测试训练好的物联网异常检测模型的精确率。
7.一种基于联邦学习与深度学习的物联网异常检测系统，其特征在于，包括：中心服务器和客户端组织；所述客户端组织包括客户端设备和客户端服务器；所述客户端设备包括数据收集器和数据包解析器；所述中心服务器包括聚合器和全局模型；
所述数据收集器用于采集物联网设备的流量数据；
所述数据包解析器与所述数据接收器连接，用于提取所述流量数据的数据特征；
客户端服务器与所述数据包解析器连接，用于根据所述流量数据对物联网异常检测模型进行训练，并将每轮训练的参数更新至所述聚合器；
所述聚合器与所述客户服务器连接，用于聚合各物联网异常检测模型的参数；
所述全局模型与所述聚合器连接，用于根据聚合后的参数更新各物联网异常检测模型的参数。
CN202211149065.3A 2022-09-21 2022-09-21 基于联邦学习与深度学习的物联网异常检测方法及系统 Pending CN115567269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211149065.3A CN115567269A (zh) 2022-09-21 2022-09-21 基于联邦学习与深度学习的物联网异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211149065.3A CN115567269A (zh) 2022-09-21 2022-09-21 基于联邦学习与深度学习的物联网异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN115567269A true CN115567269A (zh) 2023-01-03

Family

ID=84740254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211149065.3A Pending CN115567269A (zh) 2022-09-21 2022-09-21 基于联邦学习与深度学习的物联网异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115567269A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108491A (zh) * 2023-04-04 2023-05-12 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN117150416A (zh) * 2023-10-27 2023-12-01 烟台大学 一种工业互联网异常节点的检测方法、系统、介质及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108491A (zh) * 2023-04-04 2023-05-12 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN116108491B (zh) * 2023-04-04 2024-03-22 杭州海康威视数字技术股份有限公司 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN117150416A (zh) * 2023-10-27 2023-12-01 烟台大学 一种工业互联网异常节点的检测方法、系统、介质及设备
CN117150416B (zh) * 2023-10-27 2024-03-08 烟台大学 一种工业互联网异常节点的检测方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
Palmieri et al. A distributed approach to network anomaly detection based on independent component analysis
CN115567269A (zh) 基于联邦学习与深度学习的物联网异常检测方法及系统
Auld et al. Bayesian neural networks for internet traffic classification
WO2023093177A1 (zh) 设备故障诊断方法、装置、电子设备及存储介质
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
Idrissi et al. An unsupervised generative adversarial network based-host intrusion detection system for internet of things devices
He et al. Deep‐Feature‐Based Autoencoder Network for Few‐Shot Malicious Traffic Detection
US20210027167A1 (en) Model structure extraction for analyzing unstructured text data
Zhongsheng et al. Retracted: Traffic identification and traffic analysis based on support vector machine
Feng et al. BotFlowMon: Learning-based, content-agnostic identification of social bot traffic flows
Xie et al. Logm: Log analysis for multiple components of hadoop platform
Xiao et al. A traffic classification method with spectral clustering in SDN
CN113468537A (zh) 一种基于改进自编码器的特征提取及漏洞利用攻击检测方法
JI et al. Log Anomaly Detection Through GPT-2 for Large Scale Systems
Qi Computer Real-Time Location Forensics Method for Network Intrusion Crimes.
CN112422546A (zh) 一种基于变邻域算法和模糊聚类的网络异常检测方法
WO2024007565A1 (en) Network analysis using optical quantum computing
Hu et al. Classification of Abnormal Traffic in Smart Grids Based on GACNN and Data Statistical Analysis
Guo et al. [Retracted] The Evaluation of DDoS Attack Effect Based on Neural Network
CN113988189B (zh) 一种跨风电机组的迁移故障诊断方法
CN115587612A (zh) 基于自监督超图的网络故障预测方法及装置
Zhou et al. IoT unbalanced traffic classification system based on Focal_Attention_LSTM
Fan et al. A malicious traffic detection method based on attention mechanism
CN113254485A (zh) 实时数据流异常检测方法及系统
Du et al. Method for detecting abnormal behaviour of users based on selective clustering ensemble

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination