CN116418589A - 基于联邦拆分学习的物联网异构设备异常流量检测方法 - Google Patents
基于联邦拆分学习的物联网异构设备异常流量检测方法 Download PDFInfo
- Publication number
- CN116418589A CN116418589A CN202310420029.4A CN202310420029A CN116418589A CN 116418589 A CN116418589 A CN 116418589A CN 202310420029 A CN202310420029 A CN 202310420029A CN 116418589 A CN116418589 A CN 116418589A
- Authority
- CN
- China
- Prior art keywords
- model
- gateway
- training
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 22
- 206010028933 Neonatal diabetes mellitus Diseases 0.000 claims abstract description 49
- 238000013136 deep learning model Methods 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于联邦拆分学习的物联网异构设备异常流量检测方法，由于网关资源受限，无法支撑层数较多的深度学习模型，同时，物联网设备异构，因此提出了针对物联网异构设备的联邦拆分学习方法。将模型一部分部署在网关上，称为客户端模型或者异常检测模型NDM，另一部分部署在拆分服务器上，NDM模型参数在联邦服务器做联邦聚合更新，再将训练好的NDM模型，用于对该设备类型的异常流量检测。本发明中各个网关部署的NDM的数量不尽相同，因而不同网关上相同类型的NDM所拥有的资源也不相同，因此，本发明提出了一个动态划分拆分层的算法‑自适应拆分算法，保证网关上相同类型的NDM模型的拆分层数相同，计算资源和通信资源足够支撑所部署的NDM。
Description
技术领域
本发明属于网络安全技术领域，特别是涉及一种基于联邦拆分学习的物联网异构设备异常流量检测方法。
背景技术
物联网设备因其低成本和多用途被广泛用于医疗保健、智能城市、农业和交通等领域。有研究者使用基于机器学习的集中式异常检测的方法来检测异常流量，但集中式策略中使用一个异常检测模型训练所有的数据集，尤其是对异构的物联网设备而言，会导致检测的精度低，中心服务器收集数据会造成用户隐私泄露。因此，有研究者引入了联邦学习(Federated Learning,简称FL)框架，联邦学习能够将其本地模型的参数提供给中央服务器，中央服务器聚合更新后将参数下发给本地网关，重复进行训练直到模型收敛，提高了模型的检测精度同时也增强了隐私保护。
FL主要存在的不足之处是每个客户端都需要运行完整的机器学习(MachineLearining，简称ML)模型，而物联网中资源受限的网关设备无法运行完整的模型，如果ML模型是复杂的深度学习模型，网关就更难以运行该模型。
名词解释：
NDM：异常检测模型。
ML：机器学习。
FL：联邦学习。
ANN：人工神经网络。
发明内容
本发明的目的在于提供一种基于联邦拆分学习的物联网异构设备异常流量检测方法。
为解决上述技术问题，本发明是通过以下技术方案实现的：
一种基于联邦拆分学习的物联网异构设备异常流量检测方法，包括如下步骤：
步骤一、构建用于异常检测的深度学习模型即NDM；
步骤二、通过自适应拆分算法得到深度学习模型的切割层，将深度学习模型的切割层及切割层之前的深度学习模型部分分发到网关设备作为客户端模型NA，切割层之后的深度学习模型分发到云服务器作为拆分服务器模型SA；
步骤三、得到训练数据集；
步骤四、训练深度学习模型：将训练数据集发送到各个网关设备的客户端模型NA正向传播进行进行训练，然后客户端模型NA的输出的破碎数据作为对应拆分服务器模型SA的输入，拆分服务器模型SA正向传播继续训练计算出损失函数后更新拆分服务器模型SA的模型参数，然后进行反向传播至拆分服务器模型SA的第一层形成更新后的破碎数据，更新后的破碎数据传播到客户端模型NA的切割层，客户端模型NA进行反向传播更新客户端模型NA的模型参数；然后各网关设备的客户端模型NA的模型参数传输到联邦服务器，联邦服务器通过联邦平均FedAvg算法对深度学习模型的各个模型参数进行聚合，得到聚合后的各个模型参数，将聚合后的各个模型参数传递到各个客户端模型NA，再进行上述训练，直到客户端模型收敛，得到训练好的客户端模型NA；
步骤五、将各网关设备得到的流量数据输入训练好的客户端模型NA，训练后的客户端模型NA，得到流量为正常或攻击的输出。
进一步的改进，所述步骤二中，通过自适应拆分算法得到深度学习模型的切割层的方法如下：
2.1)设置所有网关设备上的深度学习模型的初始切割层数L＝1，总共有n个网关设备，每个网关上部署了的NDM数量为NGi，其中i∈n；
2.2)得到网关设备的计算时间CT：
设深度学习模型总共训练了T轮，每轮迭代了R次，当前训练轮次为t，网关每次迭代需要iteri次计算，网关主频为F，物联网设备流量与时间序列存在依赖关系，所以计算次数也受时间序列的影响，计算次数设为I(time),因此网关的计算能力如公式(1)表示：
其中，表示CTt,r i第i个网关设备在t轮第r次的计算时间，
表示第i个网关设备在t轮第r次的计算次数，n表示网关设备的数量；
2.3)得到网关设备的通信时间NT：
服务器上发送数据集给n个网关，根据网关和服务器之间的数据传送时间获得两者的通信时间，设为{NT1,NT2...NTi},i∈n；
NTi表示第i个网关设备的通信时间；
2.4)得到网关设备的通信时间和计算时间总和作为网关能力，每一轮训练计算一次网关能力，用公式(2)表示:
2.4)求每个网关设备上每个NDM平均能获得的网关能力：
NGi表示每个网关上部署了的NDM数量；
如果
那么第i网关NDM模型的预切割层数Li＝1；
其中，τt+1为时间阈值；
如果
第i网关NDM模型的预切割层数/>
[]表示取整数；
τ表示时间阈值，如公式(3)所示：
2.5)确定同一设备类型的NDM切割层数：
不同网关上的同一类型NDM的切割层数相同，并通过下式确定：
TLx表示x类型NDM最终设置的切割层数，
表示第j个网关设备的x类型NDM预设的切割层数；min表示取最小值。
进一步的改进，所述步骤四中，根据物联网设备类型把部署在网关的客户端模型划分成多个簇，同一簇内网关设备的客户端模型NA的模型参数在联邦服务器进行聚合，不同簇的不进行聚合。
进一步的改进，簇内深度学习模型的训练步骤如下：
4.1、第h簇内客户端模型NA并行训练直到切割层网络；其中，
表示聚类h的设备k在训练第t轮中的第r次的模型参数，Sh,k(t,r)表示聚类h的设备k在训练第t轮中的第l次的破碎数据；将h簇内的破碎数据连接成一个矩阵，形成破碎数据矩阵，
将破碎数据矩阵输入到拆分服务器模型SA；拆分服务器模型SA训练后的预测输出结果由公式(4)表示，从而完成了一轮前向训练过程；
其中，
表示t轮r次的输出标签值；/>
表示h簇内t轮r次客户端模型的破碎数据矩阵，/>
表示服务器端t轮r次的模型参数，f()表示模型训练函数；4.2)拆分服务器模型SA首先通过预测结果y(t,l)和相应的真实标签，计算损失函数的梯度/>
然后使用随机梯度下降方法更新拆分服务器模型SA，拆分服务器模型SA更新由公式(5)表示，然后根据梯度计算链式法则，从最后一层到拆分服务器模型SA第一层逐层更新模型参数，当梯度计算进行到切割层时，最后将破碎数据发送回对应的客户端模型NA，客户端模型NA使用接收到的破碎数据的梯度，基于梯度计算链式法则更新簇内每个客户端模型NA，客户端模型NA更新由公式(6)表示,完成了一轮反向训练过程，因此，已经完成了一次完整的训练过程；
其中，ηe表示拆分服务器端模型的学习率，ηN表示客户端模型的学习)，
表示客户端模型得到t轮第r+1次的模型参数；
当簇内的客户端模型NA完成L次本地迭代训练后，首先将训练好的客户端模型NA参数上传到联邦服务器，然后通过联邦平均FedAvg算法进行聚合，由公式(7)表示，最后将聚合更新后的结果返回给客户端模型；
其中，Dm表示h簇内设备数量，Ch,k表示簇h中的设备k在t轮训练的样本数量，Ch表示簇h在t轮参与训练的所有样本数量，
表示联邦聚合后更新的客户端的模型参数。
进一步的改进，进行簇内深度学习模型的训练的同时，进行簇间深度学习模型的训练。
进一步的改进，所述用于异常检测的深度学习模型为对比学习模型。
本发明具有以下有益效果：
1.本发明利用联邦学习高效的通信效率和拆分学习分割模型的优点，使资源受限的网关设备上能够部署复杂的深度学习模型，实现网关上的NDM模型对输入输出的流量进行异常检测。
2.设置自适应拆分算法，从而能保证网关上的计算资源和通信资源足够支撑所部署的NDM。
3.与部署在网关设备上的其他检测模型相比，增加的网络层深度可以获得更抽象，更高层次的特征，使得模型的分类性能相对会更好，因此，提高了模型的检测精度。
附图说明：
图1为基于设备类型的物联网异常流量检测方法示意图；
图2为联邦拆分模型系统示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
(1)处理数据集
选取所需要的数据集并进行特征提取，本文采用的是NSL-KDD数据集，它广泛应用于物联网场景。数据集每条记录包含43个特征，设其中41个特征指的是流量输入本身，最后两个是标签(正常或攻击)，数据集中存在4种不同类型的攻击：拒绝服务(DoS)、探测、用户到根(U2R)和远程到本地(R2L)。由于数据特征较多并且存在一部分冗余特征，本文使用斯皮尔曼等级相关系数方法来量化数值特征之间的相关性，且每组只保留一个高相关特征，使用方差分析对特征进行重要性排序，并进行数值化和归一化处理。
(2)分类设备类型
与其他设备相比，物联网设备更加异构，不同的物联网设备有不同的服务质量要求
(QoS)，譬如网络带宽、丢包容忍度等要求。一个联网的摄像头(在流媒体视频时)比一个智能灯泡需要更高的带宽。与智能咖啡机相比，一个联网的烟雾探测器或智能钥匙锁需要更可靠的通信。在烟雾探测器的情况下，消息传递失败可能危及生命。不同的物联网设备有不同且固定的通信模式，通过为每个物联网设备的通信模式构建指纹，然后使用无监督聚类算法将这些指纹分组，最后实现设备类型的识别，将设备类型分为Type1，Type2...Typen。
(3)基于异构设备的联邦拆分学习方法
一般情况下，一个物联网网关会与多个设备相连，会有多种类型设备。针对异构设备，一个物联网网关承载着多个异常检测模型(NDM)，本方案中使用对比学习模型用于物联网异常流量检测。由于物联网网关资源受限，本方案中使用拆分学习，将对比学习模型拆分成两部分，一部分部署在网关上，另一部分部署在拆分服务器上，训练好的网关部分的对比学习模型(NDM)用于对该设备类型的异常流量检测。由于每个网关部署的NDM的数量不尽相同，不同网关上的NDM拥有的资源也不相同，因此，本方案提出了一个动态划分切割层的算法-自适应拆分算法，保证相同设备类型的拆分层数相同和网关上的计算资源以及通信资源足够支撑所部署的NDM。
3a.自适应拆分算法
初始化切割层
设置所有网关上的模型的初始切割层数L＝1，总共有n个网关设备，每个网关上部署了的NDM数量为NGi，其中i∈n；
评价网关的能力
网关能力可以概括为计算能力和通信能力的总和，计算能力和通信能力分别量化为计算时间和通信时间；
计算时间(CT)：
设模型总共训练了T轮，每轮迭代了L次，当前训练伦次为t，网关每次迭代需要iteri次计算，网关主频为F，物联网设备流量与时间序列存在依赖关系，所以计算次数也受时间序列的影响，设为I(time),因此网关的计算能力如公式(1)表示：
通信时间(NT)：
云服务器上发送轻量数据集给n个网关，根据网关和服务器之间的数据传送时间就可以获得两者的通信时间，设为{NT1,NT2...NTi},i∈n；
每一轮计算一次网关能力，用公式(2)表示:
求每个网关设备上每个NDM平均能获得的网关能力：
NGi表示每个网关上部署了的NDM数量
如果
那么预切割层数Li＝1；
其中，τt+1为时间阈值；T为模型训练轮数；
如果
预切割层数/>
时间阈值τ，如公式(3)所示：
2.5)确定同一设备类型的NDM切割层数
拆分服务器本应按照2.4)来确定每个网关上的NDM的拆分层数，但是每个网关设备有不同类型的NDM，不同网关上的NDM有些同属一个簇，因此需要统一同一设备类型的NDM的切割层数，所以如下所示求同一设备的NDM的切割层数：
因此，这样可以使同一设备类型的切割层数相同。
3b.模型训练
不同类型的物联网设备之间的网络流量模式差异很大，因此将根据设备类型的不同对其进行分类，分成不同的簇，如图1所示，首先，随机初始化模型参数，根据3a中的自适应拆分算法动态地选取网络切割层，训练全局轮数设为T，每轮训练中的本地迭代训练次数为L，当前训练轮次为t，以下为模型的训练过程，如图2所示，包括簇内和簇间训练阶段：
簇内训练：
根据设备类型将NDM模型划分成多个簇，D代表簇的数目，Dh代表簇h中的设备个数，当下x1≠x2时，Dx1∩Dx2＝0，首先，根据自适应拆分算法选取合适的切割层，切割层及其前的层数在网关运行，剩下的层数交给云服务器。然后将NDM模型分为客户端模型NA和服务端模型SA，云服务器会广播初始化NDM模型，将L＝1的客户端模型用A(t)表示，发送到簇内所有参与的设备，客户端模型用
表示，代表在聚类h中所有参与的设备模型，每轮全局训练中设备和云服务器端迭代前向反向训练模型L次，需要训练T轮，训练的具体步骤如下：
①h簇内客户端模型并行训练直到切割层网络，模型参数为
表示聚类h的设备k在训练第t轮中的第r次的模型，破碎数据为Sh,k(t,r)，表示聚类h的设备k在训练第t轮中的第l次的破碎数据，将破碎数据传递给服务器端，首先将破碎数据连接成一个矩阵，
将其输入到服务端模型/>
模型训练后的预测输出结果由公式(1)表示，从而完成了一轮前向训练过程；
②服务端模型首先通过给定的预测结果y(t,r)和相应的真实标签，计算损失函数的梯度，用
表示，然后使用随机梯度下降(SGD)方法更新服务端模型，服务端模型更新由公式(5)表示，接下来根据梯度计算链式法则，从最后一层到切割层逐层更新模型参数，当梯度计算进行到切割层时，最后将破碎数据发送回对应的设备，客户端模型使用接收到的粉碎数据的梯度基于SGD方法更新簇内每个客户端模型，客户端模型更新由公式(6)表示,完成了一轮反向训练过程，因此，已经完成了一次完整的训练过程；
③当簇内设备完成L次本地迭代训练后，首先将训练好的客户端模型参数上传到联邦服务器，然后通过联邦平均FedAvg算法进行聚合，由公式(4)表示，最后将聚合更新后的结果返回给客户端模型；
Ch-簇h在t轮参与训练的所有样本数量，Ch,k-簇h中的设备k在t轮训练的样本数量
簇间训练：
由于设备的异构性，不同簇里面的所训练得到的模型是不同的，因此，相同簇内都拥有相同的客户端模型，不同簇内的模型有不同的客户端模型，与之相对应的另一部分在云服务器端，每个簇内的模型并行进行训练，同时，簇间也是执行并行训练；所提议的“双并行”的方式操作与仅以顺序方式操作的普通SL方案不同，每个簇中的设备是并行训练的，而簇间同时也是并行进行训练的，从而折叠了整个训练过程，大大减少了训练延迟，极大地提高了模型的训练速度。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (6)
1.一种基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：包括如下步骤：
步骤一、构建用于异常检测的深度学习模型即NDM；
步骤二、通过自适应拆分算法得到深度学习模型的切割层，将深度学习模型的切割层及切割层之前的深度学习模型部分分发到网关设备作为客户端模型NA，切割层之后的深度学习模型分发到云服务器作为拆分服务器模型SA；
步骤三、得到训练数据集；
步骤四、训练深度学习模型：将训练数据集发送到各个网关设备的客户端模型NA正向传播进行进行训练，然后客户端模型NA的输出的破碎数据作为对应拆分服务器模型SA的输入，拆分服务器模型SA正向传播继续训练计算出损失函数后更新拆分服务器模型SA的模型参数，然后进行反向传播至拆分服务器模型SA的第一层形成更新后的破碎数据，更新后的破碎数据传播到客户端模型NA的切割层，客户端模型NA进行反向传播更新客户端模型NA的模型参数；然后各网关设备的客户端模型NA的模型参数传输到联邦服务器，联邦服务器通过联邦平均FedAvg算法对深度学习模型的各个模型参数进行聚合，得到聚合后的各个模型参数，将聚合后的各个模型参数传递到各个客户端模型NA，再进行上述训练，直到客户端模型收敛，得到训练好的客户端模型NA；
步骤五、将各网关设备得到的流量数据输入训练好的客户端模型NA，检测得到流量为正常或攻击的输出。
2.如权利要求1所述的基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：所述步骤二中，通过自适应拆分算法得到深度学习模型的切割层的方法如下：
2.1)设置所有网关设备上的深度学习模型的初始切割层数L＝1，总共有n个网关设备，每个网关上部署了的NDM数量为NGi，其中i∈n；
2.2)得到网关设备的计算时间CT：
设深度学习模型总共训练了T轮，每轮迭代了R次，当前训练轮次为t，网关每次迭代需要iteri次计算，网关主频为F，物联网设备流量与时间序列存在依赖关系，所以计算次数也受时间序列的影响，计算次数设为I(time),因此网关的计算能力如公式(1)表示：
其中，表示CTt,r i第i个网关设备在t轮第r次的计算时间，
表示第i个网关设备在t轮第r次的计算次数，n表示网关设备的数量；
2.3)得到网关设备的通信时间NT：
服务器上发送数据集给n个网关，根据网关和服务器之间的数据传送时间获得两者的通信时间，设为{NT1,NT2...NTi},i∈n；
NTi表示第i个网关设备的通信时间；
2.4)得到网关设备的通信时间和计算时间总和作为网关能力，每一轮训练计算一次网关能力，用公式(2)表示:
2.4)求每个网关设备上每个NDM平均能获得的网关能力：
NGi表示每个网关上部署了的NDM数量；
如果
那么第i网关NDM的预切割层数Li＝1；
其中，τt+1为时间阈值；
如果
第i网关NDM的预切割层数/>
[]表示取整数；
τ表示时间阈值，如公式(3)所示：
2.5)确定同一设备类型的NDM切割层数：
不同网关上的同一类型NDM模型的切割层数相同，并通过下式确定：
TLx表示x类型NDM最终设置的切割层数，
表示第j个网关设备的x类型NDM预设的切割层数；min表示取最小值。
3.如权利要求2所述的基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：所述步骤四中，由于不同的物联网设备所产生的数据特征分布差异较大，物联网设备有较强的异构性，根据物联网设备类型把部署在网关的客户端模型划分成多个簇，同一簇内网关设备的客户端模型NA的模型参数在联邦服务器进行聚合，不同簇的不进行聚合。
4.如权利要求3所述的基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：簇内深度学习模型的训练步骤如下：
4.1、第h簇内客户端模型NA并行训练直到切割层网络；其中，
表示聚类h的设备k在训练第t轮中的第r次的模型参数，Sh,k(t,r)表示聚类h的设备k在训练第t轮中的第l次的破碎数据；将h簇内的破碎数据连接成一个矩阵，形成破碎数据矩阵，
将破碎数据矩阵输入到拆分服务器模型SA；拆分服务器模型SA训练后的预测输出结果由公式(4)表示，从而完成了一轮前向训练过程；
其中，
表示t轮r次的输出标签值；/>
表示h簇内t轮r次客户端模型的破碎数据矩阵，/>
表示服务器端t轮r次的模型参数，f()表示模型训练函数；
4.2)拆分服务器模型SA首先通过预测结果y(t,l)和相应的真实标签，计算损失函数的梯度
然后使用随机梯度下降方法更新拆分服务器模型SA，拆分服务器模型SA更新由公式(5)表示，然后根据梯度计算链式法则，从最后一层到拆分服务器模型SA第一层逐层更新模型参数，当梯度计算进行到切割层时，最后将破碎数据发送回对应的客户端模型NA，客户端模型NA使用接收到的破碎数据的梯度，基于梯度计算链式法则更新簇内每个客户端模型NA，客户端模型NA更新由公式(6)表示,完成了一轮反向训练过程，因此，已经完成了一次完整的训练过程；
其中，ηe表示拆分服务器端模型的学习率，ηN表示客户端模型的学习)，
表示客户端模型得到t轮第r+1次的模型参数；
当簇内的客户端模型NA完成L次本地迭代训练后，首先将训练好的客户端模型NA参数上传到联邦服务器，然后通过联邦平均FedAvg算法进行聚合，由公式(7)表示，最后将聚合更新后的结果返回给客户端模型；
其中，Dm表示h簇内设备数量，Ch,k表示簇h中的设备k在t轮训练的样本数量，Ch表示簇h在t轮参与训练的所有样本数量，
表示联邦聚合后更新的客户端的模型参数。
5.如权利要求4所述的基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：进行簇内深度学习模型的训练的同时，进行簇间深度学习模型的训练。
6.如权利要求1-5任一所述的基于联邦拆分学习的物联网异构设备异常流量检测方法，其特征在于：所述用于异常检测的深度学习模型为对比学习模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310420029.4A CN116418589A (zh) | 2023-04-19 | 2023-04-19 | 基于联邦拆分学习的物联网异构设备异常流量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310420029.4A CN116418589A (zh) | 2023-04-19 | 2023-04-19 | 基于联邦拆分学习的物联网异构设备异常流量检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116418589A true CN116418589A (zh) | 2023-07-11 |
Family
ID=87054429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310420029.4A Pending CN116418589A (zh) | 2023-04-19 | 2023-04-19 | 基于联邦拆分学习的物联网异构设备异常流量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116418589A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117113266A (zh) * | 2023-10-25 | 2023-11-24 | 广东技术师范大学 | 基于图同构网络的无人工厂异常检测方法、装置 |
-
2023
- 2023-04-19 CN CN202310420029.4A patent/CN116418589A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117113266A (zh) * | 2023-10-25 | 2023-11-24 | 广东技术师范大学 | 基于图同构网络的无人工厂异常检测方法、装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112398779B (zh) | 一种网络流量数据分析方法及系统 | |
| WO2021088372A1 (zh) | SDN网络中基于神经网络的DDoS检测方法及系统 | |
| Li et al. | An active learning based TCM-KNN algorithm for supervised network intrusion detection | |
| CN103795612B (zh) | 即时通讯中的垃圾和违法信息检测方法 | |
| US10540377B2 (en) | Computer implemented systems for automatic hierarchy for large scale time series data sets | |
| CN103078897B (zh) | 一种实现Web业务细粒度分类与管理的系统 | |
| CN112217674B (zh) | 基于因果网络挖掘和图注意力网络的告警根因识别方法 | |
| US11334809B1 (en) | System and methods for interactive text regression model building | |
| CN112367303B (zh) | 分布式自学习异常流量协同检测方法及系统 | |
| CN116418589A (zh) | 基于联邦拆分学习的物联网异构设备异常流量检测方法 | |
| CN115358487A (zh) | 面向电力数据共享的联邦学习聚合优化系统及方法 | |
| CN113378990A (zh) | 基于深度学习的流量数据异常检测方法 | |
| CN116502162A (zh) | 边缘算力网络中的异常算力联邦检测方法、系统及介质 | |
| CN114138968A (zh) | 一种网络热点的挖掘方法、装置、设备及存储介质 | |
| Almarshdi et al. | Hybrid Deep Learning Based Attack Detection for Imbalanced Data Classification. | |
| CN115098599A (zh) | 一种基于多维度用户偏好标签画像分析方法及系统 | |
| Wang et al. | An algorithm for mining of association rules for the information communication network alarms based on swarm intelligence | |
| Wang et al. | CPB: a classification-based approach for burst time prediction in cascades | |
| CN116232921B (zh) | 一种基于超图的确定性网络数据集构建装置及其方法 | |
| CN113254580A (zh) | 一种特殊群体搜索方法及系统 | |
| CN117113266A (zh) | 基于图同构网络的无人工厂异常检测方法、装置 | |
| Liang et al. | Deep learning assist iot search engine for disaster damage assessment | |
| CN115952860A (zh) | 一种面向异质统计的分簇联邦学习方法 | |
| CN116545679A (zh) | 一种工业情境安全基础框架及网络攻击行为特征分析方法 | |
| CN114358177B (zh) | 一种基于多维度特征紧凑决策边界的未知网络流量分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |