CN117811845A - 威胁检测及模型训练方法、装置、系统、电子设备、介质 - Google Patents
威胁检测及模型训练方法、装置、系统、电子设备、介质 Download PDFInfo
- Publication number
- CN117811845A CN117811845A CN202410230012.7A CN202410230012A CN117811845A CN 117811845 A CN117811845 A CN 117811845A CN 202410230012 A CN202410230012 A CN 202410230012A CN 117811845 A CN117811845 A CN 117811845A
- Authority
- CN
- China
- Prior art keywords
- cluster
- model
- edge computing
- threat detection
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 296
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000012549 training Methods 0.000 title claims abstract description 152
- 230000002776 aggregation Effects 0.000 claims abstract description 270
- 238000004220 aggregation Methods 0.000 claims abstract description 270
- 241000854291 Dianthus carthusianorum Species 0.000 claims abstract description 162
- 239000013598 vector Substances 0.000 claims description 126
- 238000004138 cluster model Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000006116 polymerization reaction Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 17
- 241001481828 Glyptocephalus cynoglossus Species 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005354 coacervation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种威胁检测及模型训练方法、装置、系统、电子设备、介质，应用于数据安全技术领域。其中，方法包括边缘云服务器基于各边缘计算设备的推理结果生成的有权无向图进行数据同性簇划分，同时选择簇头。边缘计算设备基于分簇信息将本地模型参数发送至相应簇头，簇头根据其簇内设备的模型参数和网络攻击特点确定攻击设备，并将去除攻击设备后的其余本地模型参数的簇内聚合结果发送至边缘云服务器进行全局聚合；根据全局模型聚合参数不断更新本地模型参数直至全局型收敛，得到执行威胁检测任务的威胁检测模型。本发明可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题，能够有效提高威胁检测精度。
Description
技术领域
本发明涉及数据安全技术领域，特别是涉及一种威胁检测及模型训练方法、装置、系统、电子设备、介质。
背景技术
随着人工智能和大数据技术的快速发展和日益普及，日常工作生活中越来越多的设备都会接入网络，这使得侵入者更容易获取非授权的数据，造成用户数据被泄露或数据被篡改。
为了保证数据安全，相关技术基于联邦学习模式训练能够起到威胁检测功能的模型的训练。但是，在联邦学习的环境中，恶意设备会进行一些攻击，这就导致最终训练得到的模型仍旧会携带恶意攻击者的特征，并不能真正起到保护用户隐私数据的作用。
鉴于此，提高威胁检测精度，保障用户数据安全，是所属领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种威胁检测及模型训练方法、装置、系统、电子设备及可读存储介质，能够有效提高威胁检测精度，保障用户数据安全。
为解决上述技术问题，本发明提供以下技术方案：
本发明第一方面提供了一种威胁检测方法，应用于边缘计算设备，包括：
利用初始威胁检测模型对目标网络流数据集进行推理，并接收分簇信息；
在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；
根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数，直至所述边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型；
其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。
在第一种示例性的实施方式中，所述根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，包括：
根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，并对各动量向量特征进行聚类处理；
基于同一簇内的非攻击边缘计算设备具有相似参数更新特性，根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备。
在第二种示例性的实施方式中，所述聚类结果包括第一类特征和第二类特征，所述第一类特征包含的动量向量特征总数大于所述第二类特征包含的动量向量特征总数；所述根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备，包括：
分别计算所述第一类特征和所述第二类特征包含的各动量向量特征对应的动量向量平均值，得到所述第一类特征对应的第一平均动量向量和所述第二类特征对应的第二平均动量向量；
若所述第一平均动量向量和所述第二平均动量向量之间的余弦相似度大于第一预设相似阈值，则同一簇内的各边缘计算设备中不存在非女巫攻击的边缘计算设备；
若所述第一平均动量向量和所述第二平均动量向量之间的余弦相似度小于等于第一预设相似阈值，则判定所述第二类特征所包含的动量向量特征对应的边缘计算设备均为非女巫攻击设备。
在第三种示例性的实施方式中，所述根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，包括：
基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量；
提取各动量向量的特征，得到同一簇内的各边缘计算设备的动量向量特征。
在第四种示例性的实施方式中，所述提取各动量向量的特征，包括：
对同一簇内的各边缘计算设备的各动量向量进行归一化处理，以使同一簇内的各边缘计算设备的动量向量长度为目标值；
提取归一化处理后的各动量向量的特征。
在第五种示例性的实施方式中，所述基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量，包括：
调用动量向量关系式，计算同一簇内的各边缘计算设备的动量向量；所述动量向量关系式为：m_k_t0=g_k_t0–l_g；
其中，m_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的动量向量，g_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的本地模型参数，l_g为上一次全局聚合所生成的全局模型聚合参数。
在第六种示例性的实施方式中，所述利用初始威胁检测模型对目标网络流数据集进行推理，包括：
利用本地网络流训练样本数据集，对预先搭建的威胁检测模型框架进行联邦学习，得到初始威胁检测模型；
接收边缘云服务器的目标网络流数据集，调用所述初始威胁检测模型对所述目标网络流数据集进行推理，并将推理结果发送至所述边缘云服务器。
在第七种示例性的实施方式中，所述对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，包括：
获取包含同一簇内的所有边缘计算设备的本地模型参数的本地模型参数信息，将所述攻击设备对应的本地模型参数从本地模型参数信息中删除，得到待聚合参数信息；
获取上一次簇内参数聚合所得的旧簇内模型聚合参数；
基于所述旧簇内模型聚合参数和所述待聚合参数信息，进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数。
在第八种示例性的实施方式中，所述对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，包括：
调用簇内参数聚合关系式，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数；其中，所述簇内参数聚合关系式为：
；
式中，为第c个数据同性簇的簇头在t+1次簇内聚合操作对应的簇内模型聚合参数，/>为第c个数据同性簇的簇头在t次簇内聚合操作对应的簇内模型聚合参数，α为超参数，N 0为第c个数据同性簇内去除攻击设备之后所包含的边缘计算设备的数量，/>表示同一个集合内所有元素的个数和，/>为去除攻击设备的第c个数据同性簇内的第n个边缘计算设备在第l次迭代更新过程中的本地模型参数。
在第九种示例性的实施方式中，所述在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，包括：
调用本地损失函数关系式，按照预设训练参数从本地网络流训练样本数据集中读取相应数量的本地网络流样本数据，对所述初始威胁检测模型进行训练；所述本地损失函数关系式为：
；
式中，为第i个边缘计算设备的本地损失函数，/>为第i个边缘计算设备的本地模型参数，/>为第i个边缘计算设备的本地网络流训练样本数据集，/>表示同一个集合内所有元素的个数和，/>为参与当前迭代训练的本地网络流样本数据，L为样本损失函数。
在第十种示例性的实施方式中，所述根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数之前，还包括：
获取属于同一数据同性簇、且具有连接关系的相邻边缘计算设备的本地模型参数；
根据各相邻边缘计算设备的本地模型参数，更新所述初始威胁检测模型的本地模型参数。
本发明第二方面提供了一种威胁检测方法，应用于边缘云服务器，包括：
获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
在第一种示例性的实施方式中，所述根据各推理结果生成各边缘计算设备之间的有权无向图，包括：
确定每两个边缘计算设备的推理结果之间的相似性；
基于各边缘计算设备之间的相似程度，生成各边缘计算设备之间的有权无向图。
在第二种示例性的实施方式中，所述根据各边缘计算设备之间的相似性生成各边缘计算设备之间的有权无向图，包括：
以各边缘计算设备的推理结果的相似值作为有权无向图的权重值，根据各边缘计算设备的推理结果的相似值与第二预设相似阈值之间的数值关系确定有权无向图的连接边；
根据每两个边缘计算设备之间是否具有连接边，且具有连接边的两个相邻边缘计算设备之间的权重值，生成有权无向图。
在第三种示例性的实施方式中，所述为各数据同性簇选择对应的簇头，包括：
对各数据同性簇，获取当前数据同性簇内的各边缘计算设备之间的簇内通信时间，及各边缘计算设备与边缘云服务器之间的簇外通信时间；
基于预设通信效率要求，根据同一簇内的各边缘计算设备的簇内通信时间和簇外通信时间，为各数据同性簇选择对应的簇头。
在第四种示例性的实施方式中，所述对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，包括：
调用全局聚合关系式，对各簇头发送的簇内模型聚合参数进行全局聚合；其中，所述全局聚合关系式为：
；
式中，为在t+1次全局聚合操作对应的全局模型聚合参数，C为数据同性簇的总数，/>为在t+1次全局聚合操作对应的第c个数据同性簇的簇头发送的簇内模型聚合参数，l为第c个数据同性簇的边缘计算设备的迭代次数。
在第五种示例性的实施方式中，所述基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，包括：
将各边缘计算设备进行初始化簇处理，并为各边缘计算设备赋予相应的簇标签；
对各边缘计算设备，根据所述有权无向图确定当前边缘计算设备的相邻边缘计算设备，并根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签，直至各边缘计算设备的簇标签的变化情况满足预设收敛条件；
将具有相同簇标签的边缘计算设备划分为同一个数据同性簇；
其中，所述相邻边缘计算设备为与所述当前边缘计算设备具有连接边的边缘计算设备。
在第六种示例性的实施方式中，所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签，包括：
获取所述当前边缘计算设备的相邻边缘计算设备的簇标签，并统计各类簇标签的总数；
将总数符合预设分簇条件的簇标签更新为所述当前边缘计算设备的簇标签。
在第七种示例性的实施方式中，所述将各边缘计算设备进行初始化簇处理，包括：
将各边缘计算设备作为独立的数据同性簇；
获取预设初始分簇条件；
基于所述初始分簇条件对各边缘计算设备进行分簇，并为同一个簇的边缘计算设备设置相同的簇号，以作为簇标签。
本发明第三方面提供了一种威胁检测方法，包括：
利用如前意一项所述的威胁检测方法训练得到威胁检测模型；
获取当前网络数据流；
将所述当前网络数据流输入至所述威胁检测模型，得到网络威胁检测结果。
本发明第四方面提供了一种联邦学习模型训练方法，应用于边缘计算设备，包括：
利用初始网络模型对目标数据集进行推理，并接收分簇信息；
在基于本地训练样本数据对所述初始网络模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；
根据全局模型聚合参数更新所述初始网络模型的本地模型参数，直至所述边缘云服务器的模型收敛；
其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。
本发明第五方面提供了一种联邦学习模型训练方法，应用于边缘云服务器，包括：
获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
本发明第六方面提供了一种威胁检测装置，应用于边缘计算设备，包括：
推理模块，用于利用初始威胁检测模型对目标网络流数据集进行推理；
分簇信息接收模块，用于接收分簇信息；其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
参数更新模块，用于在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数，直至所述边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型。
本发明第七方面提供了一种威胁检测装置，应用于边缘云服务器，包括：
图构建模块，用于获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
分簇模块，用于基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
全局聚合模块，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
本发明第八方面提供了一种联邦学习模型训练装置，应用于边缘计算设备，包括：
通用推理模块，用于利用初始网络模型对目标数据集进行推理；
数据接收模块，用于接收分簇信息；其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
通用模型更新模块，用于在基于本地训练样本数据对所述初始网络模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新所述初始网络模型的本地模型参数，直至所述边缘云服务器的模型收敛。
本发明第九方面提供了一种联邦学习模型训练装置，应用于边缘云服务器，包括：
通用图构建模块，用于获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
通用分簇模块，用于基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
通用全局聚合模块，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
本发明第十方面还提供了一种电子设备，包括处理器和存储器，所述处理器用于执行所述存储器存储的计算机程序时实现如前任意一项所述的威胁检测方法和/或如前任意一项所述的联邦学习模型训练方法的步骤。
本发明第十一方面还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述的威胁检测方法和/或如前任意一项所述的联邦学习模型训练方法的步骤。
本发明第十二方面还提供了一种威胁检测系统，包括边缘云服务器和多个边缘计算设备；
各边缘计算设备在所述边缘云服务器的协调下共同训练威胁检测模型，其中，各边缘计算设备用于执行存储器中存储的计算机程序时实现如前任一项所述威胁检测方法的步骤；所述边缘云服务器用于执行存储器中存储的计算机程序时实现如前任一项所述模型训练方法的步骤；
各边缘计算设备和所述边缘云服务器存储训练好的威胁检测模型，并通过调用所述威胁检测模型对网络数据流进行网络威胁检测。
本发明第十三方面还提供了一种联邦学习系统，包括边缘云服务器和多个边缘计算设备；各边缘计算设备在所述边缘云服务器的协调下共同训练模型；
所述边缘云服务器用于执行存储器中存储的计算机程序时实现如前所述联邦学习模型训练方法的步骤；各边缘计算设备用于执行存储器中存储的计算机程序时实现如前所述联邦学习模型训练方法的步骤。
本发明提供的技术方案的优点在于，在边缘云服务器和各边缘计算设备在共同训练用于检测威胁的威胁检测模型的过程中，由边缘云服务器基于有权无向图实现相似的数据、模型的边缘计算设备之间的聚类，从而将各边缘计算设备划分为多个具有数据同性簇，位于同一个数据同性簇内的边缘计算设备的数据是独立同分布的，且本地模型参数一致，这样不仅能保证各个数据分布的模型性能均达到最优，而且有利于提高后续攻击检测和威胁模型检测的精度，在面向联邦学习的数据共享过程中，能够及时且高精度检测恶意用户，有效避免最终训练得到全局威胁检测模型携带攻击者特征，提升威胁检测模型的安全性能，通过该威胁检测模型执行威胁检测任务时，能够确保用户隐私数据不被泄露，提高用户数据的安全性能。
此外，本发明还针对威胁检测方法提供了联邦学习模型训练方法、及各自相应的实现装置、系统、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述方法、装置、系统、电子设备及可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚的说明本发明或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种威胁检测方法的流程示意图；
图2为本发明提供的威胁检测方法适用的云边端环境中的一示例性应用场景的框架示意图；
图3为本发明提供的有权无向图的一示例性应用场景的示意图；
图4为本发明提供一示例性应用场景下的分簇示意图；
图5为本发明提供的另一种威胁检测方法的流程示意图；
图6为本发明提供的另一种威胁检测方法的流程示意图；
图7为本发明提供的一种联邦学习模型训练方法的流程示意图；
图8为本发明提供的一种联邦学习模型训练方法的流程示意图；
图9为本发明提供的威胁检测方法适用的云边端环境中的另一示例性应用场景的框架示意图；
图10为本发明提供的威胁检测装置的一种具体实施方式结构图；
图11为本发明提供的威胁检测装置的一种具体实施方式结构图；
图12为本发明提供的威胁检测装置的一种具体实施方式结构图；
图13为本发明提供的联邦学习模型训练装置的一种具体实施方式结构图；
图14为本发明提供的联邦学习模型训练装置的一种具体实施方式结构图；
图15为本发明提供的电子设备的一种具体实施方式结构图；
图16为本发明提供的威胁检测系统的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。其中，说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形，意图在于覆盖不排他的包含。术语“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
联邦学习为多个客户端(如移动设备)在中央服务器(例如服务提供商)的协调下共同训练网络模型，同时保持训练数据的去中心化及分散性，能够在不需要直接共享原始数据的情况下进行模型训练，既可以利用到分布式设备上的数据进行模型训练，又可以保护每个参与者的数据隐私，从而可以解决数据隐私和数据安全的问题，被广泛应用于如医疗、金融等高度敏感的领域中。联邦学习模式下，每个参与者可以在本地设备上进行模型训练，中心服务器对各客户端的模型更新信息进行聚合。然而，联邦学习的这种分布式特性，恶意设备对任何一个参与者进行攻击，如在Sybil（女巫）攻击中，一个设备可以伪装成多个虚假的设备进行攻击，这些攻击都会导致最终模型携带攻击特征，如在非Sybil攻击中，设备可能会发送错误的模型更新，以操纵最后聚合的全局模型，所以需要保护模型的安全性。进一步的，联邦学习的这种分布式特性，各方数据往往是非独立同分布的，而且各方学习的模型参数不一致，也即具有数据异构性和模型异构性的问题，这些异构性问题导致简单的服务器聚合参数模式在效率、效果、隐私保护层面都不能达到一个很好的效果。由此可见，在面向联邦学习的数据共享过程中，通常有数以万计的设备参与训练，服务器如果无法及时检测恶意用户，很容易造成最终训练得到的全局模型被污染甚至隐私泄露问题，使得用户数据无法得到有效保护。
鉴于此，本发明提出利用数据异构条件下的层级聚类联邦学习方法对能够起到威胁检测功能的模型进行训练，示例性的，边缘云服务器先收集各个边缘计算设备对公共数据集的推理结果来构造边缘计算设备之间的有权无向图，通过有权无向图聚类实现相似的数据、模型的边缘计算设备之间的聚类，通过多个不同的层级聚类的边缘计算设备，首先是分簇的过程，每个簇进行一次聚合，边缘计算设备将本地训练得到本地的威胁检测模型发送给簇头，让簇头进行簇内的聚合。其次，簇头将聚合后的本地模型再发送给边缘云服务器进行全局聚合，从而实现模型的高效聚合。本申请在对威胁检测模型进行训练过程中，考虑了恶意设备对整个联邦学习系统的影响，不仅提高了各方数据的安全性，还解决了边缘计算设备上的本地模型或数据的异构性问题。在介绍了本发明的技术方案后，下面详细的说明本发明的各种非限制性实施方式。为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于所属领域技术人员熟知的方法、手段未作详细描述，以便于凸显本发明的主旨。
首先请参见图1，图1为本实施例提供的一种威胁检测方法的流程示意图，本实施例是应用于边缘云服务器和多个边缘计算设备的联邦学习系统，边缘计算设备在不同的应用领域下设备类型不同，如在网络安全领域，边缘计算设备可为路由器、防火墙，路由器和防火墙这些边缘计算设备进行本地数据处理和模型训练，服务器聚合路由器和防火墙所训练得到的本地模型以更有效地检测恶意软件和网络攻击，而无需共享敏感数据。在智慧城市的交通管理系统中，边缘计算设备为监控设备和智能车辆，监控设备和智能车辆都可以收集交通数据训练一用于优化交通流量和事故预测的模型。在医疗健康领域，各医疗机构的辅助诊断设备、医疗设备可以为边缘计算设备，通过本发明提供的方法可以在保护病人隐私的同时，通过联邦学习提高疾病诊断的准确性。最后，在智能制造和预测性维护方面，工厂的机器和传感器可以作为边缘计算设备，利用边缘计算设备收集生产线数据，利用联邦学习进行故障预测和维护决策的优化。如图2所示，边缘云服务器为任何一种普通的边缘服务器，多个边缘计算设备被划分为多个数据同性簇，如簇S 1…S C ，每个数据同性簇具有一个簇头，如簇S 1的簇头为H 1，簇S C 的簇头为H C，其中，虚线表示簇头与边缘服务器的通信链路，实线表示簇内边缘计算设备之间的通信链路。通过联邦学习系统协作训练一个用于执行威胁检测任务的威胁检测模型，边缘计算设备基于本地训练数据样本集对威胁检测模型进行训练，为了进行数据隐私保护，各边缘计算设备的本地数据不会上传至边缘云服务器，仅仅将训练得到的模型上传至簇头，簇头聚合同一簇内的正常的边缘计算设备的本地模型参数，并将簇内模型聚合参数上传至边缘云服务器，边缘云服务器将簇头聚合得到的模型进行再次聚合，也即进行全局参数聚合，直至收敛，便训练得到最终能够用于执行威胁检测任务的威胁检测模型，充分利用分布式边缘计算资源，降低了数据传输需求，还增强了数据隐私保护，同时提升了威胁检测模型的整体效率和精度。下面以边缘计算设备为执行主语，阐述威胁检测方法的实现过程，可包括下述内容：
S101：利用初始威胁检测模型对目标网络流数据集进行推理，并接收分簇信息。
在本实施例中，初始威胁检测模型为边缘计算设备利用本地网络流样本数据训练一次或少数几次得到的网络模型，目标网络流数据集为边缘云服务器发送给各边缘计算设备的测试数据集，其包含少量的测试网络流样本数据，测试网络流样本数据可包括各类攻击网络流的数据，也可包括不含攻击的正常网络流数据，将目标网络流数据集中的各测试网络流样本数据输入至初始威胁检测模型，初始威胁检测模型输出的威胁检测结果即为推理结果，各边缘计算设备将推理结果发送至边缘云服务器。示例性的，预先搭建威胁检测模型框架，利用本地网络流训练样本数据集对该威胁检测模型框架进行联邦学习，得到初始威胁检测模型；接收边缘云服务器的目标网络流数据集，调用初始威胁检测模型对目标网络流数据集进行推理，并将推理结果发送至边缘云服务器。举例来说，所有边缘计算设备进行1次联邦学习，即边缘计算设备使用自己的内部数据集进行训练，获得初始威胁检测模型。边缘云服务器从公网获取少量公共数据以构建面向本联邦学习任务的公共测试数据集。边缘云服务器将公共测试数据集发送到边缘计算设备，边缘计算设备存储该公共测试数据集，同时使用自训练模型对该公共测试数据集进行推理，获得推理结果，推理结果上传到边缘云服务器。
其中，分簇信息包括但并不限制于簇头标识号及簇内连接关系，簇头标识号用于表示该边缘计算设备所属的数据同性簇，簇头标识号可以唯一标识一个数据同性簇，簇内连接关系用于表示每一个数据同性簇所包含的边缘计算设备之间的连接关系，也即同一簇内哪些边缘计算设备是相邻关系。本实施例的分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。其中，所谓的有权无向图是指所构建的图的连接边具有权重，但没有方向。由于初始威胁检测模型是各边缘计算设备使用本地自己的网络流样本数据所训练得到的，不同边缘计算设备所使用的本地网络流样本数据存在数据异构性，即每个边缘计算设备数据有限，大多只包含有限类别的样本。因此，使用公共的目标网络流数据集进行推理的结果也各不相同，存在偏差。本实施例可根据不同边缘计算设备的推理结果之间的相似性来构造有权无向图，当生成有权无向图之后，根据不同边缘计算设备之间的相似程度进行数据同性簇的划分，当将属于具有相同或相似性质的边缘计算设备划分至同一个数据同性簇之后，对每一个数据同性簇，还可根据通信效率最优或距离最近为基准，为各数据同性簇选择簇头。当边缘云服务器将各边缘计算设备进行数据同性簇划分之后，同一个数据同性簇内的各边缘计算设备不直接与边缘云服务器交互，而是通过簇头与边缘云服务器进行数据交互。
S102：在基于本地网络流样本数据对初始威胁检测模型的本地模型参数更新过程中，根据分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头。
在本实施例中，边缘计算设备采集具有网络威胁和没有网络威胁的网络流作为训练初始威胁检测模型的本地训练样本数据，当然也可直接获取现有的具有网络威胁的网络流数据库中的数据作为本地训练样本数据，可将获取到的本地训练样本数据采用10则交叉方法划分为训练集和验证集，同时为训练集中的每一个本地训练样本数据进行标签标注，所谓的标签也即网络流数据是否具有网络威胁以及具体的威胁类型，从而构建本地网络流样本数据集。为了便于后续数据处理，可提取本地网络流样本数据集中各本地网络流样本数据的流量特征，将流量特征归一化后得到特征向量，再将特征向量排列后形成特征矩阵。边缘计算设备可将本地网络流样本数据集的一部分本地网络流样本数据输入至预先搭建好的神经网络框架下进行训练，得到初始威胁检测模型。
本实施例在继续利用本地网络流样本数据对初始威胁检测模型进行模型参数更新过程中，为了学习所有边缘计算设备的特征的同时兼顾模型训练效率，边缘计算设备每经过预设迭代次数的模型参数更新后，可将更新后的初始威胁检测模型上传至簇头，示例性的，边缘计算设备通常将初始威胁检测模型的本地模型参数上传至簇头，簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备。其中，网络攻击特点为本发明要检测的网络攻击的进行网络攻击时所采用的手段，举例来说，Sybil攻击的网络攻击特征为一个恶意实体伪装成多个假冒的身份，以此来增加该恶意设备在网络中的影响力。例如，一个恶意用户可能会创建多个虚假的账户，以此来投票、评论或者进行其他的活动，从而影响系统的行为。在联邦学习中，Sybil攻击通常会导致训练结果偏向于恶意用户的目标，比如训练出来的模型可能会对某些特定的输入产生错误的预测。非Sybil攻击的网络攻击特点为恶意实体不通过伪装多个身份，而是利用其他方式来对系统进行攻击。例如，在联邦学习中，非Sybil攻击可能包括数据投毒攻击，如恶意实体提供错误或者有误导性的训练数据，模型攻击如恶意实体修改模型的参数以改变模型的行为等。本发明的簇头接收到簇内边缘计算设备发送的本地模型参数之后，会对接收到的本地模型参数进行网络攻击检测，确定其簇内是否存在具有网络威胁的攻击设备，也即攻击设备为其簇内至少一个边缘计算设备。当检测到簇内存在攻击设备，将攻击设备对应的边缘计算设备上传的模型参数去除，然后对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，如果检测到簇内不存在攻击设备，则将当前上传的模型参数直接进行簇内参数聚合。为了便于描述，簇头对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理所得到的结果，可定义为簇内模型聚合参数。在学习到所有边缘计算设备的特征的同时兼顾模型训练效率，簇头会将经过预设簇内聚合次数后所得到的簇内模型聚合参数发送至边缘云服务器，边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合。预设迭代次数和预设簇内聚合次数可根据实际场景灵活选择，本发明对此不作任何限定。相比所有边缘计算设备将威胁检测模型发送给边缘云服务器来进行聚合，本实施例所提供的分簇聚合方法，不受限于边缘云服务器的带宽，大量模型参数数据的传输也不会影响联邦学习的模型更替的效率，可以实现高效的联邦学习。进一步的，因为联邦聚合后的模型是综合了所有联邦设备的数据特质的综合性模型，由于边缘设备所存储的数据集存在数据异构性等问题，简单的把众多模型进行聚合会导致联邦聚合后的模型在不同联邦计算设备中存在偏移误差，甚至会产生模型退化，本实施例所提供的先簇头聚合在由边缘云服务器进行聚合的方式，解决了数据异构和模型异构的问题，能够有效提高威胁检测模型的性能。
S103：根据全局模型聚合参数更新初始威胁检测模型的本地模型参数，直至边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型。
在本实施例中，威胁检测模型的训练过程分为边缘计算设备的本地模型更新、簇头的簇内聚合和边缘云服务器的全局聚合这3个步骤，这些步骤的组合称为一个训练轮次，最终得到的威胁检测模型会经过多个训练轮次。本实施例对不同的数据分布和不同的任务场景下的模型更新，通过残差保留联邦学习来保留本簇数据的个性化模型信息，从而使各个簇，即各个数据分布的模型都能达到最优。对于每一个训练轮次，边缘计算设备的本地模型更新包括多次迭代更新过程，簇内聚合包括多次簇内聚合，边缘计算设备每个预设迭代更新次数后将当前的本地模型参数发送至其所属簇头，簇头每经过预设簇内聚合次数后将当前的簇内模型聚合参数发送至边缘云服务器。边缘云服务器将接收到的各簇头的簇内模型聚合参数进行全局聚合，为了便于描述，可将全局聚合结果定义为全局模型聚合参数。示例性的，边缘云服务器可以同步的方式执行全局聚合，并将最终所得到的全局模型聚合参数广播至所有的边缘计算设备。边缘云服务器在确定当前全局模型聚合参数对应的全局模型收敛时，表明当前协同训练的威胁检测模型的性能已达到最优，可将此时所得到的全局模型作为最终的威胁检测模型。威胁检测模型可直接用于执行威胁检测任务。
在本实施例提供的技术方案中，在边缘云服务器和各边缘计算设备在共同训练用于检测威胁的威胁检测模型的过程中，由边缘云服务器基于有权无向图实现相似的数据、模型的边缘计算设备之间的聚类，从而将各边缘计算设备划分为多个具有数据同性簇，位于同一个数据同性簇内的边缘计算设备的数据是独立同分布的，且本地模型参数一致，这样不仅能保证各个数据分布的模型性能均达到最优，而且有利于提高后续攻击检测和威胁模型检测的精度，在面向联邦学习的数据共享过程中，能够及时且高精度检测恶意用户，有效避免最终训练得到全局威胁检测模型携带攻击者特征，提升威胁检测模型的安全性能，通过该威胁检测模型执行威胁检测任务时，能够确保用户隐私数据不被泄露，提高用户数据的安全性能。
在上述实施例中，同一个数据同性簇内的边缘计算设备进行预设迭代次数更新后，由簇头进行一次簇内模型聚合，也即每当迭代次数为预设迭代次数的整数倍时，所有簇内的边缘计算设备将自己当前的本地模型参数发送给簇头。簇头在对本簇的各边缘计算设备进行簇内模型参数聚合过程中，会识别簇内各边缘计算设备是否存在恶意的攻击设备，上述实施例对确定攻击设备这一步骤并不做限定，本实施例中给出基于同一簇内的各边缘计算设备的模型参数和网络攻击特点来识别攻击设备的一种示例性的实施方式，可包括下述内容：
根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，并对各动量向量特征进行聚类处理；基于同一簇内的非攻击边缘计算设备具有相似参数更新特性，根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备。
在本实施例中，考虑到正常的边缘计算设备也即不具有攻击的边缘计算设备的更新通常是相似的，而恶意的更新通常是与正常更新明显不同的，所以本实施例可以通过检测出与正常更新明显不同的更新，从而发现恶意攻击，举例来说，非Sybil（非女巫）攻击情况下，恶意更新明显不同于彼此，通过检测与大多数更新不同的更新便可认为是恶意的攻击设备的数据。为了提高攻击检测的精度，本实施例基于边缘计算设备的动量向量特征进行检测，建立类似于独立同分布的环境，能够减少不同迭代和边缘计算设备本身之间的更新差异，提高了检测的准确性。动量向量特征是指提取动量向量的特征，可采用任何为一种动量向量计算方法来计算，至于采用何种特征提取方法来提取动量向量的特征，本领域技术人员可根据实际情况进行灵活选择，这均不影响本发明的实现。聚类过程可采用任何一种聚类算法，本发明对此不作任何限定。
示例性的，基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量；提取各动量向量的特征，得到同一簇内的各边缘计算设备的动量向量特征。为了提高数据处理效率，可预先存储动量向量关系式，可直接调用动量向量关系式计算同一簇内的各边缘计算设备的动量向量。动量向量关系式可表述为：m_k_t0=g_k_t0–l_g；其中，m_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的动量向量，g_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的本地模型参数，l_g为上一次全局聚合所生成的全局模型聚合参数。当计算得到各边缘计算设备在第t0个时间步的动量向量之后，在提取动量向量特征之前，为了防止攻击者上传巨大的更新来主导簇内全局更新，还可对同一簇内的各边缘计算设备的各动量向量进行归一化处理，使同一簇内的各边缘计算设备的动量向量长度为目标值，举例来说，可基于关系式m_k_t0=m_k_t0/||m_k_t0||对所有簇内边缘计算设备的动量向量进行了归一化，使其长度为1，然后在提取归一化处理后的各动量向量的特征，这样可以确保单个恶意更新对全局更新的影响有限。示例性的，为了提高数据处理效率，可采用主成分分析方法来提取每一个动量向量m_k_t0的关键特征。
示例性的，本实施例还提供了一种高效地聚类方式，开始时，将每个更新视为一个独立的聚类，然后迭代地将最相似的聚类合并在一起，直到达到某个终止条件。这样，可以将具有相似模式（即相似的更新）的边缘计算设备聚合在一起，形成较大的聚类。因为恶意的更新通常与正常的更新有很大的不同，所以它们通常会被分在较小的聚类中。本实施例可包括下述内容：为了提高攻击识别精度，可应用凝聚性聚类算法进行聚类，如使用K-means（k均值聚类算法）或者层次聚类（Agglomerative Clustering）等算法将所有边缘计算设备提取的关键特征划分为较大的聚类C_l和较小的聚类C_s，也即聚类结果包括第一类特征和第二类特征，第一类特征包含的动量向量特征总数大于第二类特征包含的动量向量特征总数；分别计算第一类特征和第二类特征包含的各动量向量特征对应的动量向量平均值，得到第一类特征对应的第一平均动量向量m_l和第二类特征对应的第二平均动量向量m_s，也即m_l=Mean({m_k_t0，k∈C_l})，m_s=Mean({m_k_t0，k∈C_s})。本实施例可采用余弦相似度来衡量各边缘计算设备的相似程度，以攻击为非女巫攻击为例，若第一平均动量向量和第二平均动量向量之间的余弦相似度大于第一预设相似阈值，则同一簇内的各边缘计算设备中不存在非女巫攻击的边缘计算设备；若第一平均动量向量和第二平均动量向量之间的余弦相似度小于等于第一预设相似阈值，则判定第二类特征所包含的动量向量特征对应的边缘计算设备均为非女巫攻击设备。第一预设相似阈值可根据实际情况进行灵活选择，这均不影响本发明的实现。也就是说，如果第一类特征和第二类特征的平均动量向量的余弦相似度大于第一预设相似阈值α，即cos(m_l，m_s)>α，那么所有的动量向量也即所有的边缘计算设备都将用于聚合；否则，只有较大的那个聚类中的动量向量也即第一类特征对应的边缘计算设备会被用于聚合。
由上可知，本实施例通过引入动量向量能够减少不同迭代和不同边缘计算设备之间的更新差异，能够有效提高攻击检测的准确性；利用主成分分析压缩特征空间，能提高处理效率；采用凝聚性聚类算法，可以识别出具有相似模式的恶意更新，从而更高效且高精度地实现对异常进行检测。此外，阈值判断和选择聚合的动量向量的方式能够在防止过度丢弃正常更新的同时，还能有效阻止恶意攻击者。最后，本实施例对动量向量的归一化处理，能保证单个恶意更新对全局更新的影响有限，从而提高了整体的安全性。由此可见，本实施例能够有效提高攻击检测精度和处理效率，防止过度丢弃正常更新以及提升安全性。
上述实施例给出了对于恶意的攻击设备与正常的边缘计算设备的更新不同的攻击检测方式，而对于恶意攻击设备采用的攻击方式是创建多个身份的这类攻击，如女巫攻击。上述方法明显不适用于攻击检测，本实施例还提供了针对该类攻击的检测方法，可包括下述内容：
同样的，该类攻击的检测方式也是先基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征，然后根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。对于攻击设备的确定过程包括：根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度，生成邻近无向图；基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征，在所述邻近无向图中确定具有女巫攻击特征的目标边缘计算设备。
对于恶意攻击设备采用的攻击方式是创建多个身份的这类攻击，如女巫攻击，这类攻击是一个恶意实体伪装成多个假冒身份，例如创建了多个虚假账户，也即如果存在这类攻击，则同一个簇内的边缘计算设备具有相似特征的就是该恶意实体所创建的虚假身份，且这类边缘计算设备数量相对会较多，换言之，同一簇内具有相同或相似的更新特征的是攻击设备的更新，这样其在网络中的影响力才会增加，才能导致最终的训练结果会偏向恶意设备的目标，比如训练出来的模型可能会对某些特定的输入产生错误的预测。基于此，本实施例采用近邻图也即邻近无向图的方式来确定是否存在该类攻击。邻近无向图基于各边缘计算设备的相似程度来构建，各边缘计算设备之间的相似性可采用任何一种相似性计算方式，包括但并不限制为余弦相似度、基于哈希的相似性计算方法。
示例性的，邻近无向图的构建过程包括：根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系，确定各边缘计算设备对应的本地模型之间连接边；将同一簇内的各边缘计算设备的本地模型作为图顶点，根据各边缘计算设备对应的本地模型之间是否具有连接边，生成邻近无向图。其中，目标相似阈值为判断相似程度的一个标准，可根据实际情况灵活确定，本实施例对此不作任何限定。所谓的数值关系是指比较二者之间的数值大小，若目标相似阈值表示相似与不相似的最小临界值，若大于等于该目标相似阈值，则表明二者相似，若小于该目标相似阈值，则表明二者不相似。本实施例的邻近无向图是将相似的边缘设备之间建立连接边，所以当同一簇内的各边缘计算设备的本地模型参数之间的相似值大于等于目标相似阈值，则表明这两个边缘计算设备是相似的，二者存在连接边。当同一簇内的各边缘计算设备的本地模型参数之间的相似值小于目标相似阈值，则表明这两个边缘计算设备不相似的，二者不存在连接边。
可以理解的是，邻近无向图包括图顶点和连接边，上述实施例将每个上传的簇内本地计算设备模型都被视为邻近无向图中的一个顶点，本实施例还提供了一种简单的邻近无向图的连接边的确定方式：对同一簇内的每两个边缘计算设备，若第一边缘计算设备的本地模型参数和第二边缘计算设备的本地模型参数之间的余弦相似度大于或等于目标相似阈值，则第一边缘计算设备对应的本地模型和第二边缘计算设备对应的本地模型之间具有无向连接边。本实施例采用余弦相似度来度量两个边缘计算设备之间是否相似，进而来确定两个边缘计算设备之间的连接边。换言之，考虑到这类攻击通常是攻击者会创建多个伪造身份，并使用相似的模型更新以增强对全局模型的影响，如果两个更新在方向上过于相似，则在这两个顶点之间添加一条无向边。
考虑到随着迭代次数的增加，攻击者在不被检测的情况下发起隐蔽的女巫攻击变得越来越困难，为了提高邻近无向图的检测精度和效率，上述实施例的目标相似阈值可实时调整，用户既可以随机调整，也可通过构建线程自动调整，自动调整的过程可为：自动获取各边缘计算设备发送的本地模型参数对应的当前迭代次数；根据所述当前迭代次数更新当前存储的目标相似阈值，所述目标相似阈值随着迭代次数的增加而降低。作为一种高效的调整方式，可预先在本地存储阈值计算关系式，直接调用阈值计算关系式计算目标相似阈值。其中，阈值计算关系式可表示为：
Tre=max{c_max×e^(1−t/20)，c_min}；
其中，Tre为目标相似阈值，c_max为第一预设常数，c_min为第二预设常数，t为当前迭代次数。
举例来说，若相似度采用余弦相似度来计算，则如果任意两个簇内模型满足以下性质：余弦相似度大于或等于一个目标相似阈值，那么就在这两个顶点之间添加一条无向边。阈值的计算公式如下：
cos(g_j，g_k)≥max{c_maxe^(1−t/20)，c_min}；
其中，cos()代表求余弦距离，g_j、g_k代表任意两个簇内模型表达成的向量形式。c_max、c_min是预设常数，t代表本簇的训练次数。由此可见，随着迭代次数的增加，允许的余弦相似度（即目标相似阈值）将会逐渐降低。
为了提高具有类如女巫攻击这类攻击特征的目标边缘计算设备的确定效率，在完成所有模型的邻近无向图的构建后，考虑到本实施例所要检测的攻击的特点为这些更新的相似度过于接近，所以被视为是由同一攻击者控制的多个伪造身份发送的，也即图的最大连通子图中的顶点将被视为恶意的。相应的在邻近无向图中确定具有女巫攻击特征的目标边缘计算设备的过程包括：从邻近无向图中确定最大连通子图；将最大连通子图中的顶点对应的边缘计算设备作为目标边缘计算设备。
由上可知，本实施例将邻近无向图的最大连通子图中的顶点认为是女巫攻击设备，在本簇模型更新中不予更新，从而提高整个威胁检测模型的安全性能。
可以理解的是，本发明所提供的威胁检测模型的训练过程包括本地模型更新、簇内聚合和全局聚合3个步骤，这些步骤的组合称为一个训练轮次。其中，对于本地模型更新过程，每个边缘计算设备可使用随机梯度下降算法更新本地的初始模型，第t轮训练中的第l次迭代更新中，初始威胁检测模型经过第l次迭代更新后所得到的本地模型参数可表示为：
；
换言之，本实施例可调用本地模型参数更新关系式，对初始威胁检测模型的模型参数进行更新；本地模型参数更新关系式为：
；
式中，L为样本损失函数，表示哈密顿算子，/>为第t轮训练中的第l次迭代更新后的本地模型参数，/>为第t轮训练中的第l次迭代更新前的本地模型参数，/>为第t轮训练中的第l次迭代更新过程中的学习率。
每个边缘计算设备基于自身的数据集训练本地的初始威胁检测模型过程中，边缘计算设备处的数据分布的局部经验损失函数可为：
；
也即可调用本地损失函数关系式，按照预设训练参数从本地网络流训练样本数据集中读取相应数量的本地网络流样本数据，对初始威胁检测模型进行训练；本地损失函数关系式可表示为：
；
式中，为第i个边缘计算设备的本地损失函数，/>为第i个边缘计算设备的本地模型参数，/>为第i个边缘计算设备的本地网络流训练样本数据集，/>表示同一个集合内所有元素的个数和，/>为参与当前迭代训练的本地网络流样本数据，L为样本损失函数。
上述实施例对簇头如何执行簇内参数聚合并不做任何限定，基于上述实施例，本实施例还给出簇内参数聚合的一种示例性的实施方式，可包括下述内容：
获取包含同一簇内的所有边缘计算设备的本地模型参数的本地模型参数信息，将攻击设备对应的本地模型参数从本地模型参数信息中删除，得到待聚合参数信息；获取上一次簇内参数聚合所得的旧簇内模型聚合参数；基于旧簇内模型聚合参数和待聚合参数信息，进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数。
在本实施例中，本地模型参数信息包含同一簇内的所有边缘计算设备的本地模型参数，也即同一簇内的所有边缘计算设备的本地模型参数的总和定义为本地模型参数信息。旧簇内模型聚合参数是指上一次簇内参数聚合处理的结果。为了提高整个数据处理效率，可预先存储簇内参数聚合关系式，直接调用簇内参数聚合关系式对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数；其中，簇内参数聚合关系式为：
；/>
式中，为第c个数据同性簇的簇头在t+1次簇内聚合操作对应的簇内模型聚合参数，/>为在t+1次全局聚合操作对应的第c个数据同性簇的簇头在t次簇内聚合操作对应的簇内模型聚合参数，α为超参数，N 0为第c个数据同性簇内去除攻击设备之后所包含的边缘计算设备的数量，/>表示同一个集合内所有元素的个数和，/>为去除攻击设备的第c个数据同性簇内的第n个边缘计算设备在第l次迭代更新过程中的本地模型参数。
上述实施例对边缘云服务器将各簇头经过预设簇聚合次数的簇内模型聚合参数进行全局聚合的过程并不做任何限定，基于上述实施例，本实施例接收C个簇头的本地模型参数，通过调用全局聚合关系式对各簇头发送的簇内模型聚合参数进行全局聚合；其中，全局聚合关系式为：
；
式中，为在t+1次全局聚合操作对应的全局模型聚合参数，C为数据同性簇的总数，/>为第c个数据同性簇的簇头发送的簇内模型聚合参数，l为第c个数据同性簇的边缘计算设备的迭代次数。
本实施例的威胁检测模型的训练过程的目标是优化全局模型参数，以最小化与所有边缘计算设备关联的全局损失函数，全局损失函数可为：
；
其中，f(w)为全局损失函数，N为边缘计算设备的总数，n k 为第k个数据同性簇内所包含的边缘计算设备的数量，f i (w)为第i个边缘计算设备的本地损失函数。
由上可知，本实施例通过本地模型更新、簇头聚合和全局聚合对威胁检测模型进行训练，既可以利用到分布式设备上的数据进行模型训练，又可以保护每个参与者的数据隐私，有效提高最终训练得到的威胁检测模型的性能和安全性。
进一步，为了提高威胁检测模型的精度，在本地模型进行更新过程中，还可获取相邻的边缘计算设备的特征进行学习，可包括下述内容：
获取属于同一数据同性簇、且具有连接关系的相邻边缘计算设备的本地模型参数；根据各相邻边缘计算设备的本地模型参数，更新初始威胁检测模型的本地模型参数。
在本实施例中，边缘计算设备在每次更新完本地模型参数或者是多次更新完的本地模型参数后，基于分簇信息可以将其本地模型参数以广播的方式或者是其他方式发送到簇内与其相邻的边缘计算设备，并且同时从相邻的所有边缘计算设备中接收其相邻边缘计算设备的本地模型参数，例如可将相邻边缘计算设备的本地模型参数的平均值作为邻域平均值，来更新边缘计算设备的本地模型。当然，还可以其他方式来更新，比如先去除特别大或特别小的本地模型参数，取剩余的本地模型参数的平均值来更新。
由上可知，本实施例在簇内模型更新的过程中，每个边缘计算设备基于与其簇内相连的邻居边缘计算设备的本地模型参数进行模型参数聚合，可以加速模型收敛和使簇内同性设备分类更精准，使数据类型最为近似的设备之间模型聚合更新来获得更多的信息，提升威胁检测模型的威胁检测精度。
上述实施例对边缘云服务器如何基于推理结果将各边缘计算设备进行分簇的过程并没有进行限定，本实施例还提供了一种示例性的实施方式，可包括下述内容：
在本实施例中，根据各推理结果生成各边缘计算设备之间的有权无向图的过程可包括：可基于任何一种相似度计算方式来确定每两个边缘计算设备的推理结果之间的相似性；然后基于各边缘计算设备之间的相似程度，生成各边缘计算设备之间的有权无向图。有权无向图为连接边有权重但无方向的图，图的顶点可以为各边缘计算设备，也可为各边缘计算设备对应的本地初始威胁检测模型，图的连接边根据图顶点之间的相似程度来确定，权重可设置为图顶点之间的相似值。示例性的，可以各边缘计算设备的推理结果的相似值作为有权无向图的权重值，根据各边缘计算设备的推理结果的相似值与第二预设相似阈值之间的数值关系确定有权无向图的连接边；根据每两个边缘计算设备之间是否具有连接边，且具有连接边的两个相邻边缘计算设备之间的权重值，生成有权无向图。第二预设相似阈值可根据实际应用场景灵活选择，本发明对此不作任何限定。
示例性的，边缘云服务器可利用向量相似计算方法，例如Jaccard（杰卡德）相似系数计算方法计算所有边缘计算设备的结果相似性，并进行近邻排序。Jaccard相似系数可用于计算集合之间的相似度，也可以用于计算二值向量的相似度。对于两个二值向量A和B，Jaccard相似系数的计算公式为：，其中，/>表示向量A和B的交集，/>表示向量A和B的并集。本实施例可先将边缘计算设备如A设备的推理结果转换为一个二值向量[1，0，0，0，…，1，1，1，0]，B设备的推理结果转换为一个二值向量[0，1，1，0，…，1，1，1，0]，使用Jaccard相似系数可以计算A设备和B设备的结果相似度。边缘云服务器遍历所有边缘计算设备的推理结果，计算所有边缘计算设备与其边缘计算设备的结果相似性，根据相似性的值，构建边缘计算设备与边缘计算设备之间的边。以第二预设相似阈值为P为例，当A设备和B设备的结果相似值大于P的时候，构建A设备和B设备之间的连接边，该条边的值即为其结果相似性的计算结果。当A设备和B设备的结果相似值小于P的时候，不进行两个设备之间的连接边的关系建立。边缘云服务器遍历所有边缘计算设备的结果，构建所有边缘计算设备之间的带权无向图，如图3所示：整个云边端环境包括6个边缘计算设备，分别命名为设备1、设备2、设备3、设备4、设备5和设备6，设备2分别与设备3和设备1相连，且设备2与设备3之间的连接边的权重为0.83，设备2与设备1之间的连接边的权重为0.94，设备4分别与设备3、设备5和设备6相连，且设备4与设备3之间的连接边的权重为0.91，设备4与设备5之间的连接边的权重为0.85，设备4与设备6之间的连接边的权重为0.80，设备3还与设备5和设备6相连，且设备5与设备3之间的连接边的权重为0.84，设备3与设备5之间的连接边的权重为0.72。
当上述实施例为各边缘计算设备构建了有权无向图之后，基于有权无向图将各边缘计算设备划分为多个数据同性簇的过程，可包括：
将各边缘计算设备进行初始化簇处理，并为各边缘计算设备赋予相应的簇标签；对各边缘计算设备，根据有权无向图确定当前边缘计算设备的相邻边缘计算设备，并根据至少一个相邻边缘计算设备的簇标签更新当前边缘计算设备的簇标签，直至各边缘计算设备的簇标签的变化情况满足预设收敛条件；将具有相同簇标签的边缘计算设备划分为同一个数据同性簇。
在本实施例中，初始化簇处理是指对各边缘计算设备进行初始簇划分，可以按照预设的初始划分规则进行划分，如将每一个边缘计算设备作为一个单独的数据同性簇，还可将结果相似值最相似的两个边缘计算设备作为一个数据同性簇，初始划分规则可根据实际应用场景灵活选择，这均不影响本发明的实现。一种示例性的初始化簇方法为：可将各边缘计算设备作为独立的数据同性簇；获取预设初始分簇条件；基于初始分簇条件对各边缘计算设备进行分簇，并为同一个簇的边缘计算设备设置相同的簇号，以作为簇标签。
其中，预设初始分簇条件可为：预先设置一分簇阈值，将相似值大于该分簇阈值的边缘计算设备划分为同一个簇，并为各边缘计算设备赋予相同的簇号，遍历所有边缘计算设备，完成初始化簇处理。有权无向图记载了各边缘计算设备之间是否存在连接边，相邻边缘计算设备为与当前边缘计算设备具有连接边的边缘计算设备，以图3为例，设备4的相邻边缘计算设备为设备3、设备5和设备6。其中，簇标签为标识一个数据同性簇的唯一标识信息，一种简单的方式为每个数据同性簇的簇号作为相应的簇标签。当为每个边缘计算设备赋予相应的簇标签之后，可基于簇标签进行标签传播迭代更新处理，完成簇划分过程。根据至少一个相邻边缘计算设备的簇标签更新当前边缘计算设备的簇标签的过程可包括：获取当前边缘计算设备的相邻边缘计算设备的簇标签，并统计各类簇标签的总数；将总数符合预设分簇条件的簇标签更新为当前边缘计算设备的簇标签。示例性的，每个边缘计算设备考虑其邻居边缘计算设备的簇标签的标签传播迭代过程为：遍历每个边缘计算设备，按照固定顺序或随机顺序进行迭代更新：对于当前边缘计算设备，获取其邻居边缘计算设备的簇标签，并统计邻居边缘计算设备中每个簇标签出现的次数，选择邻居边缘计算设备中出现次数最多的簇标签作为当前边缘计算设备的新标签。将当前边缘计算设备的簇标签更新为新的簇标签。其中，预设收敛条件可为簇标签不在发生变化，也可为簇标签的变化较小。在每次迭代后，检查簇标签的变化情况：例如可以通过比较当前迭代和前一迭代的簇标签来判断变化量。如果标签的变化量小于设定的阈值，即标签基本稳定不再变化，则认为达到预设收敛条件；如果簇标签仍在变化，则继续迭代标签传播步骤。如果达到预设收敛条件，即初标签不再发生显著变化，迭代终止。如果簇标签仍在变化，继续进行标签传播迭代。当达到预设收敛条件后，得到最终的标签传播结果。将具有相同簇标签的边缘计算设备划分到同一个数据同性簇中，每个数据同性簇即为具有相同簇标签的边缘计算设备集合。边缘云服务器将划分好的数据同性簇及簇内连接关系作为分簇信息发送给所有边缘计算设备，每个边缘计算设备会获得与数据同性的连接边缘设备号，将来会用该设备号与同簇邻居边缘计算设备进行初始威胁检测模型的更新。
当上述实施例划分好数据同性簇后，如图4所示，整个云边端环境包括6个边缘计算设备，分别命名为设备1、设备2、设备3、设备4、设备5和设备6，设备2分别与设备3和设备1相连，且设备2与设备3之间的连接边的权重为0.83，设备2与设备1之间的连接边的权重为0.94，设备4分别与设备3、设备5和设备6相连，且设备4与设备3之间的连接边的权重为0.91，设备4与设备5之间的连接边的权重为0.85，设备4与设备6之间的连接边的权重为0.80，设备3还与设备5和设备6相连，且设备5与设备3之间的连接边的权重为0.84，设备3与设备5之间的连接边的权重为0.72。设备1、设备2属于同一个同性数据簇，其簇标签为标签A，设备3、设备4、设备5和设备6属于同一个数据同性簇，其簇标签为标签B。由于本发明采用的先本地模型更新再进行簇头的簇内聚合，最后通过边缘云服务器将各簇头的簇内模型聚合参数进行全局聚合，所以需要为每一个数据同性簇选择一簇头，簇头选择原则可根据实际应用场景灵活选择，示例性的，簇头选择原则可为通信效率或邻近性，可以减少通信距离和延迟，并提高通信效率。也即选择离其他边缘计算设备距离较近或与同性簇内其余边缘计算设备通信最快的边缘计算设备作为簇头。作为一种示例性簇头选择实现方式，对各数据同性簇，获取当前数据同性簇内的各边缘计算设备之间的簇内通信时间，及各边缘计算设备与边缘云服务器之间的簇外通信时间；基于预设通信效率要求，根据同一簇内的各边缘计算设备的簇内通信时间和簇外通信时间，为各数据同性簇选择对应的簇头。这样边缘云服务器可通过与所有边缘计算设备进行数据交换的通信速率选择每个数据同性簇的簇头，并将簇头的边缘计算设备号发给每个簇的边缘计算设备。
由上可知，本实施例通过有权无向图将各边缘计算设备进行分簇，具有相同或相似性质的边缘计算设备划分为同一簇，对具有相同相似性质的簇内边缘计算设备进行攻击检测，能够提高攻击检测效率，进一步提高威胁检测模型的威胁检测准确度。
上述实施例是基于边缘计算设备来阐述整个威胁检测方法，本实施例还提供了基于边缘云服务器来阐述整个威胁检测方法实现过程，请参阅图5，可包括下述内容：
S501：获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图。
S502：基于有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备。
其中，各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理。
S503：对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
其中，本实施例与上述实施例相同或相似步骤可参阅上述实施例所记载的相应内容，此处，便不再赘述。
由上可知，本实施例所训练得到的威胁检测模型能够有效提高威胁检测精度，保障用户数据安全。
在实际应用过程中，对于云边端环境下的任何一端，如边缘云服务器、中心云服务器、边缘计算设备在执行威胁检测任务时，均可使用上述任意一个实施例所记载的威胁检测方法训练得到威胁检测模型。示例性的，边缘云服务器和边缘计算设备可直接存储在本地，当执行威胁检测任务时，调用训练好的威胁检测模型即可。中心云服务器可向边缘云服务器发送模型获取请求，边缘云服务器将训练好的威胁检测模型发送至中心云服务器，中心云服务器存储该威胁检测模型。当接收到威胁检测任务时，实时或按照预设频率获取当前网络数据流，将当前网络数据流输入至威胁检测模型，得到网络威胁检测结果。本实施例的实现过程请参阅图6，包括下述内容：
S601：获取当前网络数据流。
S602：将当前网络数据流输入至预先训练好的威胁检测模型，得到网络威胁检测结果。
由上可知，本实施例能够有效提高威胁检测精度，保障用户数据安全。
更通用的，对于基于联邦学习进行任何一种下游任务的模型训练过程中，为了保证最终训练得到的模型不含有攻击特征，保证用户数据的安全性，本发明还提供了一种联邦学习模型训练方法，本实施例基于边缘计算设备阐述整个联邦学习模型训练过程，请参阅图7，可包括：
S701：利用初始网络模型对目标数据集进行推理，并接收分簇信息。
S702：在基于本地训练样本数据对初始网络模型的本地模型参数更新过程中，根据分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头。
其中，分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合。
S703：根据全局模型聚合参数更新初始网络模型的本地模型参数，直至边缘云服务器的模型收敛。
此外，本实施例还基于边缘云服务器阐述整个联邦学习模型训练过程，请参阅图8，可包括下述内容：
S801：获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图。
S802：基于有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备。
其中，各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理。
S803：对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
可以理解的是，上述实施例是适用于威胁检测任务时，基于联邦学习方式训练得到威胁检测模型。对于任何下游任务，将当前下游任务类比为威胁检测任务，将上述实施例的初始威胁检测模型类比为本实施例的初始网络模型，也上述实施例的目标网络流数据集类比为本实施例的目标网络流数据集，上述实施例中本地网络流样本数据类比为本实施例的本地样本数据，本实施例与上述实施例相同或相似步骤可参阅上述实施例所记载的相应内容，此处，便不再赘述。
由上可知，本实施例能够有效提高威胁检测精度，保障用户数据安全。
需要说明的是，本发明中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1、图5至图8只是一种示意方式，并不代表只能是这样的执行顺序。
最后，基于上述本发明的技术方案，下面结合图9对本发明的技术方案涉及的一些可能的应用场景进行举例介绍，图9为本发明提供的一种威胁检测方法所适用的硬件组成框架示意图，可包括下述内容：
该硬件组成框架可以包括第一电子设备91和多个第二电子设备92，第一电子设备91为边缘云服务器，第二电子设备92包括多个路由器、多个防火墙、多个部署入侵检测系统的设备，第一电子设备91和各第二电子设备92之间通过网络93连接，构成基于云计算和边缘计算的网络安全威胁检测系统。
在本实施例中，每个第二电子设备92使用其监测到的网络流量和网络活动数据训练本地威胁检测模型，示例性的，每个第二电子设备92采集具有网络威胁的网络流作为训练数据；提取训练数据的数据样本的流量特征，将流量特征归一化后得到特征向量，再将特征向量排列后形成特征矩阵；采用10则交叉方法，将训练数据划分为训练集和验证集；将训练集的数据样本的特征矩阵输入神经网络进行训练，得到初始的网络威胁检测模型。第一电子设备91收集和分发公共网络安全数据集，以测试和验证第二电子设备92所训练的初始威胁检测模型。
第一电子设备91根据各第二电子设备92的模型推理结果构建带权无向图，计算设备间的相似性，形成数据同性簇。根据通信效率和邻近性选择每个数据同性簇的簇头。每个第二电子设备92使用随机梯度下降算法等更新其本地的威胁检测模型，并计算梯度。应用层级扰动选择和梯度阈值控制方法，决定哪些模型参数需上传。第二电子设备92在簇内进行模型参数的广播和接收，计算邻域平均值以更新本地模型。簇头检测簇内各第二电子设备92中是否存在攻击设备，并将去除攻击设备的本地模型参数进行簇内聚合，形成簇内的综合模型。簇头将骨干网络模型参数上传至第一电子设备91。第一电子设备91执行全局聚合，更新全局模型并广播至所有第二电子设备92。第二电子设备92使用全局模型进行进一步的本地数据训练和优化。第一电子设备92定期获取测试结果，重新执行数据同性分簇和簇动态划分，以不断优化模型，持续迭代直至模型收敛：重复上述步骤，不断优化全局模型，直至达到预期的网络安全威胁检测性能。
需要注意的是，上述应用场景仅是为了便于理解本发明的思想和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
由上可知，本实施例能够有效提高网络威胁检测精度，提升对恶意软件、网络攻击、数据泄露等威胁的检测能力。
本发明还针对威胁检测及其模型训练方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明提供的威胁检测及其模型训练装置进行介绍，该装置用以实现本发明提供的威胁检测及其模型训练方法，在本实施例中，威胁检测及其模型训练装置可以包括或被分割成一个或多个程序模块，该一个或多个程序模块被存储在存储介质中，并由一个或多个处理器所执行，已完成实施例一公开的威胁检测及其模型训练方法。本实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述威胁检测及其模型训练装置在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能，下文描述的威胁检测及其模型训练装置与上文描述的威胁检测及其模型训练方法可相互对应参照。
基于功能模块的角度，参见图10，图10为本实施例提供的威胁检测装置的一种具体实施方式下的结构图，应用于边缘计算设备的装置可包括：
推理模块101，用于利用初始威胁检测模型对目标网络流数据集进行推理；
分簇信息接收模块102，用于接收分簇信息；其中，分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
参数更新模块103，用于在基于本地网络流样本数据对初始威胁检测模型的本地模型参数更新过程中，根据分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新初始威胁检测模型的本地模型参数，直至边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型。
示例性的，在本实施例的一些实施方式中，上述参数更新模块103还可用于：
根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，并对各动量向量特征进行聚类处理；基于同一簇内的非攻击边缘计算设备具有相似参数更新特性，根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备。
作为上述实施例的一种示例性的实施方式，上述参数更新模块103还可用于：
将各动量向量特征聚类为第一类特征和第二类特征，第一类特征包含的动量向量特征总数大于第二类特征包含的动量向量特征总数；
分别计算第一类特征和第二类特征包含的各动量向量特征对应的动量向量平均值，得到第一类特征对应的第一平均动量向量和第二类特征对应的第二平均动量向量；
若第一平均动量向量和第二平均动量向量之间的余弦相似度大于第一预设相似阈值，则同一簇内的各边缘计算设备中不存在非女巫攻击的边缘计算设备；
若第一平均动量向量和第二平均动量向量之间的余弦相似度小于等于大于第一预设相似阈值，则判定第二类特征所包含的动量向量特征对应的边缘计算设备均为非女巫攻击设备。
作为上述实施例的零一种示例性的实施方式，上述参数更新模块103还可用于：
基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量；
提取各动量向量的特征，得到同一簇内的各边缘计算设备的动量向量特征。
作为上述实施例的一种示例性的实施方式，上述参数更新模块103还可用于：
对同一簇内的各边缘计算设备的各动量向量进行归一化处理，以使同一簇内的各边缘计算设备的动量向量长度为目标值；
提取归一化处理后的各动量向量的特征。
作为上述实施例的另一种示例性的实施方式，上述参数更新模块103还可用于：
调用动量向量关系式，计算同一簇内的各边缘计算设备的动量向量；动量向量关系式为：m_k_t0=g_k_t0–l_g；
其中，m_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的动量向量，g_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的本地模型参数，l_g为上一次全局聚合所生成的全局模型聚合参数。
示例性的，在本实施例的另一些实施方式中，上述推理模块101还可用于：
利用本地网络流训练样本数据集，对预先搭建的威胁检测模型框架进行联邦学习，得到初始威胁检测模型；
接收边缘云服务器的目标网络流数据集，调用初始威胁检测模型对目标网络流数据集进行推理，并将推理结果发送至边缘云服务器。
示例性的，在本实施例的另一些实施方式中，上述参数更新模块103还可用于：
获取包含同一簇内的所有边缘计算设备的本地模型参数的本地模型参数信息，将攻击设备对应的本地模型参数从本地模型参数信息中删除，得到待聚合参数信息；
获取上一次簇内参数聚合所得的旧簇内模型聚合参数；
基于旧簇内模型聚合参数和待聚合参数信息，进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数。
示例性的，在本实施例的另一些实施方式中，上述参数更新模块103还可进一步用于：
调用簇内参数聚合关系式，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数；其中，簇内参数聚合关系式为：
；
式中，为第c个数据同性簇的簇头在t+1次簇内聚合操作对应的簇内模型聚合参数，/>为第c个数据同性簇的簇头在t次簇内聚合操作对应的簇内模型聚合参数，α为超参数，N 0为第c个数据同性簇内去除攻击设备之后所包含的边缘计算设备的数量，/>表示同一个集合内所有元素的个数和，/>为去除攻击设备的第c个数据同性簇内的第n个边缘计算设备在第l次迭代更新过程中的本地模型参数。
示例性的，在本实施例的另一些实施方式中，上述参数更新模块103还可进一步用于：
调用本地损失函数关系式，按照预设训练参数从本地网络流训练样本数据集中读取相应数量的本地网络流样本数据，对初始威胁检测模型进行训练；本地损失函数关系式为：
；
式中，为第i个边缘计算设备的本地损失函数，/>为第i个边缘计算设备的本地模型参数，/>为第i个边缘计算设备的本地网络流训练样本数据集，/>表示同一个集合内所有元素的个数和，/>为参与当前迭代训练的本地网络流样本数据，L为样本损失函数。
示例性的，在本实施例的另一些实施方式中，上述参数更新模块103还可进一步用于：
获取属于同一数据同性簇、且具有连接关系的相邻边缘计算设备的本地模型参数；
根据各相邻边缘计算设备的本地模型参数，更新初始威胁检测模型的本地模型参数。
基于功能模块的角度，参见图11，应用于边缘云服务器的装置可包括：
图构建模块111，用于获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
分簇模块112，用于基于有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理。
全局聚合模块113，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
示例性的，在本实施例的一些实施方式中，上述图构建模块111还可用于：
确定每两个边缘计算设备的推理结果之间的相似性；
基于各边缘计算设备之间的相似程度，生成各边缘计算设备之间的有权无向图。
作为上述实施例的一种示例性的实施方式，上述图构建模块111还可用于：
以各边缘计算设备的推理结果的相似值作为有权无向图的权重值，根据各边缘计算设备的推理结果的相似值与第二预设相似阈值之间的数值关系确定有权无向图的连接边；
根据每两个边缘计算设备之间是否具有连接边，且具有连接边的两个相邻边缘计算设备之间的权重值，生成有权无向图。
示例性的，在本实施例的另一些实施方式中，上述分簇模块112还可用于：
对各数据同性簇，获取当前数据同性簇内的各边缘计算设备之间的簇内通信时间，及各边缘计算设备与边缘云服务器之间的簇外通信时间；
基于预设通信效率要求，根据同一簇内的各边缘计算设备的簇内通信时间和簇外通信时间，为各数据同性簇选择对应的簇头。
作为上述实施例的一种示例性的实施方式，上述分簇模块112还可用于：
调用全局聚合关系式，对各簇头发送的簇内模型聚合参数进行全局聚合；其中，全局聚合关系式为：
；/>
式中，为在t+1次全局聚合操作对应的全局模型聚合参数，C为数据同性簇的总数，/>为第c个数据同性簇的簇头发送的簇内模型聚合参数，l为第c个数据同性簇的边缘计算设备的迭代次数。
示例性的，在本实施例的另一些实施方式中，上述分簇模块112还可用于：
将各边缘计算设备进行初始化簇处理，并为各边缘计算设备赋予相应的簇标签；
对各边缘计算设备，根据有权无向图确定当前边缘计算设备的相邻边缘计算设备，并根据至少一个相邻边缘计算设备的簇标签更新当前边缘计算设备的簇标签，直至各边缘计算设备的簇标签的变化情况满足预设收敛条件；
将具有相同簇标签的边缘计算设备划分为同一个数据同性簇；
其中，相邻边缘计算设备为与当前边缘计算设备具有连接边的边缘计算设备。
作为上述实施例的一种示例性的实施方式，上述分簇模块112还可用于：
获取当前边缘计算设备的相邻边缘计算设备的簇标签，并统计各类簇标签的总数；
将总数符合预设分簇条件的簇标签更新为当前边缘计算设备的簇标签。
作为上述实施例的一种示例性的实施方式，上述分簇模块112还可用于：
将各边缘计算设备作为独立的数据同性簇；
获取预设初始分簇条件；
基于初始分簇条件对各边缘计算设备进行分簇，并为同一个簇的边缘计算设备设置相同的簇号，以作为簇标签。
基于功能模块的角度，参见图12，一种威胁检测装置还可包括：
模型训练模块121，用于获取预先训练得到威胁检测模型；
网络数据获取模块122，用于获取当前网络数据流；
检测模块123，用于将当前网络数据流输入至所述威胁检测模型，得到网络威胁检测结果。
基于功能模块的角度，参见图13，应用于边缘计算设备的联邦学习模型训练装置可包括：
通用推理模块131，用于利用初始网络模型对目标数据集进行推理；
数据接收模块132，用于接收分簇信息；其中，分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
通用模型更新模块133，用于在基于本地训练样本数据对初始网络模型的本地模型参数更新过程中，根据分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新初始网络模型的本地模型参数，直至边缘云服务器的模型收敛。
基于功能模块的角度，参见图14，应用于边缘云服务器的联邦学习模型训练装置可包括：
通用图构建模块141，用于获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
通用分簇模块142，用于基于有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
通用全局聚合模块143，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
本实施例威胁检测装置、联邦学习模型训练装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本实施例能够有效提高威胁检测精度，保障用户数据安全。
上文中提到的威胁检测装置及联邦学习模型训练装置是从功能模块的角度描述，进一步的，本发明还提供一种电子设备，是从硬件角度描述。图15为本发明实施例提供的电子设备在一种实施方式下的结构示意图。如图15所示，该电子设备包括存储器150，用于存储计算机程序；处理器151，用于执行计算机程序时实现如上述任一实施例提到的威胁检测及模型训练方法的步骤。
其中，处理器151可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器151还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器151可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器151也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器151可以集成有GPU(Graphics Processing Unit，图形处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器151还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器150可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器150还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器150在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器150在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器150还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器150不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行威胁检测及模型训练方法过程中的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器150至少用于存储以下计算机程序1501，其中，该计算机程序被处理器151加载并执行之后，能够实现前述任一实施例公开的威胁检测及模型训练方法的相关步骤。另外，存储器150所存储的资源还可以包括操作系统1502和数据1503等，存储方式可以是短暂存储或者永久存储。其中，操作系统1502可以包括Windows、Unix、Linux等。数据1503可以包括但不限于威胁检测及模型训练结果对应的数据等。
在一些实施例中，上述电子设备还可包括有显示屏152、输入输出接口153、通信接口154或者称为网络接口、电源155以及通信总线156。其中，显示屏152、输入输出接口153比如键盘（Keyboard）属于用户接口，示例性的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口154示例性的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线156可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图15中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器157。
本实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本实施例能够有效提高威胁检测精度，保障用户数据安全。
可以理解的是，如果上述实施例中的威胁检测及模型训练方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器（例如SD或DX存储器等）、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述威胁检测及模型训练方法的步骤。
此外，本发明还提供了一种威胁检测系统，请参见图16，可包括边缘云服务器161和多个边缘计算设备162；各边缘计算设备在边缘云服务器的协调下共同训练威胁检测模型，其中，各边缘计算设备用于执行存储器中存储的计算机程序时实现如前任一个威胁检测方法实施例所记载的相应内容；边缘云服务器用于执行存储器中存储的计算机程序时实现如前任一个威胁检测方法实施例所记载的相应内容，各边缘计算设备和边缘云服务器存储训练好的威胁检测模型，并通过调用威胁检测模型对网络数据流进行网络威胁检测。
最后，本发明还提供了一种联邦学习系统，联邦学习系统可包括边缘云服务器161和多个边缘计算设备162；各边缘计算设备在边缘云服务器的协调下共同训练模型；边缘云服务器用于执行存储器中存储的计算机程序时实现如前实施例所记载的联邦学习模型训练方法中相应内容的步骤；各边缘计算设备用于执行存储器中存储的计算机程序时实现如前实施例所记载的联邦学习模型训练方法中相应内容的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置、系统、电子设备及可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种威胁检测及模型训练方法、装置、系统、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，基于本发明中的实施例，对于本技术领域的普通技术人员来说，在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。
Claims (30)
1.一种威胁检测方法，其特征在于，应用于边缘计算设备，包括：
利用初始威胁检测模型对目标网络流数据集进行推理，并接收分簇信息；
在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；
根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数，直至所述边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型；
其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。
2.根据权利要求1所述的威胁检测方法，其特征在于，所述根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，包括：
根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，并对各动量向量特征进行聚类处理；
基于同一簇内的非攻击边缘计算设备具有相似参数更新特性，根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备。
3.根据权利要求2所述的威胁检测方法，其特征在于，所述聚类结果包括第一类特征和第二类特征，所述第一类特征包含的动量向量特征总数大于所述第二类特征包含的动量向量特征总数；所述根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备，包括：
分别计算所述第一类特征和所述第二类特征包含的各动量向量特征对应的动量向量平均值，得到所述第一类特征对应的第一平均动量向量和所述第二类特征对应的第二平均动量向量；
若所述第一平均动量向量和所述第二平均动量向量之间的余弦相似度大于第一预设相似阈值，则同一簇内的各边缘计算设备中不存在非女巫攻击的边缘计算设备；
若所述第一平均动量向量和所述第二平均动量向量之间的余弦相似度小于等于第一预设相似阈值，则判定所述第二类特征所包含的动量向量特征对应的边缘计算设备均为非女巫攻击设备。
4.根据权利要求2所述的威胁检测方法，其特征在于，所述根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征，包括：
基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量；
提取各动量向量的特征，得到同一簇内的各边缘计算设备的动量向量特征。
5.根据权利要求4所述的威胁检测方法，其特征在于，所述提取各动量向量的特征，包括：
对同一簇内的各边缘计算设备的各动量向量进行归一化处理，以使同一簇内的各边缘计算设备的动量向量长度为目标值；
提取归一化处理后的各动量向量的特征。
6.根据权利要求4所述的威胁检测方法，其特征在于，所述基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数，分别计算同一簇内的各边缘计算设备的动量向量，包括：
调用动量向量关系式，计算同一簇内的各边缘计算设备的动量向量；所述动量向量关系式为：m_k_t0=g_k_t0–l_g；
其中，m_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的动量向量，g_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的本地模型参数，l_g为上一次全局聚合所生成的全局模型聚合参数。
7.根据权利要求1所述的威胁检测方法，其特征在于，所述利用初始威胁检测模型对目标网络流数据集进行推理，包括：
利用本地网络流训练样本数据集，对预先搭建的威胁检测模型框架进行联邦学习，得到初始威胁检测模型；
接收边缘云服务器的目标网络流数据集，调用所述初始威胁检测模型对所述目标网络流数据集进行推理，并将推理结果发送至所述边缘云服务器。
8.根据权利要求1所述的威胁检测方法，其特征在于，所述对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，包括：
获取包含同一簇内的所有边缘计算设备的本地模型参数的本地模型参数信息，将所述攻击设备对应的本地模型参数从本地模型参数信息中删除，得到待聚合参数信息；
获取上一次簇内参数聚合所得的旧簇内模型聚合参数；
基于所述旧簇内模型聚合参数和所述待聚合参数信息，进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数。
9.根据权利要求1所述的威胁检测方法，其特征在于，所述对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，包括：
调用簇内参数聚合关系式，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，得到当前簇内聚合操作对应的簇内模型聚合参数；其中，所述簇内参数聚合关系式为：
；
式中，为第c个数据同性簇的簇头在t+1次簇内聚合操作对应的簇内模型聚合参数，/>为第c个数据同性簇的簇头在t次簇内聚合操作对应的簇内模型聚合参数，α为超参数，N 0为第c个数据同性簇内去除攻击设备之后所包含的边缘计算设备的数量，/>表示同一个集合内所有元素的个数和，/>为去除攻击设备的第c个数据同性簇内的第n个边缘计算设备在第l次迭代更新过程中的本地模型参数。
10.根据权利要求1所述的威胁检测方法，其特征在于，所述在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，包括：
调用本地损失函数关系式，按照预设训练参数从本地网络流训练样本数据集中读取相应数量的本地网络流样本数据，对所述初始威胁检测模型进行训练；所述本地损失函数关系式为：
；
式中，为第i个边缘计算设备的本地损失函数，/>为第i个边缘计算设备的本地模型参数，/>为第i个边缘计算设备的本地网络流训练样本数据集，/>表示同一个集合内所有元素的个数和，/>为参与当前迭代训练的本地网络流样本数据，L为样本损失函数。
11.根据权利要求1至10任意一项所述的威胁检测方法，其特征在于，所述根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数之前，还包括：
获取属于同一数据同性簇、且具有连接关系的相邻边缘计算设备的本地模型参数；
根据各相邻边缘计算设备的本地模型参数，更新所述初始威胁检测模型的本地模型参数。
12.一种威胁检测方法，其特征在于，应用于边缘云服务器，包括：
获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
13.根据权利要求12所述的威胁检测方法，其特征在于，所述根据各推理结果生成各边缘计算设备之间的有权无向图，包括：
确定每两个边缘计算设备的推理结果之间的相似性；
基于各边缘计算设备之间的相似程度，生成各边缘计算设备之间的有权无向图。
14.根据权利要求13所述的威胁检测方法，其特征在于，所述基于各边缘计算设备之间的相似程度，生成各边缘计算设备之间的有权无向图，包括：
以各边缘计算设备的推理结果的相似值作为有权无向图的权重值，根据各边缘计算设备的推理结果的相似值与第二预设相似阈值之间的数值关系确定有权无向图的连接边；
根据每两个边缘计算设备之间是否具有连接边，且具有连接边的两个相邻边缘计算设备之间的权重值，生成有权无向图。
15.根据权利要求12所述的威胁检测方法，其特征在于，所述为各数据同性簇选择对应的簇头，包括：
对各数据同性簇，获取当前数据同性簇内的各边缘计算设备之间的簇内通信时间，及各边缘计算设备与边缘云服务器之间的簇外通信时间；
基于预设通信效率要求，根据同一簇内的各边缘计算设备的簇内通信时间和簇外通信时间，为各数据同性簇选择对应的簇头。
16.根据权利要求12所述的威胁检测方法，其特征在于，所述对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，包括：
调用全局聚合关系式，对各簇头发送的簇内模型聚合参数进行全局聚合；其中，所述全局聚合关系式为：
；
式中，为在t+1次全局聚合操作对应的全局模型聚合参数，C为数据同性簇的总数，/>为在t+1次全局聚合操作对应的第c个数据同性簇的簇头发送的簇内模型聚合参数，l为第c个数据同性簇的边缘计算设备的迭代次数。
17.根据权利要求12至16任意一项所述的威胁检测方法，其特征在于，所述基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，包括：
将各边缘计算设备进行初始化簇处理，并为各边缘计算设备赋予相应的簇标签；
对各边缘计算设备，根据所述有权无向图确定当前边缘计算设备的相邻边缘计算设备，并根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签，直至各边缘计算设备的簇标签的变化情况满足预设收敛条件；
将具有相同簇标签的边缘计算设备划分为同一个数据同性簇；
其中，所述相邻边缘计算设备为与所述当前边缘计算设备具有连接边的边缘计算设备。
18.根据权利要求17所述的威胁检测方法，其特征在于，所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签，包括：
获取所述当前边缘计算设备的相邻边缘计算设备的簇标签，并统计各类簇标签的总数；
将总数符合预设分簇条件的簇标签更新为所述当前边缘计算设备的簇标签。
19.根据权利要求17所述的威胁检测方法，其特征在于，所述将各边缘计算设备进行初始化簇处理，包括：
将各边缘计算设备作为独立的数据同性簇；
获取预设初始分簇条件；
基于所述初始分簇条件对各边缘计算设备进行分簇，并为同一个簇的边缘计算设备设置相同的簇号，以作为簇标签。
20.一种威胁检测方法，其特征在于，包括：
利用如权利要求1至19任意一项所述的威胁检测方法训练得到威胁检测模型；
获取当前网络数据流；
将所述当前网络数据流输入至所述威胁检测模型，得到网络威胁检测结果。
21.一种联邦学习模型训练方法，其特征在于，应用于边缘计算设备，包括：
利用初始网络模型对目标数据集进行推理，并接收分簇信息；
在基于本地训练样本数据对所述初始网络模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；
根据全局模型聚合参数更新所述初始网络模型的本地模型参数，直至所述边缘云服务器的模型收敛；
其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成。
22.一种联邦学习模型训练方法，其特征在于，应用于边缘云服务器，包括：
获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
23.一种威胁检测装置，其特征在于，应用于边缘计算设备，包括：
推理模块，用于利用初始威胁检测模型对目标网络流数据集进行推理；
分簇信息接收模块，用于接收分簇信息；其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
参数更新模块，用于在基于本地网络流样本数据对所述初始威胁检测模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新所述初始威胁检测模型的本地模型参数，直至所述边缘云服务器的模型收敛，得到用于执行威胁检测任务的威胁检测模型。
24.一种威胁检测装置，其特征在于，应用于边缘云服务器，包括：
图构建模块，用于获取各边缘计算设备的初始威胁检测模型对目标网络流数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
分簇模块，用于基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
全局聚合模块，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛，得到用于执行威胁检测任务的威胁检测模型。
25.一种联邦学习模型训练装置，其特征在于，应用于边缘计算设备，包括：
通用推理模块，用于利用初始网络模型对目标数据集进行推理；
数据接收模块，用于接收分簇信息；其中，所述分簇信息为边缘云服务器基于各边缘计算设备的推理结果所生成的有权无向图对各边缘计算设备进行数据同性簇的划分，并为各数据同性簇选择对应的簇头后生成；
通用模型更新模块，用于在基于本地训练样本数据对所述初始网络模型的本地模型参数更新过程中，根据所述分簇信息将经过预设迭代次数更新后的本地模型参数发送至相应簇头，以使所述簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理，并将簇内模型聚合参数发送至边缘云服务器，以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合；根据全局模型聚合参数更新所述初始网络模型的本地模型参数，直至所述边缘云服务器的模型收敛。
26.一种联邦学习模型训练装置，其特征在于，应用于边缘云服务器，包括：
通用图构建模块，用于获取各边缘计算设备的初始网络模型对目标数据集的推理结果，并根据各推理结果生成各边缘计算设备之间的有权无向图；
通用分簇模块，用于基于所述有权无向图将各边缘计算设备划分为多个数据同性簇，并分别为各数据同性簇选择对应的簇头，同时将分簇信息发送至相应的边缘计算设备，以使各边缘计算设备将经过预设迭代次数更新后的本地模型参数发送至簇头，簇头根据簇内各边缘计算设备的模型参数和网络攻击特点，确定攻击设备，并对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理；
通用全局聚合模块，用于对各簇头将经过预设簇聚合次数的簇内模型聚合参数进行全局聚合，并将全局模型聚合参数发送至各边缘计算设备，直至模型收敛。
27.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器存储的计算机程序时实现如权利要求1至20任一项所述的威胁检测方法和/或如权利要求21或22所述的联邦学习模型训练方法的步骤。
28.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至20任一项所述的威胁检测方法和/或如权利要求21或22所述的联邦学习模型训练方法的步骤。
29.一种威胁检测系统，其特征在于，包括边缘云服务器和多个边缘计算设备；
各边缘计算设备在所述边缘云服务器的协调下共同训练威胁检测模型，其中，各边缘计算设备用于执行存储器中存储的计算机程序时实现如权利要求1至11任一项所述威胁检测方法的步骤；所述边缘云服务器用于执行存储器中存储的计算机程序时实现如权利要求12至19任一项所述威胁检测方法的步骤；
各边缘计算设备和所述边缘云服务器存储训练好的威胁检测模型，并通过调用所述威胁检测模型对网络数据流进行网络威胁检测。
30.一种联邦学习系统，其特征在于，包括边缘云服务器和多个边缘计算设备；各边缘计算设备在所述边缘云服务器的协调下共同训练模型；
所述边缘云服务器用于执行存储器中存储的计算机程序时实现如权利要求22所述联邦学习模型训练方法的步骤；各边缘计算设备用于执行存储器中存储的计算机程序时实现如权利要求21所述联邦学习模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410230012.7A CN117811845B (zh) | 2024-02-29 | 2024-02-29 | 威胁检测及模型训练方法、装置、系统、电子设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410230012.7A CN117811845B (zh) | 2024-02-29 | 2024-02-29 | 威胁检测及模型训练方法、装置、系统、电子设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117811845A true CN117811845A (zh) | 2024-04-02 |
| CN117811845B CN117811845B (zh) | 2024-05-24 |
Family
ID=90425882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410230012.7A Active CN117811845B (zh) | 2024-02-29 | 2024-02-29 | 威胁检测及模型训练方法、装置、系统、电子设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117811845B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112217626A (zh) * | 2020-08-24 | 2021-01-12 | 中国人民解放军战略支援部队信息工程大学 | 基于情报共享的网络威胁协同防御系统及方法 |
| US20210051169A1 (en) * | 2019-08-15 | 2021-02-18 | NEC Laboratories Europe GmbH | Thwarting model poisoning in federated learning |
| CN112398822A (zh) * | 2020-10-29 | 2021-02-23 | 安徽江淮汽车集团股份有限公司 | 车联网女巫攻击检测方法、装置、设备及存储介质 |
| WO2021208721A1 (zh) * | 2020-11-23 | 2021-10-21 | 平安科技（深圳）有限公司 | 联邦学习防御方法、装置、电子设备及存储介质 |
| WO2022151815A1 (zh) * | 2021-01-15 | 2022-07-21 | 中国银联股份有限公司 | 一种终端设备的安全状态判断方法及装置 |
| WO2023092792A1 (zh) * | 2021-11-29 | 2023-06-01 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN116579417A (zh) * | 2023-05-10 | 2023-08-11 | 之江实验室 | 边缘计算网络中的分层个性化联邦学习方法、装置及介质 |
| US20230308465A1 (en) * | 2023-04-12 | 2023-09-28 | Roobaea Alroobaea | System and method for dnn-based cyber-security using federated learning-based generative adversarial network |
| WO2023185539A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 机器学习模型训练方法、业务数据处理方法、装置及系统 |
| CN117113113A (zh) * | 2023-08-10 | 2023-11-24 | 海南师范大学 | 基于聚类联邦学习算法的数据隐私保护方法及系统 |
| CN117176368A (zh) * | 2022-05-27 | 2023-12-05 | 中国电信股份有限公司 | 终端侧的隐私风险评估方法及装置、介质、电子设备 |
| CN117318929A (zh) * | 2023-09-22 | 2023-12-29 | 哈尔滨工业大学 | 一种隐私保护的异构联邦框架下数据投毒攻击的防御方法 |
| CN117370804A (zh) * | 2023-10-17 | 2024-01-09 | 东莞市松山湖中心医院(东莞市石龙人民医院、东莞市第三人民医院、东莞市心血管病研究所) | 基于联邦区块链的医疗数据分析用可扩展个性化异构方法 |
-
2024
- 2024-02-29 CN CN202410230012.7A patent/CN117811845B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210051169A1 (en) * | 2019-08-15 | 2021-02-18 | NEC Laboratories Europe GmbH | Thwarting model poisoning in federated learning |
| CN112217626A (zh) * | 2020-08-24 | 2021-01-12 | 中国人民解放军战略支援部队信息工程大学 | 基于情报共享的网络威胁协同防御系统及方法 |
| CN112398822A (zh) * | 2020-10-29 | 2021-02-23 | 安徽江淮汽车集团股份有限公司 | 车联网女巫攻击检测方法、装置、设备及存储介质 |
| WO2021208721A1 (zh) * | 2020-11-23 | 2021-10-21 | 平安科技（深圳）有限公司 | 联邦学习防御方法、装置、电子设备及存储介质 |
| WO2022151815A1 (zh) * | 2021-01-15 | 2022-07-21 | 中国银联股份有限公司 | 一种终端设备的安全状态判断方法及装置 |
| WO2023092792A1 (zh) * | 2021-11-29 | 2023-06-01 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| WO2023185539A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 机器学习模型训练方法、业务数据处理方法、装置及系统 |
| CN117176368A (zh) * | 2022-05-27 | 2023-12-05 | 中国电信股份有限公司 | 终端侧的隐私风险评估方法及装置、介质、电子设备 |
| US20230308465A1 (en) * | 2023-04-12 | 2023-09-28 | Roobaea Alroobaea | System and method for dnn-based cyber-security using federated learning-based generative adversarial network |
| CN116579417A (zh) * | 2023-05-10 | 2023-08-11 | 之江实验室 | 边缘计算网络中的分层个性化联邦学习方法、装置及介质 |
| CN117113113A (zh) * | 2023-08-10 | 2023-11-24 | 海南师范大学 | 基于聚类联邦学习算法的数据隐私保护方法及系统 |
| CN117318929A (zh) * | 2023-09-22 | 2023-12-29 | 哈尔滨工业大学 | 一种隐私保护的异构联邦框架下数据投毒攻击的防御方法 |
| CN117370804A (zh) * | 2023-10-17 | 2024-01-09 | 东莞市松山湖中心医院(东莞市石龙人民医院、东莞市第三人民医院、东莞市心血管病研究所) | 基于联邦区块链的医疗数据分析用可扩展个性化异构方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. KENT; BBN; A. CHI; UNC-CH;: "Threat Model for BGP Path Security", IETF RFC7132, 28 February 2014 (2014-02-28) * |
| 胡向东;王凯;: "物联网感知层安全簇维护方法", 重庆邮电大学学报(自然科学版), no. 01, 15 February 2015 (2015-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117811845B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qu et al. | A survey on the development of self-organizing maps for unsupervised intrusion detection | |
| Liu et al. | An intrusion detection method for internet of things based on suppressed fuzzy clustering | |
| Alghanam et al. | An improved PIO feature selection algorithm for IoT network intrusion detection system based on ensemble learning | |
| CN106709345A (zh) | 基于深度学习方法推断恶意代码规则的方法、系统及设备 | |
| US10580272B1 (en) | Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection | |
| Singh et al. | Efficient classification of DDoS attacks using an ensemble feature selection algorithm | |
| Kumar et al. | Synthetic attack data generation model applying generative adversarial network for intrusion detection | |
| CN112884204B (zh) | 网络安全风险事件预测方法及装置 | |
| Wang et al. | Network intrusion detection model based on improved byol self‐supervised learning | |
| CN108769001A (zh) | 基于网络行为特征聚类分析的恶意代码检测方法 | |
| Zhang et al. | The classification and detection of malware using soft relevance evaluation | |
| Ding et al. | AnoGLA: An efficient scheme to improve network anomaly detection | |
| Banković et al. | Distributed intrusion detection system for wireless sensor networks based on a reputation system coupled with kernel self-organizing maps | |
| Kamran et al. | Semi-supervised conditional GAN for simultaneous generation and detection of phishing URLs: A game theoretic perspective | |
| Gao et al. | Reinforcement learning based web crawler detection for diversity and dynamics | |
| CN112308093B (zh) | 基于图像识别的空气质量感知方法、模型训练方法及系统 | |
| Zhu et al. | Application of data mining technology in detecting network intrusion and security maintenance | |
| CN105721467A (zh) | 社交网络Sybil群体检测方法 | |
| CN117811845B (zh) | 威胁检测及模型训练方法、装置、系统、电子设备、介质 | |
| CN109871711B (zh) | 海洋大数据共享分发风险控制模型及方法 | |
| CN117834297B (zh) | 攻击检测方法、装置、系统、电子设备及可读存储介质 | |
| Sun et al. | Advances in Artificial Intelligence and Security: 7th International Conference, ICAIS 2021, Dublin, Ireland, July 19-23, 2021, Proceedings, Part III | |
| Zhang | The WSN intrusion detection method based on deep data mining | |
| Li | [Retracted] Research on Smartphone Trojan Detection Based on the Wireless Sensor Network | |
| Deng et al. | Research on Security Anomaly Detection for Big Data Platforms Based on Quantum Optimization Clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |