CN114448601A - 基于端边云架构的分布式联邦学习的安全防御方法及应用 - Google Patents
基于端边云架构的分布式联邦学习的安全防御方法及应用 Download PDFInfo
- Publication number
- CN114448601A CN114448601A CN202210199495.XA CN202210199495A CN114448601A CN 114448601 A CN114448601 A CN 114448601A CN 202210199495 A CN202210199495 A CN 202210199495A CN 114448601 A CN114448601 A CN 114448601A
- Authority
- CN
- China
- Prior art keywords
- model
- edge
- aggregation
- server
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000007123 defense Effects 0.000 title claims abstract description 51
- 238000004220 aggregation Methods 0.000 claims abstract description 86
- 230000002776 aggregation Effects 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 241000700605 Viruses Species 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 231100000572 poisoning Toxicity 0.000 description 4
- 230000000607 poisoning effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/006—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving public key infrastructure [PKI] trust models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
- H04L9/3252—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures using DSA or related signature schemes, e.g. elliptic based signatures, ElGamal or Schnorr schemes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于端边云架构的分布式联邦学习的安全防御方法及应用，该方法包括以下步骤：边缘服务器接收端设备上传的更新的本地模型，其中，所述更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得；所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型；以及所述边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。该方法能够通过模型过滤算法将恶意模型排除，聚合成安全模型，在线持续防御针对全局模型的间接的投毒攻击(例如针对数据集的标签翻转攻击)。
Description
技术领域
本发明是关于信息安全领域，特别是关于一种基于端边云架构的分布式联邦学习的安全防御方法及应用。
背景技术
智能手机、物联网和其他设备的激增导致了大数据时代的到来。深度学习为处理大量数据提供了一种有效的手段，如管理大量的患者数据用于疾病预测，从系统日志中进行独立的安全审计等。然而，集中的深度学习往往会导致用户数据的泄露和一系列的隐私问题。联邦学习(FL)已经被提出来解决集中式深度学习的困境。FL允许用户参与全球培训，而无需共享私人样本数据，以保护用户数据的隐私。具体来说，每个用户都使用私有数据集训练全局模型，并且只将更新后的参数(即权重和偏置)上传到中央云服务器进行聚合，并重复上述过程，直到模型收敛。然而，随着参与培训的用户数量的增加，深度学习模型的使用越来越复杂，用户上传的参数越来越大，不可避免地会导致带宽竞争和通信延迟。上行速度与网络下行速度之间的不对称性加剧了这一问题。一般来说，网络的上行速度远低于下行速度。一些通信压缩方法，如草图更新，通过压缩上传梯度来减轻通信压力，但会导致梯度信息的损失，降低模型的精度。
目前，将FL和移动边缘计算结合来缓解通信压力成为了一种新趋势。具体来说，为地理位置相近的终端设备部署边缘服务器来提供外包计算和缓存资源，以减轻终端设备的计算压力和对云服务器的高并发访问。然而，移动边缘计算架构通常是一个开放的无线信道环境，可能存在少量的恶意终端设备或外部窃听者，通过恶意毒害训练样本或模型参数来破坏模型的准确性。目前现有的投毒攻击防御方案大多是针对集中式机器学习架构而设计的，这些方案基本是在训练前针对样本数据进行清理，计算开销大，同时要求服务器具有参与方的训练数据，这与联邦学习保护用户数据隐私是相违背的。因此，上述研究结果并不适用于分布式联邦学习环境，如何设计一个开销小，但能准确地识别恶意模型的方案是亟待解决的关键问题。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于端边云架构的分布式联邦学习的安全防御方法及应用，解决在基于端边云架构的分布式联邦学习系统中，由于联邦学习的分布式和本地化训练特性，难以保证所有参与方都是安全可信的，存在小部分数据持有方被恶意控制，通过上传恶意模型来破坏全局模型的精确度的问题。
为实现上述目的，本发明的实施例提供了一种基于端边云架构的分布式联邦学习的安全防御方法。
在本发明的一个或多个实施方式中，所述方法包括：边缘服务器接收端设备上传的更新的本地模型，其中，所述更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得；所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型；以及所述边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。
在本发明的一个或多个实施方式中，所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型，包括：所述边缘服务器对所有本地模型进行初步聚合，生成聚合模型；计算所述本地模型与所述聚合模型的余弦相似度；以及根据所述余弦相似度的分布，将与最大余弦相似度差值大于自适应阈值的余弦相似度所对应的模型参数删除。
在本发明的一个或多个实施方式中，计算所述本地模型与所述聚合模型的余弦相似度，包括：将神经网络模型的卷积层和全连接层所对应的权重和偏置矩阵转化为一维向量，并将其串联形成包含所有参数的一维向量；以及根据所述本地模型与所述聚合模型的参数所对应的一维向量计算余弦相似度。
在本发明的一个或多个实施方式中，所述方法还包括：将所述边缘聚合模型的参数作为消息，并根据schnorr签名算法对其进行签名，将所述签名和所述消息上传至所述云服务器。
为实现上述目的，本发明的实施例提供了又一种基于端边云架构的分布式联邦学习的安全防御方法。
在本发明的一个或多个实施方式中，所述方法包括：云服务器初始化全局模型，并将所述全局模型下发至边缘服务器；以及所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型。
在本发明的一个或多个实施方式中，所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型，包括：验证所述数字签名与边缘服务器上传的消息是否匹配；若否，将验证失败的边缘聚合模型删除；若是，将验证成功的边缘聚合模型进行全局聚合，得到更新的全局模型。
在本发明的另一个方面当中，提供了一种基于端边云架构的分布式联邦学习的安全防御装置，其包括接收模块、过滤模块和聚合模块。
接收模块，用于供边缘服务器接收端设备上传的更新的本地模型，其中，所述更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得。
过滤模块，用于供所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型。
聚合模块，用于供所述边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。
在本发明的一个或多个实施方式中，所述过滤模块还用于：所述边缘服务器对所有本地模型进行初步聚合，生成聚合模型；计算所述本地模型与所述聚合模型的余弦相似度；以及根据所述余弦相似度的分布，将与最大余弦相似度差值大于自适应阈值的余弦相似度所对应的模型参数删除。
在本发明的一个或多个实施方式中，所述过滤模块还用于：将神经网络模型的卷积层和全连接层所对应的权重和偏置矩阵转化为一维向量，并将其串联形成包含所有参数的一维向量；以及根据所述本地模型与所述聚合模型的参数所对应的一维向量计算余弦相似度。
在本发明的一个或多个实施方式中，所述聚合模块还用于：将所述边缘聚合模型的参数作为消息，并根据schnorr签名算法对其进行签名，将所述签名和所述消息发送至云服务器。
在本发明的另一个方面当中，提供了又一种基于端边云架构的分布式联邦学习的安全防御装置，其包括初始化模块模块和验证模块。
初始化模块，用于供云服务器初始化全局模型，并将所述全局模型下发至边缘服务器。
验证模块，用于所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型。
在本发明的一个或多个实施方式中，所述验证模块还用于：验证所述数字签名与边缘服务器上传的消息是否匹配；若否，将验证失败的边缘聚合模型删除；若是，将验证成功的边缘聚合模型进行全局聚合，得到更新的全局模型。
在本发明的另一个方面当中，提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的基于端边云架构的分布式联邦学习的安全防御方法。
在本发明的另一个方面当中，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的基于端边云架构的分布式联邦学习的安全防御方法的步骤。
与现有技术相比，根据本发明实施方式的基于端边云架构的分布式联邦学习的安全防御方法及应用，其能够通过模型过滤算法将恶意模型排除，聚合成安全模型，在线持续防御针对全局模型的间接的投毒攻击(例如针对数据集的标签翻转攻击)。
根据本发明实施方式的基于端边云架构的分布式联邦学习的安全防御方法及应用，还能够通过数字签名验证聚合模型，在线持续防御针对全局模型的小部分直接(例如信道窃听后进行模型篡改)。
根据本发明实施方式的基于端边云架构的分布式联邦学习的安全防御方法及应用，不同于传统集中式机器学习训练前针对样本数据过滤的投毒攻击防御方法，采用的是针对模型本身而不是样本数据进行过滤，这样可以将防御方法部署在服务器端，在训练过程中持续地抵御投毒攻击，同时不会占用终端设备的计算资源，也不需要服务器拥有数据样本，因此适用于端设备资源受限和保护用户隐私的联邦学习环境。
附图说明
图1是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御方法的边缘服务器流程图；
图2是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御方法的结构图；
图3是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御方法的过滤与验证示意图；
图4是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御方法的云服务器流程图；
图5是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御装置的边缘服务器结构图；
图6是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御装置的云服务器结构图；
图7是根据本发明一实施方式的基于端边云架构的分布式联邦学习的安全防御计算设备的硬件结构图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
以下结合附图，详细说明本发明各实施例提供的技术方案。
实施例1
如图1至图3所示，介绍本发明的一个实施例中基于端边云架构的分布式联邦学习的安全防御方法，该方法包括如下步骤。
在步骤S101中，边缘服务器接收端设备上传的更新的本地模型。
如图2所示，确定各边缘服务器(边缘云)所管辖的端设备(数据中心)，将地理位置分布相近的端设备进行分区，并部署边缘服务器进行管辖，以提供计算和缓存资源。云服务器(中心云)初始化全局模型并下发给各边缘服务器，再由边缘服务器下发给相应的底层端设备。端设备利用私有数据训练全局模型，通过随机梯度下降法计算出更新的本地模型，并将更新的本地模型上传给对应的边缘服务器。
在步骤S102中，边缘服务器对更新的本地模型进行过滤。
边缘服务器接收更新的本地模型，并聚合所有本地模型，计算各本地模型与聚合模型的余弦相似度。此时无论是直接或间接的针对本地模型的小部分投毒攻击都能识别出来，即使有三分之一的本地模型被污染变成脏模型，也能将模型精度损失控制在一定范围内。
具体的，将神经网络模型的卷积层和全连接层所对应的权重和偏置矩阵转化为一维向量，并将其串联形成包含所有参数的一维向量，本地模型与聚合模型基于各自参数所对应的一维向量计算余弦相似度。基于余弦相似度得到各本地模型与整体协作收敛趋势的相似度分布。
根据相似度分布对本地模型进行区分，判断各本地模型的偏差程度。与最大余弦相似度分布相近且距离小于自适应阈值的余弦相似度所对应的参数划分为安全参数；与最大余弦相似度距离大于自适应阈值的余弦相似度所对应的参数划分为恶意参数，并将恶意参数排除。
由于全局模型是由局部模型聚合而成，因此全局模型与局部模型应该是相似的，然而直接(篡改模型)或间接(篡改数据集)的针对模型参数的投毒攻击，往往导致小部分正常参数产生偏差，偏离整体训练的协作收敛趋势，因此恶意参数相较于正常参数与边缘聚合参数的相似度更低，而正常参数的相似度分布整体更高而且相互接近，因此可以通过将与最大余弦相似度差距大于自适应阈值的相似度所对应的模型参数认定为脏模型。
直接的投毒攻击主要是信道窃听数据后对模型进行篡改，此处是不易区分的特定篡改，由于正常的模型训练参数数据数量级是相似的，一些很大的改动很容易就人为的识别并排除。间接的投毒攻击是通过构造特定的样本数据训练出恶意模型，例如标签翻转攻击。无论直接或间接的投毒攻击，受到攻击后的参数经验证都会与正常参数存在较大偏差。
在步骤S103中，边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。
由于移动边缘计算的开放无线信道环境，攻击方可能不采取从数据端发起投毒攻击的措施，而是基于信道窃听技术通过构造特定的恶意模型，直接替换原有模型，进而完成对模型的直接篡改，发起投毒攻击，而这种威胁性可能发生在端设备和边缘云之间的通信，也可能发生在边缘云与中心云之间的通信。
因此边缘服务器通过模型过滤算法将恶意本地模型排除后，对剩余安全的本地模型进行聚合，并将聚合平均后的模型参数作为消息，利用schnorr签名算法对该模型进行签名。
具体的，利用签名算法生成公钥和私钥，并基于哈希加密函数和聚合模型，生成对应的签名，将签名和消息发送给云服务器。
实施例2
如图4所示，介绍本发明的一个实施例中基于端边云架构的分布式联邦学习的安全防御方法，该方法包括如下步骤。
在步骤S201中，云服务器初始化全局模型，并将全局模型下发至边缘服务器。
在步骤S202中，云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将边缘聚合模型进行全局聚合，得到更新的全局模型。
云服务器验证签名后，排除验证失败的恶意模型，将验证成功安全的边缘聚合模型进行全局聚合来更新全局模型。
通过签名验证算法，验证签名与消息是否对应，因为哈希加密算法具有两个基本特性：1.不同的消息具有不同的签名。2.消息的微小改动能导致哈希值的很大变化。因此试图保持原有签名，却篡改数据的行为，经验证签名是不一致的。签名验证失败的边缘聚合模型将会被排除，将验证成功的边缘聚合模型进行全局聚合，得到新一轮迭代的全局模型。由云服务器继续下发全局模型，如此迭代下去直到模型收敛。
将边缘聚合模型作为消息采用schnorr签名的方式上传至中心云。即使攻击者不是针对本地模型发起攻击，而是针对边缘服务器和云服务器的通信发起攻击，也能够在云服务器通过签名验证方式确定边缘聚合参数是否被篡改，进而将恶意的模型排除在全局聚合外，保护全局模型的安全性。
如图5所示，介绍根据本发明具体实施方式的基于端边云架构的分布式联邦学习的安全防御装置。
在本发明的实施方式中，基于端边云架构的分布式联邦学习的安全防御装置包括接收模块501、过滤模块502和聚合模块503。
接收模块501，用于供边缘服务器接收端设备上传的更新的本地模型，其中，更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得。
过滤模块502，用于供边缘服务器对更新的本地模型进行过滤，以获得安全本地模型。
聚合模块503，用于供边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至云服务器。
过滤模块502还用于：边缘服务器对所有本地模型进行初步聚合，生成聚合模型；计算本地模型与聚合模型的余弦相似度；以及根据余弦相似度的分布，将与最大余弦相似度差值大于自适应阈值的余弦相似度所对应的模型参数删除。
过滤模块502还用于：将神经网络模型的卷积层和全连接层所对应的权重和偏置矩阵转化为一维向量，并将其串联形成包含所有参数的一维向量；以及根据本地模型与聚合模型的参数所对应的一维向量计算余弦相似度。
聚合模块503还用于：将边缘聚合模型的参数作为消息，并根据schnorr签名算法对其进行签名，将签名和消息发送至云服务器。
如图6所示，介绍根据本发明具体实施方式的基于端边云架构的分布式联邦学习的安全防御装置。
在本发明的实施方式中，基于端边云架构的分布式联邦学习的安全防御装置包括初始化模块模块601和验证模块602。
初始化模块601，用于供云服务器初始化全局模型，并将全局模型下发至边缘服务器。
验证模块602，用于云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将边缘聚合模型进行全局聚合，得到更新的全局模型。
验证模块602还用于：验证数字签名与边缘服务器上传的消息是否匹配；若否，将验证失败的边缘聚合模型删除；若是，将验证成功的边缘聚合模型进行全局聚合，得到更新的全局模型。
图7示出了根据本说明书的实施例的用于基于端边云架构的分布式联邦学习的安全防御计算设备70的硬件结构图。如图7所示，计算设备70可以包括至少一个处理器701、存储器702(例如非易失性存储器)、内存703和通信接口704，并且至少一个处理器701、存储器702、内存703和通信接口704经由总线705连接在一起。至少一个处理器701执行在存储器702中存储或编码的至少一个计算机可读指令。
应该理解，在存储器702中存储的计算机可执行指令当执行时使得至少一个处理器701进行本说明书的各个实施例中以上结合图1-7描述的各种操作和功能。
在本说明书的实施例中，计算设备70可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-7描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
根据本发明实施方式的基于端边云架构的分布式联邦学习的安全防御方法及应用，其能够通过在边缘云服务器计算本地模型与边缘聚合模型的余弦相似度，分析本地模型参数是否符合协同收敛趋势，进而区分恶意与非恶意模型。排除恶意参数后，聚合剩余的安全参数，并利用数字签名方法对聚合模型签名后上传中心云。中心云验证签名来确定聚合模型传输过程是否被篡改，从而排除恶意的聚合模型，在线持续防御针对全局模型的小部分直接(例如信道窃听后进行模型篡改)或间接的投毒攻击(例如针对数据集的标签翻转攻击)，进一步保证联邦学习全局模型的安全性。
根据本发明实施方式的基于端边云架构的分布式联邦学习的安全防御方法及应用，不同于传统集中式机器学习训练前针对样本数据过滤的投毒攻击防御方法，采用的是针对模型本身而不是样本数据进行过滤，这样可以将防御方法部署在服务器端，在训练过程中持续地抵御投毒攻击，同时不会占用终端设备的计算资源，也不需要服务器拥有数据样本，因此适用于端设备资源受限和保护用户隐私的联邦学习环境。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (10)
1.一种基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，所述方法包括：
边缘服务器接收端设备上传的更新的本地模型，其中，所述更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得；
所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型；以及
所述边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。
2.如权利要求1所述的基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型，包括：
所述边缘服务器对所有本地模型进行初步聚合，生成聚合模型；
计算所述本地模型与所述聚合模型的余弦相似度；以及
根据所述余弦相似度的分布，将与最大余弦相似度差值大于自适应阈值的余弦相似度所对应的模型参数删除。
3.如权利要求2所述的基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，计算所述本地模型与所述聚合模型的余弦相似度，包括：
将神经网络模型的卷积层和全连接层所对应的权重和偏置矩阵转化为一维向量，并将其串联形成包含所有参数的一维向量；以及
根据所述本地模型与所述聚合模型的参数所对应的一维向量计算余弦相似度。
4.如权利要求1所述的基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，所述方法还包括：
将所述边缘聚合模型的参数作为消息，并根据schnorr签名算法对其进行签名，将所述签名和所述消息上传至所述云服务器。
5.一种基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，所述方法包括：
云服务器初始化全局模型，并将所述全局模型下发至边缘服务器；以及
所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型。
6.如权利要求5所述的基于端边云架构的分布式联邦学习的安全防御方法，其特征在于，所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型，包括：
验证所述数字签名与边缘服务器上传的消息是否匹配；若否，
将验证失败的边缘聚合模型删除；若是，
将验证成功的边缘聚合模型进行全局聚合，得到更新的全局模型。
7.一种基于端边云架构的分布式联邦学习的安全防御装置，其特征在于，所述装置包括：
接收模块，用于供边缘服务器接收端设备上传的更新的本地模型，其中，所述更新的本地模型为端设备基于私有数据对云服务器下发的全局模型训练所得；
过滤模块，用于供所述边缘服务器对所述更新的本地模型进行过滤，以获得安全本地模型；以及
聚合模块，用于供所述边缘服务器将过滤后的安全本地模型进行聚合，并将生成的边缘聚合模型上传至所述云服务器。
8.一种基于端边云架构的分布式联邦学习的安全防御装置，其特征在于，所述装置包括：
初始化模块，用于供云服务器初始化全局模型，并将所述全局模型下发至边缘服务器；以及
验证模块，用于所述云服务器验证边缘服务器上传的边缘聚合模型的数字签名，并将所述边缘聚合模型进行全局聚合，得到更新的全局模型。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至6中任一项所述的基于端边云架构的分布式联邦学习的安全防御方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于端边云架构的分布式联邦学习的安全防御方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210199495.XA CN114448601A (zh) | 2022-03-01 | 2022-03-01 | 基于端边云架构的分布式联邦学习的安全防御方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210199495.XA CN114448601A (zh) | 2022-03-01 | 2022-03-01 | 基于端边云架构的分布式联邦学习的安全防御方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114448601A true CN114448601A (zh) | 2022-05-06 |
Family
ID=81358596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210199495.XA Pending CN114448601A (zh) | 2022-03-01 | 2022-03-01 | 基于端边云架构的分布式联邦学习的安全防御方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114448601A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863499A (zh) * | 2022-06-30 | 2022-08-05 | 广州脉泽科技有限公司 | 一种基于联邦学习的指静脉与掌静脉识别方法 |
| CN115145966A (zh) * | 2022-09-05 | 2022-10-04 | 山东省计算中心（国家超级计算济南中心） | 一种面向异构数据的对比联邦学习方法及系统 |
| CN115408377A (zh) * | 2022-08-29 | 2022-11-29 | 北京智源人工智能研究院 | 一种基于联邦学习构建医学影像大模型的方法和装置 |
| CN115632879A (zh) * | 2022-12-07 | 2023-01-20 | 富算科技(上海)有限公司 | 日志管理方法、系统、电子设备及存储介质 |
| CN117408332A (zh) * | 2023-10-19 | 2024-01-16 | 华中科技大学 | 一种去中心化ai训练与交易平台及方法 |
-
2022
- 2022-03-01 CN CN202210199495.XA patent/CN114448601A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863499A (zh) * | 2022-06-30 | 2022-08-05 | 广州脉泽科技有限公司 | 一种基于联邦学习的指静脉与掌静脉识别方法 |
| CN114863499B (zh) * | 2022-06-30 | 2022-12-13 | 广州脉泽科技有限公司 | 一种基于联邦学习的指静脉与掌静脉识别方法 |
| CN115408377A (zh) * | 2022-08-29 | 2022-11-29 | 北京智源人工智能研究院 | 一种基于联邦学习构建医学影像大模型的方法和装置 |
| CN115145966A (zh) * | 2022-09-05 | 2022-10-04 | 山东省计算中心（国家超级计算济南中心） | 一种面向异构数据的对比联邦学习方法及系统 |
| CN115145966B (zh) * | 2022-09-05 | 2022-11-11 | 山东省计算中心（国家超级计算济南中心） | 一种面向异构数据的对比联邦学习方法及系统 |
| CN115632879A (zh) * | 2022-12-07 | 2023-01-20 | 富算科技(上海)有限公司 | 日志管理方法、系统、电子设备及存储介质 |
| CN117408332A (zh) * | 2023-10-19 | 2024-01-16 | 华中科技大学 | 一种去中心化ai训练与交易平台及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114448601A (zh) | 基于端边云架构的分布式联邦学习的安全防御方法及应用 | |
| Taheri et al. | FED-IIoT: A robust federated malware detection architecture in industrial IoT | |
| US11856021B2 (en) | Detecting and mitigating poison attacks using data provenance | |
| CN111241580B (zh) | 一种基于可信执行环境的联邦学习方法 | |
| US11030311B1 (en) | Detecting and protecting against computing breaches based on lateral movement of a computer file within an enterprise | |
| Xia et al. | Poisoning attacks in federated learning: A survey | |
| Kumar et al. | DBTP2SF: a deep blockchain‐based trustworthy privacy‐preserving secured framework in industrial internet of things systems | |
| Makkar et al. | Secureiiot environment: Federated learning empowered approach for securing iiot from data breach | |
| US11082409B2 (en) | Verifying message authenticity with decentralized tamper-evident logs | |
| US7941379B1 (en) | Systems and methods for using geo-location information in sensitive internet transactions | |
| WO2016202952A1 (en) | Digital token exchange system | |
| CN202663444U (zh) | 一种云安全数据迁移模型 | |
| CN111967609B (zh) | 模型参数验证方法、设备及可读存储介质 | |
| US11025666B1 (en) | Systems and methods for preventing decentralized malware attacks | |
| Wiefling et al. | Pump up password security! Evaluating and enhancing risk-based authentication on a real-world large-scale online service | |
| CN110781952A (zh) | 图像识别风险提示方法、装置、设备及存储介质 | |
| CN112487456A (zh) | 联邦学习模型训练方法、系统、电子设备及可读存储介质 | |
| Liu et al. | A distributed attack-resistant trust model for automatic modulation classification | |
| Chauhan et al. | Advanced model for improving IoT security using blockchain technology | |
| Zhang et al. | Visual object detection for privacy-preserving federated learning | |
| US20200036684A1 (en) | Cluster-based determination of signatures for detection of anomalous data traffic | |
| Meng et al. | Enhancing Federated Learning Robustness Using Data-Agnostic Model Pruning | |
| Cao et al. | Prevention of gan-based privacy inferring attacks towards federated learning | |
| CN115801366A (zh) | 攻击检测的方法、装置、电子设备及计算机可读存储介质 | |
| Singh et al. | A Study of Implementing a Blockchain-Based Forensic Model Integration (BBFMI) for IoT Devices in Digital Forensics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |