CN117094410B - 一种面向投毒受损联邦学习的模型修复方法 - Google Patents
一种面向投毒受损联邦学习的模型修复方法 Download PDFInfo
- Publication number
- CN117094410B CN117094410B CN202310843011.5A CN202310843011A CN117094410B CN 117094410 B CN117094410 B CN 117094410B CN 202310843011 A CN202310843011 A CN 202310843011A CN 117094410 B CN117094410 B CN 117094410B
- Authority
- CN
- China
- Prior art keywords
- model
- benign
- global
- gradient
- global model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 231100000572 poisoning Toxicity 0.000 title claims abstract description 31
- 230000000607 poisoning effect Effects 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 47
- 230000008439 repair process Effects 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000002238 attenuated effect Effects 0.000 claims description 10
- 239000002574 poison Substances 0.000 claims description 5
- 231100000614 poison Toxicity 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007123 defense Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 231100000331 toxic Toxicity 0.000 description 3
- 230000002588 toxic effect Effects 0.000 description 3
- 230000001010 compromised effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 231100000419 toxicity Toxicity 0.000 description 2
- 230000001988 toxicity Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008263 repair mechanism Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向投毒受损联邦学习的模型修复方法，包括：利用未遭受投毒攻击之前的良性模型参数对受损全局模型的模型参数进行初始化；良性客户端使用本地数据集对良性模型参数进行训练，获得本地模型梯度；服务器根据本地模型梯度更新校正阶段的全局模型参数；获取良性全局模型与受损全局模型的参数差和聚合梯度差；利用参数差和聚合梯度差计算近似黑塞矩阵；更新修复阶段的全局模型参数；利用修复阶段的全局模型参数对参数差和聚合梯度差进行迭代更新，获得最终修复的全局模型模型参数。本发明利用模型的已有知识信息来预测模型梯度更新的方向，免去客户端重训练所需要的计算和通信开销，提升了模型的修复效率和鲁棒性。
Description
技术领域
本发明属于联邦学习技术领域，具体涉及一种面向投毒受损联邦学习的模型修复方法。
背景技术
随着数字经济的蓬勃发展，数据已成为关键生产要素与推动经济发展的核心引擎。为了保障数据安全同时解决“数据孤岛”的问题，联邦学习作为一种隐私保护的数据协同架构随之应运而生。联邦学习在医疗预测、财务评估和人脸识别等自动化决策的各种应用中发挥着重要作用。在巨大的社会影响下，联邦学习的脆弱性不可避免地遭受投毒攻击。攻击者通过注入恶意参数发起投毒攻击以操纵联邦学习模型。投毒攻击旨在降低模型性能，从而导致对特定数据点或分布式拒绝服务攻击的错误分类。为了抵御联邦学习中的投毒攻击，现有防御策略基本上旨在剔除异常值。然而，现有的防御策略建立在攻击者有限的攻击能力的假设之上。由于发起攻击的复杂性、隐蔽性和不可预测性，现有的防御机制难以提前识别或定位潜在的投毒攻击，这为个人生命财产安全乃至国家安全带来了诸多风险和隐患。当投毒攻击成功时，任何防御策略都无法消除受损的联邦模型的破坏性影响。因此，如何在模型训练中通过遗忘投毒参数来修复受损模型成为亟需解决的难题。
一种直接的方法是剔除恶意参数后进入重训练，该方法可以完全消除数据中毒的影响，但重训练会引入不可接受的计算开销。Bourtoule等人在其发表的论文“Machineunlearning”(2021IEEE Symposium on Security and Privacy(SP))提出机器学习架构下训练多个子模型，对子模型进行局部重训练的方法，该方法在一定程度上提升了重训练的效率。该方法的不足之处在于：一方面，依靠数据切分和在局部数据上训练的子模型，将会导致模型欠拟合的问题，影响模型修复后的性能；另一方面，此方案一定程度上提升了重训练的效率，但不能有效证明恢复的模型是否消除了投毒参数的破坏性。
浙江大学在其申请的专利文献“一种联邦学习中基于语义数据损失的遗忘验证方法”(专利申请号：CN202110865041.7，授权公告号:CN113591486B)中公开了一种联邦学习中基于语义数据损失的遗忘验证方法，该方法利用在某些高损失，普遍犯错且带有某种语义特征的数据上的特定表现来标记遗忘用户和验证遗忘情况，通过将本地数据集中高损失且普遍分类错误的数据筛选出来，根据其语义特征的相似性和置信度分布将这些数据重新标记为某个固定类别，得到标记数据集，并将本地模型在该数据集和原数据集上微调后的标记模型上传给中心服务器聚合。遗忘用户通过检查接下来若干个周期的全局模型，根据全局模型在标记数据集上的损失来验证遗忘情况。该方法的不足之处在于：一方面，该方法在模型修复的过程中，仍需要客户端一直参与重训练，通信和计算开销大，模型修复效率低；另一方面，该方法无法解决投毒参数残留的问题，导致的修复后的模型性能低、可用性差。
总而言之，现有技术依靠重训练实现对投毒参数的物理删除，忽略了调度数据资源和计算资源的沉重开销，导致模型修复成本高，效率低；现有技术对投毒参数仅实现逻辑删除，即未考虑投毒参数在迭代训练中对受损模型的残留影响，导致的修复后的模型性能低、可用性差。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种面向投毒受损联邦学习的模型修复方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种面向投毒受损联邦学习的模型修复方法，包括：
S1：利用未遭受投毒攻击之前的良性模型参数对受损全局模型的模型参数进行初始化，并将初始的良性模型参数发送至所有良性客户端；
S2：所述良性客户端使用本地数据集对所述良性模型参数进行训练，获得本地模型梯度并上传至服务器；
S3：所述服务器根据所述本地模型梯度更新校正阶段的全局模型参数；
S4：获取良性全局模型与受损全局模型的参数差和聚合梯度差；
S5：利用所述参数差和所述聚合梯度差计算近似黑塞矩阵；
S6：利用所述近似黑塞矩阵更新修复阶段的全局模型参数；
S7：利用所述修复阶段的全局模型参数对良性全局模型与受损全局模型的参数差和聚合梯度差进行迭代更新，重复步骤S5至S6，获得最终修复完成的全局模型模型参数。
在本发明的一个实施例中，所述S1包括：
删除m个恶意客户端，服务器将未遭受投毒攻之前最后一次迭代全局模型的良性模型参数wj分发至n-m个良性客户端，其中，n表示初始客户端的总数，j表示第j次迭代，即未遭受投毒攻之前的最后一次迭代。
在本发明的一个实施例中，所述S2包括：
在校正训练的第t轮迭代过程中，每个良性客户端使用本地数据集Di对服务器分发的良性全局模型参数进行训练，获得本地模型梯度/>并将所述本地模型梯度/>上传至服务器，其中，所述本地模型梯度/>的计算公式为/>其中，f表示本地梯度计算函数，i∈{n-m}，/>表示在校正训练的第t轮迭代过程中服务器分发的良性全局模型参数，/>表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度，n表示初始客户端的总数，m表示已删除的恶意客户端的数量。
在本发明的一个实施例中，所述S3包括：
S3.1：在校正训练的第t轮迭代过程中，服务器聚合所有良性客户端上传的本地模型梯度获得全局聚合良性梯度/>计算公式为/>其中，/>表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度，n表示初始客户端的总数，m表示已删除的恶意客户端的数量；
S3.2：利用所述全局聚合良性梯度更新校正阶段的全局模型参数，更新公式为：其中，α为学习率；
S3.3：服务器日志记录保存更新后的校正阶段的全局模型参数并且将所述全局模型参数/>分发至每个良性客户端；
S3.4：令当前迭代次数t＝t+1，重复步骤S2和步骤S3共N次，服务器获得N+1个更新后的校正阶段的全局模型参数
在本发明的一个实施例中，所述S4包括：
S4.1：追溯服务器日志记录，获取最近的N个良性全局模型参数及N个受损全局模型参数WN，/>WN＝{wi}，i∈[t-N+1,t]，其中，/>表示向前追溯的第i个良性全局模型参数，wi表示向前追溯的第i个受损全局模型参数；
S4.2：计算良性全局模型与受损全局模型的参数差ΔWN，计算公式为
S4.3：追溯服务器日志记录，获取最近的N个良性全局模型的聚合梯度及受损全局模型的聚合梯度GN，其中，/>i∈[t-N,t-1]，/>表示向前追溯的第i个良性全局模型的聚合梯度，gi表示向前追溯的第i个良性全局模型的聚合梯度；
S4.4：计算良性全局模型与受损全局模型的聚合梯度差ΔGN，计算公式为
在本发明的一个实施例中，所述S5包括：
S5.1：利用L-BFGS算法，构建近似黑塞矩阵的迭代公式：
其中，sk＝ΔWN[k],yk＝ΔGN[k]，k表示近似黑塞矩阵迭代的次数，k＜N；
S5.2：选择一个初始的矩阵D0：
S5.3：N次迭代结束后令Ht＝DN，获得最终的近似黑塞矩阵Ht。
在本发明的一个实施例中，所述S6包括：
S6.1：根据柯西中值定理，利用所述近似黑塞矩阵Ht计算全局模型的聚合梯度计算公式为/>其中，/>
S6.2：使用聚合梯度更新模型参数/>得到修复后的全局模型参数/>计算公式为/>α为学习率；
S6.3：在服务器日志记录保存此轮修复后的全局模型参数
在本发明的一个实施例中，所述S7包括：
分别删除数组ΔWN和数组ΔGN中的第一个元素，并分别在ΔWN和ΔGN的末尾添加Δwt+1和Δgt，其中，
令当前迭代轮次t＝t+1，重复步骤S5至S7，直至当前迭代轮次t＝T，获得修复完成后的全局模型模型参数wT。
在本发明的一个实施例中，所述面向投毒受损联邦学习的模型修复方法还包括：
S8：将修复完成后的全局模型模型参数分发至良性客户端。
与现有技术相比，本发明的有益效果有：
1、本发明提供了一种联邦学习受损模型高效修复的方法，在完成N轮校正训练后，不再需要客户端参与训练，克服了现有技术中需要客户端一直参与训练修复的缺陷，能够极大地减轻客户端与服务端的通信开销，降低模型修复过程所需的大量算力成本，加快模型修复速度，提高模型修复效率。
2、本发明建设性地设计了受损模型的高效可追溯预测性修复方法，通过在修复阶段追溯日志的历史模型参数信息，利用已有历史知识信息来预测受损模型的梯度更新的方向，能够精确高效地修复受损模型。相比现有的数据遗忘技术，该修复算法充分地利用了已有的历史受损模型信息，突破了投毒参数残留问题导致的模型性能无法修复的瓶颈，降低了计算开销，提高了模型修复的效率，同时提升了模型的可用性、完整性和鲁棒性。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种面向投毒受损联邦学习的模型修复方法的流程图；
图2是本发明实施例提供的一种面向投毒受损联邦学习的模型修复方法的处理过程示意图；
图3是本发明实施例提供的一种面向投毒受损联邦学习的模型修复方法的具体流程图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种面向投毒受损联邦学习的模型修复方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
本实施例面向投毒受损联邦学习的模型修复方法主要包括校正阶段和修复阶段。
校正阶段：负责服务器与良性客户端进行一小段的重训练，以获得正确的全局模型梯度更新方向。当服务器检测到该联邦学习模型在第j(j<T)轮迭代后遭受到投毒攻击，即从第j+1，此时服务器日志回溯第j轮未被攻击的良性模型参数wj，用此时的良性模型参数wj在第j轮迭代开始对受损模型进行N轮校正训练。在每轮校正训练过程中，服务器负责将客户端上传的本地模型梯度进行聚合，获得聚合后的全局模型梯度，随后用聚合的全局模型梯度更新全局模型参数，最后用日志记录保存更新后的全局模型参数并将其分发给客户端；客户端接收到更新后的全局模型参数/>后，用本地数据进行训练后将本地模型梯度上传给服务器。
修复阶段：校正模块工作完成后，修复阶段负责对全局受损模型进行高效修复。首先，根据服务器日志追溯历史模型参数；随后，基于L-BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno)算法，用历史模型参数信息计算黑塞矩阵，通过柯西均值定理预测受损模型正确的全局梯度更新方向，从而遗忘恶意梯度对全局受损模型的影响；最后，利用预测到的全局梯度更新方向对全局受损模型参数进行更新。
具体地，请一并参见图1至图3，本实施例面向投毒受损联邦学习的模型修复方法包括如下步骤：
S1：利用未遭受投毒攻击之前的良性模型参数对受损全局模型的模型参数进行初始化，并将初始的良性模型参数发送至所有良性客户端。
需要预先说明的是，本发明在联邦学习的训练过程中，服务器利用日志记录保存每一轮更新迭代后的全局模型参数wt，当执行到第T轮迭时，服务器日志记录保存了T个全局模型参数W＝{wt,t∈[1,T]}。当服务器检测到该联邦学习模型在第j(j<T)轮迭代后遭受到投毒攻击，即从第j+1轮迭代遭受投毒攻击使得全局模型受损，此时服务器日志回溯第j轮未被攻击的良性模型参数wj，利用良性模型参数wj作为初始良性模型参数在第j轮迭代开始对受损模型进行N轮校正训练。
全局模型在第j轮迭代，也就是在遭受投毒攻击的前一次迭代开始进行校正，此时删除m个恶意客户端，服务器对剩余的n-m个良性客户端进行校正训练；在校正训练开始时，服务器将未遭受投毒攻之前最后一次迭代全局模型的良性模型参数wj分发至n-m个良性客户端。
S2：所述良性客户端使用本地数据集对所述良性模型参数进行训练，获得本地模型梯度并上传至服务器。
如上所述，在校正阶段，需要利用初始的良性模型参数wj在第j轮迭代开始对受损模型进行N轮校正训练，在校正训练的第t轮迭代过程中，每个良性客户端使用本地数据集Di对服务器分发的良性全局模型参数进行训练，计算本地模型梯度/>并将其上传给服务器，其中，本地模型梯度/>的计算公式为/>其中，f表示本地梯度计算函数，i∈{n-m}，/>表示在校正阶段的第t轮迭代过程中服务器分发的良性全局模型参数，/>表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度。
示例性地，在校正训练的第1轮迭代过程中，服务器将此时的良性模型参数wj分发给n-m个良性客户端，此时的良性模型参数wj作为进行第1轮校正训练时的良性全局模型参数，每个良性客户端使用本地数据集Di对/>进行训练，计算第1轮校正训练时的本地模型梯度/>
S3：所述服务器根据所述本地模型梯度更新校正阶段的全局模型参数。
在本实施例中，步骤S3具体包括：
S3.1：在校正训练的第t轮迭代过程中，服务器聚合所有良性客户端上传的本地模型梯度获得全局聚合良性梯度/>计算公式为/>其中，/>表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度，n表示初始客户端的总数，m表示已删除的恶意客户端的数量；
S3.2：利用所述全局聚合良性梯度更新校正阶段的全局模型参数，更新公式为：其中，α为学习率；
S3.3：服务器日志记录保存更新后校正阶段的的全局模型参数并且将全局模型参数/>分发至每个良性客户端；
S3.4：令当前迭代次数t＝t+1，重复步骤S2和步骤S3共N次，服务器获得N+1个更新后的校正阶段的全局模型参数
需要说明的是，校正训练的轮次N远小于T(T表示发现遭受投毒攻击时已经联邦学习训练的总迭代轮次)，即只需要客户端参与少量的训练过程。
当迭代轮次t≥j+N时，对受损全局模型进行修复。追溯服务器日志记录的历史全局良性及受损模型参数，利用历史全局模型参数信息来预测全局梯度更新方向，最后对全局受损模型参数进行更新。
在联邦学习迭代训练过程中会产生聚合梯度、全局模型参数等数据，本发明将训练过程中的全局模型参数记录在服务器，实现了高效可追溯的联邦学习模型修复机制。
S4：获取良性全局模型与受损全局模型的参数差ΔWN和聚合梯度差ΔGN。
本步骤具体包括：
S4.1：追溯服务器日志记录，分别获取最近的N个良性全局模型参数及N个受损全局模型参数WN，/>WN＝{wi}，i∈[t-N+1,t]，其中，/>表示第i个良性全局模型参数，wi表示第i个受损全局模型参数；
S4.2：计算良性全局模型与受损全局模型的参数差ΔWN，计算公式为
S4.3：追溯服务器日志记录，分别获取最近的N个良性全局模型的聚合梯度及受损全局模型的聚合梯度GN，其中，/> 表示向前追溯的第i个良性全局模型的聚合梯度，gi表示向前追溯的第i个良性全局模型的聚合梯度；
S4.4：计算良性全局模型与受损全局模型的聚合梯度差ΔGN，计算公式为
S5：利用所述参数差和所述聚合梯度差计算近似黑塞矩阵。
在本实施例中，基于L-BFGS算法计算近似黑塞矩阵Ht，计算公式为Ht＝LBFGS(ΔWN,ΔGN)。
L-BFGS算法通过构建近似的黑塞矩阵来更新搜索方向，以此来预测模型良性梯度下降方向。在每次迭代中，L-BFGS算法会存储最近一些步长的历史信息，并利用这些历史信息来逼近黑塞矩阵。近似黑塞矩阵Dk的迭代公式为：
其中，sk,yk是最近N次迭代的历史信息，sk＝ΔWN[k],yk＝ΔGN[k]，k表示近似黑塞矩阵迭代的次数，k＜N，为了得到最终的近似黑塞矩阵Hk，算法需选择一个初始的矩阵D0，D0一般设置为这个过程会一直迭代N次，N次迭代结束后令Ht＝DN，获得最终的近似黑塞矩阵Ht。
S6：利用所述近似黑塞矩阵更新全局模型参数。
首先，预测当前第t轮的聚合梯度。根据柯西中值定理，利用步骤5得到的近似黑塞矩阵计算全局模型的聚合梯度计算公式为/>其中/>
然后，更新并保存全局模型参数。使用聚合梯度来更新模型参数/>得到修复后的全局模型参数/>计算公式为/>最后，服务器日志记录保存此轮修复后的全局模型参数/>
S7：利用更新后的全局模型参数对良性全局模型与受损全局模型的参数差和聚合梯度差进行迭代更新，并获得最终修复完成的全局模型模型参数。
具体地，分别删除数组ΔWN和数组ΔGN中的第一个元素，并分别在ΔWN和ΔGN的末尾添加Δwt+1和Δgt，其中，最后，令当前迭代轮次t＝t+1，重复步骤S5至S7，直至当前迭代轮次t＝T，获得修复完成后的全局模型模型参数wT。
需要说明的是，基于L-BFGS对受损模型进行若干轮迭代修复后，可以重复执行一次步骤S1至S4来获取更精确的模型梯度下降方向信息，以此进一步提高模型修复后的性能。
S8：将修复完成后的全局模型模型参数wT分发给良性客户端。
本发明提供了一种面向投毒受损联邦学习的模型修复方法，通过服务器日志记录对投毒轨迹进行追溯，基于L-BFGS算法计算近似黑塞矩阵来预测良性聚合梯度下降方向，能够对受损模型进行高效修复；一方面，此方法充分利用了联邦学习模型的已有知识信息来预测模型梯度更新的方向，免去了客户端重训练所需要的沉重计算和通信开销，降低模型修复过程所需的大量算力成本；另一方面，此方法突破投毒参数残留问题导致的模型性能无法修复的瓶颈，提高了模型修复的效率，同时提升了模型的可用性、完整性和鲁棒性。
本发明提供了一种联邦学习受损模型高效修复的方法，在完成N轮校正训练后，不再需要客户端参与训练，克服了现有技术中需要客户端一直参与训练修复的缺陷，能够极大地减轻客户端与服务端的通信开销，降低模型修复过程所需的大量算力成本，加快模型修复速度，提高模型修复效率。
本发明建设性地设计了受损模型的高效可追溯预测性修复方法，通过在修复阶段追溯日志的历史模型参数信息，利用已有历史知识信息来预测受损模型的梯度更新的方向，能够精确高效地修复受损模型。服务器通过修复模块追溯日志的历史N轮校正训练得到的良性全局模型参数和之前记录的受损模型参数，计算获得N个良性与受损模型参数差ΔWN及聚合梯度差ΔGN作为L-BFGS算法的输入，计算一个近似黑塞矩阵来预测模型梯度下降方向，利用柯西中值定理实现对受损模型参数的矫正修复。相比现有的数据遗忘技术，该修复算法充分地利用了已有的历史受损模型信息，突破了投毒参数残留问题导致的模型性能无法修复的瓶颈，降低了计算开销，提高了模型修复的效率，同时提升了模型的可用性、完整性和鲁棒性。
本发明的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中所述面向投毒受损联邦学习的模型修复方法的步骤。本发明的再一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述面向投毒受损联邦学习的模型修复方法的步骤。具体地，上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (6)
1.一种面向投毒受损联邦学习的模型修复方法，其特征在于，包括：
S1：利用未遭受投毒攻击之前的良性模型参数对受损全局模型的模型参数进行初始化，并将初始的良性模型参数发送至所有良性客户端；
S2：所述良性客户端使用本地数据集对所述良性模型参数进行训练，获得本地模型梯度并上传至服务器；
S3：所述服务器根据所述本地模型梯度更新校正阶段的全局模型参数；
S4：获取良性全局模型与受损全局模型的参数差和聚合梯度差；
S5：利用所述参数差和所述聚合梯度差计算近似黑塞矩阵；
S6：利用所述近似黑塞矩阵更新修复阶段的全局模型参数；
S7：利用所述修复阶段的全局模型参数对良性全局模型与受损全局模型的参数差和聚合梯度差进行迭代更新，重复步骤S5至S6，获得最终修复完成的全局模型模型参数，
具体地，所述S5包括：
S5.1：利用L-BFGS算法，构建近似黑塞矩阵的迭代公式：
其中，sk＝ΔWN[k],yk＝ΔGN[k]，k表示近似黑塞矩阵迭代的次数，k＜N，ΔWN表示良性全局模型与受损全局模型的参数差，ΔGN表示良性全局模型与受损全局模型的聚合梯度差；
S5.2：选择一个初始的矩阵D0：
S5.3：N次迭代结束后令Ht＝DN，获得最终的近似黑塞矩阵Ht；
所述S6包括：
S6.1：根据柯西中值定理，利用所述近似黑塞矩阵Ht计算全局模型的聚合梯度计算公式为/>其中，/> 表示向前追溯的第t个良性全局模型参数，wt表示向前追溯的第t个受损全局模型参数；
S6.2：使用聚合梯度更新模型参数/>得到修复后的全局模型参数/>计算公式为α为学习率；
S6.3：在服务器日志记录保存此轮修复后的全局模型参数
所述S7包括：
分别删除数组ΔWN和数组ΔGN中的第一个元素，并分别在ΔWN和ΔGN的末尾添加Δwt+1和Δgt，其中，
令当前迭代轮次t＝t+1，重复步骤S5至S7，直至当前迭代轮次t＝T，获得修复完成后的全局模型模型参数wT。
2.根据权利要求1所述的面向投毒受损联邦学习的模型修复方法，其特征在于，所述S1包括：
删除m个恶意客户端，服务器将未遭受投毒攻之前最后一次迭代全局模型的良性模型参数wj分发至n-m个良性客户端，其中，n表示初始客户端的总数，j表示第j次迭代，即未遭受投毒攻之前的最后一次迭代。
3.根据权利要求1所述的面向投毒受损联邦学习的模型修复方法，其特征在于，所述S2包括：
在校正训练的第t轮迭代过程中，每个良性客户端使用本地数据集Di对服务器分发的良性全局模型参数进行训练，获得本地模型梯度/>并将所述本地模型梯度/>上传至服务器，其中，所述本地模型梯度/>的计算公式为/>其中，f表示本地梯度计算函数，i∈{n-m}，/>表示在校正训练的第t轮迭代过程中服务器分发的良性全局模型参数，表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度，n表示初始客户端的总数，m表示已删除的恶意客户端的数量。
4.根据权利要求1所述的面向投毒受损联邦学习的模型修复方法，其特征在于，所述S3包括：
S3.1：在校正训练的第t轮迭代过程中，服务器聚合所有良性客户端上传的本地模型梯度获得全局聚合良性梯度/>计算公式为/>其中，/>表示第i个良性客户端在校正阶段的第t轮迭代过程中获得的本地模型梯度，n表示初始客户端的总数，m表示已删除的恶意客户端的数量；
S3.2：利用所述全局聚合良性梯度更新校正阶段的全局模型参数，更新公式为：其中，α为学习率；
S3.3：服务器日志记录保存更新后的校正阶段的全局模型参数并且将所述全局模型参数/>分发至每个良性客户端；
S3.4：令当前迭代次数t＝t+1，重复步骤S2和步骤S3共N次，服务器获得N+1个更新后的校正阶段的全局模型参数
5.根据权利要求4所述的面向投毒受损联邦学习的模型修复方法，其特征在于，所述S4包括：
S4.1：追溯服务器日志记录，获取最近的N个良性全局模型参数及N个受损全局模型参数WN，/>WN＝{wi}，i∈[t-N+1,t]，其中，/>表示向前追溯的第i个良性全局模型参数，wi表示向前追溯的第i个受损全局模型参数；
S4.2：计算良性全局模型与受损全局模型的参数差ΔWN，计算公式为
S4.3：追溯服务器日志记录，获取最近的N个良性全局模型的聚合梯度及受损全局模型的聚合梯度GN，其中，/>i∈[t-N,t-1]，表示向前追溯的第i个良性全局模型的聚合梯度，gi表示向前追溯的第i个良性全局模型的聚合梯度；
S4.4：计算良性全局模型与受损全局模型的聚合梯度差ΔGN，计算公式为
6.根据权利要求1至5中任一项所述的面向投毒受损联邦学习的模型修复方法，其特征在于，还包括：
S8：将修复完成后的全局模型模型参数分发至良性客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843011.5A CN117094410B (zh) | 2023-07-10 | 2023-07-10 | 一种面向投毒受损联邦学习的模型修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843011.5A CN117094410B (zh) | 2023-07-10 | 2023-07-10 | 一种面向投毒受损联邦学习的模型修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117094410A CN117094410A (zh) | 2023-11-21 |
| CN117094410B true CN117094410B (zh) | 2024-02-13 |
Family
ID=88774212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843011.5A Active CN117094410B (zh) | 2023-07-10 | 2023-07-10 | 一种面向投毒受损联邦学习的模型修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117094410B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364943A (zh) * | 2020-12-10 | 2021-02-12 | 广西师范大学 | 一种基于联邦学习的联邦预测方法 |
| CN113762525A (zh) * | 2021-09-07 | 2021-12-07 | 桂林理工大学 | 一种具有差分隐私保护的联邦学习模型训练方法 |
| CN114266361A (zh) * | 2021-12-30 | 2022-04-01 | 浙江工业大学 | 基于模型权重更迭的联邦学习搭便车防御方法和装置 |
| WO2022110720A1 (zh) * | 2020-11-24 | 2022-06-02 | 平安科技（深圳）有限公司 | 基于选择性梯度更新的联邦建模方法及相关设备 |
| WO2022141839A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技（深圳）有限公司 | 联邦学习模型的更新方法、装置、电子设备及存储介质 |
| CN115333825A (zh) * | 2022-08-10 | 2022-11-11 | 浙江工业大学 | 针对联邦学习神经元梯度攻击的防御方法 |
| CN115668234A (zh) * | 2020-06-05 | 2023-01-31 | 谷歌有限责任公司 | 联邦学习中服务器有效的隐私增强 |
| CN116029369A (zh) * | 2023-02-10 | 2023-04-28 | 中国海洋大学 | 一种基于联邦学习的后门攻击防御方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230214713A1 (en) * | 2022-01-03 | 2023-07-06 | Samsung Electronics Co., Ltd. | Method and apparatus for communication efficient federated learning with global model compression |
-
2023
- 2023-07-10 CN CN202310843011.5A patent/CN117094410B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115668234A (zh) * | 2020-06-05 | 2023-01-31 | 谷歌有限责任公司 | 联邦学习中服务器有效的隐私增强 |
| WO2022110720A1 (zh) * | 2020-11-24 | 2022-06-02 | 平安科技（深圳）有限公司 | 基于选择性梯度更新的联邦建模方法及相关设备 |
| CN112364943A (zh) * | 2020-12-10 | 2021-02-12 | 广西师范大学 | 一种基于联邦学习的联邦预测方法 |
| WO2022141839A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技（深圳）有限公司 | 联邦学习模型的更新方法、装置、电子设备及存储介质 |
| CN113762525A (zh) * | 2021-09-07 | 2021-12-07 | 桂林理工大学 | 一种具有差分隐私保护的联邦学习模型训练方法 |
| CN114266361A (zh) * | 2021-12-30 | 2022-04-01 | 浙江工业大学 | 基于模型权重更迭的联邦学习搭便车防御方法和装置 |
| CN115333825A (zh) * | 2022-08-10 | 2022-11-11 | 浙江工业大学 | 针对联邦学习神经元梯度攻击的防御方法 |
| CN116029369A (zh) * | 2023-02-10 | 2023-04-28 | 中国海洋大学 | 一种基于联邦学习的后门攻击防御方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| Pocket Diagnosis: Secure Federated Learning Against Poisoning Attack in the Cloud;Zhuoran Ma, Jianfeng Ma , Yinbin Miao , Ximeng Liu , Member, IEEE, Kim-Kwang Raymond Choo , Senior Member, IEEE, and Robert H. Deng , Fellow, IEEE;IEEE TRANSACTIONS ON SERVICES COMPUTING;第15卷(第6期);第3429-3442页 * |
| ShieldFL: Mitigating Model Poisoning Attacks in Privacy-Preserving Federated Learning;zhuoran ma;IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY;第17卷;1639-1654 * |
| 周俊 ; 方国英 ; 吴楠 ; .联邦学习安全与隐私保护研究综述.西华大学学报(自然科学版).2020,(第04期),全文. * |
| 基于数据复杂度的投毒数据检测方法;亢飞;李建彬;;计算机应用研究(第07期);全文 * |
| 联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版)(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117094410A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967609B (zh) | 模型参数验证方法、设备及可读存储介质 | |
| CN115378733B (zh) | 一种基于动态图嵌入的多步攻击场景构建方法及系统 | |
| Chen et al. | Temporal watermarks for deep reinforcement learning models | |
| Liu et al. | Concurrent weight encoding-based detection for bit-flip attack on neural network accelerators | |
| US20230214500A1 (en) | Flexible risk assessment and management system for integrated risk and value analysis | |
| CN114448601A (zh) | 基于端边云架构的分布式联邦学习的安全防御方法及应用 | |
| Fang et al. | Proof-of-learning is currently more broken than you think | |
| Liu et al. | A survey on federated unlearning: Challenges, methods, and future directions | |
| Senen-Cerda et al. | Almost sure convergence of dropout algorithms for neural networks | |
| Wu et al. | Watermarking pre-trained encoders in contrastive learning | |
| CN117094410B (zh) | 一种面向投毒受损联邦学习的模型修复方法 | |
| CN112632051B (zh) | 基于神经网络的数据库清理方法及系统 | |
| CN107943754B (zh) | 一种基于遗传算法的异构冗余系统优化方法 | |
| CN110290101B (zh) | 智能电网环境中基于深度信任网络的关联攻击行为识别方法 | |
| Xu et al. | A novel method for identifying the deep neural network model with the serial number | |
| CN114202397A (zh) | 基于神经元激活值聚类的纵向联邦学习后门防御方法 | |
| CN112118259B (zh) | 一种基于提升树的分类模型的越权漏洞检测方法 | |
| CN115134114A (zh) | 基于离散混淆自编码器的纵向联邦学习攻击防御方法 | |
| CN114239049A (zh) | 基于参数压缩的面向联邦学习隐私推理攻击的防御方法 | |
| Poursiami et al. | Watermarking Neuromorphic Brains: Intellectual Property Protection in Spiking Neural Networks | |
| WO2023010315A1 (en) | Method and apparatus for effective injection attacks on graph neural network | |
| US20230121374A1 (en) | Systems and methods for robust watermarking of deep neural networks | |
| Wang et al. | Making Watermark Survive Model Extraction Attacks in Graph Neural Networks | |
| CN117390685B (zh) | 一种基于遗忘学习的行人重识别数据隐私保护方法和系统 | |
| CN116738429B (zh) | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |