CN114997420B - 基于分割学习和差分隐私融合的联邦学习系统和方法 - Google Patents

基于分割学习和差分隐私融合的联邦学习系统和方法 Download PDF

Info

Publication number
CN114997420B
CN114997420B CN202210924160.XA CN202210924160A CN114997420B CN 114997420 B CN114997420 B CN 114997420B CN 202210924160 A CN202210924160 A CN 202210924160A CN 114997420 B CN114997420 B CN 114997420B
Authority
CN
China
Prior art keywords
model
global model
participants
global
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210924160.XA
Other languages
English (en)
Other versions
CN114997420A (zh
Inventor
郑飞州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongping Intelligent Technology Co ltd
Original Assignee
Guangzhou Zhongping Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongping Intelligent Technology Co ltd filed Critical Guangzhou Zhongping Intelligent Technology Co ltd
Priority to CN202210924160.XA priority Critical patent/CN114997420B/zh
Publication of CN114997420A publication Critical patent/CN114997420A/zh
Application granted granted Critical
Publication of CN114997420B publication Critical patent/CN114997420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及人工智能领域，具体涉及一种基于分割学习和差分隐私融合的联邦学习系统和方法，所述系统包括：主参与方（master），用于构建整体模型结构；参数服务器（server），用于分发全局模型结构至其他参与方（client），并将其他参与方上传的全局模型参数进行聚合构建出一个新的全局模型；其他参与方，用于私有模型结构的构建，并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练，并将训练好的全局模型参数上传至参数服务器。本公开通过分割学习的思想，将参与方构建的模型划分为全局模型和私有模型，参与方只会共享局部模型梯度，并引入差分隐私机制，极大地降低了梯度泄露数据的风险。

Description

基于分割学习和差分隐私融合的联邦学习系统和方法
技术领域
本公开涉及人工智能领域，具体涉及一种基于分割学习和差分隐私融合的联邦学习系统和方法。
背景技术
如今随着深度学习理论和技术的创新，在众多领域中浮现出了基于深度学习的应用，如医疗诊断，金融风控和智能交通等。但当前深度学习模型若要取得优异的性能仍需要大量的训练数据作为支撑，因此在数据不离本地的隐私考虑下，基于联邦学习的联合建模的框架得到了广泛的应用。
传统的联邦学习框架是利用各参与方的数据价值，构建出一个全局的深度学习模型。目前传统的联邦学习中，所有参与方会在参数和结构一致的全局模型上进行联合建模，各参与方利用本地数据来对全局模型训练，并共享所有的模型梯度信息进行多方建模，然而这种训练策略已被证实各参与方共享的全局模型梯度存在着泄露训练数据的风险，其主要原因是各参与方共享了所有的模型梯度。另外，传统的联邦学习试图通过一个全局模型来掌握所有参与方的数据特点是困难的，因为每一个参与方的数据分布存在着一定差异，此做法在实际中并不能使得所有参与方都得到模型性能上的增益。
发明内容
本公开提供一种基于分割学习和差分隐私融合的联邦学习系统和方法，通过分割学习的思想，将参与方构建的模型划分为全局模型和私有模型，而在联合建模中，参与方只会共享局部模型梯度（即全局模型梯度），并在全局模型梯度中引入差分隐私机制，极大地降低了梯度泄露数据的风险；另外，由于私有模型只在参与方本地训练，因此可以把握住参与方的数据分布，满足个性化联邦学习的需求。
本公开提供以下技术方案来解决上述技术问题：
作为本公开实施例的一个方面，提供一种基于分割学习和差分隐私融合的联邦学习系统，包括：
主参与方，用于构建整体模型结构，所述整体模型结构的开头部分为私有模型结构，所述整体模型结构除了所述开头部分的其余部分是全局模型结构，将所述全局模型结构上传至参数服务器；
参数服务器，用于分发全局模型结构至其他参与方，并将其他参与方上传的全局模型参数进行聚合构建出一个新的全局模型；
其他参与方，用于私有模型结构的构建，并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练，并将训练好的全局模型参数上传至参数服务器；
其中，整体模型、全局模型、私有模型均为神经网络模型。
可选地，其他参与方还用于更新私有模型结构参数和共享引入差分隐私的全局模型梯度。
可选地，所述参数服务器还用于将聚合的全局模型梯度构成新的全局模型参数，并将其分发给主参与方和其他参与方。
可选地，所述主参与方还用于终止参数服务器和其他参与方的全局模型构建和整体模型的训练和更新任务。
可选地，所述主参与方构建整体模型结构联合建模具体为：整体模型由私有模型
Figure 434673DEST_PATH_IMAGE001
和全局模型
Figure 871470DEST_PATH_IMAGE002
组成，所述私有模型
Figure 561077DEST_PATH_IMAGE001
由参数
Figure 741523DEST_PATH_IMAGE003
描述，所述全局模型
Figure 216498DEST_PATH_IMAGE002
由参数
Figure 824197DEST_PATH_IMAGE004
描述，设当前的训练样本为
Figure 142046DEST_PATH_IMAGE005
，
Figure 985237DEST_PATH_IMAGE006
为样本特征，
Figure 704931DEST_PATH_IMAGE007
为样本标签，损失函数记为
Figure 358897DEST_PATH_IMAGE008
，整体模型的训练目的是通过更新参数使得所得样本的损失函数值
Figure 164042DEST_PATH_IMAGE009
最小化，损失函数值
Figure 686291DEST_PATH_IMAGE009
的公式如下：
Figure 119546DEST_PATH_IMAGE010
。
其中，损失函数值
Figure 334627DEST_PATH_IMAGE009
是衡量整体模型的预测值
Figure 361488DEST_PATH_IMAGE011
与样本标签
Figure 559864DEST_PATH_IMAGE012
的差距。
可选地，所述全局模型梯度
Figure 988571DEST_PATH_IMAGE013
的公式如下：
Figure 374553DEST_PATH_IMAGE014
，
其中，全局模型梯度为损失函数值
Figure 278924DEST_PATH_IMAGE009
对模型参数
Figure 408554DEST_PATH_IMAGE015
的导数。
可选地，其他参与方会在本地独立完成对私有模型参数的更新，其中
Figure 691768DEST_PATH_IMAGE016
为私有模型参数更新的学习率，其更新公式如下：
Figure 124018DEST_PATH_IMAGE017
。
作为本公开实施例的另一方面，提供一种基于分割学习和差分隐私融合的联邦学习方法，包括如下步骤：
S10、主参与方构建整体模型结构，所述整体模型结构的开头部分为私有模型结构，所述整体模型结构除了所述开头部分的其余部分是全局模型结构；
S20、将所述全局模型结构上传至参数服务器；
S30、参数服务器分发全局模型结构至其他参与方，其他参与方构建私有模型结构并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练；
S40、所述参数服务器将其他参与方上传的全局模型梯度进行加权平均构建出一个新的全局模型，并将新的全局模型参数分发给主参与方和其他参与方，所述新的全局模型F的参数
Figure 125472DEST_PATH_IMAGE018
描述如下：
Figure 58793DEST_PATH_IMAGE019
，
Figure 196513DEST_PATH_IMAGE020
，
其中，
Figure 48931DEST_PATH_IMAGE021
为全局模型参数更新的学习率，N为所有参与方的数目，
Figure 537681DEST_PATH_IMAGE022
为第i个参与方的权重，
Figure 618901DEST_PATH_IMAGE023
为第i个参与方上传的全局模型梯度；
S50、所述主参与方和其他参与方在得到新的全局模型参数后，通过随机参与建模来选择本轮迭代是否参与，参与本次迭代的参与方执行整体模型的联合建模；
S60、重复步骤S40和S50进行反复迭代，直至主参与方提出终止联合建模任务为止。
可选地，所述主参与方构建整体模型结构的联合建模具体为：整体模型由私有模型
Figure 345549DEST_PATH_IMAGE024
和全局模型
Figure 837710DEST_PATH_IMAGE025
组成，所述私有模型
Figure 157964DEST_PATH_IMAGE024
由参数
Figure 433087DEST_PATH_IMAGE026
描述，所述全局模型
Figure 810979DEST_PATH_IMAGE025
由参数
Figure 739621DEST_PATH_IMAGE027
描述，设当前的训练样本为
Figure 202963DEST_PATH_IMAGE005
，
Figure 16198DEST_PATH_IMAGE028
为样本特征，
Figure 855454DEST_PATH_IMAGE029
为样本标签，损失函数记为
Figure 423838DEST_PATH_IMAGE030
，整体模型的训练目的是通过更新参数使得所得样本的损失函数值
Figure 718685DEST_PATH_IMAGE031
最小化，损失函数值
Figure 335611DEST_PATH_IMAGE031
的公式如下：
Figure 156936DEST_PATH_IMAGE032
。
其中，损失函数值
Figure 427381DEST_PATH_IMAGE031
是衡量整体模型的预测值
Figure 599736DEST_PATH_IMAGE011
与样本标签
Figure 630140DEST_PATH_IMAGE033
的差距。
可选地，所述全局模型梯度
Figure 571551DEST_PATH_IMAGE034
的公式如下：
Figure 153842DEST_PATH_IMAGE035
，其他参与方会在本地独立完成对私有模型参数的更新，其中
Figure 672548DEST_PATH_IMAGE036
为私有模型参数更新的学习率，其更新公式如下：
Figure 631277DEST_PATH_IMAGE037
。
本公开的有益效果为：
1）实现共享局部模型梯度的联邦学习构建策略
本公开提出私有模型加全局模型来构建参与方的整体模型，其中私有模型的参数仅在各参与方的本地数据上训练和更新，任何信息都不会共享；而在本地数据上计算而得的全局模型梯度会共享给参数服务器进行梯度聚合，实现各参与方联合建模的目的；因此，参与方只会共享局部模型梯度（即全局模型梯度），在很大程度上降低了梯度泄露训练数据的风险。
2）实现具有差分攻击防御效果的联邦学习构建策略
本公开提出各参与方需要对共享的全局模型梯度加上差分隐私防御机制，其中差分隐私的预算由各参与方独立管理，除此之外，参与方是否参与某一轮的联合建模遵循随机选择机制，两者都在一定程度上增加了差分攻击防御效果。
3）实现满足个性化联邦学习的模型构建方法
本公开提出的模型构建方法中，私有模型的参数仅依靠各参与方的本地数据进行更新，因此私有模型会充分把握住本地数据的特点或任务需求，而全局模型的参数是依靠所有参与方的本地数据进行联合构建的，利用了联邦学习的建模优势，在一定程度上增加了模型的泛化能力，因此两种模型的结合实现了个性化联邦学习的需求。
附图说明
图1为本公开实施例中的整体模型框架图；
图2为本公开实施例中的基于分割学习与差分隐私融合的联邦学习方法流程图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
请参阅附图1-2， 本公开实施例提供一种基于分割学习与差分隐私融合的联邦学习系统，所述系统主要主参与方（master）、参数服务器（server）和其他参与方（client）组成。联合建模任务主要由主参与方发起，在参数服务器的协调下，各参与方完成私有模型的构建和全局模型梯度共享，参数服务器负责全局模型的聚合。
本发明方法的基本思路为，主参与方首先负责构建整体模型结构，整体模型的结构如图2所示，模型的开头部分是私有模型结构，模型的其余部分是全局模型结构，并将全局模型结构上传至参数服务器；参数服务器负责分发全局模型结构；每个参与方自主负责私有模型的构建，并加上全局模型结构，构成整体模型（每个参与方的整体模型的开头部分都是由自己设计私有模型组成），并利用本地数据独自完成对整体模型的预训练；各参与方将训练好的全局模型的参数上传至参数服务器，参数服务器负责将所有的全局模型参数进行聚合，并构建出一个新的全局模型；接下来进入到反复迭代的过程，各参与方负责用本地数据来训练整体模型，并更新私有模型参数和共享引入差分隐私的全局模型梯度，参数服务器负责聚合全局模型梯度，并分发新的全局模型参数，此过程直至主参与方提出终止任务为止。系统的各部分的具体内容说明如下：
1）主参与方
1.1）整体模型构建：负责设计整体的神经网络模型结构，并将模型的前若干层结构列为私有模型结构，其余部分列为全局模型结构。
1.2）全局模型结构共享：负责将全局模型结构上传至参数服务器。
1.3）整体模型预训练：负责独立地利用本地数据对整体模型进行训练。
1.4）全局模型参数共享：负责将预训练的整体模型中的全局模型参数上传至参数服务器。
1.5）整体模型的联合建模：整体模型由私有模型
Figure 692774DEST_PATH_IMAGE038
(由参数
Figure 586912DEST_PATH_IMAGE039
描述)和全局模型
Figure 733859DEST_PATH_IMAGE040
(由参数
Figure 965121DEST_PATH_IMAGE041
描述)组成，设当前的训练样本为
Figure 5758DEST_PATH_IMAGE042
，
Figure 195431DEST_PATH_IMAGE043
为样本特征，
Figure 829674DEST_PATH_IMAGE044
为样本标签（或目标值），损失函数记为
Figure 130206DEST_PATH_IMAGE045
。模型的训练目的是通过更新参数使得所得样本的损失函数值
Figure 531010DEST_PATH_IMAGE046
最小化，如公式（1）所示。
Figure 891585DEST_PATH_IMAGE047
在联合建模中，基于当前训练样本而得的全局模型梯度会上传至参数服务器，全局模型梯度的描述如公式（2）所示。
Figure 872179DEST_PATH_IMAGE048
其他参与方会在本地独立完成对私有模型参数的更新，其更新描述如公式（3）所示，其中
Figure 710822DEST_PATH_IMAGE049
为私有模型参数更新的学习率。
Figure 601417DEST_PATH_IMAGE050
1.6）差分隐私引入：负责对上传的全局模型梯度进行差分隐私预算的控制，即对每次上传的全局模型梯度都加上一定强度的高斯噪声和模大小裁剪，进一步降低梯度泄露数据的风险。
1.7）模型推理（应用）：负责将待识别样本特征
Figure 132893DEST_PATH_IMAGE051
经训练好的整体模型（私有模型+全局模型）输出预测标签或预测值
Figure 351516DEST_PATH_IMAGE052
，其计算描述为公式（4）所示。
Figure 259429DEST_PATH_IMAGE053
）参数服务器
2.1）各参与方管理：负责参与方的身份验证和接入联合构建系统。
2.2）模型结构分发：在联合建模初期，负责将全局模型结构分发至各参与方。
2.3）模型参数聚合：在联合建模初期，负责将各参与方预训练的全局模型进行聚合，聚合方式为将全局模型的参数进行均值化计算，以构成新的全局模型参数。
2.4）模型参数分发：负责与各参与方进行通信，并将最新的模型参数
Figure 4531DEST_PATH_IMAGE054
分发至各参与方。
2.5）模型梯度聚合：负责将各参与方上传的全局模型梯度进行聚合，聚合方式为将全局模型的梯度进行均值化计算
Figure 706908DEST_PATH_IMAGE055
，并更新全局模型参数，以构成新的全局模型，其更新描述如公式（5）所示。其中
Figure 662094DEST_PATH_IMAGE056
为全局模型参数更新的学习率。
Figure 842540DEST_PATH_IMAGE057
）其余参与方（非主参与方）
3.1）私有模型构建：负责根据参数服务器下发的全局模型结构，设计出与其适配的私有模型结构，并构成本地的整体模型。
3.2）整体模型预训练：负责独立地利用本地数据对整体模型进行训练。
3.3）全局模型参数共享：负责将预训练的整体模型中的全局模型参数上传至参数服务器。
3.4）整体模型的联合建模：该模块所负责的具体内容与主参与方的对应模块内容一致。
3.5）差分隐私引入：负责对上传的全局模型梯度进行差分隐私预算的控制，即对每次上传的全局模型梯度都加上一定强度的高斯噪声和模大小裁剪，进一步降低梯度泄露数据的风险。
3.6）随机参与建模：参与方并非每一次迭代都参与，其是否参与遵循一定的随机机制，此机制可以在一定程度上减少泄露数据的风险。
3.7）模型推理（应用）：负责将待识别样本特征
Figure 707728DEST_PATH_IMAGE058
经训练好的整体模型输出预测标签或预测值
Figure 581006DEST_PATH_IMAGE059
。
作为本公开实施例的另一方面，基于上述系统，还提供一种基于分割学习和差分隐私融合的联邦学习方法，包括如下步骤：
S10、主参与方构建整体模型结构，所述整体模型结构的开头部分为私有模型结构，所述整体模型结构除了所述开头部分的其余部分是全局模型结构；
S20、将所述全局模型结构上传至参数服务器；
S30、参数服务器分发全局模型结构至其他参与方，其他参与方构建私有模型结构并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练；
S40、所述参数服务器将其他参与方上传的全局模型参数进行聚合构建出一个新的全局模型，并将新的全局模型参数分发给主参与方和其他参与方；
S50、所述主参与方和其他参与方在得到新的全局模型参数后，通过随机参与建模来选择本轮迭代是否参与，参与本次迭代的参与方执行整体模型的联合建模；
S60、重复步骤S40和S50进行反复迭代，直至主参与方提出终止联合建模任务为止。
作为一种可选的实施方式，所述主参与方构建整体模型结构的联合建模具体为：整体模型由私有模型
Figure 774221DEST_PATH_IMAGE060
和全局模型
Figure 492778DEST_PATH_IMAGE061
组成，所述私有模型
Figure 87839DEST_PATH_IMAGE060
由参数
Figure 991073DEST_PATH_IMAGE062
描述，所述全局模型
Figure 796218DEST_PATH_IMAGE061
由参数
Figure 190902DEST_PATH_IMAGE063
描述，设当前的训练样本为
Figure 765103DEST_PATH_IMAGE064
，
Figure 714605DEST_PATH_IMAGE065
为样本特征，
Figure 600521DEST_PATH_IMAGE066
为样本标签，损失函数记为
Figure 926460DEST_PATH_IMAGE067
，整体模型的训练目的是通过更新参数使得所得样本的损失函数值
Figure 699375DEST_PATH_IMAGE068
最小化，损失函数值的公式如下：
Figure 85357DEST_PATH_IMAGE069
。
作为一种可选的实施方式，所述全局模型梯度
Figure 989728DEST_PATH_IMAGE070
的公式如下：
Figure 119358DEST_PATH_IMAGE071
，其他参与方会在本地独立完成对私有模型参数的更新，其中
Figure 136993DEST_PATH_IMAGE072
为私有模型参数更新的学习率，其更新公式如下：
Figure 834822DEST_PATH_IMAGE073
。
上述方法对应的具体执行步骤如下：
S1：主参与方运行整体模型构建，发起联合建模任务；
S2：主参与方执行全局模型结构共享；
S3：参数服务器运行各参与方管理，和模型结构分发；
S4：其他非主参与方运行私有模型构建，构成各自的整体模型结构；
S5：所有参与方利用本地数据运行整体模型预训练；
S6：所有参与方执行全局模型参数共享；
S7：参数服务器运行模型参数聚合，和模型参数分发，构成联合建模初期的全局模型的初始参数并分发给所有参与方；
S8：所有参与方得到最新的全局模型参数后，通过随机参与建模来选择本轮迭代是否参与（其中主参与方每轮迭代都会参与），参与本次迭代的参与方运行整体模型的联合建模，其中差分隐私引入对共享的全局模型梯度进行隐私保护。
S9：参数服务器运行模型梯度聚合，构成最新的全局模型参数，将最新的全局模型参数分发至所有参与方；
S10：重复步骤S8至S9进行反复迭代，直至主参与方提出终止联合建模任务为止。
上述实施例利用分割学习的思想，设计了一种对私有模型加全局模型进行分割的联合建模方法。其中私有模型参数和梯度在整个训练过程中都是不共享的，只有全局模型的梯度是共享的，这有效地实现了局部模型梯度共享的目的，这不仅可以实现降低梯度泄露数据的风险，同时私有模型仅用本地数据训练，可以很好地学习到本都数据的特点，最终构建的整体模型（私有模型+全局模型）更符合各参与方个性化的需求；另外，在对全局模型梯度的共享前，各参与方通过自身设置的差分隐私预算来对共享梯度进行加噪和模大小裁剪。
本公开实施例还提供一种基于上述系统或方法的一种示例性的应用，具体如下：由某一权威医疗机构牵头，众多医疗机构需要联合构建一个可以根据病理学图像进行特定癌症诊断的深度学习模型。应用的具体流程如下：
1）某一权威医疗机构牵头该联合建模任务，作为主参与方，负责构建了一个拥有18层的深度学习模型结构，并将模型的前8层列为私有模型结构，后10层列为全局模型结构，并将全局模型结构上传至参数服务器；
2）参数服务器负责建立与所有参与联合建模的医疗机构的通信和身份验证，并广播收到的全局模型结构；
3）众医疗机构收到全局模型结构后，设计出适配的私有模型结构，适配的重点是确保私有模型的输出维度与全局模型的输入维度保持一致；并构建出整体模型（私有模型+全局模型）；
4）所有参与的医疗机构利用本地所存储的已标记的病理学图像数据对整体模型进行预训练；预训练后，所有参与方都要将预训练好的全局模型参数上传至参数服务器；
5）参数服务器将收到的所有全局模型参数进行聚合，构成联合建模初期的全局模型的初始参数并将此参数共享至所有参与方；
6）所有参与方得到最新的全局模型参数后，会随机决定是否参与本次迭代训练（其中主参与方每轮迭代都会参与），参与本次迭代的参与方通过本地数据来更新私有模型参数，和计算全局模型梯度；其中全局模型梯度需要在参与方的差分隐私预算的调控下加入一定强度的噪声和模大小裁剪后，再上传至参数服务器；
7）参数服务器将受到的全局模型梯度进行聚合，构成最新的全局模型参数，将最新的全局模型参数分发至所有参与方；
8）重复步骤6)至7)，直到牵头的医疗机构提出终止联合建模任务为止。
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于分割学习和差分隐私融合的联邦学习系统，其特征在于，包括：
主参与方，用于构建整体模型结构，所述整体模型结构的开头部分为私有模型结构，所 述整体模型结构除了所述开头部分的其余部分是全局模型结构，将所述全局模型结构上传 至参数服务器；所述主参与方构建整体模型结构联合建模具体为：整体模型由私有模型
Figure 714920DEST_PATH_IMAGE001
和全局模型
Figure 863004DEST_PATH_IMAGE002
组成，所述私有模型
Figure 481067DEST_PATH_IMAGE001
由参数
Figure 938462DEST_PATH_IMAGE003
描述，所述全局模型
Figure 641976DEST_PATH_IMAGE002
由参数
Figure 593752DEST_PATH_IMAGE004
描述，设当前 的训练样本为
Figure 66321DEST_PATH_IMAGE005
，
Figure 710929DEST_PATH_IMAGE006
为样本特征，
Figure 901739DEST_PATH_IMAGE007
为样本标签，损失函数记为
Figure 142359DEST_PATH_IMAGE008
，整体模型的训练目的是 通过更新参数使得所得样本的损失函数值
Figure 593DEST_PATH_IMAGE009
最小化，损失函数值
Figure 550523DEST_PATH_IMAGE009
的公式 如下：
Figure 963050DEST_PATH_IMAGE010
其中，损失函数值
Figure 256628DEST_PATH_IMAGE009
是衡量整体模型的预测值
Figure 703790DEST_PATH_IMAGE011
与样本标签
Figure 939468DEST_PATH_IMAGE007
的 差距；
参数服务器，用于分发全局模型结构至其他参与方，并将其他参与方上传的全局模型参数进行聚合构建出一个新的全局模型；
其他参与方，用于私有模型结构的构建，并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练，并将训练好的全局模型参数上传至参数服务器；其他参与方还用于更新私有模型结构参数和共享引入差分隐私的全局模型梯度；
其中，整体模型、全局模型、私有模型均为神经网络模型。
2.如权利要求1所述的基于分割学习和差分隐私融合的联邦学习系统，其特征在于，所述参数服务器还用于将聚合的全局模型梯度构成新的全局模型参数，并将其分发给主参与方和其他参与方。
3.如权利要求1或2所述的基于分割学习和差分隐私融合的联邦学习系统，其特征在于，所述主参与方还用于终止参数服务器和其他参与方的全局模型构建和整体模型的训练和更新任务。
4.如权利要求1所述的基于分割学习和差分隐私融合的联邦学习系统，其特征在于，所 述全局模型梯度
Figure 104870DEST_PATH_IMAGE012
的公式如下：
Figure 936560DEST_PATH_IMAGE013
，
其中，全局模型梯度为损失函数值
Figure 238228DEST_PATH_IMAGE014
对模型参数
Figure 129961DEST_PATH_IMAGE015
的导数。
5.如权利要求4所述的基于分割学习和差分隐私融合的联邦学习系统，其特征在于，其 他参与方会在本地独立完成对私有模型参数的更新，其中
Figure 517080DEST_PATH_IMAGE016
为私有模型参数更新的学习率， 其更新公式如下：
Figure 418040DEST_PATH_IMAGE017
。
6.一种基于分割学习和差分隐私融合的联邦学习方法，其特征在于，包括如下步骤：
S10、主参与方构建整体模型结构，所述整体模型结构的开头部分为私有模型结构，所 述整体模型结构除了所述开头部分的其余部分是全局模型结构；整体模型由私有模型
Figure 590527DEST_PATH_IMAGE001
和 全局模型
Figure 653160DEST_PATH_IMAGE002
组成，所述私有模型
Figure 527576DEST_PATH_IMAGE001
由参数
Figure 701068DEST_PATH_IMAGE003
描述，所述全局模型
Figure 242908DEST_PATH_IMAGE002
由参数
Figure 476443DEST_PATH_IMAGE004
描述，设当前的 训练样本为
Figure 838154DEST_PATH_IMAGE005
，
Figure 64605DEST_PATH_IMAGE006
为样本特征，
Figure 460951DEST_PATH_IMAGE007
为样本标签，损失函数记为
Figure 865388DEST_PATH_IMAGE008
，整体模型的训练目的是通 过更新参数使得所得样本的损失函数值
Figure 448816DEST_PATH_IMAGE009
最小化，损失函数值
Figure 495269DEST_PATH_IMAGE009
的公式如 下：
Figure 746122DEST_PATH_IMAGE018
其中，损失函数值
Figure 321460DEST_PATH_IMAGE009
是衡量整体模型的预测值
Figure 408496DEST_PATH_IMAGE011
与样本标签
Figure 727482DEST_PATH_IMAGE007
的 差距；
S20、将所述全局模型结构上传至参数服务器；
S30、参数服务器分发全局模型结构至其他参与方，其他参与方构建私有模型结构并加上所述全局模型结构构成整体模型，并利用本地数据独自完成对整体模型的预训练；
S40、所述参数服务器将其他参与方上传的全局模型梯度进行加权平均构建出一个新 的全局模型，并将新的全局模型参数分发给主参与方和其他参与方，所述新的全局模型F的 参数
Figure 832841DEST_PATH_IMAGE004
描述如下：
Figure 579080DEST_PATH_IMAGE019
，
Figure 402680DEST_PATH_IMAGE021
，
其中，
Figure 259777DEST_PATH_IMAGE022
为全局模型参数更新的学习率，N为所有参与方的数目，为第i个参与方的权重， 为第i个参与方上传的全局模型梯度；
S50、所述主参与方和其他参与方在得到新的全局模型参数后，通过随机参与建模来选择本轮迭代是否参与，参与本次迭代的参与方执行整体模型的联合建模；
S60、重复步骤S40和S50进行反复迭代，直至主参与方提出终止联合建模任务为止。
7.如权利要求6所述的方法，其特征在于，所述全局模型梯度
Figure 5928DEST_PATH_IMAGE012
的公式如下：
Figure 923069DEST_PATH_IMAGE013
，其他参与方会在本地独立完成对私有模型参数的更新，其中
Figure 968385DEST_PATH_IMAGE016
为私有模型 参数更新的学习率，其更新公式如下：
Figure 629174DEST_PATH_IMAGE017
。
CN202210924160.XA 2022-08-03 2022-08-03 基于分割学习和差分隐私融合的联邦学习系统和方法 Active CN114997420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924160.XA CN114997420B (zh) 2022-08-03 2022-08-03 基于分割学习和差分隐私融合的联邦学习系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924160.XA CN114997420B (zh) 2022-08-03 2022-08-03 基于分割学习和差分隐私融合的联邦学习系统和方法

Publications (2)

Publication Number Publication Date
CN114997420A CN114997420A (zh) 2022-09-02
CN114997420B true CN114997420B (zh) 2022-12-16

Family

ID=83021145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924160.XA Active CN114997420B (zh) 2022-08-03 2022-08-03 基于分割学习和差分隐私融合的联邦学习系统和方法

Country Status (1)

Country Link
CN (1) CN114997420B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270001B (zh) * 2022-09-23 2022-12-23 宁波大学 基于云端协同学习的隐私保护推荐方法及系统
CN116760634B (zh) * 2023-08-14 2023-11-07 国网天津市电力公司信息通信公司 一种数据隐私保护方法、系统、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591145B (zh) * 2021-07-28 2024-02-23 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113627085B (zh) * 2021-08-20 2024-01-09 深圳前海微众银行股份有限公司 横向联邦学习建模优化方法、设备、介质
CN113762525B (zh) * 2021-09-07 2024-04-05 桂林理工大学 一种具有差分隐私保护的联邦学习模型训练方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法

Also Published As

Publication number Publication date
CN114997420A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114997420B (zh) 基于分割学习和差分隐私融合的联邦学习系统和方法
CN110460600B (zh) 可抵御生成对抗网络攻击的联合深度学习方法
CN110008696A (zh) 一种面向深度联邦学习的用户数据重建攻击方法
CN112329940A (zh) 一种结合联邦学习与用户画像的个性化模型训练方法及系统
Baker An equilibrium conflict model of land tenure in hunter-gatherer societies
CN112948885B (zh) 实现隐私保护的多方协同更新模型的方法、装置及系统
LU504296B1 (en) Privacy protection data sharing method and system based on distributed gan
CN114116705B (zh) 联合学习中确定参与方贡献值的方法及装置
US20230006980A1 (en) Systems and methods for securely training a decision tree
Fu et al. Mixup based privacy preserving mixed collaboration learning
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN116187469A (zh) 一种基于联邦蒸馏学习框架的客户端成员推理攻击方法
CN115952532A (zh) 一种基于联盟链联邦学习的隐私保护方法
CN114116707A (zh) 确定联合学习中参与方贡献度的方法及装置
CN111905377A (zh) 一种数据处理方法、装置、设备及存储介质
CN115879542A (zh) 一种面向非独立同分布异构数据的联邦学习方法
CN116227628A (zh) 基于不变风险最小化博弈机制的联邦学习方法及系统
CN117634594A (zh) 一种具有差分隐私的自适应聚类联邦学习方法
CN117094411A (zh) 一种基于区块链分片的服务器分区联邦学习方法
CN116541831B (zh) 一种基于区块链与联邦学习的双重防御方法
CN118069607A (zh) 异步联邦学习辅助下的区块链数据共享方法
CN117852068A (zh) 一种基于区块链和隐私计算技术的联邦学习隐私保护系统与方法
CN117217328A (zh) 基于约束因子的联邦学习客户端选择方法
CN116451806A (zh) 一种基于区块链的联邦学习激励分配方法及装置
CN114116740B (zh) 用于联合学习中确定参与方贡献度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant