CN114168988A - 一种联邦学习模型聚合方法及电子装置 - Google Patents
一种联邦学习模型聚合方法及电子装置 Download PDFInfo
- Publication number
- CN114168988A CN114168988A CN202111547242.9A CN202111547242A CN114168988A CN 114168988 A CN114168988 A CN 114168988A CN 202111547242 A CN202111547242 A CN 202111547242A CN 114168988 A CN114168988 A CN 114168988A
- Authority
- CN
- China
- Prior art keywords
- client
- forward propagation
- data
- model
- propagation weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004931 aggregating effect Effects 0.000 title claims description 4
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 23
- 230000002776 aggregation Effects 0.000 claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims abstract description 10
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002688 persistence Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供一种联邦学习模型聚合方法及电子装置。方法包括：对第一客户端和第二客户端进行加密样本对齐；服务器端生成公钥和私钥；所述第一客户端计算第一前向传播权重，所述第二客户端计算第二前向传播权重；所述第一客户端基于公钥对所述第一前向传播权重进行加密后，发送至第二客户端，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数；所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，并基于公钥对所述梯度更新结果进行加密后发送至服务器端；服务器端基于私钥对加密的梯度更新结果进行解密后，获取模型参数更新结果，并将所述模型参数更新结果发送至第一客户端和第二客户端。
Description
技术领域
本发明涉及人工智能技术领域，具体而言，尤其涉及一种联邦学习模型聚合方法及电子装置。
背景技术
在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间实现数据整合也面临着重重阻力，在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的，或者说所需的成本是巨大的。在这样背景之下，数据共享、融合的需求越来越强烈，但是在数据共享的过程中，主要存在以下几个问题：
1.数据孤岛：现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑机器学习模型的实现。
2.隐私安全：随着大公司在数据安全和用户隐私方面的保护意识日益增强，对数据隐私和安全的重视已成为世界性的重大问题。
如何在满足数据隐私、安全和监管要求的前提下，设计一个机器学习框架，让人工智能系统能够更加高效、准确的共同使用各自的数据，是当前人工智能发展的一个重要课题。
发明内容
根据上述提出的模型训练过程中容易造成隐私泄露的技术问题，而提供一种联邦学习模型聚合方法及电子装置。本发明通过在各个客户端进行模型训练以及数据交互时均采用加密手段，而非直接利用各个客户端的原始数据进行计算，从而避免了数据泄露，保护了各个客户端的隐私安全。
本发明采用的技术手段如下：
一种联邦学习模型聚合方法，应用于分布式网络系统，所述分布式网络系统包括至少一个第一客户端、一个第二客户端以及一个服务器端，其中第一客户端不持有数据标签，所述第二客户端为数据标签拥有方；
所述方法包括以下步骤：
对第一客户端和第二客户端进行加密样本对齐，从而获取第一客户端与第二客户端之间的共有数据，所述第一客户端的共有数据不具有标签，所述第二客户端的共有数据具有标签；
服务器端生成公钥和私钥，并通过网络将公钥发送至第一客户端和第二客户端；
所述第一客户端基于共有数据对初始化后的机器模型计算第一前向传播权重，所述第二客户端基于共有数据对初始化后的机器模型计算第二前向传播权重；
所述第一客户端基于公钥对所述第一前向传播权重进行加密后，发送至第二客户端，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数；
所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，并基于公钥对所述梯度更新结果进行加密后发送至服务器端；
服务器端基于私钥对加密的梯度更新结果进行解密后，获取模型参数更新结果，并将所述模型参数更新结果发送至第一客户端和第二客户端，分别对第一客户端和第二客户端的模型进行持久化处理。
进一步地，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数，包括：基于所述第一前向传播权重和第二前向传播权重的加和获取损失函数。
进一步地，所述机器模型为支持向量机。
进一步地，所述损失函数为：
其中，L(ω,b,α)为需要优化的损失函数，‖ω‖为超平面系数构成向量的模长，b为超平面的截距，f1为第一前向传播权重，f2为第二前向传播权重，αi≥0。
进一步地，所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，包括：
根据以下计算求取梯度值：
根据以下计算更新参数：
其中，η为更新时的学习率。
本发明还同开了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述任一项所述的方法。
较现有技术相比，本发明具有以下优点：
本发明兼顾隐私保护和便于实施，本发明在各个客户端进行模型训练以及数据交互时都涉及到加密这一过程，并未直接利用各个客户端的原始数据进行计算，从而避免了数据泄露，保护了各个客户端的隐私安全。与此同时。本算法较好的解决了机器学习所面临的数据孤岛这一难题，使得数据的价值得以安全释放，更利于泛化性能良好的模型的训练。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为联邦学习系统构架图。
图2为线性可分的二分类问题示意图。
图3为本发明聚合方法流程图。
图4为本发明联邦学习的体系架构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
联邦学习是一种可保证数据不出本地，联合多方数据共同建立一个模型以适用所有数据的机器学习方式。联邦学习能够保证各方数据都保留在本地，不泄露隐私也不违反法规；多个参与方联合数据建立虚拟的共有模型，并且共同获益；在联邦学习体系下各个参与方的身份和地位平等；联邦学习的建模效果和将整个数据集放在一处建模的效果相同或相差不大；在用户特征不对齐的情况下也可以在数据间通过交换加密参数达到知识迁移的效果。联邦学习系统构架由三部分构成，如图1所示。
第一部分：加密样本对齐。由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在A和B不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。
第二部分：加密模型训练。在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，需要借助第三方协作者C进行加密训练。以线性回归模型为例，训练过程可分为以下4步(如图1所示)：
第①步：协作者C把公钥分发给A和B，用以对训练过程中需要交换的数据进行加密。
第②步：A和B之间以加密形式交互用于计算梯度的中间结果。
第③步：A和B分别基于加密的梯度值进行计算，同时B根据其标签数据计算损失，并把结果汇总给C，C通过汇总结果计算总梯度值并将其解密。
第④步：C将解密后的梯度分别回传给A和B，A和B根据梯度更新各自模型的参数。
第三部分：效果激励。联邦学习的一大特点就是它解决了为什么不同机构要加入联邦共同建模的问题，即建立模型以后模型的效果会在实际应用中表现出来，并记录在永久数据记录机制(如区块链)上。提供数据多的机构所获得的模型效果会更好，模型效果取决于数据提供方对自己和他人的贡献。这些模型的效果在联邦机制上会分发给各个机构反馈，并继续激励更多机构加入这一数据联邦。以上三部分的实施，既考虑了在多个机构间共同建模的隐私保护和效果，又考虑了以一个共识机制奖励贡献数据多的机构。所以，联邦学习是一个「闭环」的学习机制。
基于上述研发背景，本发明提供了一种联邦学习模型聚合方法，主要针对联邦学习系统框架中的第二部分进行优化。各独立模型上传到中央服务器C后，中央服务器C在对各独立模型进行聚合时求解出全局模型的各节点参数的最优值。
在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照特征维度切分,并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。如两个不同机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，因此用户的交集较大。但由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力的联邦学习。
本发明是一种将传统机器学习与联邦学习相结合的方法，应用于各种分类任务中。既保证了每个用户端的数据安全，有能够训练出泛化性较好的模型，即在保证用户隐私的前提下，最大程度的挖掘数据的价值。
本发明方法应用于分布式网络系统，该分布式网络系统包括至少一个第一客户端、一个第二客户端以及一个服务器端。方法具体包括以下步骤：
S1、对第一客户端和第二客户端进行加密样本对齐，从而获取第一客户端与第二客户端之间的共有数据，所述第一客户端的共有数据不具有标签，所述第二客户端的共有数据具有标签。
如图3所示，图中guest代表的是无标签的客户端，即第一客户端，联合训练的过程中可以包含多方该类客户端；②host代表的是含标签的客户端，即第二客户端，有且仅有一方客户端；③arbiter为可信第三方，即服务器端，能够产生公钥与私钥。其中arbiter将公钥发给各个客户端进行加密，私钥留在arbiter本地进行解密运算；④联合计算的隐私保护基于对数据的加密传输和计算。本算法中的加密方法为同态加密，它可以实现直接对数据加密或者对列表、字典加密的计算，当两个同态加密的数据进行计算时，只能进行加法或减法，当一方为同态加密，另一方未加密时，乘法除法也适用。
本发明采用同态加密的加密方法进行加密运算，同态加密是基于数学难题的计算复杂性理论的密码学技术，对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果一致。
S2、服务器端生成公钥和私钥，并通过网络将公钥发送至第一客户端和第二客户端。
具体来说，其中arbiter，即服务器端，将公钥发给各个客户端进行加密，私钥留在arbiter本地进行解密运算；④联合计算的隐私保护基于对数据的加密传输和计算。本算法中的加密方法为同态加密，它可以实现直接对数据加密或者对列表、字典加密的计算，当两个同态加密的数据进行计算时，只能进行加法或减法，当一方为同态加密，另一方未加密时，乘法除法也适用。
S3、所述第一客户端基于共有数据对初始化后的机器模型计算第一前向传播权重，所述第二客户端基于共有数据对初始化后的机器模型计算第二前向传播权重。
具体来说，第一客户端基于客户端本地数据，按照7:3的比例划分为训练集和测试集，将训练集数据标签划分为若干个batch进行训练，batch个数根据每个batch中认为设置的数据数量batch_size来确定，对初始化后的机器模型计算第一前向传播权重，即初始化的权重与数据进行矩阵乘法得到ωTx，所述第二客户端基于本地数据对初始化后的机器模型计算第二前向传播权重，除了无需对数据标签进行处理，其余步骤与第一客户端相同；
S4、所述第一客户端基于公钥对所述第一前向传播权重进行加密后，发送至第二客户端，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数。
S5、所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，并基于公钥对所述梯度更新结果进行加密后发送至服务器端。
本实施例中将传统机器学习与联邦学习相结合的方法，应用于各种分类任务中。既保证了每个用户端的数据安全，有能够训练出泛化性较好的模型，即在保证用户隐私的前提下，最大程度的挖掘数据的价值。
SVM目的是为了找出一个分类效果好的超平面作为分类器。分类器的好坏的评定依据是分类间隔W＝2d的大小，即分类间隔W越大，我们认为这个超平面的分类效果越好。
目标函数：求解超平面的问题转换为求解分类间隔W最大化的问题。即d最大化。
即目标函数为：min‖ω‖，为方便求导目标函数可记为：
记
若超平面方程能够完全正确地对上图的样本点进行分类，则满足方程：
假设决策面正好处于间隔区域的中轴线上，并且相应的支持向量对应的样本点到决策面的距离为d，则方程可转换为：
公式两边都除以d，数学模型代表的意义不变，约束方程转换为：
得到最终的约束条件：
优化目标与约束条件为：
s.t.yi(ωTxi+b)≥1,i＝1,2,…,n
将有约束的原始目标函数转换为无约束的新构造的拉格朗日目标函数:
因此，原含约束优化问题转换为无约束优化问题。
F-SVM(Federated Support Vector Machine)是一种将传统SVM算法联邦学习化的机器学习算法。
在每个客户端中根据各自的数据D1,D2,…Dn的样本的数据进行本地模型训练，其中只有一个客户拥有数据标签，在本地训练以及参数模型更新时候，用户端以及可信第三方之间会进行频繁的数据交互，在交互的过程中，数据都是加密传输的，具体算法如下：
相比于传统的机器学习SVM算法，联邦化的SVM算法组采用利用批梯度下降(BatchGradient Decent，BGD)方法对各个参数α,ω,b更新：
更新参数α,ω,b：
各个客户端以及可信第三方在一定次数的交互后完成联合训练，得到全局模型，即分类超平面的权重ωi与截距b，通过联合训练，每个用户都获得了相比个体训练而言更好的训练模型，这一过程能够提高算法的分类准确率，以及算法的整体的泛化性能。
S6、服务器端基于私钥对加密的梯度更新结果进行解密后，获取模型参数更新结果，并将所述模型参数更新结果发送至第一客户端和第二客户端，分别对第一客户端和第二客户端的模型进行持久化处理。
联邦学习是将不同的模型参数将同时上传到服务器，服务器将完成模型参数的聚合与更新，并且将更新好的参数返回到参与方的终端，各个终端开始下一次的迭代。联邦学习的体系结构如图4所示。支持向量机主要用于分类问题，主要的应用场景有字符识别、面部识别、行人检测、文本分类等领域，在机器学习领域，支持向量机SVM(Support VectorMachine)是一个有监督的学习模型，通常用来进行模式识别、分类异常值检测以及回归分析。
在分类任务中，需要大量的数据来训练一个性能良好的模型，而实际上数据都是以孤岛的形式存在于各个行业、客户端中。如两家或多家拥有相同客户数量比较多而业务种类差别较大的银行，如何根据业务特征来判断贷款的用户是否会按时还款，基于隐私保护，亦或是数据本身对各个银行的价值，而不同银行之间的数据是不能共享的，这就导致数据价值无法得到充分的释放。为了解决上述问题，本发明引入了联邦学习，如图4所示，不同用户之间先进行ID对齐，在加密的状态下(本发明采用的是同态加密)各个银行之间进行交互，联合模型训练，最终得到联邦的结果，即SVM中的超平面，用来判断用户的贷款信誉度，或偿还能力等指标，从而合理的、更有针对性的为客户提供贷款服务。
本发明理论基础扎实，性能优良，所以得到的模型准确度较联邦平均算法有所提高，对分类任务的性能提高意义重大。
本发明还公开了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述任一项所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种联邦学习模型聚合方法，其特征在于，应用于分布式网络系统，所述分布式网络系统包括至少一个第一客户端、一个第二客户端以及一个服务器端，其中第一客户端不持有数据标签，所述第二客户端为数据标签拥有方；
所述方法包括以下步骤：
对第一客户端和第二客户端进行加密样本对齐，从而获取第一客户端与第二客户端之间的共有数据，所述第一客户端的共有数据不具有标签，所述第二客户端的共有数据具有标签；
服务器端生成公钥和私钥，并通过网络将公钥发送至第一客户端和第二客户端；
所述第一客户端基于共有数据对初始化后的机器模型计算第一前向传播权重，所述第二客户端基于共有数据对初始化后的机器模型计算第二前向传播权重；
所述第一客户端基于公钥对所述第一前向传播权重进行加密后，发送至第二客户端，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数；
所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，并基于公钥对所述梯度更新结果进行加密后发送至服务器端；
服务器端基于私钥对加密的梯度更新结果进行解密后，获取模型参数更新结果，并将所述模型参数更新结果发送至第一客户端和第二客户端，分别对第一客户端和第二客户端的模型进行持久化处理。
2.根据权利要求1所述的一种联邦学习模型聚合方法，其特征在于，第二客户端将加密的第一前向传播权重和第二前向传播权重整合重构成损失函数，包括：基于所述第一前向传播权重和第二前向传播权重的加和获取损失函数。
3.根据权利要求1或2所述的一种联邦学习模型聚合方法，其特征在于，所述机器模型为支持向量机。
4.根据权利要求3所述的一种联邦学习模型聚合方法，其特征在于，所述损失函数为：
其中，L(ω,b,α)为需要优化的损失函数，‖ω‖为超平面系数构成向量的模长，b为超平面的截距，f1为第一前向传播权重，f2为第二前向传播权重，αi≥0。
5.根据权利要求4所述的一种联邦学习模型聚合方法，其特征在于，所述第二客户端根据所述重构损失函数求取模型训练梯度更新结果，包括：
根据以下计算求取梯度值：
根据以下计算更新参数：
其中，η为更新时的学习率。
6.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至5中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111547242.9A CN114168988B (zh) | 2021-12-16 | 2021-12-16 | 一种联邦学习模型聚合方法及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111547242.9A CN114168988B (zh) | 2021-12-16 | 2021-12-16 | 一种联邦学习模型聚合方法及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114168988A true CN114168988A (zh) | 2022-03-11 |
| CN114168988B CN114168988B (zh) | 2024-05-03 |
Family
ID=80487180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111547242.9A Active CN114168988B (zh) | 2021-12-16 | 2021-12-16 | 一种联邦学习模型聚合方法及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114168988B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114996733A (zh) * | 2022-06-07 | 2022-09-02 | 光大科技有限公司 | 一种聚合模型更新处理方法及装置 |
| CN116541769A (zh) * | 2023-07-05 | 2023-08-04 | 北京邮电大学 | 一种基于联邦学习的节点数据分类方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| WO2020177392A1 (zh) * | 2019-03-01 | 2020-09-10 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN112149160A (zh) * | 2020-08-28 | 2020-12-29 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及系统 |
| WO2021120676A1 (zh) * | 2020-06-30 | 2021-06-24 | 平安科技（深圳）有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
| CN113221105A (zh) * | 2021-06-07 | 2021-08-06 | 南开大学 | 一种基于部分参数聚合的鲁棒性联邦学习算法 |
| WO2021184836A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| CN113434873A (zh) * | 2021-06-01 | 2021-09-24 | 内蒙古大学 | 一种基于同态加密的联邦学习隐私保护方法 |
| WO2021190638A1 (zh) * | 2020-11-24 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于非均匀分布数据的联邦建模方法及相关设备 |
| CN113722987A (zh) * | 2021-08-16 | 2021-11-30 | 京东科技控股股份有限公司 | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
-
2021
- 2021-12-16 CN CN202111547242.9A patent/CN114168988B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020177392A1 (zh) * | 2019-03-01 | 2020-09-10 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| WO2021184836A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| WO2021120676A1 (zh) * | 2020-06-30 | 2021-06-24 | 平安科技（深圳）有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
| CN112149160A (zh) * | 2020-08-28 | 2020-12-29 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及系统 |
| WO2021190638A1 (zh) * | 2020-11-24 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于非均匀分布数据的联邦建模方法及相关设备 |
| CN113434873A (zh) * | 2021-06-01 | 2021-09-24 | 内蒙古大学 | 一种基于同态加密的联邦学习隐私保护方法 |
| CN113221105A (zh) * | 2021-06-07 | 2021-08-06 | 南开大学 | 一种基于部分参数聚合的鲁棒性联邦学习算法 |
| CN113722987A (zh) * | 2021-08-16 | 2021-11-30 | 京东科技控股股份有限公司 | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张君如;赵晓焱;袁培燕;: "面向用户隐私保护的联邦安全树算法", 计算机应用, no. 10, 31 December 2020 (2020-12-31) * |
| 李鉴;邵云峰;卢燚;吴骏;: "联邦学习及其在电信行业的应用", 信息通信技术与政策, no. 09, 15 September 2020 (2020-09-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114996733A (zh) * | 2022-06-07 | 2022-09-02 | 光大科技有限公司 | 一种聚合模型更新处理方法及装置 |
| CN114996733B (zh) * | 2022-06-07 | 2023-10-20 | 光大科技有限公司 | 一种聚合模型更新处理方法及装置 |
| CN116541769A (zh) * | 2023-07-05 | 2023-08-04 | 北京邮电大学 | 一种基于联邦学习的节点数据分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114168988B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230078061A1 (en) | Model training method and apparatus for federated learning, device, and storage medium | |
| Liu et al. | Vertical federated learning: Concepts, advances, and challenges | |
| Cheng et al. | Secureboost: A lossless federated learning framework | |
| CN110399742B (zh) | 一种联邦迁移学习模型的训练、预测方法及装置 | |
| CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
| CN111931950B (zh) | 一种基于联邦学习进行模型参数更新的方法及系统 | |
| Perifanis et al. | Federated neural collaborative filtering | |
| US20220230071A1 (en) | Method and device for constructing decision tree | |
| Ou et al. | A homomorphic-encryption-based vertical federated learning scheme for rick management | |
| CN113516256B (zh) | 基于秘密共享、同态加密的无第三方联邦学习方法及系统 | |
| Jia et al. | Preserving model privacy for machine learning in distributed systems | |
| Vu | Privacy-preserving Naive Bayes classification in semi-fully distributed data model | |
| CN112347500B (zh) | 分布式系统的机器学习方法、装置、系统、设备及存储介质 | |
| Liu et al. | Keep your data locally: Federated-learning-based data privacy preservation in edge computing | |
| CN114168988A (zh) | 一种联邦学习模型聚合方法及电子装置 | |
| CN113505882A (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| Zhao et al. | CORK: A privacy-preserving and lossless federated learning scheme for deep neural network | |
| Baryalai et al. | Towards privacy-preserving classification in neural networks | |
| Du et al. | Privacy-preserving multiparty learning for logistic regression | |
| CN113221153A (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
| Shafee et al. | Privacy attacks against deep learning models and their countermeasures | |
| CN114372871A (zh) | 信用评分值的确定方法及其装置、电子设备及存储介质 | |
| Chen et al. | Fed-EINI: An efficient and interpretable inference framework for decision tree ensembles in vertical federated learning | |
| Chauhan et al. | A survey on privacy-preserving outsourced data on cloud with multiple data providers | |
| CN114997286A (zh) | 一种基于联邦支持向量机的金融客户分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |