CN116894484A - 一种联邦建模方法及系统 - Google Patents
一种联邦建模方法及系统 Download PDFInfo
- Publication number
- CN116894484A CN116894484A CN202310781003.2A CN202310781003A CN116894484A CN 116894484 A CN116894484 A CN 116894484A CN 202310781003 A CN202310781003 A CN 202310781003A CN 116894484 A CN116894484 A CN 116894484A
- Authority
- CN
- China
- Prior art keywords
- modeling
- federal
- model
- training
- federation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000004220 aggregation Methods 0.000 claims description 60
- 230000002776 aggregation Effects 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000003062 neural network model Methods 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 27
- 239000003999 initiator Substances 0.000 claims description 25
- 238000002955 isolation Methods 0.000 claims description 11
- 238000000586 desensitisation Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及联邦学习和隐私计算技术领域，具体提供了一种联邦建模方法及系统，基于样本共享和参数隔离，首先进行联邦建模任务准备，再进行联邦建模任务训练，最后进行联邦建模模型优化。与现有技术相比，本发明加速了训练过程，提高了模型的性能和泛化能力。
Description
技术领域
本发明涉及联邦学习和隐私计算技术领域，具体提供一种联邦建模方法及系统。
背景技术
随着数据的爆炸式增长和隐私保护的需求日益增加，传统的集中式机器学习方法在处理分布式数据时面临着一系列挑战。传统方法通常要求将所有数据集中到一个中央位置进行模型训练，然而这种集中式的方式可能导致数据隐私泄露的风险，并且增加了数据传输的开销和计算资源的负担。
为了克服这些问题，联邦学习作为一种分布式机器学习方法应运而生。联邦学习通过在本地设备上进行模型训练并仅共享模型参数的方式，实现了在分布式数据上进行模型训练和知识共享的目标。这种分布式的方式可以避免集中式数据收集，保护数据的隐私性，降低数据传输的成本，并提高计算效率。
然而，现有的联邦学习方法仍然面临一些挑战。每个参与方(如移动设备或边缘节点)拥有不同的数据分布和样本规模，数据样本不平衡会对模型的训练产生负面影响。此外，数据样本的分布可能存在偏移，即不同参与方之间的本地训练数据呈现非独立同分布(non-IID)的特征。数据分布不一致会导致模型的性能下降，无法满足联邦建模的实际需求。
因此，需要解决参与方数据分布不一致的问题，并提高模型训练效果和数据隐私保护的方法。这种情况下，如何利用样本共享以及参数隔离等手段，形成高效的联邦建模方案，解决数据样本不平衡和数据分布偏移的问题，从而改善模型的性能，提高模型训练的效果和数据隐私的保护成为亟需解决的问题。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的联邦建模方法。
本发明进一步的技术任务是提供一种设计合理，安全适用的联邦建模系统。
本发明解决其技术问题所采用的技术方案是：
一种联邦建模方法，基于样本共享和参数隔离，首先进行联邦建模任务准备，再进行联邦建模任务训练，最后进行联邦建模模型优化，其中，联邦建模任务准备包括如下步骤：
S101、根据联邦建模预测任务的实际需求，创建联邦建模任务；
S102、确认选定联邦建模参与方，设计共享训练数据集；
S103、设定共享特征数据集的样本数量，随机采样样本，并经过预训练模型PretrainEncoder，生成共享特征向量数据集；
S104、联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点，形成本地数据特征向量数据集；
S105、计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离，不断替换调整选出的本地数据特征向量数据集样本，满足推土机距离要求。
进一步的，在步骤S101中，根据联邦建模预测任务的实际需求，由联邦建模发起方确定训练数据集的数据特征结构，并设定初始的网络模型架构、训练策略以及联邦建模聚合方式，创建联邦建模任务；
参与联邦建模节点确认联邦建模任务要求，协商确定其本地训练数据和本地资源是否满足任务需求，协商确认加入本次任务。
进一步的，在步骤S102中，经过联邦建模任务初步协商，联邦建模任务发起方根据初步协商结果，确认选定联邦建模参与方，设计共享训练数据集；
联邦建模任务发起方选择encoder-decoder结构的公开预训练模型，并根据实际业务要求，利用真实原始数据的重构误差来进行预训练模型的参数微调，模型网络的Encoder部分作为预训练模型PretrainEncoder；
联邦建模任务发起方采用原始数据进行数据脱敏处理，并进行随机挑选，形成代表实际业务数据的脱敏数据集；
联邦建模任务发起方采用生成网络，基于原始数据生成符合原始数据分布的虚拟数据集。
进一步的，在步骤S104中，联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点；
联邦聚合节点利用任务管理模块完成联邦建模任务的协商确认；
联邦聚合节点与各个参与节点通过隐私保护模块建立可信传输信道，并将共享特征向量数据集以及预训练模型PretrainEncoder分发给参与联邦建模的节点；
联邦建模参与节点使用样本选择模块LSSM，利用PretrainEncoder提取本地训练数据的特征，形成本地数据特征向量数据集。
进一步的，在步骤S105中，设定推土机距离的阈值，在本地数据特征向量数据集中随机采样，选择与共享特征向量数据集数量相同的样本，计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离；
采用贪心算法，不断替换调整选出的本地数据特征向量数据集样本，满足推土机距离要求；
重复执行，筛选出多组符合要求的本地数据特征向量数据集，对应的节点本地数据作为进行联邦建模训练的本地数据集。
进一步的，进行联邦建模任务训练时，包括如下步骤：
S201、基于筛选的本地数据集进行第一阶段联邦建模训练；
S202、基于全量的本地数据集，进行第二阶段联邦建模训练；
进一步的，在步骤S201时，具有如下步骤：
(1)聚合节点将联邦建模神经网络模型初始参数分发给联邦建模参与节点；
(2)联邦建模节点使用模型训练与更新模块，基于筛选出来的本地数据集，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到所述的联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据安全要求，采用同态加密方式，梯度汇聚和累加采用密文计算，并最终通过秘密分享方式来生成同态加密密钥解开密钥执行聚合结果的解密；
(6)联邦聚合节点接收到更新后的神经网络模型，重复步骤(1)至步骤(4)，经过N轮直到聚合模型参数收敛，记录下迭代训练最后两轮(N-1，N)的模型参数梯度更新变化情况。
进一步的，在步骤S202时，具有如下步骤：
(1)按照深度神经网络模型参数层进行划分，对每层参数最后两轮的梯度更新加权平均的变化结果进行排序，并设定阈值，两轮参数梯度更新值小于阈值的参数，选择固定其中部分参数更新策略；
(2)联邦建模节点使用模型训练与更新模块，基于全量本地数据集，采用参数隔离策略，固定其中部分参数不做更新，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据筛选数据集与本地数据集的比例，设定循环次数M和S，联邦聚合节点接收到更新后的神经网络模型，重复步骤(2)至步骤(5)循环M次数；
基于全量本地数据进行联邦建模训练，再重复步骤(2)至步骤(5)循环S次数，基于筛选的本地数据集进行联邦建模训练；
(6)中央服务器利用联邦建模任务管理模块对联邦建模任务执行过程进行监控，直至模型收敛，得到最终的联邦建模的神经网络模型。
进一步的，进行联邦建模模型优化时，具有如下步骤：
S301、联邦任务发起方将联邦建模任务形成的神经网络模型部署到业务系统，进行模型推理；
S202、持续收集模型推理结果反馈数据，不断优化真实数据集，使用反馈数据对模型进行优化和改进。
一种联邦建模系统，根据联邦建模任务的实际需求，通过设计虚拟数据集并利用预训练模型实现数据的特征提取，从而形成符合真实场景需求的特征数据分布，特征数据分布通过中央服务器的样本共享模块分享给参与建模的客户端节点；
参与建模节点通过样本选择模块对本地训练数据进行数据分布计算，并选择与共享数据特征分布相似的本地训练数据用于联邦建模的节点建模计算；整个联邦建模过程分为两个阶段，先利用形成的独立同分布数据进行联邦建模，对联邦建模过程中的参数更新方式进行调整，经过多轮迭代，最终形成联邦建模模型。
本发明的一种联邦建模方法及系统和现有技术相比，具有以下突出的有益效果：
本发明与传统的联邦建模方式不同，采用了两阶段建模方法，先利用形成的独立同分布数据进行联邦建模，再通过参数隔离模块对联邦建模过程中的参数更新方式进行调整，交替进行两阶段训练，这样充分考虑了共享数据集的代表性以及全局数据的多样性，加速了训练过程，提高了模型的性能和泛化能力。
通过预训练模型生成特征向量来共享数据集，消除了原始数据泄露风险。在保护数据隐私的前提下，共同构建性能优越的模型。
同时，采用了信道加密、同态加密、访问控制和权限管理等多种隐私保护手段，确保数据在传输、存储和计算过程中的安全性，防止未授权的访问和泄露，实现数据隐私的保护。本方法适用于各种联邦学习场景，如医疗数据分析、金融风控、智能交通等领域，具有较高的实用价值和广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种联邦建模方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种联邦建模方法，基于样本共享和参数隔离，首先进行联邦建模任务准备，再进行联邦建模任务训练，最后进行联邦建模模型优化，其中，联邦建模任务准备包括如下步骤：
S101、根据联邦建模预测任务的实际需求，由联邦建模发起方确定训练数据集的数据特征结构，并设定初始的网络模型架构、训练策略以及联邦建模聚合方式，创建联邦建模任务；
S102、参与联邦建模节点确认联邦建模任务要求，协商确定其本地训练数据和本地资源是否满足任务需求，协商确认加入本次任务；
S103、经过联邦建模任务初步协商，联邦建模任务发起方根据初步协商结果，确认选定联邦建模参与方，设计共享训练数据集；
S104、联邦建模任务发起方选择encoder-decoder结构的公开预训练模型，并根据实际业务要求，利用真实原始数据的重构误差来进行预训练模型的参数微调，模型网络的Encoder部分作为预训练模型PretrainEncoder；
S105、(可选的)联邦建模任务发起方采用原始数据进行数据脱敏处理，并进行随机挑选，形成代表实际业务数据的脱敏数据集；
S106、(可选的)联邦建模任务发起方采用生成网络，基于原始数据生成符合原始数据分布的虚拟数据集；
S107、联邦聚合节点利用任务管理模块(TMM)完成联邦建模任务的协商确认；
S108、联邦聚合节点与各个参与节点通过隐私保护模块建立可信传输信道，并将共享特征向量数据集以及预训练模型PretrainEncoder分发给参与联邦建模的节点；
S109、联邦建模参与节点使用样本选择模块LSSM，利用PretrainEncoder提取本地训练数据的特征，形成本地数据特征向量数据集；
S110、设定推土机距离的阈值，在本地数据特征向量数据集中随机采样，选择与共享特征向量数据集数量相同的样本，计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离；
S111、采用贪心算法，不断替换调整选出的本地数据特征向量数据集样本，使其满足推土机距离要求；
S112、重复执行步骤S110至S111，筛选出多组符合要求的本地数据特征向量数据集，其对应的节点本地数据作为进行联邦建模训练的本地数据集。
进行联邦建模任务训练时，包括如下步骤：
S201、基于筛选的本地数据集进行第一阶段联邦建模训练；
(1)聚合节点将联邦建模神经网络模型初始参数分发给联邦建模参与节点；
(2)联邦建模节点使用模型训练与更新模块，基于筛选出来的本地数据集，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到所述的联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据安全要求，采用同态加密方式，梯度汇聚和累加采用密文计算，并最终通过秘密分享方式来生成同态加密密钥解开密钥执行聚合结果的解密；
(6)联邦聚合节点接收到更新后的神经网络模型，重复步骤(1)至步骤(4)，经过N轮直到聚合模型参数收敛，记录下迭代训练最后两轮(N-1，N)的模型参数梯度更新变化情况。
S202、基于全量的本地数据集，进行第二阶段联邦建模训练；
(1)按照深度神经网络模型参数层进行划分，对每层参数最后两轮的梯度更新加权平均的变化结果进行排序，并设定阈值，两轮参数梯度更新值小于阈值的参数，选择固定其中部分参数更新策略；
(2)联邦建模节点使用模型训练与更新模块，基于全量本地数据集，采用参数隔离策略，固定其中部分参数不做更新，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据筛选数据集与本地数据集的比例，设定循环次数M和S(一般设定M/S＝30)，联邦聚合节点接收到更新后的神经网络模型，重复步骤(2)至步骤(5)循环M次数；
基于全量本地数据进行联邦建模训练，再重复步骤(2)至步骤(5)循环S次数，基于筛选的本地数据集进行联邦建模训练；
(6)中央服务器利用联邦建模任务管理模块对联邦建模任务执行过程进行监控，直至模型收敛，得到最终的联邦建模的神经网络模型。
进行联邦建模模型优化时，具有如下步骤：
S301、联邦任务发起方将联邦建模任务形成的神经网络模型部署到业务系统，进行模型推理；
S202、持续收集模型推理结果反馈数据，不断优化真实数据集，使用反馈数据对模型进行优化和改进，以提高预测精度和性能。
基于上述方法，本实施例中的一种联邦建模系统，根据联邦建模任务的实际需求，通过设计虚拟数据集并利用预训练模型实现数据的特征提取，从而形成符合真实场景需求的特征数据分布，特征数据分布通过中央服务器的样本共享模块分享给参与建模的客户端节点；
参与建模节点通过样本选择模块对本地训练数据进行数据分布计算，并选择与共享数据特征分布相似的本地训练数据用于联邦建模的节点建模计算；整个联邦建模过程分为两个阶段，先利用形成的独立同分布数据进行联邦建模，对联邦建模过程中的参数更新方式进行调整，经过多轮迭代，最终形成联邦建模模型。
联邦建模任务是由多方参与联合建模来共同完成深度学习模型的训练，由联邦建模任务发起方来创建任务并完成任务内容协商，各个联邦建模参与节点拥有自己的数据集和算力资源，并通过联邦建模聚合节点进行协调聚合，共同完成联邦建模任务；
联邦建模聚合节点，部署在中央服务器(Central Server)，基于计算、存储、网络资源基础设施构建服务，负责联邦建模训练任务的协调、聚合和管理，由任务管理模块、样本共享模块、参数聚合模块、隐私保护模块等功能模块构成。
任务管理模块TMM(TaskManagement Module)实现任务的创建、协商、执行、监控等；
样本共享模块SSM(Sample Sharing Module)是由联邦建模任务发起方根据其任务的实际情况，利用预训练模型形成的特征向量数据集，并将特征向量数据集以及预训练模型分享给所述的参与建模节点；
预训练模型PretrainEncoder是公开的或者利用公开预训练模型进行微调的特征提取模型，模型核心是Encoder和Decoder结构的神经网络，实现数据样本的特征提取，形成样本的低维特征表示；
特征向量数据集是利用预训练模型，基于根据实际业务构建的虚拟数据集来生成的低位特征表示的样本向量集合，用于全局样本共享和实际任务业务的输入数据分布的代表；
虚拟数据集是由任务发起者根据其真实业务要求，设计并构建的虚拟数据集，可以利用隐私保护模块多种方式来完成真实原始数据的隐私保护，例如对原始数据进行数据脱敏，或者结合预训练模型构建的特征向量进行数据脱敏；
参数聚合模块PAM(Parameter Aggregation Module)负责各个参与节点的训练梯度的聚合，根据聚合算法的不同，可以采用隐私保护模块的同态加密模块实现密文计算增强聚合安全性；
隐私保护模块PPM(Privacy Protection Module)负责联邦建模训练过程中的数据隐私保护，采用信道加密、同态加密、访问控制和权限管理等多种隐私保护手段，确保数据在传输、存储、计算过程中的安全性，防止未授权的访问和泄露，实现数据隐私的保护。
联邦建模参与节点分布在各个参与建模任务的本地节点(Client Node)，拥有计算、存储、网络资源，建模任务的训练数据存放在节点本地，训练过程中训练数据不出域，实现联邦建模的分布式节点的本地模型训练计算，基于本地资源基础设施，提供样本选择模块、参数隔离模块、模型训练和更新模块和隐私保护模块(Privacy Protection Module)等功能。
样本选择模块LSSM(LocalSample Selection Module)负责根据共享的特征向量数据集以及预训练模型，利用推土机距离来衡量本地数据集与共享特征数据集分布之间差异，选出用于联邦建模模型训练的本地数据集；
参数隔离模块PIM(Parameter Isolation Module)通过设定参数更新策略，根据梯度变化冻结部分参数，实现更加高效和合理的模型参数更新；
模型训练和更新模块MTM(Model Training Module)是根据联邦建模两阶段训练算法来执行本地模前向计算以及梯度计算；
隐私保护模块LPPM(Privacy Protection Module)主要负责参与节点的本地数据以及计算的隐私保护。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种联邦建模方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种联邦建模方法，其特征在于，基于样本共享和参数隔离，首先进行联邦建模任务准备，再进行联邦建模任务训练，最后进行联邦建模模型优化，其中，联邦建模任务准备包括如下步骤：
S101、根据联邦建模预测任务的实际需求，创建联邦建模任务；
S102、确认选定联邦建模参与方，设计共享训练数据集；
S103、设定共享特征数据集的样本数量，随机采样样本，并经过预训练模型PretrainEncoder，生成共享特征向量数据集；
S104、联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点，形成本地数据特征向量数据集；
S105、计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离，不断替换调整选出的本地数据特征向量数据集样本，满足推土机距离要求。
2.根据权利要求1所述的一种联邦建模方法，其特征在于，在步骤S101中，根据联邦建模预测任务的实际需求，由联邦建模发起方确定训练数据集的数据特征结构，并设定初始的网络模型架构、训练策略以及联邦建模聚合方式，创建联邦建模任务；
参与联邦建模节点确认联邦建模任务要求，协商确定其本地训练数据和本地资源是否满足任务需求，协商确认加入本次任务。
3.根据权利要求2所述的一种联邦建模方法，其特征在于，在步骤S102中，经过联邦建模任务初步协商，联邦建模任务发起方根据初步协商结果，确认选定联邦建模参与方，设计共享训练数据集；
联邦建模任务发起方选择encoder-decoder结构的公开预训练模型，并根据实际业务要求，利用真实原始数据的重构误差来进行预训练模型的参数微调，模型网络的Encoder部分作为预训练模型PretrainEncoder；
联邦建模任务发起方采用原始数据进行数据脱敏处理，并进行随机挑选，形成代表实际业务数据的脱敏数据集；
联邦建模任务发起方采用生成网络，基于原始数据生成符合原始数据分布的虚拟数据集。
4.根据权利要求3所述的一种联邦建模方法，其特征在于，在步骤S104中，联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点；
联邦聚合节点利用任务管理模块完成联邦建模任务的协商确认；
联邦聚合节点与各个参与节点通过隐私保护模块建立可信传输信道，并将共享特征向量数据集以及预训练模型PretrainEncoder分发给参与联邦建模的节点；
联邦建模参与节点使用样本选择模块LSSM，利用PretrainEncoder提取本地训练数据的特征，形成本地数据特征向量数据集。
5.根据权利要求4所述的一种联邦建模方法，其特征在于，在步骤S105中，设定推土机距离的阈值，在本地数据特征向量数据集中随机采样，选择与共享特征向量数据集数量相同的样本，计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离；
采用贪心算法，不断替换调整选出的本地数据特征向量数据集样本，满足推土机距离要求；
重复执行，筛选出多组符合要求的本地数据特征向量数据集，对应的节点本地数据作为进行联邦建模训练的本地数据集。
6.根据权利要求5所述的一种联邦建模方法，其特征在于，进行联邦建模任务训练时，包括如下步骤：
S201、基于筛选的本地数据集进行第一阶段联邦建模训练；
S202、基于全量的本地数据集，进行第二阶段联邦建模训练。
7.根据权利要求6所述的一种联邦建模方法，其特征在于，在步骤S201时，具有如下步骤：
(1)聚合节点将联邦建模神经网络模型初始参数分发给联邦建模参与节点；
(2)联邦建模节点使用模型训练与更新模块，基于筛选出来的本地数据集，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到所述的联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据安全要求，采用同态加密方式，梯度汇聚和累加采用密文计算，并最终通过秘密分享方式来生成同态加密密钥解开密钥执行聚合结果的解密；
(6)联邦聚合节点接收到更新后的神经网络模型，重复步骤(1)至步骤(4)，经过N轮直到聚合模型参数收敛，记录下迭代训练最后两轮(N-1，N)的模型参数梯度更新变化情况。
8.根据权利要求7所述的一种联邦建模方法，其特征在于，在步骤S202时，具有如下步骤：
(1)按照深度神经网络模型参数层进行划分，对每层参数最后两轮的梯度更新加权平均的变化结果进行排序，并设定阈值，两轮参数梯度更新值小于阈值的参数，选择固定其中部分参数更新策略；
(2)联邦建模节点使用模型训练与更新模块，基于全量本地数据集，采用参数隔离策略，固定其中部分参数不做更新，完成联邦模型训练的本地计算，包括前向计算、标签误差计算以及梯度计算；
(3)联邦建模节点将计算的模型梯度通过可信网络信道汇聚到联邦聚合节点；
(4)联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合，并更新神经网络模型参数，分发给联邦建模节点；
(5)根据筛选数据集与本地数据集的比例，设定循环次数M和S，联邦聚合节点接收到更新后的神经网络模型，重复步骤(2)至步骤(5)循环M次数；
基于全量本地数据进行联邦建模训练，再重复步骤(2)至步骤(5)循环S次数，基于筛选的本地数据集进行联邦建模训练；
(6)中央服务器利用联邦建模任务管理模块对联邦建模任务执行过程进行监控，直至模型收敛，得到最终的联邦建模的神经网络模型。
9.根据权利要求8所述的一种联邦建模方法，其特征在于，进行联邦建模模型优化时，具有如下步骤：
S301、联邦任务发起方将联邦建模任务形成的神经网络模型部署到业务系统，进行模型推理；
S202、持续收集模型推理结果反馈数据，不断优化真实数据集，使用反馈数据对模型进行优化和改进。
10.一种联邦建模系统，其特征在于，根据联邦建模任务的实际需求，通过设计虚拟数据集并利用预训练模型实现数据的特征提取，从而形成符合真实场景需求的特征数据分布，特征数据分布通过中央服务器的样本共享模块分享给参与建模的客户端节点；
参与建模节点通过样本选择模块对本地训练数据进行数据分布计算，并选择与共享数据特征分布相似的本地训练数据用于联邦建模的节点建模计算；整个联邦建模过程分为两个阶段，先利用形成的独立同分布数据进行联邦建模，对联邦建模过程中的参数更新方式进行调整，经过多轮迭代，最终形成联邦建模模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310781003.2A CN116894484A (zh) | 2023-06-29 | 2023-06-29 | 一种联邦建模方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310781003.2A CN116894484A (zh) | 2023-06-29 | 2023-06-29 | 一种联邦建模方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116894484A true CN116894484A (zh) | 2023-10-17 |
Family
ID=88312974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310781003.2A Pending CN116894484A (zh) | 2023-06-29 | 2023-06-29 | 一种联邦建模方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894484A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592555A (zh) * | 2023-11-28 | 2024-02-23 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117808125A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 模型聚合方法、装置、设备、联邦学习系统及存储介质 |
-
2023
- 2023-06-29 CN CN202310781003.2A patent/CN116894484A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117592555A (zh) * | 2023-11-28 | 2024-02-23 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117592555B (zh) * | 2023-11-28 | 2024-05-10 | 中国医学科学院北京协和医院 | 一种面向多源异构医疗数据的联邦学习方法及系统 |
| CN117808125A (zh) * | 2024-02-29 | 2024-04-02 | 浪潮电子信息产业股份有限公司 | 模型聚合方法、装置、设备、联邦学习系统及存储介质 |
| CN117808125B (zh) * | 2024-02-29 | 2024-05-24 | 浪潮电子信息产业股份有限公司 | 模型聚合方法、装置、设备、联邦学习系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116894484A (zh) | 一种联邦建模方法及系统 | |
| Sotthiwat et al. | Partially encrypted multi-party computation for federated learning | |
| CN112714106A (zh) | 一种基于区块链的联邦学习搭便车攻击防御方法 | |
| CN113468521B (zh) | 一种基于gan的联邦学习入侵检测的数据保护方法 | |
| CN112737770B (zh) | 基于puf的网络双向认证和密钥协商方法及装置 | |
| CN113344221A (zh) | 一种基于神经网络架构搜索的联邦学习方法及系统 | |
| CN110945831A (zh) | 抗Sybil攻击身份的生成 | |
| Elkordy et al. | Basil: A fast and byzantine-resilient approach for decentralized training | |
| CN114363043A (zh) | 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法 | |
| Kim et al. | Reducing model cost based on the weights of each layer for federated learning clustering | |
| Li et al. | $\bm {P}^{\bm {3}} $: Privacy-Preserving Prediction of Real-Time Energy Demands in EV Charging Networks | |
| CN116708009A (zh) | 一种基于联邦学习的网络入侵检测方法 | |
| Lyu et al. | Secure and efficient federated learning with provable performance guarantees via stochastic quantization | |
| CN117527183A (zh) | 一种面向电力数据的去中心化共享与跨链计算方法及系统 | |
| Han et al. | Hierarchical broadcast coding: Expediting distributed learning at the wireless edge | |
| CN117034287A (zh) | 基于隐私计算互联互通技术的多方联合建模安全增强方法 | |
| CN116187432A (zh) | 基于生成对抗网络的non-IID联邦学习模型后门鲁棒性评估方法 | |
| CN116828453A (zh) | 基于自适应非线性函数的无人机边缘计算隐私保护方法 | |
| Jivanyan et al. | Hierarchical one-out-of-many proofs with applications to blockchain privacy and ring signatures | |
| CN116305186A (zh) | 一种去中心化低通信开销的安全聚合方法 | |
| Yi et al. | An access authentication algorithm based on a hierarchical identity-based signature over lattice for the space-ground integrated network | |
| Walia1 et al. | Blockchain in iot and limitations | |
| Liu et al. | Fast secure aggregation for privacy-preserving federated learning | |
| CN113688943A (zh) | 一种分布式物联网异常检测方法 | |
| Zhenhua et al. | A modified immune genetic algorithm for channel assignment problems in cellular radio networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |