CN113792890A - 一种基于联邦学习的模型训练方法及相关设备 - Google Patents
一种基于联邦学习的模型训练方法及相关设备 Download PDFInfo
- Publication number
- CN113792890A CN113792890A CN202111167777.3A CN202111167777A CN113792890A CN 113792890 A CN113792890 A CN 113792890A CN 202111167777 A CN202111167777 A CN 202111167777A CN 113792890 A CN113792890 A CN 113792890A
- Authority
- CN
- China
- Prior art keywords
- edge
- neural network
- network model
- edge computing
- computing node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000003062 neural network model Methods 0.000 claims abstract description 122
- 230000007123 defense Effects 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000670 limiting effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 20
- 239000000523 sample Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供的一种基于联邦学习的模型训练方法及相关设备，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，该方法包括：对所述云计算中心构建中心神经网络模型；对各所述边缘计算节点分别构建边缘神经网络模型；利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习，可以有效在训练过程中防止边缘计算节点的数据泄露，提高边缘计算框架的对抗攻击防御能力。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种基于联邦学习的模型训练方法及相关设备。
背景技术
边缘计算是继分布式计算、网格计算、云计算之后，被认为是在网络的边缘执行计算的一种新型计算范式，其核心理念是使计算更靠近数据的源头。
在边缘计算下发生的安全问题。输入数据的验证不足会导致恶意注入攻击。这种恶意的数据注入是边缘计算的常见攻击方法。针对物联网系统中使用的机器学习方法，可以发起两类攻击：因果攻击和探索性攻击。在因果攻击中，攻击者通过操纵训练数据集改变训练过程，而在探索性攻击中，攻击者利用漏洞获取数据的信息，但不改变训练过程。
因此，如何提高边缘计算框架的对抗攻击防御能力，成为本领域技术人员急需解决的技术问题。
发明内容
鉴于上述问题，本公开提供一种克服上述问题或者至少部分地解决上述问题的一种基于联邦学习的模型训练方法及相关设备，技术方案如下：
一种基于联邦学习的模型训练方法，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，所述方法包括：
对所述云计算中心构建中心神经网络模型；
对各所述边缘计算节点分别构建边缘神经网络模型；
利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。
可选的，所述对各所述边缘计算节点分别构建边缘神经网络模型，包括：
确定各所述边缘计算节点的计算性能；
分别根据各所述边缘计算节点的计算性能，构建与各所述边缘计算节点相对应的边缘神经网络模型。
可选的，所述分别根据各所述边缘计算节点的计算性能，构建与各所述边缘计算节点相对应的神经网络模型，包括：
对任一所述边缘计算节点：根据该边缘计算节点的计算性能，按照预设性能限制条件构建与该边缘计算节点相对应的神经网络模型。
可选的，所述边缘神经网络模型为稀疏自编码神经网络模型，和/或，所述中心神经网络模型包括梯度屏蔽全连接层。
可选的，所述训练样本包括数据预处理后的原始样本和基于所述数据预处理后的所述原始样本生成的对抗样本，所述利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型，包括：
将所述数据预处理后的所述原始样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第一权重矩阵数值；
将所述对抗样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第二权重矩阵数值；
根据所述第一权重矩阵数值和所述第二权重矩阵数值之间的差异，对所述梯队遮蔽全连接层进行调整，获得对抗攻击防御全局模型。
可选的，所述联邦学习的过程包括：
由所述云计算中心将公钥分发至各所述边缘计算节点，以使各所述边缘计算节点使用所述公钥对需要传输的数据进行加密；
各所述边缘计算节点分别计算特征中间结果并加密交互，确定各所述边缘计算节点对应的梯度值和损失值；
各所述边缘计算节点分别将加密后的所述梯度值和所述损失值汇总至所述云计算中心，由所述云计算中心对所述梯度值和所述损失值进行解密；
由所述云计算中心将解密后的所述梯度值和所述损失值分别回传至各所述边缘计算节点，以使所述边缘计算节点根据解密后的所述梯度值和损失值更新对应的所述边缘神经网络模型的参数；
迭代上述步骤直至各所述边缘神经网络模型的损失函数收敛。
可选的，所述数据预处理包括数据清洗、数据归一化和添加高斯噪声。
一种基于联邦学习的模型训练装置，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，所述装置包括：中心神经网络模型构建单元、边缘神经网络模型构建单元以及对抗攻击防御全局模型获得单元，
所述中心神经网络模型构建单元，用于对所述云计算中心构建中心神经网络模型；
所述边缘神经网络模型构建单元，用于对各所述边缘计算节点分别构建边缘神经网络模型；
所述对抗攻击防御全局模型获得单元，用于利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。
一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现如上述任一项所述的基于联邦学习的模型训练方法。
一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述任一项所述的基于联邦学习的模型训练方法。
借由上述技术方案，本公开提供的一种基于联邦学习的模型训练方法及相关设备，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，该方法包括：对所述云计算中心构建中心神经网络模型；对各所述边缘计算节点分别构建边缘神经网络模型；利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习，可以有效在训练过程中防止边缘计算节点的数据泄露，提高边缘计算框架的对抗攻击防御能力。
上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本公开实施例提供的基于联邦学习的模型训练方法的一种实施方式的流程示意图；
图2示出了本公开实施例提供的中心神经网络模型的模型架构示意图；
图3示出了本公开实施例提供的基于联邦学习的模型训练方法的另一种实施方式的流程示意图；
图4示出了本公开实施例提供的基于联邦学习的模型训练方法的另一种实施方式的流程示意图；
图5示出了本公开实施例提供的基于联邦学习的模型训练装置的一种结构示意图；
图6示出了本公开实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本公开实施例提供的基于联邦学习的模型训练方法，应用于边缘计算框架，边缘计算框架包括云计算中心和至少一个边缘计算节点，云计算中心对各边缘计算节点进行管理控制。
其中，联邦学习(Federated Learning)是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
其中，传统的集中化的云计算系统(包括计算和存储)可称为云计算中心，相对而言，边缘计算节点可并非一定部署在客户侧或者终端。从概念上讲，将数据的存储和计算部署在云计算中央节点之外的，都是边缘计算的范畴，因此数据采集点(如探头)、集成处理设备(如自动驾驶汽车)、属地部署的系统(如企业的内部IT系统)或数据中心(如根据安全要求建立的本地数据存储系统)等，都可以作为边缘计算的节点。
其中，边缘计算框架是由边缘计算节点与云计算中心构成的一个逻辑整体。边缘计算节点可以在云计算中心的统一管控下，对数据或者部分数据进行处理和存储，用以节约资源，降低成本，以及提高效率和业务连续性，满足数据本地存储与处理等安全合规的要求。
可以理解的是，不同的应用场景中，边缘计算节点和云计算中心的分工不同，协作模式不同。云计算中心与边缘计算节点的分工并没有一定之规，协作模式也有很多组合。例如：在某一场景下，边缘计算需要云计算中心强大的计算能力和海量存储的支持。在另一场景下，云计算中心需要边缘计算节点对海量数据及隐私数据进行处理，不同的技术组合可以衍生出很多新的解决方案。
如图1所示，本公开实施例提供的基于联邦学习的模型训练方法的一种实施方式的流程示意图，该基于联邦学习的模型训练方法可以包括：
S100、对云计算中心构建中心神经网络模型。
可选的，中心神经网络模型包括梯度遮蔽全连接层。具体的，本公开实施例可以对原先对云计算中心分配的神经网络模型的最后一层分类层之前加上一层全连接层，即梯度屏蔽全连接层。
可选的，本公开实施例还可以对该神经网络模型的最后一层分类层的损失函数上添加伽马噪声。具体的，该神经网络模型的最后一层分类的损失函数可以为交叉熵损失函数。该交叉熵损失函数公式为：
其中，y(i)为表示样本i预测为正类的概率；
为符号函数，样本i为正类时取1，否则取0。
在损失函数上添加伽马噪声，伽马噪声的实现，需要使用b个服从指数分布的噪声叠加而来可以使用均匀分布来实现，其中，均匀分布如下：
使用若干个(这里用b表示)均匀分布叠加，就可以得到伽马噪声：
z＝E1+E2+...+Eb。
本公开实施例获得的中心神经网络模型的网络结构可以如图2所示。
S200、对各边缘计算节点分别构建边缘神经网络模型。
可选的，边缘神经网络模型为稀疏自编码神经网络模型。其中，稀疏自编码神经网络模型为线性的神经网络模型。稀疏自编码神经网络模型的特点为输入input和输出output节点数目一致，而中间隐含层hidden的节点数目如果比input节点数目小，就是对样本进行压缩了，也就是提取了样本的特征(实现降维或者特征学习)，同时，要求神经网络的输出层output尽量还原输入层input，也就是说，output需要通过hidden尽可能还原input。
可选的，基于图1所示的方法，如图3所示，本公开实施例提供的基于联邦学习的模型训练方法的另一种实施方式的流程示意图，步骤S200可以包括：
S210、确定各边缘计算节点的计算性能。
S220、分别根据各边缘计算节点的计算性能，构建与各边缘计算节点相对应的边缘神经网络模型。
可以理解的是，在边缘计算框架中每个边缘计算节点的计算性能可以不相同，因此需要根据不同计算能力非边缘计算节点，分别构建与其计算能力相匹配的边缘神经网络。
具体的，本公开实施例可以对任一边缘计算节点：根据该边缘计算节点的计算性能，按照预设性能限制条件构建与该边缘计算节点相对应的神经网络模型。可选的，预设性能限制条件可以为不超过该边缘计算节点的计算性能的60％。可以理解的是，预设性能限制条件可以根据实际需求进行设置。
S300、利用训练样本对各边缘神经网络模型进行联邦学习并对中心神经网络模型进行调整，获得对抗攻击防御全局模型。
可选的，本公开实施例可以根据边缘计算节点的个数，将训练样本平均分配各边缘计算节点。
其中，训练样本可以包括数据预处理后的原始样本和基于数据预处理后的原始样本生成的对抗样本。
具体的，本公开实施例可以预先采集多个原始样本。其中，本公开实施例中的样本可以为图片样本。本公开实施例可以对采集到的多个原始样本进行数据预处理，并利用预设对抗样本生成方法，根据数据预处理后的原始样本生成对抗样本。其中，预设对抗样本生成方法可以包括FGSM，JSMA，C&W，PGD，MIM，BIM，EAD以及DeepFool在内的任一种对抗样本生成方法。
可选的，数据预处理包括数据清洗、数据归一化和添加高斯噪声。
具体的，本公开实施例可以先对采集到的多个原始样本进行数据清洗，以清除掉像素较低、质量较差的图片数据，再对数据清洗后保留下的原始样本进行数据归一化，最后在原始样本上添加高斯噪声。
具体的，本公开实施例可以根据公式：
对原始样本进行数据归一化。其中，μ为图像的均值；x为图像矩阵；σ为标准方差；N为图像的像素数量。
具体的，本公开实施例对原始样本添加的高斯噪声如下：
基于图1所示的方法，如图4所示，本公开实施例提供的基于联邦学习的模型训练方法的另一种实施方式的流程示意图，步骤S300可以包括：
S310、将数据预处理后的原始样本输入至各边缘神经网络模型中进行联邦学习，获得中心神经网络模型的梯度遮蔽全连接层的第一权重矩阵数值。
S320、将对抗样本输入至各边缘神经网络模型中进行联邦学习，获得中心神经网络模型的梯度遮蔽全连接层的第二权重矩阵数值。
S330、根据第一权重矩阵数值和第二权重矩阵数值之间的差异，对梯队遮蔽全连接层进行调整，获得对抗攻击防御全局模型。
具体的，本公开实施例可以将数据预处理和的原始样本和对抗样本分别分配至边缘计算节点进行边缘神经网络模型训练。在训练过程中对云计算中心的中心神经网络模型的梯度遮蔽全连接层的权重矩阵数值进行监控，确定在对原始样本和对抗样本进行训练时梯度遮蔽全连接层的权重矩阵数值的差异，将权重矩阵数值中的异常数值设置为0或预设数值，以较小对抗样本中噪声的干扰。
可选的，本公开实施例提供的联邦学习的过程包括：由云计算中心将公钥分发至各边缘计算节点，以使各边缘计算节点使用公钥对需要传输的数据进行加密；各边缘计算节点分别计算特征中间结果并加密交互，确定各边缘计算节点对应的梯度值和损失值；各边缘计算节点分别将加密后的梯度值和损失值汇总至云计算中心，由云计算中心对梯度值和损失值进行解密；由云计算中心将解密后的梯度值和损失值分别回传至各边缘计算节点，以使边缘计算节点根据解密后的梯度值和损失值更新对应的边缘神经网络模型的参数；迭代上述步骤直至各边缘神经网络模型的损失函数收敛。
可选的，各边缘计算节点分别计算特征中间结果并加密交互可以具体包括：基于Gentry算法全同态加密的方法对数据进行加密，得到的密文计算中间的梯度结果。
为了便于理解，此处通过举例进行说明：假设边缘计算节点X和边缘计算节点Y分别拥有各自用户的相关数据。此外，边缘计算节点Y还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑，边缘计算节点X和边缘计算节点Y无法直接进行数据交换，此时可使用联邦学习系统建立模型。由于任意两个边缘计算节点并非完全重合，利用基于加密的用户样本对齐技术，在各个边缘计算节点不公开各自数据的前提下确认共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，需要借助第三方协作者进行加密训练。具体包括步骤：加密样本对齐、边缘节点梯度计算、加密模型训练以及第三方协作者进行加密训练。
加密样本对齐：云计算中心把公钥分发给边缘计算节点X和边缘计算节点Y，用以对训练过程中需要交换的数据进行加密。
边缘节点梯度计算：边缘计算节点X和边缘计算节点Y之间以加密形式交互用于计算梯度的中间结果。
加密模型训练：边缘计算节点X和边缘计算节点Y分别基于加密的梯度值进行计算，同时边缘计算节点Y根据其标签数据计算损失，并把结果汇总给云计算中心。云计算中心通过汇总结果计算总梯度值并将其解密。
第三方协作者进行加密训练：云计算中心将解密后的梯度分别回传给边缘计算节点X和边缘计算节点Y，边缘计算节点X和边缘计算节点Y根据梯度更新各自模型的参数。
迭代上述步骤直至损失函数收敛，这样就完成了整个训练过程。在样本对齐及模型训练过程中，边缘计算节点X和边缘计算节点Y各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。因此，双方在联邦学习的帮助下得以实现合作训练模型。
本公开提供的一种基于联邦学习的模型训练方法，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，该方法包括：对所述云计算中心构建中心神经网络模型；对各所述边缘计算节点分别构建边缘神经网络模型；利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习，可以有效在训练过程中防止边缘计算节点的数据泄露，提高边缘计算框架的对抗攻击防御能力。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
与上述方法实施例相对应，本公开实施例还提供一种基于联邦学习的模型训练装置，可以应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，其结构如图5所示，该基于联邦学习的模型训练装置可以包括：中心神经网络模型构建单元100、边缘神经网络模型构建单元200以及对抗攻击防御全局模型获得单元300。
所述中心神经网络模型构建单元100，用于对所述云计算中心构建中心神经网络模型。
所述边缘神经网络模型构建单元200，用于对各所述边缘计算节点分别构建边缘神经网络模型。
所述对抗攻击防御全局模型获得单元300，用于利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。
可选的，所述边缘神经网络模型构建单元200，包括：计算性能确定子单元和边缘模型构建子单元。
所述计算性能确定子单元，用于确定各所述边缘计算节点的计算性能。
所述边缘模型构建子单元，用于分别根据各所述边缘计算节点的计算性能，构建与各所述边缘计算节点相对应的边缘神经网络模型。
可选的，所述边缘模型构建子单元，具体用于对任一所述边缘计算节点：根据该边缘计算节点的计算性能，按照预设性能限制条件构建与该边缘计算节点相对应的神经网络模型。
可选的，所述边缘神经网络模型为稀疏自编码神经网络模型。
可选的，所述中心神经网络模型包括梯度屏蔽全连接层。
可选的所述训练样本包括数据预处理后的原始样本和基于所述数据预处理后的所述原始样本生成的对抗样本。
可选的，所述对抗攻击防御全局模型获得单元300包括：第一权重矩阵数值获得子单元、第二权重矩阵数值获得子单元以及模型调整子单元。
所述第一权重矩阵数值获得子单元，用于将所述数据预处理后的所述原始样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第一权重矩阵数值。
所述第二权重矩阵数值获得子单元，用于将所述对抗样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第二权重矩阵数值。
所述模型调整子单元，用于根据所述第一权重矩阵数值和所述第二权重矩阵数值之间的差异，对所述梯队遮蔽全连接层进行调整，获得对抗攻击防御全局模型。
可选的，所述联邦学习的过程包括：
由所述云计算中心将公钥分发至各所述边缘计算节点，以使各所述边缘计算节点使用所述公钥对需要传输的数据进行加密。
各所述边缘计算节点分别计算特征中间结果并加密交互，确定各所述边缘计算节点对应的梯度值和损失值。
各所述边缘计算节点分别将加密后的所述梯度值和所述损失值汇总至所述云计算中心，由所述云计算中心对所述梯度值和所述损失值进行解密。
由所述云计算中心将解密后的所述梯度值和所述损失值分别回传至各所述边缘计算节点，以使所述边缘计算节点根据解密后的所述梯度值和损失值更新对应的所述边缘神经网络模型的参数。
迭代上述步骤直至各所述边缘神经网络模型的损失函数收敛。
可选的，所述数据预处理包括数据清洗、数据归一化和添加高斯噪声。
本公开提供的一种基于联邦学习的模型训练装置，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，该方法包括：对所述云计算中心构建中心神经网络模型；对各所述边缘计算节点分别构建边缘神经网络模型；利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习，可以有效在训练过程中防止边缘计算节点的数据泄露，提高边缘计算框架的对抗攻击防御能力。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
所述基于联邦学习的模型训练装置包括处理器和存储器，上述中心神经网络模型构建单元100、边缘神经网络模型构建单元200以及对抗攻击防御全局模型获得单元300等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习，可以有效在训练过程中防止边缘计算节点的数据泄露，提高边缘计算框架的对抗攻击防御能力。
本公开实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述基于联邦学习的模型训练方法。
本公开实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于联邦学习的模型训练方法。
如图6所示，本公开实施例提供了一种电子设备1000，电子设备1000包括至少一个处理器1001、以及与处理器1001连接的至少一个存储器1002、总线1003；其中，处理器1001、存储器1002通过总线1003完成相互间的通信；处理器1001用于调用存储器1002中的程序指令，以执行上述的基于联邦学习的模型训练方法。本文中的电子设备可以是服务器、PC、PAD、手机等。
本公开还提供了一种计算机程序产品，当在电子设备上执行时，适于执行初始化有基于联邦学习的模型训练方法步骤的程序。
本公开是参照根据本公开实施例的方法、装置、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，电子设备包括一个或多个处理器(CPU)、存储器和总线。电子设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
在本公开的描述中，需要理解的是，如若涉及术语“上”、“下”、“前”、“后”、“左”和“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的位置或元件必须具有特定方位、以特定的方位构成和操作，因此不能理解为本公开的限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。
Claims (10)
1.一种基于联邦学习的模型训练方法，其特征在于，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，所述方法包括：
对所述云计算中心构建中心神经网络模型；
对各所述边缘计算节点分别构建边缘神经网络模型；
利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。
2.根据权利要求1所述的方法，其特征在于，所述对各所述边缘计算节点分别构建边缘神经网络模型，包括：
确定各所述边缘计算节点的计算性能；
分别根据各所述边缘计算节点的计算性能，构建与各所述边缘计算节点相对应的边缘神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述分别根据各所述边缘计算节点的计算性能，构建与各所述边缘计算节点相对应的神经网络模型，包括：
对任一所述边缘计算节点：根据该边缘计算节点的计算性能，按照预设性能限制条件构建与该边缘计算节点相对应的神经网络模型。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述边缘神经网络模型为稀疏自编码神经网络模型，和/或，所述中心神经网络模型包括梯度屏蔽全连接层。
5.根据权利要求4所述的方法，其特征在于，所述训练样本包括数据预处理后的原始样本和基于所述数据预处理后的所述原始样本生成的对抗样本，所述利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型，包括：
将所述数据预处理后的所述原始样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第一权重矩阵数值；
将所述对抗样本输入至各所述边缘神经网络模型中进行联邦学习，获得所述中心神经网络模型的所述梯度遮蔽全连接层的第二权重矩阵数值；
根据所述第一权重矩阵数值和所述第二权重矩阵数值之间的差异，对所述梯队遮蔽全连接层进行调整，获得对抗攻击防御全局模型。
6.根据权利要求1所述的方法，其特征在于，所述联邦学习的过程包括：
由所述云计算中心将公钥分发至各所述边缘计算节点，以使各所述边缘计算节点使用所述公钥对需要传输的数据进行加密；
各所述边缘计算节点分别计算特征中间结果并加密交互，确定各所述边缘计算节点对应的梯度值和损失值；
各所述边缘计算节点分别将加密后的所述梯度值和所述损失值汇总至所述云计算中心，由所述云计算中心对所述梯度值和所述损失值进行解密；
由所述云计算中心将解密后的所述梯度值和所述损失值分别回传至各所述边缘计算节点，以使所述边缘计算节点根据解密后的所述梯度值和损失值更新对应的所述边缘神经网络模型的参数；
迭代上述步骤直至各所述边缘神经网络模型的损失函数收敛。
7.根据权利要求5所述的方法，其特征在于，所述数据预处理包括数据清洗、数据归一化和添加高斯噪声。
8.一种基于联邦学习的模型训练装置，其特征在于，应用于边缘计算框架，所述边缘计算框架包括云计算中心和至少一个边缘计算节点，所述云计算中心对各所述边缘计算节点进行管理控制，所述装置包括：中心神经网络模型构建单元、边缘神经网络模型构建单元以及对抗攻击防御全局模型获得单元，
所述中心神经网络模型构建单元，用于对所述云计算中心构建中心神经网络模型；
所述边缘神经网络模型构建单元，用于对各所述边缘计算节点分别构建边缘神经网络模型；
所述对抗攻击防御全局模型获得单元，用于利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整，获得对抗攻击防御全局模型。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的模型训练方法。
10.一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7中任一项所述的基于联邦学习的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167777.3A CN113792890B (zh) | 2021-09-29 | 2021-09-29 | 一种基于联邦学习的模型训练方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167777.3A CN113792890B (zh) | 2021-09-29 | 2021-09-29 | 一种基于联邦学习的模型训练方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792890A true CN113792890A (zh) | 2021-12-14 |
| CN113792890B CN113792890B (zh) | 2024-05-03 |
Family
ID=79184548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111167777.3A Active CN113792890B (zh) | 2021-09-29 | 2021-09-29 | 一种基于联邦学习的模型训练方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792890B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329388A (zh) * | 2022-10-17 | 2022-11-11 | 南京信息工程大学 | 一种面向联邦生成对抗网络的隐私增强方法 |
| CN116614484A (zh) * | 2023-07-19 | 2023-08-18 | 北京邮电大学 | 基于结构增强的异质数据联邦学习方法及相关设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110460600A (zh) * | 2019-08-13 | 2019-11-15 | 南京理工大学 | 可抵御生成对抗网络攻击的联合深度学习方法 |
| CN110874484A (zh) * | 2019-10-16 | 2020-03-10 | 众安信息技术服务有限公司 | 基于神经网络和联邦学习的数据处理方法和系统 |
| CN112232528A (zh) * | 2020-12-15 | 2021-01-15 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
| CN112464290A (zh) * | 2020-12-17 | 2021-03-09 | 浙江工业大学 | 一种基于自编码器的垂直联邦学习防御方法 |
| CN112560059A (zh) * | 2020-12-17 | 2021-03-26 | 浙江工业大学 | 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法 |
| US20210110268A1 (en) * | 2019-10-11 | 2021-04-15 | Qualcomm Incorporated | Learned threshold pruning for deep neural networks |
| CN113112029A (zh) * | 2021-04-22 | 2021-07-13 | 中国科学院计算技术研究所 | 一种应用于异构计算设备的联邦学习系统和方法 |
| CN113239023A (zh) * | 2021-04-20 | 2021-08-10 | 浙江大学德清先进技术与产业研究院 | 一种面向遥感数据的联邦学习模型训练方法 |
| CN113298268A (zh) * | 2021-06-11 | 2021-08-24 | 浙江工业大学 | 一种基于对抗噪声注入的垂直联邦学习方法和装置 |
-
2021
- 2021-09-29 CN CN202111167777.3A patent/CN113792890B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110460600A (zh) * | 2019-08-13 | 2019-11-15 | 南京理工大学 | 可抵御生成对抗网络攻击的联合深度学习方法 |
| US20210110268A1 (en) * | 2019-10-11 | 2021-04-15 | Qualcomm Incorporated | Learned threshold pruning for deep neural networks |
| CN110874484A (zh) * | 2019-10-16 | 2020-03-10 | 众安信息技术服务有限公司 | 基于神经网络和联邦学习的数据处理方法和系统 |
| CN112232528A (zh) * | 2020-12-15 | 2021-01-15 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
| CN112464290A (zh) * | 2020-12-17 | 2021-03-09 | 浙江工业大学 | 一种基于自编码器的垂直联邦学习防御方法 |
| CN112560059A (zh) * | 2020-12-17 | 2021-03-26 | 浙江工业大学 | 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法 |
| CN113239023A (zh) * | 2021-04-20 | 2021-08-10 | 浙江大学德清先进技术与产业研究院 | 一种面向遥感数据的联邦学习模型训练方法 |
| CN113112029A (zh) * | 2021-04-22 | 2021-07-13 | 中国科学院计算技术研究所 | 一种应用于异构计算设备的联邦学习系统和方法 |
| CN113298268A (zh) * | 2021-06-11 | 2021-08-24 | 浙江工业大学 | 一种基于对抗噪声注入的垂直联邦学习方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329388A (zh) * | 2022-10-17 | 2022-11-11 | 南京信息工程大学 | 一种面向联邦生成对抗网络的隐私增强方法 |
| CN116614484A (zh) * | 2023-07-19 | 2023-08-18 | 北京邮电大学 | 基于结构增强的异质数据联邦学习方法及相关设备 |
| CN116614484B (zh) * | 2023-07-19 | 2023-11-10 | 北京邮电大学 | 基于结构增强的异质数据联邦学习方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792890B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | A blockchain-based shamir’s threshold cryptography scheme for data protection in industrial internet of things settings | |
| Shen et al. | From distributed machine learning to federated learning: In the view of data privacy and security | |
| US11902413B2 (en) | Secure machine learning analytics using homomorphic encryption | |
| US20210004718A1 (en) | Method and device for training a model based on federated learning | |
| CN111428887B (zh) | 一种基于多个计算节点的模型训练控制方法、装置及系统 | |
| US11410081B2 (en) | Machine learning with differently masked data in secure multi-party computing | |
| CN112989399B (zh) | 数据处理系统及方法 | |
| CN113792890B (zh) | 一种基于联邦学习的模型训练方法及相关设备 | |
| US20220374544A1 (en) | Secure aggregation of information using federated learning | |
| WO2022156594A1 (zh) | 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质 | |
| US12079219B2 (en) | Updatable private set intersection | |
| CN113239391B (zh) | 一种无第三方的逻辑回归联邦学习模型训练系统及方法 | |
| EP4386636A1 (en) | User data processing system, method and apparatus | |
| CN115913537A (zh) | 基于隐私保护的数据求交方法、系统及相关设备 | |
| Das et al. | A secure softwarized blockchain-based federated health alliance for next generation IoT networks | |
| Bandaru et al. | Block chain enabled auditing with optimal multi‐key homomorphic encryption technique for public cloud computing environment | |
| CN113259084A (zh) | 动产质押风险预警方法、装置、计算机设备和存储介质 | |
| CN117034287A (zh) | 基于隐私计算互联互通技术的多方联合建模安全增强方法 | |
| Qiu et al. | Efficient Vertical Federated Learning with Secure Aggregation | |
| CN114547684A (zh) | 一种保护隐私数据的多方联合训练树模型的方法及装置 | |
| Xu et al. | FedG2L: a privacy-preserving federated learning scheme base on “G2L” against poisoning attack | |
| Zhao et al. | ePMLF: Efficient and Privacy‐Preserving Machine Learning Framework Based on Fog Computing | |
| Xu | Functional encryption based approaches for practical privacy-preserving machine learning | |
| Zingirian | Privacy-Preserving Data Publishing in Small-Sized Business Communities | |
| Liu et al. | Privacy preserving collaborative machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |