CN116227628A - 基于不变风险最小化博弈机制的联邦学习方法及系统 - Google Patents
基于不变风险最小化博弈机制的联邦学习方法及系统 Download PDFInfo
- Publication number
- CN116227628A CN116227628A CN202310256075.5A CN202310256075A CN116227628A CN 116227628 A CN116227628 A CN 116227628A CN 202310256075 A CN202310256075 A CN 202310256075A CN 116227628 A CN116227628 A CN 116227628A
- Authority
- CN
- China
- Prior art keywords
- clients
- server
- minimization
- risk
- predictor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000007246 mechanism Effects 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 63
- 239000010410 layer Substances 0.000 claims description 38
- 230000014509 gene expression Effects 0.000 claims description 29
- 239000002355 dual-layer Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001364 causal effect Effects 0.000 abstract description 17
- 238000012512 characterization method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- OVBPIULPVIDEAO-LBPRGKRZSA-N folic acid Chemical compound C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-LBPRGKRZSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供一种基于不变风险最小化博弈机制的联邦学习方法及系统，应用于联邦学习技术领域。联邦学习系统包括服务器和多个客户端，服务器分别与多个客户端通信连接。基于不变风险最小化博弈机制的联邦学习方法预先将Non‑IID问题转换为OOD问题，并引入不变风险最小化IRM作为目标最小化框架。方法包括：服务器从多个客户端中选取K个客户端参与训练；服务器和K个客户端，采用不变风险最小化博弈IRMG算法，对目标最小化框架进行优化。本发明实施例通过引入不变因果机制和不变风险最小化博弈机制，引导模型跨客户学习不变因果表征，解决训练收敛过慢或无法收敛的情况，并在全局上保证模型泛化能力尽可能覆盖更多未知分布的数据。
Description
技术领域
本发明涉及联邦学习技术领域，尤其涉及一种基于不变风险最小化博弈机制的联邦学习方法及系统。
背景技术
联邦学习(Federated Learning)是一种新兴的人工智能基础技术，原用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。
联邦学习本质上是一种分布式机器学习框架，其目标是保证数据隐私安全及合法合规的基础上，与各个数据拥有方共同建模，提升AI模型的效果。然而在实际情况中，联邦学习普遍会面临一个不可忽视的数据非独立同分布(Non-IID)问题，即参与共同建模的客户(clients)所拥有的数据来自不同的分布。由此会导致以下两个主要问题：
(1)由于数据存在差异，训练时部分设备的局部模型会呈现“远离”全局模型的情况，即模型权重偏差(weight divergence)变大，使训练收敛过慢甚至无法收敛；
(2)基于通信消耗考量，一般情况下联邦学习在每轮通信仅随机或根据策略选择部分客户参与该轮的训练，因此，当遵循某类型数据分布的客户较多时，预测模型容易“陷入”该类型数据分布的局部最优，导致无法解决来自未知分布或领域的数据。
发明内容
本发明提供一种基于不变风险最小化博弈机制的联邦学习方法及系统，用于解决训练收敛过慢或无法收敛的情况，并在全局上保证模型泛化能力尽可能覆盖更多未知分布的数据。技术方案如下：
第一方面，本发明的实施例提供一种基于不变风险最小化博弈机制的联邦学习方法，应用于联邦学习系统，所述联邦学习系统包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接，所述基于不变风险最小化博弈机制的联邦学习方法预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；所述基于不变风险最小化博弈机制的联邦学习方法包括：
所述服务器从所述多个客户端中选取K个客户端参与训练；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
可选地，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
可选地，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述K个客户端分别采用如下公式优化其局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器；
所述服务器采用如下公式优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
可选地，所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述服务器预先设定有最大通信轮次N，并初始化当前轮次t＝0，N为正整数；
所述服务器判断当前轮次t是否大于N；
如果当前轮次t不大于N，则所述服务器判断当前轮次是特征提取器更新轮还是预测器更新轮；
如果当前轮次是特征提取器更新轮，则所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新；
如果当前轮次是预测器更新轮，则所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新。
可选地，所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新，包括：
所述K个客户端中的每个客户端通过计算损失函数Re，并基于所述损失函数Re计算得到第一梯度，将所述第一梯度发送至所述服务器；
所述服务器接收到所述K个客户端分别发送的第一梯度后，将所述K个客户端的K个第一梯度进行融合，得到融合梯度；
所述服务器利用所述融合梯度更新所述服务器上的特征提取器模型权重，并将更新后的特征提取器模型权重发送给所述K个客户端，同时当前轮次t加1；
所述K个客户端依据所述服务器发送的所述更新后的特征提取器模型权重，分别更新各自的特征提取器模型权重。
可选地，所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新，包括：
所述K个客户端中的每个客户端针对各自的局部目标函数Oe，计算第二梯度，并将所述第二梯度更新各自的局部预测器模型权重；
所述K个客户端分别将各自更新后的局部预测器模型权重发送给服务器；
所述服务器利用所述K个客户端分别发送的更新后的局部预测器模型权重，更新所述服务器上的局部预测器模型权重集合；
所述服务器根据更新后的局部预测器模型权重集合，更新全局预测器模型权重，同时当前轮次t加1。
可选地，所述基于不变风险最小化博弈机制的联邦学习方法还包括：
如果当前轮次t大于N，则结束所述基于不变风险最小化博弈机制的联邦学习方法。
第二方面，本发明的实施例提供一种基于不变风险最小化博弈机制的联邦学习系统，包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接，所述基于不变风险最小化博弈机制的联邦学习系统预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；其中：
所述服务器从所述多个客户端中选取K个客户端参与训练；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
可选地，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
可选地，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述K个客户端分别采用如下公式优化其局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器；
所述服务器采用如下公式优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
本发明的上述技术方案的有益效果是：
本发明实施例提供一种基于不变风险最小化博弈机制的联邦学习方法及系统，联邦学习系统包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接。所述基于不变风险最小化博弈机制的联邦学习方法预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；所述基于不变风险最小化博弈机制的联邦学习方法包括：所述服务器从所述多个客户端中选取K个客户端参与训练；所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。本发明实施例能够解决现有联邦学习方法存在的Non-IID问题，通过引入不变因果机制和不变风险最小化博弈机制，引导模型跨客户学习因果表征，解决训练收敛过慢或无法收敛的情况，并在全局上保证模型泛化能力尽可能覆盖更多未知分布的数据。
附图说明
图1为本发明实施例公开的一种基于不变风险最小化博弈机制的联邦学习方法的流程图；
图2为本发明实施例中服务器和K个客户端，采用不变风险最小化博弈IRMG算法，对目标最小化框架进行优化的实现方法流程图；
图3为本发明实施例公开的一种基于不变风险最小化博弈机制的联邦学习系统的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
申请人对现有的联邦学习方法进行调研发现，目前主流的联邦学习方法主要是联邦平均(Federated Averaging)算法，其步骤是：(1)在每轮通信训练过程中，每个参与该轮训练的客户先在本地进行e轮训练；(2)当本地训练结束后，参与训练的客户将更新权重上传至可信服务器(server)；(3)当服务器接收到所有参与训练的客户所上传的权重后，将对所有客户权重进行平均融合，再更新到全局模型权重。可通过以下数学公式进行表达：
其中，
为在第t+1轮通信的全局模型权重，
为第k个客户在第t+1轮通信的模型权重，nk为第k个客户的样本数量，n为所有参与训练的客户的总样本数量，K为客户总数。
若采用联邦平均算法并将所有客户纳入训练，理想情况下可使模型在独立同分布(IID)数据(因为所有客户数据都用于训练)上训练。然而在实际情况中，这个理想情况难以实现，主要原因是：(1)现实情况中，客户数量可能成千上万，若所有客户同时参与训练，通信消耗将非常巨大，容易造成网络服务问题；(2)实际情况中不可保证所有参与训练的客户的边端设备均具有高质量网络服务和软硬件条件，当网络条件或软硬件条件较差的客户无法在限定时间内提供该轮的模型权重时，则以上理想情况将不可实现。当理想情况不可实现时(即出现Non-IID情况)，因为每个参与训练的客户会将其领域的局部偏移带入全局模型，所以联邦平均会难以收敛。
从以上情况可知，在现实环境下达到理想的独立同分布(IID)情况是十分困难的，因此，最近许多研究和解决方案均围绕非独立同分布(Non-IID)情况展开，如联邦近端(Federated Proximal)、随机方差减少梯度(SVRG)等；其中，联邦近端主要在联邦平均算法基础上进行了两个改动，分别是：(1)算法通过对局部目标函数进行非精确求解，动态调整本地迭代次数，允许出现未训练完成的局部模型参与全局模型更新；(2)在局部模型的目标函数上增加近端项，对偏离全局模型过多的局部模型会作出惩罚。
但是，以上解决方案均从权重更新或梯度更新方面提出的改进，一定程度上缓解了非独立同分布情况下训练难收敛的问题，但仍存在两个问题：(1)以上解决方案没有对数据的不变因果特征进行挖掘，所以对于未遇到过的数据分布，依旧会出现较差的泛化性；(2)以上解决方案的每个客户目标仍是传统的最小化经验风险函数(Empirical RiskMinimization，简称ERM)，而最小化经验风险函数难以实现跨域泛化，依旧无法解决训练中部分客户带来的局部偏移。
针对此，本发明实施例创新提出一种基于不变风险最小化博弈机制的联邦学习方法，解决现有联邦学习方法存在的Non-IID问题，通过引入不变因果机制和不变风险最小化博弈机制，引导模型跨客户学习因果表征(causal representations)，解决训练收敛过慢或无法收敛的情况，并在全局上保证模型泛化能力尽可能覆盖更多未知分布的数据。
在介绍本发明实施例前，申请人就本发明实施例涉及到的一些技术术语进行简单说明。
预测器模型包括全局预测器模型和局部预测器模型。局部预测器模型存在于每个客户端，是每个客户端针对其自己训练环境的一个局部预测器。全局预测器模型是针对整个训练环境的预测器模型，服务器和每个客户端都有，但全局预测器模型的权重更新、分发是由服务器执行并完成的，客户端只拥有其权重副本，无法进行权重更新或分发。
特征提取器模型是指用来提取样本特征表达的模型，服务器和每个客户端都有，其中服务器负责将所有客户端的更新梯度进行聚合(或融合)、更新和分发，客户端无法进行更新和分发。
所有的预测器模型(即全局预测器模型和局部预测器模型)以及特征提取器模型是一种由多个参数组成的函数，本发明实施例中的权重指的就是函数中的这些参数。权重(也就是参数)通过不断学习进行调整，最终得到一组最优权重解，即最优预测器解。
学习模型(简称模型)由特征提取器模型和预测器模型组成，特征提取器模型负责提取特征表达，预测器模型负责根据特征表达预测结果。本发明实施例中，服务器和每个客户端都拥有自己的学习模型，服务器中的学习模型由特征提取器模型和全局预测器模型组成，客户端中的学习模型由特征提取器模型和局部预测器模型组成。
每个客户端拥有自己的数据，这些数据可能来自客户端自己收集或一些公开数据集，且为了保证数据安全性，客户端只允许自己访问自己的数据，他人无法访问其数据。客户端将自己的数据输入到自己的学习模型(特征提取器模型+局部预测器模型)中，会得到一个输出结果，进而根据该输出结果可以计算得到损失函数Re。
损失函数Re是泛指某个任务的损失函数，任务可能是数值回归、图像分类、图像检索等，不同任务的损失函数不一样。损失函数Re的计算过程大致可以表示为：样本输入/数据输入→特征提取器模型→局部预测器模型/全局预测器模型→输出预测结果→计算损失函数Re。
本发明实施例中联邦学习的目标是得到一个问题的最优解。全局最优是理想状态，而考虑实际情况，本发明实施例是力争找到一个尽可能接近全局最优或约等于全局最优的解，也就是找到一组最优权重。
如图1所示，本发明实施例提出的一种基于不变风险最小化博弈机制的联邦学习方法具体应用于联邦学习系统，所述联邦学习系统包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接。本发明实施例提出的基于不变风险最小化博弈机制的联邦学习方法首先预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，进而针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架。方法具体包括：
步骤101，服务器从多个客户端中选取K个客户端参与训练。
在实际应用过程中，某个客户在联邦学习系统里完成注册认证后，就会新增到联邦学习系统里的客户集里。当需要训练时，服务器便会从客户集里随机选K个客户端参与训练，K为正整数，K值需视实际情况而定。
被选中的K个客户端便是训练参与者。各训练参与者拥有自己的数据集，也就是有K个局部训练环境，全局训练环境由该K个局部训练环境组成。
步骤102，服务器和选取的K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
本发明实施例中，对目标最小化框架进行优化，以训练得到一个优化目标，使得训练结束后，可以找到一个全局最优预测器解，即对于K个客户端来说，是所有客户端都能接受的最好的结果。
具体的，本发明实施例首先将Non-IID问题转换为分布外泛化OOD问题的实现方法如下：
首先，本发明实施例对OOD问题进行描述。对于OOD问题，一般采用“环境”(环境用ε表示)表示在特定位置时间下的数据生成分布。在实际应用中，联邦学习方法中的一个客户可认为是一个环境。同行业的不同环境(客户)是共享部分重叠的不变因果特征(不变因果特征用I表示)，同时，存在不稳定因素(不稳定因素用U表示)造成不同环境间存在差异。可通过以下条件概率公式表示给定不变因果特征I和不稳定因素U的情况下，出现某环境的概率：
此外，不变因果特征I与数据标签Y的条件概率分布在所有环境中是固定的，可通过以下概率公式表示：
其中ui表示第i种不稳定因素，uj表示第j种不稳定因素。
由此，本发明实施例便实现将原来的Non-IID问题转换为OOD问题。
但是转换为OOD问题后，有两个关键问题需要解决，一是如何从训练环境(训练数据的生成分布，用εtrain表示)提取出不变因果特征I；二是如何保证训练环境的不变因果特征I尽可能泛化到其他环境。针对此，本发明实施例提出针对OOD问题，引入不变风险最小化IRM作为目标最小化框架，即采用主流的不变风险最小化算法(Invariant RiskMinimization，简称IRM)作为目标最小化框架解决以上问题。
具体地，本发明实施例中的目标最小化框架为双层目标最小化框架，可以通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
双层目标最小化框架(即双层目标函数)包含约束s.t外一层和约束s.t里一层，可分别简称为约束s.t外层和约束s.t内层。两者之间的关系是，在最小化外层的目标时，必须受到内层的条件约束。双层目标最小化框架的目的是提取不变因果特征表达Φinv，使得整个训练环境εtrain内所有参与训练的客户的最优预测器解都是ω*。
进一步，为了更好地实现对双层目标最小化框架进行优化，本发明实施例采用基于IRM改进的不变风险最小化博弈算法(Invariant Risk Minimization Game，简称IRMG)，此算法可在多个具体环境e中寻找预测器的假设集合博弈的纳什均衡点，等价于在任何有限数量的环境中寻找到不变预测器集。具体来说，本发明实施例将双层目标最小化框架分开，然后分别由客户端和服务器共同优化。
首先对于K个客户端，把每个客户都认为是博弈的参与者，通过相互竞争来优化其局部目标函数Oe，具体的，采用如下公式(1)优化所述局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器。
然而，服务器(server)作为“规则制定者”，采用如下公式(2)优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
本发明实施例将双层目标函数分开，利用客户端和服务器共同优化，不仅可以保证每个客户端的计算量不会过大，还可保证学习模型的分布外泛化性。
以上是本发明实施例对于目标最小化框架的描述，下面，申请人将继续描述如何将博弈机制引入联邦学习过程中，以适配目标最小化框架。
如图2所示，服务器和K个客户端，采用不变风险最小化博弈IRMG算法，对目标最小化框架进行优化的具体实现方法包括：
步骤201，服务器预先设定有最大通信轮次N，并初始化当前轮次t＝0，N为正整数。
在对目标最小化框架进行优化前，服务器需要初始化当前轮次t＝0。此外，服务器还会初始化预测器模型权重集合、全局预测器模型权重和特征提取模型权重，并将初始化后的预测器模型权重集合、全局预测器模型权重和特征提取模型权重分发给K个客户端。
需要说明的是，预测器模型权重集合是对应K个客户端局部预测器模型权重的集合，即预测器模型权重集合包含对应K个客户端的K个局部预测器模型权重。初始化指的是利用某种分布(如连续均匀分布)为每个权重随机选取一个值，本发明实施例中，服务器对预测器模型权重集合、全局预测器模型权重和特征提取模型权重初始化前，其权重都是空值。
步骤202，服务器判断当前轮次t是否大于N。如果大于，执行步骤203，如果不大于，执行步骤204。
服务器的程序有计数Flag，服务器通过计数Flag可以实现自动判断当前轮次t是否大于N。
步骤203，结束所述基于不变风险最小化博弈机制的联邦学习方法。
如果当前轮次t＞N，说明服务器已达到预先设定的最大通信轮次N，此时结束所述基于不变风险最小化博弈机制的联邦学习方法。
步骤204，服务器判断当前轮次是特征提取器更新轮还是预测器更新轮。
如果当前轮次t≤N，说明服务器还未达到预先设定的最大通信轮次N，此时服务器继续判断当前轮次是特征提取器更新轮还是预测器更新轮。
在实际应用中，通常服务器会设置一个“相隔轮数”，即每n轮进行一次预测器更新，其他轮则是特征提取器更新。
步骤205，如果当前轮次是特征提取器更新轮，则所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新。
具体的，本发明实施例步骤205的实现方法可以包括：
步骤2051，K个客户端中的每个客户端通过计算损失函数Re，并基于所述损失函数Re计算得到第一梯度，将所述第一梯度发送至服务器。
K个客户端中的每个客户端可以根据其拥有的数据、全局预测器模型权重、当前特征提取器权重等计算得到损失函数Re，并基于所述损失函数Re计算得到第一梯度，本发明实施例中关于计算得到损失函数Re的实现方法，以及基于损失函数Re计算得到第一梯度的实现方法是比较成熟的现有技术，本发明实施例对此不再赘述。
步骤2052，服务器接收到K个客户端分别发送的第一梯度后，将K个客户端的K个第一梯度进行融合，得到融合梯度。
步骤2053，服务器利用所述融合梯度更新服务器上的特征提取器模型权重，并将更新后的特征提取器模型权重发送给K个客户端，同时将当前轮次t加1，并返回步骤202。
步骤2054，K个客户端依据服务器发送的所述更新后的特征提取器模型权重，分别更新各自的特征提取器模型权重。
步骤206，如果当前轮次是预测器更新轮，则所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新。
具体的，本发明实施例步骤206的实现方法可以包括：
步骤2061，K个客户端中的每个客户端针对各自的局部目标函数Oe，计算第二梯度，并将所述第二梯度更新各自的局部预测器模型权重。
步骤2062，K个客户端分别将各自更新后的局部预测器模型权重发送给服务器。
步骤2063，服务器利用K个客户端分别发送的更新后的局部预测器模型权重，更新服务器上的局部预测器模型权重集合。
步骤2064，服务器根据更新后的局部预测器模型权重集合，更新全局预测器模型权重，同时将当前轮次t加1，并返回步骤202。
本发明实施例提供的基于不变风险最小化博弈机制的联邦学习方法，预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对OOD问题，引入不变风险最小化IRM作为目标最小化框架；服务器从多个客户端中选取K个客户端参与训练；以及，服务器和选取的K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。本发明实施例能够解决现有联邦学习方法存在的Non-IID问题，通过引入不变因果机制和不变风险最小化博弈机制，引导模型跨客户学习因果表征，解决训练收敛过慢或无法收敛的情况，并在全局上保证模型泛化能力尽可能覆盖更多未知分布的数据。
基于前文本发明实施例提供的一种基于不变风险最小化博弈机制的联邦学习方法，本发明实施例还提供一种基于不变风险最小化博弈机制的联邦学习系统，如图3所示，包括：服务器10和多个客户端20。服务器10分别与多个客户端20通信连接。所述基于不变风险最小化博弈机制的联邦学习系统预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；其中：
所述服务器10从所述多个客户端20中选取K个客户端参与训练；
所述服务器10和选取的K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
作为本发明实施例的一种可选实现方式，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
作为本发明实施例的一种可选实现方式，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述K个客户端分别采用如下公式优化其局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器；
所述服务器采用如下公式优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
作为本发明实施例的一种可选实现方式，服务器和选取的K个客户端，采用不变风险最小化博弈IRMG算法，对目标最小化框架进行优化，包括：
服务器预先设定有最大通信轮次N，并初始化当前轮次t＝0，N为正整数；
服务器判断当前轮次t是否大于N；
如果当前轮次t不大于N，则服务器判断当前轮次是特征提取器更新轮还是预测器更新轮；
如果当前轮次是特征提取器更新轮，则服务器和K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新；
如果当前轮次是预测器更新轮，则服务器和K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新。
其中可选地，服务器和K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新，包括：
K个客户端中的每个客户端通过计算损失函数Re，并基于所述损失函数Re计算得到第一梯度，将所述第一梯度发送至服务器；
服务器接收到K个客户端分别发送的第一梯度后，将K个客户端的K个第一梯度进行融合，得到融合梯度；
服务器利用融合梯度更新服务器上的特征提取器模型权重，并将更新后的特征提取器模型权重发送给K个客户端，同时当前轮次t加1；
K个客户端依据所述服务器发送的所述更新后的特征提取器模型权重，分别更新各自的特征提取器模型权重。
其中可选地，服务器和K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新，包括：
K个客户端中的每个客户端针对各自的局部目标函数Oe，计算第二梯度，并将所述第二梯度更新各自的局部预测器模型权重；
K个客户端分别将各自更新后的局部预测器模型权重发送给服务器；
服务器利用K个客户端分别发送的更新后的局部预测器模型权重，更新服务器上的局部预测器模型权重集合；
服务器根据更新后的局部预测器模型权重集合，更新全局预测器模型权重，同时当前轮次t加1。
进一步可选地，如果当前轮次t大于N，则结束所述基于不变风险最小化博弈机制的联邦学习方法。
需要说明的是，该基于不变风险最小化博弈机制的联邦学习系统是与前述实施例中的基于不变风险最小化博弈机制的联邦学习方法对应的系统，上述方法实施例中的所有实现手段均适用于该基于不变风险最小化博弈机制的联邦学习系统的实施例中，也能达到相同的技术效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于不变风险最小化博弈机制的联邦学习方法，应用于联邦学习系统，所述联邦学习系统包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接，其特征在于，所述基于不变风险最小化博弈机制的联邦学习方法预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；所述基于不变风险最小化博弈机制的联邦学习方法包括：
所述服务器从所述多个客户端中选取K个客户端参与训练；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
2.根据权利要求1所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
3.根据权利要求2所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述K个客户端分别采用如下公式优化其局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器；
所述服务器采用如下公式优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
4.根据权利要求3所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述服务器预先设定有最大通信轮次N，并初始化当前轮次t＝0，N为正整数；
所述服务器判断当前轮次t是否大于N；
如果当前轮次t不大于N，则所述服务器判断当前轮次是特征提取器更新轮还是预测器更新轮；
如果当前轮次是特征提取器更新轮，则所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新；
如果当前轮次是预测器更新轮，则所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新。
5.根据权利要求4所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述服务器和所述K个客户端根据预设的第一更新方法对特征提取器模型权重进行更新，包括：
所述K个客户端中的每个客户端通过计算损失函数Re，并基于所述损失函数Re计算得到第一梯度，将所述第一梯度发送至所述服务器；
所述服务器接收到所述K个客户端分别发送的第一梯度后，将所述K个客户端的K个第一梯度进行融合，得到融合梯度；
所述服务器利用所述融合梯度更新所述服务器上的特征提取器模型权重，并将更新后的特征提取器模型权重发送给所述K个客户端，同时当前轮次t加1；
所述K个客户端依据所述服务器发送的所述更新后的特征提取器模型权重，分别更新各自的特征提取器模型权重。
6.根据权利要求4所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述服务器和所述K个客户端根据预设的第二更新方法对局部预测器模型权重集合和全局预测器模型权重进行更新，包括：
所述K个客户端中的每个客户端针对各自的局部目标函数Oe，计算第二梯度，并将所述第二梯度更新各自的局部预测器模型权重；
所述K个客户端分别将各自更新后的局部预测器模型权重发送给服务器；
所述服务器利用所述K个客户端分别发送的更新后的局部预测器模型权重，更新所述服务器上的局部预测器模型权重集合；
所述服务器根据更新后的局部预测器模型权重集合，更新全局预测器模型权重，同时当前轮次t加1。
7.根据权利要求4-6任一项所述的基于不变风险最小化博弈机制的联邦学习方法，其特征在于，所述基于不变风险最小化博弈机制的联邦学习方法还包括：
如果当前轮次t大于N，则结束所述基于不变风险最小化博弈机制的联邦学习方法。
8.一种基于不变风险最小化博弈机制的联邦学习系统，包括服务器和多个客户端，所述服务器分别与多个所述客户端通信连接，其特征在于，所述基于不变风险最小化博弈机制的联邦学习系统预先将非独立同分布Non-IID问题转换为分布外泛化OOD问题，并针对所述OOD问题，引入不变风险最小化IRM作为目标最小化框架；其中：
所述服务器从所述多个客户端中选取K个客户端参与训练；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化。
9.根据权利要求8所述的基于不变风险最小化博弈机制的联邦学习系统，其特征在于，所述目标最小化框架为双层目标最小化框架，通过以下公式表示：
其中，ω为预测器，Hω为预测器的假设集，Φ为特征表达、HΦ为特征表达的假设集，e为任一个客户端，Re为损失函数，εtrain为所述K个客户端。
10.根据权利要求9所述的基于不变风险最小化博弈机制的联邦学习系统，其特征在于，所述双层目标最小化框架包括约束s.t外层和约束s.t内层；
所述服务器和选取的所述K个客户端，采用不变风险最小化博弈IRMG算法，对所述目标最小化框架进行优化，包括：
所述K个客户端分别采用如下公式优化其局部目标函数Oe，所述局部目标函数Oe为所述约束s.t内层的一种表达式：
其中ωe为客户端e的预测器，ωe’为除客户端e外的其他客户端e’的预测器；
所述服务器采用如下公式优化全局目标函数Oglobal，所述全局目标函数Oglobal为所述约束s.t外层的一种表达式：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256075.5A CN116227628A (zh) | 2023-03-10 | 2023-03-10 | 基于不变风险最小化博弈机制的联邦学习方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256075.5A CN116227628A (zh) | 2023-03-10 | 2023-03-10 | 基于不变风险最小化博弈机制的联邦学习方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116227628A true CN116227628A (zh) | 2023-06-06 |
Family
ID=86578583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310256075.5A Pending CN116227628A (zh) | 2023-03-10 | 2023-03-10 | 基于不变风险最小化博弈机制的联邦学习方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116227628A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757286A (zh) * | 2023-08-16 | 2023-09-15 | 杭州金智塔科技有限公司 | 基于联邦学习的多方联合因果树模型构建系统以及方法 |
| CN117892843A (zh) * | 2024-03-18 | 2024-04-16 | 中国海洋大学 | 基于博弈论与密码学的机器学习数据遗忘方法 |
-
2023
- 2023-03-10 CN CN202310256075.5A patent/CN116227628A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757286A (zh) * | 2023-08-16 | 2023-09-15 | 杭州金智塔科技有限公司 | 基于联邦学习的多方联合因果树模型构建系统以及方法 |
| CN116757286B (zh) * | 2023-08-16 | 2024-01-19 | 杭州金智塔科技有限公司 | 基于联邦学习的多方联合因果树模型构建系统以及方法 |
| CN117892843A (zh) * | 2024-03-18 | 2024-04-16 | 中国海洋大学 | 基于博弈论与密码学的机器学习数据遗忘方法 |
| CN117892843B (zh) * | 2024-03-18 | 2024-06-04 | 中国海洋大学 | 基于博弈论与密码学的机器学习数据遗忘方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Competing bandits in matching markets | |
| Kang et al. | Incentive mechanism for reliable federated learning: A joint optimization approach to combining reputation and contract theory | |
| CN116227628A (zh) | 基于不变风险最小化博弈机制的联邦学习方法及系统 | |
| Li et al. | Fedmd: Heterogenous federated learning via model distillation | |
| Zhang et al. | Adaptive federated learning on non-iid data with resource constraint | |
| Asheralieva et al. | Distributed dynamic resource management and pricing in the IoT systems with blockchain-as-a-service and UAV-enabled mobile edge computing | |
| Xu et al. | Trust-aware service offloading for video surveillance in edge computing enabled internet of vehicles | |
| US20220114475A1 (en) | Methods and systems for decentralized federated learning | |
| US11715044B2 (en) | Methods and systems for horizontal federated learning using non-IID data | |
| Yu et al. | Privacy-preserving federated deep learning for cooperative hierarchical caching in fog computing | |
| CN113873534B (zh) | 一种雾计算中区块链协助的联邦学习主动内容缓存方法 | |
| CN114896899B (zh) | 一种基于信息交互的多智能体分散式决策方法及系统 | |
| Cai et al. | 2cp: Decentralized protocols to transparently evaluate contributivity in blockchain federated learning environments | |
| Kim et al. | Learning to cooperate in decentralized wireless networks | |
| CN117994635B (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统 | |
| Xia et al. | Joint user association and bandwidth allocation in semantic communication networks | |
| Zhang et al. | Backtracking search algorithm with dynamic population for energy consumption problem of a UAV-assisted IoT data collection system | |
| Jiang et al. | Joint model pruning and topology construction for accelerating decentralized machine learning | |
| Hu et al. | Clustered data sharing for Non-IID federated learning over wireless networks | |
| CN114491616A (zh) | 基于区块链和同态加密的联邦学习方法和应用 | |
| Ren et al. | Connected and Autonomous Vehicles in Web3: An Intelligence-Based Reinforcement Learning Approach | |
| Wang et al. | Feature Importance-Aware Task-Oriented Semantic Transmission and Optimization | |
| Shi et al. | Toward Smart and Efficient Service Systems: Computational Layered Federated Learning Framework | |
| Su et al. | Low-latency hierarchical federated learning in wireless edge networks | |
| CN116719607A (zh) | 基于联邦学习的模型更新方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |