CN117130794A - 联邦学习的客户端选择方法、装置和计算机存储介质 - Google Patents
联邦学习的客户端选择方法、装置和计算机存储介质 Download PDFInfo
- Publication number
- CN117130794A CN117130794A CN202311404191.3A CN202311404191A CN117130794A CN 117130794 A CN117130794 A CN 117130794A CN 202311404191 A CN202311404191 A CN 202311404191A CN 117130794 A CN117130794 A CN 117130794A
- Authority
- CN
- China
- Prior art keywords
- client
- round
- iteration round
- selection
- current iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000005303 weighing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 19
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- HYIMSNHJOBLJNT-UHFFFAOYSA-N nifedipine Chemical compound COC(=O)C1=C(C)NC(C)=C(C(=O)OC)C1C1=CC=CC=C1[N+]([O-])=O HYIMSNHJOBLJNT-UHFFFAOYSA-N 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种联邦学习的客户端选择方法、装置和计算机存储介质，所述方法包括：基于所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各客户端的单轮权重系数，根据各客户端的单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各客户端的选择权重；根据当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；基于选择权重和客户端选择数量，选取当前迭代轮次的目标客户端。采用本方法解决了现有技术中限制客户端数量减少通信成本造成全局模型性能损失的问题，并将历史权重融入客户端的选取过程，平衡了联邦学习的训练效率和通信成本。
Description
技术领域
本申请涉及深度学习技术领域，特别是涉及一种联邦学习的客户端选择方法、装置和计算机存储介质。
背景技术
联邦学习作为一种有效应对数据隔离问题的策略，具有保护客户端数据隐私的能力。在联邦学习框架下，客户端模型信息通过加密手段在各参与方之间进行传输和共享。
由于联邦系统的通信带宽有限，为了在实际训练中减少联邦学习系统的通信成本，通常只选取部分客户端参与训练和模型更新过程。客户端选择策略是指如何选择合适的客户端参与模型训练的决策方法。客户端选择策略通常需要解决两个关键问题：(1)如何确定参与训练的客户端数量；(2)在客户端数量已知的前提下，选择哪些客户端参与训练。
针对客户端数量，现有方法通常考虑客户端的数量是固定的，即在每轮训练中客户端的数量保持不变。当客户端的数量较大时，虽然能够增加样本的多样性并提升模型的泛化性能，但系统的计算和通信开销也随之增大。当客户端的数量较小时，虽然能够降低每轮迭代过程中的通信开销，但是可能导致训练过程的收敛速度减慢。另外，在客户端数量固定的情形中，现有方法会导致计算性能优越的客户端被频繁选中，而计算性能一般但具有代表性数据分布的客户端则被持续性忽略，从而导致模型的泛化能力受损。
因此，如何综合考虑训练速度、性能、通信与计算成本等因素，在训练过程中动态调整客户端的数量成为关键问题。针对上述问题，本申请提出了一种客户端数量动态调整的选择策略，即在每轮训练中根据客户端状态和性能自适应进行调整客户端的数量，从而提高训练效率和效果。
在客户端数量已知的前提下，常见做法是随机选择策略，即从所有客户端中随机选择客户端参与训练。但是，在非独立同分布（non-iid）数据情景下，各客户端数据分布差异显著，简单随机选择策略难以提取均衡数据样本。考虑到数据分布的异质性，一些方法通过训练准确率、损失变化和收敛速度等指标来衡量客户端性能，并选择具有高性能的客户端参与训练。传统联邦学习中的客户端选择策略仅基于每个客户端设备在当前轮次上的局部模型性能进行评估。然而，模型在不同轮次之间持续更新和逐渐收敛，仅仰赖当前轮次的性能评估可能无法充分考虑客户端设备的全面贡献。单次评估结果可能受到误差和随机性的影响。
发明内容
基于此，为了平衡联邦学习系统的训练效率和通信成本，更好地应对客户端之间数据分布的异质性问题，提供一种能够减少全局模型对局部噪声和瞬时变化的敏感性，提升联邦学习系统的整体性能的联邦学习的客户端选择方法、装置和计算机存储介质。
第一方面，本申请提供了一种联邦学习的客户端选择方法，所述方法包括：
基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；
基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
在其中一个实施例中，所述根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量包括：
设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间；
若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值；
若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值。
在其中一个实施例中，所述基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，包括：
设置所述联邦学习的迭代轮次周期；
基于所述迭代轮次周期、所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：
，
其中，z表示所述增量，△T表示所述迭代轮次周期，t表示所述当前迭代轮次，T0表示所述初始迭代轮次，表示向下取整；
将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量。
在其中一个实施例中，所述基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数包括：
利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数。
在其中一个实施例中，所述根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，确定当前迭代轮次各所述客户端的选择权重包括：
设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重。
在其中一个实施例中，所述利用权衡因子动态调整算法，根据迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例包括：
设置近邻系数，将所述近邻系数作为所述权衡因子的衰减指数，确定当前迭代轮次各所述客户端的选择权重：
，
，
其中，表示当前迭代轮次t中第k个客户端的选择权重，θ表示权衡因子，/>表示当前迭代轮次t中第k个客户端的单轮权重系数，nθ表示近邻系数，/>表示上一迭代轮次t-1中第k个客户端的历史权重系数；
若迭代轮次增加，则被所述近邻系数控制的所述权衡因子增大，所述上一轮次的历史权重系数比例减小，所述单轮权重系数比例增大。
在其中一个实施例中，所述基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端包括：
对各所述客户端按照所述选择权重的大小进行排序，并根据所述客户端选择数量从排序后的所有客户端中选择当前迭代轮次的目标客户端。
第二方面，本申请还提供了一种联邦学习客户端选择装置。所述装置包括：
客户端权重确定模块，用于基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
客户端数量确定模块，用于根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次对应的客户端选择数量；
客户端选择模块，用于基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
第三方面，本申请还提供了一种联邦学习的全局模型训练方法，所述方法包括：
基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；
基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端；
将全局模型发送至当前迭代轮次的所述目标客户端，并接收所述目标客户端利用本地数据集对所述全局模型进行训练得到的模型参数，将各所述目标客户端的模型参数进行聚合生成新的全局模型。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第三方面的内容。
上述联邦学习的客户端选择方法、装置和计算机存储介质，基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端，解决了现有技术中通过限制客户端参与数量以减少通信成本造成全局模型性能的损失，实现了客户端参与数量的动态调控，并将历史权重融合到客户端的选取过程，平衡了联邦学习系统的训练效率和通信成本，提高联邦学习系统的性能。
附图说明
图1为一个实施例中联邦学习的客户端选择方法的应用环境图；
图2为一个实施例中联邦学习的客户端选择方法的流程示意图；
图3为一个实施例中S204具体步骤的流程示意图；
图4为一个示例实施例中根据迭代轮次周期动态调整客户端选择数量的曲线图；
图5为一个示例实施例中FedCor算法上应用联邦学习的客户端选择方法的性能比较示意图；
图6为一个示例实施例中FedAvg算法上应用联邦学习的客户端选择方法的性能比较示意图；
图7为一个示例实施例中Pow-d算法上应用联邦学习的客户端选择方法的性能比较示意图；
图8为一个实施例中联邦学习的全局模型训练方法的流程示意图；
图9为一个实施例中联邦学习的客户端选择装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例提供的联邦学习的客户端选择方法，可以应用于如图1所示的应用环境中。其中，客户端102通过网络与中央服务器104进行通信。数据存储系统106可以存储中央服务器104需要处理的数据。数据存储系统106可以集成在中央服务器104上，也可以放在云上或其他网络服务器上。
在中央服务器104上，基于接收到的所有客户端102的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端102的单轮权重系数，并根据各所述客户端102的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端102的选择权重；根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。其中，客户端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。中央服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种联邦学习的客户端选择方法，以该方法应用于图1中的中央服务器端为例进行说明，包括以下步骤：
S202，基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重。
在联邦学习系统中，中央服务器通常充当全局模型的协调者和更新者的角色，而客户端则负责利用本地数据集进行模型训练和模型参数更新。通过每一个客户端上一迭代轮次的损失值和本地数据集大小计算各客户端的在当前迭代轮次中的单轮权重系数。在知道所有客户端单轮权重系数的情况下，结合各客户端上一迭代轮次的历史权重系数，调整当前迭代轮次中所有客户端的选择权重。
S204，根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量。
在联邦学习中，通过增加客户端选择数量，可以获得更多的数据样本。然而，参与的客户端需要频繁与中央服务器通信以上传和下载模型参数，随着参与的客户端数量的增加，通信成本也随之上升。传统方法通过限制参与的客户端数量来减少通信成本，但这可能会损害部分性能。在联邦学习环境中，特别是在异构数据场景下，不同的客户端具有不同的数据分布和特点，因此需要更多的客户端以获取多样性的数据，提升联邦学习中全局模型的泛化性能和适应性。
具体地，在步骤中设置迭代轮次区间，根据当前迭代轮次所处的迭代轮次区间，阶梯式地增加客户端选择数量，同时设置客户端选择数量阈值，在保证联邦学习全局模型良好性能的情况下，避免客户端选择数量无限制地增加从而引入噪声数据造成不必要的通信开销。
S206，基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
具体地，根据所有客户端在当前迭代轮次中的选择权重和当前迭代轮次对应的客户端选择数量，从所有客户端中选取当前迭代轮次的目标客户端。
上述联邦学习的客户端选择方法中，为了在联邦学习系统中有效地选取参与训练的客户端，本申请通过S202计算当前迭代轮次的单轮权重系数，同时将历史权重系数加入到当前迭代轮次的客户端选择中，动态调整每个客户端的选择权重，通过S204设置迭代轮次区间和客户端选择数量阈值，不断改变每一轮迭代的客户端选择数量，最后通过S206根据当前迭代轮次的选择权重和客户端选择数量，确定当前迭代轮次的目标客户端，解决了现有技术中通过限制客户端参与数量以减少通信成本造成全局模型性能的损失，实现了客户端参与数量的动态调控，并将历史权重融合到客户端的选取过程，平衡了联邦学习系统的训练效率和通信成本，提高联邦学习系统的性能。
在一个实施例中，如图3所示，S204根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量，具体包括以下步骤：
S302，设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间。
具体地，在迭代训练的初期阶段，需要通过限制参与迭代训练的客户端选择数量来降低通信开销，从而迅速建立一个初始的全局模型，因此设置初始迭代轮次，将联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间。
S304，若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值。
其中，第一预设数量为定值，小于等于所述客户端选择数量阈值。
具体地，设定客户端的选择比例为r0，在第一迭代轮次区间内，第一预设数量表示为m0=M×r0，m0≤mmax，M表示所有客户端的数量，mmax表示客户端选择数量阈值。
S306，若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值。
具体地，随着迭代轮次的增加，若当前迭代轮次处于所述第二迭代轮次区间内时，计算第一预设数量和当前迭代轮次的迭代周期增量的和，得到第二预设数量。
其中，S306中基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，具体包括以下内容：
设置所述联邦学习的迭代轮次周期，基于所述迭代轮次周期、所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：
，
其中，z表示所述迭代周期增量，△T表示所述迭代轮次周期，t表示所述当前迭代轮次，T0表示所述初始迭代轮次，表示向下取整。将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量。
示例性地，当前迭代轮次t的客户端选择数量变化如以下公式所示：
，
其中，m0≤mmax，，mt表示当前迭代轮次t的客户端选择数量，T0表示预设的初始迭代轮次，m0表示第一预设数量，/>表示第二预设数量，△T表示所述迭代轮次周期，mmax表示客户端选择数量阈值。
在早期的初始迭代轮次T0内，参与迭代的客户端选择数量mt维持为m0。之后，每经过一个迭代轮次周期△T，客户端选择数量会增加1。在迭代训练过程中，客户端选择数量可以自适应地变化，实现客户端选择数量阶梯式地增加。同时通过调整迭代轮次周期△T，可以调控客户端选择数量的增加速度。增加速度过快会导致通信开销的增长，因此具体速度的设置可根据待实现的结果进行调整。
在一个实施例中，S202中基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，具体包括以下内容：
利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数。
具体地，在客户端上包含一个大小为nk的本地数据集，本地数据集较大的客户端可以提供更多的样本，增强联邦学习全局模型的泛化性，因此本地数据集较小的客户端在联邦学习过程中可能会被较大程度削弱，甚至忽略。本申请采用根号函数调节客户端的本地数据集的大小，能够减小客户端之间本地数据集的数据量差异。
但若仅依赖本地数据集大小对客户端进行评估，当某个客户端的本地数据集较大但是具有较明显偏差或者噪声时，为该客户端赋予过大的权重可能会降低全局模型的性能，尤其当客户端之间本地数据集数据分布不平衡时，造成的性能损失会更加明显。因此，考虑到迭代训练过程中较高的损失值通常意味着客户端上的本地模型无法较好地拟合客户端的本地数据集，为了训练出更具泛化性的全局模型，为损失值较大的客户端分配更大的权重，从而提高此类客户端被选中的概率。
示例性地，根据以下公式，利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数：
，
其中，表示当前迭代轮次t中第k个客户端的单轮权重系数，nk表示第k个客户端的本地数据集大小，/>表示第k个客户端在上一迭代轮次的损失值。
特别地，若某客户端在t=1到t-1轮迭代中存在某些轮次迭代未被选中，导致不存在上一迭代轮次对应的损失值时，则将当前迭代轮次t之前所有的迭代轮次损失值的平均值作为该客户端上一迭代轮次对应的损失值。
在一个实施例中，S202中根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，确定当前迭代轮次各所述客户端的选择权重，具体包括以下内容：
设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重。
具体地，设置近邻系数，将所述近邻系数作为所述权衡因子的衰减指数，确定当前迭代轮次各所述客户端的选择权重：
，
因为，所以上述公式可以写成：
，
其中，表示当前迭代轮次t中第k个客户端的选择权重，θ表示权衡因子，/>表示当前迭代轮次t中第k个客户端的单轮权重系数，nθ表示近邻系数，/>表示上一迭代轮次t-1中第k个客户端的历史权重系数。
若迭代轮次增加，近邻系数逐渐减小，则被所述近邻系数控制的所述权衡因子增大，所述上一轮次的历史权重系数比例减小，所述单轮权重系数比例增大。
可选地，除了将近邻系数作为所述权衡因子的衰减指数之外，还可以将近邻系数作为权衡因子的分母，利用以下公式确定当前迭代轮次各所述客户端的选择权重：
，
因为，所以上述公式可以写成：
，
其中，表示当前迭代轮次t中第k个客户端的选择权重，θ表示权衡因子，/>表示当前迭代轮次t中第k个客户端的单轮权重系数，nθ表示近邻系数，/>表示上一迭代轮次t-1中第k个客户端的历史权重系数，α为人为设置的超参数，用来控制变化的速率。
在联邦训练的初始训练阶段，客户端上的模型常常表现不稳定且波动较大。在这个阶段，客户端评估对历史信息的依赖性较强。所以在联邦学习的初始迭代次数内，利用近邻系数nθ调控单轮权重系数以一个相对较小的初始值进行指数衰减或者分母式衰减，保证在初始迭代次数内，能够减弱当前迭代结果的绝对主导性并加强历史权重系数的比例。而因为近邻系数nθ小于1，所以近邻系数无论作为权衡因子的衰减指数还是分母，都会使当前迭代轮次t中第k个客户端的单轮权重系数/>所占的比例逐渐增大。随着迭代次数的增多，单轮权重系数/>所占的比例逐渐增大，历史权重系数的比例逐渐减小，降低了迭代训练过程中对不相关信息的依赖，客户端上模型的梯度变化速度减缓，模型参数逐渐稳定，数据突变范围减小，模型逐渐收敛。
在本实施例中，利用近邻系数动态调整指数衰减或分母式衰减的权衡因子，从而实现自适应的调整当前迭代轮次的单轮权重系数和上一迭代轮次的历史权重系数的相对比例，提高当前迭代轮次中各客户端选择权重的准确性。
在一个实施例中，S206基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端，具体包括以下内容：
对各所述客户端按照所述选择权重的大小进行排序，并根据所述客户端选择数量从排序后的所有客户端中选择当前迭代轮次的目标客户端。
具体地，对所有客户端按照选择权重由大到小进行排序，根据客户端选择数量由大到小依次选取当前迭代轮次的目标客户端。
在一个示例实施例中，提供一种联邦学习的客户端选择方法，具体包括以下步骤：
S1，中央服务器接收所有客户端的上一迭代轮次的损失值和本地数据集nk，根据以下公式（1）：
，
利用根号函数调节各个客户端的本地数据集nk大小，并分别与各个客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次t中各个客户端的单轮权重系数/>。
S2，设置权衡因子θ以及控制权衡因子θ的近邻系数。
方法一：将近邻系数nθ作为权衡因子θ的衰减指数调节上一迭代轮次的历史权重系数和所述单轮权重系数/>的相对比例。利用以下公式（2）确定当前迭代轮次t中各个客户端的选择权重/>：
。
方法二：将近邻系数nθ作为权衡因子θ的分母调节上一迭代轮次的历史权重系数和所述单轮权重系数/>的相对比例。利用以下公式（3）确定当前迭代轮次t中各个客户端的选择权重/>：
。
S3，设置客户端选择数量阈值mmax，并根据预设的初始迭代轮次T0，将联邦学习的训练过程划分为第一迭代轮次区间t≤T0和第二迭代轮次区间t＞T0。根据当前迭代轮次t所处的迭代轮次区间，利用以下公式（4）确定当前迭代轮次的客户端选择数量mt：
。
若当前迭代轮次t处于第一迭代轮次区间t≤T0内，则当前迭代轮次t的客户端选择数量mt为第一预设数量m0，第一预设数量m0小于等于客户端选择数量阈值mmax。
若当前迭代轮次t处于第二迭代轮次区间t＞T0内，则当前迭代轮次t的客户端选择数量mt为基于第一预设数量m0和当前迭代轮次t的迭代周期增量求和得到的第二预设数量/>，第二预设数量/>小于等于所述客户端选择数量阈值mmax。
S4，对所有客户端按照选择权重由大到小进行排序，并根据客户端选择数量mt从排序后的所有客户端中选择当前迭代轮次的目标客户端。
示例性地，为了验证上述各实施例中联邦学习的客户端选择方法的有效性，将该方法应用于经典算法如FedCor、Pow-d、FedAvg中，并使用FMNIST数据集下非独立同分布的数据进行测试，比较了准确率和运行效率。实验依次改变初始迭代轮次T0、迭代轮次周期△T以及权衡因子θ。图4为试验过程中根据迭代轮次周期动态调整客户端选择数量的曲线图。
如图5所示，展示了将本申请联邦学习的客户端选择方法应用于FedCor算法上且客户端选择数量阈值取30时的性能比较，测试精度和运行时间是基于五个随机种子的平均结果。其中“m=”表示传统的固定客户端数量的方法，“m→”表示本申请迭代递增客户端选择数量的方法，“θ=0.7”表示为当前迭代轮次赋予权重0.7。可以看出，在初始模型建立时优化速度较慢，但随着客户端选择数量的增加，模型的性能表现逐渐超越了固定客户端数量的方法。并且本申请迭代递增客户端选择数量的方法具备更高效的通信，运行时间节省了20.42%。
如图6所示，展示了将本申请联邦学习的客户端选择方法应用于FedAvg算法上且客户端选择数量阈值取29时的性能比较。其中“m=”表示传统的固定客户端数量的方法，“m→”表示本申请迭代递增客户端选择数量的方法。同样本申请迭代递增客户端选择数量的方法，运行效率提升了16.52%。
如图7所示，展示了将本申请联邦学习的客户端选择方法应用于Pow-d算法上且客户端选择数量阈值取29时的性能比较。其中“m=”表示传统的固定客户端数量的方法，“m→”表示本申请迭代递增客户端选择数量的方法，“θ=0.7”表示为当前迭代轮次赋予权重0.7。同样本申请迭代递增客户端选择数量的方法，运行效率提升了14.43%。
此外，在本申请联邦学习的客户端选择方法分别应用在FedCor、FedAvg、Pow-d算法时，将客户端选择数量阈值依次设为50、40、30、20、10进行试验，结果表明采用本申请联邦学习的客户端选择方法能够在更小的通信开销下提升了模型的精度和运行效率。
在一个实施例中，如图8所示，提供一种联邦学习的全局模型训练方法，具体包括以下步骤：
S801，基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重。
S802，根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量。
S803，基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
S804，将全局模型发送至当前迭代轮次的所述目标客户端，并接收所述目标客户端利用本地数据集对所述全局模型进行训练得到的模型参数，将各所述目标客户端的模型参数进行聚合生成新的全局模型。
同时，接收当前迭代轮次中各目标客户端利用本地数据集对所述全局模型进行训练得到的损失值。
重复上述步骤S801-S804，直至得到的全局模型收敛。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的联邦学习客户端选择方法的联邦学习客户端选择装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个联邦学习客户端选择装置实施例中的具体限定可以参见上文中对于联邦学习客户端选择方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种联邦学习客户端选择装置，包括：客户端权重确定模块91、客户端数量确定模块92和客户端选择模块93，其中：
客户端权重确定模块91，用于基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重。
客户端数量确定模块92，用于根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次对应的客户端选择数量。
客户端选择模块93，用于基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
在其中一个实施例中，客户端数量确定模块92还用于：
设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间；若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值；若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值。
在其中一个实施例中，客户端数量确定模块92还用于：
设置所述联邦学习的迭代轮次周期；基于所述迭代轮次周期、所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：
，
其中，z表示所述迭代周期增量，△T表示所述迭代轮次周期，t表示所述当前迭代轮次，T0表示所述初始迭代轮次，表示向下取整；将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量。
在其中一个实施例中，客户端权重确定模块91还用于：利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数。
在其中一个实施例中，客户端权重确定模块91还用于：设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重。
在其中一个实施例中，客户端权重确定模块91还用于：设置近邻系数，将所述近邻系数作为所述权衡因子的衰减指数，确定当前迭代轮次各所述客户端的选择权重：
，
，
其中，表示当前迭代轮次t中第k个客户端的选择权重，θ表示权衡因子，/>表示当前迭代轮次t中第k个客户端的单轮权重系数，nθ表示近邻系数，/>表示上一迭代轮次t-1中第k个客户端的历史权重系数；若迭代轮次增加，则被所述近邻系数控制的所述权衡因子增大，所述上一轮次的历史权重系数比例减小，所述单轮权重系数比例增大。
在其中一个实施例中，客户端选择模块93还用于：对各所述客户端按照所述选择权重的大小进行排序，并根据所述客户端选择数量从排序后的所有客户端中选择当前迭代轮次的目标客户端。
上述联邦学习客户端选择装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中所述方法对应的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种联邦学习的客户端选择方法，其特征在于，所述方法包括：
基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；
基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
2.根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量包括：
设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间；
若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值；
若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值。
3.根据权利要求2所述的联邦学习的客户端选择方法，其特征在于，所述基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，包括：
设置所述联邦学习的迭代轮次周期；
基于所述迭代轮次周期、所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：
，
其中，z表示所述迭代周期增量，△T表示所述迭代轮次周期，t表示所述当前迭代轮次，T0表示所述初始迭代轮次，表示向下取整；
将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量。
4.根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数包括：
利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数。
5.根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，确定当前迭代轮次各所述客户端的选择权重包括：
设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重。
6.根据权利要求5所述的联邦学习的客户端选择方法，其特征在于，所述利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例包括：
设置近邻系数，将所述近邻系数作为所述权衡因子的衰减指数，确定当前迭代轮次各所述客户端的选择权重：
，
，
其中，表示当前迭代轮次t中第k个客户端的选择权重，θ表示权衡因子，/>表示当前迭代轮次t中第k个客户端的单轮权重系数，nθ表示近邻系数，/>表示上一迭代轮次t-1中第k个客户端的历史权重系数；
若迭代轮次增加，则被所述近邻系数控制的所述权衡因子增大，所述上一迭代轮次的历史权重系数比例减小，所述单轮权重系数比例增大。
7.根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端包括：
对各所述客户端按照所述选择权重的大小进行排序，并根据所述客户端选择数量从排序后的所有客户端中选择当前迭代轮次的目标客户端。
8.一种联邦学习客户端选择装置，其特征在于，所述装置包括：
客户端权重确定模块，用于基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
客户端数量确定模块，用于根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次对应的客户端选择数量；
客户端选择模块，用于基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端。
9.一种联邦学习的全局模型训练方法，其特征在于，所述方法包括：
基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；
根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；
基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端；
将全局模型发送至当前迭代轮次的所述目标客户端，并接收所述目标客户端利用本地数据集对所述全局模型进行训练得到的模型参数，将各所述目标客户端的模型参数进行聚合生成新的全局模型。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项或权利要求9所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311404191.3A CN117130794B (zh) | 2023-10-27 | 2023-10-27 | 联邦学习的客户端选择方法、装置和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311404191.3A CN117130794B (zh) | 2023-10-27 | 2023-10-27 | 联邦学习的客户端选择方法、装置和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117130794A true CN117130794A (zh) | 2023-11-28 |
| CN117130794B CN117130794B (zh) | 2024-02-06 |
Family
ID=88851184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311404191.3A Active CN117130794B (zh) | 2023-10-27 | 2023-10-27 | 联邦学习的客户端选择方法、装置和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117130794B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378488A (zh) * | 2019-07-22 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 客户端变化的联邦训练方法、装置、训练终端及存储介质 |
| CN114385376A (zh) * | 2021-12-09 | 2022-04-22 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
| CN114841368A (zh) * | 2022-04-22 | 2022-08-02 | 华南理工大学 | 面向不稳定联邦学习场景的客户端选择优化方法及装置 |
| CN115796289A (zh) * | 2022-11-21 | 2023-03-14 | 广东电网有限责任公司广州供电局 | 一种用于联邦贝叶斯学习的客户端选择方法及系统 |
| CN116127340A (zh) * | 2022-12-22 | 2023-05-16 | 深圳市大数据研究院 | 联邦谱聚类方法、装置及电子设备 |
| US20230177382A1 (en) * | 2021-12-02 | 2023-06-08 | Google Llc | Method(s) and system(s) for improved efficiency in federated learning of machine learning model(s) |
-
2023
- 2023-10-27 CN CN202311404191.3A patent/CN117130794B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378488A (zh) * | 2019-07-22 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 客户端变化的联邦训练方法、装置、训练终端及存储介质 |
| US20230177382A1 (en) * | 2021-12-02 | 2023-06-08 | Google Llc | Method(s) and system(s) for improved efficiency in federated learning of machine learning model(s) |
| CN114385376A (zh) * | 2021-12-09 | 2022-04-22 | 北京理工大学 | 一种异构数据下边缘侧联邦学习的客户端选择方法 |
| CN114841368A (zh) * | 2022-04-22 | 2022-08-02 | 华南理工大学 | 面向不稳定联邦学习场景的客户端选择优化方法及装置 |
| CN115796289A (zh) * | 2022-11-21 | 2023-03-14 | 广东电网有限责任公司广州供电局 | 一种用于联邦贝叶斯学习的客户端选择方法及系统 |
| CN116127340A (zh) * | 2022-12-22 | 2023-05-16 | 深圳市大数据研究院 | 联邦谱聚类方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| RUILIN ZHANG: "Scout: An Efficient Federated Learning Client Selection Algorithm Driven by Heterogeneous Data and Resource", 《2023 IEEE INTERNATIONAL CONFERENCE ON JOINT CLOUD COMPUTING (JCC)》 * |
| 温依霖: "基于本地模型质量的客户端选择方法", 《计算机工程》, vol. 49, no. 6 * |
| 王亚?;: "面向数据共享交换的联邦学习技术发展综述", 无人系统技术, no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117130794B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190251444A1 (en) | Systems and Methods for Modification of Neural Networks Based on Estimated Edge Utility | |
| CN110460880A (zh) | 基于粒子群和神经网络的工业无线流媒体自适应传输方法 | |
| CN113938488A (zh) | 一种基于动静态加权轮询的负载均衡方法 | |
| CN109144719B (zh) | 移动云计算系统中基于马尔科夫决策过程的协作卸载方法 | |
| CN114169543B (zh) | 一种基于模型陈旧性与用户参与度感知的联邦学习方法 | |
| CN109033298A (zh) | 一种在异构hdfs集群下的数据分配方法 | |
| US11468330B2 (en) | Artificial neural network growth | |
| CN109976901A (zh) | 一种资源调度方法、装置、服务器及可读存储介质 | |
| CN113378474B (zh) | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 | |
| CN116187483A (zh) | 模型训练方法、装置、设备、介质和程序产品 | |
| CN112990420A (zh) | 一种用于卷积神经网络模型的剪枝方法 | |
| CN110991621A (zh) | 一种基于通道数搜索卷积神经网络的方法 | |
| CN113485826A (zh) | 一种边缘服务器负载均衡方法、系统 | |
| CN115481441A (zh) | 面向联邦学习的差分隐私保护方法及装置 | |
| CN117994635B (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统 | |
| CN115879152A (zh) | 基于最小均方误差准则的自适应隐私保护方法、装置及系统 | |
| CN117574429A (zh) | 一种边缘计算网络中隐私强化的联邦深度学习方法 | |
| CN117130794B (zh) | 联邦学习的客户端选择方法、装置和计算机存储介质 | |
| CN113868808A (zh) | 一种道路网络临近检测时延优化方法、装置和系统 | |
| CN117574421A (zh) | 基于梯度动态裁剪的联邦数据分析系统及方法 | |
| CN112232401A (zh) | 一种基于差分隐私及随机梯度下降的数据分类方法 | |
| CN115310709A (zh) | 一种基于粒子群算法的电力工程项目信息优化方法 | |
| CN116560828A (zh) | 任务处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN115695429A (zh) | 面向Non-IID场景的联邦学习客户端选择方法 | |
| CN113128682A (zh) | 神经网络模型自动适配方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |