CN114781545A - 一种联邦学习方法及系统 - Google Patents

Abstract

本发明提供了一种联邦学习方法及系统。包括：S1，将初始全局模型发送给所有客户端，客户端上传初始本地模型至中央服务系统；S2，根据客户端上传的初始本地模型对客户端进行聚类获得一个以上客户端类；S3，对全局模型进行多轮迭代训练直到达到迭代停止条件，第t轮迭代训练：从每个客户端类中选取至少一个客户端参与训练；基于客户端返回的第t轮本地模型和第t轮损失函数值判断参与第t轮迭代训练的客户端之间是否存在梯度冲突，并根据梯度冲突情况获取累积模型差异；利用累积模型差异更新第t轮全局模型。将模型不公平性原因分为外部矛盾和内部矛盾两类进行消除，提高选取客户端的代表性和公平性，减少训练轮次和通信成本，加快收敛。

Description

一种联邦学习方法及系统

技术领域

本发明涉及机器学习模型训练技术领域，特别是涉及一种联邦学习方法及系统。

背景技术

机器学习这一技术革命改变了世界运作的方式，机器学习的蓬勃发展离不开数据的支持。现如今，各国的数据安全法相继出台，数据的安全与隐私问题成为机器学习进一步发展急需解决的问题。因此，联邦学习应运而生。联邦学习是在各方数据不离开本地的基础上，联合多方一起训练全局模型的机器学习框架，做到了数据最小化原则，能够在保护数据的安全与隐私同时进行联合机器学习训练，最终得到目标模型。

经典的联邦学习算法的目标是最小化各个客户端的损失函数，最终进行简单的加权平均生成全局模型。由于联邦学习的特征之一是各个客户端的数据非独立同分布，且每个客户端的数据量差异也很大。此外，在联邦学习的每一轮通信中只选择部分客户端参与训练，这会导致经典的联邦学习算法生成的全局模型只适合部分客户端，而对部分客户端的数据准确度较低，造成不公平的现象。目前文献把公平性定义为：若全局模型ω₁对各个客户端测试数据准确率的方差小于全局模型ω₂对各个客户端测试数据准确率的方差，则称模型ω₁更公平。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，提供一种联邦学习方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种联邦学习方法，包括：步骤S1，中央服务系统将初始全局模型发送给所有客户端，所有客户端对初始全局模型进行训练获得初始本地模型，客户端上传初始本地模型至中央服务系统；步骤S2，中央服务系统根据客户端上传的初始本地模型对客户端进行聚类获得一个以上客户端类；步骤S3，对全局模型进行多轮迭代训练直到达到迭代停止条件，设t为正整数，第t轮迭代训练过程为：步骤S301，从每个客户端类中选取至少一个客户端参与第t轮迭代训练；步骤S302，发送第t轮全局模型至选取的客户端，选取的客户端对接收的第t轮全局模型进行训练并返回第t轮本地模型和第t轮损失函数值至中央服务系统；步骤S303，中央服务系统基于客户端返回的第t轮本地模型和第t轮损失函数值判断参与第t轮迭代训练的客户端之间是否存在梯度冲突，并根据梯度冲突情况获取累积模型差异；步骤S304，利用所述累积模型差异更新第t轮全局模型，将更新后的第t轮全局模型作为第t+1轮全局模型。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种联邦学习系统，包括中央服务系统和与所述中央服务系统通信连接的多个客户端，所述中央服务系统和多个客户端按照本发明第一方面所述的方法进行联邦学习。

上述技术方案：本发明将造成全局模型的不公平性的原因分为外部矛盾和内部矛盾两类，外部矛盾是指在一轮训练过程中，参与训练与没有参与训练的客户端之间存在的潜在梯度冲突，通过步骤S1和步骤S2基于客户端聚类采样策略缓解外部冲突，提高选取客户端的代表性和公平性，减少训练轮次，减少通信成本，加快模型收敛，每一客户端类按照一定比例和概率进行采样，可适合大量客户端情况，并且提高参与训练的客户端输出的本地模型的代表性；内部矛盾是指参加同一轮训练的客户端之间存在的梯度冲突，对于内矛部盾通过步骤S3中根据客户端之间的梯度冲突情况获取累积模型差异，基于累积模型差异更新全局模型来解决，找到一个全局最优的公平且准确度高的全局模型，不需要客户端在参与训练全局模型之外的额外训练，客户端不需要消耗大量算力，降低对客户端性能的要求，减少通信轮次和成本，达到提高模型公平性和加快模型收敛的效果，可见本发明提供的方法和系统具有高公平性、高效性和高可扩展性。

附图说明

图1是本发明一种优选实施方式中联邦学习方法的流程示意图；

图2是本发明一种优选实施方式中预训练过程示意图

图3是本发明一种优选实施方式中客户端模型训练过程示意图；

图4是本发明一种优选实施方式中联邦学习系统的系统框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种联邦学习方法，在一种优选实施方式中，如图1所示，包括：

步骤S1，中央服务系统将初始全局模型发送给所有客户端，所有客户端对初始全局模型进行训练获得初始本地模型，客户端上传初始本地模型至中央服务系统。如图1所示，步骤S1是模型预训练过程中的一个步骤，通过一轮预训练对所有客户端的数据分布特征进行评估。中央服务系统初始化全局模型得到初始全局模型ω₀，并将初始全局模型ω₀下发至所有客户端。每个客户端利用各自本地数据对接收到的初始全局模型ω₀进行训练，训练方法优选但不限于采用批量梯度下降法，客户端利用本地数据迭代训练结束后得到初始本地模型，设i表示客户端的序号，i＝1，2，3，...，k，k为正整数，这第i个客户端的初始本地模型为ω_i。客户端将各自的初始本地模型发送给中央服务系统。

步骤S2，中央服务系统根据客户端上传的初始本地模型对客户端进行聚类获得一个以上客户端类。客户端上传的初始本地模型反应了该客户端的数据分布特征。将具有相似数据分布的客户端聚为一类，有利于改善联邦学习中采样方案不够公平的问题。进一步优选地，为了反应客户端之间的数据分布差异，以客户端额数据分布差异为聚类特征对所有客户端进行聚类，具体的，如图2所示，步骤S2包括：

步骤S201，中央服务系统计算初始全局模型与每个客户端的初始本地模型的差异，即ω₀-ω_i，记为初始差异，对初始差异进行向量化，获得初始差异向量；

步骤S202，基于所有客户端的差异向量进行聚类获得多个客户端类，每个客户端类至少具有一个客户端，设聚类后得到的客户端类的个数为C，C为正整数，第j个客户端类具有的客户端个数为N_j，j＝1，2，3，...，C。

按类进行采样提高了不同的数据分布客户端参与训练的概率，降低了全局模型收敛所需的通信轮次，减少了通信成本。

步骤S3，对全局模型进行多轮迭代训练直到达到迭代停止条件，设t为正整数，如图3所示，第t轮迭代训练过程为：

步骤S301，从每个客户端类中选取至少一个客户端参与第t轮迭代训练。为提高选取的客户端的代表性和公平性，根据客户端类中客户端数量与总客户端数量占比不同在客户端类中选取不同数量的客户端参与第t轮迭代训练过程。

进一步优选地，为了更公平采样，对于第j个客户端类，从第j个客户端类中抽取

个客户端参与第t轮迭代训练；其中，k表示客户端总数；

表示向下取整；max()表示取最大值函数；j表示客户端类的索引，j为正整数；N_j表示第j个客户端类的客户端数量。

进一步优选地，为使得每个客户端类中选取的客户端更具有代表性，依据客户端的本地数据量不同为客户端分配不同的抽取概率，在抽取客户端的过程中，每个客户端的抽取概率与其拥有的数据量正相关。进一步优选地，第i个客户端的抽取概率为n_i/NUM_j；其中，i表示客户端在所有客户端中的索引，i为正整数，i∈[1，k]；n_i表示第i个客户端拥有的数据量；设第i个客户端属于第j个客户端类，NUM_j表示第i个客户端所属的第j个客户端类的数据总量。

步骤S302，发送第t轮全局模型ω_t至选取的客户端，设总共选取了M个客户端，M为正整数，m为选取的M个客户端中客户端的序号。选取的客户端对接收的第t轮全局模型ω_t进行训练并返回第t轮本地模型和第t轮损失函数值至中央服务系统。选取的客户端对接收的第t轮全局模型ω_t利用各自的本地数据利用批量梯度下降法进行迭代训练，迭代训练结束后得到第t轮本地模型和第t轮损失函数值，对于第m个选取的客户端，其第t轮本地模型表示为

第t轮损失函数值设表示为

步骤S303，中央服务系统基于客户端返回的第t轮本地模型和第t轮损失函数值判断参与第t轮迭代训练的客户端之间是否存在梯度冲突，并根据梯度冲突情况获取累积模型差异。目的在于缓解参与训练的客户端之间的潜在冲突，进而提高全局模型在各客户端本地数据上的准确度，降低准确度的方差，在保证全局模型准确率的前提下提高了全局模型的公平性，做到了高公平性。

步骤S304，利用累积模型差异更新第t轮全局模型，将更新后的第t轮全局模型作为第t+1轮全局模型。直接利用累积模型差异更新本轮全局模型，加快达到最优全局模型的速度，进一步降低了通信成本和计算开销。

在本实施方式中，迭代停止条件可为迭代轮次t达到了预设的目标迭代轮次N，就停止迭代。迭代停止条件也可为全局模型的准确度达到了阈值τ。全局模型的准确度可通过将测试数据集输入全局模型进行测试验证获得，为本领域常规技术，在此不再赘述。

在一种优选实施方式中，步骤S303具体包括：

步骤A，设第t轮迭代训练选取了M个客户端参与训练，M为正整数；分别计算第t轮全局模型与M个客户端返回的第t轮本地模型的差异获得M个第t轮差异向量，M个第t轮差异向量组成序列

选取的M个客户端中第m个客户端的第t轮差异向量为：

第t轮差异向量反映了参与训练的客户端之间的数据分布差异，以便更准确地进行客户端之间的梯度冲突判断。

步骤B，按照相应的第t轮损失函数值从小到大的顺序对M个客户端的第t轮差异向量进行排序并将排序结果保存在序列W0中，

步骤C，进行M个客户端之间的梯度冲突判断和获取累积模型差异，具体包括：：

设从序列W中获取第m个客户端的第t轮差异向量表示为

m表示参与第t轮迭代训练的客户端在M个客户端中的索引，m为正整数，m∈[1，M]；设

对应的修正向量为

的初始值为

序列W0中的向量按照排列顺序依次与

进行是否存在梯度冲突判断，当判断结果为存在梯度冲突时，对

进行修正，进行序列W0中下一向量的冲突判断；该梯度冲突判断过程中，序列W0中与

相等的向量不参与梯度冲突判断。

步骤D，求取M个客户端第t轮差异向量的修正向量的和获得累积模型差异。

在本实施方式中，由于在序列W中的每个第t轮差异向量对应的修正向量的修正过程中，修正向量需要按照序列W0中向量排列顺序与W0中的向量进行梯度冲突判断，若判断为冲突时，先中断判断，修正修正向量，利用修正后的修正向量与序列W0中后续的向量进行梯度冲突判断，这样能够权衡训练损失小和训练损失大的客户端的修正向量修正，能够将客户端之间的数据分布差异尽可能保存，最后将修正向量的累积和作为累积模型差异，用于更新全局模型，以便找到一个全局最优的全局模型，加快模型收敛效果。

在本实施方式中，优选地，设

为W0序列中的向量，若

成立，则认为

与

存在梯度冲突，p表示W0序列中向量的索引，p为正整数，p∈[1，M]，按照公式

修正

以解决参与训练的客户端之间内部梯度冲突。通过判断两个第t轮差异向量之间余弦值的大小来快速判断两个第t轮差异向量对应的客户端之间是否存在梯度冲突。利用正交投影公式

修正

能够解决参与训练的客户端之间的内部冲突。

在本实施方式中，优选地，累积模型差异为：

其中，n_m表示参与第t轮迭代训练的M个客户端中第m个客户端的数据量，NUM_M表示参与第t轮迭代训练中的M个客户端的数据总量。将参与第t轮迭代训练中的M个客户端的修正向量的加权和作为累积模型差异，每个客户端修正向量的权重为

充分体现了每个客户端的数据差异性，提高模型公平性和加快模型收敛的效果。

在本实施方式中，优选地，在步骤S304中，按照如下公式更新全局模型：

ω_t+1＝ω_t+WD^t；其中，ω_t+1表示第t+1轮迭代训练的全局模型，ω_t表示第t轮迭代训练的全局模型。

本发明还公开了一种联邦学习系统，如图4所示，在一种优选实施方式中，该系统包括中央服务系统和与所述中央服务系统通信连接的多个客户端，中央服务系统和多个客户端按照上述方法进行联邦学习。中央服务系统优选但不限于为中央服务器或区块链系统，当中央服务系统为区块链系统时，能够减轻中央服务系统的计算压力，增加系统的容错率，避免出现因中央服务系统过载导致系统瘫痪，故而本专利提出的方法和系统具有高可扩展性。

综上所述，本申请提供的联邦学习方法和系统具有以下优点：

高公平性：本申请提出的聚类采样策略根据每个客户端类客户端数量占总客户端数量的占比决定在每个客户端类中抽取客户端的数量且每个类最少抽一个，既提高了拥有独特数据分布客户端的训练参与次数，也保证了在全部客户端中占比较大的客户端的模型代表性，做到了不同类之间公平；在每个类中采样的时候，按客户端拥有的数据量占整个类中全部客户端的数据总量的占比抽取客户端，保证了采样时的类内公平，从类间和类内两方面提高了采样的公平性，上述两方面用于解决外部矛盾。此外，本专利通过正交投影的方式缓解了参与训练的客户端之间的冲突，用于解决内部矛盾。进而提高全局模型在各个客户端本地数据上的准确度，降低准确度的方差，在保证全局模型准确率的前提下提高了全局模型的公平性，做到了高公平性。

高效性：本申请提出的联邦学习方法和系统一方面从采样策略角度，按客户端类进行采样提高了不同的数据分布客户端参与训练的概率，降低了全局模型收敛所需的通信轮次，减少了通信成本。另一方面通过对存在冲突的客户端的模型更新进行正交投影缓解冲突，加快达到最优的全局模型的速度，进一步降低了通信成本和计算开销。除此之外，针对客户端而言，客户端不需要在训练全局模型的基础上进行额外的模型训练，就能得到一个高准确率的全局模型，节省了客户端的计算开销，放松了客户端系统性能的限制。故而，本申请提出的联邦学习方法和系统在提高公平性和准确率的基础上，做到高效的训练出更优的全局模型。

高可扩展性：本申请提出的联邦学习方法和系统并没有改变原有的联邦学习框架，只是改变了采样策略，并在模型聚合前做了一些处理，能够很好的和现有的其它方法结合使用，比如对模型更新进行加密传输或者利用差分隐私添加噪声，进一步保证数据和模型的安全和隐私。又比如可以对传输的模型进行降维，减少每轮通信传输的通信量，进一步降低通信成本。还可以将中央服务器替换区块链，减轻中央服务器的计算压力，增加系统的容错率，避免出现因中央服务器过载导致系统瘫痪。故而本申请提出的联邦学习方法和系统具有高可扩展性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种联邦学习方法，其特征在于，包括：

步骤S1，中央服务系统将初始全局模型发送给所有客户端，所有客户端对初始全局模型进行训练获得初始本地模型，客户端上传初始本地模型至中央服务系统；

步骤S2，中央服务系统根据客户端上传的初始本地模型对客户端进行聚类获得一个以上客户端类；

步骤S3，对全局模型进行多轮迭代训练直到达到迭代停止条件，设t为正整数，第t轮迭代训练过程为：

步骤S301，从每个客户端类中选取至少一个客户端参与第t轮迭代训练；

步骤S302，发送第t轮全局模型至选取的客户端，选取的客户端对接收的第t轮全局模型进行训练并返回第t轮本地模型和第t轮损失函数值至中央服务系统；

步骤S303，中央服务系统基于客户端返回的第t轮本地模型和第t轮损失函数值判断参与第t轮迭代训练的客户端之间是否存在梯度冲突，并根据梯度冲突情况获取累积模型差异；

步骤S304，利用所述累积模型差异更新第t轮全局模型，将更新后的第t轮全局模型作为第t+1轮全局模型。

2.如权利要求1所述的联邦学习方法，其特征在于，所述步骤S2包括：

步骤S201，中央服务系统计算初始全局模型与每个客户端的初始本地模型的差异，记为初始差异，对所述初始差异进行向量化，获得初始差异向量；

步骤S202，基于所有客户端的差异向量进行聚类获得多个客户端类。

3.如权利要求1或2所述的联邦学习方法，其特征在于，所述步骤S301具体包括：

对于第j个客户端类，从第j个客户端类中抽取

个客户端参与第t轮迭代训练；其中，k表示客户端总数；j表示客户端类的索引，j为正整数；N_j表示第j个客户端类的客户端数量；

在抽取客户端的过程中，每个客户端的抽取概率与其拥有的数据量正相关。

4.如权利要求3所述的联邦学习方法，其特征在于，第i个客户端的抽取概率为n_i/NUM_j；其中，i表示客户端在所有客户端中的索引，i为正整数，i∈[1，k]；n_i表示第i个客户端拥有的数据量；设第i个客户端属于第j个客户端类，NUM_j表示第i个客户端所属的第j个客户端类的数据总量。

5.如权利要求1或2或4所述的联邦学习方法，其特征在于，所述步骤S303具体包括：

步骤A，设第t轮迭代训练选取了M个客户端参与训练，M为正整数；分别计算第t轮全局模型与M个客户端返回的第t轮本地模型的差异获得M个第t轮差异向量，所述M个第t轮差异向量组成序列

步骤B，按照相应的第t轮损失函数值从小到大的顺序对M个客户端的第t轮差异向量进行排序并将排序结果保存在序列W0中，

步骤C，进行M个客户端之间的梯度冲突判断和获取累积模型差异，具体包括：设从序列W中获取第m个客户端的第t轮差异向量表示为

m表示参与第t轮迭代训练的客户端在M个客户端中的索引，m为正整数，m∈[1，M]；设

对应的修正向量为

的初始值为

序列W0中的向量排列顺序依次与

进行是否存在梯度冲突判断，当判断结果为存在梯度冲突时，对

进行修正，进行序列W0中下一向量的冲突判断；

步骤D，求取M个客户端第t轮差异向量的修正向量的和获得累积模型差异。

6.如权利要求5所述的联邦学习方法，其特征在于，设

为W0序列中的向量，若

成立，则认为

与

存在梯度冲突，p表示W0序列中向量的索引，p为正整数，p∈[1，M]，按照公式

修正

7.如权利要求5或6所述的联邦学习方法，其特征在于，所述累积模型差异为：

其中，n_m表示参与第t轮迭代训练的M个客户端中第m个客户端的数据量，NUM_M表示参与第t轮迭代训练中的M个客户端的数据总量。

8.如权利要求7所述的联邦学习方法，其特征在于，在所述步骤S304中，按照如下公式更新全局模型：

ω_t+1＝ω_t+WD^t；其中，ω_t+1表示第t+1轮迭代训练的全局模型，ω_t表示第t轮迭代训练的全局模型。

9.一种联邦学习系统，其特征在于，包括中央服务系统和与所述中央服务系统通信连接的多个客户端，所述中央服务系统和多个客户端按照权利要求1-8之一所述的方法进行联邦学习。

10.如权利要求9所述的联邦学习系统，其特征在于，所述中央服务系统为区块链系统。

Images