CN116167456A - 一种基于编码对比和分类矫正的联邦学习方法 - Google Patents

Abstract

本发明公开了一种基于编码对比和分类矫正的联邦学习方法，用于提高数据异构环境中联邦学习全局模型的精度。本发明首先将模型划分为编码器与分类器，利用编码器提取数据特征并分析全局特征与客户端特征之间的分布差异；然后，针对特征分布差异，构建原型对比损失用以对齐异构客户端编码器的特征映射，同时提高全局编码器特征映射的区分度，降低分类器的决策难度；最后，基于一致且高区分度的特征映射，计算客户端特征的统计信息用于无偏估计全局特征的统计信息，根据全局特征的统计信息生成仿真特征，并使用仿真特征重训练全局分类器的模型参数，提高全局模型分类精度。

Description

一种基于编码对比和分类矫正的联邦学习方法

技术领域

本发明涉及一种基于编码对比和分类矫正的联邦学习方法，用于提高数据异构环境中联邦学习全局模型的精度。

背景技术

近年来，5G技术迎来快速发展，数字化趋势加速，互联网数据传输速度的大幅提升和终端设备的海量增长促使大量数据被生成和存储，为大数据的开发和利用提供了巨大的机会。得益于人工智能技术出色的数据分析和智能决策能力，各个领域开始将大数据与人工智能结合，利用大数据提供的海量数据推动人工智能进行更有效的数据分析，从而实现更高效、更准确的决策，提高生产效率。然而，随着国际社会隐私保护意识的提高，传统集中式训练的人工智能技术由于存在较高的数据安全隐患而无法应用于大规模终端用户的数据建模。联邦学习则通过采用一种服务器协调下客户端模型共享的模式避免了用户隐私的泄露，成为机器学习模式探索的新热点。

根据McMahan等人在2016年提出的经典联邦学习算法FedAvg，联邦学习的工作流程如下：服务器初始化全局模型并将其发送给客户端，客户端接收到全局模型后利用自身数据集训练该模型，并将训练后的模型传输给服务器。服务器接收到各个客户端的模型后进行模型聚合生成新的全局模型，并开始新一轮的模型训练。该过程持续迭代直至满足停止条件。为了简化表述，以下称客户端自身数据集为本地数据集，称客户端模型训练过程为本地训练，称客户端的模型为本地模型。

在联邦网络中，用户数据的生产和存储均发生在客户端侧，其数据分布很大程度上受到了客户端设备类型、用户偏好和所属组织等因素的影响。由于客户端群体规模庞大且结构复杂，这些因素一般存在明显的差异，进而导致本地数据集的数据分布不均且偏离全局数据分布，产生数据异构性。受到数据异构性的影响，本地模型之间的差别同样明显。对这些本地模型进行聚合后，所得到的全局模型与理想模型之间存在较大差距，并且该差距会随着聚合轮数的增加而累积，从而造成全局模型精度受损。

当前，针对数据异构问题的研究工作主要关注对客户端本地训练的优化，可以大致分为梯度纠正和正则化方法两个研究方向。梯度纠正方向的代表方法是SCAFFOLD，该方法利用一个与模型梯度大小相同的控制变量来预测全局模型更新方向，在客户端本地训练中使用该控制变量纠正客户端梯度，将客户端更新方向调整到全局模型的更新方向上，从而缓解数据异构性造成的本地模型差异。FedDC也在本地训练中，加入了类似于SCAFFOLD的控制变量用于纠正客户端梯度。这种梯度纠正的方法会造成通信量的翻倍，因为在每一轮聚合中服务器与客户端之间都需要传输一个与模型大小相同的控制变量。

正则化方法通过在客户端的损失函数后添加正则项来形成新的损失函数，以抑制本地模型的发散。FedProx将本地模型与全局模型之间欧式距离的平方作为正则项，在训练过程中促使本地模型靠近全局模型。FedCurv和FedCL基于持续学习的思想，将EWC防止灾难性遗忘的技术用于联邦学习，具体而言是利用正则项惩罚本地训练对重要参数的大幅更新，这里的重要参数指对联邦任务影响更大的模型参数。MOON创造性地将对比学习技术用于联邦学习，计算全局模型与本地模型之间的模型对比损失作为正则项，明显提高了数据异构环境下全局模型的精度。虽然正则化方法容易实现且通用性高，但是它可能会由于传输正则项而带来大量额外通信开销(如FedCurv和FedCL)，或者由于在正则项的设计中仅考虑了对模型差异的端到端限制而忽略了对模型内部结构的针对性处理，导致精度提升不明显。

综上所述，在数据异构的环境中，客户端数据分布的高度偏斜会降低联邦学习全局模型的精度。尽管现有的许多方法都能通过优化客户端本地训练来提高全局模型的精度，但它们要么需要计算和传输大量信息来纠正本地模型的梯度，导致通信成本大幅增加；要么仅对本地模型差异进行粗糙的端到端限制，忽略了对模型内部结构的针对性处理，最终精度提升效果不明显。

发明内容

本发明针对现有技术的不足，提出了一种基于编码对比和分类矫正的联邦学习方法。

本发明包括以下步骤：

步骤(1)划分深度学习模型为编码器和分类器两部分，使用编码器提取数据特征，并分析数据异构环境中全局特征与客户端特征之间的分布差异。

步骤(2)针对特征分布差异，使用全局原型和客户端特征构建原型对比损失，并结合原有分类损失进行客户端模型训练，对齐异构客户端编码器的特征映射，同时提高全局编码器特征映射的区分度。

步骤(3)使用全局编码器提取客户端特征并计算其统计信息，聚合客户端特征的统计信息无偏估计出全局特征的统计信息以生成类别均衡的仿真特征，服务器利用仿真特征重训练全局分类器的模型参数，提高全局模型的分类精度。

本发明的有益效果：本发明将模型结构划分为编码器和分类器，并通过编码器原型对比训练和分类器无偏仿真矫正两个阶段的优化，抑制异构数据在编码器和分类器上引起的模型差异。针对异构数据造成客户端特征与全局特征之间分布差异的问题，本发明在客户端原有分类损失的基础上引入原型对比损失，促使异构客户端编码器学习到一致的特征映射，同时提高全局编码器特征映射的区分度以降低分类器的决策难度；针对异构数据导致分类器决策精度下降的问题，本发明基于全局编码器所提取的数据特征的统计信息，利用高斯混合模型生成类别均衡的仿真特征重训练全局分类器，矫正分类器的模型参数，提高全局模型的分类精度。

附图说明

图1是基于编码对比和分类矫正的联邦学习方法架构图。

具体实施方式

下面将结合附图1和具体实施步骤对本发明做出进一步说明。

一种基于编码对比和分类矫正的联邦学习方法，包括如下步骤：

步骤1：划分模型为编码器和分类器两部分，使用编码器提取数据特征，并分析数据异构环境中全局特征与客户端特征之间的分布差异；

首先，将深度学习模型划分为编码器和分类器两部分。编码器是模型输入层到输出层之间所有神经层的集合，其作用是将网络的输入数据编码为特征。分类器是模型的输出层，其作用是根据编码器所提取的特征做出分类决策。因此，编码器所提取的特征分布的区分度直接关系到分类器决策的难易程度。

然后，基于特征分布的区分度对特征映射区分度的反应，计算特征分布的轮廓系数作为衡量特征映射区分度高低的量化指标。特征映射是指编码器输入数据到输出特征之间的映射方式。

最后，使用全局数据集训练编码器并提取特征，该特征被简称为全局特征；使用异构的客户端数据集训练编码器并提取特征，该特征被简称为客户端特征。观察全局特征和客户端特征的分布情况，计算轮廓系数用于对比全局特征和客户端特征之间的分布差异。

步骤2：针对特征分布差异，使用全局原型和客户端特征构建原型对比损失，并结合原有分类损失进行客户端模型训练，对齐异构客户端编码器的特征映射，同时提高全局编码器特征映射的区分度；

首先，引入原型的概念，原型指各类特征的均值的集合，表示每类特征的中心点。基于客户端特征计算得到的原型被称为局部原型，对所有局部原型进行平均可得到全局原型。将全局原型作为客户端编码器特征映射的目标，利用全局原型和客户端特征构建原型对比损失loss_pc，迫使各个客户端编码器提取的特征向所属类别的全局原型聚集，同时远离其他类别的全局原型，从而学习到一致且区分度更高的特征映射。

然后，重构客户端损失函数，在原有分类损失Loss_ce的基础上引入原型对比损失Loss_pc组成新的损失函数Loss。

最后，基于重构后的损失函数Loss，进行编码器原型对比训练：服务器初始化全局模型与全局原型，并分发给客户端；客户端接收全局模型与全局原型后，计算原型对比损失与分类损失；使用Loss进行本地训练；训练完毕后，客户端使用编码器提取特征用以计算局部原型；服务器聚合客户端模型生成全局模型，聚合客户端原型生成全局原型，随后迭代上述过程直至达到预设轮数。

步骤3：使用全局编码器提取客户端特征并计算其统计信息，聚合客户端特征的统计信息无偏估计出全局特征的统计信息以生成类别均衡的仿真特征，所述仿真特征指根据全局特征的统计信息生成的虚拟特征；服务器利用仿真特征重训练全局分类器的模型参数，提高全局模型的分类精度；

首先，服务器分发全局编码器至各个客户端，客户端使用该编码器提取本地数据集中各类数据对应的特征，组成特征集合。根据特征集合，计算出每类特征的均值和协方差。客户端汇总所有类别的特征的均值集合和协方差集合组成自身特征的统计信息，并上传该信息至服务器。

然后，服务器利用各个客户端特征的均值无偏估计出全局特征的均值。结合全局特征的均值与客户端特征的协方差，计算出全局特征协方差的无偏估计值。全局特征均值和协方差的无偏估计值组成全局特征的统计信息。

最后，假设每类特征的取值都服从特定均值和协方差的高斯分布，特征分布符合高斯混合模型。服务器根据全局特征的统计信息，使用高斯向量生成器为每个类别生成服从该类特征均值和协方差高斯分布的仿真特征。每类仿真特征的数量相同，防止分类出现倾向性。服务器固定编码器的模型参数，使用仿真特征数据集重训练全局分类器，矫正分类器的模型参数，提高全局模型的分类精度。

实施例：

步骤1：分析数据异构环境中全局特征与客户端特征之间的分布差异。

首先，本实施例将模型划分为两个组件，分别是编码器w_e和分类器w_c。两者的工作原理如下：编码器将原本区分度较低的数据编码成区分度较高特征，分类器再基于高区分度的特征做出准确的决策。可见，编码器特征映射的区分度是影响分类器决策准确性的关键因素。

然后，使用特征分布的轮廓系数作为量化编码器特征映射区分度的评价指标，其计算方式如下：

a(i)表示第i个样本与所在簇内其他样本的平均距离，b(i)表示第i个样本与最近的簇间样本的距离。特征映射的区分度用轮廓系数的平均值表示，计算如公式(2)所示。

其中，n为样本总量。轮廓系数越大表明特征映射的区分度越高。

最后，通过观察数据异构情况下全局特征和客户端特征的分布情况，本实施例发现以下两个事实：一是客户端特征的分布与全局特征的分布之间存在较大差异；二是客户端特征的区分度明显低于全局特征的区分度。

步骤2：构建原型对比损失，进行编码器原型对比训练。

首先，针对上述事实，本实施例采用原型对比损失Loss_pc来促使各个客户端编码器学习到一致且高度可分的特征映射，其计算方法见公式(3)。

其中，

为余弦相似度，τ为温度参数用来调节Loss_pc对难区分特征的敏感度，/>

表示客户端i第j个输入数据对应的特征，其类别为k；z_k表示第k类特征的全局原型，z_k′表示非第类k特征的全局原型。z_k由公式(4)计算得到。

其中，

为客户端i第k类特征的局部原型，N为客户端数量，D_i,k是客户端i本地数据集中属于第k类的数据，n_i,k为D_i,k的数据量。

Loss_pc能够推动每个客户端编码器提取的特征向所属类别的全局原型靠近，远离其他类别的全局原型，从而实现编码映射的统一，并同时提高编码映射的区分度。

然后，重构客户端损失函数，在原本分类损失Loss_ce的基础上，加入原型对比损失Loss_pc，监督客户端编码器在拟合本地数据分布的同时进行特征映射的对齐。重构后的损失函数如公式(6)所示。

Loss＝α·Loss_pc+(1-α)·Loss_ce (6)

其中α＝1-r/R，用于调节本地训练过程中Loss_pc和Loss_ce之间的比例关系，r为联邦学习当前聚合轮数，R为联邦学习总体聚合轮数。

最后，基于损失函数Loss，进行编码器原型对比训练，获得特征映射区分度高的全局编码器，具体流程见算法1。

/>

步骤3：无偏估计全局特征的统计信息并生成类别均衡的仿真特征，利用仿真特征进行分类器矫正。

首先，经过步骤1后，服务器将全局编码器发送给各个客户端，客户端i利用编码器提取本地数据集的特征组成特征集合

n_i为客户端i的本地数据集的数据量。客户端i按照公式(7)和(8)计算出每类特征的均值/>

和协方差/>

客户端i汇总各类特征的均值

和协方差

组成自身特征的统计信息并上传给服务器。

然后，服务器对所有客户端特征的统计信息进行聚合用于无偏估计全局特征的均值和协方差。第k类全局特征的均值可通过公式(9)聚合得到。

其中，n_k表示所有本地数据集中属于第k类的样本的总数。第k类全局特征的协方差可由公式(10)聚合得到。

聚合完毕后，服务器获得全局特征中各类特征的均值集合μ＝{μ₁,μ₂,…,μ_C}和协方差集合∑＝{∑₁,∑₂,…,∑_C}，μ与∑共同组成全局特征的统计信息。

最后，由于理论上任何连续分布都可以通过使用有限数量的高斯分布的混合来近似，本实施例假设各类特征的取值都服从特定均值和协方差的高斯分布，特征分布可用高斯混合模型建模。基于全局特征的统计信息μ和∑，服务器使用高斯向量生成器为每一个类别都生成相同数量的仿真特征，保持类别均衡，避免分类出现倾向性。聚集所有仿真特征构建一个仿真特征数据集，服务器在冻结全局编码器模型参数后利用该数据集重训练全局分类器，完成对分类器模型参数的矫正，实现全局模型分类精度的提升，具体流程如算法2所示。

依据上述所记载的技术手段，本实施例在CIFAR-10和CIFAR-100数据集进行测试，发现本实施例的方法能有效提高数据异构环境中联邦学习全局模型的精度，具体而言：相较于FedAvg、FedProx和MOON，本实施例能够在多个数据集上达到约2％到6％的精度提升，具体精度对比见表1。

表1 FedAvg，FedProx，MOON和本实施例在CIFAR-10和CIFAR-100数据集上的测试精度

/>

Claims (7)

1.一种基于编码对比和分类矫正的联邦学习方法，其特征在于，所述方法包括以下步骤：

步骤(1)划分深度学习模型为编码器和分类器两部分，使用编码器提取数据特征，并分析数据异构环境中全局特征与客户端特征之间的分布差异；

步骤(2)针对特征分布差异，使用全局原型和客户端特征构建原型对比损失，并结合原有分类损失进行客户端模型训练，对齐异构客户端编码器的特征映射，同时提高全局编码器特征映射的区分度；

步骤(3)使用全局编码器提取客户端特征并计算其统计信息，聚合客户端特征的统计信息无偏估计出全局特征的统计信息以生成类别均衡的仿真特征，服务器利用仿真特征重训练全局分类器的模型参数，提高全局模型的分类精度。

2.根据权利要求1所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，步骤(1)具体是：

首先，将深度学习模型划分为编码器和分类器两部分；所述编码器是深度学习模型输入层到输出层之间所有神经层的集合，用于将输入数据编码为特征；所述分类器是深度学习模型的输出层，用于根据编码器所提取的特征做出分类决策；

然后，基于特征分布的区分度对特征映射区分度的反应，计算特征分布的轮廓系数作为衡量特征映射区分度高低的量化指标；

最后，使用全局数据集训练编码器并提取全局特征，使用异构的客户端数据集训练编码器并提取客户端特征，观察全局特征和客户端特征的分布情况，计算轮廓系数用于对比全局特征和客户端特征之间的分布差异。

3.根据权利要求1所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，步骤(2)具体是：

首先，将全局原型作为客户端编码器特征映射的目标，利用全局原型和客户端特征构建原型对比损失Loss_pc；

然后，重构客户端损失函数，在原有分类损失Loss_ce的基础上引入原型对比损失Loss_pc，组成新的损失函数Loss，分类损失和原型对比损失的结合方式如下：

Loss＝α·Loss_pc+(1-α)·Loss_ce

其中，α为衰减因子，用于调节Loss_pc与Loss_ce之间的比例关系；

最后，基于重构后的损失函数Loss，进行编码器原型对比训练。

4.根据权利要求1或3所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，所述的全局原型由各个客户端的原型平均得到。

5.根据权利要求4所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，所述原型对比损失Loss_pc由全局原型和客户端特征共同构成，表达如下：

其中，f_j ^(j)表示客户端i第j个输入数据对应的特征，τ为温度参数，z_k表示第k类特征的全局原型，z_k′表示非第类k特征的全局原型。

6.根据权利要求3所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，所述编码器原型对比训练具体是：

服务器初始化全局模型与全局原型，并分发给客户端；

客户端接收全局模型与全局原型后，计算原型对比损失与分类损失；

使用损失函数loss进行本地训练；

训练完毕后，客户端使用编码器提取特征用以计算局部原型；

服务器聚合客户端模型生成全局模型，聚合客户端原型生成全局原型，直到迭代轮数达到预设轮数。

7.根据权利要求1所述的一种基于编码对比和分类矫正的联邦学习方法，其特征在于，步骤(3)具体是：

首先，服务器分发全局编码器至各个客户端，客户端使用该编码器提取本地数据集中各类数据对应的特征，组成特征集合；根据所述特征集合，计算出每类特征的均值和协方差；客户端汇总所有类别的特征的均值集合和协方差集合组成自身特征的统计信息，并上传该信息至服务器；

然后，服务器利用各个客户端特征的均值无偏估计出全局特征的均值，结合全局特征的均值与客户端特征的协方差，计算出全局特征协方差的无偏估计值；全局特征均值和协方差的无偏估计值组成全局特征的统计信息；

最后，假设每类特征的取值都服从特定均值和协方差的高斯分布，特征分布符合高斯混合模型；服务器根据全局特征的统计信息，使用高斯向量生成器为每个类别生成服从该类特征均值和协方差高斯分布的仿真特征；每类所述仿真特征的数量相同；服务器固定编码器的模型参数，使用仿真特征数据集重训练全局分类器，矫正分类器的模型参数。

Images