CN115344883A - 一种用于处理不平衡数据的个性化联邦学习方法和装置 - Google Patents

Abstract

本发明公开了一种用于处理不平衡数据的个性化联邦学习方法和装置，属于机器学习技术领域。具体包括：中央服务器建立全局网络模型，并将其分发给客户端；客户端根据其私有数据通过对比学习算法进行训练，并将更新后的基础编码层参数返回给中央服务器；中央服务器根据所有客户端参数重新计算全局网络模型及每个客户端本地网络模型的基础编码层参数，并将其分别下发给每个客户端；客户端更新本地网络，迭代训练直至全局网络模型收敛或达到指定训练次数。本发明采用个性化联邦学习与对比学习的模型训练方法，在保证各方数据的私密性与安全性的同时，针对不平衡数据的目标网络高效训练，提高了模型收敛速率与泛化能力。

Description

一种用于处理不平衡数据的个性化联邦学习方法和装置

技术领域

本发明涉及机器学习技术领域，特别涉及一种用于处理不平衡数据的个性化联邦学习方法和装置。

背景技术

移动设备已成为全球数十亿用户的主要计算资源，这些设备产生了大量有价值的数据，各组织正在使用大数据和人工智能来优化他们的流程和性能。虽然丰富的数据为人工智能应用提供了巨大的机会，但这些数据在本质上都是高度敏感的，它们以数据孤岛的形式存在。这在医疗保健行业尤其相关，因为该行业的医疗数据高度敏感，这些数据经常被收集并驻留在不同的医疗保健机构中。训练出令人满意的模型，通常需要各方在服务器上共享全局数据。由于越来越多的隐私问题和数据保护法规，各方无法将他们的私人数据发送到中央服务器来训练模型。这种情况给人工智能的采用带来了巨大的挑战，因为传统的人工智能方法并不能很好地解决数据隐私问题。因此，利用隐私计算技术来探索高效的分布式机器学习系统已成为当下热点。

联邦学习是一种新兴的分布式机器学习方式，它利用来自多个客户端的分散数据，在中央服务器的协调下联合训练一个共享的全局模型，不共享个人的原始数据。这使得联邦学习超越了传统的并行优化，避免了系统性的隐私风险，引起了产业界极大的关注。实现联邦学习的一个典型方法是联邦平均算法，它通过平均从每个客户端上传的本地参数来生成一个全局模型。在此过程中，我们不交换每个客户端的敏感原始数据，从而保护用户的隐私。近年来，在实践中部署联邦学习框架已经有了广泛的应用，如贷款状况预测、健康状况评估和下一个词预测。此外，它已应用于许多应用，例如医学成像、物体检测和地标分类。

但是现有的联邦学习算法假设各方之间的数据集是均衡的，这一假设固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性。但在许多实际应用中，数据可能会在各方之间以不同的方式分布，如设备供应商或数据采集协议会导致特征分布的异质性；组织学图像的外观因不同的染色情况而不同，不同医院的MRI数据与不同扫描仪或成像协议相关的特征分布发生变化。这些情况都会导致各方数据是非独立同分布的，高度异构的数据导致全训练阶段收敛性差，通信代价大，恶化了全局模型在单个客户端上的性能，甚至可能一直受影响的客户加入协同训练流程。

传统的联邦学习的目的是为了获得一个全局共享的模型，供所有参与者使用。但当各个参与者数据分布不一致时，全局模型却无法满足每个联邦学习参与者对性能的需求，有的参与者甚至无法获得一个比仅采用本地数据训练模型更优的模型。

同时现有的联邦学习方法无法在具有深度学习模型的图像数据集上实现良好的性能。

发明内容

本发明所要解决的技术问题是提供一种基于个性化联邦学习的模型训练方法，针对目标神经网络将基础编码层，投影层和分类层解耦，应用联邦学习框架联合训练，在保证各方数据的私密性与安全性的同时，对各方模型高效训练。

本发明为了解决上述技术问题采用以下技术方案：一种用于处理不平衡数据的个性化联邦学习方法，包括：

(1)中央服务器建立并初始化全局网络模型，所述全局网络模型为深度神经网络模型，包括基础编码层、投影层和分类层，所述中央服务器将所述全局网络模型下发所有客户端初始化成为客户端本地网络模型、对比模型和全局网络模型。

(2)所述中央服务器随机选取一定数量的客户端参与训练，参与训练的所述客户端根据其私有数据通过对比学习算法进行训练，并将更新后的所述客户端本地网络模型基础编码层参数返回给所述中央服务器；

(3)所述中央服务器接收所有参与训练的所述客户端基础编码层参数，计算并更新所述全局网络模型的基础编码层参数和所有参与训练的所述客户端本地网络模型基础编码层参数，同时为每个参与训练的所述客户端选择所述对比模型，并将更新后的所述全局网络模型基础编码层参数和所述客户端本地网络模型基础编码层参数以及选择的所述对比模型基础编码层参数下发给每个参与训练的所述客户端；

(4)参与训练的所述客户端根据服务器下发的模型参数更新所述客户端本地网络模型、对比模型以及全局网络模型，然后返回步骤2，直至所述中央服务器的所述全局网络模型收敛或达到指定训练次数。

进一步的，所述对比模型为所述中央服务器针为参与训练的所述客户端i随机挑选的所述客户端j的模型，其中所述客户端i和所述客户端j的模型相似度低于设定的阈值。

进一步的，所述步骤2中对比学习算法包括：

(2.1)根据所述客户端本地网络模型、所述全局模型以及所述对比模型，构建模型对比损失函数；

(2.2)所述客户端通过交叉熵损失函数和所述模型对比损失函数计算总损失函数；

(2.3)根据所述客户端的私有数据，按照最小化所述总损失函数原则，训练所述客户端本地网络模型，获得更新的所述客户端本地网络模型参数。

进一步的，所述模型对比损失函数为：

其中：

为所述客户端本地网络模型投影层的输出特征表示；

为所述全局模型投影层的输出特征表示；

为所述对比模型投影层的输出特征表示，τ表示温度参数，P(·)表示投影层输出。

进一步的，所述总损失函数为：

其中：x表示输入数据，

表示客户端i在第t轮次的所述客户端本地网络模型，即

l_sup表示所述交叉熵损失函数，l_con表示所述模型对比损失函数，μ是控制模型对比损失权重的超参数。

进一步的，所述步骤3中所述全局网络模型基础编码层参数更新采用平均聚合的方法，其公式为：

其中：t表示第t轮训练；

是所述客户端i在第t轮次的所述客户端本地网络模型基础编码层参数，

是第t+1轮次的所述全局网络模型基础编码层参数，N为参与训练的所述客户端数量。

进一步的，所述步骤3中所述客户端本地网络模型基础编码层参数更新采用加权聚合的方法，具体过程包括：

(3.1)所述中央服务器为每个所述客户端建立参数字典，存储每个所述客户端上传的模型参数，每轮次迭代根据最新接收的数据更新所述参数字典；

(3.2)所述中央服务器构建相似度矩阵字典，存储所述客户端之间的相似度值，所述中央服务器根据每个参与训练的所述客户端基础编码层模型参数，通过余弦相似度公式计算每两个参与训练的所述客户端之间的相似度值，并作为权重系数ξ_ij更新到所述相似度矩阵字典；

(3.3)针对所述客户端i，所述中央服务器根据所述相似度矩阵字典，加权聚合其它参与训练的所述客户端j上传的所述基础编码层参数，得到所述客户端i最新的所述基础编码层参数，并下发给所述客户端i。

进一步的，所述步骤(3.2)中所述余弦相似度公式如下：

其中：

表示参与训练所述客户端i的基础编码层参数，

表示所述对比模型基础编码层参数；

通过softmax函数归一化相似度矩阵，其公式为：

其中ξ_ij是相似度矩阵第i行第j列权重系数值，exp(·)是表示e^x的指数函数，exp(ξ_ik)表示相似度矩阵第i行其他元素值。

进一步的，所述步骤(3.3)中所述加权聚合公式如下：

其中t代表第t轮迭代次数，

是所述客户端j在第t轮次的所述客户端本地网络模型基础编码层参数，

表示所述客户端i在第t+1轮次的所述客户端本地网络模型基础编码层参数。

本发明还提供了一种用于处理不平衡数据的个性化联邦学习装置，包括存储器、处理器以及存储在存储器中并能在存储器上执行的计算机程序，所述处理器执行计算机程序时实现如上所述的用于处理不平衡数据的个性化联邦学习方法。

本发明的有益效果：

本发明所设计的一种基于个性化联邦学习与对比学习的模型训练方法，通过将目标神经网络解耦为三个组件：基础编码层、投影层和分类层，各方联合训练基础编码层模型参数，各方保留自身分类层模型参数，从而减少了问题维度，每个客户都可以在每一轮通信中进行许多本地更新，这有利于学习自己的本地数据，在保证各方数据的私密性与安全性的同时，针对不平衡数据的目标神经网络高效训练，提高了模型收敛速率与泛化能力。

附图说明

图1为本发明实施例一种用于处理不平衡数据的个性化联邦学习方法结构示意图。

图2为本发明实施例客户端流程示意图。

图3为本发明实施例一种用于处理不平衡数据的个性化联邦学习方法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明所设计的一种基于个性化联邦学习与对比学习的模型训练方法，用于同步实现针对至少一个目标神经网络的参数化训练。每个目标网络由三个组件组成：基础编码层、投影层和分类层。且各方应用联邦学习框架联合训练基础编码层模型参数，各方保留自身投影层、分类层模型参数。实际应用中，目标神经网络为用于预测的神经网络，或者用于分类的神经网络。

如图1所示中央服务器、以及各个客户端工作节点，假设系统中存在N个客户端，整个网络上运行m个不同的任务(N>>m),且客户端不具有中央服务其器信息，不与其它客户端通信，不知道其它客户端任务数据，中央服务器没有权限查看客户端的训练数据样本，不同客户端存储的数据量不一定相等。任务之间存在一定相关性，通过联邦学习框架能够比客户端单独训练自身数据获得更好的训练效果和更快的收敛速度。

假设有N个客户端参与训练，记为P₁，...，P_n。客户端P_i有一个本地数据集

在原始数据不被交换前提下，在数据集

上联合学习一个机器学习模型ω，目标是要解决下述问题：

其中，

是客户端P_i的期望损失。f_i和θ_i分别为第i个客户端的误差函数和学习模型，

为n个模型的可行集的空间。

为了最小化f_i，第i个客户端从D_i访问M_i标记样本

的数据集进行训练。在联邦学习设置中，多数客户端本地数据量不充分，客户可能无法通过完全本地培训来获得预期风险小的解决方案。因此需要通过联合学习，以便使用所有客户端的累积数据来学习模型。事实上，在存在数据异构性的情况下，误差函数f_i将有不同的形式，它们的最小化器是不相同的。

进一步的，我们考虑一个设置一个基础编码层表示

将数据点通过投影头映射到较低的k维空间，通过投影头

将特征映射到标签空间，再用分类器

将标签空间映射到真实标签上。因此，深度神经网络模型解耦为：

客户端的模型是客户端的本地参数的组成和表示：

本实施例提供了一种用于处理不平衡数据的个性化联邦学习方法，包括将带有不平衡数据的图像数据输入至不平衡识别网络中，得到分类结果，按如下步骤S101至步骤S104，同步实现个目标神经网络的数字化训练。

S101、中央服务器建立并初始化全局网络模型，所述全局网络模型为深度神经网络模型，包括基础编码层、投影层和分类层，所述中央服务器将所述全局网络模型下发所有客户端初始化成为客户端本地网络模型、对比模型和全局网络模型。

初始化深度神经网络模型，并将网络模型划分为基础编码层，投影层和分类层。基础编码层用于从网络输入的内容中提取特征表示，特征表示隐含了丰富的样本信息，通过加权聚合不同客户端的特征表示，达到更好的联合学习目的。投影层将每个目标网络的特征表示映射到具有固定维度的空间，用来计算每个客户端模型之间的相似性，相似性越高，彼此的权重系数越大，联合学习的效果越好。分类层自适应于每个客户端数据样本类别，为每个类别样本生成预测值。

本实例基础编码层采用ResNet-50结构作为骨干网络，初次，中央服务器将全局网络模型分发给所有参与客户端，客户端初始化3个模型：客户端本地网络模型、对比模型和全局网络模型之后，之后的迭代轮次里，中央服务器和客户端之间仅传输模型基础编码层参数。

S102、所述中央服务器随机选取一定数量的客户端参与训练，参与训练的所述客户端根据其私有数据通过对比学习算法进行训练，并将更新后的所述客户端本地网络模型基础编码层参数返回给所述中央服务器

客户端执行本地私有数据模型训练进程如下；

步骤a1：构建模型对比损失函数

假设客户端正在对输入的图片样本x进行本地培训。本地客户端损失由两部分组成。第一部分是监督学习中典型的损失项，例如交叉熵损失，表示为l_sup。第二部分是本发明提出的模型对比损失项，记为l_con。

对于每个输入x，客户端本地网络模型

投影层的输出特征表示为

提取x从全局模型w^t投影层的输出特征表示

表示对比模型对输入的投影层输出特征表示，P(·)表示投影层输出，τ表示温度参数，模型对比损失函数为：

步骤a2：计算总损失函数；

其中：x表示输入数据，

表示客户端i在第t轮次的客户端本地网络模型，即

μ是控制模型对比损失权重的超参数。

步骤a3：按照最小化所述总损失函数原则，训练客户端本地网络模型，本地客户端的目标是最小化：

将更新后的客户端本地网络模型基础编码层参数返回给中央服务器。

S103、所述中央服务器接收所有参与训练的所述客户端基础编码层参数，计算并更新所述全局网络模型的基础编码层参数和所有参与训练的所述客户端本地网络模型基础编码层参数，同时为每个参与训练的所述客户端选择所述对比模型，并将更新后的所述全局网络模型基础编码层参数和所述客户端本地网络模型基础编码层参数以及选择的所述对比模型基础编码层参数下发给每个参与训练的所述客户端

中央服务器按如下步骤b1至步骤b4，执行中央服务器训练进程。

步骤b1：中央服务器针对n个参与客户端，对参与客户端编号并创建对应客户端参数字典，用来存储每个客户端传输的参数,每轮次迭代根据最新接收的数据更新参数字典。

步骤b2：中央服务器构建相似度矩阵字典，初始化相似度矩阵(n行n列)，每个元素位置表示两两客户端之间的相似度权重系数。通过余弦相似度公式计算每两个客户端之间的相似度，更新相似度矩阵。

针对每一个客户端

中央服务器通过本客户端i与其他客户端j(j≠i且

的相似度值作为权重系数ξ_ij，更新相似度矩阵字典。公式如下：

其中：

表示参与训练客户端i的基础编码层参数，

表示对比模型基础编码层参数；通过softmax函数归一化相似度矩阵，其公式为：

其中ξ_ij是相似度矩阵第i行第j列权重系数值，exp(·)是表示e^x的指数函数，exp(ξ_ik)表示相似度矩阵第i行其他元素值。

步骤b3：针对客户端i，中央服务器根据字典内权重系数ξ_ij，加权聚合其他客户端j上传基础编码层参数，获得客户端i最新的基础编码层，并下发给客户端i。中央服务器针对客户端i更新基础编码层模型参数公式如下：

其中t代表第t轮迭代次数，

是客户端j在第t轮次的客户端本地网络模型基础编码层参数，

表示客户端i在第t+1轮次的客户端本地网络模型基础编码层参数。

步骤b4：中央服务器为每个参与训练的客户端选择对比模型，然后将更新后的全局网络模型基础编码层参数、客户端本地网络模型基础编码层参数以及选择的对比模型基础编码层参数下发给每个参与训练的客户端

S104、参与训练的客户端根据服务器下发的模型参数更新所述客户端本地网络模型、对比模型以及全局网络模型，然后返回步骤102，直至所述中央服务器的所述全局网络模型收敛或达到指定训练次数。

本实施例还提供了一种用于处理不平衡数据的个性化联邦学习方法，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现上述针对不平衡数据的个性化联邦学习方法。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，包括以下步骤：

(1)中央服务器建立并初始化全局网络模型，所述全局网络模型为深度神经网络模型，包括基础编码层、投影层和分类层，所述中央服务器将所述全局网络模型下发所有客户端初始化成为客户端本地网络模型、对比模型和全局网络模型。

(2)所述中央服务器随机选取一定数量的客户端参与训练，参与训练的所述客户端根据其私有数据通过对比学习算法进行训练，并将更新后的所述客户端本地网络模型基础编码层参数返回给所述中央服务器；

(3)所述中央服务器接收所有参与训练的所述客户端基础编码层参数，计算并更新所述全局网络模型的基础编码层参数和所有参与训练的所述客户端本地网络模型基础编码层参数，同时为每个参与训练的所述客户端选择所述对比模型，并将更新后的所述全局网络模型基础编码层参数和所述客户端本地网络模型基础编码层参数以及选择的所述对比模型基础编码层参数下发给每个参与训练的所述客户端；

(4)参与训练的所述客户端根据服务器下发的模型参数更新所述客户端本地网络模型、对比模型以及全局网络模型，然后返回步骤2，直至所述中央服务器的所述全局网络模型收敛或达到指定训练次数。

2.根据权利要求1所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述对比模型为所述中央服务器针为参与训练的所述客户端i随机挑选的所述客户端j的模型，其中所述客户端i和所述客户端j的模型相似度低于设定的阈值。

3.根据权利要求1所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述步骤2中对比学习算法包括：

(2.1)根据所述客户端本地网络模型、所述全局模型以及所述对比模型，构建模型对比损失函数；

(2.2)所述客户端通过交叉熵损失函数和所述模型对比损失函数计算总损失函数；

(2.3)根据所述客户端的私有数据，按照最小化所述总损失函数原则，训练所述客户端本地网络模型，获得更新的所述客户端本地网络模型参数。

4.根据权利要求3所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述模型对比损失函数为：

其中：

为所述客户端本地网络模型投影层的输出特征表示；

为所述全局模型投影层的输出特征表示；

为所述对比模型投影层的输出特征表示，z表示温度参数，P(·)表示投影层输出。

5.根据权利要求4所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述总损失函数为：

其中：x表示输入数据，

表示客户端i在第t轮次的所述客户端本地网络模型，即

l_sup表示所述交叉熵损失函数，l_con表示所述模型对比损失函数，μ是控制模型对比损失权重的超参数。

6.根据权利要求1所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述步骤3中所述全局网络模型基础编码层参数更新采用平均聚合的方法，其公式为：

其中：t表示第t轮训练；

是所述客户端i在第t轮次的所述客户端本地网络模型基础编码层参数，

是第t+1轮次的所述全局网络模型基础编码层参数，N为参与训练的所述客户端数量。

7.根据权利要求1所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述步骤3中所述客户端本地网络模型基础编码层参数更新采用加权聚合的方法，具体过程包括：

(3.1)所述中央服务器为每个所述客户端建立参数字典，存储每个所述客户端上传的模型参数，每轮次迭代根据最新接收的数据更新所述参数字典；

(3.2)所述中央服务器构建相似度矩阵字典，存储所述客户端之间的相似度值，所述中央服务器根据每个参与训练的所述客户端基础编码层模型参数，通过余弦相似度公式计算每两个参与训练的所述客户端之间的相似度值，并作为权重系数ξ_ij更新到所述相似度矩阵字典；

(3.3)针对所述客户端i，所述中央服务器根据所述相似度矩阵字典，加权聚合其它参与训练的所述客户端j上传的所述基础编码层参数，得到所述客户端i最新的所述基础编码层参数，并下发给所述客户端i。

8.根据权利要求7所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述步骤(3.2)中所述余弦相似度公式如下：

其中：

表示参与训练所述客户端i的基础编码层参数，

表示所述对比模型基础编码层参数；

通过softmax函数归一化相似度矩阵，其公式为：

其中ξ_ij是相似度矩阵第i行第j列权重系数值，exp(·)是表示e^x的指数函数，exp(ξ_ik)表示相似度矩阵第i行其他元素值。

9.根据权利要求7所述的一种用于处理不平衡数据的个性化联邦学习方法，其特征在于，所述步骤(3.3)中所述加权聚合公式如下：

其中t代表第t轮迭代次数，

是所述客户端j在第t轮次的所述客户端本地网络模型基础编码层参数，

表示所述客户端i在第t+1轮次的所述客户端本地网络模型基础编码层参数。

10.一种用于处理不平衡数据的个性化联邦学习装置，包括存储器、处理器以及存储在存储器中并能在存储器上执行的计算机程序，其特征在于：所述处理器执行计算机程序时实现如权利要求1-9中任一项所述的用于处理不平衡数据的个性化联邦学习方法。

Images