CN116229219A - 基于联邦和对比表征学习的图像编码器训练方法和系统 - Google Patents

Abstract

本发明公开了一种基于联邦和对比表征学习的图像编码器训练方法和系统，属于自监督机器学习技术领域。由两部分核心内容组成：一个是为了缓解类别不均衡问题所提出的基于类别多样性和特征对齐实现的联邦对比图像表征学习方法，其被记为FedFA；另一个是用来降低批标准层隐私泄漏风险的按层计算静态批标准化方法，其被记为lsBN。结合FedFA和lsBN，本发明可以在尽可能保护用户数据隐私的前提下，利用各客户端所存储的无标签图像数据来训练生成能够更好地服务于各类下游任务的通用图像编码器。

Description

基于联邦和对比表征学习的图像编码器训练方法和系统

技术领域

本发明属于自监督机器学习技术领域，具体涉及一种基于联邦和对比表征学习的图像编码器训练方法和系统。

背景技术

在保护数据隐私的前提下，利用各方的无标签数据来解决各类下游任务成为了机器学习领域的热门，尤其是近几年来，将对比表征学习算法和联邦学习算法相结合来训练生成通用图像编码器的方案，即联邦对比图像表征学习方法，越来越被大家所推崇。该方案一方面通过第三方运行联邦学习算法来在尽可能保护用户数据隐私的前提下联合各客户端共同完成模型的训练任务；另一方面利用易于理解且性能优异的对比图像表征学习算法来获取高质量的通用编码器。其中，联邦学习本质上是一种分布式学习框架，其通过设置一个第三方服务器来联合存储着原始数据的各本地客户端共同完成相关模型的训练任务。对比表征学习归属于自监督学习，其为无监督学习中一种较为新颖且热门的学习范式，主要用于训练生成可应用于各类下游任务的通用编码器。

由于各客户端的数据往往不满足独立同分布条件，即符合Non-IID配置，且考虑到各方原始数据对其他节点并不可见，因此，联邦对比表征学习方法主要会遇到以下两个问题。

(1)类别不均衡的联邦配置所导致的模型性能下降问题。类别不均衡的联邦配置归属于Non-IID配置，其特指各客户端所包含的本地数据集之间存在类别分布不一致的情况。此处，数据集的类别分布被定义为随机抽取的单个样本归属于某一类别的概率分布。由于对比表征学习方法的效果往往与数据集的类别分布情况息息相关，因此，类别不均衡的联邦配置会对最终获得的编码器性能产生不利的影响。

已有的联邦对比图像表征学习方法要么因为需要传输各方图像数据的中间表示而提高隐私泄漏的风险，如FedCA算法等；要么因为较少地从对比学习的角度出发思考问题而导致模型性能仍有较大的提升空间，如FedU和FedEMA算法等，目前都没有能够很好地解决上述问题。

(2)应用批标准化层所额外带来的隐私泄露问题。由于需要从无标签数据中提取有效信息，因此，对比表征学习方法通常需要使用具备批标准化层的深度残差网络来训练模型。但批标准化层所需计算的平均值和标准差(即批标准化层的统计量)包含着模型各隐藏层输出数据的基本信息，因此，如果任由第三方直接获取这些信息，尤其是位于表征输出层附近的批标准化层所包含的信息，那么必然会泄漏客户端本地特征空间的基本信息。

针对上述问题，目前，在类别不均衡的联邦配置下，联邦对比图像表征学习领域暂时还未出现较为优异的解决方案。设计一种既能更进一步缓解类别不均衡配置对模型性能所产生的不利影响，又能确保在应用批标准层时不额外增加隐私泄漏风险的联邦对比图像表征学习方法是十分必要的。

发明内容

为了解决类别不均衡的联邦配置对模型性能的不利影响，以及批标准层的隐私泄漏风险大的问题，本发明从特征空间入手，提出了一种基于联邦和对比表征学习的图像编码器训练方法和系统。由两部分核心内容组成：一个是为了缓解类别不均衡问题所提出的基于类别多样性和特征对齐实现的联邦对比图像表征学习方法，其被记为FedFA；另一个是用来降低批标准层隐私泄漏风险的按层计算静态批标准化方法，其被记为lsBN。结合FedFA和lsBN，本发明可以在尽可能保护用户数据隐私的前提下，利用各客户端所存储的无标签图像数据来训练生成能够更好地服务于各类下游任务的通用图像编码器。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，本发明提出了一种基于联邦和对比表征学习的图像编码器训练方法，包括以下步骤：

步骤1，第三方服务器初始化包含图像编码器的全局在线网络模型；参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

步骤2，第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复步骤2直至全局在线网络模型收敛；

步骤3，对各客户端的本地模型中的批标准化层按顺序编号，在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

步骤4，将最终的全局在线网络模型中的图像编码器作为训练结果输出。

进一步地，所述的全局在线网络模型由在线图像编码器和映射头构成，所述的目标网络模型由目标图像编码器构成；对于输入图像，首先根据不同的数据增强策略生成在线图像特征和目标图像特征，所述的在线图像特征通过在线图像编码器生成在线编码特征，再经映射头处理后生成在线表征；所述的目标图像特征直接通过目标图像编码器生成目标表征；在本地训练过程中，在线网络模型使用梯度反向传播机制更新参数，目标网络模型使用动量机制更新参数。

进一步地，所述的本地私有数据集和辅助数据集由同领域的图像样本构成。

进一步地，所述的特征对齐过程中，损失函数如下：

其中，f_A表示辅助数据集中的辅助图像样本对应的在线图像特征，L_align (.)表示特征对齐的损失，N表示参与联邦学习的客户端数量，q_A是全局在线网络模型生成的辅助图像样本的在线编码特征，sg(.)表示梯度停止操作，z_A,k表示由第k个本地模型生成的辅助图像样本的在线编码特征，sim(.)表示余弦相似度函数。

进一步地，所述的步骤3包括：

S31，第三方服务器将计算批标准化层i的统计量的指令传输至各客户端，初始化时，i=1；

S32，各客户端分批次遍历本地私有数据集，累积计算批标准化层i的统计量，所述的统计量包括批标准化层i对应的输入数据的平均值和输入数据平方的平均值；

S33，第三方服务器执行安全聚合算法，得到第i层批标准化层统计量的汇总结果，解算得到全局平均值和全局标准差，发送给各客户端；由各客户端在本地模型中固定该参数；

S34，第三方服务器更新指令i，使得i=i+1，如果更新后的i>M，则向各客户端发送停止指令，执行步骤4；否则，返回步骤S31；其中，M表示在线网络模型中的批标准化层总数。

进一步地，解算得到全局平均值和全局标准差的方法具体为：

第三方服务器根据第i层批标准化层统计量中输入数据的平均值的汇总结果，直接将汇总结果取均值作为全局平均值；

第三方服务器根据第i层批标准化层统计量中输入数据的平均值的汇总结果和输入数据平方的平均值的汇总结果，采用转换公式计算全局方差，再根据全局方差得到全局标准差。

进一步地，所述的转换公式如下：

其中，D(.)表示全局方差，Y表示由全部本地私有数据集构成的全局数据集对应的输入数据，E(.)表示期望。

第二方面，本发明提出了一种基于联邦和对比表征学习的图像编码器训练系统，包括：

第三方服务器端，其存储有包含图像编码器的全局在线网络模型和辅助数据集；

客户端，其存储有包含图像编码器的在线网络模型和目标网络模型、以及本地私有数据集；

初始化控制模块，其用于控制第三方服务器初始化包含图像编码器的全局在线网络模型；以及控制参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

本地训练控制模块，其用于控制第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复，直至全局在线网络模型收敛；

批标准化层按层更新控制模块，其用于对各客户端的本地模型中的批标准化层按顺序编号，控制各客户端在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

输出控制模块，其用于在初始化控制模块、本地训练控制模块和批标准化层按层更新控制模块依次执行完各自任务后，输出最终的全局在线网络模型中的图像编码器作为训练结果。

本发明具有的有益效果是：

（1）针对类别不均衡配置所导致的模型性能不佳问题，考虑到传输数据的中间表征会产生额外的隐私泄露问题，因此，本发明选择使用基于梯度停止的对比表征学习方法来开展本地模型训练。与此同时，考虑到基于梯度停止的方法并未从对比学习的核心思路入手思考解决方案，因此，本发明从对比学习特征空间的角度出发提出了一种能更进一步提高通用图像编码器性能的联邦对比图像表征学习方法FedFA。

假设在单机配置下，每个特征在每轮的模型训练后都能在对比学习特征空间中移动到对应的理想位置，那么类别不均衡配置之所以会导致模型的性能不佳，主要是由于各方本地数据集的数据分布与全局数据集的数据分布不同致使特征偏离理想位置而导致的。考虑到本地模型存储着各特征的位置偏离信息，因此，本发明提出的FedFA方法希望通过使用各方的本地模型来使得特征尽可能回到理想位置，从而达到解决类别不均衡问题的目标。通过在公开图像数据集CIFAR-10和CIFAR-100上开展大量的实验，相较于目前性能最佳的FedEMA方法，FedFA方法被证明可以更进一步缓解类别不均衡配置给模型性能所带来的不利影响。除此之外，在IID的联邦配置下，FedFA方法相较于FedEMA方法也表现出了更佳的性能。上述结果也能说明，本发明基于特征空间所提出的特征对齐操作的确能更好地解决类别不均衡问题，且特征对齐操作也能够非常轻松地复现并应用于真实的应用场景中。

（2）针对应用批标准化层所额外带来的隐私泄露问题，对于指定的参数，第三方在无法直接获取任意一方所存储的具体值的情况下仅获取各方具体值的综合值的行为(例如求和的结果)是被认为不侵犯用户的数据隐私的，然而，对所有模型参数都使用安全聚合算法来获取其相应的综合值会大大增加系统的通讯开销。与此同时，考虑到批标准化层的统计量会额外增加用户隐私泄漏的风险，因此，本发明选择仅在模型训练结束后通过使用上述安全聚合算法辅助实现lsBN方法的手段来保护用户的数据隐私。

在模型训练阶段，由于批标准化层的统计量并不能被第三方获取，因此，即使第三方服务器能直接获取各方其他模型参数的具体值，各客户端用户的数据隐私仍会因为本地模型参数的不完整性而得到保护。而在模型训练结束阶段，考虑到lsBN方法获取批标准化层统计量也是通过加权聚合操作来进行实现的，因此，使用安全聚合算法来实现lsBN方法的相关操作即可确保用户的数据隐私得到保护。

综上，本发明将提出的FedFA+lsBN两种方法结合，不仅可以很好地解决应用批标准化层所导致的隐私泄漏问题，同时相对于对所有模型参数使用安全聚合算法的方案，其也能进一步降低系统的通讯开销，可应用性大大提升。

附图说明

图1为联邦学习的常规配置示意图；

图2为本发明实施例示出的客户端本地模型训练的示意图；

图3为本发明实施例示出的模型聚合和特征对齐过程的示意图；

图4为本发明实施例示出的基于联邦和对比表征学习的图像编码器训练方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步阐述和说明。

本发明参考联邦学习的常规配置，如图1所示，主要涉及本地客户端和第三方服务器这两类节点。在每轮的联邦训练过程中，两类节点所需完成的工作如下：

本地客户端：存储着用户的原始数据，需要运行本地模型的训练过程，接收第三方服务器传输而来的聚合模型，回传训练完成的本地模型。

第三方服务器：负责调度各个本地客户端节点共同参与联邦学习，接收各客户端训练所得的本地模型，执行模型聚合操作和额外设计的辅助操作，回传生成的聚合模型。

在联邦学习的模型训练过程中，其通过不断迭代运行本地模型训练和第三方服务器模型聚合这两个步骤来获取可应用的模型。本地模型训练过程确保了模型能从各客户端本地数据集中提取存在差异的信息，服务器端模型聚合过程则确保了这些差异信息的不断融合与同步。上述两个步骤通过在第三方和客户端之间传输模型参数或梯度、模型所生成的中间表示等必要信息来进行维护。

本发明中，为了提高类别不均衡配置所导致的模型性能，避免批标准化层所额外带来的隐私泄露，提出了基于类别多样性和特征对齐的联邦对比图像表征学习方法（简称为FedFA方法），以及按层计算静态批标准化方法（简称为lsBN方法）。

FedFA方法主要是为了缓解类别不均衡的联邦配置对模型性能所产生的负面影响而设计的，使用基于梯度停止的对比表征学习方法开展本地模型训练。与此同时，为了缓解类别不均衡问题所带来的不利影响，不同于常规的联邦学习流程，FedFA方法设计了一个在第三方服务器端利用辅助数据集来开展的特征对齐操作，该操作可以在联邦训练过程中借助各客户端的本地模型所携带的信息来改善特征空间的分布，从而达到解决类别不均衡问题的目标。

此处需要进行说明的是，辅助图像数据集是由第三方服务器端自行采集而得到的，为了保护数据隐私，辅助数据集所包含的原始数据对其他节点也是不可见的。考虑到人为收集数据需要花费较高的成本，因此，本发明对辅助数据集的第一个要求是其规模必须相对较小，比如为本地全量数据集的十分之一到五十分之一之间；另外，考虑到包含越发多样的类别能为模型提供更加丰富的特征，而更加丰富的特征又能进一步改善特征对齐操作的效果，因此，对辅助图像数据集的第二个要求是希望其所包含的类别能够尽可能多样，如果辅助数据集所包含的类别能和各客户端数据集所包含的类别相匹配（同领域），则特征对齐操作的效果将更佳。

lsBN方法的提出主要是为了解决应用批标准化层所额外带来的隐私泄漏问题，该方法直接针对批标准化层统计量这个诱发隐私泄露问题的核心因素来设计相关操作。为了确保第三方服务器端不能直接获取任意一方的批标准化层统计量，在FedFA方法的运行过程中，本地模型的批标准化层统计量被要求仅保留在本地。与此同时，考虑到全局普遍性和本地差异性的平衡，批标准化层中的可学习参数（放缩和移位因子）则仍需参与第三方服务器端的模型聚合过程。而在FedFA方法运行结束后，为了给全局的通用图像编码器生成合理的批标准化层统计量，采用按层累积计算相应的参数值。需要额外说明的是，对于模型中的某个参数，现有的安全聚合算法已经可以实现在确保任意客户端所存储的具体值不被获取的前提下得到各客户端的数值之和。考虑到安全聚合算法的选择和实施不影响本发明的技术方案，因此，本发明不再对其进行赘述。

为了能更加清晰地阐述相关内容，首先对本发明所使用的模型结构进行简要介绍。本实施例采用BYOL方法所提供的模型结构，其主要由在线网络模型

和目标网络模型/>

这两部分所组成。其中，/>

和/>

被称为编码器，二者具有相同的网络结构且都由深度残差网络模型所构成；/>

被称为映射头，其本质上是一个多层感知机模型；/>

和/>

分别表示在线网络模型和目标网络模型的参数；k指代某一具体的客户端。由于深度残差网络和多层感知机都涉及到批标准化技术的应用，因此，在解决隐私泄露问题时，本实施例按照在线网络模型中批标准化层的计算顺序，对在线网络模型中的图编码器中全部批标准化层进行编号。

本发明的整体实施过程主要涉及第三方服务器端和本地客户端这两个方面的内容。接下来，将分别对这两个方面的具体实施过程进行介绍。

（1）本地客户端的具体实施过程：

本地客户端主要需完成FedFA方法中的本地模型训练任务、lsBN方法中的本地批标准化层统计量累积任务以及和第三方服务器之间的通讯任务。其具体的实施过程如下所示，此处以客户端k为例：

步骤1：客户端k接收第三方服务器发送的初始化模型参数，并赋值给本地模型。

步骤2：客户端k接收第三方服务器的指令，若为训练指令，则准备计算资源并执行步骤3，一般需要GPU资源和本地私有数据集；若为结束训练指令，则执行步骤6。

步骤3：客户端k需要完成本地模型的训练任务。

客户端k使用了经典的对比表征学习方法BYOL来开展本地模型训练。对比表征学习的核心思想是通过拉近正样本对之间表征的距离并增大负样本对之间表征的距离来指导模型生成高质量的特征空间。考虑到无监督学习中的数据并不具备标签，因此，在图像任务中，对比表征学习方法往往将单个样本视为一个类别并通过数据增强策略来为该样本生成相应的正样本集合，其他样本及其数据增强的结果则作为该样本的负样本集合。通过两两表征之间的对比操作，对比表征学习最终使得在真实场景中被定义为同一类别的样本会因为大量特征的相似而聚集在特征空间的同一区域，不同的类别会因为存在相似特征的具体情况而在特征空间中呈现出不同的亲疏远近关系，即能为各个类别生成清晰的分类边界。

本地模型由在线网络模型

和目标网络模型/>

这两个深度神经网络模型所组成，如图2所示，对于客户端k的某个输入图像样本x，首先会利用从数据增强分布/>

中随机采样出的两种数据增强策略t和/>

来为其生成两种不同的增强图像样本，我们可以将其记作图像特征或视图v和/>

。然后，对于图像特征v，将通过在线网络模型中的编码器/>

生成编码特征/>

，再经映射头/>

处理后生成在线表征/>

；而对于图像特征/>

，则利用目标网络模型中的编码器直接生成目标表征/>

。其中，符号sg(.)表示梯度停止操作，即不执行梯度的计算和反向传播操作。生成完两个表征后，以负的余弦相似度公式作为损失函数来实现尽可能拉近两个正样本对之间距离的目标。通过指定轮次的模型训练，客户端k即可获得本轮的训练结果。

各客户端的本地训练过程中，在线网络模型使用梯度反向传播机制来更新相关参数，其损失函数L_local如下式所示：

其中，sim(.)表示余弦相似度函数；

和/>

这两个表征向量都已被标准化至模长为1；/>

表示L₂范数的平方。该损失函数本质上就是在拉近正样本对之间的距离。

目标网络模型使用动量机制来进行更新，其参数更新公式如下式所示：

其中，

表示超参数，用于控制目标网络的参数更新速率；/>

表示在线网络模型参数，/>

表示更新前的目标网络模型参数，/>

表示更新后的目标网络模型参数。

本地模型训练的轮次可自行设置，一般设置为5或10轮。

步骤4：将本地模型训练后的在线网络模型参数回传至第三方服务器端，以完成后续的模型聚合、特征对齐等操作，返回步骤1。此处需要注意的是，本地模型的批标准化层统计量不能回传给第三方。

步骤5：客户端k接收第三方服务器端回传的模型参数并将其赋值给本地模型，返回步骤2。此处所属的模型参数特指步骤3和步骤4中所提到的在线网络模型参数，且该模型参数并不包含任何批标准化层统计量信息。

步骤6：各客户端接收第三方服务器端所发送的运行lsBN方法的指令，并准备计算资源，一般需要CPU资源和本地私有数据集。

步骤7：各客户端接收第三方服务器所发送的计算第i层批标准化层统计量的指令，让本地模型遍历整个本地私有数据集，并累积计算批标准化层i的统计量。

此处，执行累积计算主要是考虑到数据集通常是分批传入模型中的，例如批大小为100，批次数为50，则在进行批训练时，每次将100个样本输入模型，共计输入50次，因此每一次输入模型的100个样本均需要计算一次批标准化层i的统计量，累积50次的统计量结果。

上述累积操作主要涉及该批标准化层对应的隐藏层输出数据（即该批标准化层的输入数据）的平均值和标准差。对于平均值，由于其本身只涉及加权平均操作，因此，该数值直接通过加法累积即可，每一次批训练时，记录该批次样本的隐藏层输出数据的平均值。而对于标准差，由于其涉及平方和开方等复杂操作，因此其需要根据转换公式进行转换后再进行累积，所述的转换公式如下：

假设第i层批标准化层的输入数据为X，其方差D可以仅通过X和X²的期望E来计算得到，且得到了X的方差即等同于得到了X的标准差。考虑到X²期望的获取过程也仅涉及加权平均操作，因此，通过累积计算该值即可间接获取相应标准差的数值。

通过上述分析可知，客户端只需要累积本地模型的批标准化层i对应的输入数据的平均值和输入数据平方的平均值即可。

步骤8：各客户端将累积计算得到的批标准化层i的统计量发送至第三方服务器，以供第三方服务器完成后续的安全聚合操作，生成全局平均值和全局标准差；之后，接收第三方服务器发送的全局平均值和全局标准差，赋值给本地模型并固定该参数。

步骤9：重复执行步骤7至步骤8，直至所有批标准化层的统计量计算完成并在本地模型中固定。

步骤10：各客户端接收第三方服务器发送而来的结束运行指令，并释放相应的计算资源。

至此，本地客户端的具体实施过程被阐述完毕。

（2）第三方服务器的具体实施过程：

第三方服务器端除了需要完成节点的调度任务外，还需完成各客户端的本地模型的参数聚合操作和特征对齐操作、与各客户端的通讯任务等。第三方服务器的具体实施过程如下所示：

步骤1：向各客户端发送本地模型训练指令。

步骤2：随机初始化模型参数并将其发送至各客户端。

步骤3：接收各客户端所传送而来的本地在线网络模型参数并执行模型参数的聚合操作，得到全局在线网络模型。

本实施例中，将各客户端的本地模型记作

，聚合方法为FedAvg加权聚合法，聚合模型记作/>

。

所述的FedAvg加权聚合法的计算公式如下：

式中，

和/>

分别表示客户端k本地私有数据集的规模和全局数据集的规模。

步骤4：第三方服务器执行特征对齐操作，更新全局在线网络模型。

本发明所提出的特征对齐操作基本上与对比表征学习方法BYOL的运行过程一致。与之不同的是，FedFA方法需要拉近同一数据通过聚合模型所生成的表示和通过各客户端的本地模型所生成的表示之间的距离。此处，本发明认为特征在特征空间中的理想位置应该位于各客户端的本地模型所对应位置的“中心”，即特征在对齐之后的表征应该与各客户端的本地模型所对应的表征的综合距离最近。

模型聚合和特征对齐过程的示意图如图3所示，假设共有N个客户端参与模型训练。第三方服务器在接收各客户端的本地模型

参数后，首先，利用加权聚合法获取聚合模型/>

，拷贝聚合模型参数得到通用模型中的编码器和映射头

；然后，对于第三方服务器中的某一辅助图像样本的特征f_A，第三方服务器需要使其由通用模型中的编码器和映射头/>

所生成的表征q_A与其由各个客户端本地模型

所生成的表征集合/>

之间的距离之和（此处使用L₂范数进行度量）尽可能地小，通过利用反向传播机制来迭代模型参数，最终能起到纠正特征所在位置的效果，更新全局在线网络模型。

此处，假设特征f_A的理想位置应该位于其在各客户端的本地模型作用下所映射到的位置集合的中心，而该中心的寻找方案，即上述特征对齐操作，是通过迁移对比学习的核心思路来进行实现的。由于第三方服务器并没有数据来完成特征对齐操作，因此，FedFA方法需要第三方额外自行采集一个辅助数据集。

上述过程对应的损失函数L_align如下式所示：

其中，A表示与特征对齐操作模型相关的参数；sg(.)表示梯度停止操作，即相关参数不执行梯度的计算和反向传播操作；sim(.)表示余弦相似度函数；

表示L₂范数的平方，N表示参与联邦学习的客户端数量，/>

表示由第k个本地模型生成的某一辅助图像样本的特征f_A的表征结果。需要额外说明的是，为了加快特征对齐的进度，本发明使用加权聚合模型而非随机初始化模型来开展相关操作，特征对齐操作的执行轮次也是人为自行设定的，通常设置为本地模型训练轮次的两倍。

步骤5：将全局在线网络模型参数传送至各客户端，判断是否需要继续训练，若是，则向客户端发送本地模型训练指令，并返回步骤3；否则，执行步骤6。

步骤6：向各客户端发送执行lsBN方法的指令。

步骤7：第三方服务器将计算批标准化层i的统计量的指令传输至各客户端，等待各客户端累积计算相应隐藏层输出数据的平均值及其输出数据平方操作后的平均值。

步骤8：第三方服务器执行安全聚合算法，得到第i层批标准化层统计量的汇总结果，即全局数据集在相应隐藏层上输出数据的平均值及其输出数据平方操作后结果的平均值，解算得到全局平均值和全局标准差，发送给各客户端并由各客户端在本地模型中固定该参数。

此处，第三方服务器会使用安全聚合算法对各方客户端的批标准化层i的统计量进行相加，所述的安全聚合算法可以确保第三方在无法获取任意一个客户端相应参数具体数值的前提下，仅得到该参数的聚合结果。进一步的，第三方服务器对全局数据集在相应隐藏层上输出数据的平均值的聚合结果取均值，即可得到全局平均值；根据聚合结果参考上述转换公式，即可直接解算出全局方差，再开方得到全局标准差。

步骤9：更新指令i，使得i=i+1；如果更新后的i>M，则向各客户端发送停止运行的指令，否则，跳转至步骤7继续运行。此处参数M表示在线网络模型中的批标准化层总数。

至此，第三方服务器端的具体实施过程已阐述完毕，最终的通用模型中的编码器e_A即为期望获取的通用图像编码器。

在本发明的一项具体实施中，联合FedFA方法和lsBN方法的图像编码器训练方法，如图4所示，包括以下步骤：

S1，第三方服务器初始化包含图像编码器的全局在线网络模型；参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

S2，第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复S2直至全局在线网络模型收敛；

S3，对各客户端的本地模型中的批标准化层按顺序编号，在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

S4，将最终的全局在线网络模型中的图像编码器作为训练结果输出。

本发明考虑到安全聚合算法会引入额外的通讯和计算开销，因此，考虑使用如下机制来降低这些开销：

第一，在执行FedFA方法时，不使用安全聚合算法且第三方无法获取各批标准化层的参数。由于第三方无法获取本地模型的所有参数，因此，即使第三方能直接拿到各本地模型的部分参数，其无法/难以通过模型来获取用户的隐私信息，实现利用信息缺失保证隐私安全的目的。

第二，在模型训练结束后，使用lsBN方法来获取各批标准化层的统计量。该操作的好处包括：相较于直接在训练过程中不断获取批标准化层统计量，lsBN方法仅需要为每层批标准化层计算一次统计量即可，通讯和计算开销大大减小；此外，在模型训练阶段也不需要通过安全聚合算法来为第三方获取模型的其他参数，既降低了各类开销，又确保了隐私安全。

为了验证所提出的联邦对比图像表征方法的有效性，基于已有的研究成果，本发明使用线性评估方法和半监督评估方法来测试通用图像编码器的性能。其中，线性评估方法需要在全局训练集和编码器上微调一个线性分类层来进行实现，并最终通过在测试集上获取分类准确率来衡量编码器的质量。该评估方案评估编码器质量的核心依据是，高质量的特征空间应该至少可以为训练数据集所包含的真实类别生成明显的分类边界。不同于线性评估方法需要使用所有训练数据的标签，半监督评估方法则仅在一小部分训练数据上微调编码器，其最终也使用在测试集上获取的分类准确率来评估编码器质量。由于只能获取部分数据标签，因此，半监督评估方法相较于线性评估方法更接近于现实。上述两种评估方法属于本领域的公知技术，此处不再详细阐述。

表1给出了FedU方法、FedEMA方法以及本发明所提出的方法在CIFAR-10和CIFAR-100公开数据集上的线性评估结果，其中，作为对比的FedU和FedEMA方法都是为了解决类别不均衡问题所提出来的，两者缓解类别不均衡问题的核心思路是平衡模型的全局普遍性和本地差异性。为了实现上述核心思路，在使用聚合模型更新本地模型参数的阶段，FedU方法提出仅对在线网络模型进行更新的措施；FedEMA则在FedU的基础上进一步提出使用滑动平均机制更新在线网络模型参数的措施。FedU和FedEMA在解决类别不均衡问题上战胜了以往的联邦对比图像表征学习方法，但二者都未考虑批标准化层所额外带来的隐私泄露问题，且未从对比学习的本质入手考虑如何缓解类别不均衡问题，通用图像编码器的性能仍有较大提升空间。

表1：线性评估结果

本实验所使用的方法都是基于ResNet-18网络结构来实现的，Non-IID字段指的是类别不均衡的联邦配置，如表1所示，评估结果证实了本发明所提出的方法具有更佳的性能。此处需要额外说明的是，由于BYOL方法是在中心化配置而非联邦配置下开展模型训练过程的，因此，其所获得的模型性能是最优的。BYOL方法所能取得的模型性能是联邦对比图像表征学习方法所能取得模型性能的一个理论上界。

在本实施例中还提供了一种基于联邦和对比表征学习的图像编码器训练系统，该系统用于实现上述实施例。以下所使用的术语“模块”、“单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能的。

本实施例提供的一种基于联邦和对比表征学习的图像编码器训练系统，包括：

第三方服务器端，其存储有包含图像编码器的全局在线网络模型和辅助数据集；

客户端，其存储有包含图像编码器的在线网络模型和目标网络模型、以及本地私有数据集；

初始化控制模块，其用于控制第三方服务器初始化包含图像编码器的全局在线网络模型；以及控制参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

本地训练控制模块，其用于控制第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复，直至全局在线网络模型收敛；

批标准化层按层更新控制模块，其用于对各客户端的本地模型中的批标准化层按顺序编号，控制各客户端在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

输出控制模块，其用于在初始化控制模块、本地训练控制模块和批标准化层按层更新控制模块依次执行完各自任务后，输出最终的全局在线网络模型中的图像编码器作为训练结果。

在本发明的一项具体实施中，所述的本地训练控制模块包括：

本地训练单元，其用于在本地私有数据集上执行对比表征学习训练，更新训练后的本地模型；

第一传输单元，其用于在第三方服务器端和各客户端之间传输除批标准化层统计量之外的在线网络模型；

加权聚合单元，其用于对各客户端上传的除批标准化层统计量之外的在线网络模型参数进行加权聚合，根据加权聚合结果更新全局在线网络模型；

特征对齐单元，其用于在各客户端的在线网络模型和加权聚合单元更新后的全局在线网络模型上，遍历辅助数据集进行特征对齐，更新全局在线网络模型。

在本发明的一项具体实施中，所述的批标准化层按层更新控制模块包括：

批标准化层编号单元，其用于对各客户端的本地模型中的批标准化层按顺序编号；

本地累积计算单元，其用于在本地私有数据集上累积计算各本地模型当前批标准化层的统计量，所述的统计量包括批标准化层i对应的输入数据的平均值和输入数据平方的平均值；

安全聚合单元，其用于执行安全聚合算法，得到全部客户端的本地模型当前批标准化层统计量的汇总结果；

解算单元，其用于根据当前批标准化层统计量的汇总结果，解算全局平均值和全局标准差；

第二传输单元，其用于在第三方服务器端和各客户端之间传输本地模型当前批标准化层的统计量、以及解算得到的全局平均值和全局标准差；

遍历计数单元，其用于对已完成统计量的批标准化层的编号进行计数，直至遍历在线网络模型的图像编码器的全部批标准化层。

对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可，其余模块的实现方法此处不再赘述。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明的系统的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。系统实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，包括以下步骤：

步骤1，第三方服务器初始化包含图像编码器的全局在线网络模型；参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

步骤2，第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复步骤2直至全局在线网络模型收敛；

步骤3，对各客户端的本地模型中的批标准化层按顺序编号，在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

步骤4，将最终的全局在线网络模型中的图像编码器作为训练结果输出。

2.根据权利要求1所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，所述的全局在线网络模型由在线图像编码器和映射头构成，所述的目标网络模型由目标图像编码器构成；对于输入图像，首先根据不同的数据增强策略生成在线图像特征和目标图像特征，所述的在线图像特征通过在线图像编码器生成在线编码特征，再经映射头处理后生成在线表征；所述的目标图像特征直接通过目标图像编码器生成目标表征；在本地训练过程中，在线网络模型使用梯度反向传播机制更新参数，目标网络模型使用动量机制更新参数。

3.根据权利要求2所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，所述的本地私有数据集和辅助数据集由同领域的图像样本构成。

4.根据权利要求1所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，所述的特征对齐过程中，损失函数如下：

其中，f_A表示辅助数据集中的辅助图像样本对应的在线图像特征，L_align(.)表示特征对齐的损失，N表示参与联邦学习的客户端数量，q_A是全局在线网络模型生成的辅助图像样本的在线编码特征，sg(.)表示梯度停止操作，z_A,k表示由第k个本地模型生成的辅助图像样本的在线编码特征，sim(.)表示余弦相似度函数。

5.根据权利要求1所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，所述的步骤3包括：

S31，第三方服务器将计算批标准化层i的统计量的指令传输至各客户端，初始化时，i=1；

S32，各客户端分批次遍历本地私有数据集，累积计算批标准化层i的统计量，所述的统计量包括批标准化层i对应的输入数据的平均值和输入数据平方的平均值；

S33，第三方服务器执行安全聚合算法，得到第i层批标准化层统计量的汇总结果，解算得到全局平均值和全局标准差，发送给各客户端；由各客户端在本地模型中固定该参数；

S34，第三方服务器更新指令i，使得i=i+1，如果更新后的i>M，则向各客户端发送停止指令，执行步骤4；否则，返回步骤S31；其中，M表示在线网络模型中的批标准化层总数。

6.根据权利要求5所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，解算得到全局平均值和全局标准差的方法具体为：

第三方服务器根据第i层批标准化层统计量中输入数据的平均值的汇总结果，直接将汇总结果取均值作为全局平均值；

第三方服务器根据第i层批标准化层统计量中输入数据的平均值的汇总结果和输入数据平方的平均值的汇总结果，采用转换公式计算全局方差，再根据全局方差得到全局标准差。

7.根据权利要求6所述的一种基于联邦和对比表征学习的图像编码器训练方法，其特征在于，所述的转换公式如下：

其中，D(.)表示全局方差，Y表示由全部本地私有数据集构成的全局数据集对应的输入数据，E(.)表示期望。

8.一种基于联邦和对比表征学习的图像编码器训练系统，其特征在于，包括：

第三方服务器端，其存储有包含图像编码器的全局在线网络模型和辅助数据集；

客户端，其存储有包含图像编码器的在线网络模型和目标网络模型、以及本地私有数据集；

初始化控制模块，其用于控制第三方服务器初始化包含图像编码器的全局在线网络模型；以及控制参与联邦学习的各客户端初始化包含图像编码器的在线网络模型和目标网络模型作为本地模型；

本地训练控制模块，其用于控制第三方服务器将除批标准化层统计量之外的全局在线网络模型发送至各客户端，各客户端根据第三方服务器发送的模型参数更新本地模型，并在本地私有数据集上执行对比表征学习训练；训练结束后，各客户端将除批标准化层统计量之外的在线网络模型回传至第三方服务器；第三方服务器执行模型聚合后，利用辅助数据集进行特征对齐，更新全局在线网络模型；重复，直至全局在线网络模型收敛；

批标准化层按层更新控制模块，其用于对各客户端的本地模型中的批标准化层按顺序编号，控制各客户端在本地私有数据集上累积计算各本地模型当前批标准化层的统计量并上传至第三方服务器，由第三方服务器解算当前批标准化层的全局平均值和全局标准差并回传至各客户端，由各客户端固定当前批标准化层参数，并累积计算下一批标准化层的统计量，直至遍历在线网络模型的图像编码器的全部批标准化层；

输出控制模块，其用于在初始化控制模块、本地训练控制模块和批标准化层按层更新控制模块依次执行完各自任务后，输出最终的全局在线网络模型中的图像编码器作为训练结果。

9.根据权利要求8所述的一种基于联邦和对比表征学习的图像编码器训练系统，其特征在于，所述的本地训练控制模块包括：

本地训练单元，其用于在本地私有数据集上执行对比表征学习训练，更新训练后的本地模型；

第一传输单元，其用于在第三方服务器端和各客户端之间传输除批标准化层统计量之外的在线网络模型；

加权聚合单元，其用于对各客户端上传的除批标准化层统计量之外的在线网络模型参数进行加权聚合，根据加权聚合结果更新全局在线网络模型；

特征对齐单元，其用于在各客户端的在线网络模型和加权聚合单元更新后的全局在线网络模型上，遍历辅助数据集进行特征对齐，更新全局在线网络模型。

10.根据权利要求8所述的一种基于联邦和对比表征学习的图像编码器训练系统，其特征在于，所述的批标准化层按层更新控制模块包括：

批标准化层编号单元，其用于对各客户端的本地模型中的批标准化层按顺序编号；

本地累积计算单元，其用于在本地私有数据集上累积计算各本地模型当前批标准化层的统计量，所述的统计量包括批标准化层i对应的输入数据的平均值和输入数据平方的平均值；

安全聚合单元，其用于执行安全聚合算法，得到全部客户端的本地模型当前批标准化层统计量的汇总结果；

解算单元，其用于根据当前批标准化层统计量的汇总结果，解算全局平均值和全局标准差；

第二传输单元，其用于在第三方服务器端和各客户端之间传输本地模型当前批标准化层的统计量、以及解算得到的全局平均值和全局标准差；

遍历计数单元，其用于对已完成统计量的批标准化层的编号进行计数，直至遍历在线网络模型的图像编码器的全部批标准化层。

Images