CN112836822A

CN112836822A - 基于宽度学习的联邦学习策略优化方法和装置

Info

Publication number: CN112836822A
Application number: CN202110220275.6A
Authority: CN
Inventors: 陈晋音; 张龙源; 吴长安; 刘涛; 李荣昌
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2021-02-26
Filing date: 2021-02-26
Publication date: 2021-05-25

Abstract

本发明公开了一种基于宽度学习的联邦学习策略优化方法和装置，包括：(1)对边缘端的本地模型进行模型初始化，同时在服务器端部署宽度学习网络；(2)对本地模型进行预训练，采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端；(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度，并根据预测置信度更新宽度学习网络的参数，同时返回预测置信度至边缘端；(4)边缘端利用返回的预测置信度更新本地模型的参数；(5)迭代(2)～(4)，参数确定的本地模型作为特征提取器，参数确定的宽度学习网络作为分类器，组成联邦学习模型，以提高模型的训练速度。

Description

基于宽度学习的联邦学习策略优化方法和装置

技术领域

本发明属于面向联邦学习的领域，具体涉及一种基于宽度学习的联邦学习策略优化方法和装置。

背景技术

联邦学习是一种机器学习设置，其中多个边缘端在中央服务器或服务提供商的协调下协作解决机器学习问题。移动电话、可穿戴设备和自动驾驶汽车等远程设备构成的现代网络每天都会生成大量数据。联邦学习涉及到直接在这些设备上训练统计模型，并引入了新的统计和系统挑战，需要从根本上背离为数据中心环境中的分布式优化而设计的标准方法。联邦学习，它允许多方在不共享数据的情况下协同训练模型。类似于中心化并行优化，联邦学习允许边缘端执行大部分计算，中心参数服务器使用用户设备返回的下降方向更新模型参数。

每个客户的原始数据都存储在本地，不进行交换或转移；相反，权重更新是狭义的更新，以包含针对特定学习任务所需的最少信息。在数据最小化服务中，尽可能早地执行聚合。

从统计的角度来看，每个设备以一种不相同和异构的方式收集数据，并且每个设备上的数据点的数量也可能存在显著差异。因此，联邦优化方法必须以一种稳健的方式设计，以便在处理异构统计数据时证明收敛性。从系统的角度来看，网络的规模和高昂的通信成本对联邦优化方法施加了两个额外的约束:(1)代价较高的网络优化和(2)高昂的通信成本。在参与方面，在每一轮通信中，建议的方法应该只需要少量的设备是活跃的。

有研究人员基于上述的联邦平均算法，提出新的聚合方法：研究者认为在数据非独立同分布条件下，更新的模型应该与下发的模型之间更相似。研究者通过限制本地数据更新模型的次数来限制模型间的相似度，最终实现了：(1)在模型训练方面，保证可以聚合的前提下，降低了通信轮数，也因此降低了通信代价。(2)对非独立同分布进行理论分析，分析其收敛困难的原因是在一个数据集上更新次数过多。

联邦学习可以借鉴分布式学习中处理非独立同分布的数据—稀疏化方法：选择单个模型中参数更新最大的k个值(最大的k个值最能代表数据更新的方向)。最终实现两个目标：(1)模型压缩，采用重要参数对模型进行更新(2)采用少量参数可以提升数据的安全性，避免因参数数据泄露边缘端信息。

发明内容

鉴于联邦学习通信成本高、数据异质性等问题导致模型收敛速度慢，同时鉴于训练好的联邦模型的无法进行参数优化修改或需要大量时间进行微调训练，以导致训练模型的代价高的问题，本发明提供了一种基于宽度学习的联邦学习策略优化方法，以提高模型的训练速度，以提高训练系统的效能。

本发明的技术方案为：

第一方面，一种基于宽度学习的联邦学习策略优化方法，包括以下步骤：

(1)对边缘端的本地模型进行模型初始化，同时在服务器端部署宽度学习网络，其中，宽度学习网络包括特征节点组成的特征层和增强节点组成的增强层以及全连接层；

(2)采用本地数据集对本地模型进行预训练，同时采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端；

(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度，并根据预测置信度更新宽度学习网络的参数，同时返回预测置信度至边缘端；

(4)边缘端利用返回的预测置信度更新本地模型的参数；

(5)重复迭代步骤(2)～步骤(4)，直到达到迭代终止条件，参数确定的本地模型作为特征提取器，参数确定的宽度学习网络作为分类器，组成联邦学习模型。

第二方面，一种基于宽度学习的联邦学习策略优化装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于宽度学习的联邦学习策略优化方法。

与现有技术相比，本发明具有的有益效果至少包括：

1)利用宽度学习来将模型训练分为边缘端的用于特征提取器的本地模型的训练以及服务器端的用作分类器的宽度学习网络的训练，在训练过程中，利用宽度学习的快速拟合来减小服务器端模型的训练时间，提升训练效果，与此同时，利用联邦学习训练多个用作特征提取器的本地模型，让宽度学习的训练集更加多元化，提升模型的鲁棒性。2)在边缘端的特征向量上传到服务器端前，利用半监督学习的方式选取使得模型训练最快或者对模型训练帮助最大的一部分数据集，可以使得宽度学习收敛更快。3)在服务器端将训练分为两个阶段，第一阶段进行模型的粗粒度特征学习阶段，第二阶段进行模型的细粒度特征学习阶段，以此来加快模型训练，提升模型训练效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供实施例的基于宽度学习的联邦学习策略优化方法的流程图；

图2是本发明实施例提供的联邦学习策略优化方法的原理框图；

图3是本发明实施例提供的宽度学习的训练初期的网络图；

图4是本发明实施例提供的宽度学习的训练中期的网络图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

联邦学习存在的异质性问题以及训练效率问题：在构建数据集时操作不当，过多选取某一类数据进行训练，或者数据集内数据质量差，使得生成的模型效果较差。联邦学习的数据异质性原因：样本量不足、少量设备活跃(某一类或者某几类样本较多)、数据非独立同分布(联邦学习的聚合算法虽然在non-IID条件下可以使用，但是理论证明不足)。

基于此种情况，实施例提供了一种基于宽度学习的联邦学习策略优化方法，利用宽度学习来优化联邦学习的生成策略。首先，利用主动学习等半监督学习方法，对每个边缘端存在的数据集进行查询，再根据不同的选择策略来根据不同情况进行数据集的选取(最小loss选取，最大信息熵选取)；其次搭建宽度学习框架，并根据宽度学习的进度设置不同的特征层以及强化层，并更新模型权重，以最大化的使用宽度学习的优势，也就是可以通过添加较少的特征节点来进行模型的升级；最后将边缘端上传的数据特征的置信度返回至边缘端，用来让边缘端的数据进行更新。

图1是本发明提供实施例的基于宽度学习的联邦学习策略优化方法的流程图。图2是本发明实施例提供的联邦学习策略优化方法的原理框图。如图1和图2所示，实施例提供的基于宽度学习的联邦学习策略优化方法，包括以下步骤：

步骤1，初始化

初始化包括对边缘端的本地模型进行模型初始化和在服务器端部署宽度学习网络。

在对边缘端的本地模型进行模型初始化时，需要确定训练总轮次E，本地数据集，参与联邦学习的本地模型个数M。每轮参与训练的设备数K(K≤M)。将需要训练的每个特征提取器作为本地模型发送给每个边缘端。

服务器端部署的宽度学习网络作为分类器，主要包括宽度学习网络包括特征节点组成的特征层和增强节点组成的增强层以及全连接层。部署宽度学习网络时，还需要确定宽度学习的特征节点个数和增强节点个数。

步骤2，采用本地数据集对本地模型进行预训练。

具体地，将本地数据集输入至边缘端的本地模型中，生成特征向量。

步骤3，采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端。

实施例中，采用公式(1)筛选获得信息熵含量前n大的n个较优特征向量

其中，k为边缘端和本地模型的索引，X_k、Y_k分别表示第k个边缘端的样本数据集和对应的样本标签集，x_i、y_i分别表示第i个样本数据和对应的样本标签，L₁(y_i,x_i)表示计算x_i与y_i距离的2范数。公式(1)可以理解为通过增加一个标注的样本信息熵含量最大，多次循环，选取n个最优特征向量

作为上传的特征向量上传至服务器端。

步骤4，服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度。

具体地，服务器端依据n个较优特征向量进行宽度学习的训练初期，也就是当循环训练次数小于等于总循环训练次数，即t≤E/2时，宽度学习的过程为：

H_m＝ξ(Z^NW_m+β_m),m＝1,2,…,M (3)

其中，W_s、β_s分别表示宽度学习网络中特征节点的权重参数和偏置参数，Z_s表示第s个特征节点的输出，φ(·)表示特征节点的激活函数，Z^N表示N个特征节点的输出的拼接矩阵，作为特征节点的输入，W_m、β_m分别表示宽度学习网络中增强节点的权重参数和偏置参数，H_m表示第m个增强节点的输出，ξ(·)表示增强节点的激活函数，H^M表示M个增强节点的输出的拼接矩阵，符号∣表示拼接操作，Z^N∣H^M表示矩阵Z^N与矩阵H^M的拼接矩阵，W是全连接层的权重，Y表示宽度学习网络输出的预测置信度矩阵，其维度与分类类别数相同。

服务器端依据n个较优特征向量进行宽度学习的训练中期，也就是当循环训练次数大于总循环训练次数，即t＞E/2时，宽度学习的过程为：

H_m＝ξ(Z^N+PW_m+β_m),m＝M,M+1,…,M+q (6)

其中，P为特征层增加的特征节点的个数，其输入为较优特征向量

W_s、β_s分别表示宽度学习网络中特征节点的权重参数和偏置参数，Z_s表示第s个特征节点的输出，φ(·)表示特征节点的激活函数，Z^N+p表示N+p个特征节点的输出的拼接矩阵，作为特征节点的输入，W_m、β_m分别表示宽度学习网络中增强节点的权重参数和偏置参数，H_m表示第m个增强节点的输出，ξ(·)表示增强节点的激活函数，q为增强层增加的增强节点的个数，H^M+q表示M+q个增强节点的输出的拼接矩阵，符号∣表示拼接操作，Z^N+p∣H^M+q表示矩阵Z^N+p与矩阵H^M+q的拼接矩阵，W是全连接层的权重，Y表示宽度学习网络输出的预测置信度矩阵，其维度与分类类别数相同。

步骤5，根据预测置信度更新宽度学习网络的参数。

实施例中，采用公式(8)更新宽度学习网络的参数：

其中，

表示属于特征向量

的第i个特征向量对应的标签y_i与预测置信度Y_i之间的交叉熵损失函数，η表示宽度学习网络的习率，

表示第t轮更新网络学习网络的模型参数，

表示第t+1轮更新网络学习网络的模型参数，K表示本地模型的总个数。

步骤6，边缘端利用返回的预测置信度更新本地模型的参数。

实施例中，采用公式(9)来更新本地模型的参数；

其中，

表示属于特征向量

的第i个特征向量对应的标签y_i与预测置信度Y_i之间的交叉熵损失函数，

表示特征向量的个数，

表示函数

相对于

求导，即损失函数梯度，

表示第t轮第k个本地模型参数。

步骤7，重复步骤2-6，直到到达总轮数E，参数确定的本地模型作为特征提取器，参数确定的宽度学习网络作为分类器，组成联邦学习模型。

实施例提供了一种基于宽度学习的联邦学习策略优化装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于宽度学习的联邦学习策略优化方法。

在实际应用中，处理器可以由基站服务器的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)等实现。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。