CN113315604A - 一种联邦学习自适应梯度量化方法 - Google Patents

Abstract

本发明公开了一种联邦学习自适应梯度量化方法，初始化各工作节点的训练样本和本地模型，利用训练样本训练本地模型，得到局部梯度，并根据各工作节点得到的量化等级对局部梯度进行量化；将局部梯度上传至参数服务器进行梯度聚合，并将聚合结果传输回各工作节点；各工作节点利用量化后的聚合梯度对本地模型参数进行更新；判断迭代轮数是否满足预设间隔时间阈值，若满足则广播各工作节点链路状态，及时调整自身量化等级，否则进入迭代训练过程，直至达到预设条件，结束训练；本发明根据节点链路的实时带宽自适应地调整梯度的量化比特，有效缓解straggler问题，在完成传统量化方法降低通信开销任务基础上，提升了带宽资源利用率，完成更高效的联邦学习训练。

Description

一种联邦学习自适应梯度量化方法

技术领域

本发明涉及梯度量化技术领域，具体涉及一种联邦学习自适应梯度量化方法。

背景技术

由于数据量和模型规模的不断扩大，传统机器学习无法满足应用需求，于是分布式机器学习成为主流。为了完成多机的协作，节点间的通信必不可少。但是随着模型、神经网络的规模越来越大，每次要传输的参数量也非常庞大，导致通信的时间可能会过长，甚至因为加长的通信时间抵消掉由并行节约下来的计算时间。因此如何降低通信代价成为了分布式机器学习领域一个被广泛研究的课题。异步随机梯度下降、模型的压缩和稀疏化、梯度的量化和稀疏化都是可以有效缓解分布式机器学习通信瓶颈的方法。

近年来有不少梯度量化的方法被提出。比如1-bit SGD量化算法将32bit浮点数的梯度积极地量化为了1bit，并在某些特定场景中获得了十倍的训练加速。但因为其量化过程是逐列进行的，每列量化梯度都需要一对浮点数的标量同时传输，所以1-bit SGD算法无法在卷积神经网络(CNN,Convolutional Neural Network)中获得速度增益。另外，该算法采用“冷启动”的方式，需要进行24小时不并行不量化的预训练，来为后续的1-bit量化取得一个良好的初始点。并且遗憾的是该算法的收敛性目前还没有理论上的证明。DoReFa-Net是从AlexNet中衍生出的量化算法，将权重、激活和梯度的位宽分别降低为1、2和6比特，但在单机的实验显示其损失了9.8％的训练精度。Gupta等人使用16比特定点数的梯度成功地在MNIST和CIFAR-10数据集上训练了深度神经网络(DNN,Deep Neural Network)。在意识到梯度量化并不一定总能让模型收敛后，Alistarsh等人提出了一种随机量化算法QSGD(Quantized Stochastic Gradient Descent)，该算法在凸和非凸问题上都有理论的收敛性保证。QSGD在ImageNet上获得了1.8倍的速度增益。同时期的TernGrad使用了类似于QSGD的随机量化思想，将梯度量化为{-1，0，1}，并且引入了逐层三值化和梯度剪裁的方法来提升训练精度，最终将AlexNet的Top-1精度提升了0.92％。

上述梯度量化算法在一些特定的场景中都体现出了良好的加速效果，但是都是固定精度的量化算法，在联邦学习(FL,Federated Learning)中还是有一些局限性。联邦学习是在保证数据隐私安全及合法合规的基础上，对分散的边缘设备上的数据进行分析的一种分布式机器学习框架。由于边缘设备的通信技术多种多样，包括Wi-Fi、5G、Road Side Unit(RSU)等，导致联邦学习的网络是异构且动态的，客户端之间的网络状态可能有很大的差距，甚至达到十倍以上。在所需的全局模型规模较大的情况下，网络带宽限制和工作节点数量会加剧联邦学习的通信瓶颈，从而减慢整体的训练进程，异构且动态的网络会造成客户端设备掉队/退出的问题(Straggler Problem)。此时如果采用统一精度的梯度量化算法，会导致快慢节点之间的通信时间相差很大，快节点等待慢节点完成参数同步的过程中会造成大量计算资源和通信资源的浪费，这加剧了straggler问题。同时对于链路状态好的节点，如果和链路状态差的节点一样使用低精度的量化梯度，也会使最终训练的模型精度有所下降。

另外，Faghri等人提出了两种自适应的QSGD算法，ALQ和AMQ，旨在通过调整梯度压缩时的量化等级，以降低单个工作节点上梯度间的方差，从而加速训练，提高模型精度。但是该研究考虑的是一般分布式机器学习的场景，而本发明考虑的是联邦学习的场景。相比一般DML，联邦学习的通信技术多种多样，具有更强的网络异构性，因此不同于上述研究使用梯度间的方差来调整量化等级，我们通过实时的链路状态来调整量化等级来保证各节点的通信时间大体相同。在联邦学习的场景中，ALQ和AMQ无法平衡各节点的通信时间，从而无法应对在该场景中更加严重的straggler问题，造成计算和通信资源的浪费，而本发明则可以很好的缓解该问题。

发明内容

针对现有技术中的上述不足，本发明提供了一种自适应的梯度量化方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种联邦学习自适应梯度量化方法，包括以下步骤：

S1、初始化各工作节点训练样本、本地模型；

S2、各工作节点向其余工作节点广播自身对应的链路带宽，并利用全局最小的链路带宽计算各节点对应量化等级；

S3、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，得到局部梯度，并根据步骤S2得到的量化等级对局部梯度进行量化；

S4、将步骤S2量化后的局部梯度上传参数服务器进行梯度聚合，并将得到的聚合梯度传输回各个工作节点；

S5、接收到参数服务器回传的聚合梯度后进行本地模型参数更新；

S6、判断迭代轮数是否满足预设条件，若满足则结束训练，否则进入步骤S7；

S7、判断迭代轮数是否满足预设间隔时间阈值，若满足则返回步骤S2，否则返回步骤S3。

该方案的有益效果为：

提出了一种为联邦学习系统设计的自适应梯度量化，可以根据节点链路的实时带宽自适应地调整梯度的量化比特，在降低了通信代价的同时，可以获得更高的本地模型精度，取得了更好的通信代价与本地模型精度的平衡，同时因为量化比特的调整，可以控制不同节点的通信时间大体相同，从而有效缓解straggler问题，并在理论上保持收敛性，在完成传统量化降低通信开销任务基础上，从总体上提高了带宽资源的利用率，完成了更加高效的联邦学习训练。

进一步地，所述步骤S2具体包括以下分步骤：

S21、利用步骤S1中最小的节点链路带宽计算单个量化梯度所需要的比特数，表示为：

其中，B_worst为带宽最小的节点链路带宽，b_min为最小的量化比特，k为工作节点，B_k为链路带宽，b_k为单个量化梯度所需要的比特数；

S22、利用步骤S21中单个量化梯度所需要的比特数b_k计算对应量化等级s_k，表示为：

其中，

为上舍入运算。

该进一步方案的有益效果为：

不同节点可以根据自身的链路状态使用不同的量化等级s_k，用不同的比特数表示量化梯度，使得不同工作节点的通信时间大致相同，从而有效地缓解了straggler问题，避免了计算资源和通信资源的浪费。

进一步地，所述步骤S3具体包括以下分步骤：

S31、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，计算本地模型的损失函数；

S32、根据步骤S31得到的本地模型的损失函数利用反向传播计算局部梯度，表示为：

其中，g_k为工作节点k的局部梯度，L(.)为损失函数，

为梯度求导，w_k为当前本地模型参数，z_k为当前训练使用的训练样本；

S33、利用步骤S32中局部梯度对应的量化等级对局部梯度进行量化，量化过程Q_s(g_i)表示为：

Q_s(g_i)＝||g||_p·sign(g_i)·ξ_i(g,s)

其中，g_i为梯度向量g中第i个分量，||·||_p为l-p范数，sign()为符号函数，ξ_i(g,s)为随机变量，s为量化等级。

该进一步方案的有益效果为：

完成对本地模型的训练，并通过局部梯度对应的量化等级对局部梯度进行量化。

进一步地，所述步骤S33中随机变量ξ_i(g,s)表示为：

其中，l为整数，P(.)为概率计算函数，|g_i|为梯度向量g中第i个分量的绝对值。

该进一步方案的有益效果为：

对上述随机量化过程中原始梯度进行无偏估计，有良好的收敛性保证。

进一步地，所述概率计算函数P(.)表示为：

该进一步方案的有益效果为：

计算随机量化过程中量化概率。

进一步地，所述步骤S3中梯度聚合表示为：

其中，

为聚合梯度，N为工作节点的数量，k为工作节点，

为工作节点k量化后的局部梯度。

该进一步方案的有益效果为：

为不同工作节点选择不同的量化等级，充分利用有限的带宽资源并缓解了straggler问题。

进一步地，所述步骤S4中本地模型参数更新过程表示为：

其中，t为迭代轮数，w_t+1为更新后的本地模型参数，w_t为更新前的本地模型参数，η为学习率，

为第t轮迭代的聚合梯度。

该进一步方案的有益效果为：

对普通机器学习中本地模型参数进行更新。

附图说明

图1为本发明提供的一种自适应的梯度量化方法的整体流程示意图；

图2为本发明在分布式机器学习中使用的参数服务器构架示意图；

图3为步骤S2的分步骤流程示意图；

图4为步骤S3的分步骤流程示意图；

图5为随机量化过程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1、图2所示，本发明提供一种自适应的梯度量化方法，包括以下步骤S1至步骤S7：

S1、初始化各工作节点训练样本、本地模型；

本实施例中，初始化各个工作节点从参数服务器中获取的数据分片以及本地模型，其中，将数据分片作为训练样本。

S2、各工作节点向其余工作节点广播自身对应的链路带宽，并利用全局最小的链路带宽计算各节点对应量化等级；

如图3所示，步骤S2具体包括以下分步骤：

S21、利用步骤S1中最小的节点链路带宽计算单个量化梯度所需要的比特数，表示为：

其中，B_worst为带宽最小的节点链路带宽，b_min为最小的量化比特，k为工作节点，B_k为链路带宽，b_k为单个量化梯度所需要的比特数；

S22、利用步骤S21中单个量化梯度所需要的比特数b_k计算对应量化等级s_k，表示为：

其中，

为上舍入运算。

实际中，对于不同的量化等级来说，可以通过两个参数来调整表示梯度需要的bit数：①当l-p范数中非负整数p固定时，量化等级s越大，那么量化间隔1/s越小，则量化精度越高；②当量化等级s固定时，可以通过l-p范数中非整数p来调整量化后梯度的稀疏程度，如量化后梯度在非负整数p＝2时会比非负整数p＝∞有更大的可能取到0，而更稀疏的梯度通过调整编码方式可以降低最终的bit量。因此在本方案中，在链路带宽过低的时候取非负整数p＝2，以便进行稀疏化的编码或其他处理，从而进一步降低传输的数据量；如果不是链路带宽过低地情况，则为了让梯度更加均匀地分布取非负整数p＝∞，以降低精度地损失。

并以带宽最小的节点链路B_worst为基准，让其使用最小的量化比特b_min，其中每个工作节点单轮传输的数据量相同，不考虑传播的时延，对于任意一个链路带宽B_k的工作节点k，反解得到该工作节点表示单个量化梯度所需要的比特数b_k。

S3、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，得到局部梯度，并根据步骤S2得到的量化等级对局部梯度进行量化；

本实施例中，各个工作节点根据步骤S1中的训练样本，采用随机梯度下降SGD(Stochastic Gradient Descent)算法完成本地模型训练，计算出损失函数(LossFunction)值，并利用该损失函数值完成反向传播计算，得到局部梯度，并利用局部梯度自身的量化等级进行量化。

如图4所示，步骤S3具体包括以下分步骤：

S31、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，计算本地模型的损失函数；

S32、根据步骤S31得到的本地模型的损失函数利用反向传播计算局部梯度，表示为：

其中，g_k为工作节点k的局部梯度，L(.)为损失函数，

为梯度求导，w_k为当前本地模型参数，z_k为当前训练使用的训练样本；

S33、利用步骤S32中局部梯度对应的量化等级对局部梯度进行量化，量化过程Q_s(g_i)表示为：

Q_s(g_i)＝||g||_p·sign(g_i)·ξ_i(g,s)

其中，g_i为梯度向量g中第i个分量，||·||_p为l-p范数，sign()为符号函数，ξ_i(g,s)为随机变量，s为量化等级。

实际中，对于工作节点k，假定该工作节点k量化等级为s_k，任意梯度向量g属于n维向量Rⁿ，且不包括零向量0。

本实施例中，随机变量ξ_i(g,s)表示为：

其中，l为整数，满足0≤l≤s，|g_i|为梯度向量g中第i个分量的绝对值，且

其中

为梯度值归一化去符号后的量化区间。

本实施例中，P(.)为概率计算函数，表示为：

其中，

为梯度值归一化去符号后的量化区间，且对于任意的

有

实际中，如图5所示，在量化等级s＝4的情况下，将0到1区间范围划分为{0,0.25,0.5,0.75,1}5个量化值，间隔为0.25。假设原始梯度在归一化去符号后为0.6，在0.5和0.75之间，那么它只能被随机量化为这两个值之中的某一个，概率由0.6和这两个点之间的距离决定，距离越近概率越大。根据上述量化过程容易计算出，该归一化去符号的梯度值被量化为0.5的概率Pb[Q＝0.5]＝0.6，被量化为0.75的概率Pb[Q＝0.75]＝0.4。

S4、将步骤S2量化后的局部梯度上传参数服务器进行梯度聚合，并将得到的聚合梯度传输回各个工作节点，梯度聚合表示为:

其中，

为聚合梯度，N为工作节点的数量，k为工作节点，

为工作节点k量化后的局部梯度；

S5、接收到参数服务器回传的聚合梯度后进行本地模型参数更新，参数更新过程表示为：

其中，t为迭代轮数，w_t+1为更新后的本地模型参数，w_t为更新前的本地模型参数，η为学习率，

为第t轮迭代的聚合梯度；

S6、判断迭代轮数是否满足预设条件，若满足则结束训练，否则进入步骤S7；

本实施例中，判断迭代轮数t是否满足训练轮数达到上限或损失函数的值达到预设阈值，一般设置该阈值为0.001，若满足则训练结束，否则进入步骤S6。

S7、判断迭代轮数是否满足预设间隔时间阈值，若满足则返回步骤S2，否则返回步骤S3。

本实施中，判断迭代轮数t是否满足预设间隔时间阈值，一般设置迭代轮数达到100轮，若满足该阈值条件则返回步骤S2广播各个工作节点的链路状态，以供各工作节点及时根据链路带宽调整自身的量化等级s_k，否则返回步骤S3进行本地模型训练。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种联邦学习自适应梯度量化方法，其特征在于，包括以下步骤：

S1、初始化各工作节点训练样本、本地模型；

S2、各工作节点向其余工作节点广播自身对应的链路带宽，并利用全局最小的链路带宽计算各节点对应量化等级；

S3、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，得到局部梯度，并根据步骤S2得到的量化等级对局部梯度进行量化；

S4、将步骤S2量化后的局部梯度上传参数服务器进行梯度聚合，并将得到的聚合梯度传输回各个工作节点；

S5、接收到参数服务器回传的聚合梯度后进行本地模型参数更新；

S6、判断迭代轮数是否满足预设条件，若满足则结束训练，否则进入步骤S7；

S7、判断迭代轮数是否满足预设间隔时间阈值，若满足则返回步骤S2，否则返回步骤S3。

2.根据权利要求1所述的一种联邦学习自适应梯度量化方法，其特征在于，所述步骤S2具体包括以下分步骤：

S21、利用步骤S1中最小的节点链路带宽计算单个量化梯度所需要的比特数，表示为：

其中，B_worst为带宽最小的节点链路带宽，b_min为最小的量化比特，k为工作节点，B_k为链路带宽，b_k为单个量化梯度所需要的比特数；

S22、利用步骤S21中单个量化梯度所需要的比特数b_k计算对应量化等级s_k，表示为：

其中，

为上舍入运算。

3.根据权利要求1所述的一种联邦学习自适应梯度量化方法，其特征在于，所述步骤S3具体包括以下分步骤：

S31、根据步骤S1中训练样本，采用随机梯度下降算法训练本地模型，计算本地模型的损失函数；

S32、根据步骤S31得到的本地模型的损失函数利用反向传播计算局部梯度，表示为：

其中，g_k为工作节点k的局部梯度，L(.)为损失函数，

为梯度求导，w_k为当前本地模型参数，z_k为当前训练使用的训练样本；

S33、利用步骤S32中局部梯度对应的量化等级对局部梯度进行量化，量化过程Q_s(g_i)表示为：

Q_s(g_i)＝||g||_p·sign(g_i)·ξ_i(g,s)

其中，g_i为梯度向量g中第i个分量，||·||_p为l-p范数，sign()为符号函数，ξ_i(g,s)为随机变量，s为量化等级。

4.根据权利要求3所述的一种联邦学习自适应梯度量化方法，其特征在于，所述步骤S33中随机变量ξ_i(g,s)表示为：

其中，l为整数，P(.)为概率计算函数，|g_i|为梯度向量g中第i个分量的绝对值。

5.根据权利要求4所述的一种联邦学习自适应梯度量化方法，其特征在于，所述概率计算函数P(.)表示为：

6.根据权利要求1所述的一种联邦学习自适应梯度量化方法，其特征在于，所述步骤S4中梯度聚合表示为：

其中，

为聚合梯度，N为工作节点的数量，k为工作节点，

为工作节点k量化后的局部梯度。

7.根据权利要求1所述的一种联邦学习自适应梯度量化方法，其特征在于，所述步骤S5中本地模型参数更新过程表示为：

其中，t为迭代轮数，w_t+1为更新后的本地模型参数，w_t为更新前的本地模型参数，η为学习率，

为第t轮迭代的聚合梯度。

Images