CN112732960A - 一种基于在线联邦学习的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于在线联邦学习的图像分类方法，针对机器学习进行图像分类的特性设置批尺寸的选择条件，通过自适应地、逐个地调整每个工作节点的批尺寸大小，有效提高了训练过程中图像数据的利用率，同时有效缓解了批尺寸的波动，进一步提高了训练过程中收敛的稳定性；此外，通过引入与批尺寸成正比的学习率，缓解了批尺寸下降对训练产生的负面影响，进一步提高了训练的收敛速度。

Description

一种基于在线联邦学习的图像分类方法

技术领域

本发明属于机器学习中的图像分类技术领域，具体涉及一种基于在线联邦学习的图像分类方法。

背景技术

联邦学习是一种分布式机器学习模式，它利用多个分布式的设备来共同进行机器学习的训练任务。与基于云的机器学习方式相比，联邦学习更能够保护用户的隐私，同时也节约了用户与云之间的带宽，因此联邦学习也正在变得越来越流行。许多的机器学习任务都可以利用联邦学习的方式进行训练，其中就包括了图像分类任务。

参数服务器结构(PS结构)是最为著名的联邦学习结构，其通过迭代来完成模型的训练更新，在利用该结构进行图像分类模型的训练时，主要包括两个步骤：第一步，每个工作节点收集用于训练的图像数据，同时从服务器节点接收全局模型参数，利用最新的全局模型参数进行模型的训练并得到最新的模型梯度，随后最新的模型梯度将会被发送给服务器节点来进行全局模型的更新。第二步，服务器节点将根据各个工作节点最新的梯度信息来更新全局模型，然后将更新后的全局模型广播至所有工作节点并开始下一次的迭代更新过程。在基于参数服务器结构的联邦学习中，工作节点经常会部署在边缘节点，而服务器节点经常位于云端。

现有的联邦学习经常假设所有的训练数据是预先收集的，这就使得在图像分类这样一个任务中，每个工作节点将基于这些预先收集的图像进行训练。基于这样一个假设，每个工作节点将会有相同的图像数据集。在这种情况下，训练时批尺寸的大小经常是整个图像数据库中数据量的大小。然而，在一些真实环境中，图像数据将是从用户设备中实时生成的，同时，受到各种因素的影响(例如，网络拥塞、用户设备故障)，每个工作节点所拥有的图像的数量以及同一类别图像在不同设备上的分布情况将可能会呈现出时间和空间上的波动。

为了处理上述环境，提出了联邦平均(FedAvg)这一基于PS结构的传统解决方案。在训练过程中，每个工作节点将采用相同的训练方法(如随机梯度下降(SGD))、批尺寸大小和训练周期，并使用相同数量的训练数据来训练模型。本地工作节点的本地训练结束后，工作节点将把更新后的模型发送到服务器节点。然后，每个服务器节点将根据其接收到的参数更新其全局模型(例如，将同不同工作节点的局部参数按照不同的权重进行相加)，并将更新后的模型转发给所有工作节点并开始下一轮训练。这种方案中，大量图片数据是由用户设备(如手机、可穿戴设备)生成，并通过无线网络进行实时传输，但是无线网络与有线网络相比非常不稳定，气候变化、链路容量变化、频繁丢包等因素都会给数据传输带来严重的干扰并造成网络拥塞。在最坏的情况下，设备甚至可能会产生离线。因此，从用户设备传输到工作节点的训练数据量将会经历随机的、大幅度的波动。

由此可见，联邦学习结构训练过程中的批尺寸和学习率是两个非常重要的因素，事实上批尺寸的大小与学习率的大小将一定程度上影响训练的收敛过程，利用Resnet18模型在CIFAR10图像数据集上进行的试验中可以看到，在训练过程中当接收到的图像数据量减少时，如果批尺寸的大小不适当地跟着减小，那么训练时损失函数的收敛速度将会减慢，训练模型在测试集上的图像分类精度也会下降。在某些情况下，它甚至可能导致损失函数无法收敛。然而，现有的基于联邦学习结构的图像分类方法，由于批尺寸和学习率两个参数的设置问题导致了很大程度上降低了图像分类的效率及精度。

发明内容

有鉴于此，本发明提供了一种基于在线联邦学习的图像分类方法，实现了具有较高训练收敛速度和分类精度的图像分类。

本发明提供的一种基于在线联邦学习的图像分类方法，包括以下步骤：

步骤1、确定图像样本数据；

步骤2、预设工作节点批尺寸的上边界和下边界；服务器节点根据所述上边界和下边界计算得到全局下边界，并以所述全局下边界作为节点下边界分别发送至工作节点；所述全局下边界为所述工作节点的批尺寸的下边界的求和平均值；

步骤3、所述工作节点根据接收到的服务器节点发送的数据确定本轮节点批尺寸、本轮节点批尺寸对应的上边界和下边界；

根据确定的所述本轮节点批尺寸、所述本轮节点批尺寸对应的上边界、下边界，选取相应数量的所述图像样本数据完成所述工作节点的局部模型的训练，得到局部模型参数；所述局部模型参数包括模型梯度；所述工作节点将所述本轮节点批尺寸、局部模型参数及本轮剩余的所述图像样本数据的剩余数据量发送至所述服务器节点；

步骤4、所述服务器节点根据接收到的所述本轮节点批尺寸、局部模型参数及所述剩余数据量计算得到所述工作节点的下一次迭代的下轮批尺寸及下轮学习率；所述服务器节点更新全局模型，得到全局模型参数；所述服务器节点将所述下轮批尺寸及全局模型参数发送至所述工作节点；

步骤5、若当前迭代次数小于阈值，则执行步骤3；否则，所述基于在线联邦学习的图像分类模型训练完毕，执行步骤6；

步骤6、将待分类图像预处理后，输入训练得到的所述基于在线联邦学习的图像分类模型中，得到所述待分类图像的类型。

进一步地，所述步骤2中的所述预设工作节点批尺寸的上边界和下边界的方式为根据经验设定。

进一步地，所述步骤2中的所述预设工作节点批尺寸的上边界和下边界的过程，包括以下步骤：

所有的所述工作节点设置相同的单轮迭代周期时长；所述工作节点分别采用各自的所述图像样本数据统计各自的工作节点计算速度，所述工作节点计算速度与所述单轮迭代周期时长的乘积即为所述工作节点的数据处理量；所有工作节点的所述数据处理量的最大值即为所述批尺寸的上边界；

所述工作节点预设多个不同大小的初始批尺寸，根据经验设定学习率；针对每个所述初始批尺寸，选取相应数量的所述图像样本数据对所述工作节点进行单轮迭代周期的训练；比较所有所述初始批尺寸的训练结果，选择训练结果最佳的所述初始批尺寸的下边界作为所述工作节点的批尺寸的下边界；所述训练结果最佳为损失函数值最低或模型精度最高。

进一步地，所述步骤1中的所述图像样本数据是由图像数据经像素点数值的归一化处理后得到的。

进一步地，所述步骤3中所述工作节点根据接收到的服务器节点发送的数据确定本轮节点批尺寸、本轮节点批尺寸对应的上边界和下边界，包括以下步骤：

若所述工作节点仅收到所述服务器节点发送的所述下边界，则仅更新当前的下边界，并以当前的批尺寸作为所述本轮节点批尺寸、当前上边界作为本轮所采用的上边界；

若所述工作节点收到所述服务器节点发送的所述下轮批尺寸、全局模型参数，若所述下轮批尺寸小于当前上边界，则所述下轮批尺寸则作为所述本轮节点批尺寸；否则，所述当前上边界则作为所述本轮节点批尺寸。

进一步地，所述步骤4中的所述服务器节点根据接收到的所述本轮节点批尺寸、局部模型参数及所述剩余数据量计算得到所述工作节点的下一次迭代的下轮批尺寸，包括以下步骤：

假设有K个工作节点，当前为第t-1个迭代周期，即为本轮，所述服务器节点将所有工作节点的所述剩余数据量n_t-1,k求和得到剩余数据量总和n_t-1；其中，k为工作节点的编号，且1≤k≤K；由所述剩余数据量总和n_t-1乘以选择系数R％，得到第t个周期的全局批尺寸bz_t。

进一步地，下一次迭代的所有所述工作节点的总学习率lr_t与本轮总批尺寸

成正比，如下式所示：

其中，lr_std为设定的学习率，bz_std的取值等于工作节点批尺寸下边界，

采用如下公式计算：

为第k个工作节点的本轮批尺寸。

有益效果：

1、本发明针对机器学习进行图像分类的特性设置批尺寸的选择条件，通过自适应地、逐个地调整每个工作节点的批尺寸大小，有效提高了训练过程中图像数据的利用率，同时有效缓解了批尺寸的波动，进一步提高了训练过程中收敛的稳定性；此外，通过引入与批尺寸成正比的学习率，缓解了批尺寸下降对训练产生的负面影响，进一步提高了训练的收敛速度。

2、本发明通过限制工作节点训练过程中每轮迭代的时间范围，缓解了训练过程中最慢工作节点对训练产生的拖累效果。

附图说明

图1为本发明提供的一种基于在线联邦学习的图像分类方法的训练流程图。

图2为本发明提供的一种基于在线联邦学习的图像分类方法的工作节点流程示意图。

图3为本发明提供的一种基于在线联邦学习的图像分类方法的服务器节点流程示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供的一种基于在线联邦学习的图像分类方法的，其基本思想是：通过对在线联邦学习中工作节点的批尺寸的自适应调整，并根据批尺寸的大小对图像数据进行缓存和分配，同时，根据批尺寸的大小设定学习率，从而实现更加高效和精确的图像分类。

本发明提供的一种基于在线联邦学习的图像分类方法，具体包括以下步骤：

步骤1、确定用于训练基于在线联邦学习的图像分类模型的图像样本数据。

本发明中，训练过程的数据收集主要包括预热阶段的数据收集以及训练阶段的数据收集，并采用对图像数据进行像素点数值的归一化的图像预处理方式，形成图像样本数据。

对于预热阶段的数据收集过程，首先需要预估多大的数据量能够对模型产生一个初期的训练效果，并将这一值作为工作节点数据收集量的阈值。在收集过程中，如果有三分之二的节点中收集到的训练数据的数据量达到这一阈值，则预热阶段的数据收集过程结束。

训练阶段的数据收集由各工作节点分别进行，工作节点收集到的训练数据将首先被存储在本地的数据库中。在训练过程中，当数据已经用于过训练之后，相应的训练数据将会被从数据库中移除。

步骤2、预设工作节点批尺寸的上边界和下边界；服务器节点根据上边界和下边界初始化全局批尺寸，并将全局批尺寸作为节点批尺寸、将全局批尺寸对应的全局下边界作为节点下边界分别发送至工作节点。

预设工作节点批尺寸的上边界和下边界的方式可为根据经验设定，或是采用如下方式计算：首先收集一定数量的图片，然后对这些图片进行预处理操作，这其中包括对图片中像素点数值的归一化，随后工作节点将采用不同大小的批尺寸对这些数据进行训练，训练过程将采用梯度下降法，并仅仅对所有图片数据训练一个周期，训练过程中的学习率lr_std将通过经验进行设定。随后，我们对使用不同批尺寸进行训练时的训练结果进行比较，训练效果最好的批尺寸将被设置为工作节点k的批尺寸的下边界

当我们得到了批尺寸的上边界与下边界后，这两个参数将会被发送到服务器节点，随后工作节点将等待服务器节点返回其最终所要使用的下边界参数。

步骤3、工作节点根据接收到的服务器节点发送的数据确定本轮节点批尺寸、本轮节点批尺寸对应的上边界和下边界。

根据确定的本轮节点批尺寸、本轮节点批尺寸对应的上边界、下边界，选取相应数量的图像样本数据完成工作节点的局部模型的训练，得到局部模型参数；局部模型参数包括模型梯度；工作节点将本轮节点批尺寸、局部模型参数及本轮剩余的图像样本数据的剩余数据量发送至服务器节点。

步骤4、服务器节点根据接收到的本轮节点批尺寸、局部模型参数及剩余数据量计算得到工作节点的下一次迭代的下轮批尺寸；服务器节点更新全局模型，得到全局模型参数；服务器节点将下轮批尺寸及全局模型参数发送至工作节点。

步骤5、若当前迭代次数小于阈值，则执行步骤3；否则，基于在线联邦学习的图像分类模型训练完毕，执行步骤6。

步骤6、将待分类图像预处理后，输入训练得到的基于在线联邦学习的图像分类模型中，得到待分类图像的类型。

本发明提供的一种基于在线联邦学习的图像分类方法的训练阶段，如图1所示，主要为工作节点和服务器节点之间的工作调度过程，从训练过程上可以划分为预热阶段和处理阶段，下面以工作节点和服务器节点自身的训练过程的角度分别进行说明。

1、工作节点的训练，其训练结构如图2所示，其中，预热阶段为图2中的阶段10，处理阶段包括图1中的阶段11、阶段12和阶段13。

(1)在预热阶段10中，每个工作节点预先生成批尺寸的上边界和下边界，并将它们发送到服务器节点；然后工作节点将接收到的来自服务器节点更新的下边界作为自身的下边界，并依旧采用之前计算出的上边界作为自身的上边界。批尺寸的上边界与下边界主要用于保证训练效果。

具体来说，每个工作节点都将根据各自预热阶段的实验结果来分别设置各自的批尺寸上边界和下边界。在这个阶段中我们将会设定一个单轮迭代周期最大值，每个工作节点的单轮迭代周期最大值这一参数都会是相同的，而这一参数的大小取决于系统能够容忍的单轮迭代周期时间的最大值。这里我们设置上边界的主要目的是为了保证每一轮迭代中处理最慢的工作节点的迭代时间也能够落在单轮迭代周期最大值的范围内。

各个工作节点依据所期望的单轮迭代时间设置相同大小的单轮迭代周期时长，随后各个节点分别采用本地的训练数据对各自节点计算速度进行统计。各节点在单轮迭代周期中所能处理的数据量最大个数即为节点的批尺寸上边界。

此外我们设置一个批尺寸的下边界

来保证训练数据的高利用率，为了得到下边界，对于工作节点k，我们首先收集一定数量的图片，然后对这些图片进行预处理操作，这其中包括对图片中像素点数值的归一化，随后工作节点将采用不同大小的批尺寸对这些数据进行训练，训练过程将采用梯度下降法，并仅对所有图片数据训练一个周期，训练过程中的学习率lr_std将通过经验进行设定。随后，我们对使用不同批尺寸进行训练时的训练结果进行比较，训练效果最好的批尺寸将被设置为工作节点k的批尺寸的下边界

当我们得到了批尺寸的上边界与下边界后，这两个参数将会被发送到服务器节点，随后工作节点将等待服务器节点返回其最终所要使用的下边界参数。

(2)在处理阶段，工作节点将在本地对其模型进行训练。在阶段11中，工作节点将根据服务器推荐的批尺寸大小、本地批尺寸的上边界和下边界确定最终使用的批尺寸的大小。在阶段12中，工作节点将根据阶段11中得到的批尺寸大小，从缓冲区中提取相应数量的图像数据用于模型训练。在阶段13中，工作节点将把训练后产生的局部模型梯度以及尚未用于训练的图像数据等信息发送到服务器节点，以用于更新服务器节点中的全局模型。

在处理阶段，工作节点首先将接收来自服务器节点的推荐批尺寸bz_t,k以及全局模型参数ω_t，随后工作节点将把推荐批尺寸bz_t,k与本地的批尺寸上边界

进行比较，如果批尺寸上边界大于这一参数，那么工作节点k最终选取的批尺寸

将被设定为bz_t,k，否则最终选取的批尺寸

将会被设定为

随后对应数量的图片数据D_t,k将会被从缓存区中提取出来，并进行数据像素点参数的归一化。工作节点将根据全局模型参数ω_t以及所选出的图片数据D_t,k产生本地的梯度▽L(ω_t,D_t,k)，最后，最终选取的批尺寸信息

工作节点k中缓存区内剩余的图片数据量n_t,k、以及本地的梯度信息▽L(ω_t,D_t,k)将会被发送到服务器节点，并等待工作节点发送进行下一轮训练所需的数据。

2、服务器节点的训练，其训练结构如图3所示，预热阶段为图3中的阶段20，处理阶段包括图3中的阶段21、阶段22和阶段23。

(1)在预热阶段20中，服务器节点将根据从工作节点接收到的批尺寸上界和下界来初始化其全局批尺寸的边界，此外服务器节点将根据各个工作节点计算出的参数来确定一些用于设置学习速率的参数。

具体来说，服务器节点首先将接受每个工作节点的批次寸上边界和下边界参数，随后服务器节点将根据这些参数计算出全局的批尺寸上边界BOUND^up和下边界BOUND^low。其中全局上边界为各个工作节点上边界的和，即：

全局下边界为各个工作节点下边界的平均值，即：

(2)在处理阶段，在阶段21中，每次迭代结束时，服务器节点从工作节点接收各个工作节点本地的参数信息，并通过计算给出每个工作节点的下一次迭代的推荐批尺寸大小。在阶段22中，服务器节点将更新全局模型。在阶段23中，服务器节点计算出的全局模型和下一次迭代每个工作节点的推荐的批尺寸的大小将被发送回每个工作节点。

接下来我们将以第t个周期为例展示服务器节点在处理阶段的训练过程。

首先服务器节点将计算全局的批尺寸，假设有K个工作节点，则在第t个迭代周期中，服务器节点将计算所有工作节点剩余的图片的数据量n_t-1,k的总和n_t-1，有：

随后总图片数量n_t-1将会乘以选择系数R％，然后得到第t个周期的全局批尺寸bz_t，有：

随后，为了防止全局的批尺寸过大或者过小，全局的批尺寸bz_t将会被限制在批尺寸上边界和下边界的范围内。具体而言，如果bz_t＞BOUND^up则bz_t＝BOUND^up，如果bz_t＜BOUND^low则bz_t＝BOUND^low。

当工作节点计算完全局批尺寸大小bz_t后，我们将为每一个工作节点分别计算相应的批尺寸，以工作节点k为例，工作节点k的批尺寸将根据每个节点所拥有的图片数量决定，对于工作节点k如果其拥有的未处理完的图片数据的数据量为n_t-1,k，则工作节点k在下一轮迭代中所推荐选取的批尺寸大小为

当服务器节点计算完每个工作节点的批尺寸后，服务器节点将会计算本轮迭代的全局模型参数ω_t，首先服务器节点将会统计上一轮迭代各个工作节点所实际使用的批尺寸大小的总和，即总批尺寸

有：

随后服务器节点将根据本轮迭代总的批尺寸大小计算本轮迭代总学习率lr_t，这里我们需要保证在训练过程中总学习率的大小与总批尺寸的大小成正比，lr_std为训练阶段根据经验设定的学习率，bz_std的取值等于工作节点批尺寸下边界，即：

接下来服务器节点将对每一个工作节点的局部梯度参数▽L(ω_t-1,D_t-1,k)进行聚合，得到全局梯度▽L(ω_t-1,D_t-1)，聚合时每一个节点梯度的权重取决于该节点在上一轮迭代所实际使用的数据量，这里有关系式：

最后，工作节点将会根据上一轮迭代所得到的全局模型参数信息ω_t-1以及，最新的全局梯度信息进行全局模型参数ω_t的更新。更新将采用随机梯度下降的方法：

ω_t＝ω_t-1-lr_t▽L(ω_t-1,D_t-1)

当服务器节点完成全局模型的更新后，其将会把最新的全局模型参数ω_t，以及对应工作节点的推荐批尺寸发送给相应的工作节点，至此服务器节点完成了一轮迭代过程，并等待接收工作节点的数据以进行下一轮迭代。

最后我们通过实验对本发明的性能进行了评估，我们在CIFAR10数据集和Fashion-MNIST数据集进行了图片分类准确率的测试。与联邦学习中使用广泛的算法FedAvg相比，为了达到相同的测试集分类精度，我们的方法最多能够产生50％的加速效果。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于在线联邦学习的图像分类方法，其特征在于，包括以下步骤：

步骤1、确定图像样本数据；

步骤2、预设工作节点批尺寸的上边界和下边界；服务器节点根据所述上边界和下边界计算得到全局下边界，并以所述全局下边界作为节点下边界分别发送至工作节点；所述全局下边界为所述工作节点的批尺寸的下边界的求和平均值；

步骤3、所述工作节点根据接收到的服务器节点发送的数据确定本轮节点批尺寸、本轮节点批尺寸对应的上边界和下边界；

根据确定的所述本轮节点批尺寸、所述本轮节点批尺寸对应的上边界、下边界，选取相应数量的所述图像样本数据完成所述工作节点的局部模型的训练，得到局部模型参数；所述局部模型参数包括模型梯度；所述工作节点将所述本轮节点批尺寸、局部模型参数及本轮剩余的所述图像样本数据的剩余数据量发送至所述服务器节点；

步骤4、所述服务器节点根据接收到的所述本轮节点批尺寸、局部模型参数及所述剩余数据量计算得到所述工作节点的下一次迭代的下轮批尺寸及下轮学习率；所述服务器节点更新全局模型，得到全局模型参数；所述服务器节点将所述下轮批尺寸及全局模型参数发送至所述工作节点；

步骤5、若当前迭代次数小于阈值，则执行步骤3；否则，所述基于在线联邦学习的图像分类模型训练完毕，执行步骤6；

步骤6、将待分类图像预处理后，输入训练得到的所述基于在线联邦学习的图像分类模型中，得到所述待分类图像的类型。

2.根据权利要求1所述的方法，其特征在于，所述步骤2中的所述预设工作节点批尺寸的上边界和下边界的方式为根据经验设定。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中的所述预设工作节点批尺寸的上边界和下边界的过程，包括以下步骤：

所有的所述工作节点设置相同的单轮迭代周期时长；所述工作节点分别采用各自的所述图像样本数据统计各自的工作节点计算速度，所述工作节点计算速度与所述单轮迭代周期时长的乘积即为所述工作节点的数据处理量；所有工作节点的所述数据处理量的最大值即为所述批尺寸的上边界；

所述工作节点预设多个不同大小的初始批尺寸，根据经验设定学习率；针对每个所述初始批尺寸，选取相应数量的所述图像样本数据对所述工作节点进行单轮迭代周期的训练；比较所有所述初始批尺寸的训练结果，选择训练结果最佳的所述初始批尺寸的下边界作为所述工作节点的批尺寸的下边界；所述训练结果最佳为损失函数值最低或模型精度最高。

4.根据权利要求1所述的方法，其特征在于，所述步骤1中的所述图像样本数据是由图像数据经像素点数值的归一化处理后得到的。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中所述工作节点根据接收到的服务器节点发送的数据确定本轮节点批尺寸、本轮节点批尺寸对应的上边界和下边界，包括以下步骤：

若所述工作节点仅收到所述服务器节点发送的所述下边界，则仅更新当前的下边界，并以当前的批尺寸作为所述本轮节点批尺寸、当前上边界作为本轮所采用的上边界；

若所述工作节点收到所述服务器节点发送的所述下轮批尺寸、全局模型参数，若所述下轮批尺寸小于当前上边界，则所述下轮批尺寸则作为所述本轮节点批尺寸；否则，所述当前上边界则作为所述本轮节点批尺寸。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中的所述服务器节点根据接收到的所述本轮节点批尺寸、局部模型参数及所述剩余数据量计算得到所述工作节点的下一次迭代的下轮批尺寸，包括以下步骤：

假设有K个工作节点，当前为第t-1个迭代周期，即为本轮，所述服务器节点将所有工作节点的所述剩余数据量n_t-1,k求和得到剩余数据量总和n_t-1；其中，k为工作节点的编号，且1≤k≤K；由所述剩余数据量总和n_t-1乘以选择系数R％，得到第t个周期的全局批尺寸bz_t。

7.根据权利要求6所述的方法，其特征在于，下一次迭代的所有所述工作节点的总学习率lr_t与本轮总批尺寸

成正比，如下式所示：

其中，lr_std为设定的学习率，bz_std的取值等于工作节点批尺寸下边界，

采用如下公式计算：

为第k个工作节点的本轮批尺寸。

Images