CN114863169A - 一种结合并行集成学习和联邦学习的图像分类方法 - Google Patents

Abstract

本发明提供了一种结合并行集成学习和联邦学习的图像分类方法，包括以下步骤：S1：每个客户端确定参与训练的数据集，并协商确定训练使用的各种参数；S2：客户端之间使用参与训练的数据集和协商确定的参数，采用联邦学习的方式并行训练，得到训练后的基础模型；S3：客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；S4：客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；S5：将要分类的图像输入训练好的基础模型，再将得到的预测结果输入训练好的元模型，得到最终的分类结果。本发明通过并行集成学习的方式，提升了联邦学习在非独立同分布数据集下的图像分类性能。

Description

一种结合并行集成学习和联邦学习的图像分类方法

技术领域

本发明属于联邦学习技术领域，具体涉及一种结合并行集成学习和联邦学习的图像分类方法。

背景技术

在目前的联邦学习技术中，普遍采用单个深度学习模型搭配服务端的聚合算法的方法。但是在实际的联邦学习场景中，不同的客户端所拥有的数据集，往往是从不同的分布中采样得到，呈现出非独立同分布(Non-Independent Identically Distribution，Non-IID)的关系。不同的类别在不同的客户端中的分布是不均匀的，传统的联邦学习算法往往不能很好地应对Non-IID数据集，图像分类的性能会有很大的下降。因此，针对这一问题，本发明提出了一种结合并行集成学习和联邦学习的图像分类方法，采用交叉验证的训练方式，使用元模型聚合基础模型，减少Non-IID数据集对联邦学习的影响，提高图像分类性能。

发明内容

本发明的目的是为了；联邦学习数据集非独立同分布的问题，提出了一种结合并行集成学习和联邦学习的图像分类方法。

本发明的技术方案是：一种结合并行集成学习和联邦学习的图像分类方法，包括以下步骤：

S1、每个客户端确定参与训练的数据集，并协商确定训练使用的基础模型、元模型和联邦学习的参数；

S2、客户端之间使用参与训练的数据集和协商确定的参数，采用联邦学习的方式并行训练，得到训练后的基础模型；

S3、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S4、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S5、将要分类的图像输入训练好的基础模型，再将得到的预测结果输入训练好的元模型，得到最终的分类结果。

进一步地，步骤S1包括以下子步骤：

S11、每个客户端需要确定自己参与训练的数据集，不同的客户端拥有不同的独立采集的数据集，但是有着相同的分类目标。最终确定，总共m个客户端参与训练，第j个客户端参与训练的数据集为CD_j，其中1≤j≤m；

S12、客户端之间协商确定训练使用的基础模型。训练需要使用n种不同结构的基础模型来完成相同的图像分类目标。每种结构需要训练m个参数不同的模型，这些模型由不同的客户端参与训练。Model_i,j表示使用第i种结构的基础模型，由除了客户端j以外的其他客户端联邦学习得到，其中1≤i≤n,1≤j≤m。最终确定n×m个需要训练的基础模型；

S13、客户端之间协商确定训练使用的元模型。训练需要使用一个元模型来聚合基础模型的预测结果。元模型的输入是所有基础模型输出的组合，元模型的输出是最终的预测结果；

S14、客户端之间协商确定联邦学习的参数。联邦学习的参数包括通信轮数R、本地训练次数E、训练批次大小B、学习率η。

进一步地，步骤S2包括以下子步骤：

S21、客户端在自己参与的n×(m-1)个模型中，按顺序选择一个模型，开始当前轮次的训练；

S22、客户端从服务器下载当前模型在这一轮的全局模型参数，作为自己这一轮的本地模型参数；

S23、客户端使用自己的训练集训练模型，更新本地模型参数；

S24、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，聚合得到新一轮的全局模型参数；

S25、客户端回到步骤S21，继续选择下一个模型开始训练，直至n×(m-1)个模型都训练过R轮。

进一步地，步骤S23中，更新本地模型的计算公式为：

ω^*＝ADAM(ω,b,η)

其中ω表示旧的本地模型参数，b为数据集中一个批次的数据，批次大小为B，η为学习率，ADAM为深度学习的优化器，可以计算出新的本地模型参数ω^*。

客户端将本地数据集分为若干个批次，轮流更新模型。当所有的批次使用完时，视为一次模型更新。客户端总共需要进行E次模型更新，视为一轮本地模型参数的更新。

进一步地，步骤S24中服务器聚合模型参数的公式为：

其中m表示客户端数量，d_j表示第j个客户端拥有的数据集大小，D表示所有客户端数据集大小之和，即

ω_j表示第j个客户端上传的本地模型参数，ω_global表示旧的全局模型参数，

更新后的新的全局模型参数。

进一步地，步骤S3包括以下子步骤：

S31、客户端将自己的数据输入未参与训练的基础模型中，得到预测结果。客户端j未参与训练的基础模型为Model_1,j、Model_2,j、……、Model_n,j，分别预测得到预测结果TP_1,j,TP_2,j、……、TP_n,j；

S32、客户端将预测结果和原有的标签结合起来，作为元模型的训练数据集。客户端j将每一个预测结果作为新数据集的一维特征，组合成一组新的数据TP_j。TP_j结合客户端j原有的标签CL_j，作为客户端新的本地数据集。

进一步地，步骤S4包括以下子步骤：

S41、客户端从服务器下载元模型的全局模型参数，作为自己这一轮的本地模型参数；

S42、客户端采用和步骤S23相同的算法更新本地模型参数；

S43、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，使用和步骤S24相同的聚合算法，聚合得到新一轮元模型的全局模型参数；

S43、客户端回到步骤S41开始新一个轮次的模型更新，总共更新R个轮次。

8、根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S5包括以下步骤：

S51、将需要分类的图像作为预测数据分别输入训练好的基础模型Model_i,j中，其中1≤i≤n,1≤j≤m。可以得到预先预测结果Pre-P_i,j，同样地，1≤i≤n,1≤j≤m。以上的n为不同结构的基础模型种类数量，m为参与训练的客户端数量；

S52、对每种结构不同的基础模型的预测结果求平均，得到各自的预先预测结果。第i种基础模型的预先预测结果为Pre-P_i；

S53、将每一种基础模型的预先预测结果作为一维特征，组合生成一组新的数据Pre-P；

S54、将Pre-P输入训练好的元模型中，得到最终的预测结果。

进一步地，步骤S52中，对每种结构不同的基础模型的预测结果求平均的公式如下：

其中，Pre-P_i,j表示基础模型Model_i,j对预测数据的预测结果，m表示客户端的数量，Pre-P_i表示求平均的结果，即第i种基础模型的预先预测结果。

附图说明

图1为本发明的方法流程图。

图2为ResNet模型在训练集上的损失曲线图

图3为VGG模型在训练集上的损失曲线图

图4为DenseNet模型在训练集上的损失曲线图

图5为LR模型在训练集上的损失曲线图

图6为不同方法的分类性能对比图

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种结合并行集成学习和联邦学习的图像分类方法，包括以下步骤：

S1：每个客户端确定参与训练的数据集，并协商确定训练使用的基础模型、元模型和联邦学习的参数；

S2：客户端之间使用参与训练的数据集和协商确定的参数，采用联邦学习的方式并行训练，得到训练后的基础模型；

S3：客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S4：客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S5：将要分类的图像输入训练好的基础模型，再将得到的预测结果输入训练好的元模型，得到最终的分类结果。

在本发明实施例中，考虑的是联邦学习的实际场景。每个客户端都是独立不相关的。它们独立地采集数据，并存储在各自的数据库中。不同客户端中的数据可能有重复，但是这些数据往往是从不同的分布中进行采样的，因此数据也服从不同的分布。这种非独立同分布的数据会对图像分类的准确性产生极大的影响。

本发明通过并行集成学习的方式，使用一个元模型来聚合多个基础模型的预测结果，从而提高联邦学习在Non-IID数据集下的分类准确性。

在本发明实施例中，步骤S1包括以下子步骤：

S11、每个客户端需要确定自己参与训练的数据集，不同的客户端拥有不同的独立采集的数据集，但是有着相同的分类目标。最终确定，总共m个客户端参与训练，第j个客户端参与训练的数据集为CD_j，其中1≤j≤m；

S12、客户端之间协商确定训练使用的基础模型。训练需要使用n种不同结构的基础模型来完成相同的图像分类目标。每种结构需要训练m个参数不同的模型，这些模型由不同的客户端参与训练。Model_i,j表示使用第i种结构的基础模型，由除了客户端j以外的其他客户端联邦学习得到，其中1≤i≤n,1≤j≤m。最终确定n×m个需要训练的基础模型；

S13、客户端之间协商确定训练使用的元模型。训练需要使用一个元模型来聚合基础模型的预测结果。元模型的输入是所有基础模型输出的组合，元模型的输出是最终的预测结果；

在本发明实施例中，为了解决客户端数据非独立同分布的问题，在训练基础模型时采用了交叉验证的方式。总共有n种不同结构的基础模型，每种基础模型需要训练m个参数不同的模型，每个模型都有一个客户端不参与训练。不参与训练的客户端会使用这个模型来预测自己的数据，从而达到交叉验证的效果。这种交叉验证的方式，可以提升模型的泛化性能，让模型在面对与训练集中分布不同的数据时，有更高的鲁棒性。

每个客户端排除不参与训练的模型，总共需要训练n×(m-1)个模型。这些模型有的结构相同，有的参与训练的客户端相同，但是它们在训练时都是相互独立的。因此客户端在训练时可以并行训练这些模型。客户端在每一轮训练开始时，都需要等待服务器收集其他客户端的本地模型参数进行聚合，再从服务器下载新的全局模型参数。因此在并行训练这些模型的时候，客户端可以利用等待的时间，去训练下一个模型，这样可以减少整体的训练时间。基于上述想法，提出了如下并行训练算法。

在本发明实施例中，步骤S2包括以下子步骤：

S21、客户端在自己参与的n×(m-1)个模型中，按顺序选择一个模型，开始当前轮次的训练；

S22、客户端从服务器下载当前模型在这一轮的全局模型参数，作为自己这一轮的本地模型参数；

S23、客户端使用自己的训练集训练模型，更新本地模型参数；

S24、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，聚合得到新一轮的全局模型参数；

S25、客户端回到步骤S21，继续选择下一个模型开始训练，直至n×(m-1)个模型都训练过R轮。

在本发明实施例中，客户端的本地训练过程与传统的深度学习训练过程相同，因此采用业界普遍使用的ADAM优化器来更新本地模型的参数。

在本发明实施例中，步骤S24中服务器聚合模型参数的公式为：

其中m表示客户端数量，d_j表示第j个客户端拥有的数据集大小，D表示所有客户端数据集大小之和，即

ω_j表示第j个客户端上传的本地模型参数，ω_global表示旧的全局模型参数，

更新后的新的全局模型参数。

在本发明实施例中，使用了一个元模型来聚合基础模型的输出结果。因此在训练时，就需要使用基础模型交叉验证的预测结果，作为元模型的训练数据集。元模型的训练数据集中，每个数据都有n个维度，分别是n种不同结构的基础模型的预测结果。这样就能结合不同模型的优缺点，实现更高的预测准确性。基于上述想法，提出了以下的数据集准备和元模型的训练算法。

在本发明实施例中，步骤S3包括以下子步骤：

S31、客户端将自己的数据输入未参与训练的基础模型中，得到预测结果。客户端j未参与训练的基础模型为Model_1,j、Model_2,j、……、Model_n,j，分别预测得到预测结果TP_1,j,TP_2,j、……、TP_n,j；

S32、客户端将预测结果和原有的标签结合起来，作为元模型的训练数据集。客户端j将每一个预测结果作为新数据集的一维特征，组合成一组新的数据TP_j。TP_j结合客户端j原有的标签CL_j，作为客户端新的本地数据集。

在本发明实施例中，步骤S4包括以下子步骤：

S41、客户端从服务器下载元模型的全局模型参数，作为自己这一轮的本地模型参数；

S42、客户端采用和步骤S23相同的算法更新本地模型参数；

S43、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，使用和步骤S24相同的聚合算法，聚合得到新一轮元模型的全局模型参数；

S43、客户端回到步骤S41开始新一个轮次的模型更新，总共更新R个轮次。

在本发明实施例中，预测时也需要先将数据输入基础模型中，再将基础模型的预测结果输入元模型中，得到最终的预测结果。在训练时，交叉验证生成了n×m个基础模型，模型之间是独立训练的。而元模型输入中的每一个维度，都是一种基础模型的输出，因此需要将同种类的m个基础模型的预测结果取平均值，作为这种模型的预测结果。基于上述想法，提出了以下的预测算法。

在本实施例中，步骤S5包括以下子步骤：

S51、将需要分类的图像作为预测数据分别输入训练好的基础模型Model_i,j中，其中1≤i≤n,1≤j≤m。可以得到预先预测结果Pre-P_i,j，同样地，1≤i≤n,1≤j≤m。以上的n为不同结构的基础模型种类数量，m为参与训练的客户端数量；

S52、对每种结构不同的基础模型的预测结果求平均，得到各自的预先预测结果。第i种基础模型的预先预测结果为Pre-P_i；

S53、将每一种基础模型的预先预测结果作为一维特征，组合生成一组新的数据Pre-P；

S54、将Pre-P输入训练好的元模型中，得到最终的预测结果。

在本实施例中，步骤S52对每种结构不同的基础模型的预测结果求平均的公式如下：

其中，Pre-P_i,j表示基础模型Model_i,j对预测数据的预测结果，m表示客户端的数量，Pre-P_i表示求平均的结果，即第i种基础模型的预先预测结果。

在本发明实施例中，对于本发明创建的基于并行集成学习的联邦学习图像分类方法，实现了对Non-IID数据集的图像分类。通过交叉验证和元模型的聚合，本发明改进了传统的联邦学习算法，使其适用于Non-IID数据集，达到更好的图像分类性能。通过设计一些实验场景，来验证发明提出方法对图像分类性能的提升。

本实验使用公开数据集CIFAR-10作为实验数据集。本实验CIFAR-10测试集中的全部10000张图像作为实验测试集，并将CIFAR-10数据集的训练集中50000张图像划分到5个客户端，模拟成每个客户端独立采集的数据。为了满足数据间的非独立同分布，每一个类别在5个客户端的分布服从α＝0.5的狄利克雷分布。每个客户端分到不同种类的图像数量如表1所示：

表1

本实验中选取ResNet、VGG和DenseNet作为基础模型，线性回归(LinearRegression，LR)作为元模型。本实用中设定本地训练次数E＝20、训练批次大小B＝64、学习率η＝0.0001。

在训练过程中，每个通信轮次都会记录模型在训练集中的损失值。三个基础模型的损失值分别如图2、图3、图4所示。元模型的损失值如图5所示。可以看出，在训练时，模型的损失值都逐渐降低，收敛到一个较低的值。

本实验中采用分类准确率和F1分数作为评价指标。其中分类准确率的计算公式如下：

其中1≤i≤10表示要分类的10个类别；TP_i表示实际为第i类，预测值也为第i类；TN_i表示实际值不是第i类，预测值也不是第i类；FN_i表示实际为第i类，预测值不是第i类；FP_i表示实际值不是第i类，预测值是第i类。

而F1分数的公式为：

其中Precesion表示查准率，公式如下：

Recall表示查全率，公式如下：

按照上述评价指标，本实验中测试了直接使用几种深度学习模型以及本发明中提出的方法在测试集和训练集中的准确率，以及测试集中的F1分数。得到的实验结果如图6所示。可以清楚地看到，在非独立同分布的联邦学习场景下，直接使用传统的深度学习模型分类的准确率和F1分数都较低。而使用了本发明提出的方法后，无论是测试集和训练集的分类准确率，还是测试集上F1分数都有显著的提升。

本发明的工作原理及过程为：在本发明中，首先使用训练集中的数据训练基础模型，再用基础模型交叉验证的结果来训练元模型。基于训练好的模型，将要预测的数据输入基础模型中，将基础模型的输出再输入元模型中，得到最终的预测结果。元模型聚合了多个基础模型的预测结果，提升了在非独立同分布的联邦学习场景下的图像分类性能。

本发明的有益效果为：本发明通过使用多个基础模型和元模型，让基础模型交叉验证提升整体的泛化性能，元模型聚合基础模型的预测结果，结合了多个模型的优点，提升了在非独立同分布的联邦学习场景下的图像分类性能。在使用非独立同分布数据集时，本发明将比基于单个深度学习模型的传统联邦学习算法具有更好的图像分类性能。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种结合并行集成学习和联邦学习的图像分类方法，其特征在于，包括以下步骤：

S1、每个客户端确定参与训练的数据集，并协商确定训练使用的基础模型、元模型和联邦学习的参数；

S2、客户端之间使用参与训练的数据集和协商确定的参数，采用联邦学习的方式并行训练，得到训练后的基础模型；

S3、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S4、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；

S5、将要分类的图像输入训练好的基础模型，再将得到的预测结果输入训练好的元模型，得到最终的分类结果。

2.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S1包括以下子步骤：

S11、每个客户端需要确定自己参与训练的数据集，不同的客户端拥有不同的独立采集的数据集，但是有着相同的分类目标。最终确定，总共m个客户端参与训练，第j个客户端参与训练的数据集为CD_j，其中1≤j≤m；

S12、客户端之间协商确定训练使用的基础模型。训练需要使用n种不同结构的基础模型来完成相同的图像分类目标。每种结构需要训练m个参数不同的模型，这些模型由不同的客户端参与训练。Model_i,j表示使用第i种结构的基础模型，由除了客户端j以外的其他客户端联邦学习得到，其中1≤i≤n,1≤j≤m。最终确定n×m个需要训练的基础模型；

S13、客户端之间协商确定训练使用的元模型。训练需要使用一个元模型来聚合基础模型的预测结果。元模型的输入是所有基础模型输出的组合，元模型的输出是最终的预测结果；

S14、客户端之间协商确定联邦学习的参数。联邦学习的参数包括通信轮数R、本地训练次数E、训练批次大小B、学习率η。

3.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S2包括以下子步骤：

S21、客户端在自己参与的n×(m-1)个模型中，按顺序选择一个模型，开始当前轮次的训练；

S22、客户端从服务器下载当前模型在这一轮的全局模型参数，作为自己这一轮的本地模型参数；

S23、客户端使用自己的训练集训练模型，更新本地模型参数；

S24、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，聚合得到新一轮的全局模型参数；

S25、客户端回到步骤S21，继续选择下一个模型开始训练，直至n×(m-1)个模型都训练过R轮。

4.根据权利要求3所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S23中，更新本地模型的计算公式为：

ω^*＝ADAM(ω,b,η)

其中ω表示旧的本地模型参数，b为数据集中一个批次的数据，批次大小为B，η为学习率，ADAM为深度学习的优化器，可以计算出新的本地模型参数ω^*。

客户端将本地数据集分为若干个批次，轮流更新模型。当所有的批次使用完时，视为一次模型更新。客户端总共需要进行E次模型更新，视为一轮本地模型参数的更新。

5.根据权利要求3所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S24中服务器聚合模型参数的公式为：

其中m表示客户端数量，d_j表示第j个客户端拥有的数据集大小，D表示所有客户端数据集大小之和，即

ω_j表示第j个客户端上传的本地模型参数，ω_global表示旧的全局模型参数，

更新后的新的全局模型参数。

6.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S3包括以下子步骤：

S31、客户端将自己的数据输入未参与训练的基础模型中，得到预测结果。客户端j未参与训练的基础模型为Model_1,j、Model_2,j、……、Model_n,j，分别预测得到预测结果TP_1,j,TP_2,j、……、TP_n,j；

S32、客户端将预测结果和原有的标签结合起来，作为元模型的训练数据集。客户端j将每一个预测结果作为新数据集的一维特征，组合成一组新的数据TP_j。TP_j结合客户端j原有的标签CL_j，作为客户端新的本地数据集。

7.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S4包括以下子步骤：

S41、客户端从服务器下载元模型的全局模型参数，作为自己这一轮的本地模型参数；

S42、客户端采用和步骤S23相同的算法更新本地模型参数；

S43、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，使用和步骤S24相同的聚合算法，聚合得到新一轮元模型的全局模型参数；

S43、客户端回到步骤S41开始新一个轮次的模型更新，总共更新R个轮次。

8.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S5包括以下子步骤：

S51、将需要分类的图像作为预测数据分别输入训练好的基础模型Model_i,j中，其中1≤i≤n,1≤j≤m。可以得到预先预测结果Pre-P_i,j，同样地，1≤i≤n,1≤j≤m。以上的n为不同结构的基础模型种类数量，m为参与训练的客户端数量；

S52、对每种结构不同的基础模型的预测结果求平均，得到各自的预先预测结果。第i种基础模型的预先预测结果为Pre-P_i；

S53、将每一种基础模型的预先预测结果作为一维特征，组合生成一组新的数据Pre-P；

S54、将Pre-P输入训练好的元模型中，得到最终的预测结果。

9.根据权利要求8所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S52中，对每种结构不同的基础模型的预测结果求平均的公式如下：

其中，Pre-P_i,j表示基础模型Model_i,j对预测数据的预测结果，m表示客户端的数量，Pre-P_i表示求平均的结果，即第i种基础模型的预先预测结果。

Images