CN115526313A

CN115526313A - 基于预测精度的跨域异质联邦学习架构运行效率评测方法

Info

Publication number: CN115526313A
Application number: CN202211238940.5A
Authority: CN
Inventors: 杨洁; 李洁; 郭亮; 赵海涛; 施颖; 刘淼
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2022-10-11
Filing date: 2022-10-11
Publication date: 2022-12-27
Anticipated expiration: 2042-10-11
Also published as: CN115526313B

Abstract

本发明提供了基于预测精度的跨域异质联邦学习架构运行效率评测方法，涉及联邦学习、迁移学习、深度领域，旨在解决研究跨域异质联邦学习架构过程中无法评测架构运行效率的问题，采用的技术方案是，其以评测跨域异质联邦学习架构的运行效率为目标，首先从数据跨域和客户端异质这两个主要概念解释跨域异质的定义；接着准备跨域异质联邦数据集，划分数据集来生成联邦学习中的Non‑IID数据，并选择基本测试模型；然后设定联邦学习方法，详细描述联邦学习的主要步骤；最后重复运行步骤三固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标。

Description

基于预测精度的跨域异质联邦学习架构运行效率评测方法

技术领域

本发明涉及联邦学习、迁移学习、深度领域，具体为基于预测精度的跨域异质联邦学习架构运行效率评测方法。

背景技术

联邦学习系统允许用户形成一个联合体训练得到一个集中模型，而用户数据则安全地存储在本地，这提高了在分布式网络上进行机器学习的数据隐私性和效率。跨域异质联邦学习保护隐私的前提下，利用迁移学习克服数据或标签不足的问题，以实现在任何数据分布、任何实体上均可以进行协同建模、以学习全局模型。

跨域异质联邦学习利用不同参与方收集的标注数据的标签进行训练。在实际应用中，需要对跨域异质联邦学习架构进行测评，而运行效率是一种可以直观反映算法性能的评价指标，所以针对跨域异质联邦学习架构运行效率的测评方法对算法评估十分有益。

发明内容

鉴于现有技术中所存在的问题，本发明公开了基于预测精度的跨域异质联邦学习架构运行效率评测方法，采用的技术方案是，包括以下步骤：

步骤1：建立跨域异质；

步骤2：准备跨域异质联邦数据集，划分数据集来生成联邦学习中的Non-IID数据，并选择基本测试模型；

步骤3：设定联邦学习方法；

步骤4：重复运行步骤3固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标，基于评测跨域异质联邦学习架构的运行效率为目标，解释跨域异质的定义，准备跨域异质联邦数据集，并选择基本测试模型，设定联邦学习方法，详细描述联邦学习的主要步骤，并通过重复运行步骤固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标，不仅解决了研究跨域异质联邦学习架构过程中无法评测架构运行效率的问题，同样适用于多种以卷积神经网络模型作为联邦学习的基本模型评测。

作为本发明的一种优选技术方案，所述跨域异质包括数据跨域和客户端异质，所述数据跨域包括各个客户端设备中本地数据；所述客户端异质包括联邦学习环境中的客户端通常是来自现实世界的终端设备。

作为本发明的一种优选技术方案，所述步骤2中准备跨域异质联邦数据集，划分数据集来生成联邦学习中的Non-IID数据，并选择基本测试模型，包括以下步骤：

步骤2-1，采用跨域数据集Office-Home数据集作为评测数据集，将office-Home数据集中的每个标签根据狄利克雷分布给每个客户端分配一定比例的该标签样本，生成联邦学习中的Non-IID数据并发送给N个客户端；

步骤2-2，选取待测试模型，包括MobileNet、AlexNet、ResNet、VGG。

作为本发明的一种优选技术方案，所述步骤3中设定联邦学习方法，包括以下步骤：

步骤3-1，用户选择；

步骤3-2，全局权重广播；

步骤3-3，本地训练；

步骤3-4，梯度聚合；

步骤3-5，全局权重更新。

作为本发明的一种优选技术方案，所述步骤4中重复运行步骤3M轮次后，统计测试模型的全局权重在测试数据集上的指标，作为跨域异质联邦学习的通信效率的评价指标，包括以下步骤：

步骤4-1，在测试数据集上测试测试模型的性能；

步骤4-2，计算M轮训练后，测试模型的得分；

步骤4-3，设定M的取值，根据M的取值和测试模型的得分绘制打分表。

本发明的有益效果：本发明基于评测跨域异质联邦学习架构的运行效率为目标，解释跨域异质的定义，准备跨域异质联邦数据集，并选择基本测试模型，设定联邦学习方法，详细描述联邦学习的主要步骤，并通过重复运行步骤固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标，不仅解决了研究跨域异质联邦学习架构过程中无法评测架构运行效率的问题，同样适用于多种以卷积神经网络模型作为联邦学习的基本模型评测。

附图说明

图1为本发明评测方法流程图；

图2为本发明MobileNet结构图；

图3为本发明AlexNet结构图；

图4为本发明残差网络结构图；

图5为本发明VGG16结构图；

图6为本发明联邦学习结构图。

具体实施方式

实施例1

如图1至图6所示，本发明公开了基于预测精度的跨域异质联邦学习架构运行效率评测方法，采用的技术方案是，包括以下步骤：

步骤1：从数据跨域和客户端异质这两个主要概念解释跨域异质的定义；

步骤3：设定联邦学习方法，详细描述联邦学习的主要步骤；

步骤4：重复运行步骤3固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标。

作为本发明的一种优选技术方案，所述步骤一从数据跨域和客户端异质这两个主要概念解释跨域异质的定义，具体定义如下：跨域异质的定义主要包含数据跨域和客户端异质这两个主要概念；数据跨域：由各个客户端设备中本地数据的非独立同分布所导致，非独立同分布主要包含以下特征：

(1)标签分布倾斜：同样的标签，有不同的表现形式；

(2)特征分布倾斜：同一类别，有不同的表现形式；

(3)标签相同但特征不同：对于不同的客户，相同的标签可以有不同的特征；

(4)特征相同但标签不同：由于个人喜好，训练数据中相同的特征向量可以有不同的标签；

(5)数量倾斜：不同的客户数据量不同。

本专利划分数据集主要考虑的是标签分布倾斜的情况。

客户端异质：联邦学习环境中的客户端通常是来自现实世界的终端设备，例如移动电话、可穿戴设备和智能设备，这些设备在存储、计算和通信能力方面存在异构性。此外，时间、地理位置和用户习惯等因素也会导致或者进一步增强设备的异构性。

作为本发明的一种优选技术方案，所述步骤2准备跨域异质联邦数据集，划分数据集来生成联邦学习中的Non-IID数据，并选择基本测试模型，具体步骤包括：

本专利采用跨域数据集Office-Home数据集作为评测数据集，包含4个领域的图像，即艺术图像、剪贴画图像、无背景图像以及真实世界图像，每个领域由65个类别组成，每个类别平均70张图像，合计包含15,500张图像。

步骤2-1，将office-Home数据集中的每个标签根据狄利克雷分布给每个客户端分配一定比例的该标签样本，生成联邦学习中的Non-IID数据并发送给N个客户端；

对于office-Home数据集，使用原始测试数据集的70％作为训练数据集，30％作为测试数据集。具体的，根据进行采样，将比例为的标签分配给客户端，其中，参数，可以通过控制的大小调整不平衡程度，越小越不平衡，本专利选择；表示狄利克雷分布，若服从狄利克雷分布，其概率密度函数如下公式所示：

d≥3

其中，α∈{α₁，…，α_d}是无量纲的分布参数，α₀是分布参数的和，B(α)是多元Beta函数，Γ(α)是Gamma函数。

步骤2-2，选取待测试模型；

本专利主要评测的是，在采用相同数据、相同异质客户端情况下，不同跨域异质联邦学习架构运行效率。为此，本专利选取几种典型的卷积神经网络模型作为联邦学习的基本模型，包括MobileNet、AlexNet、ResNet以及VGG。

MobileNet：其基本单元是深度可分离卷积，这是一种可分解卷积操作，可分解为两个更小的操作，即深度卷积(depthwise convolution)和点卷积(pointwiseconvolution)。MobileNet网络结构有28层，具体见MobileNet结构图，第一层是的标准卷积，后面堆积深度可分离卷积，之后采用平均池化(average pooling)将特征变成，根据预测类别大小加上全连接层，最后是softmax层。

AlexNet：AlexNet网络结构有8层，具体见AlexNet结构图，其中前5层为卷积层，后3层为全连接层；采用双GPU的模式，每个GPU负责网络一半的运算；采用ReLU作为激活函数，同时在第1、2卷积层后加入局部响应归一化(LRN)；池化的方式采用重叠池化(overlappingpooling)，即池化窗口大小大于步长，使每次池化都有重叠的部分，从而避免发生过拟合现象，应用在第1、2、5卷积层后。

ResNet：ResNet网络为了解决退化问题提出了残差结构(residual)模块，如残差网络结构图所示。用堆叠的非线性层来拟合残差映射，该网络块数学表达式为y＝F(x,{W_i})+x，其中，x，y分别表示该残差块的输入和输出向量，F(x)是待学习的残差映射，W_i是权重层参数。

VGG：本专利中选择使用VGG16，如VGG16结构图所示。VGG16网络结构含有参数的网络层一共有16层，即13个卷积层，5个池化层，3个全连接层，在卷积层1～4中分别有64、128、256、512个3×3的卷积核，在每两层之间有池化层，其移动步长为2的2×2的池化矩阵。VGG16通过加深网络深度来提高准确率，卷积层都是同结构的，池化层均采用相同的池化核参数。

作为本发明的一种优选技术方案，所述步骤三设定联邦学习方法，详细描述联邦学习的主要步骤，具体步骤包括：

定义集合S_N∈{1,2,…N}为全部客户端集，如联邦学习结构图所示，客户端第t∈{1,2，…，M}轮的联邦学习过程包括以下步骤：

步骤3-1，用户选择；由于通信和计算资源受限，在每轮模型更新过程中，云服务器只选择部分客户端参与梯度聚合，记

为第t轮选中的客户端集；

步骤3-2，全局权重广播；云服务器将最新的全局权重w^t通过无线信道广播给全体用户；

步骤3-3，本地训练；被选中的客户端m∈S^t接收到全局模型w^t后，，基于本地数据集，采用随机梯度下降法执行本地模型训练。定义损失函数f(w^t,x)表示模型w^t下对训练样本x的预测误差，定义

为第t轮客户端m本地训练用到的数据集，记该数据集大小为

则损失函数定义为

用户m可获得本地梯度值为

其中，

是梯度操作；

步骤3-4，梯度聚合；所有被调度的客户端将本地梯度

通过无线信道上传至云服务器，云服务器收到后，执行聚合操作，获得全局梯度

步骤3-5，全局权重更新；云服务器根据全局梯度信息更新全局权重，更新过程为

其中，η≥0表示学习率。

作为本发明的一种优选技术方案，所述步骤四重复运行步骤三M轮次后，统计统计MobileNet、AlexNet、ResNet以及VGG这四个基本模型的全局权重在测试数据集上的指标，作为跨域异质联邦学习的通信效率的评价指标，具体步骤包括：

步骤4-1，在测试数据集上测试MobileNet、AlexNet、ResNet以及VGG这四个基本模型的性能，其中性能是指F1得分，其计算公式如下

其中P表示精度(Precision)，R表示召回率(Recall)。

步骤4-2，计算在M轮训练后，MobileNet、AlexNet、ResNet以及VGG这四个基本模型的得分{F_mobile(M),F_alex(M),F_res(M),F_vgg(M)}，并按照下述公式计算其加权得分：

在不同的场景下选取不同的λ。本专利主要分为两种场景：

在超过50％的客户端拥有超过12TOPS的INT8算力时，{λ₁,λ₂,λ₃,λ₄}＝{0.25,0.25,0.25,0.25}；

反之，{λ₁,λ₂,λ₃,λ₄}＝{0.4,0.2,0.2,0.2}。

得分越高代表该架构的运行效率越高。

步骤4-3，设定M的取值，根据M的取值与

绘制打分表。本专利设定的取值为{10,20,50,100,200,500}，其中“～”表示该架构在M个轮次下的

得分。此外，比较任意两个架构的运行效率，只需要比较他们中

得分更高的M的数量。

M

10

20

50

100

200

500

架构1

～

架构2

～

架构3

～

……

～

架构N

～

本文中未详细说明的部件为现有技术。

上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。