CN115496204B - 一种跨域异质场景下的面向联邦学习的评测方法及装置 - Google Patents

一种跨域异质场景下的面向联邦学习的评测方法及装置 Download PDF

Info

Publication number
CN115496204B
CN115496204B CN202211228750.5A CN202211228750A CN115496204B CN 115496204 B CN115496204 B CN 115496204B CN 202211228750 A CN202211228750 A CN 202211228750A CN 115496204 B CN115496204 B CN 115496204B
Authority
CN
China
Prior art keywords
time
federal learning
gradient
client
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211228750.5A
Other languages
English (en)
Other versions
CN115496204A (zh
Inventor
刘淼
郭亮
林婉如
李宁东
桂冠
杨洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211228750.5A priority Critical patent/CN115496204B/zh
Publication of CN115496204A publication Critical patent/CN115496204A/zh
Application granted granted Critical
Publication of CN115496204B publication Critical patent/CN115496204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种跨域异质场景下的面向联邦学习的评测方法，所述方法包括构建跨域异质场景下的面向联邦学习的非独立同分布数据集；构建异质测试环境；选择骨干网络VGGNet；选择梯度平均作为联邦学习算法；计算每一轮迭代所需时间；判断收敛周期；以及计算整个联邦学习过程中的总训练时间；本发明提出了面向联邦学习训练效率评估的测试环境构建、详细步骤与量化指标，能够量化度量不同联邦学习架构、不同联邦学习算法的训练效率。

Description

一种跨域异质场景下的面向联邦学习的评测方法及装置
技术领域
本申请属于数据处理的技术领域，特别涉及一种跨域异质场景下的面向联邦学习的评测方法及装置。
背景技术
联邦学习(Federated Learning)是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
如何将联邦学习应用至跨域异质场景中，以便能够量化度量不同联邦学习架构、不同联邦学习算法的训练效率是一个亟待解决的问题。
发明内容
为了解决上述现有技术的不足，本申请提供了一种跨域异质场景下的面向联邦学习的评测方法，本发明提出了面向联邦学习训练效率评估的测试环境构建、详细步骤与量化指标，能够量化度量不同联邦学习架构、不同联邦学习算法的训练效率。
本申请所要达到的技术效果通过以下方案实现：
第一方面，本发明实施例提供一种跨域异质场景下的面向联邦学习的评测方法，包括：
构建跨域异质场景下的面向联邦学习的非独立同分布数据集；
构建异质测试环境；
选择骨干网络VGGNet；
选择梯度平均作为联邦学习算法；
计算每一轮迭代所需时间；
判断收敛周期；以及
计算整个联邦学习过程中的总训练时间。
进一步地，所述构建跨域异质场景下的面向联邦学习的非独立同分布数据集包括：
以ImagNet数据集分类任务作为联邦学习训练效率评测的第一任务，并采用Dirichlet分布来生成所述联邦学习的分类数据集，所述Dirichlet分布满足如下条件：
q～Dir(αp)
其中α＝0.5，q表示Dirichlet分布，p表示类别分布；
并且，对于划分好的各个客户端的数据，使用75％的数据作为训练样本，25％的数据作为测试样本。
进一步地，所述构建异质测试环境包括：
以数据传输速率作为客户端通信能力的度量衡，以客户端在数据集上以所述VGGNet为模型在128个训练样本上的前馈计算时间和反馈计算时间，作为客户端的计算能力。
进一步地，所述选择骨干网络VGGNet包括：
采用交叉熵损失函数作为目标函数计算方式如下：
其中yk表示第k个样本的标签以及是其预测标签。
进一步地，所述选择梯度平均作为联邦学习算法包括：
步骤41，在训练开始之前，确定联邦学习的参与者，所述参与者是从所有客户端中随机选择的N个客户端，然后分发公钥并确定所需训练的模型为 VGGNet以及所述VGGNet的初始权重，其中N为正整数；
步骤42，所述N个客户端在本地设备与本地数据上进行前向传播与反向传播，并在获取梯度后，将梯度加密并上传至服务器；
步骤43，所述服务器解密并聚合来自所述N个客户端的梯度，获得全局梯度，将全局梯度加密后广播至所有客户端；
步骤44，各个客户端在接收到所述全局梯度后，解密并加载所述全局梯度以更新本地模型。
步骤45，重复步骤41到44，直至所述VGGNet收敛。
进一步地，所述计算每一轮迭代所需时间包括：
步骤51，计算客户端时间tclient，公式如下：
其中N表示客户端数量，表示第n个客户端下载全局模型所需时间，/>表示第n个客户端数据与模型加载所需时间，/>表示第n个客户端VGGNet的前馈计算时间，t2c表示第n个客户端VGGNet反向传播计算出梯度并加密并上传至服务器所需时间。
其中，所述VGGNet的第l层的梯度计算时间可隐藏在其第l+1层的加密并上传至服务器所需时间中，其中所述加密并上传至服务器所需时间为加密通信时间，其计算如下：
其中L表示所述VGGNet的层数，表示第n个客户端在第l层的反馈计算时间，为第n个客户端在第l+1层将数据上传至服务器所需时间，/>为第n个客户端在第l+1层的加密时间。
情况1：所有梯度计算时间≤上一层的加密通信时间，
情况2：部分层的梯度计算时间＞上一层的加密通信时间，
从第1层到第C层的时间如情况1所示，从C层到L层则另外计算聚合时间，且其加密通信时间大于上一层的梯度计算时间。
步骤52，计算服务器时间tserver，公式如下：
tserver＝tgradient_agg+tdecrypt
其中tgradient_agg为梯度聚合时间，tdecrypt为梯度解密时间；
步骤53，计算单轮迭代时间titer，公式如下：
titer＝tserver+tclient
其中，tserver表示服务器时间，tclient表示客户端时间。
进一步地，所述判断收敛周期包括：
如果在E次迭代后，连续5轮的模型损失函数值的变化率小于预设阈值，则判定所述模型在E步收敛，其中，E是正整数。
进一步地，所述计算整个联邦学习过程中的总训练时间包括：
确定训练开始之前的对齐时间talignment；
计算整个联邦学习过程中的总训练时间T，其中T满足：
其中，titer表示单轮迭代时间，E表示所述模型在E步收敛。
第二方面，本发明实施例提供一种跨域异质场景下的面向联邦学习的评测装置，所述装置包括存储器，收发机，处理器；
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
构建跨域异质场景下的面向联邦学习的非独立同分布数据集；
构建异质测试环境；
选择骨干网络VGGNet；
选择梯度平均作为联邦学习算法；
计算每一轮迭代所需时间；
判断收敛周期；以及
计算整个联邦学习过程中的总训练时间。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述的任一项所述的跨域异质场景下的面向联邦学习的评测方法。
通过本发明实施例提供的跨域异质场景下的面向联邦学习的评测方法，能够实现量化度量不同联邦学习架构、不同联邦学习算法的训练效率的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中的跨域异质场景下的面向联邦学习的评测方法的流程图；
图2为本申请一实施例中的异质测试环境算法模型的示例图；
图3为本申请一实施例中的FedAvg算法的结构图；
图4为本申请一实施例中的跨域异质场景下的面向联邦学习的评测装置的示意框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，除非另外定义，本公开一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面结合附图，详细说明本申请的各种非限制性实施方式。
首先，参照图1，对发明的跨域异质场景下的面向联邦学习的评测方法进行详细说明：
跨域异质场景下的面向联邦学习的评测方法包括以下步骤：
S10：构建跨域异质场景下的面向联邦学习的非独立同分布数据集；
具体地，本申请中以ImageNet数据集分类任务作为联邦学习训练效率评测的第一任务，也可以称为基本任务。
其中，在联邦学习中图像分类数据集的相关生成工作中，一部分是在一些数据集上进行划分，存在分布极端、划分数据池不够大等问题，不符合实际情况；另一部份工作就是使用α＝0.5的迪利克雷(Dirichlet)分布来合成Non-IID 数据。把分类任务中图片的类别当作categorical distribution类别分布p，然后利用参数为α的迪利克雷分布q；其中q越大，客户端的分布与基分布越相似，当q趋于无穷大的时候，变为同分布；q越小，非独立同分布程度越高，当q等于0时，每个客户端只有一个类别的数据。
示例性地，迪利克雷分布满足如下公式(1)：
q～Dir(αp) (1)
上述公式(1)中α＝0.5，q表示Dirichlet分布，p表示类别分布；
示例性地，对于划分好的各个客户端的数据，可以使用一部分数据作为训练样本，另外一部分数据作为训练样本；
优选地，对于划分好的各个客户端的数据，使用75％的数据作为训练样本， 25％的数据作为测试样本。
上述划分测试样本和训练样本的方式仅是示例性地，其他的划分方式也可以用于与此，对此并不做具体的限定。
S20：构建异质测试环境；
具体地，本申请中采用异质的意思是指通信能力与计算能力不同的客户端。本申请中以数据传输速率R作为客户端通信能力的度量衡，以客户端在上述数据集上并以VGGNet为模型在128张训练样本上的前馈计算时间与反馈计算时间作为客户端的计算能力。
示例性地，可以参考下表，其中表中第一列表示客户端的编号n，可以假设有N个客户端，其中编号从1到N，第二列表示各个客户端对应的计算能力，并且计算能力表示前馈计算时间与反馈计算时间，分别用与/>其中n的取值从1到N；第三列表示通信能力。
图2为本申请一实施例中的异质测试环境算法模型的示例图；
如图2所示，异质测试环境中包含通信能力和计算能力不同的多个终端设备，每个终端设备对应各自的任务，每个设备向云服务器上传模型参数，云服务器进行模型关系学习，然后分发模型关系到各个终端设备；
S30：选择骨干网络VGGNet；
具体地，在联邦学习过程中本申请采用VGGNet模型，该VGGNet模型相较其他网络结构，VGGNet模型的结构非常简洁，卷积核尺寸是3x3和最大池化尺寸是2x2。VGGNet模型由5层卷积层、3层全连接层、1层softmax输出层构成，层与层之间插入了最大化池，所有隐藏层的激活单元都采用ReLU函数。
示例性地，本申请中以ImageNet数据集分类任务作为第一任务，也可以称为基本任务，其采用交叉熵损失函数作为目标函数，具体参考如下公式(2)：
其中，yk表示第k个样本的标签以及是其预测标签，K表示样本数。
S40：选择梯度平均作为联邦学习算法；
具体地，选择梯度平均作为联邦学习方法；图3为本申请一实施例中的 FedAvg算法的结构图；
如图3所示，包括K个客户端以及服务器，其中K个客户端对应各自的数据集以及各自的标签，客户端例如可以是客户端1，客户端2，…，客户端K，其各自对应标签可以分别为标签1，标签2，…，标签K，各个客户端在本地进行训练后获得梯度并上传至服务器，服务器采用全局模型进行加权平均获得全局梯度，以便后续进行模型的更新。
其中，梯度平均可以称为FedAvg，其中FedAvg具体的步骤包括：
步骤41，数据、模型对齐；
具体地，在训练开始之前，需要确定参与者，参与者的确定通过随机选择N 个客户端作为联邦学习的参与者，然后分发公钥、确定所需训练的模型为 VGGNet以及VGGNet模型的初始权重，其中N为正整数。
步骤42，获取、加密与上传本地梯度；
具体地，各个客户端在其本地设备与本地数据(数据的获取参见步骤S10) 上进行前向传播与反向传播，并且在获取梯度后，将梯度加密并上传至服务器上。
步骤43，解密本地梯度数据，聚合、加密与广播全局梯度；
具体地，服务器解密并聚合来自N个客户端的梯度；
示例性地，采用的聚合方法可以为加权求平均，即可获得全局梯度；其中此处的聚合方法也可以采用其他能够实现获得全局梯度的其他方式实现，在此不做限定。
然后，将全局梯度加密后，广播给所有客户端。
步骤44，解密、加载全局梯度数据，更新本地模型；
具体地，客户端在接收到全局梯度后，解密并加载全局梯度，以更新本地模型。
步骤45，重复步骤41到44，直至VGGNet模型收敛。
S50：计算每一轮迭代所需时间；
步骤51，计算客户端时间tclient，具体参见如下公式(3)：
其中N为客户端数量，为第n个客户端下载全局模型所需时间，/>为第n个客户端数据与模型加载所需时间，/>为第n个客户端 VGGNet的前馈计算所需时间，t2c代表了第n个客户端VGGNet反向传播计算出梯度并加密并上传至服务器所需时间。
示例性地，考虑到通信隐蔽问题，即VGGNet的第l层的梯度计算时间可隐藏在其第l+1层的加密并上传至服务器所需时间中；其中上述的加密并上传至服务器所需时间，在此简称为加密通信时间，其中加密通信时间的计算参见如下公式(4)：
其中L为VGGNet的层数，为第n个客户端在第l层的反馈计算时间，为第n个客户端在第l+1层将数据上传至服务器所需时间，为第n个客户端在第l+1层的加密时间。
情况1：所有梯度计算时间≤上一层加密通信时间：
情况2：部分层的梯度计算时间>上一层的加密通信时间
从第1层到第C层隐藏层的时间如情况1所示，从第C层隐藏层到第L层隐藏层则另外计算聚合时间，因为其加密通信时间大于上一层的梯度计算时间。
步骤52，计算服务器时间，服务器时间为梯度聚合时间与梯度解密时间的和，具体参考如下公式(7)：
tserver＝tgradient_agg+tdecrypt (7)
其中，tgradient_agg为梯度聚合时间，tdecrypt为梯度解密时间。
步骤53，计算单轮迭代时间，参考如下公式(8)：
titer＝tserver+tclient (8)
其中，tserver表示服务器时间，tclient表示客户端时间。
S60：判断收敛周期；
具体地，在本申请中定义在E次迭代之后，连续5轮的模型损失函数值不发生明显改善，则称为该模型在E步收敛。
S70：计算整个联邦学习过程中的总训练时间。
步骤71，确定训练开始之前的对齐时间(包括分发公钥、广播初始模型、确定参与者)talignment；
步骤72，计算整个联邦学习过程中的总训练时间T，即为训练效率，其中T 参考如下公式(9)：
其中，titer表示单轮迭代时间，E表示所述模型在E步收敛；并且若整个联邦学习过程中的总训练时间T越小时，则训练效率越高。
需要说明的是，本发明一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本发明还公开一种装置；
如图4所示，所述终端包括存储器420，收发机400，处理器410，其中：
存储器420，用于存储计算机程序；收发机400，用于在所述处理器410的控制下收发数据；处理器410，用于读取所述存储器420中的计算机程序并执行以下操作：
构建跨域异质场景下的面向联邦学习的非独立同分布数据集；
构建异质测试环境；
选择骨干网络VGGNet；
选择梯度平均作为联邦学习算法；
计算每一轮迭代所需时间；
判断收敛周期；以及
计算整个联邦学习过程中的总训练时间。
具体地，收发机400，用于在处理器410的控制下接收和发送数据。
其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器410代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机400可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。针对不同的用户设备，用户接口430还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器410负责管理总线架构和通常的处理，存储器420可以存储处理器 410在执行操作时所使用的数据。
在一些实施例中，处理器410可以是中央处理器(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件 (ComplexProgrammable Logic Device，CPLD)，处理器也可以采用多核架构。
处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。
在此需要说明的是，本申请实施例提供的上述装置，能够实现上述执行主体为所述装置的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行本发明中所涉及的上述所有跨域异质场景下的面向联邦学习的评测方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的跨域异质场景下的面向联邦学习的评测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种跨域异质场景下的面向联邦学习的评测方法，其特征在于，所述方法包括步骤：
构建跨域异质场景下的面向联邦学习的非独立同分布数据集；
构建异质测试环境；
选择骨干网络VGGNet；
选择梯度平均作为联邦学习算法；
计算每一轮迭代所需时间；
判断收敛周期；以及
计算整个联邦学习过程中的总训练时间；其中，
所述构建跨域异质场景下的面向联邦学习的非独立同分布数据集包括：
以ImageNet数据集分类任务作为联邦学习训练效率评测的第一任务，并采用Dirichlet分布来生成所述联邦学习的分类数据集，所述Dirichlet分布满足如下条件：
q～Dir(αp)#
其中α＝0.5，q表示Dirichlet分布,p表示类别分布；
并且，对于划分好的各个客户端的数据，使用75％的数据作为训练样本，25％的数据作为测试样本；
所述构建异质测试环境包括：
以数据传输速率作为客户端通信能力的度量衡，以客户端在数据集上以所述VGGNet为模型在128个训练样本上的前馈计算时间和反馈计算时间，作为客户端的计算能力；
所述选择骨干网络VGGNet包括：
采用交叉熵损失函数作为目标函数计算方式如下：
其中，yk表示第k个样本的标签以及是其预测标签，K表示样本数；
所述选择梯度平均作为联邦学习算法包括：
步骤41，在训练开始之前，确定联邦学习的参与者，所述参与者是从所有客户端中随机选择的N个客户端，然后分发公钥并确定所需训练的模型为VGGNet以及所述VGGNet的初始权重，其中N为正整数；
步骤42，所述N个客户端在本地设备与本地数据上进行前向传播与反向传播，并在获取梯度后，将梯度加密并上传至服务器；
步骤43，所述服务器解密并聚合来自所述N个客户端的梯度，获得全局梯度，将全局梯度加密后广播至所有客户端；
步骤44，各个客户端在接收到所述全局梯度后，解密并加载所述全局梯度以更新本地模型；
步骤45，重复步骤41到44，直至所述VGGNet收敛；
所述计算每一轮迭代所需时间包括：
步骤51，计算客户端时间tclient，公式如下：
其中N表示客户端数量，表示第n个客户端下载全局模型所需时间，/>表示第n个客户端数据与模型加载所需时间，/>表示第n个客户端VGGNet的前馈计算时间，t2c表示第n个客户端VGGNet反向传播计算出梯度并加密并上传至服务器所需时间；
其中，所述VGGNet的第l层的梯度计算时间可隐藏在其第l+1层的加密并上传至服务器所需时间中，其中所述加密并上传至服务器所需时间为加密通信时间，其计算如下：
其中L表示所述VGGNet的层数，表示第n个客户端在第l层的反馈计算时间，为第n个客户端在第l+1层将数据上传至服务器所需时间，/>为第n个客户端在第l+1层的加密时间；
情况1：所有梯度计算时间≤上一层的加密通信时间，
情况2：部分层的梯度计算时间＞上一层的加密通信时间，
从第1层到第C层隐藏层的时间如情况1所示，从第C层隐藏层到第L层隐藏层则另外计算聚合时间，且其加密通信时间大于上一层的梯度计算时间；
步骤52，计算服务器时间tserver，公式如下：
tservertgradient_agg+tdecrypt
其中tgradient_agg为梯度聚合时间，tdecrypt为梯度解密时间；
步骤53，计算单轮迭代时间titer，公式如下：
titer＝tserver+tclient
其中，tserver表示服务器时间，tclient表示客户端时间。
2.如权利要求1所述的跨域异质场景下的面向联邦学习的评测方法，其特征在于，所述判断收敛周期包括：
如果在E次迭代后，连续5轮的模型损失函数值的变化率小于预设阈值，则判定所述模型在E步收敛，其中，E是正整数。
3.如权利要求2所述的跨域异质场景下的面向联邦学习的评测方法，其特征在于，所述计算整个联邦学习过程中的总训练时间包括：
确定训练开始之前的对齐时间talignment；
计算整个联邦学习过程中的总训练时间T，其中T满足：
其中，titer表示单轮迭代时间，E表示所述模型在E步收敛。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行权利要求1至3中的任一项所述的跨域异质场景下的面向联邦学习的评测方法。
CN202211228750.5A 2022-10-09 2022-10-09 一种跨域异质场景下的面向联邦学习的评测方法及装置 Active CN115496204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211228750.5A CN115496204B (zh) 2022-10-09 2022-10-09 一种跨域异质场景下的面向联邦学习的评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211228750.5A CN115496204B (zh) 2022-10-09 2022-10-09 一种跨域异质场景下的面向联邦学习的评测方法及装置

Publications (2)

Publication Number Publication Date
CN115496204A CN115496204A (zh) 2022-12-20
CN115496204B true CN115496204B (zh) 2024-02-02

Family

ID=84474789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211228750.5A Active CN115496204B (zh) 2022-10-09 2022-10-09 一种跨域异质场景下的面向联邦学习的评测方法及装置

Country Status (1)

Country Link
CN (1) CN115496204B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117350373B (zh) * 2023-11-30 2024-03-01 艾迪恩(山东)科技有限公司 一种基于局部自注意力机制的个性化联邦聚合算法
CN117649672B (zh) * 2024-01-30 2024-04-26 湖南大学 基于主动学习与迁移学习的字体类别视觉检测方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232528A (zh) * 2020-12-15 2021-01-15 之江实验室 一种联邦学习模型训练方法、装置及联邦学习系统
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN113391897A (zh) * 2021-06-15 2021-09-14 电子科技大学 一种面向异构场景的联邦学习训练加速方法
CN114169412A (zh) * 2021-11-23 2022-03-11 北京邮电大学 面向大规模产业链隐私计算的联邦学习模型训练方法
CN114219097A (zh) * 2021-11-30 2022-03-22 华南理工大学 一种基于异构资源之上的联邦学习训练和预测方法及系统
CN114492833A (zh) * 2021-12-29 2022-05-13 上海智能网联汽车技术中心有限公司 基于梯度记忆的车联网联邦学习分层知识安全迁移方法
CN114580663A (zh) * 2022-03-01 2022-06-03 浙江大学 面向数据非独立同分布场景的联邦学习方法及系统
WO2022141841A1 (zh) * 2020-12-29 2022-07-07 平安科技（深圳）有限公司 联邦学习的过程中模型参数的处理方法、装置及相关设备
CN114912705A (zh) * 2022-06-01 2022-08-16 南京理工大学 一种联邦学习中异质模型融合的优化方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN112232528A (zh) * 2020-12-15 2021-01-15 之江实验室 一种联邦学习模型训练方法、装置及联邦学习系统
WO2022141841A1 (zh) * 2020-12-29 2022-07-07 平安科技（深圳）有限公司 联邦学习的过程中模型参数的处理方法、装置及相关设备
CN113391897A (zh) * 2021-06-15 2021-09-14 电子科技大学 一种面向异构场景的联邦学习训练加速方法
CN114169412A (zh) * 2021-11-23 2022-03-11 北京邮电大学 面向大规模产业链隐私计算的联邦学习模型训练方法
CN114219097A (zh) * 2021-11-30 2022-03-22 华南理工大学 一种基于异构资源之上的联邦学习训练和预测方法及系统
CN114492833A (zh) * 2021-12-29 2022-05-13 上海智能网联汽车技术中心有限公司 基于梯度记忆的车联网联邦学习分层知识安全迁移方法
CN114580663A (zh) * 2022-03-01 2022-06-03 浙江大学 面向数据非独立同分布场景的联邦学习方法及系统
CN114912705A (zh) * 2022-06-01 2022-08-16 南京理工大学 一种联邦学习中异质模型融合的优化方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联邦学习模型在涉密数据处理中的应用;贾延延;张昭;冯键;王春凯;;中国电子科学研究院学报(第01期);全文 *

Also Published As

Publication number Publication date
CN115496204A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN115496204B (zh) 一种跨域异质场景下的面向联邦学习的评测方法及装置
US11295208B2 (en) Robust gradient weight compression schemes for deep learning applications
CN112862011A (zh) 基于联邦学习的模型训练方法、装置及联邦学习系统
CN113850272A (zh) 基于本地差分隐私的联邦学习图像分类方法
CN113077060A (zh) 针对边云协同的联邦学习系统及方法
CN111931241B (zh) 基于隐私保护的线性回归特征显著性检验方法、装置
EP3863003B1 (en) Hidden sigmoid function calculation system, hidden logistic regression calculation system, hidden sigmoid function calculation device, hidden logistic regression calculation device, hidden sigmoid function calculation method, hidden logistic regression calculation method, and program
US11991156B2 (en) Systems and methods for secure averaging of models for federated learning and blind learning using secure multi-party computation
CN111639367B (zh) 基于树模型的两方联合分类方法、装置、设备及介质
KR20220101671A (ko) 그래디언트 부스팅을 통한 프라이버시 보호 기계 학습
US20230368019A1 (en) Deep learning system for performing private inference and operating method thereof
CN114448598A (zh) 密文压缩方法、密文解压缩方法、装置、设备和存储介质
CN115907231A (zh) 一种电网数据预测的方法及装置
CN113379039B (zh) 一种模型训练的方法、系统及装置
CN117744123A (zh) 隐私数据的安全保护方法、系统、电子设备及存储介质
US11329808B2 (en) Secure computation device, secure computation authentication system, secure computation method, and program
US12088565B2 (en) Systems and methods for privacy preserving training and inference of decentralized recommendation systems from decentralized data
TW202145078A (zh) 具有動態最小批次尺寸之運算方法，以及用於執行該方法之運算系統及電腦可讀儲存媒體
EP4399647A1 (en) Systems and methods for providing a split inference approach to protect data and model
CN111052204B (zh) 份额生成装置、份额变换装置、秘密计算系统、它们的方法及记录介质
CN112417478A (zh) 数据处理方法、装置、设备及存储介质
CN113052323B (zh) 基于联邦学习的模型训练方法、装置和电子设备
CN112765898B (zh) 多任务联合训练模型方法、系统、电子设备和存储介质
CN115580493B (zh) 电力数据分类加密传输方法、装置和计算机设备
CN117454185B (zh) 联邦模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Liu Miao

Inventor after: Guo Liang

Inventor after: Lin Wanru

Inventor after: Li Ningdong

Inventor after: Gui Guan

Inventor after: Yang Jie

Inventor before: Liu Miao

Inventor before: Guo Liang

Inventor before: Lin Wanru

Inventor before: Li Ningdong

Inventor before: Gui Guan

Inventor before: Yang Jie