CN116363449A - 一种基于分层联邦学习的图像识别方法 - Google Patents

一种基于分层联邦学习的图像识别方法 Download PDF

Info

Publication number
CN116363449A
CN116363449A CN202310208568.1A CN202310208568A CN116363449A CN 116363449 A CN116363449 A CN 116363449A CN 202310208568 A CN202310208568 A CN 202310208568A CN 116363449 A CN116363449 A CN 116363449A
Authority
CN
China
Prior art keywords
model parameters
local
edge
training
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310208568.1A
Other languages
English (en)
Inventor
张文波
冯永新
李芳婧
朱宏博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ligong University
Original Assignee
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ligong University filed Critical Shenyang Ligong University
Priority to CN202310208568.1A priority Critical patent/CN116363449A/zh
Publication of CN116363449A publication Critical patent/CN116363449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于分层联邦学习的图像识别方法，利用分层联邦学习的训练方式优化具有分类功能的卷积神经网络模型训练过程，避免用户数据在传递过程中被恶意攻击造成隐私泄露，同时可以联合多个数据拥有方协同训练一个模型；本发明构建在“云‑边‑端”分层的架构中，通过层级结构减少与中心服务器的直接通信频率，进而降低通信成本；其次，本发明采用基于时效的聚合策略，边缘服务器采用异步聚合策略，仅接受在时效内到达的局部模型参数，对于未到达的需要参与后续轮次聚合，中心服务器采用同步聚合策略，等待全部边缘服务器完成边缘聚合后进行全局聚合，并更新全局模型参数开启下一轮迭代更新，通过该策略可以有效提高模型的训练效率。

Description

一种基于分层联邦学习的图像识别方法
技术领域
本发明属于面向边缘终端设备的图像识别领域，具体涉及一种基于分层联邦学习的图像识别方法。
背景技术
随着现代科技水平的发展，图像识别技术已经成为信息时代下的常规技术之一，其中热度最高的为基于深度学习的图像识别技术，该项技术是传统图像识别技术与神经网络算法的有机融合，在现实生活中已经拥有着广泛的应用空间，如人脸识别、指纹识别等。在采用人工智能的图像识别方法时，提高神经网络模型的训练效果和效率对提升应用服务质量起到关键作用。同时，用户的隐私和数据的安全也是需要重点关注的问题。
目前，基于深度学习的图像识别方法通常采用集中训练方式，在模型训练时需要中心服务器集中采集并存储大量数据。客户端设备将本地数据上传至服务器的过程中会产生大量的通信消耗，造成中心服务器的通信和计算资源负担过重。在数据的传递过程中，也存在巨大的安全隐患，容易出现被恶意攻击的情况。联邦学习作为一种新兴的分布式机器学习范式，无需进行样本数据交换，各数据拥有方在本地利用自身数据进行训练即可，并通过隐私保护技术实现模型信息交互，最终协同构建一个全局模型。对于图像识别任务而言，通过机器学习技术训练得到的具有预测或分类功能的模型，其性能好坏非常依赖训练数据的数量和质量，采用联邦学习可以显著降低数据泄露的风险，同时利用协同训练的优势能够学习到自身缺少的数据特征。因此，将分层联邦学习算法应用到图像识别领域，对保障用户隐私安全和提高识别服务质量都具有重要意义。
发明内容
针对现有技术的不足，本发明提出一种基于分层联邦学习的图像识别方法，利用分层的联邦学习架构训练得到具有分类功能的模型；其主要目的是避免用户本地数据集中上传，在此方法中用户与服务器之间仅传递模型参数，用户的本地数据对于用户是不可见、不可推测的；用户利用本地数据和服务器下发的模型参数进行本地训练，训练得到的局部模型参数需要回传给服务器进行聚合，通过多轮的本地训练以及模型信息交互，不断优化全局模型，使最终的模型性能充分逼近于理想的模型性能。
一种基于分层联邦学习的图像识别方法，具体包括以下步骤：
步骤1：设定一台实现全局模型聚合、更新和发送的服务器作为中心服务器，在中心服务器的下层设置多台边缘服务器，边缘服务器作为客户端设备与中心服务器通信的中介桥梁，转发模型参数；在训练时，中心服务器初始化全局模型参数ω0；
步骤2：开始全局迭代训练，假设有M个边缘服务器
Figure BDA0004111741940000021
中心服务器与各边缘服务器进行通信，下发本轮的全局模型参数ωt，其中t＝1,2,...,T为全局迭代轮次；
步骤3：边缘服务器m会随机选择参与本轮全局训练的客户端设备
Figure BDA0004111741940000022
将全局模型参数转发给各参与客户端；
步骤4：参与客户端i利用本地数据集Di以及接收到的全局模型参数进行本地训练，得到优化后的局部模型参数
Figure BDA0004111741940000023
步骤4.1：客户端设备i通过E轮随机梯度下降不断迭代优化模型参数，迭代的损失函数选择为交叉熵，每轮单个节点的损失值表示为Fi(ωi)，则第l＝1,2，...,E轮本地迭代的本地模型参数
Figure BDA0004111741940000024
计算过程如下：
Figure BDA0004111741940000025
其中，η为预设的学习率；
步骤4.2：得到E轮迭代更新后的局部模型参数
Figure BDA0004111741940000026
步骤5：参与客户端将训练后的局部模型参数
Figure BDA0004111741940000027
上传给相应的边缘服务器m；
步骤5.1：确定边缘服务器的等待时间τ；等待时间τ，表示边缘服务器从开始下发全局模型参数到开启边缘聚合所花费的总时长，设τ的取值为上一轮各参与客户端本地训练时间T(cmp,i)与模型上传时间T(com，i)之和的中值；对于参与客户端i而言，从开始本地训练到完成局部模型上传所消耗的时间为：
Ti＝T(cmp，i)+T(com,i) (2)
步骤5.2：边缘服务器m在等待时间τ内接收局部模型参数，设边缘服务器m在等待时间τ内接收到的局部模型参数来自于参与客户端设备
Figure BDA0004111741940000028
步骤5.3：那些未在等待时间内上传成功的局部模型参数，需要参与后续轮次的边缘聚合；
步骤6：边缘服务器接收客户端传来的局部模型参数，并对局部模型参数进行分组聚合，得到边缘聚合模型；
步骤6.1：将其根据参与训练轮次分为两组：参与本轮训练的客户端设备S′m＝{k′|k′＝1,…,S′}和参与之前轮次的客户端设备S″m＝{k″|k″＝1,…,S″}，且满足
Figure BDA0004111741940000029
Figure BDA00041117419400000210
步骤6.2：参与客户端k′的局部模型参数ωk′，是根据本轮下发的最新的全局模型参数训练得到的，在聚合时必须保留其价值；那些相对陈旧的局部模型参数ωk′也拥有价值，因此也不能将其丢弃；对于每组局部模型参数分别采用如下方法得到边缘分组聚合模型；
Figure BDA0004111741940000031
Figure BDA0004111741940000032
其中，
Figure BDA0004111741940000033
为参与第t轮训练的客户端设备在边缘服务器m上进行平均聚合得到的模型参数，/>
Figure BDA0004111741940000034
为聚合对于第t轮边缘服务器m来讲陈旧的局部模型参数，这些局部模型参数是客户端设备通过陈旧的全局模型训练得到的；
步骤6.3：对
Figure BDA0004111741940000035
和/>
Figure BDA0004111741940000036
进行加权聚合得到第t轮边缘服务器m的边缘聚合模型/>
Figure BDA0004111741940000037
Figure BDA0004111741940000038
其中，α为动态加权因子，取值由S″的局部模型平均陈旧程度εt决定，定义为：
Figure BDA0004111741940000039
步骤7：中心服务器根据聚合后的边缘聚合模型参数更新全局模型参数，进行下一轮全局训练，重复步骤2-7直至达到最大全局迭代次数；
Figure BDA00041117419400000310
其中，|D|表示全部参与客户端的本地数据量，|Dm|表示参与边缘服务器m聚合的客户端本地数据大小；
步骤8：得到训练后的全局模型，输入测试图像数据进行分类测试。
本发明有益技术效果：
本发明提出了一种基于分层联邦学习算法的图像识别方法，通过分层的联邦学习架构可以有效减少中心服务器的计算和存储压力，同时也避免了用户本地数据在传输过程中可能遇到的泄露风险。针对频繁的模型信息交互问题，本发明采用分层半异步的聚合方法，可以显著减少消耗的总时长，实现在保证模型精度的同时提高训练效率。最终得到的模型可以部署在各参与客户端设备中，为用户提供高质量、高效率的图像识别服务。
附图说明
图1为本发明中基于分层联邦学习的图像识别方法流程图；
图2为本发明提出的全局模型结构图；
图3为本发明中在CIFAR-10数据集IID情况下的分类准确率情况；
图4为本发明中在CIFAR-10数据集Non-IID情况下的分类准确率情况。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明。
一种基于分层联邦学习的图像识别方法，如附图1所示，具体包括以下步骤：
本发明采用彩色图像CIFAR-10数据集进行效果验证，实验任务可以理解为简单的分类任务，因此实验采用准确率作为模型的评价指标，对比不同时间或轮次下模型的训练效果。CIFAR-10数据集由60000张32*32的RGB彩色图片构成，其中包括50000张训练图像和10000张测试图像，共10个分类。在这个数据集上的训练任务为训练一个包含三个卷积层的CNN(CNN_Cifar10)模型，模型结构如图2所示。
本发明在一台计算机上模拟出100个客户端节点、2个边缘服务器与一个中心服务器组成的分层架构，每个参与客户端独占一个进程，给每个参与客户端设置一个随机时延来模拟不同算力和不同本地数据量下各客户端训练时间的差异，并模拟出现实应用场景中会出现的独立同分布(IID)和非独立同分布(Non-IID)情况。基于分层联邦学习的CIFAR-10图像数据分类模型训练过程和测试结果入下：
步骤1：随机生成100个客户端；
步骤2：划分训练数据集，包括IID和Non-IID两种情况。当数据为IID时，将训练数据平均分成100组，每组数据随机从10种分类中进行抽取，并将分组结果随机分给100个客户端，模拟各客户端设备本地训练数据。当数据为Non-IID时，每组训练数据是从其中指定数量的分类中随机抽取，模拟各客户端的本地数据分布情况的差异性，同时可通过控制指定分类数量来调整Non-IID的程度；
步骤3：配置训练参数，主要包括参与客户端比例、全局迭代次数、局部迭代次数、边缘服务器数量、学习率、批量大小等，具体参数设置如表1所示。
表1实验参数表；
Figure BDA0004111741940000041
Figure BDA0004111741940000051
步骤3：服务器加载网络模型，初始化全局模型参数；
步骤4：从100个客户端中随机选择C×N个参与客户端，作为本轮参与协同训练的设备，设置边缘等待时间τ；
步骤5：将全局模型参数下发给参与方；
步骤6：参与客户端i接收到全局模型参数后，开始进行本地训练；
步骤6.1：将接收到的全局模型参数作为本地迭代优化的初始局部模型参数；
步骤6.2：利用本地训练数据集进行随机梯度下降优化局部模型，当达到预先设置本地迭代次数E时返回更新后的模型参数，参与客户端设备i在第l次本地迭代时计算本地局部模型参数
Figure BDA0004111741940000052
得到如下更新：
Figure BDA0004111741940000053
其中，η为预设的学习率，
Figure BDA0004111741940000054
表示模型参数ω的梯度计算符号。
客户端设备进行本地训练所消耗的时间受设备算力(CPU)和训练数据集大小影响，设备i在本地经过E轮迭代计算所产生的总时延定义如下：
Figure BDA0004111741940000055
其中，ci为设备i处理一个数据样本所需的CPU周期数，由于每个数据样本(xi,yj)具有相同的大小，因此进行一次本地迭代的总CPU周期数可表示为ci|Di|。fi表示客户端设备i分配的CPU频率。
步骤6.3：客户端完成本地训练后上传局部模型参数，此过程会产生通信时延Tcom，设备i的传输时延定义如下：
Figure BDA0004111741940000056
其中，
Figure BDA0004111741940000057
表示客户端设备i的局部模型参数/>
Figure BDA0004111741940000058
数据大小，ri表示在信道中的传输速率，根据正交频分多址(OFDMA)协议定义如下：
Figure BDA0004111741940000059
其中，Wm为边缘服务器m提供部分的总带宽，βi:m为客户端设备i的带宽分配比，Pi:m表示参与客户端设备i的传输功率，hi是客户端设备i的信道增益，N0为高斯噪声。
步骤6.4：计算每个客户端的总消耗时长Ti＝T(cmp,i)+T(com,i)；
步骤7：边缘服务器在等待时间τ内接收局部模型参数；
步骤7.1：将接收到的局部模型参数根据全局训练轮次划分为两组：新的ωk′和相对陈旧的ωk″；
步骤7.2：分别采用平均聚合方法两组局部模型参数，得到分组边缘聚合模型
Figure BDA0004111741940000061
和/>
Figure BDA0004111741940000062
步骤7.3：将两组聚合模型进行加权边缘聚合，得到边缘聚合模型
Figure BDA0004111741940000063
边缘聚合时采用动态分组加权方法，计算方法如公式(5)所示。
步骤8：各边缘服务器将边缘聚合模型上传至中心服务器；
步骤9：中心服务器等待全部边缘模型参数到达后开始全局聚合，计算过程如公式(7)所示；
步骤10：输入测试数据集，计算本轮训练得到的全局模型分类准确率情况。准确率(Accuracy,ACC)的定义如下：
Figure BDA0004111741940000064
其中，TP(True Positive)指实际为正例且被模型划分为正例的样本数；TN(TrueNegative)指实际为负例且被模型划分为负例的样本数；FP(False Positive)指实际为负例但被模型划分为正例的样本数；FN(False Negative)指实际为正例但被模型划分为负例的样本数。TP、TN为分类正确的样本数，因此准确率可以看出被正确分类的样本占所有样本的比例，准确率越高，模型的训练效果越好。
步骤11：中心服务器更新全局模型参数，开始下一轮全局迭代，重复上述工作，直至达到最大迭代次数。经过200轮全局训练后，模型对CIFAR-10数据集IID和Non-IID情况的分类准确率情况分别如图3和图4所示。

Claims (4)

1.一种基于分层联邦学习的图像识别方法，其特征在于，具体包括以下步骤：
步骤1：设定一台实现全局模型聚合、更新和发送的服务器作为中心服务器，在中心服务器的下层设置多台边缘服务器，边缘服务器作为客户端设备与中心服务器通信的中介桥梁，转发模型参数；在训练时，中心服务器初始化全局模型参数ω0；
步骤2：开始全局迭代训练，假设有M个边缘服务器
Figure FDA0004111741930000011
中心服务器与各边缘服务器进行通信，下发本轮的全局模型参数ωt，其中t＝1,2,...,T为全局迭代轮次；
步骤3：边缘服务器m会随机选择参与本轮全局训练的客户端设备
Figure FDA0004111741930000012
将全局模型参数转发给各参与客户端；
步骤4：参与客户端i利用本地数据集Di以及接收到的全局模型参数进行本地训练，得到优化后的局部模型参数
Figure FDA0004111741930000013
步骤5：参与客户端将训练后的局部模型参数
Figure FDA0004111741930000014
上传给相应的边缘服务器m；
步骤6：边缘服务器接收客户端传来的局部模型参数，并对局部模型参数进行分组聚合，得到边缘聚合模型；
步骤7：中心服务器根据聚合后的边缘聚合模型参数更新全局模型参数，进行下一轮全局训练，重复步骤2-7直至达到最大全局迭代次数；
步骤8：得到训练后的全局模型，输入测试图像数据进行分类测试。
2.根据权利要求1所述的一种基于分层联邦学习的图像识别方法，其特征在于，步骤4具体为：
步骤4.1：客户端设备i通过E轮随机梯度下降不断迭代优化模型参数，迭代的损失函数选择为交叉熵，每轮单个节点的损失值表示为Fi(ωi)，则第l＝1,2,...,E轮本地迭代的本地模型参数
Figure FDA0004111741930000015
计算过程如下：
Figure FDA0004111741930000016
其中，η为预设的学习率；
步骤4.2：得到E轮迭代更新后的局部模型参数
Figure FDA0004111741930000017
3.根据权利要求1所述的一种基于分层联邦学习的图像识别方法，其特征在于，步骤5具体为：
步骤5.1：确定边缘服务器的等待时间τ；等待时间τ，表示边缘服务器从开始下发全局模型参数到开启边缘聚合所花费的总时长，设τ的取值为上一轮各参与客户端本地训练时间T(cmp,i)与模型上传时间T(com,i)之和的中值；对于参与客户端i而言，从开始本地训练到完成局部模型上传所消耗的时间为：
Ti＝T(cmp,i)+T(com,i) (2)
步骤5.2：边缘服务器m在等待时间τ内接收局部模型参数，设边缘服务器m在等待时间τ内接收到的局部模型参数来自于参与客户端设备
Figure FDA0004111741930000021
步骤5.3：那些未在等待时间内上传成功的局部模型参数，需要参与后续轮次的边缘聚合。
4.根据权利要求1所述的一种基于分层联邦学习的图像识别方法，其特征在于，步骤6具体为：
步骤6.1：将其根据参与训练轮次分为两组：参与本轮训练的客户端设备S′m＝{k′|k′＝1,…,S′}和参与之前轮次的客户端设备S″m＝{k″|k″＝1,…,S″}，且满足
Figure FDA0004111741930000022
Figure FDA0004111741930000023
步骤6.2：参与客户端k′的局部模型参数ωk′，是根据本轮下发的最新的全局模型参数训练得到的，在聚合时必须保留其价值；那些相对陈旧的局部模型参数ωk′也拥有价值，因此也不能将其丢弃；对于每组局部模型参数分别采用如下方法得到边缘分组聚合模型；
Figure FDA0004111741930000024
Figure FDA0004111741930000025
其中，
Figure FDA0004111741930000026
为参与第t轮训练的客户端设备在边缘服务器m上进行平均聚合得到的模型参数，/>
Figure FDA0004111741930000027
为聚合对于第t轮边缘服务器m来讲陈旧的局部模型参数，这些局部模型参数是客户端设备通过陈旧的全局模型训练得到的；
步骤6.3：对
Figure FDA0004111741930000028
和/>
Figure FDA0004111741930000029
进行加权聚合得到第t轮边缘服务器m的边缘聚合模型
Figure FDA00041117419300000210
Figure FDA00041117419300000211
其中，α为动态加权因子，取值由S″的局部模型平均陈旧程度εt决定，定义为：
Figure FDA00041117419300000212
CN202310208568.1A 2023-03-07 2023-03-07 一种基于分层联邦学习的图像识别方法 Pending CN116363449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310208568.1A CN116363449A (zh) 2023-03-07 2023-03-07 一种基于分层联邦学习的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310208568.1A CN116363449A (zh) 2023-03-07 2023-03-07 一种基于分层联邦学习的图像识别方法

Publications (1)

Publication Number Publication Date
CN116363449A true CN116363449A (zh) 2023-06-30

Family

ID=86912856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310208568.1A Pending CN116363449A (zh) 2023-03-07 2023-03-07 一种基于分层联邦学习的图像识别方法

Country Status (1)

Country Link
CN (1) CN116363449A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611115A (zh) * 2023-07-20 2023-08-18 数据空间研究院 基于联邦学习的医疗数据诊断模型、方法、系统和存储器
CN117010485A (zh) * 2023-10-08 2023-11-07 之江实验室 边缘场景下的分布式模型训练系统及梯度规约方法
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611115A (zh) * 2023-07-20 2023-08-18 数据空间研究院 基于联邦学习的医疗数据诊断模型、方法、系统和存储器
CN117010485A (zh) * 2023-10-08 2023-11-07 之江实验室 边缘场景下的分布式模型训练系统及梯度规约方法
CN117010485B (zh) * 2023-10-08 2024-01-26 之江实验室 边缘场景下的分布式模型训练系统及梯度规约方法
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及系统

Similar Documents

Publication Publication Date Title
CN116363449A (zh) 一种基于分层联邦学习的图像识别方法
Han et al. Adaptive gradient sparsification for efficient federated learning: An online learning approach
Lu et al. Low-latency federated learning and blockchain for edge association in digital twin empowered 6G networks
Lu et al. Differentially private asynchronous federated learning for mobile edge computing in urban informatics
CN113222179B (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN113242568A (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN113191484A (zh) 基于深度强化学习的联邦学习客户端智能选取方法及系统
CN114143891A (zh) 移动边缘网络中基于fdql的多维资源协同优化方法
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN114169543A (zh) 一种基于模型陈旧性与用户参与度感知的联邦学习算法
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN110233755A (zh) 一种物联网中雾计算的计算资源和频谱资源分配方法
CN115374853A (zh) 基于T-Step聚合算法的异步联邦学习方法及系统
CN113378474B (zh) 一种基于贡献量的联邦学习客户机选择方法、系统及介质
CN116384504A (zh) 联邦迁移学习系统
CN113094180B (zh) 无线联邦学习调度优化方法及装置
CN117421115A (zh) 一种集群驱动的物联网环境下资源受限的联邦学习客户端选择方法
CN117252253A (zh) 异步联邦边缘学习中的客户端选择和个性化隐私保护方法
CN115759289A (zh) 基于用户分组协同的联邦学习方法、系统及装置
Chen et al. Smart futures based resource trading and coalition formation for real-time mobile data processing
CN114118444A (zh) 一种利用启发式算法降低联邦学习中设备空跑时间的方法
CN114422605A (zh) 一种基于联邦学习的通信梯度自适应压缩方法
Han et al. Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity
CN113033653A (zh) 一种边-云协同的深度神经网络模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination