CN115359298A - 基于稀疏神经网络的联邦元学习图像分类方法 - Google Patents

基于稀疏神经网络的联邦元学习图像分类方法 Download PDF

Info

Publication number
CN115359298A
CN115359298A CN202211024183.1A CN202211024183A CN115359298A CN 115359298 A CN115359298 A CN 115359298A CN 202211024183 A CN202211024183 A CN 202211024183A CN 115359298 A CN115359298 A CN 115359298A
Authority
CN
China
Prior art keywords
neural network
source node
node
parameters
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211024183.1A
Other languages
English (en)
Inventor
郭壮壮
钱玉文
马川
李骏
时龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211024183.1A priority Critical patent/CN115359298A/zh
Publication of CN115359298A publication Critical patent/CN115359298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏神经网络的联邦元学习图像分类方法，通信效率高，算法性能好。本发明方法主要包括以下步骤：(10)设置全连接神经网络节点与相关系数，建立源节点集合与目标节点集合；(20)对全连接神经网络进行稀疏化，初始化稀疏神经网络权重参数；(30)在每个源节点的训练集数据上进行训练内部更新；在每个源节点的测试集数据上进行外部更新；(40)移除每个源节点外部更新后权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理；(50)基于源节点集合训练得到的参数在每个目标节点中的训练集数据进行梯度更新训练，并利用目标节点微调后的模型进行图像分类任务。

Description

基于稀疏神经网络的联邦元学习图像分类方法
技术领域
本发明属于边缘智能计算领域，具体为一种基于稀疏神经网络的联邦元学习图像分类方法。
背景技术
过去几十年来，智能手机的使用量急剧增加。与经典的PC设备相比，智能手机更便携，用户更容易接受。使用智能手机已经成为现代人日常生活的重要组成部分，而智能手机之间传输的数十亿数据为训练机器学习模型提供了巨大的支持。然而，传统的集中式机器学习要求本地客户端(例如智能手机用户)将数据直接上传到中央服务器进行模型训练，这可能会导致严重的私有信息泄漏。
最近提出了一种称为联邦学习的新兴技术，它允许中央服务器训练一个良好的全局模型，同时维护要在客户端设备上分发的训练数据。每个本地客户端都从服务器下载当前的全局模型，而不是直接向中央服务器发送数据，通过本地数据更新共享模型，然后将更新的全局模型上传回服务器。通过避免共享本地私有数据，可以在联邦学习中有效保护用户的隐私，而统计挑战和系统挑战成为算法设计的重要问题。对于统计挑战，由于不同设备间的离散化数据通常是高度个性化和异构的，导致训练的模型精度会显著降低。对于系统性的挑战，设备的数量通常比传统的分布式设置的设备数量大好几个数量级，此外，每个边缘设备在存储、计算和通信能力方面可能有很大的限制。
基于初始化的元学习算法，如MAML，以快速适应新任务和良好的泛化而闻名，这使得它特别适合于边缘设备数据是非iid且高度个性化的去中心化联邦设置。元学习背后的基本原理是在多个任务上训练模型的初始参数，这样，仅使用与新任务相对应的少量数据，经过预训练的模型快速适应后，在新任务上实现最大性能。受此启发，提出一种联邦元学习方法，其中所有源边缘节点协作学习全局模型初始化，以便在目标边缘节点仅使用少量数据样本更新模型参数时获得最大性能，从而实现实时边缘智能。
联邦学习需要大量的通信资源，对于联邦学习的边缘设备通信能力限制，McMahan等人提出的联邦平均(FedAvg)算法可以通过减少本地训练批量大小或增加本地训练次数来减少通信轮次，从而提高通信效率。另一种降低通信成本的方法是通过降低神经网络模型的复杂性来缩小上传的参数。进化人工神经网络的早期思想中提出了系统的神经网络编码方法，然而，其中大多数是直接编码方法，不容易扩展到具有大量层和连接的深层神经网络。为了解决这个问题，增强拓扑的神经进化(NEAT)和无向图编码提出了增强神经网络编码灵活性的方法。尽管它们能够显著提高编码效率，但NEAT和无向图方法都占用了太多的计算资源。因此，我们提出从人工神经网络的设计阶段开始追求拓扑稀疏性，这将导致连接的大幅减少，进而提高内存和计算效率。我们进而发现在人工神经网络中，Erdos Rènyi拓扑结构的稀疏连接层能在不降低精度的情况下替换完全连接的神经网络层，能减少优化包含大量连接的深层神经网络的搜索空间。
发明内容
本发明的目的在于提供一种基于稀疏神经网络的联邦元学习图像分类方法，算法性能好，效率高，能够实现快速实时边缘智能。
实现本发明目的的技术方案为：一种基于稀疏神经网络的联邦元学习图像分类方法，包括以下步骤：
(10)设置全连接神经网络节点与相关系数，建立图像分类任务的源节点集合和目标节点集合；
(20)对全连接神经网络进行稀疏化，生成稀疏神经网络；
(30)初始化稀疏神经网络权重参数，并发送给所有的源节点作为每个源节点的初始参数；
(40)基于初始参数，在每个源节点的训练集数据上进行训练，以一步梯度下降进行内部更新；
(50)基于每个源节点内部更新后得到的参数，在每个源节点的测试集数据上进行训练，以一步梯度下降进行外部更新；
(60)移除外部更新后参数的权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理：
若迭代次数t不是本地迭代次数的整数倍，则将每个源节点i外部更新后得到的参数作为每个源节点下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；
若迭代次数t是本地迭代次数的的整数倍，则在每个源节点i稀疏连接的参数中随机添加与移除的连接相等数目的随机权重参数，将每个源节点i外部更新后得到的稀疏神经网络参数进行加权聚合，将加权聚合后的全局参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；
(70)将源节点进行T次迭代后得到的参数作为每个目标节点的初始参数，以每个目标节点中的训练集数据进行梯度更新训练，得到目标节点微调后的模型参数；
(80)利用目标节点微调后的模型进行图像分类。
优选地，设置的全连接神经网络节点与相关系数具体包括：图像分类任务的源节点集合S，目标节点集合G，设置迭代总次数T，本地迭代次数T0，内部更新学习率α，外部更新学习率β，每个节点的训练集的数据占比p，稀疏神经网络参数ε。
优选地，步骤(20)中稀疏神经网络相邻两层神经元连接的概率为：
Figure BDA0003813500460000031
式中，ε是稀疏参数，，ε<<nk，ε<<nk-1，nk和nk-1是第k层和k-1层的神经元数量。
优选地，内部更新公式具体为：
Figure BDA0003813500460000032
式中，α是内部更新的学习率，
Figure BDA0003813500460000033
表示每个源节点i第t次内部更新时的初始模型参数，
Figure BDA0003813500460000034
为训练集数据，
Figure BDA0003813500460000035
是每个源节点i的期望损失函数的梯度值，
Figure BDA0003813500460000036
为每个源节点i第t次内部更新后的参数，t＝1，2，...，T为迭代次数。
优选地，节点的期望损失函数具体为：
Figure BDA0003813500460000037
其中，D表示节点的本地图像数据集{(x1,y1),...,(xj,yj),...,(xD,yD)}，|Di|表示数据集大小，l(θ,(xj,yj))表示损失函数，(xj,yj)∈D表示节点的本地图像数据集D中第j个图像数据采样点，xj是图像灰度处理后的矩阵，yj是图像类别，θ表示模型化参数。
优选地，外部更新公式具体为：
Figure BDA0003813500460000041
式中，
Figure BDA0003813500460000042
表示源节点i第t次外部更新前的参数，β是外部更新学习率，
Figure BDA0003813500460000043
是源节点i测试集数据
Figure BDA0003813500460000044
的期望损失函数的梯度值，
Figure BDA0003813500460000045
是第t次外部更新之后得到的参数。
优选地，将每个节点外部更新后得到的稀疏神经网络参数进行加权聚合的具体方法为：
Figure BDA0003813500460000046
其中，S表示所有的源节点i的集合，|Di|表示源节点i本地数据集的数据量，
Figure BDA0003813500460000047
是第t次外部更新之后得到的参数。
优选地，目标节点t微调后的模型参数φt具体为：
Figure BDA0003813500460000048
式中，α是内部更新学习率，
Figure BDA0003813500460000049
是目标节点t训练集数据
Figure BDA00038135004600000410
的期望损失函数的梯度值，θ为源节点的集合进行T次迭代后得到的外部更新后的参数。
本发明与现有技术相比，其显著优点为：
1、本发明中每个本地客户端都只与服务器传输模型参数，而不是直接向中央服务器发送数据，通过避免共享本地私有数据，可以在联邦学习中有效保护用户的隐私
2、本发明中使用的元学习方法使得特别适合于边缘设备数据是非iid且高度个性化的去中心化联邦设置，在目标节点图像识别任务中可以仅使用少量数据，经过预训练的模型在微调后，就能在目标节点上实现较好的性能。
3、本发明中稀疏神经网络的拓扑结构在优化包含大量连接的深层神经网络时减少了搜索空间，降低了通信成本与系统开销。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明基于稀疏神经网络的联邦元学习图像分类方法的主流程图。
图2是图1中源节点进行联邦元学习训练的具体流程图。
图3是图1中目标节点接收源节点训练参数后进行更新得到最终模型参数的流程图。
图4是对比联邦学习FedAvg与基于稀疏神经网络的联邦元学习FedMeta在源节点训练得到的参数传递给目标节点后，目标节点在少量次数迭代后对于图像分类任务的测试损失对比图。
图5是对比联邦学习的图像分类方法与基于稀疏神经网络的联邦元学习图像分类方法对于图像进行分类的系统开销的对比图。
具体实施方式
本发明基于稀疏神经网络的联邦元学习图像分类方法，基于以下场景来实施：
建立边缘计算的场景模型，选择图像分类任务数据集并设置将数据分配给不同的节点以模拟携带数据的边缘设备，将边缘节点分为互不相交的源节点集合S与目标节点集合G。其中源节点的数量大于目标节点的数量，每个节点的数据分为训练集与测试集两部分。
如图1所示，一种基于稀疏神经网络的联邦元学习图像分类方法，包括以下步骤：
(10)设置全连接神经网络节点与相关系数，设置图像分类任务的源节点集合S，目标节点集合G，设置迭代总次数T，本地迭代次数T0，内部更新学习率α，外部更新学习率β，每个节点的训练集的数据占比p，稀疏神经网络参数ε。
(20)对全连接神经网络进行稀疏化，生成稀疏参数为ε的Erdos Rènyi拓扑结构的神经网络，其中，相邻两层神经元连接的概率为：
Figure BDA0003813500460000051
稀疏层中的神经元连接的连接数nW为
Figure BDA0003813500460000052
其中，
Figure BDA0003813500460000053
表示的是一个
Figure BDA0003813500460000057
随机图Wk中相邻的k层和k-1层中任意两个神经元i，j的连接，ε是控制连接稀疏性的实数，ε<<nk，ε<<nk-1，nk和nk-1是第k层和k-1层的神经元数量。nW是稀疏化之后两层之间的连接总数，相对于nknk-1的全连接数，稀疏化后神经网络的连接数则显著降低。
(30)初始化稀疏神经网络权重参数，并发送给所有的源节点作为每个源节点i的初始参数。
(40)每个源节点i接收初始参数
Figure BDA0003813500460000054
基于初始参数，在每个源节点i的训练集数据
Figure BDA0003813500460000055
上进行训练，以一步梯度下降进行内部更新，更新公式具体为：
Figure BDA0003813500460000056
式中，α是内部更新的学习率，
Figure BDA0003813500460000061
表示每个源节点i第t次内部更新时的初始模型参数，
Figure BDA0003813500460000062
为训练集数据，
Figure BDA0003813500460000063
是每个源节点i的期望损失函数的梯度值，每个源节点i第t次内部更新后的参数为
Figure BDA0003813500460000064
T为迭代次数。
其中，节点的期望损失函数具体为：
Figure BDA0003813500460000065
D表示节点的本地图像数据集{(x1,y1),...,(xj,yj),...,(xD,yD)}，其中D|表示数据集大小，l(θ,(xj,yj))表示损失函数，(xj,yj)∈D表示节点的本地图像数据集D中第j个图像数据采样点，xj是图像灰度处理后的矩阵，yj是图像类别，θ表示模型化参数。
(50)基于每个源节点i第t次内部更新后得到的参数
Figure BDA0003813500460000066
在其测试集数据
Figure BDA0003813500460000067
上进行训练，以一步梯度下降进行外部更新，更新公式具体为：
Figure BDA0003813500460000068
式中，
Figure BDA0003813500460000069
表示每个源节点i第t次外部更新前的参数，β是外部更新学习率，
Figure BDA00038135004600000610
是每个源节点i测试集数据
Figure BDA00038135004600000611
的期望损失函数的梯度值，
Figure BDA00038135004600000612
是第t次外部更新之后得到的参数。
(60)移除
Figure BDA00038135004600000613
权重矩阵每层最小的正数与最大的负数。再通过判断迭代次数t是否为T0的整数倍以做出相应的处理：
若迭代次数t不是T0的整数倍，则将每个源节点i外部更新后得到的
Figure BDA00038135004600000614
作为下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)：
Figure BDA00038135004600000615
若迭代次数t是T0的整数倍，则在每个源节点稀疏连接的参数中随机添加与移除的连接相等数目的随机权重参数，再将每个源节点外部更新后得到的稀疏神经网络参数
Figure BDA00038135004600000616
传输到中央服务器进行加权聚合。
Figure BDA00038135004600000617
其中S表示所有的源节点i的集合，|Di|表示每个源节点i本地数据集的数据量。
再将加权聚合后的全局参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)。
Figure BDA0003813500460000071
(70)将源节点进行T次迭代后得到的参数θ，作为每个目标节点t的初始参数，以每个目标节点t中的训练集数据
Figure BDA0003813500460000072
进行梯度更新训练，即得到目标节点t微调后的模型参数φt。
Figure BDA0003813500460000073
式中，α是内部更新学习率，
Figure BDA0003813500460000074
是目标节点t训练集数据
Figure BDA0003813500460000075
的期望损失函数的梯度值。
(80)φt即作为每个目标节点的图像分类任务的模型参数，利用微调后的每个目标节点的图像分类任务的模型参数进行图像分类。
实施例：
选择MNIST图像数据集作为模拟实验数据，有两种拆分MNIST数据集的方法：一种是IID，其中数据被随机地分配到100个客户机中，每个客户端有600个样本；另一种是非IID，按照标记的类对整个MNIST数据集进行排序，然后将其均匀地划分为200个片段，并随机地将其中两个片段分配给每个客户端。在本模拟实验设置中，使用非IID的设置，以最大限度的体现元学习方法的性能。
在本发明的方法实验FedMeta中，对于每个节点，将本地数据集划分为一个训练集和一个测试集，稀疏参数ε＝20，总共训练次数T＝500，本地训练次数T0＝10。选择80％的节点作为源节点并在其余目标节点上评估快速自适应性能。将内部更新学习率α和外部更新元学习率β都设置为0.01。改变每个节点的训练集的数据占比，分别设置为80％，50％，5％，基于以上所有参数进行图像分类实验模拟。
利用上述数据的设置，通过FedAvg实验进行对比。FedAvg利用源节点所有数据进行联邦学习训练之后，最终得到的参数在目标节点的训练集进行更新之后再在其测试集数据中进行测试损失评估。
根据所有节点的每秒浮点计算次数，以及上传到服务器和从服务器下载的总字节数来描述系统预算，以量化对比FedAvg和FedMeta进行图像分类的通信开销。
最终实验对比结果如图4、图5所示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
应当理解，为了精简本发明并帮助本领域的技术人员理解本发明的各个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时在单个实施例中进行描述，或者参照单个图进行描述。但是，不应将本发明解释成示例性实施例中包括的特征均为本专利权利要求的必要技术特征。
应当理解，可以对本发明的一个实施例的设备中包括的模块、单元、组件等进行自适应性地改变以把它们设置在与该实施例不同的设备中。可以把实施例的设备包括的不同模块、单元或组件组合成一个模块、单元或组件，也可以把它们分成多个子模块、子单元或子组件。

Claims (8)

1.一种基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，包括以下步骤：
(10)设置全连接神经网络节点与相关系数，建立图像分类任务的源节点集合和目标节点集合；
(20)对全连接神经网络进行稀疏化，生成稀疏神经网络；
(30)初始化稀疏神经网络权重参数，并发送给所有的源节点作为每个源节点的初始参数；
(40)基于初始参数，在每个源节点的训练集数据上进行训练，以一步梯度下降进行内部更新；
(50)基于每个源节点内部更新后得到的参数，在其测试集数据上进行训练，以一步梯度下降进行外部更新；
(60)移除每个源节点i外部更新后参数的权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理：
若迭代次数t不是本地迭代次数的整数倍，则将每个源节点i外部更新后得到的参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；
若迭代次数t是本地迭代次数的的整数倍，则在每个源节点i稀疏连接的参数中随机添加与移除的连接相等数目的随机权重参数，将每个源节点i外部更新后得到的稀疏神经网络参数进行加权聚合，将加权聚合后的全局参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，返回步骤(40)；
(70)将源节点进行T次迭代后得到的参数作为每个目标节点的初始参数，以每个目标节点中的训练集数据进行梯度更新训练，得到目标节点微调后的模型参数；
(80)利用目标节点微调后的模型进行图像分类。
2.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，设置的全连接神经网络节点与相关系数具体包括：图像分类任务的源节点集合S，目标节点集合G，设置迭代总次数T，本地迭代次数T0，内部更新学习率α，外部更新学习率β，每个节点的训练集的数据占比p，稀疏神经网络参数ε。
3.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，步骤(20)中稀疏神经网络相邻两层神经元连接的概率为：
Figure FDA0003813500450000021
式中，ε是稀疏参数，，ε<<nk，ε<<nk-1，nk和nk-1是第k层和k-1层的神经元数量。
4.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，内部更新公式具体为：
Figure FDA0003813500450000022
式中，α是内部更新的学习率，
Figure FDA0003813500450000023
表示每个源节点i第t次内部更新时的初始模型参数，
Figure FDA0003813500450000024
为训练集数据，
Figure FDA0003813500450000025
是源节点i的期望损失函数的梯度值，
Figure FDA0003813500450000026
为节点i第t次内部更新后的参数，t＝1，2，...，T为迭代次数。
5.根据权利要求4所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，节点的期望损失函数具体为：
Figure FDA0003813500450000027
其中，D表示节点的本地图像数据集{(x1,y1),...,(xj,yj),...,(x|D|,y|D|)}，|Di|表示数据集大小，l(θ,(xj,yj))表示损失函数，(xj,yj)∈D表示节点的本地图像数据集D中第j个图像数据采样点，xj是图像灰度处理后的矩阵，yj是图像类别，θ表示模型化参数。
6.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，外部更新公式具体为：
Figure FDA0003813500450000028
式中，
Figure FDA0003813500450000029
表示第t次外部更新前的参数，β是外部更新学习率，
Figure FDA00038135004500000210
是每个源节点i测试集数据
Figure FDA00038135004500000211
的期望损失函数的梯度值，
Figure FDA00038135004500000212
是第t次外部更新之后得到的参数。
7.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，将每个源节点i外部更新后得到的稀疏神经网络参数进行加权聚合的具体方法为：
Figure FDA00038135004500000213
其中，S表示所有的源节点i的集合，|Di|表示每个源节点i本地数据集的数据量，
Figure FDA0003813500450000031
是第t次外部更新之后得到的参数。
8.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，目标节点t微调后的模型参数φt具体为：
Figure FDA0003813500450000032
式中，α是内部更新学习率，
Figure FDA0003813500450000033
是目标节点t训练集数据
Figure FDA0003813500450000034
的期望损失函数的梯度值，θ为源节点的集合进行T次迭代后得到的外部更新后的参数。
CN202211024183.1A 2022-08-24 2022-08-24 基于稀疏神经网络的联邦元学习图像分类方法 Pending CN115359298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024183.1A CN115359298A (zh) 2022-08-24 2022-08-24 基于稀疏神经网络的联邦元学习图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024183.1A CN115359298A (zh) 2022-08-24 2022-08-24 基于稀疏神经网络的联邦元学习图像分类方法

Publications (1)

Publication Number Publication Date
CN115359298A true CN115359298A (zh) 2022-11-18

Family

ID=84004266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024183.1A Pending CN115359298A (zh) 2022-08-24 2022-08-24 基于稀疏神经网络的联邦元学习图像分类方法

Country Status (1)

Country Link
CN (1) CN115359298A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116032431A (zh) * 2023-02-06 2023-04-28 哈尔滨工业大学（深圳） 针对分布式学习的通信压缩方法以及相关设备
CN116108364A (zh) * 2023-01-11 2023-05-12 浙江大学 一种基于元学习的集成式深度模型分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108364A (zh) * 2023-01-11 2023-05-12 浙江大学 一种基于元学习的集成式深度模型分类方法
CN116032431A (zh) * 2023-02-06 2023-04-28 哈尔滨工业大学（深圳） 针对分布式学习的通信压缩方法以及相关设备
CN116032431B (zh) * 2023-02-06 2023-09-12 哈尔滨工业大学（深圳） 针对分布式学习的通信压缩方法以及相关设备

Similar Documents

Publication Publication Date Title
Mills et al. Communication-efficient federated learning for wireless edge intelligence in IoT
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
Jiang et al. Stacked autoencoder-based deep reinforcement learning for online resource scheduling in large-scale MEC networks
CN115359298A (zh) 基于稀疏神经网络的联邦元学习图像分类方法
WO2021244081A1 (en) Methods and systems for horizontal federated learning using non-iid data
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN114357067A (zh) 一种针对数据异构性的个性化联邦元学习方法
WO2022057433A1 (zh) 一种机器学习模型的训练的方法以及相关设备
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
US20220318412A1 (en) Privacy-aware pruning in machine learning
CN111158912A (zh) 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
CN115587633A (zh) 一种基于参数分层的个性化联邦学习方法
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN115358487A (zh) 面向电力数据共享的联邦学习聚合优化系统及方法
US11632305B2 (en) Method and system for link prediction in large multiplex networks
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN115829027A (zh) 一种基于对比学习的联邦学习稀疏训练方法及系统
CN116090504A (zh) 图神经网络模型训练方法及装置、分类方法、计算设备
CN115952860A (zh) 一种面向异质统计的分簇联邦学习方法
CN116468114A (zh) 一种联邦学习方法及相关装置
Itahara et al. Lottery hypothesis based unsupervised pre-training for model compression in federated learning
Zhang et al. Federated multi-task learning with non-stationary heterogeneous data
CN112435034A (zh) 一种基于多网络图聚合的营销套利黑产的识别方法
Shermeh et al. Blind signal-type classification using a novel robust feature subset selection method and neural network classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination