CN114612715A - 基于本地差分隐私的边缘联邦图像分类方法 - Google Patents

基于本地差分隐私的边缘联邦图像分类方法 Download PDF

Info

Publication number
CN114612715A
CN114612715A CN202210220176.2A CN202210220176A CN114612715A CN 114612715 A CN114612715 A CN 114612715A CN 202210220176 A CN202210220176 A CN 202210220176A CN 114612715 A CN114612715 A CN 114612715A
Authority
CN
China
Prior art keywords
image classification
edge
equal
local
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210220176.2A
Other languages
English (en)
Inventor
姜航
王保仓
陈艳格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210220176.2A priority Critical patent/CN114612715A/zh
Publication of CN114612715A publication Critical patent/CN114612715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于本地差分隐私的边缘联邦图像分类方法,实现步骤为:构建边缘联邦学习系统;本地参与方获取训练样本集和测试样本集;参数服务器为每个本地参与方构建图像分类模型;本地参与方初始化训练参数;边缘服务器设置边缘更新参数;本地参与方对图像分类模型的权重参数进行本地优化;边缘服务器获取边缘更新后的结果并发送;参数服务器获取全局更新后的结果并发送;本地参与方获取图像分类结果。本发明在对权重参数进行本地差分隐私扰动上传的过程中,只选取部分参数扰动上传,减小了引入的噪声,提高了模型的精度,同时通过先执行边缘聚合,再执行全局聚合,减少了与参数服务器的通信轮数,进而降低了系统的通信开销。

Description

基于本地差分隐私的边缘联邦图像分类方法
技术领域
本发明属于图像处理技术领域,涉及一种图像分类方法,具体涉及一种基于本地差分隐私的边缘联邦图像分类方法。
背景技术
图像分类问题是图像处理技术领域的核心问题之一,其目的是根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来。现在主要的图像分类方法是通过卷积神经网络训练图像分类模型来实现的,但是要训练出一个好的图像分类模型需要大量的图像数据。但是用户的图像数据往往包含了大量的敏感信息,所以进行卷积神经网络模型训练时的海量图像数据交互必然会带来隐私安全问题。
基于上述原因,需要一种隐私保护的方法来支持数据共享和模型训练,于是谷歌提出了联邦学习,其主要执行流程为:参数服务器为每个本地参与方构建模型并初始化,各参与方在本地更新模型参数,并将结果发送给参数服务器,参数服务器进行全局聚合后将结果发送给各参与方,然后进行新的一轮迭代,直到损失函数收敛或者达到允许的迭代次数。尽管联邦学习可以在一定程度上保护参与方的数据隐私安全,但是已有研究表明,攻击者能够通过上传的模型参数推理出参与方的原始数据,例如,半诚实的参数服务器可以根据上传的模型参数和特定的样本判断参与方的训练集是否包含该特定的样本,从而导致参与方的隐私泄露。
例如申请公布号为CN 113642664 A,名称为“基于联邦学习的隐私保护图像分类方法”的专利申请,公开了一种基于联邦学习的隐私保护图像分类方法,该方法步骤主要包括:服务器获取公共数据并预处理;服务器初始化并通过洗牌器下发数据至各客户端;客户端训练本地神经网络;洗牌器随机子采样客户端;子采样客户端预测公共数据,扰动并加密后发送给洗牌器;洗牌器伪造并随机排列预测后发送匿名预测给服务器;服务器聚合匿名预测并训练全局神经网络;服务器将训练好的全局神经网络下发至各客户端;客户端利用训练好的全局神经网络进行图像分类。
然而,由于联邦学习本身通信开销大,现有技术在训练过程中引入洗牌器进一步增加了通信开销。因此,需要一种能够降低通信开销的方法,而边缘计算具有低延迟和低带宽运行的优点,通过利用边缘服务器进行边缘聚合,减少本地参与方与参数服务器的通信轮数,可以有效地降低通信开销。同时,本地参与方的参数量大,如果全都使用差分隐私扰动后上传,会导致分配到每个参数上的隐私预算变小,引入的噪声变大,从而使得最终训练的模型精度变低。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于本地差分隐私的边缘联邦图像分类方法,在保证训练数据隐私安全的同时,降低系统的通信开销和提高图像分类模型的精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其中,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;
(2)本地参与方获取训练样本集和测试样本集:
每个本地参与方Pj,i获取包含C个目标类别的N幅图像,并对每幅图像的目标进行标注后,将其中半数以上的图像及其标签组成训练样本集
Figure BDA0003536923570000021
将剩余的图像及其标签组成测试样本集
Figure BDA0003536923570000022
其中,C≥2,N≥200;
(3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
(4)本地参与方初始化训练参数:
每个本地参与方Pj,i初始化迭代次数为t,最大迭代次数为T,T≥50,每个图像分类模型Hj,i的权重参数为
Figure BDA0003536923570000031
的参数数量为d,d≥10000,令t=1;
(5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;
(6)本地参与方对图像分类模型的权重参数进行本地优化:
(6a)每个本地参与方Pj,i将训练样本集
Figure BDA0003536923570000032
中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
Figure BDA0003536923570000033
(6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值
Figure BDA0003536923570000034
及其对应的真实标签值
Figure BDA0003536923570000035
计算图像分类模型Hj,i的损失值
Figure BDA0003536923570000036
然后求取
Figure BDA0003536923570000037
对Hj,i的权重参数
Figure BDA0003536923570000038
的偏导数
Figure BDA0003536923570000039
采用随机梯度下降算法通过
Figure BDA00035369235700000310
对图像分类模型Hj,i的权重参数
Figure BDA00035369235700000311
进行更新,得到本次迭代的权重参数
Figure BDA00035369235700000312
(6c)每个本地参与方Pj,i筛选出权重参数
Figure BDA00035369235700000313
中绝对值最大的m个参数
Figure BDA00035369235700000314
并采用本地差分隐私算法对每个参数vs进行扰动,得到扰动后的参数集合
Figure BDA00035369235700000315
然后将
Figure BDA00035369235700000316
上传到对应的边缘服务器Ej
(7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数
Figure BDA00035369235700000317
进行聚合,得到
Figure BDA00035369235700000318
的聚合结果
Figure BDA00035369235700000319
并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果
Figure BDA00035369235700000320
以及对应的图像分类模型H'j,并将
Figure BDA00035369235700000321
发送到参数服务器后,执行步骤(8),否则,令k=k+1,
Figure BDA00035369235700000322
Hj,i=H'j,并执行步骤(6);
(8)参数服务器获取全局更新后的结果并发送:
参数服务器对上传的
Figure BDA0003536923570000041
进行聚合,得到
Figure BDA0003536923570000042
的聚合结果wt,并判断t≥T是否成立,若是,得到训练好的图像分类模型H'并发送给每个本地参与方Pj,i,否则,令t=t+1,
Figure BDA0003536923570000043
Hj,i=H',并执行步骤(5);
(9)本地参与方获取图像分类结果:
每个本地参与方Pj,i将测试样本集
Figure BDA0003536923570000044
作为训练好的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签值。
本发明与现有技术相比,具有如下优点:
1.本发明在对每个本地参与方的图像分类模型进行训练以及获取图像分类结果的过程中,首先对每个模型的权重参数进行更新,然后选取更新后的绝对值最大的部分参数,并采用本地差分隐私算法对其进行扰动,从而解决了由本地差分隐私对全部参数进行扰动所引入的噪声大,降低模型精度的问题,有效地提高了最终图像分类模型的精度。
2.本发明在对每个本地参与方的图像分类模型的权重参数进行扰动上传的过程中,首先将扰动的权重参数上传到边缘服务器进行边缘聚合,然后将边缘聚合后的结果上传到参数服务器进行全局聚合,从而减少了本地参与方与参数服务器之间的通信轮数,有效地降低了系统的通信开销。
附图说明
图1为本发明的实现流程图;
图2为本发明构建的边缘联邦学习系统结构示意图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,本发明包括如下步骤:
步骤1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其结构如图2所示,其中,S表示参数服务器,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;本实施例中J=5,I=10。
步骤2)本地参与方获取训练样本集和测试样本集:
每个本地参与方Pj,i获取包含C个目标类别的N幅图像,并对每幅图像的目标进行标注后,将其中半数以上的图像及其标签组成训练样本集
Figure BDA0003536923570000051
将剩余的图像及其标签组成测试样本集
Figure BDA0003536923570000052
其中,C≥2,N≥200;
在本实施例中,使用MNIST手写数字图像数据集,该数据集对应的标签是0-9的数字,令C=10,MNIST数据集中包括60000个训练图像样本和10000个测试图像样本,每个图像样本是一个大小为28×28的灰度图像,实施例设置每个本地参与方Pj,i拥有1200个训练图像样本和200个测试图像样本。
步骤3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
在本实施例中,隐藏层中卷积层-ReLU层-池化层的个数l=2,该2个卷积层-ReLU层-池化层中卷积层卷积核大小均为5,步长均为1;
第一个卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6;
第二个卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16;
输出层包括的全连接层的个数为3,第一个全连接层的输入为400,输出为120,第二个全连接层的输入为120,输出为84,第三个全连接层的输入为84,输出为10。
步骤4)本地参与方初始化训练参数:
每个本地参与方Pj,i初始化迭代次数为t,最大迭代次数为T,T≥50,每个图像分类模型Hj,i的权重参数为
Figure BDA0003536923570000053
的参数数量为d,d≥10000,令t=1;在本实施例中,d=61706,T=50。
步骤5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;在本实施例中,K=10。
步骤6)本地参与方对图像分类模型的权重参数进行本地优化:
步骤6a)每个本地参与方Pj,i将训练样本集
Figure BDA0003536923570000061
中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
Figure BDA0003536923570000062
在本实施例中,B=20,每个输入的训练样本通过第一个卷积层-ReLU层-池化层时,由卷积层进行特征提取得到6个28×28的特征,由池化层进行特征压缩得到6个14×14的特征,然后通过第二个卷积层-ReLU层-池化层时,由卷积层进行特征提取得到16个10×10的特征,由池化层进行特征压缩得到16个5×5的特征,最后通过3个全连接层对池化层后的结果进行分类,得到20个预测标签。
步骤6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值
Figure BDA0003536923570000063
及其对应的真实标签值
Figure BDA0003536923570000064
计算图像分类模型Hj,i的损失值
Figure BDA0003536923570000065
然后求取
Figure BDA0003536923570000066
对Hj,i的权重参数
Figure BDA0003536923570000067
的偏导数
Figure BDA0003536923570000068
采用随机梯度下降算法通过
Figure BDA0003536923570000069
对图像分类模型Hj,i的权重参数
Figure BDA00035369235700000610
进行更新,得到本次迭代的权重参数
Figure BDA00035369235700000611
在该步骤中,每个本地参与方Pj,i计算图像分类模型Hj,i的损失值
Figure BDA00035369235700000612
以及对图像分类模型Hj,i的权重参数
Figure BDA00035369235700000613
进行更新,计算、更新公式分别为:
Figure BDA00035369235700000614
Figure BDA00035369235700000615
其中η表示学习率,0.001≤η≤1,
Figure BDA00035369235700000616
表示梯度算子。
步骤6c)每个本地参与方Pj,i筛选出权重参数
Figure BDA00035369235700000617
中绝对值最大的m个参数
Figure BDA0003536923570000071
并采用本地差分隐私算法对每个参数vs进行扰动,得到扰动后的参数集合
Figure BDA0003536923570000072
然后将
Figure BDA0003536923570000073
上传到对应的边缘服务器Ej
在该步骤中,图像分类模型的权重参数有d=61706个取值,若全部通过差分隐私扰动后上传,则会使得分配到每一个参数上的隐私预算变小,引入的噪声变大,导致最终的图像分类模型精度变低。已有研究表明,绝对值越大的参数对模型的训练影响越大,只上传部分参数不会影响最终模型的精度,甚至还会提高模型的精度。在本实施例中,m=15426。
本步骤中采用本地差分隐私算法对每个参数vs进行扰动,扰动公式为:
Figure BDA0003536923570000074
其中
Figure BDA0003536923570000075
表示本地差分隐私算法,ε表示隐私预算,0.1≤ε≤1,w.p.表示以概率。
本地差分隐私能够通过参数ε为本地参与方提供量化的隐私保护,攻击者无法通过扰动后的值推理出参与方的原始数据,ε设置的越小,隐私保护的效果越好。在本实施例中,ε=0.5。
对于本地差分隐私算法
Figure BDA0003536923570000076
其需要满足本地差分隐私的定义:对于任意两个输入值v和v',输出值o,满足
Figure BDA0003536923570000077
其中Pr[·]表示概率。为了满足本地差分隐私的定义,通过随机响应技术将原始数据[-1,1]映射到概率区间
Figure BDA0003536923570000078
得到线性映射关系,然后通过映射的概率值返回扰动值Q、0、R中的一个。为了满足扰动值对原始数据的无偏性
Figure BDA0003536923570000079
可以计算得到
Figure BDA00035369235700000710
Figure BDA00035369235700000711
其中
Figure BDA00035369235700000712
表示期望。
步骤7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数
Figure BDA0003536923570000081
进行聚合,得到
Figure BDA0003536923570000082
的聚合结果
Figure BDA0003536923570000083
并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果
Figure BDA0003536923570000084
以及对应的图像分类模型H'j,并将
Figure BDA0003536923570000085
发送到参数服务器后,执行步骤(8),否则,令k=k+1,
Figure BDA0003536923570000086
Hj,i=H'j,并执行步骤(6);
在本步骤中,边缘服务器Ej对权重参数
Figure BDA0003536923570000087
的聚合公式为:
Figure BDA0003536923570000088
边缘服务器是在靠近本地参与方的网络边缘侧,具有低带宽运行和低延时的优点,本地参与方将扰动的权重参数上传到边缘服务器进行聚合,能够减少与参数服务器的通信轮数。同时,在聚合的过程中,由于扰动值对原始值满足无偏性,因此聚合后不再需要其它的操作。
步骤8)参数服务器获取全局更新后的结果并发送:
参数服务器对上传的
Figure BDA0003536923570000089
进行聚合,得到
Figure BDA00035369235700000810
的聚合结果wt,并判断t≥T是否成立,若是,得到训练好的图像分类模型H'并发送给每个本地参与方Pj,i,否则,令t=t+1,
Figure BDA00035369235700000811
Hj,i=H',并执行步骤(5);
在本步骤中,参数服务器对权重参数
Figure BDA00035369235700000812
的聚合公式为:
Figure BDA00035369235700000813
步骤9)本地参与方获取图像分类结果:
每个本地参与方Pj,i将测试样本集
Figure BDA00035369235700000814
作为训练好的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签值。
在本步骤中,所有本地参与方得到的图像分类准确率为98.11%。

Claims (4)

1.一种基于本地差分隐私的边缘联邦图像分类方法,其特征在于,包括如下步骤:
(1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其中,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;
(2)本地参与方获取训练样本集和测试样本集:
每个本地参与方Pj,i获取包含C个目标类别的N幅图像,并对每幅图像的目标进行标注后,将其中半数以上的图像及其标签组成训练样本集
Figure FDA0003536923560000011
将剩余的图像及其标签组成测试样本集
Figure FDA0003536923560000012
其中,C≥2,N≥200;
(3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
(4)本地参与方初始化训练参数:
每个本地参与方Pj,i初始化迭代次数为t,最大迭代次数为T,T≥50,每个图像分类模型Hj,i的权重参数为
Figure FDA0003536923560000013
Figure FDA0003536923560000014
的参数数量为d,d≥10000,令t=1;
(5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;
(6)本地参与方对图像分类模型的权重参数进行本地优化:
(6a)每个本地参与方Pj,i将训练样本集
Figure FDA0003536923560000021
中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
Figure FDA0003536923560000022
(6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值
Figure FDA0003536923560000023
及其对应的真实标签值
Figure FDA0003536923560000024
计算图像分类模型Hj,i的损失值
Figure FDA0003536923560000025
然后求取
Figure FDA0003536923560000026
对Hj,i的权重参数
Figure FDA0003536923560000027
的偏导数
Figure FDA0003536923560000028
采用随机梯度下降算法通过
Figure FDA0003536923560000029
对图像分类模型Hj,i的权重参数
Figure FDA00035369235600000210
进行更新,得到本次迭代的权重参数
Figure FDA00035369235600000211
(6c)每个本地参与方Pj,i筛选出权重参数
Figure FDA00035369235600000212
中绝对值最大的m个参数
Figure FDA00035369235600000213
并采用本地差分隐私算法对每个参数vs进行扰动,得到扰动后的参数集合
Figure FDA00035369235600000214
然后将
Figure FDA00035369235600000215
上传到对应的边缘服务器Ej
(7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数
Figure FDA00035369235600000216
进行聚合,得到
Figure FDA00035369235600000217
的聚合结果
Figure FDA00035369235600000218
并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果
Figure FDA00035369235600000219
以及对应的图像分类模型H'j,并将
Figure FDA00035369235600000220
发送到参数服务器后,执行步骤(8),否则,令k=k+1,
Figure FDA00035369235600000221
Hj,i=H'j,并执行步骤(6);
(8)参数服务器获取全局更新后的结果并发送:
参数服务器对上传的
Figure FDA00035369235600000222
进行聚合,得到
Figure FDA00035369235600000223
的聚合结果wt,并判断t≥T是否成立,若是,得到训练好的图像分类模型H'并发送给每个本地参与方Pj,i,否则,令t=t+1,
Figure FDA00035369235600000224
Hj,i=H',并执行步骤(5);
(9)本地参与方获取图像分类结果:
每个本地参与方Pj,i将测试样本集
Figure FDA0003536923560000031
作为训练好的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签值。
2.根据权利要求1所述的基于本地差分隐私的边缘联邦图像分类方法,其特征在于,步骤(3)中所述的图像分类卷积神经网络模型Hj,i,其中:
隐藏层中卷积层-ReLU层-池化层的个数l=2,该2个卷积层-ReLU层-池化层中卷积层卷积核大小均为5,步长均为1;第一个卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6;第二个卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16;
输出层包括的全连接层的个数为3。
3.根据权利要求1所述的基于本地差分隐私的边缘联邦图像分类方法,其特征在于,步骤(6b)中所述的计算图像分类模型Hj,i的损失值
Figure FDA0003536923560000032
以及对图像分类模型Hj,i的权重参数
Figure FDA0003536923560000033
进行更新,计算、更新公式分别为:
Figure FDA0003536923560000034
Figure FDA0003536923560000035
其中η表示学习率,0.001≤η≤1,
Figure FDA0003536923560000036
表示梯度算子。
4.根据权利要求1所述的基于本地差分隐私的边缘联邦图像分类方法,其特征在于,步骤(6c)中所述的采用本地差分隐私算法对每个参数vs进行扰动,扰动公式为:
Figure FDA0003536923560000041
其中
Figure FDA0003536923560000042
表示本地差分隐私算法,ε表示隐私预算,0.1≤ε≤1,w.p.表示以概率。
CN202210220176.2A 2022-03-08 2022-03-08 基于本地差分隐私的边缘联邦图像分类方法 Pending CN114612715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210220176.2A CN114612715A (zh) 2022-03-08 2022-03-08 基于本地差分隐私的边缘联邦图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210220176.2A CN114612715A (zh) 2022-03-08 2022-03-08 基于本地差分隐私的边缘联邦图像分类方法

Publications (1)

Publication Number Publication Date
CN114612715A true CN114612715A (zh) 2022-06-10

Family

ID=81860337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210220176.2A Pending CN114612715A (zh) 2022-03-08 2022-03-08 基于本地差分隐私的边缘联邦图像分类方法

Country Status (1)

Country Link
CN (1) CN114612715A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424079A (zh) * 2022-09-30 2022-12-02 深圳市大数据研究院 基于联邦边缘学习的图像分类方法以及相关设备
CN116148193A (zh) * 2023-04-18 2023-05-23 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116596865A (zh) * 2023-05-05 2023-08-15 深圳市大数据研究院 缺陷检测方法、系统及机器人
CN116611118A (zh) * 2023-07-21 2023-08-18 北京智芯微电子科技有限公司 基于改进差分隐私的数据隐私保护模型的构建方法、装置
CN116863309A (zh) * 2023-09-04 2023-10-10 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424079A (zh) * 2022-09-30 2022-12-02 深圳市大数据研究院 基于联邦边缘学习的图像分类方法以及相关设备
CN115424079B (zh) * 2022-09-30 2023-11-24 深圳市大数据研究院 基于联邦边缘学习的图像分类方法以及相关设备
CN116148193A (zh) * 2023-04-18 2023-05-23 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116148193B (zh) * 2023-04-18 2023-07-18 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116596865A (zh) * 2023-05-05 2023-08-15 深圳市大数据研究院 缺陷检测方法、系统及机器人
CN116596865B (zh) * 2023-05-05 2024-04-16 深圳市大数据研究院 缺陷检测方法、系统及机器人
CN116611118A (zh) * 2023-07-21 2023-08-18 北京智芯微电子科技有限公司 基于改进差分隐私的数据隐私保护模型的构建方法、装置
CN116863309A (zh) * 2023-09-04 2023-10-10 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质
CN116863309B (zh) * 2023-09-04 2024-01-09 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114612715A (zh) 基于本地差分隐私的边缘联邦图像分类方法
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN111526119B (zh) 异常流量检测方法、装置、电子设备和计算机可读介质
CN113850272A (zh) 基于本地差分隐私的联邦学习图像分类方法
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN114514519A (zh) 使用异构模型类型和架构的联合学习
CN115062710A (zh) 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN109919202A (zh) 分类模型训练方法及装置
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN112163450A (zh) 基于s3d学习算法的高频地波雷达船只目标检测方法
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN114496083A (zh) 细胞类型确定方法、装置、设备以及存储介质
CN114584406B (zh) 一种联邦学习的工业大数据隐私保护系统及方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN112995414B (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN114445121A (zh) 一种广告点击率预测模型构建及广告点击率预测方法
CN112801107A (zh) 一种图像分割方法和电子设备
CN110210562B (zh) 基于深度网络和稀疏Fisher矢量的图像分类方法
CN115358418A (zh) 基于模型扰动的联邦学习分类模型训练方法
CN115987730A (zh) 基于树状感知融合卷积网络的信号调制识别方法
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination