CN113850272A - 基于本地差分隐私的联邦学习图像分类方法 - Google Patents

基于本地差分隐私的联邦学习图像分类方法 Download PDF

Info

Publication number
CN113850272A
CN113850272A CN202111059634.0A CN202111059634A CN113850272A CN 113850272 A CN113850272 A CN 113850272A CN 202111059634 A CN202111059634 A CN 202111059634A CN 113850272 A CN113850272 A CN 113850272A
Authority
CN
China
Prior art keywords
image classification
local client
equal
neural network
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111059634.0A
Other languages
English (en)
Other versions
CN113850272B (zh
Inventor
朱笑岩
王亚杰
张琳杰
马建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111059634.0A priority Critical patent/CN113850272B/zh
Publication of CN113850272A publication Critical patent/CN113850272A/zh
Application granted granted Critical
Publication of CN113850272B publication Critical patent/CN113850272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于本地差分隐私的联邦学习图像分类方法,实现步骤为:构建联邦学习场景模型;本地客户端获取训练样本集和测试样本集;构建基于卷积神经网络的图像分类模型;本地客户端初始化参数;本地客户端对基于卷积神经网络的图像分类模型的权重参数进行本地更新;本地客户端对权重参数进行本地差分隐私扰动并上传;中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送;中心服务器获取训练好的基于卷积神经网络的图像分类模型;本地客户端获取图像分类结果。本发明通过对本地更新后的权重参数进行本地差分隐私扰动后,再全局更新,降低了计算存储开销,进而提高了训练效率,且适用于不同隐私保护需求场景的图像分类。

Description

基于本地差分隐私的联邦学习图像分类方法
技术领域
本发明属于图像处理技术领域,涉及一种基于本地差分隐私的联邦学习图像分类方法,可用于医学图像分类。
背景技术
图像分类是一种根据不同类别的目标各自在图像信息中所反映的不同特征,把不同类别的图像区分开来的图像处理方法。现在主要的图像分类方法是通过训练卷积神经网络模型实现的,其需要大量的训练图像数据,但用户的图像数据包含了大量用户隐私信息,所以进行卷积神经网络模型训练时的海量图像数据交互必然会带来隐私安全问题。例如在医疗领域,由于医疗数据是非常敏感的,通常包含个人隐私信息,在多个医疗机构进行数据共享的过程中,就会导致病人的隐私泄露。
基于上述原因,需要一种隐私保护的方法来支持数据共享、模型训练,谷歌于2016年提出了联邦学习,其主要流程为:服务器随机为全局模型参数赋值以进行初始化,并将模型分发给各个参与方,各参与方在本地利用自己的数据训练模型,然后将模型更新的参数发送回服务器,服务器据此更新全局模型并再次分发给各参与方,然后再进行新一轮的迭代更新。联邦学习作为一种隐私保护的分布式框架,可在各个参与方不共享本地数据,仅通过上传模型参数更新实现模型构建,可以在一定程度上保证训练数据的隐私和安全。然而,已有研究表明,攻击者能通过上传更新的模型参数反推出参与方的本地原始数据,例如,服务器有能力利用聚合结果去分析获取参与方上传数据的统计特征,仍会导致参与方的隐私泄漏,因而如何保护各参与方共享的模型参数是一个重要问题。
例如申请公布号为CN 112949741 A,名称为“基于同态加密的卷积神经网络图像分类方法”的专利申请,公开了一种基于同态加密的卷积神经网络图像分类方法,该方法步骤主要包括:构建多方深度学习场景模型;参数服务器初始化加密参数;每个用户生成自己的公钥和私钥;参数服务器生成自己的公钥和私钥;辅助服务器生成自己的公钥和私钥,以及联合公钥;每个用户获取训练图像样本集和测试图像样本集;参数服务器构建卷积神经网络模型,并初始化训练参数;用户P获取梯度向量密文并上传;参数服务器对梯度密文向量进行聚合;参数服务器和辅助服务器对聚合梯度向量密文进行同态重加密;用户P获取卷积神经网络模型的训练结果;每个用户获取图像分类结果。由于卷积神经网络模型训练本身是一项计算密集型的任务,计算以及通信开销大,即使没有加密,也需要高吞吐量的计算单元,而同态加密带来高昂的计算和通信开销且需要额外的辅助服务器。
发明内容
本发明的目的在于针对上述现有技术的不足,提出了一种基于本地差分隐私的联邦学习图像分类方法,在保证训练数据的隐私和安全以及分类精度的前提下,降低计算存储开销。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建联邦学习场景模型:
构建包括中心服务器和I个本地客户端L={Li|1≤i≤I}的联邦学习场景模型,其中,I≥2,Li表示第i个本地客户端;
(2)本地客户端获取训练样本集和测试样本集:
每个本地客户端Li获取包含M个目标类别的N幅图像,并对每幅图像进行标注,然后将半数以上图像及其标签作为训练样本集,将剩余的图像及其标签作为测试样本集其中,M≥2,N≥500;
(3)构建基于卷积神经网络的图像分类模型H:
本地客户端L构建基于卷积神经网络的图像分类模型,卷积神经网络包括依次层叠的输入层、m个卷积层-ReLU层-池化层、输出层,其中m≥2,输出层包括依次层叠的多个全连接层;
(4)本地客户端L初始化参数:
本地客户端L初始化迭代次数为t,最大迭代次数为T,T≥50,当前基于卷积神经网络的图像分类模型为Ht,Ht的权重参数为wt,wt的参数值数量为k,k≥10000,并令t=0,Ht=H;
(5)本地客户端L对基于卷积神经网络的图像分类模型H的权重参数进行本地更新:
(5a)本地客户端L将从训练样本集中有放回且随机选取的c·N个训练样本作为当前基于卷积神经网络的图像分类模型Ht的输入进行前向传播,得到预测标签集合
Figure BDA0003255907610000031
其中,c为采样因子,
Figure BDA0003255907610000032
表示第q个训练样本对应的预测标签,1≤q≤c·N;
(5b)本地客户端L采用交叉熵损失函数,并通过每个预测标签
Figure BDA0003255907610000033
和其对应的真实标签
Figure BDA0003255907610000034
计算图像分类模型Ht的损失值
Figure BDA00032559076100000312
然后求取
Figure BDA00032559076100000313
对Ht的权重参数wt的偏导
Figure BDA0003255907610000035
再采用随机梯度下降法,通过将
Figure BDA0003255907610000036
在Ht中进行反向传播的方式对wt进行更新,得到本地更新后的权重参数Δiwt
(6)本地客户端L对权重参数Δiwt进行本地差分隐私扰动并上传:
(6a)每个本地客户端Li选取更新后的权重参数Δiwt中绝对值最大的θuk个参数,并求取所选取的每个参数与Δiwt中绝对值最大的值C的商,得到标准化的扰动输入值
Figure BDA0003255907610000037
其中θu表示选择参数因子,0.01≤θu≤1,xj表示第j个扰动输入值,1≤j≤θuk;
(6b)每个本地客户端Li对每个扰动输入值xj生成随机数ut∈[0,1],并判断
Figure BDA0003255907610000038
是否成立,若是,从区间
Figure BDA0003255907610000039
中均匀采集xj的扰动输出值yj,否则,从区间
Figure BDA00032559076100000310
中均匀采集xj的扰动输出值yj,其中,A表示扰动输出的边界,
Figure BDA00032559076100000311
ε表示隐私预算,0.1≤ε≤10;
(6c)本地客户端L将θuk个扰动输出值组合成上传向量
Figure BDA0003255907610000041
并将
Figure BDA0003255907610000042
上传至中心服务器;
(7)中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送:
中心服务器对上传向量
Figure BDA0003255907610000043
进行聚合,得到
Figure BDA0003255907610000044
的聚合结果
Figure BDA0003255907610000045
实现对本地更新后的权重参数Δiwt的全局更新,并将权重参数wt经过本地更新以及全局更新后的图像分类模型
Figure BDA0003255907610000046
发送至每个本地客户端Li
(8)中心服务器获取训练好的基于卷积神经网络的图像分类模型:
中心服务器判断t≥T是否成立,若是,得到训练好的基于卷积神经网络的图像分类模型H',若否,令t=t+1,
Figure BDA0003255907610000047
并执行步骤(5);
(9)本地客户端获取图像分类结果:
每个本地客户端Li将测试样本集作为训练好的基于卷积神经网络的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签。
本发明与现有技术相比,具有以下优点:
第一:本发明本地客户端通过选择图像分类模型本地更新后的权重参数中部分权重参数组成上传向量,实现对权重参数的本地差分隐私扰动,中心服务器然后对上传向量进行聚合,实现对本地更新后的权重参数的全局更新,避免了现有技术频繁的加解密过程,降低了计算存储开销,在保证训练数据的隐私和安全以及分类精度的前提下,有效地提高了卷积神经网络模型训练效率。
第二:本发明本地客户端在对本地更新后的权重参数进行本地差分隐私扰动的过程中,可以通过选择不同大小的隐私预算,确定采集扰动输入值对应输出值的区间,能够实现对隐私保护程度的控制,适用于不同隐私保护需求场景的图像分类。
附图说明
图1为本发明的实现流程图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,本发明包括如下步骤:
步骤1)构建联邦学习场景模型:
构建包括中心服务器和I个本地客户端L={Li|1≤i≤I}的联邦学习场景模型,其中,I≥2,Li表示第i个本地客户端;在本实施例中I=10。
步骤2)本地客户端获取训练样本集和测试样本集:
每个本地客户端Li获取包含M个目标类别的N幅图像,并对每幅图像进行标注,然后将半数以上图像及其标签作为训练样本集,将剩余的图像及其标签作为测试样本集其中,M≥2,N≥500;
在本实施例中,使用MNIST手写数字图像数据集,该数据集对应的标签是0-9的数字,令M=10,MNIST数据集中包括60000个训练图像样本和10000个测试图像样本,每个图像样本是一个大小为28×28的灰度图像,将数据集分割为10部分,作为10个本地客户端进行本地训练,为每个本地客户端平均分配训练样本和测试样本。
步骤3)构建基于卷积神经网络的图像分类模型H:
本地客户端L构建基于卷积神经网络的图像分类模型,卷积神经网络包括依次层叠的输入层、m个卷积层-ReLU层-池化层、输出层,其中m≥2,输出层包括依次层叠的多个全连接层;
在本实施例中,卷积层-ReLU层-池化层的层数为2,全连接层的层数为3,2个卷积层-ReLU层-池化层中卷积层卷积核的大小均为5,步长均为1,第一卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6,第二卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16。第一全连接层的的输入为400,输出为120,第二全连接层的输入为120,输出为84,第三全连接层的输入为84,输出为10。
步骤4)本地客户端L初始化参数:
本地客户端L初始化迭代次数为t,最大迭代次数为T,T≥50,当前基于卷积神经网络的图像分类模型为Ht,Ht的权重参数为wt,wt的参数值数量为k,k≥10000,并令t=0,Ht=H;在本实施例中T=100,k=61706。
步骤5)本地客户端L对基于卷积神经网络的图像分类模型H的权重参数进行本地更新:
步骤5a)本地客户端L将从训练样本集中有放回且随机选取的c·N个训练样本作为当前基于卷积神经网络的图像分类模型Ht的输入进行前向传播,得到预测标签集合
Figure BDA0003255907610000061
其中,c为采样因子,
Figure BDA0003255907610000062
表示第q个训练样本对应的预测标签,1≤q≤c·N;
在该步骤中,通过第一层卷积,获得6个28×28的特征图,然后进行池化减小特征维度,获得6个14×14的特征图,再进行第二层卷积与池化操作,最后通过三个全连接层对池化层进行分类,获得10个预测标签。
步骤5b)本地客户端L采用交叉熵损失函数,并通过每个预测标签
Figure BDA0003255907610000063
和其对应的真实标签
Figure BDA0003255907610000064
计算图像分类模型Ht的损失值
Figure BDA00032559076100000610
然后求取
Figure BDA00032559076100000611
对Ht的权重参数wt的偏导
Figure BDA0003255907610000065
再采用随机梯度下降法,通过将
Figure BDA0003255907610000066
在Ht中进行反向传播的方式对wt进行更新,得到本地更新后的权重参数Δiwt
在该步骤中,本地客户端L计算图像分类模型Ht的损失值
Figure BDA00032559076100000612
对Ht的权重参数wt进行更新,计算、更新公式分别为:
Figure BDA0003255907610000067
Figure BDA0003255907610000068
其中α为学习率,0.001≤α≤1,ln表示以自然常数e为底的对数,
Figure BDA0003255907610000069
表示梯度算子,本实施例中α=0.01。
步骤6)本地客户端L对权重参数Δiwt进行本地差分隐私扰动并上传:
步骤6a)每个本地客户端Li选取更新后的权重参数Δiwt中绝对值最大的θuk个参数,并求取所选取的每个参数与Δiwt中绝对值最大的值C的商,得到标准化的扰动输入值
Figure BDA0003255907610000071
其中θu表示选择参数因子,0.01≤θu≤1,xj表示第j个扰动输入值,1≤j≤θuk;
在该步骤中,图像分类模型的权重参数包含k=61706个取值,若全部上传,会带来高昂的计算和通信开销,研究表明,上传1%的权重参数值即可使模型得到很好的收敛且绝对值越大的参数值对模型训练影响越大。在对参数值扰动前,需要将参数值标准化到[-1,1]区间,这样可以减小扰动带来的误差。在本实施例中选择参数因子θu=0.01。
步骤6b)每个本地客户端Li对每个扰动输入值xj生成随机数ut∈[0,1],并判断
Figure BDA0003255907610000072
是否成立,若是,从区间
Figure BDA0003255907610000073
中均匀采集xj的扰动输出值yj,否则,从区间
Figure BDA0003255907610000074
中均匀采集xj的扰动输出值yj,其中,A表示扰动输出的边界,
Figure BDA0003255907610000075
ε表示隐私预算,0.1≤ε≤10;
本地差分隐私保护的充分考虑了数据上传过程和中心服务器泄露本地数据的可能性,为本地数据提供可量化的隐私保护,其通过隐私预算ε调节所需隐私保护程度。ε越小,隐私保护程度越好,数据泄露概率越低。在本实施例中,令ε=1。
在该步骤中,本地差分隐私要求一个扰动方法F,对任意两个输入值xj和x′j,输出值yj,都需要满足
Figure BDA0003255907610000076
且需要保证扰动输出值的概率密度函数全域积分为1,因而需要界定扰动输出值范围为[-A,A]。
通过构建
Figure BDA0003255907610000081
其中pdf(yj=z∣xj)表示扰动输出值的概率密度函数,left(xj)表示高概率输出段的左边界,right(xj)表示高概率输出段的右边界,p表示高概率输出段的概率值,通过上述两个限制及xj=0、xj=1的特例计算得到
Figure BDA0003255907610000082
Figure BDA0003255907610000083
可以验证是满足上述隐私限定与概率限定的。
步骤6c)本地客户端L将θuk个扰动输出值组合成上传向量
Figure BDA0003255907610000084
并将
Figure BDA0003255907610000085
上传至中心服务器;
在该步骤中,上传向量为
Figure BDA0003255907610000086
即使在数据上传过程或在中心服务器泄露上传向量,攻击者获取
Figure BDA0003255907610000087
由于本地差分隐私噪声的存在,攻击者无法推断本地客户端模型。
步骤7)中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送:
中心服务器对上传向量
Figure BDA0003255907610000088
进行聚合,得到
Figure BDA0003255907610000089
的聚合结果
Figure BDA00032559076100000810
实现对本地更新后的权重参数Δiwt的全局更新,并将权重参数wt经过本地更新以及全局更新后的图像分类模型
Figure BDA00032559076100000811
发送至每个本地客户端Li
在该步骤中,聚合公式为
Figure BDA00032559076100000812
对于任意给定的输入值xj∈[-1,1],由上述概率密度函数
Figure BDA00032559076100000813
计算输入值xj对应输出值yj的数学期望
Figure BDA00032559076100000814
可以得到E[yj]=xj,这说明对权值参数值的扰动是无偏的,因而在聚合时不需要额外的操作。
步骤8)中心服务器获取训练好的基于卷积神经网络的图像分类模型:
中心服务器判断t≥T是否成立,若是,得到训练好的基于卷积神经网络的图像分类模型H',若否,令t=t+1,
Figure BDA0003255907610000091
并执行步骤(5);
步骤9)本地客户端获取图像分类结果:
每个本地客户端Li将测试样本集作为训练好的基于卷积神经网络的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签。
在该步骤中,所有本地客户端得到的平均分类准确率为94%,分类准确率与现有方法相当。现有方法使用同态加密的流程主要包括密钥生成、同态加密、同态赋值以及同态解密。在基于卷积神经网络的图像分类模型训练过程中,由于存在大量权重参数值,加解密过程耗费大量计算资源,而本发明只需上传的每个权重参数值扰动一次即可,且计算的过程仅为简单的数值计算,又因为本发明不需要额外的辅助服务器,因此降低了计算存储开销。

Claims (4)

1.一种基于本地差分隐私的联邦学习图像分类方法,其特征在于,包括如下步骤:
(1)构建联邦学习场景模型:
构建包括中心服务器和I个本地客户端L={Li|1≤i≤I}的联邦学习场景模型,其中,I≥2,Li表示第i个本地客户端;
(2)本地客户端获取训练样本集和测试样本集:
每个本地客户端Li获取包含M个目标类别的N幅图像,并对每幅图像进行标注,然后将半数以上图像及其标签作为训练样本集,将剩余的图像及其标签作为测试样本集其中,M≥2,N≥500;
(3)构建基于卷积神经网络的图像分类模型H:
本地客户端L构建基于卷积神经网络的图像分类模型,卷积神经网络包括依次层叠的输入层、m个卷积层-ReLU层-池化层、输出层,其中m≥2,输出层包括依次层叠的多个全连接层;
(4)本地客户端L初始化参数:
本地客户端L初始化迭代次数为t,最大迭代次数为T,T≥50,当前基于卷积神经网络的图像分类模型为Ht,Ht的权重参数为wt,wt的参数值数量为k,k≥10000,并令t=0,Ht=H;
(5)本地客户端L对基于卷积神经网络的图像分类模型H的权重参数进行本地更新:
(5a)本地客户端L将从训练样本集中有放回且随机选取的c·N个训练样本作为当前基于卷积神经网络的图像分类模型Ht的输入进行前向传播,得到预测标签集合
Figure FDA0003255907600000011
其中,c为采样因子,
Figure FDA0003255907600000012
表示第q个训练样本对应的预测标签,1≤q≤c·N;
(5b)本地客户端L采用交叉熵损失函数,并通过每个预测标签
Figure FDA0003255907600000021
和其对应的真实标签
Figure FDA0003255907600000022
计算图像分类模型Ht的损失值
Figure FDA0003255907600000023
然后求取
Figure FDA0003255907600000024
对Ht的权重参数wt的偏导
Figure FDA0003255907600000025
再采用随机梯度下降法,通过将
Figure FDA0003255907600000026
在Ht中进行反向传播的方式对wt进行更新,得到本地更新后的权重参数Δiwt
(6)本地客户端L对权重参数Δiwt进行本地差分隐私扰动并上传:
(6a)每个本地客户端Li选取更新后的权重参数Δiwt中绝对值最大的θuk个参数,并求取所选取的每个参数与Δiwt中绝对值最大的值C的商,得到标准化的扰动输入值
Figure FDA0003255907600000027
其中θu表示选择参数因子,0.01≤θu≤1,xj表示第j个扰动输入值,1≤j≤θuk;
(6b)每个本地客户端Li对每个扰动输入值xj生成随机数ut∈[0,1],并判断
Figure FDA0003255907600000028
是否成立,若是,从区间
Figure FDA0003255907600000029
中均匀采集xj的扰动输出值yj,否则,从区间
Figure FDA00032559076000000210
中均匀采集xj的扰动输出值yj,其中,A表示扰动输出的边界,
Figure FDA00032559076000000211
ε表示隐私预算,0.1≤ε≤10;
(6c)本地客户端L将θuk个扰动输出值组合成上传向量
Figure FDA00032559076000000212
并将
Figure FDA00032559076000000213
上传至中心服务器;
(7)中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送:
中心服务器对上传向量
Figure FDA0003255907600000031
进行聚合,得到
Figure FDA0003255907600000032
的聚合结果
Figure FDA0003255907600000033
实现对本地更新后的权重参数Δiwt的全局更新,并将权重参数wt经过本地更新以及全局更新后的图像分类模型
Figure FDA0003255907600000034
发送至每个本地客户端Li
(8)中心服务器获取训练好的基于卷积神经网络的图像分类模型:
中心服务器判断t≥T是否成立,若是,得到训练好的基于卷积神经网络的图像分类模型H',若否,令t=t+1,
Figure FDA0003255907600000035
并执行步骤(5);
(9)本地客户端获取图像分类结果:
每个本地客户端Li将测试样本集作为训练好的基于卷积神经网络的图像分类模型H'的输入进行前向传播,得到所有测试样本的预测标签。
2.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(3)中所述的基于卷积神经网络的图像分类模型H,其中,卷积层-ReLU层-池化层的层数为2,全连接层的层数为3,2个卷积层-ReLU层-池化层中卷积层卷积核的大小均为5,步长均为1,第一卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6,第二卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16。
3.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(5b)中所述的本地客户端L计算图像分类模型Ht的损失值
Figure FDA0003255907600000036
对Ht的权重参数wt进行更新,计算、更新公式分别为:
Figure FDA0003255907600000037
Figure FDA0003255907600000038
其中α为学习率,0.001≤α≤1,ln表示以自然常数e为底的对数,
Figure FDA0003255907600000039
表示梯度算子。
4.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(7)中所述的中心服务器对图像分类模型Ht的权重参数wt进行聚合,聚合公式为:
Figure FDA0003255907600000041
CN202111059634.0A 2021-09-10 2021-09-10 基于本地差分隐私的联邦学习图像分类方法 Active CN113850272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111059634.0A CN113850272B (zh) 2021-09-10 2021-09-10 基于本地差分隐私的联邦学习图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111059634.0A CN113850272B (zh) 2021-09-10 2021-09-10 基于本地差分隐私的联邦学习图像分类方法

Publications (2)

Publication Number Publication Date
CN113850272A true CN113850272A (zh) 2021-12-28
CN113850272B CN113850272B (zh) 2024-09-06

Family

ID=78973903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111059634.0A Active CN113850272B (zh) 2021-09-10 2021-09-10 基于本地差分隐私的联邦学习图像分类方法

Country Status (1)

Country Link
CN (1) CN113850272B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092769A (zh) * 2022-01-20 2022-02-25 国网江西省电力有限公司电力科学研究院 基于联邦学习的变电站多场景巡检分析方法
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN114612408A (zh) * 2022-03-04 2022-06-10 拓微摹心数据科技(南京)有限公司 一种基于联邦深度学习的心脏图像处理方法
CN114650179A (zh) * 2022-03-29 2022-06-21 中国电信股份有限公司 风险数据监测方法、装置、系统、电子设备及存储介质
CN114882245A (zh) * 2022-04-22 2022-08-09 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
CN114882335A (zh) * 2022-05-05 2022-08-09 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN116148193A (zh) * 2023-04-18 2023-05-23 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116524292A (zh) * 2023-03-22 2023-08-01 江苏济远医疗科技有限公司 一种多源异质医学图像的联邦学习方法
CN116863309A (zh) * 2023-09-04 2023-10-10 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质
WO2023197989A1 (zh) * 2022-04-15 2023-10-19 网银在线(北京)科技有限公司 图像的处理方法、系统和装置
CN116935143A (zh) * 2023-08-16 2023-10-24 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及系统
CN118152898A (zh) * 2024-05-11 2024-06-07 山东大学 一种基于深度学习的数据隐私保护的心电分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749392A (zh) * 2021-01-07 2021-05-04 西安电子科技大学 一种联邦学习中异常节点的检测方法及系统
US20210192078A1 (en) * 2019-12-23 2021-06-24 Apple Inc. User behavior model development with private federated learning
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192078A1 (en) * 2019-12-23 2021-06-24 Apple Inc. User behavior model development with private federated learning
CN112749392A (zh) * 2021-01-07 2021-05-04 西安电子科技大学 一种联邦学习中异常节点的检测方法及系统
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STACEY TRUEX等: "LDP-Fed: federated learning with local differential privacy", 《MACHINE LEARNING》, 5 June 2020 (2020-06-05) *
王亚杰: "基于本地差分隐私的多维数据统计研究", 《万方数据》, 12 August 2022 (2022-08-12) *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092769A (zh) * 2022-01-20 2022-02-25 国网江西省电力有限公司电力科学研究院 基于联邦学习的变电站多场景巡检分析方法
CN114092769B (zh) * 2022-01-20 2022-06-14 国网江西省电力有限公司电力科学研究院 基于联邦学习的变电站多场景巡检分析方法
CN114612408A (zh) * 2022-03-04 2022-06-10 拓微摹心数据科技(南京)有限公司 一种基于联邦深度学习的心脏图像处理方法
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN114650179A (zh) * 2022-03-29 2022-06-21 中国电信股份有限公司 风险数据监测方法、装置、系统、电子设备及存储介质
WO2023197989A1 (zh) * 2022-04-15 2023-10-19 网银在线(北京)科技有限公司 图像的处理方法、系统和装置
CN114882245A (zh) * 2022-04-22 2022-08-09 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
CN114882245B (zh) * 2022-04-22 2023-08-25 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
CN114882335B (zh) * 2022-05-05 2023-07-28 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN114882335A (zh) * 2022-05-05 2022-08-09 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
US11881014B2 (en) 2022-05-05 2024-01-23 Hebei University Of Technology Intelligent image sensing device for sensing-computing-cloud integration based on federated learning framework
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN115062710B (zh) * 2022-06-22 2024-09-24 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN116524292A (zh) * 2023-03-22 2023-08-01 江苏济远医疗科技有限公司 一种多源异质医学图像的联邦学习方法
CN116148193B (zh) * 2023-04-18 2023-07-18 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116148193A (zh) * 2023-04-18 2023-05-23 天津中科谱光信息技术有限公司 水质监测方法、装置、设备及存储介质
CN116935143A (zh) * 2023-08-16 2023-10-24 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及系统
CN116935143B (zh) * 2023-08-16 2024-05-07 中国人民解放军总医院 基于个性化联邦学习的dfu医学图像分类方法及系统
CN116863309A (zh) * 2023-09-04 2023-10-10 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质
CN116863309B (zh) * 2023-09-04 2024-01-09 中电科网络安全科技股份有限公司 一种图像识别方法、装置、系统、电子设备及存储介质
CN118152898A (zh) * 2024-05-11 2024-06-07 山东大学 一种基于深度学习的数据隐私保护的心电分类方法及系统

Also Published As

Publication number Publication date
CN113850272B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN113850272A (zh) 基于本地差分隐私的联邦学习图像分类方法
CN110969250B (zh) 一种神经网络训练方法及装置
Bai et al. Fast graph sampling set selection using gershgorin disc alignment
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
van Elsloo et al. SEALion: A framework for neural network inference on encrypted data
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN108764270B (zh) 一种利用卷积神经网络集成的信息隐藏检测方法
US11250245B2 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
Cheng et al. A data-driven point cloud simplification framework for city-scale image-based localization
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN112862001A (zh) 一种隐私保护下的去中心化数据建模方法
WO2023080921A1 (en) Neural radiance field generative modeling of object classes from single two-dimensional views
CN114612715A (zh) 基于本地差分隐私的边缘联邦图像分类方法
CN109949200B (zh) 基于滤波器子集选择和cnn的隐写分析框架构建方法
CN114676849B (zh) 基于联邦学习进行模型参数更新的方法及系统
CN115660050A (zh) 一种高效隐私保护的鲁棒联邦学习方法
Xu et al. Agic: Approximate gradient inversion attack on federated learning
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN116776155A (zh) 一种基于联邦学习的模型训练方法、装置、设备和介质
CN115481415A (zh) 基于纵向联邦学习的通信成本优化方法、系统、设备及介质
Azghani et al. Missing low-rank and sparse decomposition based on smoothed nuclear norm
CN110232151A (zh) 一种混合概率分布检测的QoS预测模型的构建方法
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
CN116091891A (zh) 图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant