CN115908600A - 基于先验正则化的大批量图像重建方法 - Google Patents
基于先验正则化的大批量图像重建方法 Download PDFInfo
- Publication number
- CN115908600A CN115908600A CN202211092335.1A CN202211092335A CN115908600A CN 115908600 A CN115908600 A CN 115908600A CN 202211092335 A CN202211092335 A CN 202211092335A CN 115908600 A CN115908600 A CN 115908600A
- Authority
- CN
- China
- Prior art keywords
- gradient
- simulated
- data
- image
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004088 simulation Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于先验正则化的大批量图像重建方法,用于在联邦学习中使用交换的梯度信息重建用于训练的图像。首先作为普通参与者参与协同学习获取协同学习的模型结构以及在训练过程中接收到的梯度信息;生成值为随机值的模拟图像,将该模拟图像输入到获得的模型中得到损失,再根据损失进行反向传播得到模拟梯度;使用模拟梯度去拟合全局模型的原始梯度,将模拟梯度和原始梯度的距离作为损失来优化模拟图像;在优化的过程中,根据图像的先验知识生成先验知识正则项,使用先验知识正则项指导优化过程的进行,使得优化过程的准确度与速度大幅提升。本发明能够只使用梯度信息就大批量的、高像素匹配度的重建生成梯度的图像。
Description
技术领域
本发明设计一种基于先验正则化的大批量图像重建方法,属于使用梯度信息重建图像的方法。
背景技术
联邦学习的出现解决了机器学习领域隐私和效率的冲突问题,与传统机器学习相比,联邦学习有中央参数服务器控制全局训练进度,所有的客户端从参数服务器下载最新的全局模型,并在自己的私有数据上训练本地模型,最后将更新的梯度发送到中央参数服务器,服务器聚合所有梯度以更新全局模型。联邦学习可以充分利用客户端的私有数据来训练全局模型,同时通过避免对客户端私有数据的直接传输来保护客户端的数据隐私,在参数服务器和客户端之间只传输梯度。之前的研究普遍认为联邦学习比传统的集中式机器学习可以更好地保护客户的隐私,因此联邦学习已广泛应用于医疗保健场景或金融场景。
在联邦学习的实际应用中,许多训练过程使用的都是参与者的临时数据,比如Google的GBoard中联邦学习的场景就是使用用户的临时输入历史记录作为本地训练数据集进行训练。在这种情况下用于训练的训练数据在训练完成后可能就会被删除,如果后续其他类似的训练需要同样的数据集的话是无法再次获取到这些数据集的。因此从训练过程中的中间结果和最终训练结果中重建用以训练的数据是一个真实存在的需求。
目前的一些研究将重建问题形式化为优化过程,获取到训练中间过程的梯度后,可以随机生成一对模拟数据和标签,将模拟数据输入全局模型获得模拟梯度,通过将模拟梯度优化至接近真实梯度,可以使模拟数据接近真实的训练数据。这些基于优化的研究方法可以实现基于梯度的像素级数据重建。然而这些方法只对于小批量的数据具有较好的恢复效果,当数据的批量增大时这些方法的效果会变得很差。
发明内容
本文用于解决大批量数据下根据训练所生成的梯度信息来重建图片的效果差的问题,具体提出了一种基于图像先验正则化的重建方法。该方法在Deep Leakage fromGradients(DLG)方法的基础上,利用对图像普遍存在的性质的观察设计约束图像重建方向的先验正则项,使用这些正则项来优化图像重建的过程以此改进在大批量图像重建上梯度重建法的效果。
为实现上述目的,本发明采用的技术方案基于生成对抗网络生成优化的模拟图像并使用图片先验正则项优化重建图片的清晰度,如图所示,该方法
的实现步骤如下:
步骤(2)参与者将获取到的全局模型F作为本地训练的对抗神经网络模型中的判别器模型D,以此判别器在本地训练一个相对应的生成器G。生成器G每生成一张图片就将图片输入至判别器D中进行评分并将评分结果作为生成器的损失使用梯度下降算法优化该生成器;
步骤(5)参与者将得到的模拟梯度与原始梯度求损失,使用梯度下降算法来缩小原始梯度与模拟梯度之间的距离从而缩小模拟数据与原始数据之间的距离,并使用滤波核计算模拟图片的光滑度以此约束优化的方向。当距离足够小时,模拟数据与原始数据也会非常相似,即重建完成;
有益效果
本方法在使用梯度信息重建图片这一方法的基础上,利用了图片重建时初始图片的分布对于重建效果有影响以及光滑度正则项对优化方向的约束,改进原有方法的重建效果,使得在大批量图片重建时的重建精度显著提升。图片重建的本质就是在图片的特征空间中搜索正确的特征点。使用训练好的生成器来生成优化的初始图片就是在特征空间中找到一个离目标特征点距离较近的搜索出发点,而使用图像的先验知识作为正则项来约束优化过程就是在特征空间中减小搜索范围。本方法通过选取距离更近的出发点已经减小搜索的特征空间范围来加快搜索速度与提高搜索精度。
附图说明
图1为重建过程示意图
图2为使用滤波核计算模拟图片的光滑度的过程示意图
图3为使用本方法对大批量图片进行重建的过程与结果,并与其他方法进行比较
具体实施方式
本发明的目的在于提出一种基于生成对抗网络与图片先验知识的大批量图片重建方法,利用生成对抗网络生成与原始图片分布相似的模拟图片与图片光滑度正则项来提高图片重建的准确度。
如图所示,该方法实现步骤如下:
步骤(1)获取联邦学习训练的全局模型F
其中t为联邦学习的第t轮迭代,i为全体N个参与者中的第i个参与者,xt,i为第i个参与者在第t轮全局迭代用来训练的本地数据,yt,i是这些本地数据所对应的标签,Wt为第t轮训练的全局模型的参数。所有参与者在计算完自己的本地梯度后将梯度上传至参数服务器,参数服务器将所有梯度进行聚合得到
步骤(2)使用获取到的全局模型F在本地训练一个生成对抗网络
该步骤将全局模型F当作生成对抗网络中的判别器D,正常的生成对抗网络训练过程中每一轮迭代都会更新判别器与生成器,但在此步骤中训练生成对抗网络的每一轮迭代都会获取最新的全局模型将其作为最新的判别器而不是通过损失来更新判别器。生成对抗网络的每一轮训练都会让本地训练的生成器G生成图片,将生成的图片输入至判别器中得到判别器对于该图片的预测,使用该预测作为生成器的损失来更新生成器。这样最后训练完成的生成器生成的图片将会在联邦学习训练出的全局模型中得到非常高准确率的结果,即生成器生成的图片与希望重建的数据集的图片的分布相似。其中更新生成器使用的优化目标函数为:
其中n表示输入图片样本的数量,θG和θD分别表示说生成器与判别器的参数,z表示随机采样的潜向量。
步骤(3)使用训练好的生成器G生成的图片作为模拟数据x′
x′=G(z)
其中α为超参数,用以控制重建图片的光滑度对重建优化过程的权重;x′i,j,k表示x′在(i,j,k)位置的像素值;表示滤波核;sum表示矩阵中所有元素的和;abs表示对矩阵的每个元素值取绝对值;X表示以x′i,j,k为中心元素为窗口大小的矩阵。
说明书附图图3是本方法与DLG方法以及Inverting Gradients(INV)方法在重建批次为32的图片时的重建效果对比,因为色彩是评价图片重建效果重要指标,所以该附图使用的是彩色图片进行展示。图中第一行是由生成器生成的初始图片;第二三行是本方法重建第50以及100轮的重建效果;第四行是本方法重建的最终效果;第五行是原始图片;第六行是DLG方法的重建效果;第七行是INV方法的重建效果。从三种方法分别的重建结果可以看出本方法的重建效果比其他方法有着显著的提升。
Claims (2)
1.基于先验正则化的大批量图像重建方法,其特征在于:包含以下步骤,
步骤(2)参与者将获取到的全局模型F作为本地训练的对抗神经网络模型中的判别器模型D,以此判别器在本地训练一个相对应的生成器G;生成器G每生成一张图片就将图片输入至判别器D中进行评分并将评分结果作为生成器的损失使用梯度下降算法优化该生成器;
步骤(5)参与者使用得到的模拟梯度与原始梯度求损失,使用梯度下降算法来缩小原始梯度与模拟梯度之间的距离从而缩小模拟数据与原始数据之间的距离,并使用滤波核计算模拟图片的光滑度以此约束优化的方向,优化过程的目标函数为:
2.根据权利要求1所述的基于先验正则化的大批量图像重建方法,其特征在于:
步骤(3)使用训练好的生成器来生成优化的初始图片;步骤(5)使用滤波核计算模拟图片的光滑度也即使用图像先验知识来约束优化过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211092335.1A CN115908600A (zh) | 2022-09-07 | 2022-09-07 | 基于先验正则化的大批量图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211092335.1A CN115908600A (zh) | 2022-09-07 | 2022-09-07 | 基于先验正则化的大批量图像重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115908600A true CN115908600A (zh) | 2023-04-04 |
Family
ID=86485020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211092335.1A Pending CN115908600A (zh) | 2022-09-07 | 2022-09-07 | 基于先验正则化的大批量图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115908600A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664456A (zh) * | 2023-08-02 | 2023-08-29 | 暨南大学 | 一种基于梯度信息的图片重建方法、系统及电子设备 |
-
2022
- 2022-09-07 CN CN202211092335.1A patent/CN115908600A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664456A (zh) * | 2023-08-02 | 2023-08-29 | 暨南大学 | 一种基于梯度信息的图片重建方法、系统及电子设备 |
CN116664456B (zh) * | 2023-08-02 | 2023-11-17 | 暨南大学 | 一种基于梯度信息的图片重建方法、系统及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465111B (zh) | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 | |
CN111145116B (zh) | 一种基于生成对抗网络的海面雨天图像样本增广方法 | |
CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
US11727717B2 (en) | Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks | |
CN113850272A (zh) | 基于本地差分隐私的联邦学习图像分类方法 | |
AU2015226983A1 (en) | Neural network and method of neural network training | |
CN112307714A (zh) | 一种基于双阶段深度网络的文字风格迁移方法 | |
Dogan et al. | Semi-supervised image attribute editing using generative adversarial networks | |
WO2023061169A1 (zh) | 图像风格迁移和模型训练方法、装置、设备和介质 | |
CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和系统 | |
CN112017255A (zh) | 一种根据食谱生成食物图像的方法 | |
CN112686817A (zh) | 一种基于不确定性估计的图像补全方法 | |
CN115908600A (zh) | 基于先验正则化的大批量图像重建方法 | |
CN114116995B (zh) | 基于增强图神经网络的会话推荐方法、系统及介质 | |
Shariff et al. | Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model | |
CN118196231A (zh) | 一种基于概念分割的终身学习文生图方法 | |
Zhu et al. | Emotional generative adversarial network for image emotion transfer | |
CN116258923A (zh) | 图像识别模型训练方法、装置、计算机设备和存储介质 | |
CN115546537A (zh) | 基于生成对抗模型的图像多属性联合编辑方法 | |
CN115131605A (zh) | 一种基于自适应子图的结构感知图对比学习方法 | |
CN114140317A (zh) | 一种基于级联生成对抗网络的图像动漫化方法 | |
Meira et al. | Generating Synthetic Faces for Data Augmentation with StyleGAN2-ADA. | |
Xiao et al. | Optimizing generative adversarial networks in Latent Space | |
Ji et al. | A Diffusion Model with State Estimation for Degradation-Blind Inverse Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |