CN115908600A - 基于先验正则化的大批量图像重建方法 - Google Patents

基于先验正则化的大批量图像重建方法 Download PDF

Info

Publication number
CN115908600A
CN115908600A CN202211092335.1A CN202211092335A CN115908600A CN 115908600 A CN115908600 A CN 115908600A CN 202211092335 A CN202211092335 A CN 202211092335A CN 115908600 A CN115908600 A CN 115908600A
Authority
CN
China
Prior art keywords
gradient
simulated
data
image
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211092335.1A
Other languages
English (en)
Inventor
黄云波
杨震
陈渝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202211092335.1A priority Critical patent/CN115908600A/zh
Publication of CN115908600A publication Critical patent/CN115908600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于先验正则化的大批量图像重建方法，用于在联邦学习中使用交换的梯度信息重建用于训练的图像。首先作为普通参与者参与协同学习获取协同学习的模型结构以及在训练过程中接收到的梯度信息；生成值为随机值的模拟图像，将该模拟图像输入到获得的模型中得到损失，再根据损失进行反向传播得到模拟梯度；使用模拟梯度去拟合全局模型的原始梯度，将模拟梯度和原始梯度的距离作为损失来优化模拟图像；在优化的过程中，根据图像的先验知识生成先验知识正则项，使用先验知识正则项指导优化过程的进行，使得优化过程的准确度与速度大幅提升。本发明能够只使用梯度信息就大批量的、高像素匹配度的重建生成梯度的图像。

Description

基于先验正则化的大批量图像重建方法
技术领域
本发明设计一种基于先验正则化的大批量图像重建方法，属于使用梯度信息重建图像的方法。
背景技术
联邦学习的出现解决了机器学习领域隐私和效率的冲突问题，与传统机器学习相比，联邦学习有中央参数服务器控制全局训练进度，所有的客户端从参数服务器下载最新的全局模型，并在自己的私有数据上训练本地模型，最后将更新的梯度发送到中央参数服务器，服务器聚合所有梯度以更新全局模型。联邦学习可以充分利用客户端的私有数据来训练全局模型，同时通过避免对客户端私有数据的直接传输来保护客户端的数据隐私，在参数服务器和客户端之间只传输梯度。之前的研究普遍认为联邦学习比传统的集中式机器学习可以更好地保护客户的隐私，因此联邦学习已广泛应用于医疗保健场景或金融场景。
在联邦学习的实际应用中，许多训练过程使用的都是参与者的临时数据，比如Google的GBoard中联邦学习的场景就是使用用户的临时输入历史记录作为本地训练数据集进行训练。在这种情况下用于训练的训练数据在训练完成后可能就会被删除，如果后续其他类似的训练需要同样的数据集的话是无法再次获取到这些数据集的。因此从训练过程中的中间结果和最终训练结果中重建用以训练的数据是一个真实存在的需求。
目前的一些研究将重建问题形式化为优化过程，获取到训练中间过程的梯度后，可以随机生成一对模拟数据和标签，将模拟数据输入全局模型获得模拟梯度，通过将模拟梯度优化至接近真实梯度，可以使模拟数据接近真实的训练数据。这些基于优化的研究方法可以实现基于梯度的像素级数据重建。然而这些方法只对于小批量的数据具有较好的恢复效果，当数据的批量增大时这些方法的效果会变得很差。
发明内容
本文用于解决大批量数据下根据训练所生成的梯度信息来重建图片的效果差的问题，具体提出了一种基于图像先验正则化的重建方法。该方法在Deep Leakage fromGradients(DLG)方法的基础上，利用对图像普遍存在的性质的观察设计约束图像重建方向的先验正则项，使用这些正则项来优化图像重建的过程以此改进在大批量图像重建上梯度重建法的效果。
为实现上述目的，本发明采用的技术方案基于生成对抗网络生成优化的模拟图像并使用图片先验正则项优化重建图片的清晰度，如图所示，该方法
的实现步骤如下：
步骤(1)参与者
Figure BDA0003836924480000021
作为普通用户参与联邦学习获取联邦学习训练的全局模型F，W为全局模型的参数；
步骤(2)参与者
Figure BDA0003836924480000022
将获取到的全局模型F作为本地训练的对抗神经网络模型中的判别器模型D，以此判别器在本地训练一个相对应的生成器G。生成器G每生成一张图片就将图片输入至判别器D中进行评分并将评分结果作为生成器的损失使用梯度下降算法优化该生成器；
步骤(3)参与者
Figure BDA0003836924480000023
用训练好的生成器G生成与需要与重建批次相同数量的图片，并将这些图片作为模拟数据x′；
步骤(4)参与者
Figure BDA0003836924480000025
获取全局模型F中存在的原始梯度
Figure BDA0003836924480000026
与根据模拟数据得到的模拟梯度
Figure BDA0003836924480000027
步骤(5)参与者
Figure BDA0003836924480000028
将得到的模拟梯度
Figure BDA0003836924480000029
与原始梯度
Figure BDA00038369244800000210
求损失，使用梯度下降算法来缩小原始梯度与模拟梯度之间的距离从而缩小模拟数据与原始数据之间的距离，并使用滤波核计算模拟图片的光滑度以此约束优化的方向。当距离足够小时，模拟数据与原始数据也会非常相似，即重建完成；
有益效果
本方法在使用梯度信息重建图片这一方法的基础上，利用了图片重建时初始图片的分布对于重建效果有影响以及光滑度正则项对优化方向的约束，改进原有方法的重建效果，使得在大批量图片重建时的重建精度显著提升。图片重建的本质就是在图片的特征空间中搜索正确的特征点。使用训练好的生成器来生成优化的初始图片就是在特征空间中找到一个离目标特征点距离较近的搜索出发点，而使用图像的先验知识作为正则项来约束优化过程就是在特征空间中减小搜索范围。本方法通过选取距离更近的出发点已经减小搜索的特征空间范围来加快搜索速度与提高搜索精度。
附图说明
图1为重建过程示意图
图2为使用滤波核计算模拟图片的光滑度的过程示意图
图3为使用本方法对大批量图片进行重建的过程与结果，并与其他方法进行比较
具体实施方式
本发明的目的在于提出一种基于生成对抗网络与图片先验知识的大批量图片重建方法，利用生成对抗网络生成与原始图片分布相似的模拟图片与图片光滑度正则项来提高图片重建的准确度。
如图所示，该方法实现步骤如下：
步骤(1)获取联邦学习训练的全局模型F
全局模型F是由所有参与联邦学习训练的参与者共同训练而成的，每个参与者在每轮训练开始时会从参数服务器
Figure BDA0003836924480000031
处获取最新的全局模型F，接着所有参与者会使用各自的数据集在全局模型F上进行反向传播计算出梯度
Figure BDA0003836924480000041
Figure BDA0003836924480000042
其中t为联邦学习的第t轮迭代，i为全体N个参与者中的第i个参与者，xt,i为第i个参与者在第t轮全局迭代用来训练的本地数据，yt,i是这些本地数据所对应的标签，Wt为第t轮训练的全局模型的参数。所有参与者在计算完自己的本地梯度后将梯度上传至参数服务器，参数服务器将所有梯度进行聚合得到
Figure BDA0003836924480000043
Figure BDA0003836924480000044
随后参数服务器使用
Figure BDA0003836924480000045
更新全局模型
Figure BDA0003836924480000046
其中η为学习率
步骤(2)使用获取到的全局模型F在本地训练一个生成对抗网络
该步骤将全局模型F当作生成对抗网络中的判别器D，正常的生成对抗网络训练过程中每一轮迭代都会更新判别器与生成器，但在此步骤中训练生成对抗网络的每一轮迭代都会获取最新的全局模型将其作为最新的判别器而不是通过损失来更新判别器。生成对抗网络的每一轮训练都会让本地训练的生成器G生成图片，将生成的图片输入至判别器中得到判别器对于该图片的预测，使用该预测作为生成器的损失来更新生成器。这样最后训练完成的生成器生成的图片将会在联邦学习训练出的全局模型中得到非常高准确率的结果，即生成器生成的图片与希望重建的数据集的图片的分布相似。其中更新生成器使用的优化目标函数为：
Figure BDA0003836924480000047
其中n表示输入图片样本的数量，θG和θD分别表示说生成器与判别器的参数，z表示随机采样的潜向量。
步骤(3)使用训练好的生成器G生成的图片作为模拟数据x′
x′＝G(z)
步骤(4)得到其他用户上传的梯度
Figure BDA0003836924480000051
将该梯度作为原始梯度；使用模拟数据x′输入至全局模型F获得的输出与模拟输出y′求损失，使用求得的损失进行反向传播得到模拟梯度
Figure BDA0003836924480000052
Figure BDA0003836924480000053
其中
Figure BDA00038369244800000511
在本发明中为交叉熵损失函数
步骤(5)使用得到的模拟梯度
Figure BDA0003836924480000054
与原始梯度
Figure BDA0003836924480000055
求损失，用该损失优化模拟数据，当损失足够低时优化完成的模拟数据x′*与原始数据的差距也会变得足够小，此时优化完成的模拟数据x′*就是重建数据；
本发明通过引入使用滤波核
Figure BDA0003836924480000056
计算模拟数据x′*的图片光滑度作为正则项来约束优化过程，改进后的优化目标函数为：
Figure BDA0003836924480000057
Figure BDA0003836924480000058
Figure BDA00038369244800000510
Figure BDA0003836924480000059
其中α为超参数，用以控制重建图片的光滑度对重建优化过程的权重；x′i,j,k表示x′在(i,j,k)位置的像素值；
Figure BDA0003836924480000061
表示滤波核；sum表示矩阵中所有元素的和；abs表示对矩阵的每个元素值取绝对值；X表示以x′i,j,k为中心元素
Figure BDA0003836924480000062
为窗口大小的矩阵。
说明书附图图3是本方法与DLG方法以及Inverting Gradients(INV)方法在重建批次为32的图片时的重建效果对比，因为色彩是评价图片重建效果重要指标，所以该附图使用的是彩色图片进行展示。图中第一行是由生成器生成的初始图片；第二三行是本方法重建第50以及100轮的重建效果；第四行是本方法重建的最终效果；第五行是原始图片；第六行是DLG方法的重建效果；第七行是INV方法的重建效果。从三种方法分别的重建结果可以看出本方法的重建效果比其他方法有着显著的提升。

Claims (2)

1.基于先验正则化的大批量图像重建方法，其特征在于：包含以下步骤，
步骤(1)参与者
Figure FDA0003836924470000011
作为普通用户参与联邦学习获取联邦学习训练的全局模型F，W为全局模型的参数；
步骤(2)参与者
Figure FDA0003836924470000012
将获取到的全局模型F作为本地训练的对抗神经网络模型中的判别器模型D，以此判别器在本地训练一个相对应的生成器G；生成器G每生成一张图片就将图片输入至判别器D中进行评分并将评分结果作为生成器的损失使用梯度下降算法优化该生成器；
步骤(3)参与者
Figure FDA0003836924470000013
用训练好的生成器G生成一批图片，这批图片的大小与数量与需要重建的那批图片相同，将这批生成的图片作为模拟数据x′；
步骤(4)参与者
Figure FDA0003836924470000014
根据全局模型F获取原始梯度
Figure FDA0003836924470000015
根据模拟数据获取模拟梯度
Figure FDA0003836924470000016
步骤(5)参与者
Figure FDA0003836924470000017
使用得到的模拟梯度
Figure FDA0003836924470000018
与原始梯度
Figure FDA0003836924470000019
求损失，使用梯度下降算法来缩小原始梯度与模拟梯度之间的距离从而缩小模拟数据与原始数据之间的距离，并使用滤波核计算模拟图片的光滑度以此约束优化的方向，优化过程的目标函数为：
Figure FDA00038369244700000110
Figure FDA00038369244700000111
Figure FDA00038369244700000112
Figure FDA00038369244700000113
其中α为超参数，用以控制重建图片的光滑度对重建优化过程的权重；
Figure FDA00038369244700000114
表示阿达马乘积；x′i,j,k表示x′在(i,j,k)位置的像素值；
Figure FDA00038369244700000115
表示滤波核；sum表示矩阵中所有元素的和；abs表示对矩阵的每个元素值取绝对值；X表示以x′i,j,k为中心元素
Figure FDA0003836924470000021
为窗口大小的矩阵，优化完成的模拟数据x′*就是重建数据。
2.根据权利要求1所述的基于先验正则化的大批量图像重建方法，其特征在于：
步骤(3)使用训练好的生成器来生成优化的初始图片；步骤(5)使用滤波核计算模拟图片的光滑度也即使用图像先验知识来约束优化过程。
CN202211092335.1A 2022-09-07 2022-09-07 基于先验正则化的大批量图像重建方法 Pending CN115908600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211092335.1A CN115908600A (zh) 2022-09-07 2022-09-07 基于先验正则化的大批量图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211092335.1A CN115908600A (zh) 2022-09-07 2022-09-07 基于先验正则化的大批量图像重建方法

Publications (1)

Publication Number Publication Date
CN115908600A true CN115908600A (zh) 2023-04-04

Family

ID=86485020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211092335.1A Pending CN115908600A (zh) 2022-09-07 2022-09-07 基于先验正则化的大批量图像重建方法

Country Status (1)

Country Link
CN (1) CN115908600A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664456A (zh) * 2023-08-02 2023-08-29 暨南大学 一种基于梯度信息的图片重建方法、系统及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664456A (zh) * 2023-08-02 2023-08-29 暨南大学 一种基于梯度信息的图片重建方法、系统及电子设备
CN116664456B (zh) * 2023-08-02 2023-11-17 暨南大学 一种基于梯度信息的图片重建方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN109859288B (zh) 基于生成对抗网络的图像上色方法及装置
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
US11727717B2 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
AU2015226983A1 (en) Neural network and method of neural network training
CN113850272A (zh) 基于本地差分隐私的联邦学习图像分类方法
CN112307714A (zh) 一种基于双阶段深度网络的文字风格迁移方法
WO2023061169A1 (zh) 图像风格迁移和模型训练方法、装置、设备和介质
Dogan et al. Semi-supervised image attribute editing using generative adversarial networks
CN112017255A (zh) 一种根据食谱生成食物图像的方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
CN115908600A (zh) 基于先验正则化的大批量图像重建方法
Shariff et al. Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN109615577A (zh) 基于卷积网络的高光谱图像超分辨处理方法
Zhu et al. Emotional generative adversarial network for image emotion transfer
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN115546537A (zh) 基于生成对抗模型的图像多属性联合编辑方法
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN114140317A (zh) 一种基于级联生成对抗网络的图像动漫化方法
Sun et al. PattGAN: Pluralistic Facial Attribute Editing
Meira et al. Generating Synthetic Faces for Data Augmentation with StyleGAN2-ADA.
Xiao et al. Optimizing generative adversarial networks in Latent Space
EP4386657A1 (en) Image optimization method and apparatus, electronic device, medium, and program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination