CN111210388A - 基于生成对抗网络的马赛克人脸图像超分辨率重建方法 - Google Patents

基于生成对抗网络的马赛克人脸图像超分辨率重建方法 Download PDF

Info

Publication number
CN111210388A
CN111210388A CN201911396316.6A CN201911396316A CN111210388A CN 111210388 A CN111210388 A CN 111210388A CN 201911396316 A CN201911396316 A CN 201911396316A CN 111210388 A CN111210388 A CN 111210388A
Authority
CN
China
Prior art keywords
image
super
mosaic face
resolution reconstruction
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911396316.6A
Other languages
English (en)
Other versions
CN111210388B (zh
Inventor
梁丕树
夏群兵
杨高波
徐永惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aixiesheng Technology Co Ltd
Original Assignee
Shenzhen Aixiesheng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aixiesheng Technology Co Ltd filed Critical Shenzhen Aixiesheng Technology Co Ltd
Priority to CN201911396316.6A priority Critical patent/CN111210388B/zh
Priority to PCT/CN2020/076554 priority patent/WO2021134872A1/zh
Publication of CN111210388A publication Critical patent/CN111210388A/zh
Application granted granted Critical
Publication of CN111210388B publication Critical patent/CN111210388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。本发明可以快速将单张或多张马赛克人脸图像进行重建。

Description

基于生成对抗网络的马赛克人脸图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建领域，具体涉及一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。
背景技术
随着图像编辑软件的普及，人们可以轻松地对人脸图片进行马赛克处理，这一技术有很大的作用，比如，用于保护个人隐私；同时，这也为监控和法医领域带来诸多不便，与对人脸图片进行马赛克处理技术的普及相比，目前极少有关于马赛克图片复原的报道。
马赛克指现行广为使用的一种图像(视频)处理手段，此手段将影像特定区域的色阶细节劣化并造成色块打乱的效果；马赛克和图像压缩不一样，马赛克是不可逆损失信息的，它的目的是让我们无法还原出原始图片。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，该方法为：
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；
待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
上述方案中，所述Demosaic GAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
上述方案中，所述Demosaic GAN模型的损失函数包括MSE损失lmse、Xception损失lXception、网络的对抗损失lGen、风格损失lstyle。
上述方案中，所述MSE损失lmse为：
Figure BDA0002346416430000021
其中，W,H分别是图像的宽和高，
Figure BDA0002346416430000022
表示原始图像，
Figure BDA0002346416430000023
表示打码后的图像，
Figure BDA0002346416430000024
表示生成器生成的马赛克人脸超分辨率重建图像。
上述方案中，所述Xception损失lXception为：
Figure BDA0002346416430000025
其中，W,H分别是图像的宽和高，Iori表示原始图像，Imos表示打码后的图像，
Figure BDA0002346416430000026
表示生成器生成的马赛克人脸超分辨率重建图像。
上述方案中，所述网络的对抗损失lGen为：
Figure BDA0002346416430000031
其中，
Figure BDA0002346416430000032
表示生成器生成的马赛克人脸超分辨率重建图像，
Figure BDA0002346416430000033
表示鉴别器输出的图像的特征。
上述方案中，所述风格损失lstyle为：
Figure BDA0002346416430000034
其中，
Figure BDA0002346416430000035
表示原始图像，
Figure BDA0002346416430000036
表示生成器生成的马赛克人脸超分辨率重建图像。
与现有技术相比，本发明将马赛克人脸图像的超分辨率重建问题用基于GAN的模型完成，通过马赛克人脸数据集对Demosaic GAN模型进行训练，在实际处理过程中，该模型可以快速将马赛克人脸图像进行重建，本发明所提出的方法适用于对单张或多张马赛克人脸图像进行重建。
附图说明
图1是本发明方法的流程图；
图2是Demosaic GAN模型结构示意图；其中，(1)是SRDB结构示意图；(2)是生成器结构示意图；(3)是鉴别器结构示意图；
图3是马赛克人脸图像数据集；其中，(1)是打码的人脸图像，(2)是原始的人脸图像；
图4是部分数据重建后的结果。其中，第1列是打码的人脸图像，第2列是重建后的图像，第3列是原始的人脸图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，如图1-3所示，通过以下步骤实现：
步骤1：构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
具体地，所述Demosaic GAN图像超分辨率重建模型的具体结构包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层。其中每个SRDB层由5个卷积层，4个ReLU层，1个跳变连接层和1个Add层组成。输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像。其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成。输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
步骤2：Xception网络从开始至第block13_pool层迁移进来，对图像数据进行特征提取。
具体地，所述Xception网络可以减小模型的参数数量。Xception模型没有特征表示的瓶颈，因此具有较强的特征表示能力。
步骤3：构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
具体地，损失函数主要有MSE损失lmse、Xception损失lXception、网络的对抗损失lGen、风格损失lstyle。各公式如下：
Figure BDA0002346416430000041
其中，W,H分别是图像的宽和高，
Figure BDA0002346416430000042
表示原始图像，
Figure BDA0002346416430000043
表示打码后的图像，
Figure BDA0002346416430000044
表示生成器生成的马赛克人脸超分辨率重建图像。
Figure BDA0002346416430000045
其中，W,H分别是图像的宽和高，Iori表示原始图像，Imos表示打码后的图像，
Figure BDA0002346416430000051
表示生成器生成的马赛克人脸超分辨率重建图像。
Figure BDA0002346416430000052
其中，
Figure BDA0002346416430000053
表示生成器生成的马赛克人脸超分辨率重建图像，
Figure BDA0002346416430000054
表示鉴别器输出的图像的特征。
Figure BDA0002346416430000055
其中，
Figure BDA0002346416430000056
表示原始图像，
Figure BDA0002346416430000057
表示生成器生成的马赛克人脸超分辨率重建图像。
步骤4：构建Demosaic GAN模型对应的马赛克人脸数据集，并利用数据集对Demosaic GAN模型进行训练，得到训练完成的马赛克人脸图像超分辨率重建模型；
具体地，马赛克人脸数据集是利用OpenCV中的类Haar特征和级联AdaBoost分类器对人脸的不同部位进行定位，写一个python脚本对人脸进行打码。包括200000组数据[Mos,Ori]，其中，Mos为马赛克人脸图像，Ori表示该马赛克人脸图像对应的原图像。
所述步骤4中Demosaic GAN模型的训练可选用Tensorflow，Pytorch等常见框架。
步骤5，待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于，该方法为：
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型；
将Xception网络的开始至第block13_pool层迁移进来，对图像数据进行特征提取；
构建用于马赛克人脸图像超分辨率重建的Demosaic GAN模型的损失函数；
构建Demosaic GAN模型对应的马赛克人脸数据集，并通过所述马赛克人脸数据集对Demosaic GAN模型进行训练，获得训练完成的马赛克人脸图像超分辨率重建模型；
待处理的马赛克人脸图像通过所述训练完成的马赛克人脸图像超分辨率重建模型对图像进行超分辨率重建，获得重建后的图像。
2.根据权利要求1所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Demosaic GAN模型包括生成器和鉴别器；其中生成器有5个卷积层，8个SRDB层，1个跳变连接层和1个Add层；其中每个SRDB层有5个卷积层，4个ReLU层，1个跳变连接层和1个Add层；输入层是马赛克人脸图像，输出层是生成的超分辨率重建图像；其中鉴别器有9个卷积层，6个ReLU层，8个BatchNorm层，1个Add层，1个Flatten层和1个Dense层组成；输入层是生成的超分辨率重建图像，输出层是生成的超分辨率重建图像的特征。
3.根据权利要求1或2所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Demosaic GAN模型的损失函数包括MSE损失lmse、Xception损失lXception、网络的对抗损失lGen、风格损失lstyle。
4.根据权利要求3所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述MSE损失lmse为：
Figure FDA0002346416420000021
其中，W,H分别是图像的宽和高，
Figure FDA0002346416420000022
表示原始图像，
Figure FDA0002346416420000023
表示打码后的图像，
Figure FDA0002346416420000024
表示生成器生成的马赛克人脸超分辨率重建图像。
5.根据权利要求4所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述Xception损失lXception为：
Figure FDA0002346416420000025
其中，W,H分别是图像的宽和高，Iori表示原始图像，Imos表示打码后的图像，
Figure FDA0002346416420000026
表示生成器生成的马赛克人脸超分辨率重建图像。
6.根据权利要求5所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述网络的对抗损失lGen为：
Figure FDA0002346416420000027
其中，
Figure FDA0002346416420000028
表示生成器生成的马赛克人脸超分辨率重建图像，
Figure FDA0002346416420000029
表示鉴别器输出的图像的特征。
7.根据权利要求6所述的基于生成对抗网络的马赛克人脸图像超分辨率重建方法，其特征在于：所述风格损失lstyle为：
Figure FDA00023464164200000210
其中，
Figure FDA00023464164200000211
表示原始图像，
Figure FDA00023464164200000212
表示生成器生成的马赛克人脸超分辨率重建图像。
CN201911396316.6A 2019-12-30 2019-12-30 基于生成对抗网络的马赛克人脸图像超分辨率重建方法 Active CN111210388B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911396316.6A CN111210388B (zh) 2019-12-30 2019-12-30 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
PCT/CN2020/076554 WO2021134872A1 (zh) 2019-12-30 2020-02-25 基于生成对抗网络的马赛克人脸图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396316.6A CN111210388B (zh) 2019-12-30 2019-12-30 基于生成对抗网络的马赛克人脸图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111210388A true CN111210388A (zh) 2020-05-29
CN111210388B CN111210388B (zh) 2021-02-02

Family

ID=70789417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396316.6A Active CN111210388B (zh) 2019-12-30 2019-12-30 基于生成对抗网络的马赛克人脸图像超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN111210388B (zh)
WO (1) WO2021134872A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271469A (zh) * 2021-07-16 2021-08-17 南京大学 一种安全可逆的视频隐私安全保护系统及保护方法
CN114972073A (zh) * 2022-04-24 2022-08-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529450B (zh) * 2022-01-25 2023-04-25 华南理工大学 基于改进深度迭代协作网络的人脸图像超分辨方法
CN115376188B (zh) * 2022-08-17 2023-10-24 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
WO2019238560A1 (en) * 2018-06-12 2019-12-19 Tomtom Global Content B.V. Generative adversarial networks for image segmentation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN108764072B (zh) * 2018-05-14 2021-04-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108765295B (zh) * 2018-06-12 2019-11-26 腾讯科技（深圳）有限公司 图像处理方法、图像处理装置及存储介质
CN110009590B (zh) * 2019-04-12 2021-02-02 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238560A1 (en) * 2018-06-12 2019-12-19 Tomtom Global Content B.V. Generative adversarial networks for image segmentation
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271469A (zh) * 2021-07-16 2021-08-17 南京大学 一种安全可逆的视频隐私安全保护系统及保护方法
CN114972073A (zh) * 2022-04-24 2022-08-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN114972073B (zh) * 2022-04-24 2024-04-30 武汉大学 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Also Published As

Publication number Publication date
WO2021134872A1 (zh) 2021-07-08
CN111210388B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN111210388B (zh) 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
Zhang et al. Semantic image inpainting with progressive generative networks
Li et al. Multi-scale residual network for image super-resolution
Cao et al. Video super-resolution transformer
Hui et al. Fast and accurate single image super-resolution via information distillation network
Wang et al. Lightweight Single Image Super-Resolution Convolution Neural Network in Portable Device.
WO2023010831A1 (zh) 提高图像分辨率的方法、系统、装置及存储介质
CN103440674A (zh) 一种数字图像蜡笔特效的快速生成方法
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113052764A (zh) 一种基于残差连接的视频序列超分重建方法
CN115018708A (zh) 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
Majidi et al. A deep model for super-resolution enhancement from a single image
Cai et al. Fcsr-gan: End-to-end learning for joint face completion and super-resolution
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN111833245A (zh) 一种基于多场景视频补帧算法的超分辨率重建方法
Sui et al. Gcrdn: Global context-driven residual dense network for remote sensing image super-resolution
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
Dai et al. CFGN: A Lightweight Context Feature Guided Network for Image Super-Resolution
US11928855B2 (en) Method, device, and computer program product for video processing
CN115527258A (zh) 一种基于身份信息响应的人脸交换方法
Li et al. Fine-grained adversarial image inpainting with super resolution
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
CN113726976B (zh) 一种基于编码-解码网络的大容量以图藏图方法和系统
Cui et al. RGB Guided Depth Map Super-Resolution with Coupled U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Aixiesheng Technology Co.,Ltd.

Address before: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN AIXIESHENG TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder