CN114092354A - 一种基于生成对抗网络的人脸图像修复方法 - Google Patents

一种基于生成对抗网络的人脸图像修复方法 Download PDF

Info

Publication number
CN114092354A
CN114092354A CN202111415514.XA CN202111415514A CN114092354A CN 114092354 A CN114092354 A CN 114092354A CN 202111415514 A CN202111415514 A CN 202111415514A CN 114092354 A CN114092354 A CN 114092354A
Authority
CN
China
Prior art keywords
image
damaged
pictures
face
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111415514.XA
Other languages
English (en)
Inventor
李天成
何维
严林
杨川勇
伍贤宇
刘光飞
张凯
刘春芳
李达平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China Sichuan Branch
Original Assignee
Agricultural Bank of China Sichuan Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China Sichuan Branch filed Critical Agricultural Bank of China Sichuan Branch
Priority to CN202111415514.XA priority Critical patent/CN114092354A/zh
Publication of CN114092354A publication Critical patent/CN114092354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的人脸图像修复方法，包括：建立人脸图片数据库；采集完整的人脸图片和破损的人脸图片；建立图片数据集；将数据集内完整的人脸图片划分为训练集、测试集；将训练集中的图片生成随机的破损图片；将训练集中的破损图片输入到图像修复模型中得到修复后的图像；将修复后的图像与完整图像计算损失，反馈至图像修复模型调整参数进行迭代优化训练；将测试集中的图片生成随机的破损图片并输入至训练好的图像修复模型中，得到最优的图像修复模型；将破损的人脸图片经破损区域检测模块检测后输入图像修复模型中，得到修复后的人脸图片。本发明能快速高效地完成破损人脸图像修复任务，解决人脸图像因破损而影响查看的问题。

Description

一种基于生成对抗网络的人脸图像修复方法
技术领域
本发明涉及图像修复技术领域，尤其涉及一种基于生成对抗网络的人脸图像修复方法。
背景技术
随着电子照相设备的普及，数码照片已经进入人们生活的方方面面，使用电子设备拍照成为了人们日常生活的普遍行为，图像处理也因此受到了广泛地关注。同时伴随着移动互联网的发展，人们热衷于人脸照片相关的娱乐分享社交活动，而且对拍照得到的人脸图像的审美要求越来越高。现有的电子设备提供一系列的拍照功能，可以对人脸图像进行自动美化，拥有包括美白、祛痘、自动美妆等功能，但是缺乏人脸图像修复的相关功能。当针对一些存在脸部缺陷的用户，针对拍出来的人脸图像，无法有效地去除人脸图像的缺陷。同时，在探案侦查、考古和艺术等领域已损坏人脸图像也需要进行修复，成熟的人脸修复技术具有非常重要的意义与应用价值。
图像修复是图像处理中极其重要的部分，图像修复根据图像完好部分的信息，来填补有遮挡、破损或是多余的部分，可用于去除照片的遮挡，修复破损的文物图像，图像数据预处理等领域。
传统的图像修复技术往往需要缺陷部分的形状特定，并且纹理重复简单，这局限了图像修复的应用场景。随着计算机运算能力的提升和算法模型的成熟，深度学习技术在计算机视觉的诸多领域取得了丰硕的成果。蒙特利尔大学的学者Ian Goodfellow于2014年提出“生成式对抗网络”的概念，极大地促进了生成模型的发展，各种演进的模型在近两年应运而生。
生成式对抗网络基本思想源自博弈论，由一个生成器和一个鉴别器构成，通过对抗学习的方式来训练。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入的是真实数据还是生成的样本。通过对大量同类数据的学习，拟合出数据的概率分布，并生成同类型的数据，这与图像修复的目标相契合。
随着深度学习、计算机视觉和计算机图像学领域的发展，图像修复在此基础上成为了一个研究重点并在多个领域被广泛应用。传统的基于结构与基于纹理的图像修复算法只能修复小区域的破损。由于自然图像固有的模糊和复杂性，基于纹理和局部插值的传统方法对于语义信息缺失严重的图像修复具有相当的局限性，存在修复细节模糊，修复图像不平滑等问题。特别是针对面部缺失关键信息(如眼睛、鼻子)的人脸图像修复问题，传统方法的修复效果不佳，很难修复出符合人类视觉认知的效果。人脸图像修复被广泛应用于公安刑侦、影视特技等种种实际场景中，然而也仍然存在图像修复质量和速度有待提高、模型训练稳定性不足等问题。
发明内容
本发明的目的在于解决现有技术的不足，提供了一种基于生成对抗网络的人脸图像修复方法。
本发明的目的是通过以下技术方案来实现的：
一种基于生成对抗网络的人脸图像修复方法，包括以下步骤：
S1：建立人脸图片数据库；
S2：采集完整的人脸图片和有破损的人脸图片，建立图片数据集；
S3：将数据集内完整的人脸图片划分为训练集、测试集；
S4：将训练集中的图片通过二值掩码生成随机的破损图片；
S5：将训练集中的破损图片输入到图像修复模型中得到修复后的图像，图像修复模型中所有空洞卷积核大小均为3×3，扩张率为2，步长为1；标准卷积核的大小为3×3，除了第二与第四个标准卷积核的步长为2以外，其余标准卷积核的步长均为1；转置卷积核大小均为4×4，且步长为1/2在每个卷积层、空洞卷积层、转置卷积层之后均需要通过批量归一化层；除最后一层激活函数为Tanh以外，其余层的激活函数均使用ReLU；
S6：将修复后的图像与完整图像计算损失，反馈至图像修复模型进行参数调整并迭代优化训练；
S7：将测试集中的图片通过二值掩码生成随机的破损图片并输入至训练好的图像修复模型中，验证模型的修复能力，并得到最优的图像修复模型；
S8：将破损的人脸图片经破损区域检测模块检测后，输入最优的图像修复模型中进行修复，得到修复后的人脸图片。
所述步骤S3中人脸图片按照9:1的随机比例划分为训练集与测试集。
所述步骤S4中需对训练集中的每一张图片通过二值掩码生成一定大小内的随机破损区域。
所述步骤S5中用于训练的图像修复模型为生成对抗路网络与残差网络组成，破损照片输入图像修复模型，生成对抗网络中的生成器通过残差网络捕获提取破损人脸图像中完好区域的高级特征，并利用转置卷积层与卷积层将残差网络提取到的高级特征修复图像中的破损区域，得到修复后的图像。
生成对抗网络中的生成器通过卷积层与空洞卷积层捕获破损图像已有信息的高级特征，之后利用转置卷积层与卷积层将残差网络提取到的高级特征进行复原得到修复后的图像。
修复后的图像将送入生成对抗网络中的判别器来判断图像的修复效果，判别器由全局判别器与局部判别器组成，全局判别器网络的输入由真实图像与修复后的图像组成，局部判别器网络的输入是由局部真实图像与局部修复图像组成，全局和局部判别器网络的输出都是长度为1024的向量，并拼接为一个长度为2048的向量后再输入一个全连接层，最终输出图像为真实图像的概率值。
所述残差网络由七个残差块组成，每两个卷积层或空洞卷积层构成一个残差块。
破损照片输入图像修复模型，模型通过二值掩码标记出破损区域与完好区域，生成器提取破损人脸图像中完好区域的高级特征，并使用高级特征修复图像中的破损区域，判别器评估图像的修复效果，并反馈调节生成器中的参数，提高图像修复质量，最终得到最优模型。
所述步骤S6中训练包括使用Adam优化器训练生成对抗路网络的生成器，使用RMSProp优化器训练生成对抗路网络的判别器。
本发明的有益效果：
1.通过建立训练集与测试集，构建最优的基于生成对抗网络的人脸图像修复模型。
2.该模型能快速、高质量地完成图像修复任务，解决了人脸图像因破损而影响查看的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的流程框图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着深度学习、计算机视觉和计算机图像学领域的发展，图像修复在此基础上成为了一个研究重点并在多个领域被广泛应用。
传统的基于结构与基于纹理的图像修复算法只能修复小区域的破损。由于自然图像固有的模糊和复杂性，基于纹理和局部插值的传统方法对于语义信息缺失严重的图像修复具有相当的局限性，存在修复细节模糊，修复图像不平滑等问题。特别是针对面部缺失关键信息(如眼睛、鼻子)的人脸图像修复问题，传统方法的修复效果不佳，很难修复出符合人类视觉认知的效果。人脸图像修复被广泛应用于公安刑侦、影视特技等种种实际场景中，然而也仍然存在图像修复质量和速度有待提高、模型训练稳定性不足等问题。
本发明的目的在于解决现有技术的不足，提供了一种基于生成对抗网络的人脸图像修复方法
如图1所示，一种基于生成对抗网络的人脸图像修复方法，包括以下步骤：
S1：建立人脸图片数据库；
S2：采集完整的人脸图片和有破损的人脸图片，建立图片数据集；
S3：将数据集内完整的人脸图片划分为训练集、测试集；
S4：将训练集中的图片通过二值掩码生成随机的破损图片；
S5：将训练集中的破损图片输入到图像修复模型中得到修复后的图像；
S6：将修复后的图像与完整图像计算损失，反馈至图像修复模型进行参数调整并迭代优化训练；
S7：将测试集中的图片通过二值掩码生成随机的破损图片并输入至训练好的图像修复模型中，验证模型的修复能力，并得到最优的图像修复模型；
S8：将破损的人脸图片经破损区域检测模块检测后，输入最优的图像修复模型中进行修复，得到修复后的人脸图片。
所述步骤S3中人脸图片按照9:1的随机比例划分为训练集与测试集。
所述步骤S4中需对训练集中的每一张图片通过二值掩码生成一定大小内的随机破损区域。
所述步骤S5中用于训练的图像修复模型为生成对抗路网络与残差网络组成，破损照片输入图像修复模型，生成对抗网络中的生成器通过卷积层与空洞卷积层捕获破损图像已有信息的高级特征，每2个卷积层或空洞卷积层构成1个残差块，总共7个残差块组成残差网络，之后利用转置卷积层与卷积层将残差网络提取到的高级特征进行复原得到修复后的图像。
生成对抗网络中的生成器通过卷积层与空洞卷积层捕获破损图像已有信息的高级特征，每2个卷积层或空洞卷积层构成1个残差块，总共7个残差块组成残差网络，之后利用转置卷积层与卷积层将残差网络提取到的高级特征进行复原得到修复后的图像。所有空洞卷积核大小均为3×3，扩张率为2，步长为1；标准卷积核的大小为3×3，除了第二与第四个标准卷积核的步长为2以外，其余标准卷积核的步长均为1；转置卷积核大小均为4×4，且步长为1/2在每个卷积层、空洞卷积层、转置卷积层之后均需要通过批量归一化层；除最后一层激活函数为Tanh以外，其余层的激活函数均使用ReLU。
修复后的图像将送入生成对抗网络中的判别器来判断图像的修复效果，判别器由全局判别器与局部判别器组成，全局判别器网络的输入由真实图像与修复后的图像组成，局部判别器网络的输入是由局部真实图像与局部修复图像组成，全局和局部判别器网络的输出都是长度为1024的向量，并拼接为一个长度为2048的向量后再输入一个全连接层，最终输出图像为真实图像的概率值。破损照片输入图像修复模型，模型通过二值掩码标记出破损区域与完好区域，生成器提取破损人脸图像中完好区域的高级特征，并使用高级特征修复图像中的破损区域，判别器评估图像的修复效果，并反馈调节生成器中的参数，提高图像修复质量，最终得到最优模型。
所述特征提取的处理包括卷积层、空洞卷积层，残差块、全连接层、批量归一化、ReLU激活函数、Adam优化算法。
所述图像破损图像修复的处理包括转置卷积层、全连接层、Tanh激活函数。
所述步骤S6中训练的处理包括对抗训练、卷积层、空洞卷积层、全连接层、SmoothL1损失函数、Wasserstein-GP对抗损失、联合损失、梯度惩罚、层归一化、Leaky ReLU激活函数、RMSProp优化算法。
在模型的训练方面，算法选择使用Adam优化器训练生成器，学习率为0.0002；使用RMSProp优化器训练判别器，动量(momentum)为0.5。训练过程共进行50轮迭代，每轮迭代共有s步(s＝训练集样本总数/每批次样本数量(Batch Size))。具体流程如下：
IF epoch<＝20do:
For(k＝1；k<＝s；k++):
从训练集中取出每批次样本数量(16)个样本{x1....x16}并生成具有随机破损区域的相对应的二值掩码，组成数据{(x1,m1)....(x16,m16)}作为输入数据{c1....c16}输入生成器，并生成相应的修复完成后的图像{C(c1)....C(c16)}；
计算输入与真实图片的内容重建损失；
使用ADAM优化器更新生成器的参数θ
Figure BDA0003375631380000061
ELSEIF 20<epoch<＝50:
For(k＝1；k<＝s；k++):
从训练集中取出每批次样本数量(16)个样本{x1....x16}并生成具有随机破损区域的相对应的二值掩码组成数据{(x1,m1)....(x16,m16)}作为输入数据{c1....c16}输入生成器，并生成相应的修复完成后的图像{G(c1)....G(c16)}
使用RMSProp优化器更新局部判别器的参数β1,和全局判别器的参数β2，并更新梯度惩罚系数λgp，当λgp的值为10时，则保持不变。
Figure BDA0003375631380000062
根据全局与局部判别器的综合结果反馈，与生成器进行对抗训练，使用ADAM优化器更新图像修复网络的参数θ
Figure BDA0003375631380000071
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于生成对抗网络的人脸图像修复方法，其特征在于，包括以下步骤：
S1：建立人脸图片数据库；
S2：采集完整的人脸图片和有破损的人脸图片，建立图片数据集；
S3：将数据集内完整的人脸图片划分为训练集、测试集；
S4：将训练集中的图片通过二值掩码生成随机的破损图片；
S5：将训练集中的破损图片输入到图像修复模型中得到修复后的图像；
S6：将修复后的图像与完整图像计算损失，反馈至图像修复模型进行参数调整并迭代优化训练；
S7：将测试集中的图片通过二值掩码生成随机的破损图片并输入至训练好的图像修复模型中，验证模型的修复能力，并得到最优的图像修复模型；
S8：将破损的人脸图片经破损区域检测模块检测后，输入最优的图像修复模型中进行修复，得到修复后的人脸图片。
2.如权利要求1所述的一种基于生成对抗网络的人脸图像修复方法，其特征在于，所述步骤S3中人脸图片按照9:1的随机比例划分为训练集与测试集。
3.如权利要求1所述的一种基于生成对抗网络的人脸图像修复方法，其特征在于，所述步骤S4中需对训练集中的每一张图片通过二值掩码生成一定大小内的随机破损区域。
4.如权利要求1所述的一种基于生成对抗网络的人脸图像修复方法，其特征在于，所述步骤S5中用于训练的图像修复模型为生成对抗路网络与残差网络组成，破损照片输入图像修复模型，生成对抗网络中的生成器通过残差网络捕获提取破损人脸图像中完好区域的高级特征，并利用转置卷积层与卷积层将残差网络提取到的高级特征修复图像中的破损区域，得到修复后的图像。
5.如权利要求4所述的一种基于生成对抗网络的人脸图像修复方法，其特征在于，所述残差网络由七个残差块组成，每两个卷积层或空洞卷积层构成一个残差块。
6.如权利要求1所述的一种基于生成对抗网络的人脸图像修复方法，其特征在于，所述步骤S6中训练包括使用Adam优化器训练生成对抗路网络的生成器，使用RMSProp优化器训练生成对抗路网络的判别器。
CN202111415514.XA 2021-11-25 2021-11-25 一种基于生成对抗网络的人脸图像修复方法 Pending CN114092354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111415514.XA CN114092354A (zh) 2021-11-25 2021-11-25 一种基于生成对抗网络的人脸图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415514.XA CN114092354A (zh) 2021-11-25 2021-11-25 一种基于生成对抗网络的人脸图像修复方法

Publications (1)

Publication Number Publication Date
CN114092354A true CN114092354A (zh) 2022-02-25

Family

ID=80304760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415514.XA Pending CN114092354A (zh) 2021-11-25 2021-11-25 一种基于生成对抗网络的人脸图像修复方法

Country Status (1)

Country Link
CN (1) CN114092354A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法
WO2024088111A1 (zh) * 2022-10-28 2024-05-02 北京字跳网络技术有限公司 图像处理方法、装置、设备、介质及程序产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088111A1 (zh) * 2022-10-28 2024-05-02 北京字跳网络技术有限公司 图像处理方法、装置、设备、介质及程序产品
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法
CN116681604B (zh) * 2023-04-24 2024-01-02 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法

Similar Documents

Publication Publication Date Title
CN109785258B (zh) 一种基于多判别器生成对抗网络的人脸图像修复方法
Zhang et al. Semantic image inpainting with progressive generative networks
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
Zhang et al. Hierarchical density-aware dehazing network
CN109377452B (zh) 基于vae和生成式对抗网络的人脸图像修复方法
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
Yi et al. Efficient and accurate multi-scale topological network for single image dehazing
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN111508069B (zh) 一种基于单张手绘草图的三维人脸重建方法
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
Zhang et al. Generative adversarial and self-supervised dehazing network
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
CN113935919A (zh) 一种基于gan网络的图像修复算法
Guo et al. Joint raindrop and haze removal from a single image
Liu et al. Eaf-wgan: Enhanced alignment fusion-wasserstein generative adversarial network for turbulent image restoration
Cai et al. Contextual-assisted scratched photo restoration
Song et al. Learning structural similarity with evolutionary-GAN: A new face de-identification method
Kim et al. Old document restoration using super resolution GAN and semantic image inpainting
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Zhang et al. [Retracted] Ancient Stone Inscription Image Denoising and Inpainting Methods Based on Deep Neural Networks
CN116051407A (zh) 一种图像修复方法
CN111709945B (zh) 一种基于深度局部特征的视频拷贝检测方法
Lyu et al. DeCapsGAN: generative adversarial capsule network for image denoising
Chen et al. Contrastive structure and texture fusion for image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination