CN115223012A - 一种去遮罩人脸恢复的方法、装置、计算机设备和介质 - Google Patents

一种去遮罩人脸恢复的方法、装置、计算机设备和介质 Download PDF

Info

Publication number
CN115223012A
CN115223012A CN202210809438.9A CN202210809438A CN115223012A CN 115223012 A CN115223012 A CN 115223012A CN 202210809438 A CN202210809438 A CN 202210809438A CN 115223012 A CN115223012 A CN 115223012A
Authority
CN
China
Prior art keywords
face
module
mask
image
set data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210809438.9A
Other languages
English (en)
Inventor
谢剑斌
高峰
谢昌颐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Original Assignee
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd filed Critical Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority to CN202210809438.9A priority Critical patent/CN115223012A/zh
Publication of CN115223012A publication Critical patent/CN115223012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种去遮罩人脸恢复的方法、装置、计算机设备和存储介质。所述方法包括：通过在去遮罩人脸恢复模型中设计空洞插值卷积模块，能够填补人脸遮罩模块像素，提高模型执行效率以及提高生成面部的多样性；通过使用动态选择卷积模块学习特征，通过注意力权重获取高权重特征信息，促进卷积块有效地学习图像特征；另外通过第二通路中的上下文注意力模块，可以有效地从遥远的空间位置借用信息来重建局部缺失的像素。通过训练集数据对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型，用于对戴口罩等的被遮罩的人脸进行去遮罩处理。

Description

一种去遮罩人脸恢复的方法、装置、计算机设备和介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种去遮罩人脸恢复的方法、装置、计算机设备和存储介质。
背景技术
口罩已成为减缓疾病传播的有效方式，在公共场合中，人们的面部被遮挡，因此，针对遮罩人脸的面部修复技术逐步发展起来。
面部修复作为计算机视觉(Computer Vision,CV)领域的一个小的方向，传统方法包括基于面片的方法和基于扩散模型的方法，基于面片的方法通过是搜索和扩展图像未受损区域中的像素，逐个面片填充缺失区域，基于扩散模型的方法通过内容填补缺失区域，两个方法恢复出的图像都很难保真，缺乏多样性。因此，现有技术存在效果和适应性不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升面部修复效果的去遮罩人脸恢复的方法、装置、计算机设备和存储介质。
一种去遮罩人脸恢复的方法，所述方法包括：
获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
在其中一个实施例中，还包括：获取人脸图像的训练集数据；所述训练集数据从公开数据集celeba中随机采集；
对所述训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特征点，确定方形遮罩范围，根据所述方形遮罩范围得到人脸遮罩图像；
进一步得到人脸遮罩集数据。
在其中一个实施例中，还包括：所述动态选择卷积模块对应的数学表示为：
Figure BDA0003740006190000021
其中，Output为动态选择卷积模块的输出，
Figure BDA0003740006190000022
表示卷积后的特征，σ(·)表示softmax函数得到的权重信息。
在其中一个实施例中，还包括：所述空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块，将所述噪声填入模块和所述变形卷积模块学习到的图像特征进行特征融合，对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补。
在其中一个实施例中，所述叠加噪声的卷积模块的处理流程包括：
对所述人脸遮罩集数据中的人脸遮罩图像按通道进行标准化；
在标准化后的图像上叠加噪声；
对叠加噪声后的图像进行3×3卷积；
对卷积后的图像上再次按通道进行标准化，得到所述噪声填入模块的输出。
在其中一个实施例中，还包括：通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练；所述去遮罩人脸恢复模型中生成器的损失函数包括L1损失函数、Ltv损失函数和Lcontent损失函数；所述去遮罩人脸恢复模型所要优化的目标函数为WGAN损失。
在其中一个实施例中，还包括：所述训练集数据中的人脸图像为正面人脸图像。
一种去遮罩人脸恢复的装置，所述装置包括：
预处理模块，用于获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
训练数据输入模块，用于将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
模型训练模块，用于根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
模型应用模块，用于获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
上述去遮罩人脸恢复的方法、装置、计算机设备和存储介质，通过在去遮罩人脸恢复模型中设计空洞插值卷积模块，能够填补人脸遮罩孔洞的像素，提高模型执行效率以及提高生成面部的多样性；通过使用动态选择卷积模块学习特征，通过注意力权重提取高权重特征，能够更好地学习图像特征；另外通过第二通路中的上下文注意力模块，可以有效地从遥远的空间位置借用信息来重建局部缺失的像素。通过训练集数据对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型，用于对戴口罩等的被遮罩的人脸进行去遮罩处理。本发明可以提高遮罩人脸去遮罩的效果，适用性好且效率高。
附图说明
图1为一个实施例中去遮罩人脸恢复方法的流程示意图；
图2为一个实施例中去遮罩人脸恢复方法中图像预处理的示意图，其中，(a)为原图像，(b)为关键点图，(c)为脸部中心图，(d)为预处理输出图；
图3为一个实施例中去遮罩人脸恢复模型的整体框架图；
图4为一个实施例中空洞插值卷积模块示意图；
图5为一个实施例中空洞插值卷积模块原理说明示意图，其中，(a)为常规卷积示意图，(b)为变形卷积示意图，(c)为变形卷积缺陷示意图，(d)为空洞插值卷积模块填补孔洞的示意图；
图6为一个实施例中动态选择卷积模块结构示意图；
图7为一个具体实施例中用测试集测试的结果图；
图8为一个实施例中去遮罩人脸恢复的装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种去遮罩人脸恢复的方法，包括以下步骤：
步骤102，获取人脸图像的训练集数据，对训练集数据进行预处理，得到对应的人脸遮罩集数据。
图像预处理阶段，首先使用训练完成的网络模型dlib网络获取人脸68个特征点，制作人脸遮罩图像(利用方形遮罩替代)。通过以下函数设置遮罩图像：
f(x)＝x*(1-mask)
其中x表示原图像，mask表示遮罩图像。如图2为由原始图像得到人脸遮罩图像的示意图。
步骤104，将训练集数据和人脸遮罩集数据输入去遮罩人脸恢复模型中。
去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；多层动态选择卷积模块和多层空洞卷积模块构成U型卷积网络；第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；空洞插值卷积模块用于通过填入噪声对人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；第一通路和第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；空洞卷积模块用于进行扩大感受野的特征提取；上下文注意力模块用于借用有效空间像素进行孔洞填补；特征融合模块用于对第一通路和第二通路的输出进行特征融合；图像输出模块用于根据特征融合模块的输出激活得到人脸的生成图像。
其中，上下文注意力模块借用有效空间像素进行孔洞填补，有效像素指的是从遥远的空间位置(非遮罩区域)借用的像素信息，可以用来重建局部缺失的像素。
具体地，如图3为去遮罩人脸恢复模型的整体框架图。在去遮罩人脸恢复模型的生成器中，第一行模块构成第一通路，第二行模块构成第二通路。第一通路依次包括级联的一层空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；第二通路依次包括级联的多层动态卷积模块和一层上下文注意力模块；通过一个特征融合模块将第一通路和第二通路输出的特征融合，得到生成器输出的预测人脸图像。在去遮罩人脸恢复模型的训练过程中，通过将生成器输出的预测人脸图像与真实人脸图像输入判别器中，输出一个标量值来表示生成图的真实性。
本发明提出的第一通路中的空洞插值卷积模块的作用是填补人脸遮罩模块像素。传统卷积对具有遮罩的人脸网络学习效率慢，本发明通过在模型中添加空洞插值卷积模块，可以提高模型执行效率。空洞插值卷积模块如图4所示：空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块，将噪声填入模块和变形卷积模块学习到的图像特征进行特征融合，对人脸遮罩集数据中的人脸遮罩图像进行孔洞填补。其中，噪声填入模块的处理流程包括：对人脸遮罩集数据中的人脸遮罩图像按通道进行标准化；在标准化后的图像上叠加噪声；对叠加噪声后的图像进行3×3卷积；对卷积后的图像上再次按通道进行标准化，得到噪声填入模块的输出。
本发明提出空洞插值卷积模块中使用变形卷积模块以及在变形卷积模块基础上进行填入噪声改进，其原因在于：常规卷积块面对空洞时无法学习，如图5(a)所示，卷积核无法在空洞处采集到信息；而采用变形卷积使得空洞的位置可以用周围像素点代替，如图5(b)；但变形卷积存在一个问题，如图5(c)所示，会将有像素值的部分替代为值为0的部分；本发明的设计的空洞插值卷积模块解决了上述问题，如图5(d)；图5中，黑色框代表卷积核，实心点表示原采样点，虚线圈表示目标采样点。另外，空洞插值卷积模块可以提高生成面部的多样性。
本发明还提出使用动态选择卷积模块学习特征，动态选择卷积模块贯穿整个网络，充当卷积块的作用。如图6所示为动态选择卷积模块的结构图。利用softmax函数获取注意力权重，提取高权重特征。数学表示为：
Figure BDA0003740006190000081
其中，Output为动态选择卷积模块的输出，
Figure BDA0003740006190000082
表示卷积后的特征，σ(·)表示softmax函数得到的权重信息。
去遮罩人脸恢复模型还包括判别器，判别器的作用是判别生成图和真实图的真假性，从而对生成器惩罚，使生成器更近一步接近真实图像。判别器的结构如下图所示，采用多层普通卷积，判别器输入为真实图像和合成图像，最后输出一个标量值来表示生成图的真实性。
整个网络所要优化的目标函数为WGAN损失，WGAN采用了Earth-Mover距离(EM距离)作为loss，它是在最优路径规划下的最小消耗，计算的是在联合分布下，样本对距离的期望值：
Figure BDA0003740006190000083
其中x为真实采样数据，z为噪声数据。
步骤106，根据训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型。
去遮罩人脸恢复模型中生成器的损失函数包括L1损失函数、Ltv损失函数和Lcontent损失函数。具体如下：
L1损失函数：
Figure BDA0003740006190000084
其中，
Figure BDA0003740006190000085
表示第i个遮罩部位的真实图像，
Figure BDA0003740006190000086
表示生成遮罩部位的图像
Figure BDA0003740006190000087
其中，
Figure BDA0003740006190000091
表示第i个全局真实图像，
Figure BDA0003740006190000092
表示生成全局图像
Ltv损失函数：
总差分正则化损失GAN模型生成图像通常存在伪影,导致生成图像模糊影响识别，在最终生成图像上加入总正则项缓解这个问题。局部tv损失函数数学表示为：
Figure BDA0003740006190000093
全局tv损失函数数学表示为：
Figure BDA0003740006190000094
Lcontent损失函数：
风格损失采用ImageNet上预训练的VGG网络。
Figure BDA0003740006190000095
其中，φconvi是VGG-19第i个卷积层特征。
步骤108，获取待处理的人脸遮罩图像，将人脸遮罩图像输入训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
上述去遮罩人脸恢复的方法、装置、计算机设备和存储介质，通过在去遮罩人脸恢复模型中设计空洞插值卷积模块，能够填补人脸遮罩孔洞的像素，提高模型执行效率以及提高生成面部的多样性；通过使用动态选择卷积模块学习特征，通过注意力权重得到高权重特征，能够更好地学习图像的特征；另外通过第二通路中的上下文注意力模块，可以有效地从遥远的空间位置借用信息来重建局部缺失的像素。通过训练集数据对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型，用于对戴口罩等的被遮罩的人脸进行去遮罩处理。本发明可以提高遮罩人脸去遮罩的效果，适用性好且效率高。
在其中一个实施例中，还包括：获取人脸图像的训练集数据；训练集数据从公开数据集celeba中随机采集；对训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特征点，确定方形遮罩范围，根据方形遮罩范围得到人脸遮罩图像；进一步得到人脸遮罩集数据。
在其中一个实施例中，还包括：训练集数据中的人脸图像为正面人脸图像。
在一个具体实施例中，输出结果如图7所示，其中第一行为人脸遮罩图像，第二行为生成器生成图像，第三行为真实图像。本次结果在测试集中进行测试，人脸图像更具随机性，符合真实生活中的设定。最后一个图像，可将人脸墨镜去除。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种去遮罩人脸恢复的装置，包括：预处理模块802、训练数据输入模块804、模型训练模块806和模型应用模块808，其中：
预处理模块802，用于获取人脸图像的训练集数据，对训练集数据进行预处理，得到对应的人脸遮罩集数据；人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
训练数据输入模块804，用于将训练集数据和人脸遮罩集数据输入去遮罩人脸恢复模型中；去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；多层动态选择卷积模块和多层空洞卷积模块构成U型卷积网络；第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；空洞插值卷积模块用于通过填入噪声对人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；第一通路和第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；空洞卷积模块用于进行扩大感受野的特征提取；上下文注意力模块用于借用有效空间像素进行孔洞填补；特征融合模块用于对第一通路和第二通路的输出进行特征融合；图像输出模块用于根据特征融合模块的输出激活得到人脸的生成图像；
模型训练模块806，用于根据训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
模型应用模块808，用于获取待处理的人脸遮罩图像，将人脸遮罩图像输入训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
预处理模块802还用于获取人脸图像的训练集数据；训练集数据从公开数据集celeba中随机采集；对训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特征点，确定方形遮罩范围，根据方形遮罩范围得到人脸遮罩图像；进一步得到人脸遮罩集数据。
模型训练模块806还用于通过预先设置的损失函数对去遮罩人脸恢复模型进行训练；去遮罩人脸恢复模型中生成器的损失函数包括L1损失函数、Ltv损失函数和Lcontent损失函数；去遮罩人脸恢复模型所要优化的目标函数为WGAN损失。
关于去遮罩人脸恢复的装置的具体限定可以参见上文中对于去遮罩人脸恢复的方法的限定，在此不再赘述。上述去遮罩人脸恢复的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种去遮罩人脸恢复的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种去遮罩人脸恢复的方法，其特征在于，所述方法包括：
获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数提取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
2.根据权利要求1所述的方法，其特征在于，获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据，包括：
获取人脸图像的训练集数据；所述训练集数据从公开数据集celeba中随机采集；
对所述训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特征点，确定方形遮罩范围，根据所述方形遮罩范围得到人脸遮罩图像；
进一步得到人脸遮罩集数据。
3.根据权利要求2所述的方法，其特征在于，所述动态选择卷积模块对应的数学表示为：
Figure FDA0003740006180000021
其中，Output为动态选择卷积模块的输出，
Figure FDA0003740006180000022
表示卷积后的特征，σ(·)表示softmax函数得到的权重信息。
4.根据权利要求3所述的方法，其特征在于，所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补，包括：
所述空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块，将所述噪声填入模块和所述变形卷积模块学习到的图像特征进行特征融合，对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补。
5.根据权利要求4所述的方法，其特征在于，所述噪声填入模块的处理流程包括：
对所述人脸遮罩集数据中的人脸遮罩图像按通道进行标准化；
在标准化后的图像上叠加噪声；
对叠加噪声后的图像进行3×3卷积；
对卷积后的图像上再次按通道进行标准化，得到所述噪声填入模块的输出。
6.根据权利要求5所述的方法，其特征在于，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，包括：
通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练；所述去遮罩人脸恢复模型中生成器的损失函数包括L1损失函数、Ltv损失函数和Lcontent损失函数；所述去遮罩人脸恢复模型所要优化的目标函数为WGAN损失。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述训练集数据中的人脸图像为正面人脸图像。
8.一种去遮罩人脸恢复的装置，其特征在于，所述装置包括：
预处理模块，用于获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
训练数据输入模块，用于将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
模型训练模块，用于根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
模型应用模块，用于获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210809438.9A 2022-07-11 2022-07-11 一种去遮罩人脸恢复的方法、装置、计算机设备和介质 Pending CN115223012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809438.9A CN115223012A (zh) 2022-07-11 2022-07-11 一种去遮罩人脸恢复的方法、装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809438.9A CN115223012A (zh) 2022-07-11 2022-07-11 一种去遮罩人脸恢复的方法、装置、计算机设备和介质

Publications (1)

Publication Number Publication Date
CN115223012A true CN115223012A (zh) 2022-10-21

Family

ID=83610795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809438.9A Pending CN115223012A (zh) 2022-07-11 2022-07-11 一种去遮罩人脸恢复的方法、装置、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN115223012A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810215A (zh) * 2023-02-08 2023-03-17 科大讯飞股份有限公司 面部图像生成方法、装置、设备及存储介质
CN116092475A (zh) * 2023-04-07 2023-05-09 杭州东上智能科技有限公司 一种基于上下文感知扩散模型的口吃语音编辑方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810215A (zh) * 2023-02-08 2023-03-17 科大讯飞股份有限公司 面部图像生成方法、装置、设备及存储介质
CN116092475A (zh) * 2023-04-07 2023-05-09 杭州东上智能科技有限公司 一种基于上下文感知扩散模型的口吃语音编辑方法和系统

Similar Documents

Publication Publication Date Title
CN110751134B (zh) 目标检测方法、装置、存储介质及计算机设备
CN108805828B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115223012A (zh) 一种去遮罩人脸恢复的方法、装置、计算机设备和介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN111178211A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN113674191B (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN111626134B (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN111666931B (zh) 基于混合卷积文字图像识别方法、装置、设备及存储介质
CN113111835A (zh) 卫星遥感图像语义分割方法、装置、电子设备和存储介质
CN109063720A (zh) 手写字训练样本获取方法、装置、计算机设备及存储介质
CN112308043A (zh) 图像处理方法、图像处理装置和计算机可读存储介质
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN115909172A (zh) 深度伪造视频检测分割识别系统、终端及存储介质
CN110222752B (zh) 图像处理方法、系统、计算机设备、存储介质和芯片
CN113704372B (zh) 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN113362255A (zh) 一种基于改进dcgan的文字图像修复方法及系统
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN113609900A (zh) 局部生成人脸定位方法、装置、计算机设备和存储介质
CN111598055A (zh) 文本检测方法、装置、计算机设备和存储介质
CN111666973B (zh) 车辆损伤图片处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination