CN113378980A - 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 - Google Patents
基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 Download PDFInfo
- Publication number
- CN113378980A CN113378980A CN202110749343.8A CN202110749343A CN113378980A CN 113378980 A CN113378980 A CN 113378980A CN 202110749343 A CN202110749343 A CN 202110749343A CN 113378980 A CN113378980 A CN 113378980A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- network
- training
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自适应上下文注意力机制的口罩遮挡人脸恢复方法,其方案是:下载训练好的口罩分割全卷积神经网络FCN和未训练的U型网络;分别构建图像精细恢复网络、全局和口罩遮挡区域判别网络;采集成对口罩遮挡和无遮挡的人脸图像的训练集和测试集;将口罩遮挡图像输入FCN中得到口罩掩膜;依次训练U型网络、图像精细恢复网络、全局和口罩遮挡区域判别网络;利用全局和口罩遮挡区域判别网络的输出再次训练图像精细恢复网络;将测试集中口罩遮挡图像输入训练好的U型网络中,将其结果和口罩掩膜输入到再次训练好的图像精细恢复网络中,得到精细恢复图像。本发明恢复的图像色彩和纹理一致,图像清晰,可用于人脸检测及人脸识别。
Description
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种遮挡人脸恢复方法,可用于人脸检测及人脸识别。
背景技术
人脸恢复是计算机视觉中的一项重要任务,其目的是填补被遮挡人脸的缺失区域,在遮挡人脸检测、遮挡人脸识别等方面有着广泛的应用。近年来,大多数基于深度学习的人脸恢复方法取得了显著的成效。这些方法通常使用最新的网络架构如U-Net,或者设计新的损失函数如重构损失来恢复被遮挡的面部图像。然而,由于人脸姿态多变、遮挡种类繁多等问题,现有的人脸恢复方法得到的恢复图像质量仍然不尽如人意。
在呼吸道类传染病爆发的形势下,越来越多的人在公共场所外出时开始戴口罩,口罩遮挡问题对人脸修复工作提出了新的挑战。不同类型的口罩会对人脸造成严重的遮挡,给与人脸相关的识别工作带来很大的困难。传统的图像恢复方法大多利用生成对抗网络GAN恢复被遮挡区域的图像,然而,它们的恢复结果往往带有很多的边界伪影,且生成的图像质量差。为了生成具有视觉真实感的图像,人们提出了基于上下文图像恢复模型的方法,该类方法采用非局部的图像进行恢复,利用图像中无遮挡区域的上下文关系来填充遮挡区域的缺失像素。然而,这些模型只能处理比较规则的遮挡图像如矩形遮挡,圆形遮挡,难以恢复现实中形态各异的口罩遮挡人脸图像。因此,有必要使用能够检测不同类型的口罩分割FCN网络结合自适应上下文注意力机制与全局和口罩遮挡区域判别网络,来准确的恢复被口罩遮挡的人脸图像。
浙江大华技术股份有限公司在其申请号为:CN201810608192.2的专利申请中提出“一种基于循环神经网络的人脸图像恢复方法及装置”,以对被遮挡的图像进行恢复,其实现步骤为:1)将待恢复的人脸图像,输入到预先训练完成的图像分割模型中,确定所述人脸图像中被遮挡的第一区域;2)在所述人脸图像中标注步骤1)得到的人脸图像中被遮挡的第一区域,确定第一输入图像;3)将步骤2)得到的第一输入图像,输入到预先训练完成的生成式对抗网络的生成模型中,确定第一输入图像的第一重构图像;4)将步骤2)得到的第一输入图像和步骤3)得到的第一重构图像输入到生成式对抗网络的判别模型中,确定第一重构图像为完整人脸图像的第一概率;5)判断步骤4)得到的第一概率是否超过预设的第一概率阈值:如果是,根据步骤3)得到的第一重构图像,对所述人脸图像进行恢复;如果否,将步骤3)得到的第一重构图像作为第一输入图像,输入到所述生成模型中,直至对所述人脸图像进行恢复。该方法的不足之处有两点:其一是没有利用图像的遮挡区域和无遮挡区域之间的上下文相关信息,会使遮挡区域的恢复图像和图像的无遮挡区域产生色彩、纹理不一致的问题。其二是仅针对小面积遮挡有效,对像口罩这样大面积遮挡的恢复效果很差,恢复区域的图像模糊且存在伪影。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于自适应上下文注意力机制的口罩遮挡人脸恢复方法,以保持图像恢复区域和无遮挡区域的色彩和纹理一致,减少恢复区域的伪影,提高对口罩遮挡人脸图像的恢复效果。
为实现上述目的,本发明的技术方案包括如下:
1)从互联网上下载预先训练好分割口罩图像的全卷积神经网络FCN网络和未训练的U型网络U-Net;
2)构建由两个卷积层和一个反卷积层级联组成的自适应上下文注意力机制模块,并将该自适应上下文注意力机制模块与四层卷积层级联和四层级联的卷积层并联,得到的结果和五层反卷积层级联,组成图像精细恢复网络;
3)构建由两个依次连接的六个卷积层和两个全连接层级联组成的全局和口罩遮挡区域判别网络;
4)采集成对的口罩遮挡和无遮挡的人脸图像,并将这两部分图像分别放置于无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2,按照1:1的近似比将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中的图片对划分为训练集和测试集;
5)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到预先训练好的FCN网络中,分别得到训练口罩掩膜和测试口罩掩膜;
6)将有口罩遮挡图像文件夹W2中的训练集图像输入U型网络U-Net中,利用随机梯度下降的方式对其进行训练,得到训练好的U型网络U-Net模型;
7)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到训练好的U型网络U-Net中,分别得到训练粗恢复图像和测试粗恢复图像;
8)将训练粗恢复图像和训练口罩掩膜输入图像精细恢复网络中,利用随机梯度下降的方式对图像精细恢复网络进行训练,得到初步训练好的图像精细恢复网络;
9)将训练粗恢复图像和训练口罩掩膜输入到初步训练好的图像精细恢复网络中,得到精细恢复图像;
10)将精细恢复图像、训练口罩掩膜和无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,利用随机梯度下降的方式对其进行训练,得到训练好的全局和口罩遮挡区域判别网络;
11)将精细恢复图像和训练口罩掩膜输入到训练好的全局和口罩遮挡区域判别网络中,利用得到的判别值对初步训练好的图像精细恢复网络进行再一次训练,得到最终训练好的图像精细恢复网络;
12)将测试粗恢复图像和测试口罩掩膜输入到最终训练好的图像精细恢复网络中,得到最终精细恢复图像。
本发明与现有技术相比,具有以下优点:
1.本发明通过对口罩遮挡区域和无遮挡区域的注意力图进行自适应的更新,保持了图像恢复区域和无遮挡区域的色彩和纹理的一致性,提高了恢复图像的质量和真实性,使恢复的图像在视觉上更加接近自然界中采集的真实无遮挡图像;
2.本发明通过使用全局和口罩遮挡区域判别网络的判别功能,使恢复的图像更加清晰且具有更少的伪影干扰,提高了恢复图像的细节性;
3.本发明所提出的基于自适应上下文注意力机制的口罩遮挡人脸图像恢复模型结构简单且运行速度快,可满足在真实场景中实时使用的要求。
附图说明
图1是本发明的实现流程图;
图2是本发明中的图像精细恢复网络模型图;
图3是本发明中的全局和口罩遮挡区域判别网络模型图;
图4是用本发明对所采集的口罩遮挡人脸图像进行恢复的仿真结果图。
具体实施方式
以下结合附图对本发明的实施例和效果作进一步的详细说明。
参照图1,本实例的实现步骤如下:
步骤1:获取全卷积神经网络FCN和U型网络U-Net。
现有github代码库存有预先训练好分割口罩图像的全卷积神经网络FCN网络和U型网络U-Net,可直接从github代码库里下载预先训练好分割口罩图像的全卷积神经网络FCN网络和未训练的U型网络U-Net并保存下来。
步骤2:构建图像精细恢复网络。
参照图2,图像精细恢复网络的结构如下:
2.1)构建自适应上下文注意力机制模块:
将两个卷积层Conv1和Conv2和一个反卷积层Dconv1级联构成自适应上下文注意力机制模块,其中:
卷积层Conv1和Conv2的大小均为3×3、步长为1、激活函数为Relu,卷积层Conv1和Conv2用于对获取的图像注意力图Attentionmap1的数值进行更新,
反卷积层Dconv1的大小为4×4×96,步长为1、激活函数为Relu,
在本实例中将训练口罩掩膜进行维度变换,得到大小为1×64×64×96的图像MaskR,将MaskR与输入特征C相乘,得到前景区域Ff=MaskR×C和背景区域Fb=(1-MaskR)×C,计算大小为1×1×96的前景区域像素块和大小为1×1×96的背景区域像素块的余弦相似度,选出与前景区域像素块相似度最大的背景区域像素块BMAX,将BMAX乘上余弦相似度取值后,与该前景区域像素块进行加和,余弦相似度的计算公式为:
对前景区域所有像素块按此方式进行处理,得到前景区域Ff和背景区域Fb的注意力图Attentionmap1;
在本实例中利用大小为4×4的滑动窗口依次经过数值更新后的图像注意力图Attentionmap1的各个位置,得到256个4×4×96的反卷积核WD,将WD作为反卷积层Dconv1的卷积核,对输入特征C进行反卷积的操作,得到大小为1×64×64×96的上下文特征Fca;
2.2)构建三条支路:
第一支路:由第1卷积层->第2卷积层->第3卷积层->第4卷积层->自适应上下文注意力机制模块级联组成,
第二支路:由第5卷积层->第6卷积层->第7卷积层->第8卷积层依次级联组成,
第三支路:由第1反卷积层->第2反卷积层->第3反卷积层->第4反卷积层->第5反卷积层级联组成;
2.3)将第一支路与第二支路并联,再与第三支路级联,组成图像精细恢复网络,该网络中除自适应上下文注意力机制模块外,每个卷积层和反卷积层的卷积核大小均为3×3。
步骤3:构建全局和口罩遮挡区域判别网络。
如图3所示,全局和口罩遮挡区域判别网络的结构为:第一卷积层->第二卷积层->第三卷积层->第四卷积层->第五卷积层->第六卷积层->第一全连接层->第二全连接层->Sigmoid函数,其中:
每个卷积层的卷积核大小均为3×3,步长为2;
第一全连接层的大小为1×512;
第二全连接层的大小为1×1;
步骤4:采集成对的口罩遮挡和无遮挡的人脸图像,并对其进行处理和划分。
4.1)使用相机采集数千对口罩遮挡和无遮挡人脸图像图片对,并将这两部分图像分别放置于无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中;
4.2)将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中所有图像进行维度变换,将其变换成大小为256×256×3的图像;
4.3)将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中经过维度变换后的图像对按照1:1的比例进行划分,得到训练集图像和测试集图像,
本实例采集了5000对图像,经过处理和划分后得到2500对训练集图像和2500对测试集图像。
步骤5:将图像输入预先训练好的FCN网络中,得到训练口罩掩膜和测试口罩掩膜。
将有口罩遮挡图像文件夹W2中的训练集图像输入到预先训练好的FCN网络中,得到大小为256×256×1的训练口罩掩膜;
将有口罩遮挡图像文件夹W2中的测试集图像输入到预先训练好的FCN网络中,得到大小为256×256×1的测试口罩掩膜;
训练口罩掩膜和测试口罩掩膜在口罩遮挡区域的像素值取值为1,无口罩遮挡区域的像素值取值为0。
步骤6:用梯度下降法训练U型网络U-Net。
6.1)设置训练的学习率为0.001,最大迭代次数为1000,选择梯度下降法中的随机梯度下降算法SGD,并将SGD中的动能系数设置为0.8,权重衰减系数设置为0.0001;
6.2)将有口罩遮挡图像文件夹W2中的训练集图像按每批次4张输入到U型网络U-Net中,生成粗图像;
6.3)计算粗图像和无遮挡图像文件夹W1中与粗图像对应的训练集图像的重构损失函数Lrec1:
6.4)重复6.2)~6.3),迭代优化重构损失函数Lrec1,直到达到最大迭代次数或重构损失函数Lrec1的数值小于0.8时,得到训练好的U型网络U-Net网络模型,保存训练好的U-Net模型。
步骤7:将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到步骤6得到的训练好的U型网络U-Net中,分别得到训练粗恢复图像和测试粗恢复图像。
步骤8:用梯度下降法训练步骤2中的图像精细恢复网络。
8.1)设置训练的学习率为0.000015,最大迭代次数为30000,选择梯度下降法中的随机梯度下降算法SGD,将SGD中的动能系数设置为0.95,权重衰减系数设置为0.0005;
8.2)将训练粗恢复图像与训练口罩掩膜相乘输入图像精细恢复网络的第一支路得到上下文特征Fca,将训练粗恢复图像输入图像精细恢复网络的第二支路得到第二支路特征C8;
8.3)将第二支路特征C8和上下文特征Fca进行合并拼接,得到合并拼接后的特征Cn;
8.4)将合并拼接后的特征Cn输入第三支路,得到细图像;
8.5)计算细图像与无遮挡图像文件夹W1中与细图像对应的训练集图像的L2损失函数Lrec2:
8.6)重复8.2)~8.5),迭代优化损失函数,直到达到最大迭代次数或L2损失函数Lrec2的数值小于0.3时,得到初步训练好的图像精细恢复网络,保存初步训练好的图像精细恢复网络;
步骤9:将训练粗恢复图像和训练口罩掩膜输入到步骤8得到的初步训练好的图像精细恢复网络中,得到精细恢复图像;
步骤10:用梯度下降法训练步骤3中的全局和口罩遮挡区域判别网络。
10.1)设置训练的学习率为0.000015,最大迭代次数为3000,选择梯度下降法中的随机梯度下降算法SGD,将SGD中的动能系数设置为0.9,权重衰减系数设置为0.0005;
10.2)将精细恢复图像输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GID,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD;
10.3)将精细恢复图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GID-mask,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD-mask;
10.4)计算精细恢复图像与无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像的判别损失函数LD:
10.5)重复10.2)~10.4),迭代优化损失函数,直到达到最大迭代次数或判别损失函数LD小于0.2时,得到训练好的全局和口罩遮挡区域判别网络,保存训练好的全局和口罩遮挡区域判别网络。
步骤11:用梯度下降法对步骤8中初步训练好的图像精细恢复网络进行再一次训练。
11.1)设置训练的学习率为0.000015,最大迭代次数为50000,选择梯度下降法中的随机梯度下降算法SGD,将SGD中的动能系数设置为0.9,权重衰减系数设置为0.0001;
11.2)将精细恢复图像输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GRI,将精细恢复图像与训练口罩掩膜相乘并输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GRI-mask;
11.3)计算精细恢复图像的生成损失函数LG:
11.4)使用精细恢复图像的生成损失函数LG和反向传播算法对初步训练好的图像精细恢复网络中所有卷积核的参数进行更新;
11.5)重复11.2)~11.4),迭代优化损失函数,直到达到最大迭代次数或生成损失函数小于0.1时,得到最终训练好的图像精细恢复网络,保存最终训练好的图像精细恢复网络;
步骤12:将测试粗恢复图像和测试口罩掩膜输入到步骤11得到的最终训练好的图像精细恢复网络中,得到最终精细恢复图像。
本发明的效果可通过以下仿真进一步说明:
一、仿真条件
以步骤4获得的测试集的部分图片作为仿真图片进行仿真验证,仿真基于python、tensorflow-gpu 1.13软件进行。
二、仿真内容与结果
将仿真图片分别输入到现有的PatchMatch模型和现有训练好的Pix2Pix模型,将仿真图片输入到本发明训练好的基于自适应上下文注意力机制的口罩遮挡人脸图像恢复模型,得到恢复结果如图4,其中:
图4(a)为仿真图片;
图4(b)为真值图片;
图4(c)为用现有PatchMatch模型的恢复的结果;
图4(d)为用现有Pix2Pix模型的恢复的结果;
图4(e)为用本发明基于自适应上下文注意力机制的口罩遮挡人脸图像恢复模型的恢复结果。
从图4可以看出,本发明基于自适应上下文注意力机制的口罩遮挡人脸恢复方法的恢复结果与真值图像接近,且相较于现有PatchMatch模型和现有Pix2Pix模型,本发明可改善现有技术生成图像模糊,存在伪影且遮挡区域和无遮挡区域色彩纹理不一致的问题,表明本实例有着较好的恢复效果。
Claims (9)
1.一种基于自适应上下文注意力机制的口罩遮挡人脸恢复方法,其特征在于,包括:
1)从互联网上下载预先训练好分割口罩图像的全卷积神经网络FCN网络和未训练的U型网络U-Net;
2)构建由两个卷积层和一个反卷积层级联组成的自适应上下文注意力机制模块,并将该自适应上下文注意力机制模块与四层卷积层级联和四层级联的卷积层并联,得到的结果和五层反卷积层级联,组成图像精细恢复网络;
3)构建由两个依次连接的六个卷积层和两个全连接层级联组成的全局和口罩遮挡区域判别网络;
4)采集成对的口罩遮挡和无遮挡的人脸图像,并将这两部分图像分别放置于无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2,按照1:1的近似比将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中的图片对划分为训练集和测试集;
5)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到预先训练好的FCN网络中,分别得到训练口罩掩膜和测试口罩掩膜;
6)将有口罩遮挡图像文件夹W2中的训练集图像输入U型网络U-Net中,利用随机梯度下降的方式对其进行训练,得到训练好的U型网络U-Net模型;
7)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到训练好的U型网络U-Net中,分别得到训练粗恢复图像和测试粗恢复图像;
8)将训练粗恢复图像和训练口罩掩膜输入图像精细恢复网络中,利用随机梯度下降的方式对图像精细恢复网络进行训练,得到初步训练好的图像精细恢复网络;
9)将训练粗恢复图像和训练口罩掩膜输入到初步训练好的图像精细恢复网络中,得到精细恢复图像;
10)将精细恢复图像、训练口罩掩膜和无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,利用随机梯度下降的方式对其进行训练,得到训练好的全局和口罩遮挡区域判别网络;
11)将精细恢复图像和训练口罩掩膜输入到训练好的全局和口罩遮挡区域判别网络中,利用得到的判别值对初步训练好的图像精细恢复网络进行再一次训练,得到最终训练好的图像精细恢复网络;
12)将测试粗恢复图像和测试口罩掩膜输入到最终训练好的图像精细恢复网络中,得到最终精细恢复图像。
2.如权利要求1所述的方法,其特征在于,2)中自适应上下文注意力机制模块中的两个的卷积层Conv1和Conv2,其卷积核的大小均为3×3、步长为1、激活函数为Relu,用于对图像注意力图Attentionmap1的数值进行更新。
3.如权利要求1所述的方法,其特征在于,2)中自适应上下文注意力机制模块中的反卷积层Dconv1,其大小为4×4×96,步长为1、激活函数为Relu、以数值更新后的Attentionmap1作为卷积核,用于对图像特征进行反卷积的操作,获取图像的上下文特征Fca。
4.如权利要求1所述的方法,其特征在于,2)中构建的图像精细恢复网络,其包括三条支路,第一支路由第1卷积层->第2卷积层->第3卷积层->第4卷积层->自适应上下文注意力机制模块级联组成,第二支路由第5卷积层->第6卷积层->第7卷积层->第8卷积层依次级联组成,第三支路由第1反卷积层->第2反卷积层->第3反卷积层->第4反卷积层->第5反卷积层组成的级联组成,该第一支路与第二支路并联后,再与第三支路级联,组成图像精细恢复网络,每个卷积层和反卷积层的卷积核大小均为3×3。
6.如权利要求1所述的方法,其特征在于,6)中对U型网络U-Net进行训练,其实现如下:
6a)设置训练的学习率为0.001,最大迭代次数为1000;
6b)将有口罩遮挡图像文件夹W2中的训练集图像输入到U型网络U-Net中,得到粗图像;
6c)计算粗图像和无遮挡图像文件夹W1中与粗图像对应的训练集图像的重构损失函数Lrec1:
6d)重复6a)~6c),迭代优化重构损失函数Lrec1,直到达到最大迭代次数或重构损失函数Lrec1达到收敛时,得到训练好的U型网络U-Net模型。
7.如权利要求1所述的方法,其特征在于,8)中利用随机梯度下降算法对图像精细恢复网络进行训练,其实现如下:
8a)设置训练的学习率为0.000015,最大迭代次数为30000;
8b)将训练粗恢复图像与训练口罩掩膜相乘输入图像精细恢复网络的第1卷积层,训练粗恢复图像输入图像精细恢复网络的第5卷积层,得到细图像;
8c)计算细图像与无遮挡图像文件夹W1中与细图像对应的训练集图像的L2损失函数Lrec2:
其中,i表示像素的索引,n表示一张细图像的像素总数,Irefine,i pred表示细图像第i个像素点的取值,Irefine,i gt表示无遮挡图像文件夹W1中与细图像对应的训练集图像的第i个像素点的取值,(·)2表示取平方的操作;
8d)重复8b)~8c),迭代优化损失函数,直到达到最大迭代次数或L2损失函数Lrec2达到收敛时,得到初步训练好的图像精细恢复网络。
8.如权利要求1所述的方法,其特征在于,10)中利用随机梯度下降算法对全局和口罩遮挡区域判别网络进行训练,其实现如下:
10a)设置训练的学习率为0.000015,最大迭代次数为3000;
10b)将精细恢复图像输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GID,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD;
10c)将精细恢复图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GID-mask,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD-mask;
10d)计算精细恢复图像与无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像的判别损失函数LD:
10e)重复10b)~10d),迭代优化损失函数,直到达到最大迭代次数或判别损失函数LD达到收敛时,得到训练好的全局和口罩遮挡区域判别网络。
9.如权利要求1所述的方法,其特征在于,11)中对初步训练好的图像精细恢复网络进行再一次训练,其实现如下:
11a)设置训练的学习率为0.000015,最大迭代次数为50000;
11b)将精细恢复图像输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GRI,将精细恢复图像与训练口罩掩膜相乘并输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GRI-mask;
11c)计算精细恢复图像的生成损失函数LG:
其中,log(·)表示取自然对数的操作;
11d)使用生成损失函数LG和反向传播算法对初步训练好的图像精细恢复网络中所有卷积核的参数进行更新;
11e)重复11b)~10d),迭代优化损失函数,直到达到最大迭代次数或生成损失函数LG达到收敛时,得到最终训练好的图像精细恢复网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110749343.8A CN113378980B (zh) | 2021-07-02 | 2021-07-02 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110749343.8A CN113378980B (zh) | 2021-07-02 | 2021-07-02 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113378980A true CN113378980A (zh) | 2021-09-10 |
CN113378980B CN113378980B (zh) | 2023-05-09 |
Family
ID=77580635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110749343.8A Active CN113378980B (zh) | 2021-07-02 | 2021-07-02 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113378980B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503609A (zh) * | 2019-07-15 | 2019-11-26 | 电子科技大学 | 一种基于混合感知模型的图像去雨方法 |
CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
CN110827213A (zh) * | 2019-10-11 | 2020-02-21 | 西安工程大学 | 一种基于生成式对抗网络的超分辨率图像修复方法 |
CN111127308A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 |
CN111339870A (zh) * | 2020-02-18 | 2020-06-26 | 东南大学 | 一种针对物体遮挡场景的人体形状和姿态估计方法 |
CN111666838A (zh) * | 2020-05-22 | 2020-09-15 | 吉林大学 | 一种改进的残差网络猪脸识别方法 |
CN111738979A (zh) * | 2020-04-29 | 2020-10-02 | 北京易道博识科技有限公司 | 证件图像质量自动检查方法及系统 |
CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
CN112200040A (zh) * | 2020-09-28 | 2021-01-08 | 北京小米松果电子有限公司 | 遮挡图像检测方法、装置及介质 |
CN112861785A (zh) * | 2021-03-09 | 2021-05-28 | 中山大学 | 一种基于实例分割和图像修复的带遮挡行人重识别方法 |
CN112949553A (zh) * | 2021-03-22 | 2021-06-11 | 陈懋宁 | 基于自注意力级联生成对抗网络的人脸图像修复方法 |
CN112949565A (zh) * | 2021-03-25 | 2021-06-11 | 重庆邮电大学 | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 |
CN112990052A (zh) * | 2021-03-28 | 2021-06-18 | 南京理工大学 | 基于人脸修复的部分遮挡人脸识别方法及装置 |
-
2021
- 2021-07-02 CN CN202110749343.8A patent/CN113378980B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503609A (zh) * | 2019-07-15 | 2019-11-26 | 电子科技大学 | 一种基于混合感知模型的图像去雨方法 |
CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
CN110827213A (zh) * | 2019-10-11 | 2020-02-21 | 西安工程大学 | 一种基于生成式对抗网络的超分辨率图像修复方法 |
CN111127308A (zh) * | 2019-12-08 | 2020-05-08 | 复旦大学 | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 |
CN111339870A (zh) * | 2020-02-18 | 2020-06-26 | 东南大学 | 一种针对物体遮挡场景的人体形状和姿态估计方法 |
CN111738979A (zh) * | 2020-04-29 | 2020-10-02 | 北京易道博识科技有限公司 | 证件图像质量自动检查方法及系统 |
CN111666838A (zh) * | 2020-05-22 | 2020-09-15 | 吉林大学 | 一种改进的残差网络猪脸识别方法 |
CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
CN112200040A (zh) * | 2020-09-28 | 2021-01-08 | 北京小米松果电子有限公司 | 遮挡图像检测方法、装置及介质 |
CN112861785A (zh) * | 2021-03-09 | 2021-05-28 | 中山大学 | 一种基于实例分割和图像修复的带遮挡行人重识别方法 |
CN112949553A (zh) * | 2021-03-22 | 2021-06-11 | 陈懋宁 | 基于自注意力级联生成对抗网络的人脸图像修复方法 |
CN112949565A (zh) * | 2021-03-25 | 2021-06-11 | 重庆邮电大学 | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 |
CN112990052A (zh) * | 2021-03-28 | 2021-06-18 | 南京理工大学 | 基于人脸修复的部分遮挡人脸识别方法及装置 |
Non-Patent Citations (4)
Title |
---|
MUHAMMAD HAZIQ RUSLI等: "Evaluating the Masked and Unmasked Face with LeNet Algorithm", 《2021 IEEE 17TH INTERNATIONAL COLLOQUIUM ON SIGNAL PROCESSING & ITS APPLICATIONS (CSPA)》 * |
NING WANG等: "Multistage attention network for image inpainting", 《PATTERN RECOGNITION》 * |
刘宇等: "使用超像素分割与图割的网状遮挡物检测算法", 《计算机应用》 * |
武文杰等: "基于生成对抗网络的遮挡人脸图像修复的改进与实现", 《计算机应用与软件》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113378980B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN111861901A (zh) | 一种基于gan网络的边缘生成图像修复方法 | |
CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
CN113298734B (zh) | 一种基于混合空洞卷积的图像修复方法及系统 | |
CN112614136A (zh) | 一种红外小目标实时实例分割方法及装置 | |
CN112598587B (zh) | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 | |
CN111626951A (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
CN112528764A (zh) | 人脸表情识别方法、系统、装置及可读存储介质 | |
CN111126185B (zh) | 一种针对道路卡口场景的深度学习车辆目标识别方法 | |
CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
CN112614070A (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
CN113378980B (zh) | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 | |
CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
CN114066786A (zh) | 一种基于稀疏和滤波器的红外和可见光图像融合方法 | |
CN116051407A (zh) | 一种图像修复方法 | |
Jiang et al. | Haze relevant feature attention network for single image dehazing | |
CN113256541B (zh) | 利用机器学习对钻井平台监控画面进行去水雾的方法 | |
CN113012071B (zh) | 一种基于深度感知网络的图像失焦去模糊方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |