CN112990052A - 基于人脸修复的部分遮挡人脸识别方法及装置 - Google Patents
基于人脸修复的部分遮挡人脸识别方法及装置 Download PDFInfo
- Publication number
- CN112990052A CN112990052A CN202110329333.9A CN202110329333A CN112990052A CN 112990052 A CN112990052 A CN 112990052A CN 202110329333 A CN202110329333 A CN 202110329333A CN 112990052 A CN112990052 A CN 112990052A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- shielding
- loss
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸修复的部分遮挡人脸识别方法及装置，识别方法利用基于生成式对抗网络的人脸修复算法修复人脸遮挡部分提高人脸识别精度；利用非遮挡人脸、对应的遮挡人脸图像、对应的人脸遮挡位置标签训练基于生成式对抗网络的人脸修复算法的人脸生成器、全局人脸判别器和局部人脸判别器；利用人脸生成器对输入的有遮挡人脸图像进行修复处理，获得修复后的人脸图像；利用人脸识别器对修复后的人脸图像进行特征提取，通过与样本库的数据比对获得人脸对应的身份信息。本发明采用人脸修复算法，有效提高了局部遮挡情况下的人脸识别精度。
Description
技术领域
本发明属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的人脸识别方法及装置。
背景技术
在互联网和信息技术高速发展的时代，随着个人信息的隐私性和安全性越来越受到关注，人脸识别凭借便捷、高效等特征，逐渐成为了身份认证的主流技术手段。经过数十年的研究，人脸识别技术已经相对成熟，但是当人脸受到遮挡干扰时，基于深度学习的人脸识别算法性能会急剧下降，这是因为当人脸被遮挡时，人脸被遮挡部分的数据信息被遮挡物替代，在进行人脸比对时，类内的人脸样本差异被放大，识别受到影响。对于人类的视觉系统，即使当人脸被遮挡时，人脑会联想被遮挡部分的信息，从而识别遮挡人脸，这表明人类的神经系统具有从遮挡中修复损失的人脸信息的能力。受到这种生物原理的启发，研究人员提出了局部遮挡人脸识别方法，目前这些方法主要包括两类：一种是基于鲁棒特征提取的思想；一种是基于遮挡修复的思想。
基于鲁棒特征提取的遮挡人脸识别方法使用添加随机遮挡的人脸数据集进行人脸识别神经网络的训练，使得网络对未遮挡的部分更加敏感，从而使得特征提取网络能够对遮挡鲁棒。而基于遮挡修复的遮挡人脸识别方法采用先修复遮挡人脸再进行识别的思路。这种方法的人脸修复步骤非常关键，早期的处理方式是采用子空间回归的方式，但是这类修复算法需要每个类别都有足够的样本进行训练，这在实际的应用中是不现实的。近年来，深度学习领域诞生了性能强大的GAN(生成式对抗网络)，随着GAN的不断发展，研究人员将各种GANs应用于人脸修复。基于GANs的人脸修复方法，能够根据未遮挡部分的图像信息预测遮挡部分的图像，由于深度神经网络能够提取图像高层语义特征，这类修复方法的修复效果更加逼真，从而在一定程度上提高了遮挡人脸的识别精度。
但是，这两类局部遮挡人脸识别方法依然存在不足。其中，基于鲁棒特征提取的方法并不能从根本上解决问题，它只是使得网络从局部更加均匀地提取特征，不同遮挡情况的两张人脸图像的特征之间依然存在较大的差异。基于遮挡修复的方法的人脸修复算法的人脸修复效果依然不理想，存在修复区域图像模糊且一致性差的问题，方法对遮挡人脸识别精度的提高并不明显。
发明内容
为了提高局部遮挡人脸的识别精度，本发明提供了一种基于人脸修复的局部遮挡人脸识别方法及装置，该方法采用基于BEGAN的人脸修复改进算法对人脸遮挡部分进行修复，修复完成之后，再通过特征提取网络提取人脸的特征，从而实现遮挡人脸的识别。
实现本发明目的的技术解决方案为：
一种基于人脸修复的部分遮挡人脸识别方法，包括以下步骤：
利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；
利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；
利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；
利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；
利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；
利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；
利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；
利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。
进一步地，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练过程包括：
从CASIA WebFace数据集中清洗数据并进行相应处理获得训练数据集；
随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；
从训练数据集中随机选取一批人脸图像对，形成训练样本批；
将训练样本中的遮挡人脸图像输入人脸生成器，得到当前的生成人脸图像；
利用生成人脸图像与对应的真实非遮挡人脸图像，分别计算它们在生成器上的自动编码器损失，根据两者自动编码器损失之间的距离获得生成损失，根据生成损失进行优化，更新人脸生成器的网络参数；
利用生成人脸图像与对应的输入非遮挡人脸图像，通过计算它们在全局人脸判别器和局部人脸判别器上的损失，分别得到全局判别损失和局部判别损失；
全局判别损失和局部判别损失进行加权累加，得到总的判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络的参数；
从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有的图像对都被使用后完成一轮迭代；
进行下一轮迭代，直到迭代轮次达到预先设定的阈值或者生成损失低于预先设定的阈值或者判别损失低于预先设定的阈值。
进一步地，所述全局判别损失、所述局部判别损失采用以下方法获得：
将每对生成人脸图像与对应的真实非遮挡人脸图像送入全局人脸判别器，分别计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的全局判别损失；
截取每对生成人脸图像与对应的真实非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，并计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的局部判别损失。
进一步地，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练数据集由大量人脸图像对组成，每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像；所述训练数据集由CASIA WebFace人脸数据集经过处理而来，首先清洗掉CASIA WebFace人脸数据集中受遮挡、光照、角度以及人物本身胖瘦长幼的变化干扰的图像，通过人脸检测器获得图像中的人脸数据，并将人脸图像数据缩放至固定尺寸，得到对齐的人脸图像，然后拷贝一份非遮挡人脸图像，对拷贝图像添加随机矩形遮挡，形成遮挡人脸图像。
进一步地，所述自动编码器包括编码和解码网络，原始的自动编码器的编码网络采用典型的CNN，它包括卷积层、池化层、全连接层，为了提高网络的特征提取能力，将编码网络替换为全卷积网络，具体包括：将全连接层替换为1*1的卷积层，将池化层替换为步长较大的卷积层；相应地，将解码网络中的上池化层替换为步长较大的反卷积层，将全连接层替换为1*1的反卷积层。
进一步地，所述自动编码器损失L(v)＝|v-D(v)|η，其中，
为自动编码器函数，v为判别器的输入，η∈{1,2}为目标范数，则全局判别损失
其中xg为全局真实人脸图像，
为全局生成人脸图像，
为生成器输出的全局生成样本数据；局部判别损失
其中xl为局部真实人脸图像，
为局部生成人脸图像，
为生成器输出的局部生成样本数据。
进一步地，所述判别损失由全局判别损失和局部判别损失加权累加得到，具体采用下式计算：
μ＝0.9τρ+0.1τ
wc＝xi+wi/2
其中，LD为总的判别损失，
为全局判别损失，
为局部判别损失，μ为加权系数，τ为用于控制μ映射范围的超参数，ρ为遮挡相对人脸的位置，wc为遮挡部分中心点的横坐标，W为图像的宽度，xi为图像左上角的横坐标，wi为遮挡部分的宽度。
一种基于人脸修复的部分遮挡人脸识别装置，包括：
人脸检测模块，采用人脸检测器实现遮挡人脸的检测；
遮挡检测模块，采用遮挡检测器实现人脸图像中遮挡的检测；
人脸修复模块，采用人脸生成器实现遮挡人脸的修复；
人脸判别模块，采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块和局部判别模块组成；所述人脸修复模块和人脸判别模块，利用生成对抗网络进行训练得到；
人脸识别模块，采用人脸识别器对修复后的人脸图像进行特征提取并进行特征比对，获得人脸对应的身份信息。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的部分遮挡人脸识别方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的部分遮挡人脸识别方法。
与现有技术相比，本发明的有益效果在于：针对人脸是否存在局部遮挡的不同情况，分别采用不同的处理策略。当人脸不存在局部遮挡时，直接对图像进行人脸识别的处理；当人脸存在局部遮挡时，则先对人脸遮挡部分进行修复处理，再对修复后的人脸图像进行人脸识别处理，本发明的识别方法及装置有效地提高了局部遮挡人脸的识别精度。
附图说明
图1为本发明基于人脸修复的局部遮挡人脸识别装置框架图。
图2为本发明基于人脸修复的局部遮挡人脸识别方法的人脸修复算法原理图。
图3为本发明基于人脸修复的局部遮挡人脸识别方法的自动编码器的原始网络结构图。
图4为本发明基于人脸修复的局部遮挡人脸识别方法的自动编码器的改进网络结构图。
图5为本发明基于人脸修复的局部遮挡人脸识别方法的人脸识别流程图。
具体实施方式
一种基于人脸修复的局部遮挡人脸识别方法，其步骤包括：
利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；
利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；
利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；
利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；
利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；
利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；
利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；
利用获得的人脸识别器对修复后的人脸图像进行特征提取，获得人脸特征；
利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。
进一步地，为了获得人脸识别器，采用预训练好的一个特征提取网络，并利用带身份信息的人脸图像数据集进行训练。
进一步地，为了训练人脸生成器和人脸判别器，预先处理训练数据集，由大量人脸图像对组成，一般地需要数十万对；每对图像包括一张非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的真实人脸遮挡部分局部图像。
进一步地，人脸修复算法的训练数据集中的遮挡人脸图像通过合成方法获得；具体地，在非遮挡人脸图像上添加随机矩形遮挡区域，获得对应的遮挡人脸图像。
进一步地，利用训练数据集，在生成式对抗网络框架中通过交替训练获得人脸生成器和人脸判别器，具体步骤包括：
随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；
从训练数据集中随机选择一批人脸图像对，形成训练样本批；
对训练样本批中的带有遮挡位置标签的非遮挡人脸图像，利用遮挡位置标签，初始化图像中遮挡对应区域的像素为白色，得到输入有遮挡人脸全局图像；
将有遮挡人脸全局图像输入到人脸生成器，得到当前的生成人脸图像；
利用生成人脸图像与对应的非遮挡人脸图像，获得全局修复损失和局部修复损失；
全局修复损失和局部修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；
每对生成人脸图像与对应的非遮挡人脸图像，通过输入全局人脸判别器获得全局判别损失；
每对生成人脸图像的遮挡局部图像与对应的真实人脸遮挡部分局部图像，通过输入局部人脸判别器获得局部判别损失；
全局判别损失和局部判别损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；
从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有的人脸图像对都被选择后，完成一轮迭代；
进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于预先设定的阈值或者判别损失低于预先设定的阈值。
进一步地，全局判别损失和局部判别损失的权重系数基于遮挡相对人脸的位置动态地变化，具体的关系如下：
当遮挡全部位于人脸一侧时，全局判别损失的权重系数要大于局部判别损失的权重系数，使得人脸判别器更关注全局人脸图像，以利用全局人脸的对称信息；
当遮挡位于人脸中间并关于人脸垂直对称轴对称时，全局判别损失的权重系数要小于局部判别损失的权重系数，使得人脸判别器更关注局部人脸图像，以利用局部人脸的周围信息。
进一步地，所述全局判别损失、所述局部判别损失采用以下方法获得：
每对生成人脸图像与对应的非遮挡人脸图像，分别送入全局人脸判别器，根据生成人脸图像在全局人脸判别器上的自动编码器损失分布与对应的非遮挡人脸图像在全局人脸判别器上的自动编码器损失分布之间的距离，得到该图像对的全局判别损失；
截取每对生成人脸图像与对应的非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，根据生成人脸局部图像在局部人脸判别器上的自动编码器损失分布与对应的非遮挡人脸局部图像在局部人脸判别器上的自动编码器损失分布之间的距离，得到该图像对的局部判别损失；
更进一步地，自动编码器损失采用以下的方法获得：
自动编码器采用全卷积神经网络组成对称的编码-解码的网络结构，编码网络对输入图像通过卷积进行语义分割，获得像素级特征向量，解码网络对得到的像素级特征向量通过反卷积进行图像重构，获得输入图像的重构；
输入图像与重构图像之间的距离为自动编码器损失。
与上面方法对应地，本发明还提供一种遮挡人脸识别装置，包括人脸检测模块、遮挡检测模块、人脸修复模块、人脸判别模块和人脸识别模块；所述人脸检测模块采用人脸检测器，实现对局部遮挡人脸的检测，并进行人脸对齐处理；所述遮挡检测模块采用遮挡检测器，其作用是检测人脸是否存在遮挡，如果存在遮挡则对人脸进行修复处理，如果不存在遮挡则直接进行人脸识别；所述人脸修复模块采用人脸生成器实现遮挡人脸的修复；所述人脸判别模块由全局判别模块和局部判别模块组成，全局判别模块采用全局人脸判别器，判别全局人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，局部判别器采用局部人脸判别器，判别人脸图像是真实非遮挡人脸局部图像还是修复的遮挡人脸局部图像；所述人脸修复模块和所述人脸判别模块利用生成式对抗网络进行训练得到；所述人脸识别模块采用人脸识别器对待识别的人脸图像进行特征提取，并和人脸样本库中的特征对比，获得人脸对应的身份信息。
需要指出的是，上述装置中各模块的实现方法具体详见上述遮挡人脸识别方法部分，本发明不再做累述。
本发明该提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的部分遮挡人脸识别方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的部分遮挡人脸识别方法。
为使得本发明的上述方案更加形象易懂，下面通过实施例，并结合附图作详细说明。
实施例
本实施例提供一种基于人脸修复的局部遮挡人脸识别方法及实现该方法的装置。装置包括人脸检测模块A、遮挡检测模块B、人脸修复模块G、人脸判别模块D、人脸识别模块R，其框架如图1所示。人脸识别模块采用预先训练的人脸识别器；人脸修复模块采用人脸生成器g，实现遮挡人脸的修复，如图2所示；人脸判别模块采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，该模块包括全局判别模块Dglobal和局部判别模块Dlocal。人脸生成器和人脸判别器为生成式对抗网络BEGAN的生成器和判别器，该网络的训练的具体步骤如下：
训练数据集选择CASIA WebFace人脸数据集，其包含了10575个人的494414张人脸，由于该数据集中包含了大量受到干扰的图像，例如遮挡、光照、角度以及人物本身胖瘦长幼的变化，这些因素不利于网络的训练，所以清洗数据集中这些脏数据。然后再通过人脸检测模块检测图像中的人脸，并将检测到的人脸数据从图像中提取出来，缩放至256*256的标准尺寸，以方便网络的训练。最终得到用于训练的数据集
其中Pi为人脸图像，Li为身份标签；
生成式对抗网络BEGAN需要真实非遮挡人脸图像以及局部遮挡人脸图像进行训练，所以还需要对数据集S进一步处理，即拷贝一份人脸图像，并在人脸图像上随机添加白色矩形遮挡，数据集中每条原始数据(Pi,Li)变成了(Pi,Ni,Li,Ki)，其中Ni为Pi对应的遮挡人脸图像，Ki为遮挡位置标签且Ki＝(xi,yi,wi,hi)，xi为遮挡的左上角的横坐标，yi为遮挡右上角的纵坐标，wi为遮挡的宽度，hi为遮挡的高度。
随机初始化生成器和判别器的网络参数θd和θg，然后从数据集中随机选择一个Batch的数据进行网络训练，训练进行多个Batch直到数据集的数据全部被使用。
一个Batch的训练样本为
其中b为该批次的样本数量，在训练时根据计算机的硬件性能，将其设置为512；
将训练样本中的遮挡人脸图像
送入人脸生成器，得到人脸修复图像
将人脸修复图像
和对应的真实非遮挡人脸图像
送入全局人脸判别器，分别计算人脸修复图像
在全局人脸判别器上的自动编码器损失和真实非遮挡人脸图像
在全局人脸判别器上的自动编码器损失LA(v)、LP(v)，其中自动编码器损失L(v)＝|v-D(v)|η，
为自动编码器函数，η∈{1,2}为目标范数，通过计算这两个自动编码器损失之间的Wasserstein距离，得到该对图像的全局人脸判别器的目标损失为
截取每对生成人脸图像
与对应的输入非遮挡人脸图像
中修复区域，得到图像
将生成人脸局部图像
和对应的真实人脸局部图像
送入局部人脸判别器，分别计算生产人脸局部图像
在局部人脸判别器上的自动编码器损失和真实人脸局部图像
在局人脸判别器上的自动编码器损失La(v)、Lp(v)，通过计算两者之间的Wasserstein距离，得到该对图像的局部人脸判别器的目标损失为
根据计算得到的全局判别损失
和局部判别损失
将两者加权累加得到总的人脸判别器损失
其中μ为权重系数；
权重系数μ根据遮挡位置标签Ki得到，由Ki可知，遮挡的中心位置横坐标wc＝xi+wi/2，则遮挡相对人脸的位置
其中W＝256为人脸图像的宽度，通过映射关系μ＝0.9τρ+0.1τ将遮挡相对人脸的位置与权重系数μ相关联，使得损失函数可以根据遮挡位置动态地改变判别器对人脸不同区域的修复效果的关注程度。
得到判别器损失后，更新判别器的网络参数，将基于更新后的判别器的判别损失传递到生成器，对生成器进行优化，更新生成器的网络参数；
随机选取下一个Batch的数据重复上述步骤直至所有数据都参与了训练，至此完成了一轮训练；
进行下一轮训练，直到训练轮次达到预先设定的阈值或者生成器损失低于预先设定的阈值或者判别器损失低于预先设定的阈值。
进一步地，由于BEGAN的自动编码器是典型的CNN网络，网络的结构如图3所示，其包括了卷积层、池化层和全连接层，为了提高自动编码器网络的特征提取能力，将其替换为全卷积网络，全卷积网络的结构如图4所示，其中具体的变化包括：
典型CNN中的全连接层将上层的图像特征向量映射成1*n的特征向量，它是对图像整体特征的描述，即图像的所属类别，丢失了图像中特征的位置信息，为了提高网络的特征提取能力，将其替换为1*1的卷积核，使得编码器的输出为描述每个像素特征的多维特征向量；
典型CNN中池化层的作用是提取上层特征中的主要特征，去除相对次要的特征，以提高网络的训练速度，为了提高网络的特征提取能力，将池化层替换为具有自主学习能力的卷积层，同时为了减少相应增加的计算量，适当扩大卷积的步长。相应地将解码器中的上池化层替换为转置卷积。
该方法对人脸识别的流程如图5所示，其步骤包括：
1)对采集到的人脸图像通过人脸检测模块进行人脸检测，检测到人脸后将人脸缩放到256*256的尺寸。
2)对完成归一化的人脸图像通过遮挡检测模块进行遮挡的检测和定位，如果存在遮挡，则生成遮挡位置标签，跳转步骤3)；如果不存在遮挡，则直接跳转步骤5)。
3)将带有遮挡位置标签的遮挡人脸图像输入人脸修复模块，利用生成器修复遮挡部分的人脸图像。
4)将人脸图像输入人脸识别模块提取人脸特征向量。
5)将提取到的人脸特征向量和人脸样本库中的特征向量一一比对，得到人脸对应的身份信息。
Claims (10)
1.一种基于人脸修复的部分遮挡人脸识别方法，其特征在于，包括以下步骤：
利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；
利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；
利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；
利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；
利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；
利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；
利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；
利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。
2.根据权利要求1所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练过程包括：
从CASIA WebFace数据集中清洗数据并进行相应处理获得训练数据集；
随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；
从训练数据集中随机选取一批人脸图像对，形成训练样本批；
将训练样本中的遮挡人脸图像输入人脸生成器，得到当前的生成人脸图像；
利用生成人脸图像与对应的真实非遮挡人脸图像，分别计算它们在生成器上的自动编码器损失，根据两者自动编码器损失之间的距离获得生成损失，根据生成损失进行优化，更新人脸生成器的网络参数；
利用生成人脸图像与对应的输入非遮挡人脸图像，通过计算它们在全局人脸判别器和局部人脸判别器上的损失，分别得到全局判别损失和局部判别损失；
全局判别损失和局部判别损失进行加权累加，得到总的判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络的参数；
从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有的图像对都被使用后完成一轮迭代；
进行下一轮迭代，直到迭代轮次达到预先设定的阈值或者生成损失低于预先设定的阈值或者判别损失低于预先设定的阈值。
3.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述全局判别损失、所述局部判别损失采用以下方法获得：
将每对生成人脸图像与对应的真实非遮挡人脸图像送入全局人脸判别器，分别计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的全局判别损失；
截取每对生成人脸图像与对应的真实非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，并计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的局部判别损失。
4.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练数据集由大量人脸图像对组成，每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像；所述训练数据集由CASIA WebFace人脸数据集经过处理而来，首先清洗掉CASIA WebFace人脸数据集中受遮挡、光照、角度以及人物本身胖瘦长幼的变化干扰的图像，通过人脸检测器获得图像中的人脸数据，并将人脸图像数据缩放至固定尺寸，得到对齐的人脸图像，然后拷贝一份非遮挡人脸图像，对拷贝图像添加随机矩形遮挡，形成遮挡人脸图像。
5.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述自动编码器包括编码和解码网络，将编码网络替换为全卷积网络，具体包括：将全连接层替换为1*1的卷积层，将池化层替换为步长较大的卷积层；相应地，将解码网络中的上池化层替换为步长较大的反卷积层，将全连接层替换为1*1的反卷积层。
6.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述自动编码器损失L(v)＝|v-D(v)|η，其中，D：
为自动编码器函数，v为判别器的输入，η∈{1，2}为目标范数，则全局判别损失
其中xg为全局真实人脸图像，
为全局生成人脸图像，
为生成器输出的全局生成样本数据；局部判别损失
其中xl为局部真实人脸图像，
为局部生成人脸图像，
为生成器输出的局部生成样本数据。
7.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述判别损失由全局判别损失和局部判别损失加权累加得到，具体采用下式计算：
μ＝0.9τρ+0.1τ
wc＝xi+wi/2
其中，LD为总的判别损失，
为全局判别损失，
为局部判别损失，μ为加权系数，τ为用于控制μ映射范围的超参数，ρ为遮挡相对人脸的位置，wc为遮挡部分中心点的横坐标，W为图像的宽度，xi为图像左上角的横坐标，wi为遮挡部分的宽度。
8.一种基于权利要求1-7任一所述基于人脸修复的部分遮挡人脸识别方法的系统，其特征在于，包括：
人脸检测模块，采用人脸检测器实现遮挡人脸的检测；
遮挡检测模块，采用遮挡检测器实现人脸图像中遮挡的检测；
人脸修复模块，采用人脸生成器实现遮挡人脸的修复；
人脸判别模块，采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块和局部判别模块组成；所述人脸修复模块和人脸判别模块，利用生成对抗网络进行训练得到；
人脸识别模块，采用人脸识别器对修复后的人脸图像进行特征提取并进行特征比对，获得人脸对应的身份信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的部分遮挡人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的部分遮挡人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329333.9A CN112990052A (zh) | 2021-03-28 | 2021-03-28 | 基于人脸修复的部分遮挡人脸识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329333.9A CN112990052A (zh) | 2021-03-28 | 2021-03-28 | 基于人脸修复的部分遮挡人脸识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990052A true CN112990052A (zh) | 2021-06-18 |
Family
ID=76333970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110329333.9A Withdrawn CN112990052A (zh) | 2021-03-28 | 2021-03-28 | 基于人脸修复的部分遮挡人脸识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990052A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
| CN113420731A (zh) * | 2021-08-23 | 2021-09-21 | 北京的卢深视科技有限公司 | 模型训练方法、电子设备及计算机可读存储介质 |
| CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
| CN114331904A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种人脸遮挡识别方法 |
| CN114792295A (zh) * | 2022-06-23 | 2022-07-26 | 深圳憨厚科技有限公司 | 基于智能相框的被遮挡物修正方法、装置、设备及介质 |
| CN117853628A (zh) * | 2024-03-07 | 2024-04-09 | 成都帆点创想科技有限公司 | 人脸修复模型的训练方法、视频处理方法 |
-
2021
- 2021-03-28 CN CN202110329333.9A patent/CN112990052A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
| CN113378980B (zh) * | 2021-07-02 | 2023-05-09 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
| CN113420731A (zh) * | 2021-08-23 | 2021-09-21 | 北京的卢深视科技有限公司 | 模型训练方法、电子设备及计算机可读存储介质 |
| CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
| CN114331904A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种人脸遮挡识别方法 |
| CN114331904B (zh) * | 2021-12-31 | 2023-08-08 | 电子科技大学 | 一种人脸遮挡识别方法 |
| CN114792295A (zh) * | 2022-06-23 | 2022-07-26 | 深圳憨厚科技有限公司 | 基于智能相框的被遮挡物修正方法、装置、设备及介质 |
| CN114792295B (zh) * | 2022-06-23 | 2022-11-04 | 深圳憨厚科技有限公司 | 基于智能相框的被遮挡物修正方法、装置、设备及介质 |
| CN117853628A (zh) * | 2024-03-07 | 2024-04-09 | 成都帆点创想科技有限公司 | 人脸修复模型的训练方法、视频处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990052A (zh) | 基于人脸修复的部分遮挡人脸识别方法及装置 | |
| CN109635721B (zh) | 基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统 | |
| CN102360421B (zh) | 一种基于视频流的人脸识别方法及系统 | |
| CN110909690B (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN111967592B (zh) | 基于分离正负扰动生成对抗图像机器识别的方法 | |
| Du et al. | A new approach to iris pattern recognition | |
| Wang et al. | SmsNet: A new deep convolutional neural network model for adversarial example detection | |
| Wang et al. | ScleraSegNet: An attention assisted U-Net model for accurate sclera segmentation | |
| CN111696049A (zh) | 基于深度学习的水下扭曲图像重建方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| Qi et al. | Research on the image segmentation of icing line based on NSCT and 2-D OSTU | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| CN112200008A (zh) | 一种社区监控场景下人脸属性识别方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN115546828A (zh) | 一种复杂牛场环境牛脸识别方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| Vidyamol et al. | An improved dark channel prior for fast dehazing of outdoor images | |
| CN114913607A (zh) | 一种基于多特征融合的指静脉仿冒检测方法 | |
| CN113570564B (zh) | 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法 | |
| CN115797997A (zh) | 复杂场景下的遮挡及模糊人脸检测方法 | |
| CN111553202B (zh) | 进行活体检测的神经网络的训练方法、检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210618 |