CN116543437A - 一种基于遮挡-特征映射关系的遮挡人脸识别方法 - Google Patents
一种基于遮挡-特征映射关系的遮挡人脸识别方法 Download PDFInfo
- Publication number
- CN116543437A CN116543437A CN202310489982.4A CN202310489982A CN116543437A CN 116543437 A CN116543437 A CN 116543437A CN 202310489982 A CN202310489982 A CN 202310489982A CN 116543437 A CN116543437 A CN 116543437A
- Authority
- CN
- China
- Prior art keywords
- face
- occlusion
- shielding
- data set
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013507 mapping Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 16
- 210000000697 sensory organ Anatomy 0.000 claims description 11
- 210000001508 eye Anatomy 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 210000001331 nose Anatomy 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 210000000887 face Anatomy 0.000 claims description 2
- 210000000214 mouth Anatomy 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于遮挡‑特征映射关系的遮挡人脸识别方法，方法包括：建立人脸解析和人脸关键点检测模块，通过人脸解析模块获得人脸语义区域划分图片；通过人脸关键点检测模块对人脸语义区域进行子区域划分；成对的原始人脸图像与子区域遮挡人脸图像输入差分孪生网络，学习遮挡与深度特征的映射关系，从而建立人脸不同子区域的掩码字典；通过分割网络FCN‑8s分割出遮挡区域的二值图像；通过二值图像查询对应的遮挡子区域掩码字典进行合并；在人脸识别网络中将有遮挡的待识别人脸图片与相应的掩码字典相乘来消除遮挡损坏的特征元素，实现遮挡人脸识别率的提升；用设计好的方法在公开数据集上进行实验验证该方法的可行性。
Description
技术领域
本发明涉及图像处理技术，尤其是一种基于遮挡-特征映射关系的遮挡人脸识别方法。
背景技术
近年来由于深度学习的发展，人脸识别技术的研究有了新的进展，人脸识别是通过抽取并对比分析人脸视觉特征信息进行身份鉴别的一种方法。人脸具备唯一性、一致性和高度的不可复制性，与指纹、虹膜技术相比具有可靠、操作简单和无接触等特点，为身份识别提供了稳定的条件。
然而非约束情况下的人脸识别仍有不少的挑战，例如大姿态变化、光照变化、不同面部表情和遮挡等。其中人脸遮挡是个相当棘手的问题，因为缺少关于遮挡部分的信息，使人脸结构遭到破坏，同时还造成了类内距离的增加和类间距离的减少，导致识别精度在一定程度上受到影响。如何消除被遮挡破坏的特征元素，值得我们关注。
目前对于遮挡人脸，存在图像修复和特征消除两种思路。图像修复就是对遮挡区域进行像素级的生成式修复，弥补信息缺失。对于这类方法，如何在修复的同时保留身份信息仍然是一个极具挑战性的问题。特征消除类方法根据人眼通常忽略遮挡区域的视觉经验，主要对非遮挡区域进行识别。在深度学习类方法中，较普遍的做法是采用注意力或类似的机制对遮挡区域对应的特征进行抑制。这种策略的关键在于如何准确找到遮挡区域所对应的特征。第一个试图建立人脸区域与深度特征之间映射关系的是宋凌雪等，他们将人脸划分为3×3块，通过遮挡人脸与干净人脸之间的特征差异学习每个遮挡区域与被损坏特征元素的对应关系；然后将差值输入掩码生成器获取每个遮挡区域对应的二值掩码，构建掩码字典。虽然人脸的深度特征的可解释性目前仍然是个未解的难题，但是我们相信，人脸特征以某种复杂的方式表征了人脸的结构特征和五官特征，因此五官与特征之间应当存在更精确的映射关系。宋凌雪等证实了部分遮挡与深度特征之间确实存在某种映射关系，但只是将人脸图像均匀分成若干个矩形区域，这种划分方法可能将同一五官划分到不同区域，也可能将不同的五官划分到同一区域中。在现实中，所有覆盖于人脸之上或位于人脸前的物体都可以定义为遮挡，因此遮挡的类别、形态、大小、位置无法完全预知，也无法被数据库完全覆盖。生成真实遮挡的人脸数据集工作量大、覆盖不精确且可控性不强。因此，本方案重新设计网络框架，在人脸子区域划分和特征选择上更注重语义性上的一致性，细化掩码字典。
发明内容
本发明要解决的技术问题是针对现有技术的现状，提出一种基于遮挡-特征映射关系的遮挡人脸识别方法，首先通过人脸解析网络，将人脸图像分为不同的语义区域，包括眼睛、鼻子、嘴巴、眉毛五官结构和皮肤，头发、背景等。然后结合人脸关键点，在各个语义区域内进一步进行细分。通过这种方式一方面细化了掩码字典，另一方面使网络在学习掩码字典时更关注特征对应的语义信息。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于遮挡-特征映射关系的遮挡人脸识别方法，包括如下步骤：
步骤S1、通过人脸训练数据集对模型Resnet50进行预训练；
步骤S2、建立人脸解析模块和人脸关键点检测模块，将人脸训练数据集中原始的人脸图像输入人脸解析模块，得到相应的人脸语义区域划分数据集；
步骤S3、将步骤S2的人脸语义区域划分数据集通过人脸关键点检测模块对人脸语义区域进行子区域划分，生成子区域遮挡的人脸数据集；
步骤S4、将步骤S1中训练好的Resnet50模型作为差分孪生网络的预训练模型，将人脸训练数据集的原始人脸图像和子区域遮挡的人脸数据集的遮挡人脸图像成对地输入到差分孪生网络中，利用原始人脸图像和遮挡人脸图像的最后一层卷积特征之间的差异，学习遮挡与特征的映射关系；
步骤S5、根据步骤S4中的映射关系，通过训练好的差分孪生网络中的掩码生成器中获取对应的掩码，构建遮挡子区域的掩码字典；
步骤S6、将待识别人脸图像通过遮挡分割网络FCN-8s模型分割出遮挡与未遮挡区域，并将该遮挡分割图按步骤S3的划分方法划分为若干子区域；根据遮挡区域和若干子区域的重叠情况，从掩码字典中获取关联项加以合并，得到合并掩码字典；
步骤S7、人脸识别网络以步骤S1中训练好的Resnet50模型作为预训练模型，提取待识别遮挡人脸的顶层卷积特征并与步骤S6中的合并掩码字典相乘，以消除遮挡对特征的影响，提高遮挡人脸的识别率。
本发明技术方案的进一步改进在于：步骤S7之后还包括在公共数据集LFW、MegaFace上分别做1：1人脸验证和1：N人脸识别，通过人脸相似度对比和人脸识别精度测试方法的可行性和有效性。
本发明技术方案的进一步改进在于，所述步骤S2的具体步骤为：
步骤S21：首先通过BiSeNetV2实时人脸解析模块对人脸进行语义解析，由于五官在人脸上的分布具有很强的结构性，因此可以作为先验信息，分块对人脸面部的眼、鼻、嘴、面部、眉毛进行分类监督，实现人脸图像皮肤和五官语义信息的精确感知。
本发明技术方案的进一步改进在于，所述步骤S3包括由人脸关键点检测模块定位人脸关键点，通过人脸关键点检测网络PFLD在人脸区域生成98个关键点，将点围成不规则形状对五官内部进行子区域划分。并根据五官对识别的重要程度确实子区域划分数量，由于眼睛包含重要的识别信息，子区域数量较多，而面部皮肤提供的人脸语义信息较少，对面部划分区域数量上减少，面积上扩大。
本发明技术方案的进一步改进在于，所述步骤S3还包括：通过人脸关键点检测模块捕捉的关键点对五官内部及面部皮肤进行连线划分子区域，并将不同子区域进行遮挡填充，得到丢失不同语义信息的批量模拟遮挡人脸数据集。根据人脸解析和关键点检测模块对人脸进行重新划分，由规则的若干方块改为更贴合人脸面部结构和语义信息的26个子区域，掩码字典区域不再覆盖整个图像，而是缩小至影响识别的人脸区域。
由于采用了上述技术方案，本发明取得的技术进步是：
由于任何覆盖人脸之上或位于人脸之前的物体都可视作遮挡物，其类别不可能完全被数据库覆盖，导致传统的遮挡感知网络泛化能力有限。改进在于我们认为遮挡的实质是损害了被遮挡区域的语义信息，对人脸进行语义信息挖掘，分析人脸中可见的语义信息，模拟人脸语义信息的丢失区域，实现与遮挡物类别无关的遮挡感知，提高了遮挡的鲁棒性和人脸识别的性能。清华大学的宋凌雪对人脸分块和卷积特征的对应关系的研究已经证明，人脸区域和特征通道之间存在一定的映射关系。但其研究仅仅将人脸区域划分为均等的矩形区域，由于遮挡区域大小的不确定会影响到最终特征具有不固定数量的有效元素，固定向量设计的传统度量不完全适用且无法进行有效评估，而且没有考虑人脸不同结构提供的语义信息。通过人脸解析和关键点检测模块既能精确感知人脸面部区域的语义信息，更能精细划分不规则的人脸子区域。本发明在人脸子区域划分和特征选择上更强调二者的语义性，且掩码字典仅覆盖人脸区域，划分更加合理和细致，尽可能提高了有效元素的数量和删除遮挡特征的精确性。
附图说明
图1为本发明的具体流程图；
图2为本发明人脸解析语义信息感知引导的结构示意图；
图3为本发明人脸关键点检测语义信息感知引导的结构示意图；
图4为本发明人脸面部区域的分块方式；
图5为本发明两种遮挡类型的特征字典的示例(选取5个通道)。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域的技术人员可以容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
一种基于遮挡-特征映射关系的遮挡人脸识别方法，本发明具体流程如图1所示，包括如下步骤：
步骤S1、将人脸训练数据集CASIA-Webface和人脸验证集LFW通过人脸检测模型MTCNN检测到面部5个关键点以后采用相似变换进行人脸对齐，获得对齐的面部图像，并将其调整为112*112像素。将对齐裁剪后的CASIA-Webface人脸数据集输入到ResNet50模型作为我们的主干CNN模型，对模型进行预训练并通过LFW人脸验证数据集进行验证。
步骤S2、将对齐裁剪后的CASIA-Webface人脸数据集通过人脸解析模块的BiSeNetV2网络，分割出人脸的五官、皮肤区域，使解析标签和人脸区域的相应位置建立对应的语义信息关系，得到相应的人脸语义区域划分数据集，如图2所示。
步骤S3、将步骤S2的人脸语义区域划分数据集通过PFLD人脸关键点检测模块，精确预测人脸98个关键点，如图3所示。根据拟定的人脸划分方式对人脸五官内部及面部皮肤区域进行子区域划分，如图4所示。再将不同子区域的像素归0进行人工遮挡对语义信息的覆盖或删除影响。得到丢失不同语义信息的批量模拟子区域遮挡的人脸数据集。
步骤S4、使用成对的原始人脸图像和子区域遮挡人脸图像输入孪生差分网络中，通过差分孪生网络对人脸图片对进行特征提取。通过分类损失和对比损失更新模型参数；分类损失函数用于提高预训练模型的识别率，使遮挡人脸的顶层卷积特征与掩码相乘后的新特征能够正确分类；对比损失函数的目的在于，使遮挡人脸的新特征与其对应的原始人脸的卷积特征之差尽可能缩小。共同优化两个损失函数能够促使掩码生成模块对遮挡人脸卷积特征与原始人脸卷积特征之间差异较大且影响识别的特征元素赋予低的掩码值，这些元素就是本方案所关注的被遮挡损坏的元素，根据所确定的掩码生成模型参数更新成对差分孪生网络模型。
通过步骤S4中训练好的差分孪生网络建立掩码字典，其中掩码生成器仅由简单的Conv-PReLU-BN结构构成，将孪生网络各自的顶层卷积层特征差值的绝对值作为输入，通过掩码生成模块输出一个与顶层卷积特征大小相同的掩码，并由Sigmoid激活函数将输出值映射到[0,1]范围内。该掩码中的每个元素与原始顶层卷积特征的对应元素相乘，得到新的卷积特征。由此，损失函数的构建为：
其中：
lcls表示分类损失，ldiff表示对比损失；
θ表示当前网络权值构成的向量空间；
表示掩码生成器的输出；
xi表示第i对人脸图像中原始无遮挡的人脸；
表示第i对人脸图像中第j块子区域被遮挡的人脸；
f(·)表示卷积神经网络卷积层的输出；
表示遮挡人脸的顶层卷积特征与掩码相乘后的新特征；
表示原始无遮挡人脸的卷积特征；
F表示主干网络顶层卷积层后面的全连接层或者平均池化层；
γ表示惩罚项系数，是人工设定大于0的参数；
表示主干网络分类正确的概率。
将人脸遮挡图片对输入训练好的差分孪生网络模型，通过掩码生成模块得到不同遮挡子区域的一系列掩码合集{m1,m2,…mn}，并对掩码合集进行归一化处理，计算归一化后掩码的均值，得到遮挡子区域的平均掩码。为了进一步精准去除遮挡特征，对平均掩码二值化得到二值掩码字典。
在本发明实例中，将人脸按语义信息划分为26个不重叠的子区域，一共需要训练26个掩码生成模块，建立相应的遮挡子区域字典。通过掩码生成模块输出得到的人脸图像各子区域被遮挡时，该人脸图像的顶层卷积特征中被遮挡破坏从而应该减弱其响应值的元素，被减弱的元素对应着掩码生成模块输出中较低的值。二值掩码字典的索引是人脸子区域bj，索引项是一个二值掩码Mj，掩码Mj与主干网络的顶层卷积特征大小相同，Mj中的0值代表着人脸子区域bj被遮挡时应该被从识别中去除的特征元素。
步骤S5、根据遮挡分割网络FCN-8s模型分割出遮挡与未遮挡区域，根据遮挡区域分别与面部各子区域一一计算重叠面积，IOU大于0.6时选择对应区域字典合成待识别人脸的二值掩码，以图4所示的人脸图像为例，当人脸图像被分为26块时，发生遮挡的人脸区域为1、2、3，根据步骤S4建立的遮挡子区域掩码字典得到待识别人脸的二值掩码字典为：M＝M1&M2&M3。图5分别显示了合成遮挡和围巾遮挡下字典合成二值掩码的其中5个通道。将二值掩码M与待识别图像的特征进行点乘运算，得到对应待识别图像的待识别特征。
为了验证本发明的可行性和有效性，首先将测试人脸数据集经过MTCNN进行人脸对齐裁剪到分辨率为112*112，并通过人脸解析或关键点检测模块进行人工随机遮挡，然后在LFW数据集上进行1：1人脸验证实验；并使用MefaFace Challege 1对本发明方法进行人脸识别实验。验证时采用两个基线模型进行比较，baseline1是用CASIA-Webface训练的CNN模型，baseline2是在baseline1的基础上用随机遮挡数据集进行微调。
本发明的提出既能精确感知人脸区域的语义信息，对不同语义信息类别进行标记，又能对人脸区域进行细致的划分，提高了遮挡的鲁棒性和遮挡人脸识别的识别精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (5)
1.一种基于遮挡-特征映射关系的遮挡人脸识别方法，包括：
步骤S1、通过人脸训练数据集对模型Resnet50进行预训练；
步骤S2、建立人脸解析模块和人脸关键点检测模块，将人脸训练数据集中原始的人脸图像输入人脸解析模块，得到相应的人脸语义区域划分数据集；
步骤S3、将步骤S2的人脸语义区域划分数据集通过人脸关键点检测模块对人脸语义区域进行子区域划分，生成子区域遮挡的人脸数据集；
步骤S4、将步骤S1中训练好的Resnet50模型作为差分孪生网络的预训练模型，将人脸训练数据集的原始人脸图像和子区域遮挡的人脸数据集的遮挡人脸图像成对地输入到差分孪生网络中，利用原始人脸图像和遮挡人脸图像的最后一层卷积特征之间的差异，学习遮挡与特征的映射关系；
步骤S5、根据步骤S4中的映射关系，通过训练好的差分孪生网络中的掩码生成器中获取对应的掩码，构建遮挡子区域的掩码字典；
步骤S6、将待识别人脸图像通过遮挡分割网络FCN-8s模型分割出遮挡与未遮挡区域，并将该遮挡分割图按步骤S3的划分方法划分为若干子区域；根据遮挡区域和若干子区域的重叠情况，从掩码字典中获取关联项加以合并，得到合并掩码字典；
步骤S7、人脸识别网络以步骤S1中训练好的Resnet50模型作为预训练模型，提取待识别遮挡人脸的顶层卷积特征并与步骤S6中的合并掩码字典相乘，以消除遮挡对特征的影响，提高遮挡人脸的识别率。
2.根据权利要求1所述的一种基于遮挡-特征映射关系的遮挡人脸识别方法，其特征在于：步骤S7之后还包括在公共数据集LFW、MegaFace上分别做1：1人脸验证和1：N人脸识别，通过人脸相似度对比和人脸识别精度测试方法的可行性和有效性。
3.根据权利要求1所述的一种基于遮挡-特征映射关系的遮挡人脸识别方法，其特征在于：所述步骤S2包括：
首先通过人脸解析模块对人脸进行语义解析，作为先验信息，分块对人脸面部的眼、鼻、嘴、面部、眉毛五官进行分类监督，实现非遮挡区域皮肤和五官语义信息的精确感知。
4.根据权利要求3所述的一种基于遮挡-特征映射关系的遮挡人脸识别方法，其特征在于：所述步骤S3包括：
不能进行分类监督的人脸部分，由PFLD人脸关键点检测模块定位人脸关键点，通过人脸关键点检测模块在人脸图像生成若干个关键点，将点围成区域面积进行子区域划分，由于眼睛和鼻子包含重要的识别信息，对其划分区域更精细；面部皮肤提供的人脸语义信息较少，对面部划分区域数量上减少，面积上扩大。
5.根据权利要求1所述的一种基于遮挡-特征映射关系的遮挡人脸识别方法，其特征在于：所述步骤S3还包括：
将干净的人脸训练数据集通过人脸解析模块对五官部分进行分割；通过人脸关键点检测模块检测到的关键点对五官内部及面部皮肤进行连线划分区域，并将不同子区域进行遮挡填充，得到丢失不同语义信息的批量模拟子区域遮挡的人脸数据集；根据人脸解析和关键点检测模块对面部进行重新划分，由均等的矩形方块改为更贴合人脸面部结构和语义信息的若干子区域，掩码字典区域不再覆盖整个图像，而是覆盖影响识别的人脸区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310489982.4A CN116543437A (zh) | 2023-05-04 | 2023-05-04 | 一种基于遮挡-特征映射关系的遮挡人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310489982.4A CN116543437A (zh) | 2023-05-04 | 2023-05-04 | 一种基于遮挡-特征映射关系的遮挡人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543437A true CN116543437A (zh) | 2023-08-04 |
Family
ID=87442932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310489982.4A Pending CN116543437A (zh) | 2023-05-04 | 2023-05-04 | 一种基于遮挡-特征映射关系的遮挡人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543437A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
-
2023
- 2023-05-04 CN CN202310489982.4A patent/CN116543437A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974508A (zh) * | 2024-03-28 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
| CN117974508B (zh) * | 2024-03-28 | 2024-06-07 | 南昌航空大学 | 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| EP3388978B1 (en) | Image classification method, electronic device, and storage medium | |
| CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN110728330A (zh) | 基于人工智能的对象识别方法、装置、设备及存储介质 | |
| CN112801057B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| CN105917353A (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
| CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN110659723A (zh) | 基于人工智能的数据处理方法、装置、介质及电子设备 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Li et al. | Edge-aware regional message passing controller for image forgery localization | |
| CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN116543437A (zh) | 一种基于遮挡-特征映射关系的遮挡人脸识别方法 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| CN113011307A (zh) | 一种基于深度残差网络的人脸识别身份认证方法 | |
| CN113627404B (zh) | 基于因果推断的高泛化人脸替换方法、装置和电子设备 | |
| CN116403150A (zh) | 一种基于融合c3-cbam注意力机制的口罩检测算法 | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| CN109271974A (zh) | 一种轻量化人脸联合检测与识别方法及其系统 | |
| CN111739168B (zh) | 一种样本相似度抑制的大尺度三维人脸合成方法 | |
| CN115708135A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN117894083B (zh) | 一种基于深度学习的图像识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |