CN113239867B - 一种基于掩码区域自适应增强的光照变化人脸识别方法 - Google Patents
一种基于掩码区域自适应增强的光照变化人脸识别方法 Download PDFInfo
- Publication number
- CN113239867B CN113239867B CN202110603103.7A CN202110603103A CN113239867B CN 113239867 B CN113239867 B CN 113239867B CN 202110603103 A CN202110603103 A CN 202110603103A CN 113239867 B CN113239867 B CN 113239867B
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- image
- face image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008859 change Effects 0.000 title claims abstract description 63
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 210000000056 organ Anatomy 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000015654 memory Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于掩码区域自适应增强的光照变化人脸识别方法，针对像素层面，引入人脸解析模型和五官对称性先验，对光照变化人脸图像中光照条件极差的五官区域进行着重增强，并对五官以及人脸轮廓进行保持；其次，针对特征层面，基于人脸数据集构建成对图像，然后引入人脸特征提取网络，对生成的图像和与其对应的标准图像提取人脸特征，并施加身份特征约束，使生成的图像与其对应的标准图像具有相似的特征，提高人脸识别准确率。本发明实现了对光照变化人脸图像较好的增强，提高了人脸识别准确率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于掩码区域自适应增强的光照变化人脸识别方法。
背景技术
身份识别显得越来越重要，而人脸识别作为身份识别的一种方法，与指纹识别、虹膜识别等其他的识别方法相比，具有获取简单、用户友好等特点，可以在无需与用户接触，甚至可以在用户完全不知情的状况下，获取人脸图像，并对用户进行识别，对用户十分友好，有广泛的应用前景，受到了各国研究者的广泛关注，成为了研究的重点。但是在识别非配合的用户时，由于存在姿态、光照以及遮挡等问题，导致识别率急剧下降，尤其是光照因素，变化较大的光照条件会导致同一身份人脸图像之间的差异大于不同身份人脸图像之间的差异，使人脸识别准确率大幅下降。
现有的光照变化人脸识别方法可以分为以下四类：基于统计学的方法、基于光照不变特征提取的方法、基于人脸光照模型的方法和基于光照补偿的方法。基于统计学的方法假设光照变化对人脸图像的影响集中在低维子空间，基于上述假设，该方法通过不同光照条件下、同一身份的人脸图像，使用主成分分析、线性判别分析等统计学习方法寻找低维子空间，然后求得与待识别人脸图像最接近的低维子空间来确定身份，基于统计学的方法大都简单，实现容易，但是此类方法依赖于训练集中图像的光照条件，具有一定的局限性。基于光照不变特征提取的方法通过从人脸图像中提取对光照变化不敏感的特征进行分类，常见的方法由LBP算子和梯度脸等，但是现实中基本很难找到一种完全独立于光照变化的特征，所以其应用有一定的局限性。基于人脸光照模型的方法假设人脸是一个朗伯体，满足朗伯反射特性，该特性认为人脸图像中的任意位置的像素值为反映人脸纹理、形状信息以及光照信息的数值的乘积，其中纹理和形状反映的是人脸的本质信息，光照信息则反映外部的光照条件。基于人脸光照模型的方法通过该假设消除光照条件等外部因素的影响，获得反映人脸本质信息的特征进行识别，主要有基于商图像的方法、基于光照锥的方法和基于球谐函数的方法，上述方法对数据集有较高的要求，而这种数据集在现实中难以获取。基于光照补偿的方法，就是在人脸识别之前，使用某些算法对光照条件不理想的图像进行光照归一化或者光照矫正，得到光照条件良好的图像，消除光照的影响，然后再进行后续工作。常用的光照补偿方法主要有直方图均衡化、对数矫正，以及Gamma矫正等，上述方法均为针对全局的处理，没有考虑局部信息，使图像存在局部过曝、模糊等问题。
随着深度学习的发展，基于深度学习，研究者针对低光图像光照增强进行研究，提出了大量的方案。现有的低光图像光照增强方案主要分为两种：基于同一场景不同光照条件下成对图像的方法和不需要成对图像的方法。由于成对图像的数据集有限，并且成对图像的获取大多为简单地增加/减少曝光时间，获取的图像存在局部的曝光过/不足，偏离自然低光/正常光照图像之间的真实映射，因此需要成对图像的方法存在一定的不足，难以广泛应用。不需要成对图像的光照增强模型由于缺乏成对图像的约束，且仅针对光照增强，导致生成的图像质量较差，且对于人脸识别准确率没有提升。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于掩码区域自适应增强的光照变化人脸识别方法，生成光照条件良好的人脸图像，提高人脸识别准确率。
本发明采用以下技术方案：
一种基于掩码区域自适应增强的光照变化人脸识别方法，包括以下步骤：
S1、将人脸数据集中光照变化人脸图像与其对应身份标识的标准图像构建成对图像；
S2、获取步骤S1中光照变化人脸图像的掩码注意力图；
S3、构建生成对抗网络中的生成器G，根据步骤S2获取的掩码注意力图对步骤S1的光照变化人脸图像进行自适应光照增强；
S4、对步骤S3生成的图像施加身份特征约束和感知约束，生成光照条件增强后的人脸图像，并使用人脸识别算法对生成的人脸图像进行识别。
具体的，步骤S1中，成对图像具体为：
其中，i代表身份标识，l表示不同的光照条件，g表示标准光照条件，K表示数据集中光照变化人脸图像的总数。
具体的，步骤S2具体为：
S201、将RGB格式光照变化人脸图像的三通道之和记为光照通道，标准化为[0，1]，并用1减去，将结果记为Attention map；
S202、通过人脸解析网络和五官对称性先验获取未解析的五官掩码区域UFMA；
S203、将步骤S201的结果Attention map和步骤S202的结果UFMA结合得到掩码注意力图。
进一步的，步骤S203中，掩码注意力图MAM具体为：
MAM＝Attention map·(λ·UFMA)
其中，λ为超参数。
具体的，步骤S3中，生成器G包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一反卷积层、第六卷积层、第二反卷积层、第七卷积层、第三反卷积层、第八卷积层、第四反卷积层、第九卷积层、第十卷积层和输出层。
具体的，步骤S4中，施加身份特征约束具体为：使用现有人脸特征提取网络ArcFace模型对生成的光照条件良好的人脸图像以及其对应身份标识的标准图像提取人脸特征，并计算相似度得到身份特征损失l2。
进一步的，特征级损失l2计算如下：
l2＝1-sim(F(I)，F(I′))
其中：F表示人脸特征提取，sim()计算特征相似度，I′为使用本发明对光照变化人脸图像光照增强后的生成图像，I为光照变化人脸图像对应身份标识的标准人脸图像。
具体的，步骤S4中，施加感知约束具体为：对生成图像和光照变化人脸图像的整体和局部区域施加损失，局部区域为检测到的五官关键点所在的区域，当不能检测得到五官关键点时随机裁剪5个区域，得到感知级损失L3。
进一步的，感知级损失L3具体为：
其中，Wi,j，Hi,j为所提取特征图的维度，φi,j()用来提取VGG-16模型中第5个池化层后的第1个卷积层的特征图。
具体的，步骤S4中，光照条件增强后的人脸图像的损失Loss计算如下：
其中，为针对整幅图像计算的感知损失，/>为针对该图局部区域计算的感知损失，/>为针对整幅图像计算的生成器损失，/>为针对该图局部区域计算的生成器损失，β为特征级损失的权重，l2为身份特征损失。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于掩码区域自适应增强的光照变化人脸识别方法，结合人脸数据集的特点，构建“光照变化人脸图像——标准人脸图像”成对图像，从像素层面和特征层入手，引入人脸解析网络、五官对称性先验和人脸特征提取网络，对光照变化人脸图像进行自适应光照增强，能够生成光照条件良好的人脸图像，从而有效提高人脸识别准确率。
进一步的，通过步骤S2获得光照变化人脸图像的掩码注意力图，该掩码注意力图反映的是初始光照变化人脸图像中对应像素点的增强程度，能够指导光照变化人脸图像的自适应光照增强。
进一步的，根据步骤S3搭建生成器G，在S2中掩码注意力图的指导下，通过该生成器G，生成光照条件良好的人脸图像。
进一步的，对通过步骤S3生成的光照条件良好的人脸图像，以及S1中构建的成对数据集中的标准人脸图像分别提取人脸特征，施加身份特征约束，使生成的人脸图像与其对应的标准图像具有相近的人脸特征，从而提高准确率。
进一步的，通过对步骤S1中光照变化的人脸图像，以及基于对应图像生成的光照条件良好的人脸图像施加感知约束，确保生成的图像与其光照变化的人脸图像具有相同的内容。
综上所述，本发明公开了一种基于掩码区域自适应增强的光照变化人脸识别方法。首先，针对像素层面，引入人脸解析模型和五官对称性先验，对光照变化人脸图像进行自适应光照增强；其次，针对特征层面，基于人脸数据集构建成对图像，然后引入人脸特征提取网络，对生成的图像和与其对应的标准图像提取人脸特征，并施加身份特征约束，使生成的图像与其对应的标准图像具有相似的特征，提高人脸识别准确率。本发明实现了对光照变化人脸图像较好的增强，提高了人脸识别准确率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的网络框架图；
图2为构建的部分成对图像；
图3为获取的Attenion map和MAM的展示图；
图4为生成器G示意图；
图5为生成的图像与其对应人脸掩码图；
图6为本发明对光照变化人脸图像光照增强后的结果图；
图7为本方明与现有方法的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于掩码区域自适应增强的光照变化人脸识别方法，从像素层面和特征层面两方面入手，首先针对像素层面，引入人脸解析模型和五官对称性先验，对光照变化人脸图像中光照条件极差的五官区域进行着重增强，并对五官以及人脸轮廓进行保持；其次，针对特征层面，基于人脸数据集构建成对图像，然后引入人脸特征提取网络，对生成的图像和与其对应身份标识的标准图像提取人脸特征，并施加身份特征约束，使生成的图像与其对应的标准图像具有相似的特征，提高人脸识别准确率。本发明实现了对光照变化人脸图像较好的光照增强，提高了人脸识别准确率。
请参阅图1，本发明一种基于掩码区域自适应增强的光照变化人脸识别方法，包括以下步骤：
S1、构建成对图像；
结合人脸数据集中除了目标在不同光照条件下的图像外，还包括对应目标在标准光照条件下、与不同光照条件下图像在姿态，表情，发型等方面存在些微差异的人脸图像的特点，将光照变化人脸图像与其对应身份标识的标准图像构建成对图像。
构造形式为“光照变化的人脸图像-标准人脸图像”的成对数据集如下：
其中，i代表身份标识，l表示不同的光照条件，g表示标准光照条件，K表示数据集中光照变化人脸图像的总数，部分图像如图2所示。
S2、获取光照变化人脸图像的掩码注意力图；
S201、将RGB格式光照变化人脸图像的三通道之和记为光照通道，并标准化为[0，1]，并用1减去，将结果记为Attention map；
S202、通过人脸解析网络和五官对称性先验获取未解析的五官掩码区域UFMA；
通过人脸解析网络得到光照变化人脸图像的五官掩码图M，并引入五官对称性先验，假设人脸的五官掩码是对称的。通过该先验和五官掩码图M获得本该为五官，却由于光照条件较差而未解析为五官的区域，并对该区域着重增强。
具体做法为：对解析得到的五官掩码图M进行水平翻转，得到M′，并通过以下公式计算得到未解析的五官掩码区域UFMA：
当UFMA等于1时，表明该区域为五官区域却未解析出来，应着重增强；当UFMA等于0时，表明该区域为五官区域且已经解析出来或不是五官区域，不用着重增强。
S203、将步骤S201的结果Attention map和步骤S202的结果UFMA结合得到掩码注意力图MAM，用以指导光照增强，如图3所示；
MAM＝Attention map·(λ·UFMA)
其中，λ为超参数，用来反映着重增强的程度，通过实验验证，本发明中将λ设定为1.2。
S3、在获取的掩码注意力图MAM的指导下，对光照变化人脸图像进行自适应光照增强；
请参阅图4，构建生成对抗网络中的生成器G。
生成器G包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一反卷积层、第六卷积层、第二反卷积层、第七卷积层、第三反卷积层、第八卷积层、第四反卷积层、第九卷积层、第十卷积层和输出层。
输入层为112×112×3大小的原图和112×112×1大小的掩码注意力图MAM的级联，输出层大小为112×112×3的RGB图。
在训练过程中，掩码注意力图MAM被resize至中间特征图的大小，并与对应的特征图进行点对点的相乘，用以指导自适应光照增强。
S4、对生成的图像施加身份特征约束和感知约束，以生成光照条件良好，与原始光照变化人脸图像具有相同视觉感知的人脸图像，并使用主流的人脸识别方法对生成的图像进行人脸识别，从而提高人脸识别准确率。
S401、对生成图像施加身份特征约束；
用现有人脸特征提取网络ArcFace模型对通过本方明生成的图像以及其对应身份标识的标准人脸图像提取人脸特征，并计算相似度，确保生成的图像与其对应身份标识的图像具有相近的人脸特征。
l2＝1-sim(F(I),F(I′))
其中：F表示人脸特征提取，sim()计算特征相似度，l2为特征级损失，I′为使用本发明对光照变化人脸图像光照增强后的生成人脸图像，I为该光照变化人脸图像对应身份标识的标准人脸图像。
S402、对生成的图像施加感知约束；
经过大量的工作验证，VGG-16模型中第5个池化层后的第1个卷积层的特征图对于光照条件变化比较鲁棒，因此，为了保证生成的图像与光照变化的人脸图像具有相似的视觉感知，对生成图像和光照变化人脸图像的整体和局部区域施加损失，局部区域为检测到的五官关键点所在的区域，当不能检测得到五官关键点时则随机裁剪5个区域，具体如下：
其中，Wi,j，Hi，j为所提取特征图的维度，L3为感知级损失，φi,j()用来提取VGG-16模型中第5个池化层后的第1个卷积层的特征图
S403、为了保证生成图像的具有较好的五官和人脸轮廓，将图5所示的生成的图像与其对应的人脸解析图进行级联作为鉴别器的输入；此外，为了使生成图像较为逼真，对整幅图像和局部区域施加生成对抗损失。
基于生成对抗网络和模糊掩蔽的人脸图像光照增强方法的损失Loss计算如下：
其中，为针对整幅图像计算的感知损失，/>为针对该图局部区域计算的感知损失，/>为针对整幅图像计算的生成器损失，/>为针对该图局部区域计算的生成器损失，β为特征级损失的权重，通过实验本方明将β设定为5，l2为身份特征损失。
本发明再一个实施例中，提供一种基于掩码区域自适应增强的光照变化人脸识别系统，该系统能够用于实现上述基于掩码区域自适应增强的光照变化人脸识别方法，具体的，该基于掩码区域自适应增强的光照变化人脸识别系统包括图像模块、掩码模块、增强模块以及识别模块。
其中，图像模块，将人脸数据集中光照变化人脸图像与其对应身份标识的标准图像构建成对图像；
掩码模块，获取图像模块中光照变化人脸图像的掩码注意力图；
增强模块，构建生成对抗网络中的生成器G，根据掩码模块获取的掩码注意力图对图像模块的光照变化人脸图像进行自适应光照增强；
识别模块，对增强模块生成的图像施加身份特征约束和感知约束，生成光照条件增强后的人脸图像，并使用人脸识别算法对生成的人脸图像进行识别。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于掩码区域自适应增强的光照变化人脸识别方法的操作，包括：
将人脸数据集中光照变化人脸图像与其对应身份标识的标准图像构建成对图像；获取光照变化人脸图像的掩码注意力图；构建生成对抗网络中的生成器G，根据掩码注意力图对光照变化人脸图像进行自适应光照增强；对生成的图像施加身份特征约束和感知约束，得到光照条件增强后的人脸图像，并使用人脸识别算法对生成的人脸图像进行识别。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于光照增强的光照变化人脸识别方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
将人脸数据集中光照变化人脸图像与其对应身份标识的标准图像构建成对图像；获取光照变化人脸图像的掩码注意力图；构建生成对抗网络中的生成器G，根据掩码注意力图对光照变化人脸图像进行自适应光照增强；对生成的图像施加身份特征约束和感知约束，生成光照条件增强后的人脸图像，并使用人脸识别算法对生成的人脸图像进行识别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可通过以下仿真结果进一步说明
1.仿真条件
本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站，搭载两块显存为12G的GPU；本发明方针所使用的的数据集为CAS-PEAL-R1。CAS-PEAL-R1包含1，040个受试者的30,863张360×480灰度图像，分为正视图和非正视图。
正视图中包含背景变化、饰品变化、表情变化、与摄像设备距离变化和光照变化等。297名受试者在2到4个不同的背景下拍照，438名受试者佩戴了6种不同的饰品，379名受试者有6种不同表情的图像，296名受试者在1～2种距离情况下获得图像，233名受试者在至少10次光照变化和最多31次光照变化下获得图像。非正视图中，1,040名受试者中，每个受试者包括21种不同姿态的图像，除此之外没有任何其他变化。使用该数据中223个受试者在不同光照条件下的1,963张图像作为训练集，10个受试者的113张图像作为测试集。
2.仿真内容
利用CAS-PEAL-R1数据集，我们提出的方法就光照变化人脸图像进行光照增强，部分结果如图6所示，图7展示了本发明与现有方法的结果对比，表1展示了本发明和现有方法生成图像的人脸识别准确率，表2展示了本发明和现有方法生成图像的质量。
表1本发明和现有方法生成图像的准确率
表2本发明和现有方法生成图像的质量
3.仿真结果分析
请参阅图7，展示了本发明与现有方法在CAS-PEAL-R1数据集上光照增强后的人脸图像，相比于其他现有方法，本发明生成的图像具有较好的光照条件，不存在过曝、曝光不足等现象，生成的图像较为真实。
表1和2展示了本发明与现有方法基于CAS-PEAL-R1数据集增强后人脸图像的识别准确率，从表中可以看出：与其他方法相比，本发明生成的人脸图像具有较高的人脸识别准确率。
综上所述，本发明一种基于掩码区域自适应增强的光照变化人脸识别方法，实现了对光照变化人脸图像较好的光照增强效果，能够生成光照条件良好的人脸图像，有效提高人脸识别准确率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (7)
1.一种基于掩码区域自适应增强的光照变化人脸识别方法，其特征在于，包括以下步骤：
S1、将人脸数据集中光照变化人脸图像与其对应身份标识的标准图像构建成对图像；
S2、获取步骤S1中光照变化人脸图像的掩码注意力图，具体为：
S201、将RGB格式光照变化人脸图像的三通道之和记为光照通道，标准化为[0，1]，并用1减去，将结果记为Attention map；
S202、通过人脸解析网络和五官对称性先验获取未解析的五官掩码区域UFMA；
S203、将步骤S201的结果Attention map和步骤S202的结果UFMA结合得到掩码注意力图；
S3、构建生成对抗网络中的生成器G，根据步骤S2获取的掩码注意力图对步骤S1的光照变化人脸图像进行自适应光照增强；
S4、对步骤S3生成的图像施加身份特征约束和感知约束，生成光照条件增强后的人脸图像，并使用人脸识别方法对生成的人脸图像进行识别；
施加身份特征约束具体为：使用现有人脸特征提取网络ArcFace模型对生成的光照条件良好的人脸图像以及其对应身份标识的标准图像提取人脸特征，并计算相似度得到特征级损失l2；
施加感知约束具体为：对生成图像和光照变化人脸图像的整体和局部区域施加损失，局部区域为检测到的五官关键点所在的区域，当不能检测得到五官关键点时随机裁剪5个区域，得到感知级损失L3。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，成对图像具体为：
其中，i代表身份标识，l表示不同的光照条件，g表示标准光照条件，K表示数据集中光照变化人脸图像的总数。
3.根据权利要求1所述的方法，其特征在于，步骤S203中，掩码注意力图MAM具体为：
MAM＝Attention map·(λ·UFMA)
其中，λ为超参数。
4.根据权利要求1所述的方法，其特征在于，步骤S3中，生成器G包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一反卷积层、第六卷积层、第二反卷积层、第七卷积层、第三反卷积层、第八卷积层、第四反卷积层、第九卷积层、第十卷积层和输出层。
5.根据权利要求1所述的方法，其特征在于，步骤S4中，特征级损失l2计算如下：
l2＝1-sim(F(I),F(I′))
其中：F表示人脸特征提取，sim()计算特征相似度，I′为使用本发明对光照变化人脸图像光照增强后的生成图像，I为光照变化人脸图像对应身份标识的标准人脸图像。
6.根据权利要求1所述的方法，其特征在于，步骤S4中，感知级损失L3具体为：
其中，Wi,j，Hi,j为所提取特征图的维度，φi,j()用来提取VGG-16模型中第5个池化层后的第1个卷积层的特征图。
7.根据权利要求1所述的方法，其特征在于，步骤S4中，光照条件增强后的人脸图像的损失Loss计算如下：
其中，为针对整幅图像计算的感知损失，/>为针对该图局部区域计算的感知损失，/>为针对整幅图像计算的生成器损失，/>为针对该图局部区域计算的生成器损失，β为特征级损失的权重，l2为身份特征损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603103.7A CN113239867B (zh) | 2021-05-31 | 2021-05-31 | 一种基于掩码区域自适应增强的光照变化人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110603103.7A CN113239867B (zh) | 2021-05-31 | 2021-05-31 | 一种基于掩码区域自适应增强的光照变化人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239867A CN113239867A (zh) | 2021-08-10 |
| CN113239867B true CN113239867B (zh) | 2023-08-11 |
Family
ID=77135910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110603103.7A Active CN113239867B (zh) | 2021-05-31 | 2021-05-31 | 一种基于掩码区域自适应增强的光照变化人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239867B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743284B (zh) * | 2021-08-30 | 2024-08-13 | 杭州海康威视数字技术股份有限公司 | 图像识别方法、装置、设备、相机及门禁设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| CN110991299A (zh) * | 2019-11-27 | 2020-04-10 | 中新国际联合研究院 | 一种物理域上针对人脸识别系统的对抗样本生成方法 |
| WO2020168731A1 (zh) * | 2019-02-19 | 2020-08-27 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
-
2021
- 2021-05-31 CN CN202110603103.7A patent/CN113239867B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| WO2020168731A1 (zh) * | 2019-02-19 | 2020-08-27 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN110991299A (zh) * | 2019-11-27 | 2020-04-10 | 中新国际联合研究院 | 一种物理域上针对人脸识别系统的对抗样本生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种光照不变人脸识别的预处理算法;张熠;熊飞;张桂林;;中国图象图形学报(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239867A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| Guo et al. | LIME: Low-light image enhancement via illumination map estimation | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| Hu et al. | Singular value decomposition and local near neighbors for face recognition under varying illumination | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN109002763B (zh) | 基于同源连续性的模拟人脸老化的方法及装置 | |
| CN108475424A (zh) | 用于3d面部跟踪的方法、装置和系统 | |
| CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
| CN108446694A (zh) | 一种目标检测方法及装置 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN111008935A (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| Sharma et al. | Image recognition system using geometric matching and contour detection | |
| Mao et al. | Classroom micro-expression recognition algorithms based on multi-feature fusion | |
| CN112102348A (zh) | 图像处理设备 | |
| CN113239867B (zh) | 一种基于掩码区域自适应增强的光照变化人脸识别方法 | |
| US10755476B2 (en) | Image processing method and image processing device | |
| Qu et al. | Umle: Unsupervised multi-discriminator network for low light enhancement | |
| CN113705466A (zh) | 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 | |
| CN115908260B (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
| Smiatacz | Normalization of face illumination using basic knowledge and information extracted from a single image | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 | |
| Lu et al. | Research on 3D reconstruction method of human-computer interaction scene based on support vector machine in cloud manufacturing environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |