CN110647820B - 基于特征空间超分辨映射的低分辨率人脸识别方法 - Google Patents
基于特征空间超分辨映射的低分辨率人脸识别方法 Download PDFInfo
- Publication number
- CN110647820B CN110647820B CN201910802224.7A CN201910802224A CN110647820B CN 110647820 B CN110647820 B CN 110647820B CN 201910802224 A CN201910802224 A CN 201910802224A CN 110647820 B CN110647820 B CN 110647820B
- Authority
- CN
- China
- Prior art keywords
- face
- resolution
- feature
- low
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明所要解决的技术问题是提出一种基于特征空间超分辨映射的低分辨率人脸识别方法,设计了一个残差block作为映射模块基础架构,级联在人脸识别神经网络中特征提取部分之后。因为映射模块是一个轻量级神经网络,并且输入特征谱分辨率尺寸远低于原图尺寸,因此本方法的计算量远远低于图像空间超分辨率的方法,同时因为是在识别特征上映射,可以更有针对性地得到高判别性地高分辨人脸特征。本发明对低分辨率人脸识别有显著提升且计算代价很小,可以有效解决安防场景中无法识别低分辨率人脸的问题,是更适合实际产品部署的方法。
Description
技术领域
本发明涉及计算机视觉技术,具体涉及低分辨率人脸识别技术。
背景技术
人脸识别是计算机视觉技术中最早、最广泛落地的技术之一,特别是在安防和移动支付领域带来了良好的经济效益。随着深度学习在人脸识别技术中的广泛应用,识别准确率得到了巨大提升,在特定场景和姿态下准确率已经可以达到商用标准。然而在更为通用的无约束自然场景下,采集的人脸图片可能具有不同的分辨率、姿态、光照、表情等,识别率会远远低于约束场景。特别在安防用途的室外场景中,监控摄像头采集的绝大多数人脸处在摄像头10米以外,导致人脸分辨率较低,现有的通用人脸识别算法无法有效识别分辨率30x30及以下的人脸,带来严重的安全漏洞。出现这一问题的主要原因,是低分辨率人脸提取的特征不具有强区分性。
为解决低分辨率人脸识别问题,目前集中在输入端人脸图像的处理。一类工作是通过对输入图像进行超分辨率重建,并且大多采用已有的图像超分辨率卷积神经网络SR-CNN,这一类方法需要在识别之前加入超分辨网络,增加了整个流程的步骤数,并且重建后的图像仍然无法为识别提供足够有用信息。另一类工作是依靠对抗生成网络GAN合成高分辨率人脸图像,用于后续的识别工作,但是合成的人脸图像往往很不自然并且带有较大不确定性,同时合成高分辨人脸需要较大的计算量,不利于模型的嵌入式端部署。
发明内容
本发明所要解决的技术问题是,针对先低分辨率人脸识别均是基于图像的超分辨率重建,计算量大且重建图像的判别性不高,而提出一种具有高判别性的低分辨率人脸识别方法。
本发明为解决上述技术问题所采用的技术方案是,基于特征空间超分辨映射的低分辨率人脸识别方法,包括以下步骤:
一、训练步骤:
1)完成对人脸识别神经网络的训练;所述人脸识别神经网络能有效识别高分辨率人脸;
2)完成对特征映射模块的训练;所述特征映射模块用于实现从低分辨率人脸特征谱到高分辨率人脸特征谱的映射;所述高分辨率人脸为分辨率为30x30以上的人脸图像,所述低分辨率人脸为分辨率在30x30及以下的人脸图像;
二、识别步骤:
1)获取输入的人脸图像的分辨率;
2)将人脸图像输入至训练完成的人脸分类网络,当人脸图像为低分辨率人脸时,将人脸分类网络中最后一层特征提取卷积层输出的特征谱经过全局平均池化完成维度匹配之后输入至特征映射模块,特征映射模块输出人脸图像的特征向量;当人脸图像为高分辨率人脸时,将人脸分类网络中最后一层特征提取全连接层输出的特征向量作为输入的人脸图像的特征向量;
3)依次计算输入的人脸图像的特征向量与数据库中已注册的各个人脸特征向量的余弦相似度,当有余弦相似度高于阈值的情况,则表明有识别结果输出,将对应的余弦相似度最高的已注册人脸作为识别结果输出。
现有解决方案都是,不仅计算量较大而且不能将重建的重点放在人脸识别中具有高判别性的特征上。当输入人脸图像分辨率较低时,现有人脸识别神经网络无法提取出具有高判别性的特征。
本发明采用了一个先验假设,即低分辨率人脸的特征谱保留了全部特征的一部分,而丢失的部分是可以通过一个神经网络学习回来的,因此本发明设计了一个残差block作为映射模块基础架构,级联在人脸识别神经网络中特征提取部分之后。因为映射模块是一个轻量级神经网络,并且输入特征谱分辨率尺寸远低于原图尺寸,因此本方法的计算量远远低于图像空间超分辨率的方法,同时因为是在识别特征上映射,可以更有针对性地得到高判别性地高分辨人脸特征。
本发明的有益效果是,对低分辨率人脸识别有显著提升且计算代价很小,可以有效解决安防场景中无法识别低分辨率人脸的问题,是更适合实际产品部署的方法。
附图说明
图1:特征映射模块示意图。
图2:本发明流程图。
图3:人脸识别网络结构示意图。
具体实施方式
当输入人脸图像分辨率较低时,现有人脸识别神经网络无法提取出具有高判别性的特征。人脸识别神经网络的采用20层的ResNet的结构,如图3所示,通过级联的8个残差block提取人脸特征,并经过fc5与fc6两个全连接层后计算损失,通常可以将fc5层输出视为人脸特征向量,fc6的目的是对此特征向量做最终的分类。损失的设计原则是让特征的判别性更强,即同类特征间隔尽量小,不同类特征间隔尽量大。基于此思想将交叉熵损失改进为具有乘性角度边界的A-SoftMax损失:
xi、xj分别表示第i、j个输入的特征向量,θi、θj分别表示第i个特征向量的夹角、第j个特征向量的夹角,N表示训练的批尺寸batch size,m表示乘性角度间隔。可以证明当满足特征均匀分布的先验假设时,只要满足m>=3,即可保证最小类间间距大于最大类内间距。
利用上述方法可以训练一个人脸识别网络,直接取该网络的最后一层特征提取全连接层fc5作为输出即为一个有效的人脸特征提取器。然而该方法针对的是清晰的高分辨率人脸的特征提取,当输入为低分辨率人脸时,提取的特征无法有效判别与验证。于是以该特征提取器为基础,训练特征映射模块。
本发明采用全新提出的特征映射模块,级联在识别网络后面,得到具有高判别性的高分辨人脸的特征。如图1所示,基于低分辨人脸保留了高分辨人脸部分部分信息这一先验知识,本发明采用一个残差结构来学习丢失的信息(即残差),又因为不同分辨率输入需要的残差不同,越低分辨的输入需要的残差越大,本发明通过Fc1与Fc2两个全连接层自适应的学习残差的权重,而残差本身的学习参考了图像超分辨网络的结构,通过一次卷积(3x3Conv)和一次反卷积(3x3Deconv)完成。实施例的特征映射,是在输出特征向量前一层的特征谱(即res4_3层输出)上进行的,本发明分别提取同一样本90x90以上高分辨率人脸的特征谱与随机降采样到30x30至10x10之间的低分辨率人脸的特征谱作为标签与输入,学习后者到前者的映射。
在对人脸识别神经网络、特征映射模块进行训练时。首先,需要制作训练数据集。将训练集分为两份,一份是用于特征提取的分类数据集,每个人就是一个类别,一份是从WIDER FACE等自然场景人脸数据集中选取的分辨率在90x90以上的高分辨率人脸,不需要任何标签。第二份数据集中每张图像提取两种特征:1)原图输入特征提取器提取出fc5前一个卷积层的特征谱(feature map 1);2)将原图尺寸乘一个随机数得到新尺寸,随机下采样到10x10到30x30之间的低分辨率图像,输入网络提取fc5前一个卷积层的特征谱(featuremap 2)。
通过残差结构学习feature map 2相对于feature map 1丢失的信息,featuremap 2的映射公式如下:
Y(x)=x+γ(x)·h(x) (2)
式中,x是输入的低分辨率人脸特征谱,Y(x)是映射得到的输出,h(x)是学习到的残差,γ(x)是自适应得到的残差的权重。
采用均方误差作为损失优化参数,使映射得到的Y(x)尽量接近高分辨率人脸特征谱y,损失函数如下:
yi为第i个高分辨率人脸特征谱,Yi(x)的i个是高分辨率人脸特征谱通过特征映射模块的输出,N表示批尺寸。在训练时,因为本模块的参数量很低,可以将N取大一些,比如在Nvidia TITAN X中可以取256,这样可以使得模型更快收敛。
实际测试中,对得到的映射特征谱Y(x)做全局平均池化,即可得到512维特征向量,通过与注册库中特征向量计算余弦相似度即可判断是否是同一个人:
如图2所示,在训练完成后,进行人脸识别时,主要包括三个步骤:面部特征的提取、特征分辨映射和人脸特征比对三步骤。
步骤一:
第1步:判断输入人脸的分辨率。
第2步:用A-SoftMax损失训练人脸特征提取器,输入人脸图像并进行网络前传。
第3步:若第1步判断是分辨率大于30x30的人脸图像,则在最后一层特征提取全连接层fc5输出特征向量并跳转到步骤三;若1步判断是分辨率小于30x30的人脸图像,则在最后一层特征提取卷积层conv4-1输出特征谱,进入步骤二。
步骤二:将卷积层conv4-1输出特征谱通过全局平均池化转化为512维特征向量后输入至特征映射模块,特征映射模块输出特征向量到步骤三;
步骤三:计算输入的特征向量与数据库中已注册的各个特征向量的余弦相似度;若输出余弦相似度高于阈值的特征所属个体名称,若多于一个,输出余弦相似度最高的特征所属个体名称。
经试验表明,在降采样到30x30以下的LFW人脸数据集上,使用本发明方法后,识别率由57.1%上升至69.4%。显然,本方法对低分辨率人脸识别有显著提升且计算代价很小,是更适合实际产品部署的方法。
Claims (4)
1.基于特征空间超分辨映射的低分辨率人脸识别方法,其特征在于,包括以下步骤:
一、训练步骤:
1)完成对人脸识别神经网络的训练;所述人脸识别神经网络能有效识别高分辨率人脸;
2)完成对特征映射模块的训练;所述特征映射模块用于实现从低分辨率人脸特征谱到高分辨率人脸特征谱的映射;所述高分辨率人脸为分辨率为30x30以上的人脸图像,所述低分辨率人脸为分辨率在30x30及以下的人脸图像;
二、识别步骤:
1)获取输入的人脸图像的分辨率;
2)将人脸图像输入至训练完成的人脸分类网络,当人脸图像为低分辨率人脸时,将人脸分类网络中最后一层特征提取卷积层输出的特征谱经过全局平均池化完成维度匹配之后作为输入至特征映射模块;当人脸图像为高分辨率人脸时,将人脸分类网络中最后一层特征提取全连接层输出的特征向量作为输入的人脸图像的特征向量;
3)依次计算输入的人脸图像的特征向量与数据库中已注册的各个人脸特征向量的余弦相似度,当有余弦相似度高于阈值的情况,则表明有识别结果输出,将对应的余弦相似度最高的已注册人脸作为识别结果输出;
特征映射模块的训练方法为:提取同一人脸样本高分辨率人脸的特征谱与降采样到低分辨率人脸的特征谱作为特征映射模块的输入,特征映射模块通过残差结构学习低分辨率人脸的特征谱到高分辨率人脸的特征谱的映射,映射公式如下:
Y(x)=x+γ(x)·h(x)
式中,x是输入的低分辨率人脸特征谱,Y(x)是映射得到的输出,h(x)是学习到的残差,γ(x)是自适应得到的残差的权重;
特征映射模块的损失函数为:
其中,yi为第i个高分辨率人脸特征谱,Yi(x)的i个是高分辨率人脸特征谱通过特征映射模块的输出,N表示批尺寸,‖·‖2为2范数。
3.如权利要求1所述方法,其特征在于,对人脸识别神经网络的训练时,将自然场景人脸数据集中选取分辨率在90x90以上的高分辨率人脸作为人脸识别神经网络的输入;
特征映射模块训练过程中,提取人脸样本高分辨率人脸的特征谱的具体方式为:高分辨率人脸输入人脸识别神经网络后,提取最后一层特征提取卷积层输出的特征谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802224.7A CN110647820B (zh) | 2019-08-28 | 2019-08-28 | 基于特征空间超分辨映射的低分辨率人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802224.7A CN110647820B (zh) | 2019-08-28 | 2019-08-28 | 基于特征空间超分辨映射的低分辨率人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647820A CN110647820A (zh) | 2020-01-03 |
CN110647820B true CN110647820B (zh) | 2023-04-07 |
Family
ID=68991030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910802224.7A Active CN110647820B (zh) | 2019-08-28 | 2019-08-28 | 基于特征空间超分辨映射的低分辨率人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110647820B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368790A (zh) * | 2020-03-18 | 2020-07-03 | 北京三快在线科技有限公司 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
CN112784857B (zh) * | 2021-01-29 | 2022-11-04 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
CN113011366A (zh) * | 2021-03-31 | 2021-06-22 | 北京京东乾石科技有限公司 | 用于提高人脸识别精度的方法、装置、电子设备和介质 |
CN113592715B (zh) * | 2021-08-05 | 2024-05-24 | 昆明理工大学 | 一种面向小样本图像集的超分辨率图像重构方法 |
CN114612990A (zh) * | 2022-03-22 | 2022-06-10 | 河海大学 | 一种基于超分辨率的无人机人脸识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2031544A1 (en) * | 2007-08-27 | 2009-03-04 | Sony Corporation | Face image processing apparatus, face image processing method, and computer program |
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710386A (zh) * | 2009-12-25 | 2010-05-19 | 西安交通大学 | 一种基于相关特征和非线性映射的超分辨率人脸识别方法 |
US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
-
2019
- 2019-08-28 CN CN201910802224.7A patent/CN110647820B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2031544A1 (en) * | 2007-08-27 | 2009-03-04 | Sony Corporation | Face image processing apparatus, face image processing method, and computer program |
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN110084119A (zh) * | 2019-03-26 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的低分辨率人脸图像识别方法 |
Non-Patent Citations (2)
Title |
---|
Hao Wang.Large Margin Cosine Loss for Deep Face Recognition.IEEE Conference on Computer Vision and Pattern Recognition.2018,全文. * |
卢涛.基于图像超分辨极限学习机的极低分辨率人脸识别.计算机应用.2016,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110647820A (zh) | 2020-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647820B (zh) | 基于特征空间超分辨映射的低分辨率人脸识别方法 | |
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
CN110706157B (zh) | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 | |
CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
Zhang et al. | Supervised pixel-wise GAN for face super-resolution | |
CN113642634A (zh) | 一种基于混合注意力的阴影检测方法 | |
CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
CN110097029B (zh) | 基于Highway网络多视角步态识别的身份认证方法 | |
WO2017080196A1 (zh) | 基于人脸图像的视频分类方法和装置 | |
CN102902959A (zh) | 基于二代身份证存储证件照的人脸识别方法及系统 | |
CN106960176B (zh) | 一种基于超限学习机和颜色特征融合的行人性别识别方法 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN111639564A (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN103714326A (zh) | 一种单样本人脸识别方法 | |
CN103839042A (zh) | 人脸识别方法和人脸识别系统 | |
CN110895697A (zh) | 变压器铭牌信息采集方法及智能采集系统 | |
CN109002771B (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
CN104143091A (zh) | 基于改进mLBP的单样本人脸识别方法 | |
CN112257741A (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
CN110188646B (zh) | 基于梯度方向直方图与局部二值模式融合的人耳识别方法 | |
CN110222568B (zh) | 一种基于时空图的跨视角步态识别方法 | |
CN111275070B (zh) | 一种基于局部特征匹配的签名验证方法及设备 | |
CN109002770B (zh) | 一种低分辨率条件下的人脸识别方法 | |
CN111611962A (zh) | 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |