CN110837781A - 一种人脸识别方法、人脸识别装置及电子设备 - Google Patents

一种人脸识别方法、人脸识别装置及电子设备 Download PDF

Info

Publication number
CN110837781A
CN110837781A CN201910981826.3A CN201910981826A CN110837781A CN 110837781 A CN110837781 A CN 110837781A CN 201910981826 A CN201910981826 A CN 201910981826A CN 110837781 A CN110837781 A CN 110837781A
Authority
CN
China
Prior art keywords
face image
face
network
trained
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910981826.3A
Other languages
English (en)
Other versions
CN110837781B (zh
Inventor
陈嘉莉
田笑
周超勇
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910981826.3A priority Critical patent/CN110837781B/zh
Publication of CN110837781A publication Critical patent/CN110837781A/zh
Application granted granted Critical
Publication of CN110837781B publication Critical patent/CN110837781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本申请公开了一种人脸识别方法、人脸识别装置、电子设备及计算机可读存储介质,其中,该人脸识别方法包括:获取第一人脸图像;对所述第一人脸图像进行预处理;基于预设的分割方案,将预处理后的所述第一人脸图像分割为N*N个人脸图像区域;分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;基于所述分割方案,对所述N*N个输出结果进行重组,得到第二人脸图像;将所述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。通过本申请方案,不再需要通过人脸关键点对人脸图像进行对齐,可避免由于对所有人脸图像使用同一人脸形状进行对齐而造成的人脸形变,提升了人脸识别的准确性。

Description

一种人脸识别方法、人脸识别装置及电子设备
技术领域
本申请属于图像处理技术领域,尤其涉及一种人脸识别方法、人脸识别装置、电子设备及计算机可读存储介质。
背景技术
人脸识别技术已经应用在了人们生活中的各个方面。当前,在进行人脸识别之前,由于拍摄镜头的角度不一,往往需要先对检测到的人脸进行人脸对齐操作,之后才能执行人脸识别操作。上述过程中,常见的是先检测人脸关键点,然后根据人脸关键点和预设好的人脸形状进行相似变换,即可得到对齐后的人脸图像。这种先采用人脸关键点进行对齐,之后再进行人脸识别的方案,其人脸识别的结果非常依赖于人脸关键点的准确性。然而,在日常应用中,常常会出现无约束的人脸识别的应用场景,这一应用场景常常会出现诸如遮挡、光照过强、模糊或大角度等问题,导致对人脸关键点的检测准确性有所降低,进而导致人脸图像产生扭曲变形,使得人脸识别的准确率也相应降低。因此,如何减少人脸图像的扭曲变形,从而提高人脸识别的准确率,是当前亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种人脸识别方法、人脸识别装置、电子设备及计算机可读存储介质,可减少出现人脸识别的过程中出现人脸图像扭曲变形的情况,提升人脸识别的准确率。
本申请的第一方面提供了一种人脸识别方法,包括:
获取第一人脸图像;
对上述第一人脸图像进行预处理;
基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
本申请的第二方面提供了一种人脸识别装置,包括:
获取单元,用于获取第一人脸图像;
预处理单元,用于对上述第一人脸图像进行预处理;
分割单元,用于基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
对齐单元,用于分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
重组单元,用于基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
识别单元,用于将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
本申请实施例的第三方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机可读指令,上述计算机可读指令被处理器执行时实现如下步骤:
获取第一人脸图像;
对上述第一人脸图像进行预处理;
基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
本申请实施例的第四方面提供了一种电子设备,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机可读指令,上述处理器执行上述计算机可读指令时实现如下步骤:
获取第一人脸图像;
对上述第一人脸图像进行预处理;
基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
由上可见,在本申请方案中,首先获取第一人脸图像,并对上述第一人脸图像进行预处理,接着基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域,然后分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果,随后基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像,最后将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。通过本申请方案,不再需要通过人脸关键点对人脸图像进行对齐,可以避免由于对所有人脸图片使用同一人脸形状进行对齐而造成的人脸形变,以提升人脸识别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人脸识别方法的实现流程示意图;
图2是本申请实施例提供的人脸识别方法中,对齐网络及识别网络的训练流程示意图;
图3是本申请实施例提供的人脸识别装置的结构框图;
图4是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请上述的技术方案,下面通过具体实施例来进行说明。
实施例一
下面对本申请实施例提供的一种人脸识别方法进行描述,请参阅图1,本申请实施例中的人脸识别方法包括:
步骤101,获取第一人脸图像;
在本申请实施例中,首先描述的是已训练好的对齐网络及识别网络的实际应用过程。在本步骤中,获取需要进行人脸识别操作的第一人脸图像,也即,上述第一人脸图像为本申请实际应用是所获取到的待识别的人脸图像。可选地,上述步骤101包括:
A1、通过摄像头或互联网获取待检测图像;
其中,此处有多种方式获取上述待检测图像,例如,上述待检测图像可以是电子设备通过智能手机、平板电脑、电子眼等设备的摄像头所获取到的图像;或者,也可以是电子设备通过互联网所获取到的图像,例如,从互联网上随机抓取的图像,或者电子设备通过其搭载的社交类应用程序所接收到的其它设备发送的图像,此处不对上述待检测图像的来源作出限定。
A2、基于预设的多任务卷积神经网络,对上述待检测图像进行人脸检测;
其中,考虑到上述步骤A1中所获取到的待检测图像不一定包含有人脸图像,因而,在本步骤中,可以进一步通过预设的多任务卷积神经网络(Multi-Task ConvolutionalNeural Network,MTCNN)对上述待检测图像进行筛选,以将不包含人脸图像的待检测图像筛除出去,避免后续进行无谓的人脸识别操作。
A3、若检测到上述待检测图像包括人脸图像,则将上述待检测图像确定为第一人脸图像。
其中,若通过上述MTCNN检测发现上述待检测图像中包含一个以上人脸图像,则可以将该待检测图像确定为需要进行人脸识别操作的第一人脸图像。可选地,若通过上述MTCNN检测发现上述待检测图像中不包含人脸图像,则在筛除该不包含人脸图像的待检测图像后,还可以在电子设备中输出提醒消息,以提醒用户当前未能通过上述待检测图像获取到有效的第一人脸图像。
步骤102,对上述第一人脸图像进行预处理;
在本申请实施例中,为了方便对齐网络及识别网络对上述第一人脸图像的处理过程,提升上述对齐网络及识别网络的工作效率及准确度,可以在将上述第一人脸图像输入至对齐网络之前,先对第一人脸图像进行预处理。可选地,上述步骤102包括:
B1、以预设的放大倍数,放大上述第一人脸图像;
其中,上述放大倍数可以是由电子设备所预先设定好的放大倍数,上述放大倍数的取值范围可以是在1.3至1.5之间,也即,基于电子设备在该取值范围内随机选择的一数值确定上述放大倍数;或者,上述放大倍数也可以是由用户自行设定的数值,此处不作限定;或者,还可以是由电子设备根据上述第一人脸图像的质量来设定相应的放大倍数,例如,当上述第一人脸图像的分辨率高于预设的分辨率阈值时,可以以较大的放大倍数放大上述第一人脸图像,例如,以1.5倍放大上述第一人脸图像;当上述第一人脸图像的分辨率不高于上述分辨率阈值时,可以以较小的放大倍数放大上述第一人脸图像,例如,以1.3倍放大上述第一人脸图像,此处不作限定。
B2、对放大后的上述第一人脸图像进行剪裁,保留上述第一人脸图像中的人脸框;
其中,为了进一步去除环境因素对人脸图像的影响,可以对放大后的上述第一人脸图像进行剪裁,以使得检测后的第一人脸图像只保留需要进行人脸识别操作的人脸框,而不包含其它与人脸框相关性较小的背景信息。
B3、将上述人脸框进行随机水平翻转后,对上述人脸框进行预设的增强处理。
其中,上述增强处理包括但不限于对人脸框的亮度增强处理和/或对比度增强处理。为了提升电子设备的工作效率,在进行增强处理之前,还可以先检测上述人脸框是否满足预设的增强处理条件。例如,针对亮度增强,可以先获取人脸框中所有像素点的平均亮度,若上述平均亮度未超过预设的平均亮度阈值,则再对上述人脸框进行亮度增强;针对对比度增强,可以先获取人脸框中的对比度,若上述对比度未超过预设的对比度阈值,则再对上述人脸框进行对比度增强。具体地,上述亮度增强包括:在[max(0,1-brightness),1+brightness]的范围内,随机设定目标亮度系数,其中,上述brightness为预设的第一数值,例如,可以将brightness设为0.3;基于上述目标亮度系数,增强上述人脸框中各个像素点的亮度。上述对比度增强包括:在[max(0,1-contrast),1+contrast]的范围内,随机设定目标对比度系数,其中,上述contrast为预设的第二数值;基于上述目标对比度系数,增强上述人脸框的对比度,例如,可以将contrast设为0.3。当然,上述brightness和contrast也可以被设定为其它数值,此处不作限定。
步骤103,基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
在本申请实施例中,上述N为大于1的正整数,此处不对N的取值作出限定。具体地,在对预处理后的上述第一人脸图像进行分割后,需要对分割得到的各个人脸图像区域进行位置标注,例如,将分割后的第一人脸图像的第一排、第一列的人脸图像区域的位置标注为(1,1);将将分割后的第一人脸图像的第一排、第二列的人脸图像区域的位置标注为(1,2);以此类推,将分割后的第一人脸图的第x排、第y列的人脸图像区域的位置标注为(x,y),其中,x、y均不大于N,以实现对各个人脸图像区域的位置标注。
步骤104,分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
在本申请实施例中,依次将N*N个人脸图像区域输入至训练好的对齐网络中,通过该对齐网络,对各个人脸图像区域进行对齐处理,该对齐网络的具体工作流程为:每个人脸图像区域均对应一组3*3的变换参数,此处有N*N个人脸图像区域,因而对齐网络将预先配置好N*N组3*3的变换参数。针对任一人脸图像区域,基于对应的变换参数对上述人脸图像区域进行投影变换;由于已向对齐网络输入了N*N个人脸图像区域,且每一个输入的人脸图像区域均可以得到对应的投影变换后的人脸图像区域,最终可输出投影变换后的N*N个人脸图像区域,也即N*N个输出结果。可以认为,上述N*N个人脸图像区域中的任一人脸图像区域,都唯一对应上述N*N个输出结果中的一个输出结果。该对齐网络具体可以采用空间变换网络(Spatial Transformer Networks,STN)作为其基本骨架,或者,也可以采用其它网络结构作为其基本骨架,此处不作限定。在此过程中,对齐网络不需要基于关键点对齐第一人脸图像,而是直接基于已训练的对齐网络分别对第一人脸图像所分割得到的N*N个人脸图像区域进行人脸对齐,一方面提升了对齐的精度,另一方面提升了对齐的准确性。
步骤105,基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
在本申请实施例中,由于对齐网络针对每个人脸图像区域都会进行投影变换,因而本步骤中将各个人脸图像区域重新组合起来时,所得到的第二人脸图像也会有更精细的对齐效果。具体地,由于在基于预设的分割方案对第一人脸图像进行分割时,已经标注好了各个人脸图像的位置,因而,此处可以基于上述各个人脸图像区域的位置标注,将对应的各个输出结果逆向组合起来。例如,标注为(1,1)的人脸图像区域所得到的输出结果,在进行重组时,仍位于第二人脸图像的第一排第一列;标注为(1,2)的人脸图像区域所得到的输出结果,在进行重组时,仍位于第二人脸图像的第一排第二列;以此类对,基于与输出结果相关联的人脸图像区域的位置标注,对各个输出结果进行映射及重组,以得到第二人脸图像。
步骤106,将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
在本申请实施例中,上述识别网络可以采用ResNet-34作为其基本骨架,或者,也可以采用其它网络结构作为其基本骨架,此处不作限定。最终在得到人脸识别结果时,可以将上述人脸识别结果显示在上述电子设备的屏幕上,或者将上述第一人脸图像与上述人脸识别结果关联起来并存储于数据库中,此处不作限定。
下面对本申请实施例提供的一种人脸识别方法中,对齐网络及识别网络的训练过程进行描述,请参阅图2,上述训练过程包括:
步骤201,基于待训练的对齐网络的损失及待训练的识别网络的损失构建目标损失函数;
在本申请实施例中,上述对齐网络与识别网络是同时进行训练的,而并非单独进行训练的,因而,需要构建待训练的对齐网络的损失及待训练的识别网络的目标损失函数。本申请实施例中,将对齐网络的损失及识别网络的损失的总和作为目标损失函数,基于该目标损失函数对上述对齐网络及识别网络进行联合优化;具体地,识别网络的损失采用Softmax Loss、Center Loss或者其他常用的识别网络的损失;对齐网络的损失采用多区域STN的区域边界的平滑项损失,也即变换后各个人脸图像区域相邻角点像素坐标之间的欧式距离。将这两个网络的损失加起来作为目标损失函数,实现联合优化。具体地,多区域STN的区域边界平滑项损失为:
Figure BDA0002235437960000091
通过上式计算对齐网络的损失,其中,P代表各人脸图像区域角点的集合;u为对齐网络的输入,也即人脸图像区域;v为对应的对齐网络的输出结果。进一步地,平滑项系数可以被设定为0.01。而针对识别网络,其所采用的Softmax Loss或Center Loss为传统的做法,例如,可以将Softmax Loss系数设定为1,将Center Loss系数设定为0.008,以此来计算识别网络的损失。
步骤202,初始化待训练的对齐网络及待训练的识别网络的各项参数;
在本申请实施例中,在训练开始前,还需要对对齐网络及识别网络的各项参数进行初始化。具体地,针对对齐网络,其可以采用STN作为对齐网络的基本骨架,并采用PReLu作为激活函数;针对识别网络,可以将其初始学习率设置为0.01-0.03;则相应地,对齐网络的初始学习率可以被设置为识别网络的初始学习率的0.001~0.003倍,以避免出现因训练不稳定而导致目标损失函数的结果出现非数(Not a Number,NaN)的情况。
步骤203,随机获取第三人脸图像,并对上述第三人脸图像进行预处理;
在本申请实施例中,可以将从msra和asian celebrity等公开数据集中所随机抽取的样本作为上述第三人脸图像。具体地,上述对第三人脸图像进行预处理的过程与步骤102相似,只是对象由步骤102中的第一人脸图像更换为了本步骤中的第三人脸图像,此处不作赘述。
步骤204,基于预设的分割方案,将预处理后的上述第三人脸图像分割为N*N个待训练人脸图像区域;
在本申请实施例中,上述对预处理后的上述第三人脸图像进行分割的过程与步骤103相似,只是对象由步骤103中的预处理后的第一人脸图像更换为了本步骤中的预处理后的第三人脸图像,此处不作赘述。
步骤205,分别将各个待训练人脸图像区域输入至待训练的对齐网络中,每一待训练人脸图像区域对应得到一个训练结果,以得到N*N个训练结果;
在本申请实施例中,所采用的基于STN的对齐网络与传统的STN的区别主要在于,传统STN仅输出一组3*3参数来控制整个图像的变换(比如旋转,平移,仿射变换等);而本申请实施例中,是将图像(例如训练过程中的第三人脸图像及应用过程中的第一人脸图像)分割为了N*N个区域,因而对齐网络输出的是N*N组3x3参数,每组参数只控制对应区域的变换,例如,第二行第三列的待训练人脸图像区域对应第二行第三列的3*3变换参数,此变换参数只会作用于对应区域的图像,对其它区域的图像没有任何影响。通过控制对齐网络输出层的神经元个数,使得与传统STN网络采用3*3(对应于投影变换)或者2*3(对应于仿射变换)个参数相比,本申请实施例中的的对齐网络所采用的STN将采用N*N组3*3个投影变换的参数,并基于上述N*N组3*3个投影变换的参数,得到N*N个训练结果。
步骤206,基于上述分割方案,对上述N*N个训练结果进行重组,得到第四人脸图像;
在本申请实施例中,上述对训练结果进行重组的过程与步骤105相似,只是对象由步骤105中的输出结果更换为了本步骤中的训练结果,此处不作赘述。
步骤207,将上述第四人脸图像输入至待训练的识别网络中;
步骤208,根据上述目标损失函数对上述对待训练的对齐网络及上述待训练的识别网络进行联合优化,直至上述训练完成。
在本申请实施例中,在将上述第四人脸图像输入至待训练的识别网络中,得到识别网络的训练结果之后,即可基于上述步骤201中所构建的目标损失函数对上述对待训练的对齐网络及上述待训练的识别网络进行联合优化,具体地,其联合优化的过程为:当上述目标损失函数所输出的损失值达到收敛状态(也即不再下降)时,对上述待训练的识别网络的各项参数进行随机初始化,并保留当前上述待训练的对齐网络的各项参数,之后,再返回执行步骤203及后续步骤,直至上述目标损失函数所输出的损失值再次达到收敛状态时,即可认为完成对上述对齐网络及上述识别网络的训练。这样一来,可以避免出现因为对齐网络和识别网络的结构复杂度差异所导致的识别网络陷入局部最优的情况。
由上可见,通过本申请实施例,一方面,在进行对齐时,是将人脸图像拆分为多个小区域后,针对各个小区域分别通过对齐网络的对应变换参数进行对齐,不再需要通过人脸关键点对人脸图像进行对齐,可以避免由于对所有人脸图片使用同一人脸形状进行对齐而造成的人脸形变,损失人脸的特定形状信息;另一方面,在对对齐网络及识别网络进行训练时,由于对齐网络和识别网络是端到端同时训练的,在训练的过程中所涉及到的各个网络的损失是同时优化的,每次反向传播都会把对齐网络和识别网络的参数一起更新,可避免识别网络陷入局部最优。基于此,本申请通过对齐网络及识别网络实现人脸识别的方案可以避免损失人脸的特定形状信息,以实现更加准确的人脸身份的预测。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例二
本申请实施例二提供了一种人脸识别装置,上述人脸识别装置可集成于电子设备中,如图3所示,本申请实施例中的测试装置300包括:
获取单元301,用于获取第一人脸图像;
预处理单元302,用于对上述第一人脸图像进行预处理;
分割单元303,用于基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
对齐单元304,用于分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
重组单元305,用于基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
识别单元306,用于将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
可选地,上述获取单元301,包括:
待检测图像获取子单元,用于通过摄像头或互联网获取待检测图像;
人脸检测子单元,用于基于预设的多任务卷积神经网络,对上述待检测图像进行人脸检测;
第一人脸图像确定子单元,用于若检测到上述待检测图像包括人脸图像,则将上述待检测图像确定为第一人脸图像。
可选地,上述预处理单元302包括:
放大子单元,用于以预设的放大倍数,放大上述第一人脸图像;
裁剪子单元,用于对放大后的上述第一人脸图像进行剪裁,保留上述第一人脸图像中的人脸框;
增强子单元,用于将上述人脸框进行随机水平翻转后,对上述人脸框进行预设的增强处理。
可选地,上述预设的增强处理包括:亮度增强和/或对比度增强;相应地,上述增强子单元包括:
亮度增强子单元,用于在[max(0,1-brightness),1+brightness]的范围内,随机设定目标亮度系数,其中,上述brightness为预设的第一数值,基于上述目标亮度系数,增强上述人脸框中各个像素点的亮度;
对比度增强子单元,用于在[max(0,1-contrast),1+contrast]的范围内,随机设定目标对比度系数,其中,上述contrast为预设的第二数值,基于上述目标对比度系数,增强上述人脸框的对比度。
可选地,上述对齐单元304包括:
参数对应子单元,用于每一人脸图像区域在上述对齐网络中分别对应一组变换参数;
投影变换子单元,用于针对任一人脸图像区域,基于对应的变换参数对上述人脸图像区域进行投影变换;
对齐输出子单元,用于输出投影变换后的N*N个人脸图像区域。
可选地,上述人脸识别装置还包括训练单元,用于对上述对齐网络及上述识别网络的训练;其中,上述训练单元包括:
损失函数构建子单元,用于基于待训练的对齐网络的损失及待训练的识别网络的损失构建目标损失函数;
初始化子单元,用于初始化待训练的对齐网络及待训练的识别网络的各项参数;
训练图像预处理子单元,用于随机获取第三人脸图像,并对上述第三人脸图像进行预处理;
训练图像分割子单元,用于基于预设的分割方案,将预处理后的上述第三人脸图像分割为N*N个待训练人脸图像区域;
对齐训练结果输出子单元,用于分别将各个待训练人脸图像区域输入至待训练的对齐网络中,每一待训练人脸图像区域对应得到一个训练结果,以得到N*N个训练结果;
训练结果重组子单元,用于基于上述分割方案,对上述N*N个训练结果进行重组,得到第四人脸图像;
训练结果识别子单元,用于将上述第四人脸图像输入至待训练的识别网络中;
网络优化子单元,用于根据上述目标损失函数对上述对待训练的对齐网络及上述待训练的识别网络进行联合优化,直至上述训练完成。
可选地,网络优化子单元,具体用于当上述目标损失函数所输出的损失值达到收敛状态时,对上述待训练的识别网络的各项参数进行随机初始化,并保留当前上述待训练的对齐网络的各项参数,随后触发上述训练图像预处理子单元及后续其它子单元,直至上述目标损失函数所输出的损失值再次达到收敛状态时,完成对上述对齐网络及上述识别网络的训练。
由上可见,通过本申请实施例,一方面,在进行对齐时,是将人脸图像拆分为多个小区域后,针对各个小区域分别通过对齐网络的对应变换参数进行对齐,不再需要通过人脸关键点对人脸图像进行对齐,可以避免由于对所有人脸图片使用同一人脸形状进行对齐而造成的人脸形变,损失人脸的特定形状信息;另一方面,在对对齐网络及识别网络进行训练时,由于对齐网络和识别网络是端到端同时训练的,在训练的过程中所涉及到的各个网络的损失是同时优化的,每次反向传播都会把对齐网络和识别网络的参数一起更新,可避免识别网络陷入局部最优。基于此,本申请通过对齐网络及识别网络实现人脸识别的方案可以避免损失人脸的特定形状信息,以实现更加准确的人脸身份的预测。
实施例三
本申请实施例三提供了一种电子设备,请参阅图4,本申请实施例中的电子设备4包括:存储器401,一个或多个处理器402(图4中仅示出一个)及存储在存储器401上并可在处理器上运行的计算机程序。其中:存储器401用于存储软件程序以及模块,处理器402通过运行存储在存储器401的软件程序以及单元,从而执行各种功能应用以及数据处理,以获取上述预设事件对应的资源。具体地,处理器402通过运行存储在存储器401的上述计算机程序时实现以下步骤:
获取第一人脸图像;
对上述第一人脸图像进行预处理;
基于预设的分割方案,将预处理后的上述第一人脸图像分割为N*N个人脸图像区域;
分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
基于上述分割方案,对上述N*N个输出结果进行重组,得到第二人脸图像;
将上述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,上述获取第一人脸图像,包括:
通过摄像头或互联网获取待检测图像;
基于预设的多任务卷积神经网络,对上述待检测图像进行人脸检测;
若检测到上述待检测图像包括人脸图像,则将上述待检测图像确定为第一人脸图像。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,上述对上述第一人脸图像进行预处理,包括:
以预设的放大倍数,放大上述第一人脸图像;
对放大后的上述第一人脸图像进行剪裁,保留上述第一人脸图像中的人脸框;
将上述人脸框进行随机水平翻转后,对上述人脸框进行预设的增强处理。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,上述预设的增强处理包括:亮度增强和/或对比度增强;其中,上述亮度增强包括:
在[max(0,1-brightness),1+brightness]的范围内,随机设定目标亮度系数,其中,上述brightness为预设的第一数值;
基于上述目标亮度系数,增强上述人脸框中各个像素点的亮度;
上述对比度增强包括:
在[max(0,1-contrast),1+contrast]的范围内,随机设定目标对比度系数,其中,上述contrast为预设的第二数值;
基于上述目标对比度系数,增强上述人脸框的对比度。
在上述第一种可能的实施方式作为基础而提供的第五种可能的实施方式中,上述分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果,包括:
每一人脸图像区域在上述对齐网络中分别对应一组变换参数;
针对任一人脸图像区域,基于对应的变换参数对上述人脸图像区域进行投影变换;
输出投影变换后的N*N个人脸图像区域。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础,或者上述第四种可能的实施方式作为基础,或者上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中,上述人脸识别方法还包括对上述对齐网络及上述识别网络的训练,上述训练的过程包括:
基于待训练的对齐网络的损失及待训练的识别网络的损失构建目标损失函数;
初始化待训练的对齐网络及待训练的识别网络的各项参数;
随机获取第三人脸图像,并对上述第三人脸图像进行预处理;
基于预设的分割方案,将预处理后的上述第三人脸图像分割为N*N个待训练人脸图像区域;
分别将各个待训练人脸图像区域输入至待训练的对齐网络中,每一待训练人脸图像区域对应得到一个训练结果,以得到N*N个训练结果;
基于上述分割方案,对上述N*N个训练结果进行重组,得到第四人脸图像;
将上述第四人脸图像输入至待训练的识别网络中;
根据上述目标损失函数对上述对待训练的对齐网络及上述待训练的识别网络进行联合优化,直至上述训练完成。
在上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中,上述根据上述目标损失函数对上述对待训练的对齐网络及上述待训练的识别网络进行联合优化,直至上述训练完成,包括:
当上述目标损失函数所输出的损失值达到收敛状态时,对上述待训练的识别网络的各项参数进行随机初始化,并保留当前上述待训练的对齐网络的各项参数;
返回执行上述随机获取第三人脸图像,并对上述第三人脸图像进行预处理的步骤及后续步骤,直至上述目标损失函数所输出的损失值再次达到收敛状态时,完成对上述对齐网络及上述识别网络的训练。
应当理解,在本申请实施例中,所称处理器402可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器401可以包括只读存储器和随机存取存储器,并向处理器402提供指令和数据。存储器401的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器401还可以存储设备类型的信息。
由上可见,通过本申请实施例,一方面,在进行对齐时,是将人脸图像拆分为多个小区域后,针对各个小区域分别通过对齐网络的对应变换参数进行对齐,不再需要通过人脸关键点对人脸图像进行对齐,可以避免由于对所有人脸图片使用同一人脸形状进行对齐而造成的人脸形变,损失人脸的特定形状信息;另一方面,在对对齐网络及识别网络进行训练时,由于对齐网络和识别网络是端到端同时训练的,在训练的过程中所涉及到的各个网络的损失是同时优化的,每次反向传播都会把对齐网络和识别网络的参数一起更新,可避免识别网络陷入局部最优。基于此,本申请通过对齐网络及识别网络实现人脸识别的方案可以避免损失人脸的特定形状信息,以实现更加准确的人脸身份的预测。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种人脸识别方法,其特征在于,包括:
获取第一人脸图像,对所述第一人脸图像进行预处理;
基于预设的分割方案,将预处理后的所述第一人脸图像分割为N*N个人脸图像区域;
分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
基于所述分割方案,对所述N*N个输出结果进行重组,得到第二人脸图像;
将所述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
2.如权利要求1所述的人脸识别方法,其特征在于,所述获取第一人脸图像,包括:
通过摄像头或互联网获取待检测图像;
基于预设的多任务卷积神经网络,对所述待检测图像进行人脸检测;
若检测到所述待检测图像包括人脸图像,则将所述待检测图像确定为第一人脸图像。
3.如权利要求1所述的人脸识别方法,其特征在于,所述对所述第一人脸图像进行预处理,包括:
以预设的放大倍数,放大所述第一人脸图像;
对放大后的所述第一人脸图像进行剪裁,保留所述第一人脸图像中的人脸框;
将所述人脸框进行随机水平翻转后,对所述人脸框进行预设的增强处理。
4.如权利要求3所述的人脸识别方法,其特征在于,所述预设的增强处理包括:亮度增强和/或对比度增强;其中,所述亮度增强包括:
在[max(0,1-brightness),1+brightness]的范围内,随机设定目标亮度系数,其中,所述brightness为预设的第一数值;
基于所述目标亮度系数,增强所述人脸框中各个像素点的亮度;
所述对比度增强包括:
在[max(0,1-contrast),1+contrast]的范围内,随机设定目标对比度系数,其中,所述contrast为预设的第二数值;
基于所述目标对比度系数,增强所述人脸框的对比度。
5.如权利要求1所述的人脸识别方法,其特征在于,所述分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果,包括:
每一人脸图像区域在所述对齐网络中分别对应一组变换参数;
针对任一人脸图像区域,基于对应的变换参数对所述人脸图像区域进行投影变换;
输出投影变换后的N*N个人脸图像区域。
6.如权利要求1至5任一项所述的人脸识别方法,其特征在于,所述人脸识别方法还包括对所述对齐网络及所述识别网络的训练,所述训练的过程包括:
基于待训练的对齐网络的损失及待训练的识别网络的损失构建目标损失函数;
初始化待训练的对齐网络及待训练的识别网络的各项参数;
随机获取第三人脸图像,并对所述第三人脸图像进行预处理;
基于预设的分割方案,将预处理后的所述第三人脸图像分割为N*N个待训练人脸图像区域;
分别将各个待训练人脸图像区域输入至待训练的对齐网络中,每一待训练人脸图像区域对应得到一个训练结果,以得到N*N个训练结果;
基于所述分割方案,对所述N*N个训练结果进行重组,得到第四人脸图像;
将所述第四人脸图像输入至待训练的识别网络中;
根据所述目标损失函数对所述对待训练的对齐网络及所述待训练的识别网络进行联合优化,直至所述训练完成。
7.如权利要求6所述的人脸识别方法,其特征在于,所述根据所述目标损失函数对所述对待训练的对齐网络及所述待训练的识别网络进行联合优化,直至所述训练完成,包括:
当所述目标损失函数所输出的损失值达到收敛状态时,对所述待训练的识别网络的各项参数进行随机初始化,并保留当前所述待训练的对齐网络的各项参数;
返回执行所述随机获取第三人脸图像,并对所述第三人脸图像进行预处理的步骤及后续步骤,直至所述目标损失函数所输出的损失值再次达到收敛状态时,完成对所述对齐网络及所述识别网络的训练。
8.一种人脸识别装置,其特征在于,包括:
获取单元,用于获取第一人脸图像;
预处理单元,用于对所述第一人脸图像进行预处理;
分割单元,用于基于预设的分割方案,将预处理后的所述第一人脸图像分割为N*N个人脸图像区域;
对齐单元,用于分别将各个人脸图像区域输入至训练好的对齐网络中,每一人脸图像区域对应得到一个输出结果,以得到N*N个输出结果;
重组单元,用于基于所述分割方案,对所述N*N个输出结果进行重组,得到第二人脸图像;
识别单元,用于将所述第二人脸图像输入至训练好的识别网络中,得到人脸识别结果。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201910981826.3A 2019-10-16 2019-10-16 一种人脸识别方法、人脸识别装置及电子设备 Active CN110837781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910981826.3A CN110837781B (zh) 2019-10-16 2019-10-16 一种人脸识别方法、人脸识别装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910981826.3A CN110837781B (zh) 2019-10-16 2019-10-16 一种人脸识别方法、人脸识别装置及电子设备

Publications (2)

Publication Number Publication Date
CN110837781A true CN110837781A (zh) 2020-02-25
CN110837781B CN110837781B (zh) 2024-03-15

Family

ID=69575250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910981826.3A Active CN110837781B (zh) 2019-10-16 2019-10-16 一种人脸识别方法、人脸识别装置及电子设备

Country Status (1)

Country Link
CN (1) CN110837781B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582141A (zh) * 2020-04-30 2020-08-25 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN112004006A (zh) * 2020-08-13 2020-11-27 青岛海信移动通信技术股份有限公司 移动医疗终端及其亮度调整方法
CN112348783A (zh) * 2020-10-27 2021-02-09 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN110032912A (zh) * 2018-01-11 2019-07-19 富士通株式会社 人脸验证方法和装置及计算机存储介质
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032912A (zh) * 2018-01-11 2019-07-19 富士通株式会社 人脸验证方法和装置及计算机存储介质
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIUJUAN CHAI ET AL: "Local Linear Regression(LLR)for Pose Invariant Face Recognition", IEEE, vol. 16, no. 7, pages 1716 - 1725 *
范雪等: "基于深度学习的人脸图像扭正算法", 信息通信, no. 07 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582141A (zh) * 2020-04-30 2020-08-25 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN111582141B (zh) * 2020-04-30 2023-05-09 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN112004006A (zh) * 2020-08-13 2020-11-27 青岛海信移动通信技术股份有限公司 移动医疗终端及其亮度调整方法
CN112348783A (zh) * 2020-10-27 2021-02-09 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质
CN112348783B (zh) * 2020-10-27 2022-08-05 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110837781B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP6599421B2 (ja) バイオメトリック認証のための特徴抽出およびマッチングおよびテンプレート更新
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN110837781A (zh) 一种人脸识别方法、人脸识别装置及电子设备
CN110147708B (zh) 一种图像数据处理方法和相关装置
CN111753782B (zh) 一种基于双流网络的假脸检测方法、装置及电子设备
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN109190617B (zh) 一种图像的矩形检测方法、装置及存储介质
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
CN112528866A (zh) 跨模态人脸识别方法、装置、设备及存储介质
JP4993615B2 (ja) 画像認識方法および装置
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN109447942A (zh) 图像模糊度确定方法、装置、计算机设备及存储介质
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
CN111833285A (zh) 图像处理方法、图像处理装置及终端设备
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN111222446A (zh) 人脸识别方法、人脸识别装置及移动终端
US8515169B2 (en) Apparatus and method for removing red-eye in a two-dimensional (2D) image
CN112308044B (zh) 针对掌静脉图像的图像增强处理方法和掌静脉识别方法
CN115731591A (zh) 一种化妆进度检测方法、装置、设备及存储介质
KR20220062595A (ko) 사용자의 생체 특성을 갖는 사용자의 객체 이미지로부터 데이터를 획득하는 방법(A method for obtaining data from an image of an object of a user that has a biometric characteristic of the user)
CN113642428B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113837020B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant