CN110569756B - 人脸识别模型构建方法、识别方法、设备和存储介质 - Google Patents

人脸识别模型构建方法、识别方法、设备和存储介质 Download PDF

Info

Publication number
CN110569756B
CN110569756B CN201910791635.0A CN201910791635A CN110569756B CN 110569756 B CN110569756 B CN 110569756B CN 201910791635 A CN201910791635 A CN 201910791635A CN 110569756 B CN110569756 B CN 110569756B
Authority
CN
China
Prior art keywords
block
face
face recognition
image
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910791635.0A
Other languages
English (en)
Other versions
CN110569756A (zh
Inventor
龙敏
袁慧洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201910791635.0A priority Critical patent/CN110569756B/zh
Publication of CN110569756A publication Critical patent/CN110569756A/zh
Application granted granted Critical
Publication of CN110569756B publication Critical patent/CN110569756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种人脸识别模型构建方法、识别方法、设备和存储介质，包括对人脸图片预处理，提取预处理后人脸图片的左眼、右眼、鼻子、嘴巴四个局部区域进行人脸分块，基于分块结果对数据进行扩增，并考虑1/2，1/4两种情况的遮挡分别进行数据扩增，最后用扩增后的数据训练深度学习神经网络，构建训练特征数据集，从而实现基于特征匹配的人脸识别。该方法对遮挡人脸的识别效果好，不需要大量的遮挡样本，且占用内存小。

Description

人脸识别模型构建方法、识别方法、设备和存储介质
技术领域
本申请涉及人脸识别技术领域，具体涉及一种人脸识别模型构建方法、识别方法、设备和存储介质。
背景技术
人脸识别利用已有的人脸图像数据库对未知身份的人脸图像进行身份验证，是人工智能和图像信息处理领域的一项重要生物识别技术。人脸识别相较于当前的主流生物识别技术如指纹识别、虹膜识别、声音识别等，具有非入侵性、隐蔽性好、用户接受度高等优势，并且人脸的生物特征具有唯一性和不易被复制性。因此人脸识别技术深受社会各界欢迎，被广泛应用在教育、医疗、军队、金融、司法、工厂等各种领域。
目前常见的人脸识别算法主要有两类：一类是经典的人脸识别算法，主要有主成分分析法、局部梯度直方图、Gabor小波变换、HOG特征法等，另一类是基于神经网络的人脸识别，主要有CNN(卷积神经网络)、深度信念网络等。经典的人脸识别算法在自然环境中识别率并不理想，无法满足绝大多数实际场景的实时性要求，而基于神经网络的人脸识别算法通过训练神经网络，逐步提高神经网络对人脸的辨识能力，识别率相对较高，能较好的解决实际场景中人脸识别的鲁棒性问题。但在实际应用中还需要应对光照、角度、遮挡等问题，特别是遮挡问题。在实际的案例中，犯罪分子往往采取帽子、眼镜、口罩、围巾等遮挡物，这些遮挡物会遮挡住人脸的一部分，直接影响人脸特征的提取，造成人脸特征的局部有效信息缺失，还会增加一些无用信息，增加人脸识别的难度。
对于人脸图像中遮挡的处理，主要为局部匹配方法和人脸重建法。局部匹配法是主要思想是对分块后的图像子块进行局部匹配，再综合各子块的匹配结果进行最终分类与识别，但由于遮挡会造成正常人脸的局部特征缺失，还会被一些无关数据取代，从而给识别带来了极大的难度。当人脸遮挡面积达到1/3时，使用稀疏表示的识别算法将有很大的概率得到错误的识别结果。而在实际条件下，人脸被遮挡是一种很常见的情况，因而提高遮挡人脸的识别效果势在必行。若能对遮挡人脸的识别也达到现阶段正常人脸识别的识别率，这将为现阶段及未来广泛应用的安全可靠的身份认证创造条件，为自动识别系统在实际应用场景下的推广与应用提供保障，具有极大的实用性。
发明内容
在实际生活中，人脸的遮挡物是不规则的，易造成特征损失、对准误差和局部混叠等问题，无法有效地被基于特征的传统遮挡人脸识别方法适当地处理，导致传统的人脸识别方法在非受控环境下的识别遮挡人脸效果不如深度学习的效果。现有的使用深度学习处理遮挡人脸的方法，需要大量的被遮挡人脸的数据样本，大部分的遮挡人脸识别只能处理特定物品的遮挡，比如：头发，围巾，墨镜，口罩等，且深度学习的网络层数太深，需要消耗大量的计算资源。为解决上述问题，本申请实施例提供了一种人脸识别模型构建方法、识别方法、设备和存储介质，解决人脸特征在遮挡环境下的鲁棒性问题，并减少所需样本量和内存消耗。
本申请解决其技术问题采用的技术方案如下：
一方面，提供一种人脸识别模型构建方法，包括步骤：
对输入的无遮挡的人脸图像进行预处理；
对预处理后的人脸图像进行切分，得到对应于左眼、右眼、鼻子、嘴巴四个区块的一组分块数据图像；
对所述一组分块数据图像进行扩增，形成多组未遮挡分块数据图像；
对每一组未遮挡分块数据图像，将其中一个区块图像的像素值赋值为0，其余区块图像进行扩增，形成多组1/4遮挡分块数据图像；对每一组未遮挡分块数据图像，将其中两个区块图像的像素值赋值为0，其余区块图像进行扩增，形成多组1/2遮挡分块数据图像；
将每一组未遮挡分块数据图像分别输入多视图lightCNN中提取特征，所有未遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的未遮挡特征，同样的，利用所述人脸图像的每一组1/4遮挡分块数据图像提取特征，所有1/4遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的1/4遮挡特征，利用所述人脸图像的每一组1/2遮挡分块数据图像提取特征，所有1/2遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的1/2遮挡特征，得到所述人脸图像的训练特征；提取不同人脸图像的训练特征，构建训练特征数据集；
其中，所述多视图lightCNN以lightCNN为基础，将其中的输入层替换为由一个卷积层和一个Relu激活函数构成的多视图权重层，其中所述卷积层由四个卷积核构成。
优选的，对预处理后的图像进行切分，包括：
分别对预处理后的人脸图像进行5点人脸对齐操作以及68点关键点检测，检测出对应于左眼、右眼、鼻子、嘴巴四个区块的5个第一关键点和68个第二关键点；
根据所述第一关键点和第二关键点的位置对每一区块进行关键点校准；
根据校准后的关键点信息对人脸图像进行切分。
更优选的，所述根据所述第一关键点和第二关键点的位置对每一区块进行关键点校准，包括：
先检测每一区块的所有所述第二关键点的坐标值，其中x坐标的最小值和最大值、y坐标的最小值和最大值依次记为xmin,xmax,ymin,ymax，确保每一区块的所述第一关键点均位于根据该区块的所述第二关键点确定的以((xmin,ymin)，(xmax,ymax))为对角线的矩形框内，否则重新进行关键点检测和/或进行人工校准。
优选的，对预处理后的人脸图像进行切分时，其中的左眼区块包括左眉，右眼区块包括右眉。
优选的，对区块图像进行扩增的方法，包括图像翻转、平移变换、尺度变换、对比度变换、噪声扰动中的至少一种。
优选的，每一组未遮挡分块数据图像、每一组1/4遮挡分块数据图像或每一组1/2遮挡分块数据图像在输入所述多视图lightCNN前，以其中尺寸最大的区块图像为基准，将其余的区块图像周围填0，使该组所有的区块图像尺寸相同。
另一方面，提供一种人脸识别方法，应用于上述方面所述的方法所构建的人脸识别模型中，该方法包括：
获取待识别的人脸图像，输入训练好的所述人脸识别模型中，将提取的特征与模型中多视图lightCNN的训练特征数据集的特征进行匹配，输出识别结果。
优选的，所述将提取的特征与所述人脸识别模型的训练特征数据集进行匹配，包括：计算所提取的特征与所述训练特征数据集的特征的欧式距离，分别以未遮挡、1/2遮挡、1/4遮挡为索引选出距离最小的一组，若一组结果同属于一组样本，则输出识别结果。
另一方面，提供一种人脸识别模型构建设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的至少一个存储器；
所述至少一个存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述方面所述的人脸识别模型构建方法。
另一方面，提供一种人脸识别设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的至少一个存储器；
所述至少一个存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述方面所述的人脸识别方法。
另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理执行时，实现如上述方面所述的人脸识别模型构建方法，或，如上述方面所述的人脸识别方法。
本申请的一种或多种实施方式至少具有以下有益效果：
(1)利用多视图lightCNN网络对人脸特征显著的五官分别进行特征提取，并加入多视图权重层，对遮挡部分较多的五官的权重进行惩罚，反之提高遮挡人脸中没有被遮挡部分的特征利用率，能更好地处理分块后的人脸图像。
(2)根据输入的人脸图片构造不同遮挡程度的训练数据，并进行扩增，不需要大量的遮挡样本，适用于数据样本较小的情况。
(3)同一图像的同一类分块数据图像的特征相加然后取平均值，减少了训练特征数据集的特征数量，降低了构建数据的内存消耗。
附图说明
图1是本申请一个实施例提供的人脸识别模型构建方法和人脸识别方法的流程图；
图2显示了具体实施例校准后的第一和第二关键点信息以及根据该信息对人脸进行切分的状态图；
图3显示了具体实施例以一张人脸图像构建多组1/4遮挡分块数据图像的流程图；
图4是本申请一个实施例的设备框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的一种人脸识别模型构建方法的流程图，该方法可以包括以下几个步骤：
步骤11：获得无遮挡的人脸图像。
步骤12：对人脸图像进行预处理，预处理方式包括但不限于图片尺寸归一化、光照归一化、按深度学习网络需求进行灰度图转化等，比如，为防止人脸数据库中图像像素大小不一，将图片的大小归一化，然后对人脸图像做直方图均衡进行光照归一化，使用opencv直接将归一化后的人脸图像读取为灰度图等。
步骤13：对预处理后的图像进行关键点检测，包括：
a)使用多任务检测卷积神经网络(MTCNN)对图像进行5点人脸对齐操作，并检测到人脸的5个第一关键点，分别为1个左眼中心点，1个右眼中心点，1个鼻子中心点，左边和右边嘴角各一个关键点，标记其位置，分别是左眼(xleye,yleye)、右眼(xreye,yreye)、鼻尖(xnose,ynose)、左嘴角(xlmouth,ylmouth)、右嘴角(xrmouth,yrmouth)，如图2所示。5点人脸对齐可以将不同角度的人脸调整为统一角度。
b)使用dlib库进行68点关键点检测，得到68个第二关键点。面部68点信息为：面部轮廓17点，左眉5点，右眉5点，左眼6点，右眼6点，鼻梁4点，鼻翼5点，嘴部轮廓20点，68点标注更能反映出五官的具体轮廓信息。图2示出了除面部轮廓17点以外的51个第二关键点，即图中标号1到51的点。
步骤14：根据第一关键点和第二关键点的位置对每一区块进行关键点校准，根据校准后的关键点信息对人脸图像进行切分，得到对应于左眼、右眼、鼻子、嘴巴四个区块的一组分块数据图像。
以左眼区块为例进行说明。从左眉的5个第二关键点和左眼的6个第二关键点中找出x坐标的最小值和最大值、y坐标的最小值和最大值，依次记为xleye_min,xleye_max,yleye_min,yleye_max。然后检测MTCNN检测的左眼中心点是否在点(xleye_min,yleye_min)，(xleye_min,yleye_max)，(xleye_max,yleye_min)，(xleye_max,yleye_max)所围成的矩形框内(即满足：xleye_min≤xleye≤xleye_max且yleye_min≤yleye≤yleye_max)，若满足条件则进行后续操作，否则重新进行关键点检测和人工校准。按类似的方法对右眼，鼻子，嘴巴区块进行关键点校准，从而防止因关键点检测失误而使得人脸分块不准确。而传统的人脸图像切分都是以检测出的关键点为中心，进行固定的切割分块，很容易因关键点检测失误而造成的分块错误。
根据校准后的关键点信息对人脸进行切分，设每一区块的所有第二关键点的x坐标的最小值和最大值、y坐标的最小值和最大值依次为xmin,xmax,ymin,ymax，则每一区块的裁剪区域为根据该区块的第二关键点确定的以((xmin,ymin)，(xmax,ymax))为对角线的矩形框。为便于区分，上文将左眼第二关键点中x、y坐标的最小值和最大值依次记为xleye_min,xleye_max,yleye_min,yleye_max，类似的，对于右眼、鼻子、嘴巴，分别对应记为(xreye_min,xreye_max,yreye_min,yreye_max)、(xnose_min,xnose_max,ynose_min,ynose_max)、(xmouth_min,xmouth_max,ymouth_min,ymouth_max)，由此裁剪出如下的四块区域：
左眼区块：((xleye_min,yleye_min)，(xleye_max,yleye_max))
右眼区块：((xreye_min,yreye_min)，(xreye_max,yreye_max))
鼻子区块：((xnose_min,ynose_min)，(xnose_max,ynose_max))
嘴巴区块：((xmouth_min,ymouth_min)，(xmouth_max,ymouth_max))。
请参考图2，在对左眼区块进行切分时，基于点1到点5、点20到点25，选择这些点中x,y轴中的最大值和最小值，然后划分出图2中的两个点(xleye_min,yleye_min)，(xleye_max,yleye_max)，以其为对角线划分的黑色虚线矩形框作为左眼区块，左眼中心点(xleye,yleye)位于该矩形框内。将眉毛的特征也考虑进去，能提取更加丰富的局部特征，提高识别的准确率。
步骤15：构建未遮挡分块数据图像：将所得的分块数据图像的每一个区块图像分别扩增成多个区块图像，形成多组未遮挡分块数据图像。数据扩增的方法有很多种，常见的方法有：(1)图像翻转(flip)：沿着水平或者垂直方向翻转图像，这样可以使得训练出来的模型可以识别不同角度的人脸；(2)平移变换(shift)：在图像平面上对图像以一定方式进行平移可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；(3)尺度变换(scale)，也就是模糊化，对图像按照指定的尺度因子，进行放大或缩小；或者参照尺度不变特征变换(SIFT)的提取思想，利用指定的尺度因子对图像滤波构造尺度空间，改变图像内容的大小或模糊程度；(4)对比度变换(contrast)，即亮度调节，在图像的HSV颜色空间，改变饱和度S和亮度V分量，保持色调H不变，对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，增加光照变化；(5)噪声扰动(noise)：也就是加噪声，对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。
本实施例将步骤14中得到的四个区块添加高斯模糊、高斯噪声、调节图片亮度，将一个区块扩增成10个区块，形成10组未遮挡分块数据图像，以预防训练后的模型过拟合，在解决小样本的情况下，同时能提高模型的泛化性能，提高鲁棒性。扩增的作用主要是为了增加同一张人脸的训练样本数量，扩增的组数可以根据实际需要灵活选择。
步骤16：构建遮挡分块数据图像。经过步骤15之后，一张人脸便有了10组未遮挡分块数据图像，每组有左眼，右眼，鼻子和嘴巴四个区块的图像。对于每一组未遮挡分块数据图像，考虑1/2，1/4两种情况的遮挡，每种情况分别扩增成10组，最后一张人脸图像的10组未遮挡分块数据图像共扩增出100组1/4遮挡分块数据图像和100组1/2遮挡分块数据图像。具体的，当为1/2遮挡时，从一组未遮挡分块数据图像中随机选取两块，将其像素值赋值为0，其余区块图像进行扩增；为1/4遮挡时，则在该组图像中选取其中一块，将其像素值赋值为0，其余区块图像进行扩增。
图3以一个人脸为例，显示一张人脸图像如何构建1/4遮挡分块数据图像的方法。当然，1/2和1/4遮挡的扩增组数还可以取其他值，二者组数可以相同，也可以不同。
步骤17：基于lightCNN(轻量级卷积神经网络)构建用于提取分块图像特征的多视图lightCNN，lightCNN使用maxout作为激活函数，实现了对噪声的过滤和对有用信号的保留，从而能更好地提取人脸特征，并通过使用卷积层代替全连接层，使得模型参数相比于传统的神经网络更少。本实施例的多视图lightCNN，在分块图像特征提取阶段使用训练好的lightCNN，将其输入层替换成由一个卷积层与一个Relu激活函数构成的多视图权重层，用来做非线性变化。具体的，多视图lightCNN可分为如下6个部分(如表1所示)：
第一部分是多视图权重层，该层由一个卷积层(Convl)和一个Relu激活函数(Relul)组成，输入的特征图大小为128*128*4(图像大小为128*128，通道数为4)，Convl由四个1*1的卷积核构成，每个卷积核分别单独连接四个分块图像，然后将四个块的输出整合成一个特征图，经处理后输出的大小为128*128*4；第二部分由一个卷积层(Conv2)、一个maxout激活函数(MFM2)与一个池化层(Pool2)组成，输入的大小为128*128*4，经过处理之后输出的大小为60*60*48；第三部分由一个卷积层(Conv3)、一个池化层(Pool3)与一个maxout激活函数(MFM3)组成，输入的大小为60*60*48，输出的大小为28*28*96；第四部分由一个卷积层(Conv4)、一个池化层(Pool4)与一个maxout激活函数(MFM4)组成，输入的大小为28*28*96，输出的大小为12*12*128；第五部分由一个卷积层(Conv5)、一个池化层(Pool5)与一个maxout激活函数(MFM5)组成，输入的大小为12*12*128，输出的大小为5*5*192；第六部分为一个全连接层(Fc6)，输出特征为512维。
采用多视图lightCNN提取分块图像特征，参数量较少，不需要大量的计算资源。在训练一组图像数据时(包含左眼，右眼，鼻子，嘴巴四块)，为了使得输入的尺寸相同，选择四块图像中尺寸最大的区块，其他的区块以此为基础，在周围填0，然后将四个区块的大小扩展到128*128。
表1
Figure GDA0003395818570000111
步骤18：用上述的多视图lightCNN网络来提取每一张人脸图像的训练特征(TrainFeature)，构建Train Feature数据集，并同时得到神经网络的权重参数。本实施例中，一张人脸图像被增成了210组(10组未遮挡分块数据图像、100组1/4遮挡分块数据图像、100组1/2遮挡分块数据图像)，每一组有512维特征，当录入数据库的图片较多时会占用非常多的内存。因此根据分块数据图像的类型，将一张人脸图像的同一类特征相加取平均值作为该人脸图像在该类别下的特征。即，将100组1/4遮挡分块数据图像的特征相加，100组1/2遮挡分块数据图像的特征相加，10组未遮挡分块数据图像的特征相加，分别取平均值，得到1/4遮挡特征、1/2遮挡特征、未遮挡特征，即为该人脸图像的训练特征，最后Train Feature数据集中一张人脸图像只包含了3个512维的特征，减少了构建数据的内存消耗。
图1同时示出了以上述方法所构建的人脸识别模型进行人脸识别的实施例，获取待识别的人脸图像后，输入训练好的上述人脸识别模型中，将提取的特征与模型中多视图lightCNN的Train Feature数据集的特征进行匹配，得到人脸识别结果。人脸识别过程为：
步骤21：获得遮挡人脸图像。
步骤22：对遮挡人脸图像进行预处理。
步骤23：对预处理后的遮挡人脸图像进行5点人脸对齐和68点关键点检测。
步骤24：进行关键点校准，据校准后的关键点信息对人脸图像进行切分，得到对应于左眼、右眼、鼻子、嘴巴四个区块的一组分块数据图像。
步骤25：将步骤24得到的分块数据图像输入上述训练好的多视图lightCNN网络中，提取出相应的512维特征，即图1中的Test Feature(测试特征)。
步骤26：将提取的Test Feature与多视图lightCNN的Train Feature数据集的特征进行匹配，输出识别结果。具体的，可以计算Test Feature与Train Feature数据集中特征的欧式距离，然后分别以未遮挡，1/2遮挡，1/4遮挡为索引选出距离最小的一组。若三个索引出的结果都属于同一组样本，则输出识别结果。
上述方法的步骤21-24与前述人脸识别模型构建方法的步骤11-14类似，对于本方法中未披露的细节，请参照本申请人脸识别模型构建方法的实施例的相关内容，未重复论述。
下面使用AR数据集进行有遮挡人脸识别的实验，AR数据集包含126人共3276张人脸图像，每个人26张人脸图像，其中包含了不同的人脸表情，不同光照和遮挡的情况。选取AR训练集中1张戴墨镜、1张带口罩和一张自己添加遮挡作为随机遮挡的图像作为测试集，其他作为训练集。使用训练好的神经网络对有遮挡的人脸进行特征提取，然后识别其身份。将本实施例人脸识别的准确率与现有的NMF(非负矩阵分解)、LNMF(局部非负矩阵分解)、DNMF(判别非负矩阵分解)和MDNMF(流行正则判别非负矩阵分解)方法进行比较，结果如表2所示：
表2
图像类型 NMF LNMF DNMF MDNMF 本实施例
墨镜遮挡 0.61 0.73 0.88 0.62 0.95
口罩遮挡 0.55 0.71 0.83 0.66 0.96
随机遮挡 0.49 0.66 0.78 0.71 0.91
NMF将非负矩阵分解用于人脸人别领域，其实现方法和运行速率高，但是识别效果差。LNMF、DNMF和MDNMF都是NMF的扩展方法，LNMF能得到人脸的局部特征，DNMF能较好地处理遮挡，但上述方法的人脸识别准确率均明显不及本方法。
上述方面所述的人脸识别模型构建方法和人脸识别方法可以在同一设备上实现，如图4所示，该设备可以是计算机或服务器100，包括至少一个处理器101和至少一个存储器102，图4以一个处理器101和一个存储器102为例，在存储器102中存储有软件程序、指令、人脸识别模型以及数据集等信息，处理器101通过运行存储在存储器102中的软件程序、指令、人脸识别模型以及调用数据集中的数据，从而执行前述的人脸识别模型构建方法和人脸识别方法。在一种可能的实施方式中，该设备还包括与计算机或服务器100通信连接的图像采集终端103，用于采集待识别图像，图像采集终端103可以是配置有摄像头的智能手机、平板电脑、个人计算机，或者监控设备等。
本申请一个实施例提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序被一个或多个处理器执行，例如，被图4中的一个处理器101执行，可使得上述一个或多个处理器执行上述方法实施例中的人脸识别模型构建方法，例如，执行以上描述的图1中的方法步骤11至18；或者，执行上述方法实施例中的人脸识别方法，例如，执行以上描述的图1中的方法步骤21至26。
以上实施例是对本申请的解释，但是，本申请并不局限于上述实施方式中的具体细节，本领域的技术人员在本申请的技术构思范围内进行的多种等同替代或简单变型方式，均应属于本申请的保护范围。

Claims (10)

1.一种人脸识别模型构建方法，其特征在于，包括步骤：
对输入的无遮挡的人脸图像进行预处理；
对预处理后的人脸图像进行切分，得到对应于左眼、右眼、鼻子、嘴巴四个区块的一组分块数据图像；
对所述一组分块数据图像进行扩增，形成多组未遮挡分块数据图像；
对每一组未遮挡分块数据图像，将其中一个区块图像的像素值赋值为0，其余区块图像进行扩增，形成多组1/4遮挡分块数据图像；对每一组未遮挡分块数据图像，将其中两个区块图像的像素值赋值为0，其余区块图像进行扩增，形成多组1/2遮挡分块数据图像；
将每一组未遮挡分块数据图像分别输入多视图lightCNN中提取特征，所有未遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的未遮挡特征，同样的，利用所述人脸图像的每一组1/4遮挡分块数据图像提取特征，所有1/4遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的1/4遮挡特征，利用所述人脸图像的每一组1/2遮挡分块数据图像提取特征，所有1/2遮挡分块数据图像的特征相加然后取平均值，作为所述人脸图像的1/2遮挡特征，得到所述人脸图像的训练特征；提取不同人脸图像的训练特征，构建训练特征数据集；
其中，所述多视图lightCNN以lightCNN为基础，将其中的输入层替换为由一个卷积层和一个Relu激活函数构成的多视图权重层，所述卷积层由四个卷积核构成。
2.根据权利要求1所述的人脸识别模型构建方法，其特征在于，所述对预处理后的图像进行切分，包括：
分别对预处理后的人脸图像进行5点人脸对齐操作以及68点关键点检测，检测出对应于左眼、右眼、鼻子、嘴巴四个区块的5个第一关键点和68个第二关键点；
根据所述第一关键点和第二关键点的位置对每一区块进行关键点校准；
根据校准后的关键点信息对人脸图像进行切分。
3.根据权利要求2所述的人脸识别模型构建方法，其特征在于，所述根据所述第一关键点和第二关键点的位置对每一区块进行关键点校准，包括：
先检测每一区块的所有所述第二关键点的坐标值，其中x坐标的最小值和最大值、y坐标的最小值和最大值依次记为xmin,xmax,ymin,ymax，确保每一区块的所述第一关键点均位于根据该区块的所述第二关键点确定的以((xmin,ymin)，(xmax,ymax))为对角线的矩形框内，否则重新进行关键点检测和/或进行人工校准。
4.根据权利要求1-3任一项所述的人脸识别模型构建方法，其特征在于，对预处理后的人脸图像进行切分时，其中的左眼区块包括左眉，右眼区块包括右眉。
5.根据权利要求1所述的人脸识别模型构建方法，其特征在于，对区块图像进行扩增的方法，包括图像翻转、平移变换、尺度变换、对比度变换、噪声扰动中的至少一种。
6.根据权利要求1所述的人脸识别模型构建方法，其特征在于，每一组未遮挡分块数据图像、每一组1/4遮挡分块数据图像或每一组1/2遮挡分块数据图像在输入所述多视图lightCNN前，以其中尺寸最大的区块图像为基准，将其余的区块图像周围填0，使该组所有的区块图像尺寸相同。
7.一种人脸识别方法，其特征在于，包括：
获取待识别的人脸图像，输入训练好的权利要求1-6任一项所述的人脸识别模型中，将提取的特征与模型中多视图lightCNN的训练特征数据集的特征进行匹配，输出识别结果。
8.一种人脸识别模型构建设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的至少一个存储器；
所述至少一个存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任意一项所述的人脸识别模型构建方法。
9.一种人脸识别设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的至少一个存储器；
所述至少一个存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求7所述的人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理执行时，实现如权利要求1-6任意一项所述的人脸识别模型构建方法，或，如权利要求7所述的人脸识别方法。
CN201910791635.0A 2019-08-26 2019-08-26 人脸识别模型构建方法、识别方法、设备和存储介质 Active CN110569756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910791635.0A CN110569756B (zh) 2019-08-26 2019-08-26 人脸识别模型构建方法、识别方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910791635.0A CN110569756B (zh) 2019-08-26 2019-08-26 人脸识别模型构建方法、识别方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110569756A CN110569756A (zh) 2019-12-13
CN110569756B true CN110569756B (zh) 2022-03-22

Family

ID=68776159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910791635.0A Active CN110569756B (zh) 2019-08-26 2019-08-26 人脸识别模型构建方法、识别方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110569756B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126307B (zh) * 2019-12-26 2023-12-12 东南大学 联合稀疏表示神经网络的小样本人脸识别方法
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN111274947B (zh) * 2020-01-19 2023-03-10 广州广电卓识智能科技有限公司 一种多任务多线索人脸识别方法、系统及存储介质
TWI791139B (zh) * 2020-02-10 2023-02-01 嘉藥學校財團法人嘉南藥理大學 圖像辨識方法、程式產品及電腦可讀取媒體
CN111460962B (zh) * 2020-03-27 2023-05-05 武汉大学 一种口罩人脸识别方法及系统
CN113468925B (zh) * 2020-03-31 2024-02-20 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备
CN111680598B (zh) * 2020-05-29 2023-09-12 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN111581412B (zh) * 2020-06-10 2023-11-10 腾讯科技（深圳）有限公司 人脸形状库的构建方法、装置、设备及存储介质
CN111814571A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种基于背景过滤的口罩人脸识别方法及系统
CN111914628B (zh) * 2020-06-19 2023-06-20 北京百度网讯科技有限公司 人脸识别模型的训练方法和装置
CN111814603B (zh) * 2020-06-23 2023-09-05 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备
CN116863547B (zh) * 2023-07-14 2024-02-20 广州市金其利信息科技有限公司 一种基于特征评分的多模态生物识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Weighted Huber constrained sparse face recognition;Dajiang Lei，et al.;《Neural Computing and Applications》;20190121;全文 *
基于Lighten CNN的自动人脸分类模型的优化方法;孙旭等;《计算机应用》;20180630;全文 *
基于分块的有遮挡人脸识别算法;周孝佳等;《计算机应用与软件》;20180215(第02期);全文 *

Also Published As

Publication number Publication date
CN110569756A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110569756B (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
WO2019237567A1 (zh) 基于卷积神经网络的跌倒检测方法
Faraji et al. Face recognition under varying illuminations using logarithmic fractal dimension-based complete eight local directional patterns
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
WO2017106996A1 (zh) 一种人脸识别的方法以及人脸识别装置
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
WO2022199419A1 (zh) 人脸检测方法、装置、终端设备及计算机可读存储介质
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112001302A (zh) 基于人脸感兴趣区域分割的人脸识别方法
Liu et al. Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation
CN111814682A (zh) 人脸活体检测方法及装置
Guo et al. Multifeature extracting CNN with concatenation for image denoising
Dai et al. Iris center localization using energy map with image inpaint technology and post-processing correction
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
Qasim et al. Force field feature extraction using FAST algorithm for face recognition performance
Das et al. Enhancing face matching in a suitable binary environment
Méndez-Llanes et al. On the use of local fixations and quality measures for deep face recognition
Lu et al. Low-Light Face Recognition and Identity Verification Based on Image Enhancement.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant