CN112149605B - 一种人脸识别方法、装置、设备及存储介质 - Google Patents

一种人脸识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112149605B
CN112149605B CN202011064658.0A CN202011064658A CN112149605B CN 112149605 B CN112149605 B CN 112149605B CN 202011064658 A CN202011064658 A CN 202011064658A CN 112149605 B CN112149605 B CN 112149605B
Authority
CN
China
Prior art keywords
face recognition
training
recognition model
mask matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011064658.0A
Other languages
English (en)
Other versions
CN112149605A (zh
Inventor
梁潇
王薷泉
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011064658.0A priority Critical patent/CN112149605B/zh
Publication of CN112149605A publication Critical patent/CN112149605A/zh
Application granted granted Critical
Publication of CN112149605B publication Critical patent/CN112149605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸识别方法,包括:获取人脸识别模型的训练图像;确定与不同维度的特征图像对应的掩模矩阵,该掩模矩阵用于对人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;利用训练图像及掩模矩阵对人脸识别模型进行训练,以通过训练后的人脸识别模型进行人脸识别。可见,本申请对人脸识别模型进行训练时,需要通过掩模矩阵来对特征图像进行处理,通过该方式,可以利用掩模矩阵弱化特征图像中部分区域的信息,使得人脸识别模型在训练时,加重对该部分区域的学习,提高人脸识别模型在不同场景下人脸识别的准确率,提高人脸识别模型的鲁棒性;本发明还公开了一种人脸识别装置、设备及存储介质,同样能实现上述技术效果。

Description

一种人脸识别方法、装置、设备及存储介质
技术领域
本发明涉及人脸识别技术领域,更具体地说,涉及一种人脸识别方法、装置、设备及存储介质。
背景技术
人脸识别是一种基于人脸部图像特征来进行身份识别的算法,2D人脸识别中,目前较火的基于深度学习的方法,是通过深度神经网络来提取人脸特征,从而在两张人脸图片的特征之间通过比对相似度的方法来进行身份识别。人脸识别广义上来讲是一个分类任务,但是与传统的分类任务又有很大区别,传统的分类任务是一个闭集任务,也就是训练和使用时的类别是一致的,但是人脸识别是一个典型的开集任务,也即:训练时的人和实际使用时的人并不是一样的,这就要求人脸识别的模型对于人脸这种细粒度的分类有更大的区分度。另外,人脸识别最大的问题就是场景过于复杂,光照的不同可能带来完全不同的感官体验,而角度的变化也增大了人脸识别的难点。更甚至,当疫情来临后,人们纷纷戴上了口罩,五官信息被大幅弱化,甚至脸型等辅助信息也没有了。
因此,如何提高人脸识别模型的鲁棒性,提高人脸识别的准确率,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种人脸识别方法、装置、设备及存储介质,以提高人脸识别模型的鲁棒性,提高人脸识别的准确率。
为实现上述目的,本发明提供一种人脸识别方法,包括:
获取人脸识别模型的训练图像;
确定与不同维度的特征图像对应的掩模矩阵;所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。
其中,所述获取人脸识别模型的训练图像,包括:
对训练集中的所有样本图像执行人脸对齐操作,得到人脸识别模型的训练图像。
其中,所述确定与不同维度的特征图像对应的掩模矩阵,包括:
设置所述训练图像中目标区域;
确定所述训练图像中目标区域的像素点位置信息;
利用所述像素点位置信息确定所述目标区域的矩阵块位置,所述矩阵块位置为所述目标区域在掩模矩阵的矩阵块位置;
确定与当前维度的特征图像对应的掩模矩阵;其中,所述掩模矩阵中与所述矩阵块位置对应的数值随机设置为预定范围内数字,所述掩模矩阵中不与所述矩阵块位置对应的数值设置为1。
其中,所述设置所述训练图像中目标区域,包括:
将所述训练图像中人脸的至少一个五官区域作为目标区域。
其中,所述设置所述训练图像中目标区域,包括:为每组训练图像设置不同的目标区域,以使每组训练图像的掩模矩阵不同。
其中,所述确定与不同维度的特征图像对应的掩模矩阵,包括:
通过人脸识别模型自动确定与不同维度的特征图像对应的掩模矩阵。
其中,所述通过训练后的人脸识别模型进行人脸识别,包括:
通过训练后的人脸识别模型及掩模矩阵进行人脸识别。
为实现上述目的,本发明进一步提供一种人脸识别装置,包括:
训练图像获取模块,用于获取人脸识别模型的训练图像;
掩模矩阵确定模块,用于确定与不同维度的特征图像对应的掩模矩阵;所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
训练模块,用于利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。
为实现上述目的,本发明进一步提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述的人脸识别方法的步骤。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的人脸识别方法的步骤。
通过以上方案可知,本发明实施例提供的一种人脸识别方法,包括:获取人脸识别模型的训练图像;确定与不同维度的特征图像对应的掩模矩阵,所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。可见,本申请对人脸识别模型进行训练时,需要通过掩模矩阵来对特征图像进行处理,通过该方式,可以利用掩模矩阵弱化特征图像中部分区域的信息,使得人脸识别模型在训练时,加重对该部分区域的学习,提高人脸识别模型在不同场景下人脸识别的准确率,提高人脸识别模型的鲁棒性;本发明还公开了一种人脸识别装置、设备及存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种人脸识别方法流程示意图;
图2为本发明实施例公开的一种执行人脸对齐操作前后的人脸图像示意图;
图3为本发明实施例公开的另一种人脸识别方法流程示意图;
图4为本发明实施例公开的一种目标区域选定示意图;
图5为本发明实施例公开的一种人脸识别装置结构示意图;
图6为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种人脸识别方法、装置、设备及存储介质,以提高人脸识别模型的鲁棒性,提高人脸识别的准确率。
参见图1,本发明实施例提供的一种人脸识别方法流程示意图;通过图1可以看出,该人脸识别方法包括如下步骤:
S101、获取人脸识别模型的训练图像;
可以理解的是,对人脸识别模型训练之前,首先需要确定训练图像,该训练图像为人脸图像。并且,本申请在选取训练图像时,需要对训练集中的所有样本图像执行人脸对齐操作,得到人脸识别模型的训练图像。
具体来说,本申请首先需要将训练集中的所有图像执行人脸对齐操作,得到人脸识别模型的训练图像,然后依次从中取得预定数量的图片训练人脸识别模型。并且,本申请中的预定数量为BatchSize,也即一次训练所选取的样本数。如果在选取训练图像时,不使用BatchSize,也就意味着将所有训练样本一次性输入到神经网络中间,然后再计算其反向,该方式应用了所有的样本,虽然能更好的概括训练集,但是现有的深度学习任务,样本的数量都很大,例如人脸识别中训练集的样本数量动辄成百万上千万,若一次性将全部训练图像输入人脸识别模型中,会引起内存以及显存的爆炸。所以,本申请引入了BatchSize的概念,每次迭代抽样式的选取预定数量的样本,即可以保证下降方向近乎正确,又可以减小显存的消耗。
进一步,人脸对齐操作具体是根据输入的人脸图像,自动定位出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,再根据所找到的关键点,将人脸的角度姿态等拉伸缩放到一个固定的位置,参见图2,为本发明实施例公开的一种执行人脸对齐操作前后的人脸图像示意图,通过图2可以看出,识别出图2左人脸图像的特征点后,可对人脸图像的角度进行调整。对训练图像进行人脸对齐后,便可执行后续的处理操作。
S102、确定与不同维度的特征图像对应的掩模矩阵;该掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
需要说明的是,在卷积网络中,网络会将一张大一点尺寸的图下采样成一个较小的Feature Map,该Feature Map即为本申请中的特征图像,该特征图像按一定比例放大后就可以找到相对应的像素点。比如一个224*224的图片,最后被下采样成一个7*7的FeatureMap,在这7*7个点中,每个点对应的就是原图中一个32*32的像素块(224/7=32),人脸中的五官信息就存储在所对应的点中。
其中,特征图像FeatureMap的维度有多种,如:112*112、56*56、28*28,因此,本申请针对每个维度的特征图像FeatureMap需要生成一个与FeatureMap维度相对应的掩模,如:28*28*128的FeatureMap,会生成一个28*28的二维掩模矩阵,并且,该掩模矩阵可通过不同方式来确定,如:用户可在训练图像中选定待进行信息弱化处理的部分区域,并将与该部分区域位置对应的掩模矩阵中的对应数值设置为0.4到1的随机数字,其他数值设置为1;也可以为在训练时生成一个掩模矩阵,该掩模矩阵中的数值可由模型自主学习,使模型自主对特征图像的部分信息进行弱化,从而加重对该部分信息的学习。在本实施例中,并不具体限定掩模矩阵的生成方法,只要所生成的掩模矩阵可以对人脸识别模型在训练中生成的特征图像进行部分信息弱化处理即可,从而使得人脸识别模型在训练时,加重对该部分区域的学习,提高人脸识别模型在不同场景下人脸识别的准确率,提高人脸识别模型的鲁棒性。
S103、利用训练图像及掩模矩阵对人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。
具体来说,与不同维度对应的掩模矩阵确定后,便可利用该掩模矩阵对人脸识别模型进行训练,在训练时,对于获得的每个训练图像的特征图像,均需要与对应的掩模矩阵相乘,由于该掩模矩阵中需要重点学习的部分区域的数值为0.4到1的随机数字,而不需要重点学习的区域的数值为1,因此与对应的特征图像相乘后,可以弱化需要重点学习的部分区域的信息,从而使得人脸识别模型在训练时,加重对该部分区域的学习,提高人脸识别模型在不同场景下人脸识别的准确率,提高人脸识别模型的鲁棒性。如:为了更好的对戴口罩的人脸进行识别,可以弱化眼部的信息,从而在训练过程中加重对眼部信息的学习,因此可设置掩模矩阵中与眼部区域对应的数值为0.4到1的随机数字,而其他部分的数字为1,通过该方式训练获得的人脸识别模型,可提高该人脸识别模型通过眼部识别人脸的能力,提高模型鲁棒性。
参见图3,本发明实施例提供的另一种人脸识别方法流程示意图;需要说明的是,本实施例与上一实施例的相同之处可以相互参照,在此便不具体赘述。通过图3可以看出,该人脸识别方法包括如下步骤:
S201、获取人脸识别模型的训练图像;
S202、设置训练图像中目标区域;
具体来说,本实施例对掩模矩阵的生成方式进行了说明。首先需要在训练图像中确定目标区域,该目标区域为人脸的感兴趣区域,也即在训练时需要重点学习的区域。需要说明的是,对于不同的人脸来说,区别最大的是五官信息,如:眉、眼、耳、鼻、口,而其他的诸如发型、着装、饰品等都是可以随意更换的,因此,在人脸识别过程中最有用的信息就是五官信息,因此本申请在从训练图像中选择目标区域时,可以将训练图像中人脸的至少一个五官区域作为目标区域,如:可以将眼部区域作为目标区域,也可以将嘴部区域作为目标区域,也可以将其两者作为目标区域,在此并不具体限定。
进一步,由于本申请每次训练时,是选择预定数量个训练图像作为一组图像进行训练,因此,本申请在设置训练图像中的目标区域时,可以为每组训练图像设置不同的目标区域,以使每组训练图像的掩模矩阵不同。通过该方式,可以模拟多种场景,如:若将目标区域设置为眼部区域,则可模拟戴口罩的场景,如果将目标区域设置为嘴部区域,可以模拟戴眼镜的区域,从而使得训练后的人脸识别模型能适应多种场景、适应多种人脸识别任务,提高了模型的鲁棒性。
S203、确定训练图像中目标区域的像素点位置信息;
参见图4,为本发明实施例提供的一种目标区域选定示意图,通过该图可以看出,选定的目标区域为左眼区域、右眼区域、鼻子区域和嘴部区域。并且,由于本申请中的训练图像是经过人脸对齐的,因此训练图像的人脸五官都有一个大体的范围,从而确定目标区域的像素点位置,该目标区域的像素点位置可以为目标区域的像素点坐标,在此以图4所述的人脸图像作为训练图像为例,对像素点位置信息进行说明:若图4中的图像为224*224的输入图像,则人脸五官信息的右眼就是以(45,75)像素点为起点的一个55*40的像素框,左眼就是以(125,75)像素点为起点的一个55*40的像素框,鼻子是以(90,120)为起点的一个40*40的像素框,嘴为以(75,165)为起点的一个75*25的像素框,这四个框就即为提前设定好的目标区域的像素点位置位置,通过上述像素点位置来确定掩模矩阵。
S204、利用像素点位置信息确定目标区域的矩阵块位置,该矩阵块位置为目标区域在掩模矩阵的矩阵块位置;
具体来说,通过S203确定目标区域在训练图像中的像素点位置信息后,还需要确定与该像素点位置信息对应的掩模矩阵中的位置,具体来说,由于掩模矩阵的维度与特征图像的维度相对应的,如:28*28的特征图像对应的掩模矩阵也为28*28,且该掩模矩阵共有28*28个矩阵块对应的点,其中每个点代表了8*8个像素,也就是说,掩模矩阵中每个矩阵块对应8*8个像素,因此,根据每个矩阵块与像素点的对应关系,便可确定目标区域的像素点位置信息所对应的矩阵块位置。在此,仅以确定右眼区域的矩阵块位置为例进行说明,其他目标区域的矩阵块位置确定方法便不再赘述:右眼区域为以起始位置(45,75)像素点为起点的一个55*40的像素框,该起始位置(45,75)像素点对应28*28矩阵中第9行第5列的点(行和列均从0开始计数),由于右眼区域对应的框大小为55*40,也就是说,该框对应28*28矩阵的一个7*5的矩阵块,也即:该右眼区域在掩模矩阵的矩阵块位置为以矩阵中第9行第5列的点为起点的7*5的矩阵块。
S205、确定与当前维度的特征图像对应的掩模矩阵;其中,所述掩模矩阵中与所述矩阵块位置对应的数值随机设置为预定范围内数字,所述掩模矩阵中不与所述矩阵块位置对应的数值设置为1。
具体来说,确定目标区域在掩模矩阵的矩阵块位置后,便可生成掩模矩阵,具体来说,将掩模矩阵中与矩阵块位置对应的数值随机设置为预定范围内数字,如设置为0.4到1的随机数字,而其他数值则设置为1.0。
S206、利用训练图像及掩模矩阵对人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。
具体来说,由于掩模矩阵的数值是随机初始化的,所以在人脸识别模型训练过程中,将五官区域分别乘上不同的数字之后,图像呈现上会发生一定变化,类似于图像增强,变相的增强了数据的类型。以眼部为例,在不同的环境以及不同的光照时,眼部的图像变化比较明显,当眼部图像乘以随机掩模矩阵后,就可以模拟复杂的场景。
需要说明的是,本申请在加入掩模时,对于维度较小的特征图像可以不设置对应维度的掩模,因为维度越小,掩模矩阵的矩阵块点数过少,五官变化不明显;以224*224的图片输入为例,当使用Resnet网络时,经过多次降维,特征图像FeatureMap的维度分别为112*112、56*56、28*28、14*14、7*7,因此本申请可在前三个维度的特征图像上添加掩模,因为后面两个维度中,每一个点代表的像素值过大,如维度为7*7时,一个点代表一个32*32的像素块,此时五官的掩模矩阵块点数过少,五官部分变化不明显。
并且,本申请在训练网络时,对于每个Batch的图像都要重新生成掩模,从而模拟更多的场景,使模型能够自主的加强对五官部分的学习,因此训练后的人脸识别模型在实际使用时,可不需要用到掩模,因为模型得参数已经学到了重点区域。可以看出,通过本实施例所述的方法生成掩模矩阵后,可以让人脸识别模型在训练时通过掩模矩阵加强对五官部分的学习,使得训练后的人脸识别模型可以在不增加使用耗时的前提下,提升模型对于特殊场景的识别精度。
在本实施例中,提供了另一种生成掩模矩阵的方法,该方法为:通过人脸识别模型自动确定与不同维度的特征图像对应的掩模矩阵。也就是说,在本实施例中的掩模矩阵不需要通过确定目标区域后生成,本申请可为每个维度的特征矩阵FeatureMap生成一个对应维度的掩模矩阵,但是该掩模矩阵的参数值是随机初始化的,并且是可训练的。因此在本实施例中,不需要对五官部分的参数值进行调整,因为模型可以自主学习哪一部分参数较重要,从而自动调整掩模矩阵中对应的参数值。
并且,在本实施例中,由于掩模矩阵可通过人脸识别矩阵进行调整,因此该掩模矩阵可作为人脸识别模型中的固有参数,该掩模矩阵可引导模型在像素层面上找寻更重要的信息。所以,在本实施例中,掩模矩阵不需要在输入每组图像时都重新生成的,并且,由于该掩模矩阵相当于人脸识别模型中的固有参数,因此在实际使用时,需要通过训练后的人脸识别模型及掩模矩阵进行人脸识别,通过掩模矩阵让人脸识别模型自动学习在像素层面上的重要的像素点。
综上可见,本方案为了提高人脸识别模型的识别准确率,可通过掩模矩阵调整人脸五官等有用信息的信息量,以使模型在训练中更加重视对五官等有用信息的学习。如:可以通过自定义目标区域的方式生成对应的掩模矩阵,这样在训练时,便可通过掩模矩阵弱化五官信息,在大规模人脸识别训练时,剩余的脸型发型等剩余信息无法支撑大量样本的人脸识别的分类,这就会促使网络去加深对弱化过的五官信息的学习,在实际使用时去掉掩模,该方式可以在不增加使用耗时的前提下,提升了模型对于特殊场景的识别精度。或者,还可以在训练时为每个FeatureMap生成一个可训练的掩模,该掩模跟随网络一起训练,使网络自主学习应该掩模的参数,让网络自己学习那一部分通道的信息比较重要,该方式虽然略微增加模型的耗时,但是可以有效的提升人脸检测精度。
在此,通过测试数据来对这两种方式的识别效果进行说明:使用公开数据集MSRA作为训练集,训练时参数一致,使用ArcFace损失函数。测试集分为如下三部分:第一部分为正常人脸,这一部分的人脸都是较清晰且没有遮挡的图片;第二部分为小像素人脸,这一部分人脸像素值较小,脸部有较多噪点;第三部分测试集为遮挡人脸,这一部分人脸均被一些物体遮挡了一部分,比如:口罩、眼镜以及树木等。参见表1,为正常人脸的测试结果表,参见表2,为小像素人脸的测试结果表,参见图3,为遮挡人脸的测试结果表:
表1
人脸识别网络 识别率
基线网络 97.60%
方式一 98.20%
方式二 98.15%
表2
人脸识别网络 识别率
基线网络 65.30%
方式一 68.25%
方式二 69.85%
表3
人脸识别网络 识别率
基线网络 77.55%
方式一 83.60%
方式二 84.15%
通过上述测试结果可以看出,无论测试图像为正常人脸,或者为小像素人脸,或者为遮挡人脸,上述两种方式均可提高人脸识别准确率,也即:本申请通过掩模矩阵改变部分区域的信息量的方式,可使模型加重对有效信息的学习,有效的提高人脸识别模型的鲁棒性以及人脸识别的准确率。
下面对本发明实施例提供的人脸识别装置进行介绍,下文描述的人脸识别装置与上文描述的人脸识别方法可以相互参照。
参见图5,本发明实施例提供的一种人脸识别装置结构示意图,包括:
训练图像获取模块100,用于获取人脸识别模型的训练图像;
掩模矩阵确定模块200,用于确定与不同维度的特征图像对应的掩模矩阵;所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
训练模块300,用于利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别。
其中,所述训练图像获取模块具体用于:对训练集中的所有样本图像执行人脸对齐操作,得到人脸识别模型的训练图像。
其中,所述掩模矩阵确定模块包括:
目标区域设置单元,用于设置所述训练图像中目标区域;
像素点位置确定单元,用于确定所述训练图像中目标区域的像素点位置信息;
矩阵块位置确定单元,用于利用所述像素点位置信息确定所述目标区域的矩阵块位置,所述矩阵块位置为所述目标区域在掩模矩阵的矩阵块位置;
第一掩模矩阵确定单元,用于确定与当前维度的特征图像对应的掩模矩阵;其中,所述掩模矩阵中与所述矩阵块位置对应的数值随机设置为预定范围内数字,所述掩模矩阵中不与所述矩阵块位置对应的数值设置为1。
其中,所述目标区域设置单元具体用于:将所述训练图像中人脸的至少一个五官区域作为目标区域。
其中,所述目标区域设置单元具体用于:为每组训练图像设置不同的目标区域,以使每组训练图像的掩模矩阵不同。
其中,所述掩模矩阵确定模块包括:
第二掩模矩阵确定单元,用于通过人脸识别模型自动确定与不同维度的特征图像对应的掩模矩阵。
其中,所述装置包括人脸识别模块,用于通过训练后的人脸识别模型及掩模矩阵进行人脸识别。
参见图6,本发明实施例还提供了一种电子设备结构示意图,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任意方法实施例所述的人脸识别方法的步骤。
在本实施例中,设备可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元,例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备,例如设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据,例如执行人脸识别方法的程序代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行人脸识别方法的程序代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,设备还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该设备与其他电子设备之间建立通信连接。
可选地,该设备还可以包括用户接口15,用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口15还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图6仅示出了具有组件11-15的设备,本领域技术人员可以理解的是,图6示出的结构并不构成对设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例所述的人脸识别方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种人脸识别方法,其特征在于,包括:
获取人脸识别模型的训练图像;
确定与不同维度的特征图像对应的掩模矩阵;所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别;
其中,所述确定与不同维度的特征图像对应的掩模矩阵,包括:设置所述训练图像中目标区域;确定所述训练图像中目标区域的像素点位置信息;利用所述像素点位置信息确定所述目标区域的矩阵块位置,所述矩阵块位置为所述目标区域在掩模矩阵的矩阵块位置;确定与当前维度的特征图像对应的掩模矩阵;其中,所述目标区域为在训练过程中需要重点学习的区域;所述掩模矩阵中需要重点学习的区域的数值设置为0.4到1的随机数字,不需要重点学习的区域的数值设置为1;在训练过程中,对于每一所述训练图像对应的特征图像,均需要与对应的掩模矩阵相乘,以便弱化需要重点学习的部分区域的信息,使得在训练时加重对该部分区域的学习。
2.根据权利要求1所述的人脸识别方法,其特征在于,所述获取人脸识别模型的训练图像,包括:
对训练集中的所有样本图像执行人脸对齐操作,得到人脸识别模型的训练图像。
3.根据权利要求1所述的人脸识别方法,其特征在于,所述设置所述训练图像中目标区域,包括:
将所述训练图像中人脸的至少一个五官区域作为目标区域。
4.根据权利要求1所述的人脸识别方法,其特征在于,所述设置所述训练图像中目标区域,包括:
为每组训练图像设置不同的目标区域,以使每组训练图像的掩模矩阵不同。
5.根据权利要求1所述的人脸识别方法,其特征在于,所述确定与不同维度的特征图像对应的掩模矩阵,包括:
通过人脸识别模型自动确定与不同维度的特征图像对应的掩模矩阵。
6.根据权利要求5所述的人脸识别方法,其特征在于,所述通过训练后的人脸识别模型进行人脸识别,包括:
通过训练后的人脸识别模型及掩模矩阵进行人脸识别。
7.一种人脸识别装置,其特征在于,包括:
训练图像获取模块,用于获取人脸识别模型的训练图像;
掩模矩阵确定模块,用于确定与不同维度的特征图像对应的掩模矩阵;所述掩模矩阵用于对所述人脸识别模型在训练中生成的特征图像进行部分信息弱化处理;
训练模块,用于利用所述训练图像及所述掩模矩阵对所述人脸识别模型进行训练,获得训练后的人脸识别模型,以通过训练后的人脸识别模型进行人脸识别;
其中,所述掩模矩阵确定模块,具体用于:设置所述训练图像中目标区域;确定所述训练图像中目标区域的像素点位置信息;利用所述像素点位置信息确定所述目标区域的矩阵块位置,所述矩阵块位置为所述目标区域在掩模矩阵的矩阵块位置;确定与当前维度的特征图像对应的掩模矩阵;其中,所述目标区域为在训练过程中需要重点学习的区域;所述掩模矩阵中需要重点学习的区域的数值设置为0.4到1的随机数字,不需要重点学习的区域的数值设置为1;在训练过程中,对于每一所述训练图像对应的特征图像,均需要与对应的掩模矩阵相乘,以便弱化需要重点学习的部分区域的信息,使得在训练时加重对该部分区域的学习。
8.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的人脸识别方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的人脸识别方法的步骤。
CN202011064658.0A 2020-09-30 2020-09-30 一种人脸识别方法、装置、设备及存储介质 Active CN112149605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011064658.0A CN112149605B (zh) 2020-09-30 2020-09-30 一种人脸识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011064658.0A CN112149605B (zh) 2020-09-30 2020-09-30 一种人脸识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112149605A CN112149605A (zh) 2020-12-29
CN112149605B true CN112149605B (zh) 2023-04-18

Family

ID=73951883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011064658.0A Active CN112149605B (zh) 2020-09-30 2020-09-30 一种人脸识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112149605B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657154A (zh) * 2021-07-08 2021-11-16 浙江大华技术股份有限公司 活体检测方法、装置、电子装置和存储介质
CN115700840A (zh) * 2021-07-30 2023-02-07 脸萌有限公司 图像属性分类方法、装置、电子设备、介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840477A (zh) * 2019-01-04 2019-06-04 苏州飞搜科技有限公司 基于特征变换的受遮挡人脸识别方法及装置
CN110633689A (zh) * 2019-09-23 2019-12-31 天津天地基业科技有限公司 基于半监督注意力网络的人脸识别模型
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN111626243A (zh) * 2020-05-28 2020-09-04 上海锘科智能科技有限公司 口罩遮挡人脸的身份识别方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840477A (zh) * 2019-01-04 2019-06-04 苏州飞搜科技有限公司 基于特征变换的受遮挡人脸识别方法及装置
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN110633689A (zh) * 2019-09-23 2019-12-31 天津天地基业科技有限公司 基于半监督注意力网络的人脸识别模型
CN111626243A (zh) * 2020-05-28 2020-09-04 上海锘科智能科技有限公司 口罩遮挡人脸的身份识别方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Linjun Sun et.al.PickPatch: A Regularization Method for Deep Face Recognition.《Journal of Physics: Conference Series》.2020, *
OCCLUSION ROBUST FACE RECOGNITION BASED ON MASK LEARNING;Weitao Wan et.al;《ICIP2017》;20171231;第3796-3797页 *
PickPatch: A Regularization Method for Deep Face Recognition;Linjun Sun et.al;《Journal of Physics: Conference Series》;20200409;第2-5页 *

Also Published As

Publication number Publication date
CN112149605A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109729426B (zh) 一种视频封面图像的生成方法及装置
CN110516544B (zh) 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN111563417B (zh) 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN112348969A (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN112149605B (zh) 一种人脸识别方法、装置、设备及存储介质
US11409794B2 (en) Image deformation control method and device and hardware device
CN112990205B (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
WO2024001095A1 (zh) 面部表情识别方法、终端设备及存储介质
CN110705467A (zh) 一种人脸表情识别方法、系统、装置和存储介质
CN113869219A (zh) 人脸活体检测方法、装置、设备及存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN109376618B (zh) 图像处理方法、装置及电子设备
CN111028318A (zh) 一种虚拟人脸合成方法、系统、装置和存储介质
CN110321009B (zh) Ar表情处理方法、装置、设备和存储介质
CN113837018B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN112822393B (zh) 图像处理方法、装置及电子设备
CN112488965A (zh) 一种图像处理方法和装置
CN112150608A (zh) 一种基于图卷积神经网络的三维人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant