CN112836625A - 人脸活体检测方法、装置、电子设备 - Google Patents

人脸活体检测方法、装置、电子设备 Download PDF

Info

Publication number
CN112836625A
CN112836625A CN202110130835.9A CN202110130835A CN112836625A CN 112836625 A CN112836625 A CN 112836625A CN 202110130835 A CN202110130835 A CN 202110130835A CN 112836625 A CN112836625 A CN 112836625A
Authority
CN
China
Prior art keywords
image
face
living body
sample
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110130835.9A
Other languages
English (en)
Inventor
冯思博
陈莹
黄磊
彭菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN202110130835.9A priority Critical patent/CN112836625A/zh
Publication of CN112836625A publication Critical patent/CN112836625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Abstract

本申请公开了一种人脸活体检测方法,属于人脸识别领域,有助于提升人脸活体检测的鲁棒性和设备适配性。所述方法包括:对待检测人脸图像进行人脸定位处理,确定预设人脸关键点;根据人脸关键点对待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;通过执行预先训练的人脸活体检测模型,获得目标人脸图像对应的第一掩码图像;其中,第一掩码图像中每个像素点的取值用于指示该目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;根据第一掩码图像确定目标人脸图像中为活体图像类别的像素点的概率值;根据预先确定的活体概率阈值和该概率值的比较结果,确定待检测人脸图像为活体人脸或非活体人脸的图像。

Description

人脸活体检测方法、装置、电子设备
技术领域
本申请实施例涉及人脸识别领域,特别是涉及一种人脸活体检测方法、装置、电子设备及计算机可读存储介质。
背景技术
现有技术中的人脸活体检测算法通常包括红外图像人脸活体检测、可见光图像人脸活体检测、红外光图像结合可见光图像进行人脸活体检测。对于静默活体,当前技术通过对摄像头拍摄到的画面进行活体判断,算法通过对底层纹理判别进行分类,而全局画面会对算法进行干扰,比如背景出现不同的光线、装饰物或建筑物等干扰信息,这使得算法在训练过程中学习到更多的无关信息特征,从而使算法的泛化能力下降。这样现有的算法会对某一场景的活体判别性能很好,但是更换场景或者变换光线时性能下降。相比可见光图像,使用红外图像来判别活体往往有更好的区分度,算法的鲁棒性更强,因为红外光在不同材质反射回的光差异可区分性更强,对于活体和非活体区分性强。对于底层纹理的学习,用红外图像区分活体会有更好的性能。而当前技术中,算法所用到的训练数据往往带有全局信息,这样使得模型会学习到与活体无关的特征,使得算法的鲁棒性变差。
可见,现有技术中的人脸活体检测算法还需要改进。
发明内容
本申请实施例提供一种人脸活体检测方法,有助于提升人脸活体检测算法的鲁棒性和对图像采集设备适配性能。
第一方面,本申请实施例提供了一种人脸活体检测方法,包括:
对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;
根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;
通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;
根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;
根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
第二方面,本申请实施例提供了一种人脸活体检测装置,包括:
人脸关键点定位模块,用于对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;
归一化模块,用于根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;
第一掩码图像获取模块,用于通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;
像素类别预估模块,用于根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;
人脸活体类别确定模块,用于根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
第三方面,本申请实施例还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例所述的人脸活体检测方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时本申请实施例公开的人脸活体检测方法的步骤。
本申请实施例公开的人脸活体检测方法,通过对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像,能够提升人脸活体检测算法的鲁棒性和对图像采集设备的适配性能。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请实施例一的人脸活体检测方法流程图;
图2是本申请实施例一的人脸活体检测方法另一流程图;
图3(a)是本申请实施例一中的第一图像示意图之一;
图3(b)是图3(a)的第一掩码图像示意图;
图4(a)是本申请实施例一中的第一图像示意图之一;
图4(b)是图4(a)的第一掩码图像示意图;
图5(a)是本申请实施例一中的第二图像示意图之一;
图5(b)是图5(a)的第二掩码图像示意图;
图6是本申请实施例二的人脸活体检测装置结构示意图之一;
图7是本申请实施例二的人脸活体检测装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
本申请实施例公开的一种人脸活体检测方法,如图1所示,所述方法包括:步骤110至步骤150。
步骤110,对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置。
本申请实施例中所述的待检测人脸图像,可以为可见光人脸图像,也可以为红外光人脸图像,本申请实施例对待检测人脸图像的采集光源不做限定。本申请实施例中,可以通过单目图像采集设备采集待检测人脸图像,也可以通过双目图像采集设备,然后以其中一幅人脸图像作为待检测人脸图像,本申请实施例对采集待检测人脸图像的图像采集设备亦不做限定。
本申请实施例中所述的预设人脸关键点包括但不限于:左眼中心,右眼中心,鼻尖点,左嘴角,右嘴角。对于待检测人脸图像,首先采用现有技术中的人脸定位方法,对所述待检测人脸图像进行人脸定位处理,确定所述预设人脸关键点在所述待检测人脸图像中的位置。
步骤120,根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像。
之后,根据所述预设人脸关键点在所述待检测人脸图像中的位置,从所述待检测人脸图像中扣取目标人脸图像。例如,根据所述预设人脸关键点在所述待检测人脸图像中的位置确定一包括上述人脸关键点的最小矩形区域,之后,对所述最小矩形区域向四周扩展预设比例,确定包括整个人脸区域的较大矩形区域,并将所述待检测人脸图像中该较大区域内的图像裁剪出来,得到待归一化处理的人脸图像。然后,对裁剪出来的所述待归一化处理的人脸图像进行归一化处理,将裁剪出来的所述待归一化处理的人脸图像归一化到指定尺寸,该归一化到指定尺寸的图像即为目标人脸图像。最终所述目标人脸图像的尺寸为预先训练的人脸活体检测模型的输入图像的尺寸,该尺寸与归一化后的指定尺寸可以相同或不同。
步骤130,通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像。
其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别。
接下来,将所述目标人脸图像输入至预先训练的人脸活体检测模型,通过执行所述人脸活体检测模型对输入的所述目标人脸图像进行卷积运算和特征映射处理,所述人脸活体检测模型将输出第一掩码图像。所述第一掩码图像的尺寸与所述目标人脸图像的尺寸相同,所述第一掩码图像的每个像素点的像素值用于指示所述目标人脸图像中相应位置的像素为活体人脸图像或非活体人脸图像。以所述目标人脸图像P1为112*112像素的图像为例,将所述目标人脸图像P1输入至所述人脸活体检测模型之后,所述人脸活体检测模型输出的第一掩码图像P2的尺寸为112*112像素,所述第一掩码图像P2中的像素点与所述目标人脸图像P1中的像素点一一对应。第一掩码图像P2中的每个像素值表示目标人脸图像P1中对应像素点的图像类别。例如,第一掩码图像P2的第1行第1列的像素值为0,表示目标人脸图像P1的第1行第1列的像素点为非活体图像类别(如背景的图像);第一掩码图像P2的第10行第50列的像素值为1,表示目标人脸图像P1的第20行第50列的像素点为活体图像类别(如皮肤的图像)。
本申请具体实施时,如图2所示,所述对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置的步骤之前,还包括:步骤100和步骤101。
步骤100,构建训练样本,所述训练样本包括:活体人脸对应的若干正样本和非活体对应的若干负样本。
其中,所述正样本的样本数据为包含活体人脸的第一图像,所述正样本的样本标签为所述第一图像的第一掩码图像,所述第一掩码图像的每个像素值用于标记相应第一图像中相应像素点对应的图像类别为活体或非活体;所述负样本的样本数据为不包含活体人脸的第二图像,所述负样本的样本标签为所述第二图像的第二掩码图像,所述第二掩码图像的每个像素值用于标记相应第二图像中相应像素点对应的图像类别为非活体。
例如,首先搜集若干活体人脸图像和非活体人脸图像,其中,所述活体人脸图像为采集的真人图像,且包括人脸区域;所述非活体人脸图像可以为人脸照片、视频截屏、不包含人脸的图像等。之后,进一步对所述活体人脸图像和非活体人脸图像进行图像处理,将每张图像处理为指定尺寸的图像。例如,将每张非活体人脸图像归一化处理为112*112的图像,本申请实施例中称为第二图像;将每张活体人脸图像中的人脸区域归一化处理为112*112的图像,本申请实施例中称为第一图像。
在根据活体人脸图像得到第一图像时,采用的技术手段与根据待检测人脸图像确定目标人脸图像的技术手段相同,即所述第一图像通过以下方法获取的:对获取的包括活体人脸的图像进行所述人脸定位处理,确定所述预设人脸关键点在所述图像中的位置,之后,根据所述位置对所述图像进行裁剪和归一化处理后得到的所述图像对应的第一图像。
根据搜集的每张活体人脸图像得到第一图像的具体实施方式,参见前述根据待检测人脸图像确定目标人脸图像的描述,此处不再赘述。
经过对搜集的活体人脸图像和非活体人脸图像进行上述图像处理,可以得到若干第一图像和若干第二图像,接下来,根据得到的每张第一图像构建一个正样本,根据得到的每张第二图像构建一个负样本,构建的正样本和负样本用于训练人脸活体检测模型。
以根据一张第一图像构建一个正样本为例,以该第一图像作为构建的正样本的样本数据,并根据所述第一图像中每个像素点的图像为人脸活体图像或者非活体图像,对所述第一图像中的每个像素点进行图像类别标注,然后,根据所述第一图像中的每个像素点的标注结果生成一与所述第一图像大小相同的第一掩码图像,之后,将该第一掩码图像作为构建的所述正样本的样本标签。
本申请的一些实施例中,所述第一图像的第一掩码图像通过以下方法得到:将所述第一掩码图像中与所述第一图像中皮肤图像像素点对应的像素点的像素值,设置为指示活体图像类别的取值;以及,将所述第一掩码图像中与所述第一图像中非皮肤图像像素点对应的像素点的像素值,设置为指示非活体图像类别的取值;其中,所述非皮肤图像包括:背景图像、头发图像、遮挡物图像。本申请的一些实施例中,所述遮挡物图像包括但不限于:口罩图像、眼镜图像。例如,对于如图3(a)中所示的第一图像,将通过现有技术中的人脸轮廓检测算法检测到的人脸区域310内的所有像素点标注为1,用于指示这些像素点为活体图像类别;将所述人脸区域以外的所有像素点标注为0,用于指示这些像素点为非活体图像类别。根据图3(a)中人脸图像的标注结果生成的第一掩码图像如图3(b)所示。
又例如,对于戴口罩和/或戴眼镜的第一图像,如图4(a)通过现有技术中的轮廓检测算法可以检测出人脸轮廓、口罩轮廓,以及,眼镜轮廓。进一步的,将人脸轮廓之外的头发、背景等区域的像素点标注为指示非活体图像类别的数值,将眼镜轮廓和口罩轮廓以内的像素点标注为指示非活体图像类别的数值,将所述人脸轮廓以内,且在眼镜轮廓和口罩轮廓以外的像素点标注为指示活体图像类别的数值。之后。根据人脸图像的标注结果生成的第一掩码图像。根据图4(a)中人脸图像的标注结果生成的第一掩码图像如图4(b)所示。
在根据一张第二图像构建一个负样本时,以该第二图像作为构建的负样本的样本数据,并将创建所述第二图像中每个像素点的图像类别标注为非人脸活体图像,然后,根据所述第二图像中每个像素点的标注结果生成一与所述第二图像大小相同的第二掩码图像,然后,将该第二掩码图像作为构建的所述负样本的样本标签。例如,对于如图5(a)中所示的第二图像,将所述第二图像内的所有像素点标注为0,用于指示这些像素点为非活体图像类别。根据图5(a)中人脸图像的标注结果生成的第二掩码图像如图4(b)所示。
即,所述正样本的样本标签用于标记所述第一图像中每个像素点的图像类别为活体图像类别或非活体图像类别;所述负样本的样本标签用于标记所述第二图像中每个像素点的图像类别为非活体图像类别。
步骤101,基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型。
本申请的一些实施例中,所述人脸活体检测模型采用分割网络模型,所述基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型,包括:通过所述分割网络模型的卷积层和池化层,提取每个所述训练样本的样本数据中的图像特征;对于每个所述训练样本的样本数据中的图像特征,分段执行所述分割网络模型的上采样层,对所述图像特征分别进行上采样,得到每个所述训练样本的掩码图像;对于所有所述训练样本,通过执行所述分割网络模型的损失函数,计算各所述训练样本的样本标签中各像素点对应的图像类别与相应训练样本的掩码图像中相应像素点对应的图像类别预估值的均方误差,作为所述分割网络模型的损失值;通过优化所述分割网络模型的参数,使得所述损失值收敛到预设值,完成所述人脸活体检测模型的训练。
分割网络模型是一种全卷积的神经网络,先使用卷积层和池化层提取输入数据的特征图,然后分段使用上采样层使特征图变大,使得整个网络预测出的与输入数据大小一致的特征图,该特征图即为分割网络模型输出的预测结果。本申请的一些实施例中,基于分割网络模型构建人脸活体检测模型,所述人脸活体检测模型包括一个主干网络和多个分支网络,每个分支网络的输入数据为所述主干网络的不同层级的特征图,各所述分支网络输出的特征图进一步输入至所述主干网络的后续层级。所述分支网络和主干网络进一步包括多个由卷积神经网络模块、最大池化层和上采样层串行设置而构成的网络模块。所述卷积神经网络模块进一步由串行设置的卷积层、批归一化层和激活函数组成。
在人脸活体检测模型中上采样层采用双线性插值上采样方式,该模型中,在池化结束后将特征图送入上采样模块中,所述人脸活体检测模型中将前面层的特征提取结果经过运算与后面层输出的数据进行拼接,保证前面层的特征可以在人脸活体检测模型的后面层继续运算,最后得到预测的掩码图像。所述人脸活体检测模型的损失值为模型的输出数据(即输出的掩码图像)与输入样本图像对应的样本标签各个像素点的均方误差。例如,可以通过以下损失函数计算所述人脸活体检测模型的损失值:
Figure BDA0002925189130000091
其中,N为图像中像素个数,i代表每个像素,c是分类类别,
Figure BDA0002925189130000092
表示分类正确与否,
Figure BDA0002925189130000093
代表某个类别的概率。L为人脸活体检测模型的损失值。
即所述人脸活体检测模型对训练样本中作为样本数据的图像进行学习,最后将从输入图像中提取的特征映射回与输入图像大小一样的掩码图像,掩码图像中的每个像素点的像素值代表这个像素点在输入图像中所代表的活体图像类别的概率。
继续参阅图1,步骤140,根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值。
在确定目标人脸图像的第一掩码图像之后,根据所述第一掩码图像中各个像素点的像素值分布,进一步确定所述第一掩码图像对应的目标人脸图像为活体人脸图像或者为非活体人脸图像。
本申请的一些实施例中,根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值包括:将所述第一掩码图像中指示为活体图像类别的所述像素点在所述第一掩码图像中所有像素点的占比,确定为所述目标人脸图像中为活体图像类别的像素点的概率值。仍以所述目标人脸图像的尺寸为112*112为例,统计所述第一掩码图像中预测为活体图像类别(例如像素值为1)的像素点个数p,之后,根据公式r=p/(W*H)计算得到所述目标人脸图像中为活体图像类别的像素点的概率值r,其中,W表示所述第一掩码图像的宽,H表示所述第一掩码图像的高,例如,H=112,W=112。
步骤150,根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
在确定了所述目标人脸图像中为活体图像类别的像素点的概率值之后,进一步将所述概率值与预先确定的活体概率阈值进行比较,即可确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。例如,可以将所述活体概率阈值设为0.5,当所述概率值(如0.7)大于或等于所述活体概率阈值(如0.5)时,可以确定所述目标人脸图像为活体人脸图像,即所述待检测人脸图像为活体人脸的图像;当所述概率值(如0.3)小于所述活体概率阈值(如0.5)时,可以确定所述目标人脸图像为非活体人脸图像,即所述待检测人脸图像为非活体人脸的图像。
本申请的一些实施例中,为了提升活体检测的准确性,根据所述待检测人脸图像的遮挡情况,动态确定活体概率阈值。例如,根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像之前,还包括:确定所述目标人脸图像中是否存在遮挡物遮挡人脸的情况;响应于所述目标人脸图像中存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第一阈值;响应于所述目标人脸图像中不存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第二阈值;其中,所述第二阈值大于所述第一阈值。其中,所述遮挡物可以为口罩、围巾、眼镜等。
本申请的一些实施例中,可以采用现有技术检测所述目标人脸图像中或者所述待检测人脸图像中是否存在遮挡物遮挡情况。例如,通过现有技术中人脸图像中的口罩遮挡检测算法识别所述目标人脸图像或者所述待检测人脸图像中是否存在口罩遮挡情况。本申请对识别所述目标人脸图像或者所述待检测人脸图像中是否存在遮挡物遮挡情况的具体技术手段不做限定。
在确定了所述目标人脸图像中的遮挡物遮挡人脸的情况之后,进一步根据是否存在遮挡物遮挡设置所述活体概率阈值。例如,在确定了所述目标人脸图像中存在口罩遮挡人脸的情况后,可以将所述活体概率阈值设置为0.3,在确定了所述目标人脸图像中不存在口罩遮挡人脸的情况后,可以将所述活体概率阈值设置为0.5。其中,不同情况下设置的所述活体概率阈值的取值根据人脸活体检测的准确度和测试结果确定。
在进行活体判断时,以确定所述目标人脸图像中存在遮挡物遮挡情况为例,当所述目标人脸图像中为活体图像类别的像素点的概率值(如0.3)大于或等于活体概率阈值(如0.3)时,即可确定所述目标人脸图像为活体人脸图像,即所述待检测人脸图像为活体人脸的图像;当所述概率值(如0.2)小于所述活体概率阈值(如0.3)时,可以确定所述目标人脸图像为非活体人脸图像,即所述待检测人脸图像为非活体人脸的图像。
本申请实施例公开的人脸活体检测方法,通过对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像,能够提升人脸活体检测算法的鲁棒性和对图像采集设备的适配性能。
本申请实施例公开的人脸活体检测方法,基于图像的像素级别特征进行活体检测,对图像采集设备、图像采集光源没有特殊要求,鲁棒性和适配性较高。并且,计算复杂度低,运算量小,尤其适用于智能终端,如门禁、智能手机等电子设备。
实施例二
本申请实施例公开的一种人脸活体检测装置,如图6所示,所述装置包括:
人脸关键点定位模块610,用于对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;
归一化模块620,用于根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;
第一掩码图像获取模块630,用于通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;
像素类别预估模块640,用于根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;
人脸活体类别确定模块650,用于根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
本申请的一些实施例中,如图7所示,还包括:
训练样本构建模块600,用于构建训练样本,所述训练样本包括:活体人脸对应的若干正样本和非活体对应的若干负样本;其中,所述正样本的样本数据为包含活体人脸的第一图像,所述正样本的样本标签为所述第一图像的第一掩码图像,所述第一掩码图像的每个像素值用于标记相应第一图像中相应像素点对应的图像类别为活体或非活体;所述负样本的样本数据为不包含活体人脸的第二图像,所述负样本的样本标签为所述第二图像的第二掩码图像,所述第二掩码图像的每个像素值用于标记相应第二图像中相应像素点对应的图像类别为非活体;
人脸活体检测模型训练模块601,用于基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型。
本申请的一些实施例中,所述人脸活体检测模型采用分割网络模型,所述人脸活体检测模型训练模块601,进一步用于:
通过所述分割网络模型的卷积层和池化层,提取每个所述训练样本的样本数据中的图像特征;
对于每个所述训练样本的样本数据中的图像特征,分段执行所述分割网络模型的上采样层,对所述图像特征分别进行上采样,得到每个所述训练样本的掩码图像;
对于所有所述训练样本,通过执行所述分割网络模型的损失函数,计算各所述训练样本的样本标签中各像素点对应的图像类别与相应训练样本的掩码图像中相应像素点对应的图像类别预估值的均方误差,作为所述分割网络模型的损失值;
通过优化所述分割网络模型的参数,使得所述损失值收敛到预设值,完成所述人脸活体检测模型的训练。
本申请的一些实施例中,所述第一图像的第一掩码图像通过以下方法得到:
将所述第一掩码图像中与所述第一图像中皮肤图像像素点对应的像素点的像素值,设置为指示活体图像类别的取值;以及,将所述第一掩码图像中与所述第一图像中非皮肤图像像素点对应的像素点的像素值,设置为指示非活体图像类别的取值;其中,所述非皮肤图像包括:背景图像、头发图像、遮挡物图像。
本申请的一些实施例中,所述根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像之前,还包括:
确定所述目标人脸图像中是否存在遮挡物遮挡人脸的情况;
响应于所述目标人脸图像中存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第一阈值;
响应于所述目标人脸图像中不存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第二阈值;其中,所述第二阈值大于所述第一阈值。
本申请实施例公开的人脸活体检测装置,用于实现本申请实施例一中所述的人脸活体检测方法,装置的各模块的具体实施方式不再赘述,可参见方法实施例相应步骤的具体实施方式。
本申请实施例公开的人脸活体检测装置,通过对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像,能够提升人脸活体检测算法的鲁棒性和对图像采集设备的适配性能。
本申请实施例公开的人脸活体检测装置,基于图像的像素级别特征进行活体检测,对图像采集设备、图像采集光源没有特殊要求,鲁棒性和适配性较高。并且,计算复杂度低,运算量小,尤其适用于智能终端,如门禁、智能手机等电子设备。
相应的,本申请还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例一所述的人脸活体检测方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例一所述的人脸活体检测方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种人脸活体检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本申请的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸活体检测方法,其特征在于,包括:
对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;
根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;
通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;
根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;
根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
2.根据权利要求1所述的方法,其特征在于,所述对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置的步骤之前,还包括:
构建训练样本,所述训练样本包括:活体人脸对应的若干正样本和非活体对应的若干负样本;其中,所述正样本的样本数据为包含活体人脸的第一图像,所述正样本的样本标签为所述第一图像的第一掩码图像,所述第一掩码图像的每个像素值用于标记相应第一图像中相应像素点对应的图像类别为活体或非活体;所述负样本的样本数据为不包含活体人脸的第二图像,所述负样本的样本标签为所述第二图像的第二掩码图像,所述第二掩码图像的每个像素值用于标记相应第二图像中相应像素点对应的图像类别为非活体;
基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型。
3.根据权利要求2所述的方法,其特征在于,所述人脸活体检测模型采用分割网络模型,所述基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型的步骤,包括:
通过所述分割网络模型的卷积层和池化层,提取每个所述训练样本的样本数据中的图像特征;
对于每个所述训练样本的样本数据中的图像特征,分段执行所述分割网络模型的上采样层,对所述图像特征分别进行上采样,得到每个所述训练样本的掩码图像;
对于所有所述训练样本,通过执行所述分割网络模型的损失函数,计算各所述训练样本的样本标签中各像素点对应的图像类别与相应训练样本的掩码图像中相应像素点对应的图像类别预估值的均方误差,作为所述分割网络模型的损失值;
通过优化所述分割网络模型的参数,使得所述损失值收敛到预设值,完成所述人脸活体检测模型的训练。
4.根据权利要求2所述的方法,其特征在于,所述第一图像的第一掩码图像通过以下方法得到:
将所述第一掩码图像中与所述第一图像中皮肤图像像素点对应的像素点的像素值,设置为指示活体图像类别的取值;以及,将所述第一掩码图像中与所述第一图像中非皮肤图像像素点对应的像素点的像素值,设置为指示非活体图像类别的取值;其中,所述非皮肤图像包括:背景图像、头发图像、遮挡物图像。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像的步骤之前,还包括:
确定所述目标人脸图像中是否存在遮挡物遮挡人脸的情况;
响应于所述目标人脸图像中存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第一阈值;
响应于所述目标人脸图像中不存在遮挡物遮挡人脸的情况,确定所述活体概率阈值为第二阈值;其中,所述第二阈值大于所述第一阈值。
6.一种人脸活体检测装置,其特征在于,包括:
人脸关键点定位模块,用于对待检测人脸图像进行人脸定位处理,确定预设人脸关键点在所述待检测人脸图像中的位置;
归一化模块,用于根据所述位置对所述待检测人脸图像进行裁剪和归一化处理,获得目标人脸图像;
第一掩码图像获取模块,用于通过执行预先训练的人脸活体检测模型,对所述目标人脸图像进行卷积运算和特征映射处理,获得所述目标人脸图像对应的第一掩码图像;其中,所述第一掩码图像中每个像素点的取值用于指示所述目标人脸图像中相应像素点为活体图像类别或者为非活体图像类别;
像素类别预估模块,用于根据所述第一掩码图像确定所述目标人脸图像中为活体图像类别的像素点的概率值;
人脸活体类别确定模块,用于根据预先确定的与所述目标人脸图像匹配的活体概率阈值和所述概率值的比较结果,确定所述待检测人脸图像为活体人脸的图像或非活体人脸的图像。
7.根据权利要求6所述的装置,其特征在于,还包括:
训练样本构建模块,用于构建训练样本,所述训练样本包括:活体人脸对应的若干正样本和非活体对应的若干负样本;其中,所述正样本的样本数据为包含活体人脸的第一图像,所述正样本的样本标签为所述第一图像的第一掩码图像,所述第一掩码图像的每个像素值用于标记相应第一图像中相应像素点对应的图像类别为活体或非活体;所述负样本的样本数据为不包含活体人脸的第二图像,所述负样本的样本标签为所述第二图像的第二掩码图像,所述第二掩码图像的每个像素值用于标记相应第二图像中相应像素点对应的图像类别为非活体;
人脸活体检测模型训练模块,用于基于所述若干正样本和所述若干负样本,训练所述人脸活体检测模型。
8.根据权利要求7所述的装置,其特征在于,所述人脸活体检测模型采用分割网络模型,所述人脸活体检测模型训练模块,进一步用于:
通过所述分割网络模型的卷积层和池化层,提取每个所述训练样本的样本数据中的图像特征;
对于每个所述训练样本的样本数据中的图像特征,分段执行所述分割网络模型的上采样层,对所述图像特征分别进行上采样,得到每个所述训练样本的掩码图像;
对于所有所述训练样本,通过执行所述分割网络模型的损失函数,计算各所述训练样本的样本标签中各像素点对应的图像类别与相应训练样本的掩码图像中相应像素点对应的图像类别预估值的均方误差,作为所述分割网络模型的损失值;
通过优化所述分割网络模型的参数,使得所述损失值收敛到预设值,完成所述人脸活体检测模型的训练。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的程序代码,其特征在于,所述处理器执行所述程序代码时实现权利要求1至5任意一项所述的人脸活体检测方法。
10.一种计算机可读存储介质,其上存储有程序代码,其特征在于,该程序代码被处理器执行时实现权利要求1至5任意一项所述的人脸活体检测方法的步骤。
CN202110130835.9A 2021-01-29 2021-01-29 人脸活体检测方法、装置、电子设备 Pending CN112836625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110130835.9A CN112836625A (zh) 2021-01-29 2021-01-29 人脸活体检测方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110130835.9A CN112836625A (zh) 2021-01-29 2021-01-29 人脸活体检测方法、装置、电子设备

Publications (1)

Publication Number Publication Date
CN112836625A true CN112836625A (zh) 2021-05-25

Family

ID=75932607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110130835.9A Pending CN112836625A (zh) 2021-01-29 2021-01-29 人脸活体检测方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN112836625A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN114973426A (zh) * 2021-06-03 2022-08-30 中移互联网有限公司 活体检测方法、装置及设备
TWI787113B (zh) * 2021-05-31 2022-12-11 大陸商深圳市商湯科技有限公司 圖像處理方法、裝置、處理器、電子設備及儲存媒體
CN115950888A (zh) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN110245645A (zh) * 2019-06-21 2019-09-17 北京字节跳动网络技术有限公司 人脸活体识别方法、装置、设备及存储介质
CN110705392A (zh) * 2019-09-17 2020-01-17 Oppo广东移动通信有限公司 一种人脸图像检测方法及装置、存储介质
CN110765924A (zh) * 2019-10-18 2020-02-07 腾讯科技(深圳)有限公司 一种活体检测方法、装置以及计算机可读存储介质
CN111339897A (zh) * 2020-02-21 2020-06-26 腾讯科技(深圳)有限公司 活体识别方法、装置、计算机设备和存储介质
CN111626163A (zh) * 2020-05-18 2020-09-04 浙江大华技术股份有限公司 一种人脸活体检测方法、装置及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN110245645A (zh) * 2019-06-21 2019-09-17 北京字节跳动网络技术有限公司 人脸活体识别方法、装置、设备及存储介质
CN110705392A (zh) * 2019-09-17 2020-01-17 Oppo广东移动通信有限公司 一种人脸图像检测方法及装置、存储介质
CN110765924A (zh) * 2019-10-18 2020-02-07 腾讯科技(深圳)有限公司 一种活体检测方法、装置以及计算机可读存储介质
CN111339897A (zh) * 2020-02-21 2020-06-26 腾讯科技(深圳)有限公司 活体识别方法、装置、计算机设备和存储介质
CN111626163A (zh) * 2020-05-18 2020-09-04 浙江大华技术股份有限公司 一种人脸活体检测方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林云 等: "基于语义分割的活体检测算法", 《吉林大学学报(工学版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI787113B (zh) * 2021-05-31 2022-12-11 大陸商深圳市商湯科技有限公司 圖像處理方法、裝置、處理器、電子設備及儲存媒體
CN114973426A (zh) * 2021-06-03 2022-08-30 中移互联网有限公司 活体检测方法、装置及设备
CN114973426B (zh) * 2021-06-03 2023-08-15 中移互联网有限公司 活体检测方法、装置及设备
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN115950888A (zh) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备
CN115950888B (zh) * 2023-01-09 2024-04-09 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN112989995B (zh) 文本检测方法、装置及电子设备
CN110222718A (zh) 图像处理的方法及装置
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN116798041A (zh) 图像识别方法、装置和电子设备
CN113012030A (zh) 图像拼接方法、装置及设备
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210525

RJ01 Rejection of invention patent application after publication