CN111652086B - 人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

人脸活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111652086B
CN111652086B CN202010414607.XA CN202010414607A CN111652086B CN 111652086 B CN111652086 B CN 111652086B CN 202010414607 A CN202010414607 A CN 202010414607A CN 111652086 B CN111652086 B CN 111652086B
Authority
CN
China
Prior art keywords
face
key points
point
depth
face key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010414607.XA
Other languages
English (en)
Other versions
CN111652086A (zh
Inventor
陈莹
黄磊
张健
彭菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN202010414607.XA priority Critical patent/CN111652086B/zh
Publication of CN111652086A publication Critical patent/CN111652086A/zh
Application granted granted Critical
Publication of CN111652086B publication Critical patent/CN111652086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸活体检测方法,属于人脸识别技术领域,有助于提升人脸活体检测的准确度。所述方法包括:获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;根据人脸关键点与所述人脸曲面之间的距离,对目标人脸进行活体判断。所述方法,基于人脸活体图像中人脸关键点与拟合得到的人脸曲面之间距离较大的特点,进行人脸活体检测,可以有效地提升人脸活体检测的准确性。

Description

人脸活体检测方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸识别技术领域,特别是涉及一种人脸活体检测方法、装置、电子设备及计算机可读存储介质。
背景技术
为了提高人脸识别技术在实际应用中的安全性,对待识别人脸图像进行活体检测,以对抗非真人的照片或视频对人脸识别应用进行攻击的重要性日益凸显。现有技术中,基于双目摄像头的人脸识别技术中,在进行人脸活体检测时,多采用待识别人脸图像的三维特征结合二维特征的方案,对双目摄像头采集的人脸图像进行三维重建后得到的三维关键点信息作为特征向量进行分类,特征向量维度低,容易产生过拟合,而且受到关键定位误差的影响较大,鲁棒性差。并且,二维特征和三维特征直接相连得到的特征无法准确代表活体和非活体两类人脸图像,存在活体检测准确率低的缺陷。
可见,现有技术中的人脸活体检测的方法仍需要改进。
发明内容
本申请提供一种人脸活体检测方法,有助于提升人脸活体检测的准确性。
为了解决上述问题,第一方面,本申请实施例提供了一种人脸活体检测方法,包括:
获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;
根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;
根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;
根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
第二方面,本申请实施例提供了一种人脸活体检测装置,包括:
人脸关键点确定模块,用于获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;
人脸关键点三维坐标确定模块,用于根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;
人脸曲面拟合模块,用于根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;
活体检测模块,用于根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
第三方面,本申请实施例还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例所述的人脸活体检测方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时本申请实施例公开的人脸活体检测方法的步骤。
本申请实施例公开的人脸活体检测方法,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,有助于提升人脸活体检测的准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一的人脸活体检测方法流程图;
图2本申请实施例中的人脸活体检测方法定位的人脸关键点;
图3本申请实施例中的人脸活体检测方法采用的双目可见光摄像头成像原理示意图;
图4是本申请实施例二的人脸活体检测方法流程图;
图5是本申请实施例三的人脸活体检测方法流程图;
图6是本申请实施例四的人脸活体检测装置结构示意图之一;
图7是本申请实施例四的人脸活体检测装置结构示意图之二;
图8是本申请实施例四的人脸活体检测装置结构示意图之三。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
本申请实施例公开的一种人脸活体检测方法,如图1所示,所述方法包括步骤110至步骤140。
步骤110,获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标。
本申请实施例中所述的人脸活体检测方法适用于具有不同图像采集装置的电子设备,例如,具有至少两个摄像头的人脸识别设备;或者,适用于具有不同图像采集装置的系统,例如,对于同一场景设置有至少两个摄像头的监控系统。本申请实施例中,所述的目标人脸可以为活体人脸、照片中的人脸或视频图像中的人脸。本申请实施例中,每个所述图像采集装置针对同一物体(如人脸、照片或视频图像等)同步采集包含人脸影像的至少两幅人脸图像。当然,该至少两个图像采集装置可以都为可见光图像采集装置,也可以都为红外光图像采集装置,或者其中一部分为可见光图像采集装置,另一部分为红外光图像采集装置,可根据实际需要调整,本申请对此不做限定。
由于所述目标人脸对应的每幅人脸图像分别通过不同的图像采集装置(如摄像头),在同一时刻从不同位置进行采集,因此,在进行人脸检测或人脸识别之前,首先需要对至少两幅人脸图像进行矫正,使得至少两幅人脸图像在水平方向保持一致。
本申请的一些实施例中,以两个图像采集装置在同一时刻从不同位置采集两幅人脸图像为例,两个不同所述图像采集装置针对同一物体同步采集包含人脸影像的两幅人脸图像构成人脸图像对,可以首先对采集所述人脸图像对的两个图像采集装置进行标定。以两个图像采集装置为双目可见光摄像头为例,可以用平面棋盘格标定法对双目可见光摄像头标定,通过变换打印的棋盘图片,拍摄不同角度的棋盘图像,在棋盘格上提取出10x10的角点,根据角点在采集的棋盘图像上的坐标,估算双目可见光摄像头的内参矩阵和外参矩阵。具体应用过程中,通过估算得到的所述内参矩阵和外参矩阵对所述双目可见光摄像头采集的人脸图像对中的两幅人脸图像进行矫正,得到用于进行人脸关键点检测的人脸图像。其中,基于平面棋盘格标定法确定双目可见光摄像头的内参矩阵和外参矩阵的具体实施方式,参见现有技术,本申请实施例中不再赘述。
在本申请的其他实施例中,还可以采用其他方法对采集人脸图像对的双目图像采集装置进行标定,或者,采用其他方法对所述人脸图像对中的两幅人脸图像进行矫正,本申请实施例中不再一一例举。本申请对所述人脸图像对中的两幅人脸图像进行矫正的具体实施方法不做限定。
在获取水平方向一致的一对人脸图像之后,分别对每幅人脸图像进行人脸关键点检测,确定每幅人脸图像中的若干人脸关键点的信息。本申请实施例中所述的人脸关键点,包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点在内的至少65个人脸关键点,且所述人脸关键点中不包括面部轮廓点。例如,采用现有技术中ASM(Active ShapeModel,活动形状模型)算法,确定人脸图像中106个人脸关键点,得到这106个人脸关键点中每个人脸关键点在人脸图像中的二维坐标和置信度。所述置信度用于指示人脸关键点定位的准确性。本申请的其他实施例中,还可以采用现有技术中的其他算法确定人脸图像中的人脸关键点的信息,只要确定的人脸关键点信息至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,并且,确定的人脸关键点数量除面部轮廓点之外,大于或等于65个点的人脸关键点确定算法,都可以用来实现本申请中确定人脸关键点的信息的步骤,本申请对此不做限定。
图2示出了本申请一个实施例中确定的106个人脸关键点的分布示意图。
步骤120,根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标。
前述步骤中确定的每个所述人脸关键点的信息包括人脸关键点的二维坐标(即人脸关键点在该人脸图像中的像素坐标)和置信度。
由于人脸关键点定位的准确程度直接影响到双目视觉的点的匹配准确率,进而影响三维空间坐标的计算准确率,因此,本申请具体实施时,选取置信度较高,且立体信息明显的人脸关键点进行人脸活体检测。根据先验知识,鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点在人脸部位中立体信息最明显,在面部结构中最重要,且定位准确率较高,因此这5点设为必选的人脸关键点。而人脸图像中的面部轮廓点,因受到采集人脸图像时人脸的角度、光线等因素影响,定位误差较大,则不用于进行人脸活体检测。本申请的一些实施例中,将鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,以及除面部轮廓点之外的置信度满足预设置信度条件(如置信度大于预设置信度阈值的至少60个)的人脸关键点确定为用于进行人脸活体检测的若干人脸关键点。
本申请的一些实施例中,还可以预先设定置信度阈值,如果置信度大于预设置信度阈值的人脸关键点的数量小于65个,则可以直接采用二维人脸活体检测方法进行人脸活体检测。
接下来,根据确定的所述若干人脸关键点的二维坐标,计算各所述人脸关键点的三维坐标。本申请的一些实施例中,根据所述双目可见光摄像头的内参矩阵和外参矩阵,基于相似三角形原理,根据每个人脸关键点的二维坐标计算该人脸关键点的三维坐标。下面结合图3中所示的双目可见光摄像头成像原理描述二维坐标到三维坐标的计算原理。
如图3所示,Ql和Qr分别为两个可见光摄像头的光心,对应相应可见光摄像头采集的人脸图像的像素坐标原点,两个可见光摄像头的光心之间的距离为T,xl为成像物体上的一点P在左侧可见光摄像头采集的人脸图像中的水平方向坐标,xr为成像物体上的一点P在右侧可见光摄像头采集的人脸图像中的水平方向坐标,两个可见光摄像头的成像的视差为d,d=xl-xr,f为双目摄像头的焦距,Z为成像物体(如人脸)上一点P到双目可见光摄像头所在平面的距离,即成像点P的深度值,根据相似三角形原理可得
Figure BDA0002494581240000061
该公式可以转换成Tf=TZ-Z*(xl-xr),进一步可以推导出
Figure BDA0002494581240000062
对于采集人脸图像对的双目可见光摄像头,根据摄像头标定的过程中得到的内参矩阵和外参矩阵,可以得到反射投影矩阵
Figure BDA0002494581240000063
其中,-cx和-cy为内参矩阵和外参矩阵中的参数,反射投影矩阵Q使得转换公式
Figure BDA0002494581240000064
成立,其中,(X,Y,Z)为转换得到的三维坐标,(x,y)为人脸关键点的二维坐标,w为转换系数,该转换系数为根据该双目可见光摄像头采集的若干人脸图像的变换结果确定的常数值。
根据上述转换公式,可以根据前述步骤确定的每个人脸关键点的二维坐标,确定相应人脸关键点的三维坐标。具体到本实施例而言,如果前述步骤确定了用于进行人脸活体检测的65个人脸关键点,通过上述转换公式,将可以确定用于进行人脸活体检测的65个人脸关键点的三维坐标。这65个人脸关键点的三维坐标是对应目标人脸的人脸关键点的三维坐标。
本申请的其他实施例中,还可以采用其他方法根据人脸关键点的二维坐标转换得到相应人脸关键点的三维坐标,本申请实施例中不再一一例举。本申请对根据人脸关键点的二维坐标,确定相应人脸关键点的三维坐标的具体实施方式不做限定。
步骤130,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面。
在确定了目标人脸的人脸关键点的三维坐标之后,进一步的,根据所述人脸关键点的三维坐标可以进行曲面拟合。
本申请的一些实施例中,由于人脸图像对中的人脸图像已经进行了水平矫正,并且基于双目摄像头的内参矩阵和外参矩阵进行了三维转换,因此,两个可见光摄像头采集的人脸图像中的人脸关键点,经过三维转换后得到的人脸关键点三维坐标可以作为人脸图像对中任意一幅人脸图像中的人脸关键点的三维坐标。即经过三维转换后得到的人脸关键点三维坐标可以作为人脸图像对的人脸关键点的三维坐标,根据人脸关键点的三维坐标可以拟合人脸曲面。
本申请具体实施时,可以采用现有技术中的方法根据若干(如65个)人脸关键点的三维坐标拟合人脸曲面。例如,根据前述确定的部分或全部所述人脸关键点(如前述步骤中确定的包括鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,以及除面部轮廓点之外的置信度满足预设置信度条件的至少共65个的人脸关键点)的三维坐标,拟合人脸曲面。
本申请的一些实施例中,可以采用如最小二乘法拟合人脸曲面。例如,通过如下公式拟合人脸曲面f(x,y):
Figure BDA0002494581240000071
其中,x,y为人脸关键点的坐标值,aij为最小二乘估计矩阵A中第i行第j列的元素,p、q分别为x,y的最高次幂,根据曲面复杂程度确定,本申请实施例中可以将p、q设为3。最小二乘估计矩阵A中各元素的值则为通过拟合求得的值。
本申请对根据一幅人脸图像中若干人脸关键点的三维坐标拟合人脸曲面的具体实施方式不做限定。
步骤140,根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
在拟合得到人脸曲面之后,可以进一步根据部分或全部人脸关键点到人脸曲面的距离,判断人脸关键点来自于活体人脸的图像或非活体人脸的图像。通常,采集的非活体人脸(如照片或视频)的人脸图像,其中的人脸关键点的深度信息不明显,比较容易拟合到平滑的人脸曲面,而人脸关键点到拟合得到的人脸曲面的距离也较小,趋近于零。而采集到的活体人脸(如真人)的人脸图像,其中的人脸关键点中一些关键点的深度信息明显,不容易拟合到平滑的人脸曲面,人脸关键点到拟合得到的人脸曲面的距离也较大。基于上述成像特点,本申请实施例中,根据所述任意一幅所述人脸图像中的部分或全部所述人脸关键点与所述人脸曲面之间的距离,对该幅所述人脸图像进行活体判断。
本申请的一些实施例中,所述根据所述部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,包括:确定部分或全部所述人脸关键点到所述人脸曲面的距离之和;根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断。例如,在根据前述确定的65个人脸关键点拟合得到人脸曲面之后,可以进一步根据这65个人脸关键点或者这65个人脸关键点中的部分人脸关键点(如包括如鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点在内的5个或更多数量的人脸关键点)到所述人脸曲面的距离之和;然后,根据用于计算所述距离之和的各人脸关键点的置信度和预先设定的先验深度距离阈值实时确定深度距离阈值(即动态确定的深度距离阈值);最后,将确定的所述距离之和与动态确定的深度距离阈值进行比较,根据该距离之和与动态确定的深度距离阈值之间的大小关系,对每幅所述人脸图像进行活体判断。根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对每幅所述人脸图像进行活体判断,包括:当所述距离之和大于动态确定的所述深度距离阈值时,确定所述目标人脸为活体人脸;当所述距离之和小于或等于动态确定的所述深度距离阈值时,确定所述目标人脸为非活体人脸。例如,当该距离之和大于动态确定的深度距离阈值,说明该人脸图像的人脸关键点深度信息明显,则可以认为该目标人脸为采集的真人人脸图像;当该距离之和小于或等于动态确定的深度距离阈值,说明该人脸图像的人脸关键点深度信息不明显,则可以认为该目标人脸为采集的人脸照片或视频的图像。其中,该深度距离阈值为动态确定的,该深度距离阈值与用于计算所述距离之和的各人脸关键点的置信度相关。
为了进一步提升人脸活体检测的准确性,排除人脸图像大小对结果的影响,本申请实施例中所述的人脸关键点到人脸曲面的距离之和为归一化处理后的所有距离之和。本申请的一些实施例中,所述确定部分或全部所述人脸关键点到所述人脸曲面的距离之和,包括:计算部分或全部所述人脸关键点到所述人脸曲面的各自最短距离;通过将每个所述最短距离除以所述目标人脸的眼间距对每个所述最短距离进行归一化处理;将所有所述最短距离归一化处理后得到数值的累加和,作为所述部分或全部所述人脸关键点到所述人脸曲面的距离之和。例如,首先通过公式En=|f(xn,yn)-zn|计算所述部分或全部人脸关键点(如前述65个人脸关键点)中人脸关键点(xn,yn,zn)到拟合得到的人脸曲面f(x,y)之间的最短距离En;之后,将该最短距离通过公式
Figure BDA0002494581240000091
进行归一化处理,得到人脸关键点(xn,yn,zn)到人脸曲面的归一化后的距离值E′n;最后,对所述部分或全部人脸关键点(如前述65个人脸关键点)的归一化后的距离值E′n累加求和,将累加后求得的累加和作为该目标人脸的所述部分或全部所述人脸关键点(即前述65个人脸关键点)到所述人脸曲面的距离之和。
其中,Diseye表示所述目标人脸的眼间距。本申请的一些实施例中,可以根据目标人脸的任意一幅人脸图像中人脸关键点中左眼下眼睑点、右眼下眼睑点的三维坐标计算目标人脸的眼间距。例如通过以下公式计算目标人脸的眼间距:
Figure BDA0002494581240000092
其中,Leye.x,Leye.y,Leye.z为左眼下眼睑点的三维坐标,Reye.x,Reye.y,Reye.z为右眼下眼睑点的三维坐标。
人脸关键点信息的准确度直接影响到人脸活体检测的准确性,因此,本申请具体实施时,根据人脸关键点定位的准确度动态调整人脸活体判断时依赖的深度距离阈值。本申请的一些实施例中,每个所述人脸关键点的信息包括所述人脸关键点的置信度,所述根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断之前,还包括:确定部分或全部所述人脸关键点的平均置信度;根据先验深度距离阈值与所述平均置信度的商,动态确定深度距离阈值。例如,在使用65个人脸关键点到人脸曲面的距离之和与深度距离阈值进行比较,判断人脸图像是否为采集的真人人脸图像时,首先计算这65个人脸关键点的平均置信度,之后,将预设的先验深度距离阈值与所述平均置信度的商,作为深度距离阈值。由此可见,人脸关键点的置信度越低,动态确定的深度距离阈值越大,对人脸关键点到人脸曲面的距离要求越大,即只有深度信息更加明显的人脸图像才可能被识别为采集的人脸活体的人脸图像,因此,进一步提升了人脸活体检测的准确性。通过动态确定深度距离阈值,可以降低人脸关键点定位不准确对活体检测产生的影响,鲁棒性更强。
其中,先验深度距离阈值是根据对若干真人人脸图像和若干人脸照片图像中如前所述的部分或全部人脸关键点到相应的人脸曲面的距离之和的统计结果确定的深度距离阈值。真人人脸图像中,如前所述的部分或全部人脸关键点到相应的人脸曲面的距离之和通常大于统计确定的深度距离阈值;而人脸照片图像中,如前所述的部分或全部人脸关键点到相应的人脸曲面的距离之和通常小于统计确定的深度距离阈值。
本申请实施例公开的人脸活体检测方法,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,有助于提升人脸活体检测的准确度。
本申请实施例公开的人脸活体检测方法,通过基于双目图像采集设备采集的二维图像进行三维重建,得到人脸图像的三维坐标,并基于三维坐标拟合人脸曲面,并根据深度信息较明显的人脸关键点到拟合得到的人脸曲面之间的距离之和,基于人脸活体图像中人脸关键点与拟合得到的人脸曲面之间距离较大的特点,进行人脸活体检测,可以有效地提升人脸活体检测的准确性。
进一步的,通过动态确定深度距离阈值,可以进一步提升人脸活体检测的准确性。
实施例二
结合图4,本申请另一实施例公开的人脸活体检测方法,包括步骤410至步骤470。
步骤410,获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息。
其中,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标。
获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息的具体实施方式参见实施例一,本实施例不再赘述。
确定的每个所述人脸关键点的信息包括所述人脸关键点的二维坐标和置信度,所述置信度用于指示人脸关键点定位的准确性。
步骤420,根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标。
根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标的具体实施方式参见实施例一,本实施例不再赘述。
步骤430,根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差。
本申请的一些实施例中,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面之前,还包括:根据部分或全部所述人脸关键点的三维坐标,确定部分或全部所述人脸关键点的归一化深度值的方差,其中,所述人脸关键点的归一化深度值根据该人脸关键点的深度坐标值除以所述目标人脸的眼间距得到的商确定。例如,首先通过公式
Figure BDA0002494581240000111
计算人脸关键点i的归一化深度值Di,其中,zi为人脸关键点i的深度坐标值,Diseye为该目标人脸的眼间距。目标人脸的眼间距Diseye的计算方法如实施例一所述,本实施例中不再赘述;之后,计算该目标人脸的部分或全部所述人脸关键点的归一化深度值的方差。例如,通过如下公式计算该目标人脸的前述65个人脸关键点的归一化深度值的方差:
Figure BDA0002494581240000112
其中,u为N个人脸关键点的平均归一化深度值,通过公式
Figure BDA0002494581240000113
计算得到,N为用于判断人脸活体的人脸关键点的数量,如N=65。
步骤440,将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则跳转至执行步骤450;否则,跳转至步骤470。
之后,将所述方差与动态确定的深度值方差阈值进行比较,根据比较结果确定该目标人脸为采集的真人人脸或非活体人脸。本申请的一些实施例中,将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则执行所述根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面的步骤;否则,确定所述目标人脸为非活体人脸。例如,在确定了目标人脸的65个人脸关键点归一化深度值的方差σl之后,将确定的所述方差σl与动态确定的深度值方差阈值σTH进行比较,当所述方差σl大于动态确定深度值方差阈值σTH时,说明目标人脸中的人脸关键点深度信息明显,则可以认为该人脸图像对中的人脸图像为采集的真人人脸图像;当所述方差σl小于动态确定深度值方差阈值σTH时,说明该目标人脸的人脸关键点深度信息不明显,则可以认为该人脸图像对中至少一幅人脸图像为采集的非活体人脸(如人脸照片或视频)的图像。
本申请的一些实施例中,将所述方差与动态确定的深度值方差阈值进行比较之前,还包括:确定部分或全部所述人脸关键点的平均置信度;根据先验深度值方差阈值与所述平均置信度的商,动态确定所述深度值方差阈值。例如,在使用65个人脸关键点的归一化深度值方差与深度值方差阈值进行比较,判断人脸图像是否为采集的真人人脸图像时,首先计算这65个人脸关键点的平均置信度,之后,将预设的先验深度值方差阈值与所述平均置信度的商,作为深度值方差阈值。由此可见,人脸关键点的置信度越低,动态确定的深度值方差阈值越大,对人脸关键点的深度方差要求越大,即只有深度信息更加明显的人脸图像才可能被识别为采集的人脸活体的人脸图像,因此,进一步提升了人脸活体检测的准确性。通过动态确定深度值方差阈值,可以降低人脸关键点定位不准确对活体检测产生的影响,鲁棒性更强。
其中,先验深度值方差阈值是根据对若干真人人脸图像和若干人脸照片图像中如前所述的部分或全部人脸关键点的归一化深度值方差的统计结果确定的深度值方差阈值。真人人脸图像中,如前所述的部分或全部人脸关键点的归一化深度值方差通常大于统计确定的深度值方差阈值;而人脸照片图像中,如前所述的部分或全部人脸关键点的归一化深度值方差通常小于统计结果确定的深度值方差阈值。
步骤450,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面。
根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面的具体实施方式参见实施例一,本实施例不再赘述。
步骤460,根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
根据所述部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断的具体实施方式参见实施例一,本实施例不再赘述。
步骤470,确定所述目标人脸为非活体人脸,结束本次人脸活体检测。
本申请实施例公开的人脸活体检测方法,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据两幅所述人脸图像中的所述若干人脸关键点的二维坐标,计算各所述人脸关键点的三维坐标;根据部分或全部所述人脸关键点的三维坐标,确定部分或全部所述人脸关键点的归一化深度值的方差;将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面,并根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断;否则,确定所述目标人脸为非活体人脸,有助于提升人脸活体检测的准确度。同时,通过首先根据人脸关键点的深度值方差进行人脸活体判断,对于深度信息不明显的人脸图像,可以直接识别为非人脸,不需要进行人脸曲面拟合,对于人脸关键点的深度信息复杂,识别难度较大的人脸图像,进一步通过人脸曲面拟合来进行人脸活体检测,可以提升人脸活体检测的效率。
实施例三
结合图5,本申请又一实施例公开的人脸活体检测方法,包括步骤510至步骤5901。
步骤510,获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息。
其中,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标。
获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息的具体实施方式参见实施例一,本实施例不再赘述。
确定的每个所述人脸关键点的信息包括所述人脸关键点的二维坐标和置信度,所述置信度用于指示人脸关键点定位的准确性。
本申请实施例中确定的若干人脸关键点至少包括:左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点、鼻尖点。
步骤520,根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标。
根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标的具体实施方式参见实施例一,本实施例不再赘述。
步骤530,确定所述人脸关键点中的左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点的平均深度值与所述鼻尖点的深度差值。
本申请实施例中所述部分或全部所述人脸关键点,至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,所述根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差之前,还包括:确定所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值;将所述深度差值除以所述目标人脸的眼间距,得到归一化处理后的深度差值;将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较,若所述归一化处理后的深度差值大于或等于动态确定的鼻尖点深度差阈值,则执行所述根据部分或全部所述人脸关键点的三维坐标,确定部分或全部所述人脸关键点的归一化深度值的方差的步骤;否则,确定所述目标人脸为非活体人脸。
以左眼下眼睑点的三维坐标为Leye(x,y,z),右眼下眼睑点的三维坐标为Reye(x,y,z),鼻尖点的三维坐标Nose(x,y,z),左嘴角点的三维坐标为Lmouth(x,y,z),右嘴角点的三维坐标为Rmouth(x,y,z)举例,例如,通过公式S′z=Nose.z-(Leye.z+Reye.z+Lmouth.z+Rmouth.z)计算前述确定的人脸关键点中所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值S′z
本申请的一些实施例中,还可以通过如公式S′z=Nose.z-(Leye.z+Reye.z+Lmouth.z+Rmouth.z)/4或者S′z=4*Nose.z-(Leye.z+Reye.z+Lmouth.z+Rmouth.z)计算所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值S′z。其中,所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值S′z与所述鼻尖点的深度值分别与所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的深度值之间的差值正相关。
步骤540,将所述深度差值除以所述目标人脸的眼间距,得到归一化处理后的深度差值。
之后,通过如公式
Figure BDA0002494581240000151
对所述差值S′z进行归一化处理,得到归一化后的深度差值Sz,其中,Diseye为目标人脸的眼间距,可以通过如实施例一中所述的方法确定目标人脸的眼间距。
步骤550,将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较,若所述归一化处理后的深度差值大于或等于动态确定的鼻尖点深度差阈值,则跳转至执行步骤560;否则,跳转至执行步骤5901。
本申请的一些实施例中,将进行归一化处理后的所述深度差值与动态确定的鼻尖点深度差阈值进行比较,若所述归一化处理后的深度差值大于或等于动态确定的鼻尖点深度差阈值,则执行所述根据部分或全部所述人脸关键点的三维坐标,确定部分或全部所述人脸关键点的归一化深度值的方差的步骤;否则,确定所述目标人脸为非活体人脸。
本申请的一些实施例中,所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值Sz所表达的含义是鼻尖点与左右眼和左右嘴角的深度平均值的差,差越大说明鼻尖点的立体信息越明显,差越小说明人脸图像更趋向于平面。例如,在确定了左侧可见光摄像头采集的人脸图像中的所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点和鼻尖点的平均深度差值Sz之后,将该深度差值Sz与确定的鼻尖点深度差阈值STH进行比较,当所述深度差值Sz大于实时确定的鼻尖点深度差阈值STH时,说明该人脸图像中的鼻尖点、左右眼下眼睑点和左右嘴角点的深度信息明显,则可以认为该人脸图像为采集的真人人脸图像;当所述深度差值Sz小于实时确定的鼻尖点深度差阈值STH时,说明该人脸图像中的鼻尖点、左右眼下眼睑点和左右嘴角点的深度信息不明显,则可以认为该人脸图像为采集的人脸照片或视频的图像。
本申请的一些实施例中,每个所述人脸关键点的信息包括所述人脸关键点的置信度,所述将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较之前,还包括:确定所述鼻尖点、所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的五点平均置信度;根据先验鼻尖点深度差阈值与所述五点平均置信度的商,动态确定所述鼻尖点深度差阈值。例如,首先计算目标人脸的人脸关键点中鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点的平均置信度,之后,将预设的先验鼻尖点深度差阈值与所述平均置信度的商,作为当前鼻尖点深度差阈值。由此可见,人脸关键点的置信度越低,动态确定的鼻尖点深度差阈值越大,对鼻尖点与左右眼下眼睑点、左右嘴角点的深度差值要求越大,即只有深度信息更加明显的人脸图像才可能被识别为采集的人脸活体的人脸图像,因此,进一步提升了人脸活体检测的准确性。通过动态确定鼻尖点深度差阈值,可以降低人脸关键点定位不准确对活体检测产生的影响,鲁棒性更强。
其中,先验鼻尖点深度差阈值是根据对若干真人人脸图像和若干人脸照片图像中左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点与鼻尖点的归一化深度差值的统计结果确定的鼻尖点深度差阈值。真人人脸图像中,左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点与鼻尖点的归一化深度差值通常大于统计确定的鼻尖点深度差阈值;而人脸照片图像中,左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点与鼻尖点的归一化深度差值通常小于统计确定的鼻尖点深度差阈值。
步骤560,根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差。
根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差的具体实施方式参见实施例二,本实施例不再赘述。
步骤570,将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则跳转至执行步骤580,否则,跳转至步骤5901。
动态确定的深度值方差阈值,以及,将所述部分或全部人脸关键点的方差与动态确定的深度值方差阈值进行比较的具体实施方式参见实施例二中的相关描述,本实施例不再赘述。
步骤580,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面。
根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面的具体实施方式参见实施例一,本实施例不再赘述。
步骤590,根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
根据所述部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断的具体实施方式参见实施例一,本实施例不再赘述。
步骤5901,确定所述目标人脸为非活体人脸,结束本次人脸活体检测。
本申请实施例公开的人脸活体检测方法,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;之后,首先根据左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点与鼻尖点的归一化深度差值进行人脸活体检测,如果确定该人脸图像非人脸活体(如为照片的图像)则直接输出人脸活体识别结果,否则,进一步根据部分或全部所述人脸关键点的归一化深度值的方差进行人脸活体检测;若根据所述方差识别出该人脸图像非人脸活体(如为照片的图像)则只是输出人脸活体识别结果,否则,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面,并根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,有助于提升人脸活体检测的准确度。同时,通过对于依次对人脸图像采用不同识别精度的人脸活体检测方法,对于深度信息不明显的人脸图像,可以直接识别为非活体人脸,不需要进行人脸曲面拟合,对于人脸关键点的深度信息复杂,识别难度较大的人脸图像,进一步通过识别精度更高的人脸活体识别策略,如人脸曲面拟合,来进行人脸活体检测,可以提升人脸活体检测的效率,同时保证人脸识别结果的准确性和可靠性。
实施例四
对应于方法实施例,本申请另一实施例中公开了一种人脸活体检测装置,如图6所示,所述装置包括:
人脸关键点确定模块610,用于获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;
人脸关键点三维坐标确定模块620,用于根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;
人脸曲面拟合模块630,用于根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;
活体检测模块640,用于根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断。
本申请的一些实施例中,所述活体检测模块640进一步用于:
确定部分或全部所述人脸关键点到所述人脸曲面的距离之和;
根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断。
本申请的一些实施例中,每个所述人脸关键点的信息包括所述人脸关键点的置信度,所述根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断之前,所述活体检测模块640还用于:
确定部分或全部所述人脸关键点的平均置信度;
根据先验深度距离阈值与所述平均置信度的商,动态确定深度距离阈值。
本申请的一些实施例中,所述确定部分或全部所述人脸关键点到所述人脸曲面的距离之和,包括:
计算部分或全部所述人脸关键点到所述人脸曲面的各自最短距离;
通过将每个所述最短距离除以所述目标人脸的眼间距对每个所述最短距离进行归一化处理;
将所有所述最短距离归一化处理后得到数值的累加和,作为所述部分或全部所述人脸关键点到所述人脸曲面的距离之和。
本申请的一些实施例中,所述人脸关键点,至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,且所述人脸关键点中不包括面部轮廓点。
本申请实施例公开的人脸活体检测装置,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,有助于提升人脸活体检测的准确度。
本申请实施例公开的人脸活体检测装置,通过基于双目图像采集设备采集的二维图像进行三维重建,得到人脸图像的三维坐标,并基于三维坐标拟合人脸曲面,并根据深度信息较明显的人脸关键点到拟合得到的人脸曲面之间的距离之和,基于人脸活体图像中人脸关键点与拟合得到的人脸曲面之间距离较大的特点,进行人脸活体检测,可以有效地提升人脸活体检测的准确性。
进一步的,通过动态确定深度距离阈值,可以进一步提升人脸活体检测的准确性。
本申请的一些实施例中,如图7所示,所述根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面之前,所述装置还包括:
归一化深度值的方差确定模块650,用于根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差,其中,所述人脸关键点的归一化深度值根据该人脸关键点的深度坐标值除以所述目标人脸的眼间距得到的商确定;
第一检测判断模块660,用于将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则执行所述人脸曲面拟合模块630;否则,确定所述目标人脸为非活体人脸。
本申请的一些实施例中,如图7所示,将所述方差与动态确定的深度值方差阈值进行比较之前,所述装置还包括:
第一动态阈值确定模块670,用于确定部分或全部所述人脸关键点的平均置信度;以及,根据先验深度值方差阈值与所述平均置信度的商,动态确定所述深度值方差阈值。
本申请的一些实施例中,通过首先根据人脸关键点的深度值方差进行人脸活体判断,对于深度信息不明显的人脸图像,可以直接识别为非人脸,不需要进行人脸曲面拟合,对于人脸关键点的深度信息复杂,识别难度较大的人脸图像,进一步通过人脸曲面拟合来进行人脸活体检测,可以提升人脸活体检测的效率。
本申请的一些实施例中,所述部分或全部所述人脸关键点,至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,如图8所示,所述根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差之前,所述装置还包括:
鼻尖点深度差值确定模块680,用于确定所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值;
所述鼻尖点深度差值确定模块680,还用于将所述深度差值除以所述目标人脸的眼间距得到归一化处理后的深度差值;
第二检测判断模块690,用于将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较,若所述归一化处理后的深度差值大于或等于动态确定的鼻尖点深度差阈值,则执行所述归一化深度值的方差确定模块650;否则,确定所述目标人脸为非活体人脸。
本申请的一些实施例中,每个所述人脸关键点的信息包括所述人脸关键点的置信度,所述将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较的步骤之前,还包括:
第二动态阈值确定模块6110,用于确定所述鼻尖点、所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的五点平均置信度;以及,根据先验鼻尖点深度差阈值与所述五点平均置信度的商,动态确定所述鼻尖点深度差阈值。
本申请实施例公开的人脸活体检测装置,通过获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标;根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;之后,首先根据左眼下眼睑点、右眼下眼睑点、左嘴角点和右嘴角点与鼻尖点的归一化深度差值进行人脸活体检测,如果确定该人脸图像非人脸活体(如为照片的图像)则直接输出人脸活体识别结果,否则,进一步根据部分或全部所述人脸关键点的归一化深度值的方差进行人脸活体检测;若根据所述方差识别出该人脸图像非人脸活体(如为照片的图像)则只是输出人脸活体识别结果,否则,根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面,并根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,有助于提升人脸活体检测的准确度。同时,通过对于依次对人脸图像采用不同识别精度的人脸活体检测方法,对于深度信息不明显的人脸图像,可以直接识别为非活体人脸,不需要进行人脸曲面拟合,对于人脸关键点的深度信息复杂,识别难度较大的人脸图像,进一步通过识别精度更高的人脸活体识别策略,如人脸曲面拟合,来进行人脸活体检测,可以提升人脸活体检测的效率,同时保证人脸识别结果的准确性和可靠性。
相应的,本申请还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例一至实施例三中任意一实施例所述的人脸活体检测方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例一至实施例三中任意一实施例所述的人脸活体检测方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种人脸活体检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种人脸活体检测方法,其特征在于,包括:
获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,其中,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标和人脸关键点的置信度;
根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;
根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;
根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,包括:确定部分或全部所述人脸关键点到所述人脸曲面的距离之和;
确定部分或全部所述人脸关键点的平均置信度;
根据先验深度距离阈值与所述平均置信度的商,动态确定深度距离阈值;
根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断。
2.根据权利要求1所述的方法,其特征在于,所述确定部分或全部所述人脸关键点到所述人脸曲面的距离之和的步骤,包括:
计算部分或全部所述人脸关键点到所述人脸曲面的各自最短距离;
通过将每个所述最短距离除以所述目标人脸的眼间距对每个所述最短距离进行归一化处理;
将所有所述最短距离归一化处理后得到数值的累加和,作为所述部分或全部所述人脸关键点到所述人脸曲面的距离之和。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述人脸关键点,至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,且所述人脸关键点中不包括面部轮廓点。
4.根据权利要求1至2任一项所述的方法,其特征在于,所述根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面的步骤之前,还包括:
根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差,其中,所述人脸关键点的归一化深度值根据该人脸关键点的深度坐标值除以所述目标人脸的眼间距得到的商确定;
将所述方差与动态确定的深度值方差阈值进行比较,若所述方差大于或等于动态确定的所述深度值方差阈值,则执行所述根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面的步骤;否则,确定所述目标人脸为非活体人脸。
5.根据权利要求4所述的方法,其特征在于,将所述方差与动态确定的深度值方差阈值进行比较的步骤之前,还包括:
确定部分或全部所述人脸关键点的平均置信度;
根据先验深度值方差阈值与所述平均置信度的商,动态确定所述深度值方差阈值。
6.根据权利要求4所述的方法,其特征在于,所述部分或全部所述人脸关键点,至少包括:鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点,所述根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差的步骤之前,还包括:
确定所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的平均深度值与所述鼻尖点的深度差值;
将所述深度差值除以所述目标人脸的眼间距,得到归一化处理后的深度差值;
将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较,若所述归一化处理后的深度差值大于或等于动态确定的鼻尖点深度差阈值,则执行所述根据部分或全部所述人脸关键点的三维坐标,确定所述部分或全部所述人脸关键点的归一化深度值的方差的步骤;否则,确定所述目标人脸为非活体人脸。
7.根据权利要求6所述的方法,其特征在于,每个所述人脸关键点的信息包括所述人脸关键点的置信度,所述将所述归一化处理后的深度差值与动态确定的鼻尖点深度差阈值进行比较的步骤之前,还包括:
确定所述鼻尖点、所述左眼下眼睑点、所述右眼下眼睑点、所述左嘴角点和所述右嘴角点的五点平均置信度;
根据先验鼻尖点深度差阈值与所述五点平均置信度的商,动态确定所述鼻尖点深度差阈值。
8.一种人脸活体检测装置,其特征在于,包括:
人脸关键点确定模块,用于获取由不同图像采集装置针对目标人脸同步采集的每幅人脸图像中的若干人脸关键点的信息,每个所述人脸关键点的信息包括所述人脸关键点的二维坐标和人脸关键点的置信度;
人脸关键点三维坐标确定模块,用于根据每幅所述人脸图像中的所述若干人脸关键点的二维坐标,获取各所述人脸关键点的三维坐标;
人脸曲面拟合模块,用于根据部分或全部所述人脸关键点的三维坐标,拟合人脸曲面;
活体检测模块,用于根据部分或全部所述人脸关键点与所述人脸曲面之间的距离,对所述目标人脸进行活体判断,包括:确定部分或全部所述人脸关键点到所述人脸曲面的距离之和;
确定部分或全部所述人脸关键点的平均置信度;
根据先验深度距离阈值与所述平均置信度的商,动态确定深度距离阈值;
根据所述距离之和与动态确定的深度距离阈值之间的大小关系,对所述目标人脸进行活体判断。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的人脸活体检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任意一项所述的人脸活体检测方法的步骤。
CN202010414607.XA 2020-05-15 2020-05-15 人脸活体检测方法、装置、电子设备及存储介质 Active CN111652086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010414607.XA CN111652086B (zh) 2020-05-15 2020-05-15 人脸活体检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010414607.XA CN111652086B (zh) 2020-05-15 2020-05-15 人脸活体检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111652086A CN111652086A (zh) 2020-09-11
CN111652086B true CN111652086B (zh) 2022-12-30

Family

ID=72342544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010414607.XA Active CN111652086B (zh) 2020-05-15 2020-05-15 人脸活体检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111652086B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491881A (zh) * 2018-03-23 2018-09-04 百度在线网络技术(北京)有限公司 用于生成检测模型的方法和装置
CN112149559A (zh) * 2020-09-22 2020-12-29 沈澈 人脸识别方法、装置、可读存储介质及计算机设备
CN112163552A (zh) * 2020-10-14 2021-01-01 北京达佳互联信息技术有限公司 鼻部关键点的标注方法、装置、电子设备及存储介质
CN112257641A (zh) * 2020-10-30 2021-01-22 中电万维信息技术有限责任公司 一种人脸识别活体检测方法
CN112613459B (zh) * 2020-12-30 2022-07-15 深圳艾摩米智能科技有限公司 一种人脸敏感区域检测方法
CN112801038B (zh) * 2021-03-02 2022-07-22 重庆邮电大学 一种多视点的人脸活体检测方法及系统
CN113505717B (zh) * 2021-07-17 2022-05-31 桂林理工大学 一种基于人脸面部特征识别技术的在线通行系统
WO2023139975A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法
CN114743253B (zh) * 2022-06-13 2022-08-09 四川迪晟新达类脑智能技术有限公司 一种基于相邻人脸关键点距离特征的活体检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN106096503A (zh) * 2016-05-30 2016-11-09 东南大学 一种基于关键点和局部特征的三维人脸识别方法
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技(深圳)有限公司 身份验证方法及装置、存储介质
CN108875468A (zh) * 2017-06-12 2018-11-23 北京旷视科技有限公司 活体检测方法、活体检测系统以及存储介质
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技(深圳)有限公司 一种人脸识别的方法、装置及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126246B (zh) * 2019-12-20 2023-04-07 陕西西图数联科技有限公司 基于3d点云几何特征的人脸活体检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN106096503A (zh) * 2016-05-30 2016-11-09 东南大学 一种基于关键点和局部特征的三维人脸识别方法
WO2018192406A1 (zh) * 2017-04-20 2018-10-25 腾讯科技(深圳)有限公司 身份验证方法及装置、存储介质
CN108875468A (zh) * 2017-06-12 2018-11-23 北京旷视科技有限公司 活体检测方法、活体检测系统以及存储介质
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN110728196A (zh) * 2019-09-18 2020-01-24 平安科技(深圳)有限公司 一种人脸识别的方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Passive Multimodal 2-D+3-D Face Recognition Using Gabor Features and Landmark Distances;Sina Jahanbin等;《IEEE Transactions on Information Forensics and Security》;20110721;全文 *
基于多任务CNN的人脸活体多属性检测;曾成等;《科学技术与工程》;20161118(第32期);全文 *

Also Published As

Publication number Publication date
CN111652086A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652086B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109558764B (zh) 人脸识别方法及装置、计算机设备
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN111160232B (zh) 正面人脸重建方法、装置及系统
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
US10529081B2 (en) Depth image processing method and depth image processing system
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN108509868A (zh) 一种基于光场相机的人脸识别系统及方法
CN111833441A (zh) 一种基于多相机系统的人脸三维重建方法和装置
CN115661370B (zh) 一种红外3d人体模型构建方法及存储介质
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
KR20210136092A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
CN108629333A (zh) 一种低照度的人脸图像处理方法、装置、设备及可读介质
CN114694204A (zh) 社交距离检测方法、装置、电子设备及存储介质
Abdelrahman et al. A passive stereo system for 3D human face reconstruction and recognition at a distance
CN115187652B (zh) 一种基于人体图像的身高测量方法及装置
CN112396117B (zh) 图像的检测方法、装置及电子设备
CN110319776B (zh) 一种基于slam的三维空间距离测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant