CN110728215A - 基于红外图像的人脸活体检测方法、装置 - Google Patents

基于红外图像的人脸活体检测方法、装置 Download PDF

Info

Publication number
CN110728215A
CN110728215A CN201910919195.2A CN201910919195A CN110728215A CN 110728215 A CN110728215 A CN 110728215A CN 201910919195 A CN201910919195 A CN 201910919195A CN 110728215 A CN110728215 A CN 110728215A
Authority
CN
China
Prior art keywords
mouth
image
face
coordinate
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910919195.2A
Other languages
English (en)
Inventor
方利红
程恭亮
侯方超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Core Intelligent Technology Co Ltd
Original Assignee
Hangzhou Core Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Core Intelligent Technology Co Ltd filed Critical Hangzhou Core Intelligent Technology Co Ltd
Priority to CN201910919195.2A priority Critical patent/CN110728215A/zh
Publication of CN110728215A publication Critical patent/CN110728215A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本申请涉及一种基于红外图像的人脸活体检测方法、装置、计算机设备和存储介质。所述方法包括：从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。采用本方法能够提升活体检测的准确率。

Description

基于红外图像的人脸活体检测方法、装置
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种基于红外图像的人脸活体检测方法、装置、计算机设备和存储介质。
背景技术
在当前的活体检测技术中，为了防范三维的头模和头套等假体攻击，通常会利用深度图像、近红外图像和彩色图像中所包含的大量信息，送入到深度卷积神经网络中进行活体和非活体的判断。
但是彩色图像很容易受到光照的影响，在一些场景下人脸成像差，从而出现活人被判断为非活体的情况，使得用户无法通过验证，造成功能异常。如果不使用彩色图像，则检测过程中失去了彩色图像所包含的大量信息，那么在人脸与假体攻击非常相似时，也会出现非活体被判断为活体的情况，造成系统安全问题。
基于此，目前的活体检测技术容易受环境中光照的影响，其环境适应性差，准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种基于红外图像的人脸活体检测方法、装置、计算机设备和存储介质，利用红外图像整体加局部特征区域联合的方法，在不使用彩色图像的基础上，充分利用近红外图像的信息，提升活体检测的准确率。
一种基于红外图像的人脸活体检测方法，包括以下步骤：
从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
在一个实施例中，根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，包括以下步骤：
检测所述面部红外图像中的所述人脸关键点所在的位置；
建立直角坐标系，记录所述人脸关键点在该直角坐标系中的位置坐标；
通过所述人脸关键点的位置坐标计算对应的标尺参数，所述标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数；
根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
在一个实施例中，以所述面部红外图像的左顶角作为坐标原点建立直角坐标系，记录所述人脸关键点在该直角坐标系中的位置坐标。
在一个实施例中，在建立直角坐标系，记录各个人脸关键点在该直角坐标系中的位置坐标之后，还包括以步骤：
利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；
利用所述人脸翻滚角，将所述面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；
根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录所述人脸关键点的位置坐标。
在一个实施例中，根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像，包括以下步骤：
计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；mouth_r.y为右嘴角的y坐标，mouth_w为左右嘴角之间水平距离参数，eye_r.x为右眼瞳孔的x坐标；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，得到人脸最小区域图像。
在一个实施例中，根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像，包括以下步骤：
计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
其中，mouth_l.y为左嘴角的y坐标，mouth_l.x为左嘴角的x坐标，mouth_r.x为右嘴角的x坐标，nose_h为鼻子到嘴之间的垂直距离参数，mouth_w为左右嘴角之间水平距离参数；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，得到嘴唇部分区域图像。
在一个实施例中，根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，包括以下步骤：
计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标，eye_r.x为右眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；nose_h为鼻子到嘴之间的垂直距离参数，mouth_r.y为右嘴角的y坐标；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，得到脸颊部分区域图像。
一种基于红外图像的人脸活体检测装置，包括面部红外图像获取模块、区域图像获取模块、二分类检测模块、以及判断模块；
所述面部红外图像获取模块，用于从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
所述区域图像获取模块，用于根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
所述二分类检测模块，用于将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
所述判断模块，用于在所述二分类检测模块输出的三个检测结果均为活体时，判断当前红外图像中的人脸对象为活体。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
上述基于红外图像的人脸活体检测方法、装置、计算机设备和存储介质，通过从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像，然后根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；最后将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；在三个检测结果均为活体的情况下，判断当前红外图像中的人脸对象为活体。其利用红外图像整体加局部特征区域联合的方法，在不使用彩色图像的基础上，充分利用了红外图像的信息，提升了活体检测的准确率。
进一步地，由于每个深度卷积神经网络目的单一，每个区域的检测相互之间完全独立，在资源允许的情况下可以并行计算，以提升检测效率。以上三个检测步骤可同时进行，也可依次进行，这些单独训练的区域模型可以进行串联，串联后如前者任一区域不满足则立即返回结果，而不需要对整个人脸进行判断，进一步提升了检测效率。
附图说明
图1为一个实施例中基于红外图像的人脸活体检测方法的应用环境图；
图2为一个实施例中基于红外图像的人脸活体检测方法的流程示意图；
图3为一个实施例中于红外图像的人脸活体检测装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
由于三维假体制作工艺限制，很难像高清打印那样准确的伪造人脸的各种细节。同时，由于不同材质在近红外下的反射率差异，对假体攻击的材料要求也会很严格，真人的嘴唇、脸部光照阴影分布也很难制作出来。因此，如果能够合理利用这些独特的信息，则能在很大程度上提升活体检测的准确率。
本申请提供的基于红外图像的人脸活体检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于红外图像的人脸活体检测方法。接下来以该方法应用于图1中的终端为例进行说明，该方法包括以下步骤：
S100、从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像。
终端设备获取用户输入的包含人脸对象的红外图像，采用现有的人脸检测算法即可从输入的红外图像中获取人脸所在区域的面部红外图像。
S200、根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角。
本申请针对嘴唇周围近红外的差异，将包含嘴唇的嘴唇部分区域图像提取出来。进一步，为了能够有针对性的利用皮肤的近红外反射特性，将人脸五官去掉，仅仅留下具有缓慢光照变化且相对稳定的脸颊部分区域图像。最后，为了能够利用整体特征结构，去除帽子、头发、背景的影响，取出人脸最小区域图像。由于每个区域能够使用单独的深度卷积神经网络进行有针对性的训练，因此，能够最大程度的将这些细微的差异学习出来，从而提升活体检测的准确率。
上述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角，还可以加入眉毛、左右鼻孔等更多的特征，实现更加精准的检测。
S300、将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测。
将人脸最小区域图像送入由人脸最小区域图像训练的深度卷积神经网络进行二分类检测，将嘴唇部分区域图像送入由嘴唇部分区域图像训练的深度卷积神经网络进行二分类检测，将脸颊部分区域图像送入由脸颊部分区域图像训练的深度卷积神经网络进行二分类检测。以上三个检测步骤可同时进行，也可依次进行，顺序上并无要求，任意一个图像进行检测均可。
S400、若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
由于每个深度卷积神经网络目的单一，因此结构会简化。这些单独训练的区域模型可以进行串联，串联后如前者任一区域不满足则立即返回结果，而不需要对整个人脸进行判断，大大提高了检测效率。同时，所有的区域判断通过以后才算活体检测通过，则能够进一步保证活体检侧的准确率。每个区域的检测相互之间完全独立，在资源允许的情况下可以并行计算，可以进一步提升检测效率。
上述基于红外图像的人脸活体检测方法，通过从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像，然后根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；最后将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；在三个检测结果均为活体的情况下，判断当前红外图像中的人脸对象为活体。其利用红外图像整体加局部特征区域联合的方法，在不使用彩色图像的基础上，充分利用了红外图像的信息，提升了活体检测的准确率。
作为一种可实施方式，步骤S200中根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，具体可以通过以下步骤实现：
S210、检测面部红外图像中的人脸关键点所在的位置。
利用关键点检测算法检测面部红外图像中人脸关键点所在的位置，人脸关键点位置包括但不局限于：左眼瞳孔位置eye_l，右眼瞳孔位置eye_r，鼻尖位置nose，左嘴角位置mouth_l，右嘴角位置mouth_r。
S220、建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标。
此处，可以以图像中任意点作为原点，建立直角坐标系。建立直角坐标系的目的是为了标定图像中各个人脸关键点的位置和距离关系。作为一种可实现方式，可以以面部红外图像的左顶角作为原点建立直角坐标系，记录人脸关键点在直角坐标系中的位置坐标，方便计算。
对应的上述人脸关键点的位置坐标分别为：左眼瞳孔的x坐标记为eye_l.x，y坐标记为eye_l.y；右眼瞳孔的x坐标记为eye_r.x，y坐标记为eye_r.y；鼻尖的x坐标为nose.x，y坐标为nose.y；左嘴角的x坐标为mouth_l.x，y坐标为mouth_l.y，右嘴角的x坐标为mouth_r.x，y坐标为mouth_r.y。
S230、通过人脸关键点的位置坐标计算对应的标尺参数，标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数。
左右瞳孔之间水平距离参数为eye_w＝eye_r.x-eye_l.x，左右嘴角之间水平距离参数为mouth_w＝mouth_r.x-mouth_l.x，鼻子到嘴之间的垂直距离参数为nose_h＝mouth_l.y-nose.y。
S240、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
进一步地，作为一种可实施方式，步骤S240具体可通过以下步骤实现：
S241、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像：
计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，即可得到人脸最小区域图像，记为mface。
S242、根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像：
计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，即可得到嘴唇部分区域图像，记为mouth。
S243、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像：
计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，即可得到脸颊部分区域图像，记为cheek。
接下来，将人脸最小区域图像mface、嘴唇部分区域图像mouth及脸颊部分区域图像cheek三个区域缩放到N*N大小(N可取32、64、128等值)。将缩放后的人脸最小区域图像送入由人脸最小区域图像训练的深度卷积神经网络(记为Mface_Net)进行二分类检测，得到mface模块的活体检测结果，记为mface_result；将缩放后的嘴唇部分区域图像送入由嘴唇部分区域图像训练的深度卷积神经网络(记为Mouth_Net)进行二分类检测，得到mouth模块的活体检测结果，记为mouth_result；将缩放后的脸颊部分区域图像送入由脸颊部分区域图像训练的深度卷积神经网络(记为Cheek_Net)进行二分类检测，得到cheek模块的活体检测结果，记为cheek_result。
以上三个检测步骤可同时进行，也可依次进行，顺序上并无要求。当三个检测结果均为活体时，则判定当前红外图像中的人脸对象为活体；若三个任意一个检测结果为非活体时，则判定当前红外图像中的人脸对象为非活体。
进一步地，作为一种可实施方式，在上述步骤S220和S230之间，还包括以下步骤：
利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；利用人脸翻滚角，将面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标。
这样，通过记录人脸翻滚角度，并根据该人脸翻滚角对面部红外图像进行旋转至左右眼睛瞳孔处于水平状态，然后根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标，可以获取更加精确的人脸关键点的位置坐标。进一步地，在步骤S230中，利用纠正后的即在新建立的直角坐标系中重新记录的人脸关键点的位置坐标，计算对应的标尺参数，从而进一步提升活体检测的精度。
应该理解的是，除非本文中有明确的说明，步骤S240的具体执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行，也可以同步进行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了另一种基于红外图像的人脸活体检测方法。接下来以该方法应用于图1中的终端为例进行说明，该方法包括以下步骤：
S011、输入包含人脸对象的红外图像，并采用人脸检测算法获取近外图像中人脸所在区域的面部红外图像，记为Face_IR。
S012、利用关键点检测算法检测面部红外图像中人脸关键点所在的位置，人脸关键点包括但不局限于：左眼瞳孔位置eye_l，右眼瞳孔位置eye_r，鼻尖位置nose，左嘴角位置mouth_l，右嘴角位置mouth_r。
S013、以面部红外图像的左顶角作为原点建立直角坐标系，记录上述人脸关键点在该直角坐标系中的坐标。
S014、利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角。
S015、利用人脸翻滚角，将面部红外图像进行旋转至左右眼睛瞳孔处于水平状态。
S016、根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标。
重新记录的人脸关键点包括但不局限于：左眼瞳孔的x坐标记为eye_l.x，y坐标记为eye_l.y；右眼瞳孔的x坐标记为eye_r.x，y坐标记为eye_r.y；鼻尖的x坐标为nose.x，y坐标为nose.y；左嘴角的x坐标为mouth_l.x，y坐标为mouth_l.y，右嘴角的x坐标为mouth_r.x，y坐标为mouth_r.y。
S017、通过人脸关键点的位置坐标计算对应的标尺参数，标尺参数包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数及鼻子到嘴之间的垂直距离参数；左右瞳孔之间水平距离参数为eye_w＝eye_r.x-eye_l.x，左右嘴角之间水平距离参数为mouth_w＝mouth_r.x-mouth_l.x，鼻子到嘴之间的垂直距离参数为nose_h＝mouth_l.y-nose.y。
S018、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像。
记人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
记人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
记人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
记人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
因此，人脸最小区域图像mface即为在面部红外图像中左上角mface_lu和右下角mface_rd两个点所组成的矩形区域的图像。
S019、根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像。
记嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
记嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
记嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
记嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
因此，嘴唇部分区域图像mouth即为在面部红外图像中左上角mouth_lu和右下角mouth_rd两个点所组成的矩形区域的图像。
S020、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像。
记脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
记脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
记脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
记脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
因此，脸颊部分区域图像cheek即为在面部红外图像中左上角cheek_lu、和右下角cheek_rd两个点所组成的矩形区域的图像。
S021、将人脸最小区域图像mface、嘴唇部分区域图像mouth及脸颊部分区域图像cheek三个区域图像缩放到到N*N大小(N可取32、64、128等值)。
S022、将缩放后的人脸最小区域图像送入由人脸最小区域图像训练的深度卷积神经网络(记为Mface_Net)进行二分类，得到mface模块的活体检测结果，记为mface_result。
S023、将缩放后的嘴唇部分区域图像送入由嘴唇部分区域图像训练的深度卷积神经网络(记为Mouth_Net)进行二分类，得到mouth模块的活体检测结果，记为mouth_result。
S024、将缩放后的脸颊部分区域图像送入由脸颊部分区域图像训练的深度卷积神经网络(记为Cheek_Net)进行二分类，得到cheek模块的活体检测结果，记为cheek_result。
注：以上三个检测步骤S022、S023、S024可同时进行，也可依次进行，顺序上并无要求。
S025、当三个检测结果均为活体时，则判定当前红外图像中的人脸对象为活体；若三个任意一个检测结果为非活体时，则判定当前红外图像中的人脸对象为非活体。
在一个实施例中，如图3所示，提供了一种基于红外图像的人脸活体检测装置，该装置包括面部红外图像获取模块100、区域图像获取模块200、二分类检测模块300、以及判断模块400。
其中，面部红外图像获取模块100用于从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
区域图像获取模块200用于根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
二分类检测模块300用于将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
判断模块400用于在二分类检测模块输出的三个检测结果均为活体时，判断当前红外图像中的人脸对象为活体。
继续参见图3，作为一种可实施方式，区域图像获取模块200包括位置检测单元210、坐标记录单元220、标尺参数计算单元230、以及图像获取单元240，其中：
位置检测单元210，用于检测面部红外图像中的人脸关键点所在的位置；
坐标记录单元220，用于建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标；
标尺参数计算单元230，用于通过人脸关键点的位置坐标计算对应的标尺参数，标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数；
图像获取单元240，用于根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
进一步地，坐标记录单元220还可以用于以面部红外图像的左顶角作为坐标原点建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标。
作为一种可实施方式，坐标记录单元220还用于在建立直角坐标系，记录各个人脸关键点在该直角坐标系中的位置坐标之后，利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；利用人脸翻滚角，将面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标。
进一步地，作为一种可实施方式，图像获取单元包括人脸最小区域图像获取子单元、嘴唇部分区域图像获取子单元、以及脸颊部分区域图像获取子单元。
人脸最小区域图像获取子单元根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像，具体实现原理如下：
计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；mouth_r.y为右嘴角的y坐标，mouth_w为左右嘴角之间水平距离参数，eye_r.x为右眼瞳孔的x坐标；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，得到人脸最小区域图像。
嘴唇部分区域图像获取子单元根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像，具体实现原理如下：
计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
其中，mouth_l.y为左嘴角的y坐标，mouth_l.x为左嘴角的x坐标，mouth_r.x为右嘴角的x坐标，nose_h为鼻子到嘴之间的垂直距离参数，mouth_w为左右嘴角之间水平距离参数；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，得到嘴唇部分区域图像。
脸颊部分区域图像获取子单元根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，具体实现原理如下：
计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标，eye_r.x为右眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；nose_h为鼻子到嘴之间的垂直距离参数，mouth_r.y为右嘴角的y坐标；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，得到脸颊部分区域图像。
关于上述基于红外图像的人脸活体检测装置的具体限定可以参见上文中对于基于红外图像的人脸活体检测方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述基于红外图像的人脸活体检测方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于红外图像的人脸活体检测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
S100、从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
S200、根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
S300、将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
S400、若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
S210、检测面部红外图像中的人脸关键点所在的位置；
S220、建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标；
S230、通过人脸关键点的位置坐标计算对应的标尺参数，标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数；
S240、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
以面部红外图像的左顶角作为坐标原点建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在建立直角坐标系，记录各个人脸关键点在该直角坐标系中的位置坐标之后利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；
利用人脸翻滚角，将面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；
根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
S241、计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；mouth_r.y为右嘴角的y坐标，mouth_w为左右嘴角之间水平距离参数，eye_r.x为右眼瞳孔的x坐标；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，得到人脸最小区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
S242、计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
其中，mouth_l.y为左嘴角的y坐标，mouth_l.x为左嘴角的x坐标，mouth_r.x为右嘴角的x坐标，nose_h为鼻子到嘴之间的垂直距离参数，mouth_w为左右嘴角之间水平距离参数；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，得到嘴唇部分区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
S243、计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标，eye_r.x为右眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；nose_h为鼻子到嘴之间的垂直距离参数，mouth_r.y为右嘴角的y坐标；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，得到脸颊部分区域图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
S100、从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
S200、根据面部红外图像中的人脸关键点的位置和距离关系，从面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
S300、将获取到的人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
S400、若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
S210、检测面部红外图像中的人脸关键点所在的位置；
S220、建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标；
S230、通过人脸关键点的位置坐标计算对应的标尺参数，标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数；
S240、根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以面部红外图像的左顶角作为坐标原点建立直角坐标系，记录人脸关键点在该直角坐标系中的位置坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在建立直角坐标系，记录各个人脸关键点在该直角坐标系中的位置坐标之后利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；
利用人脸翻滚角，将面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；
根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录人脸关键点的位置坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
S241、计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；mouth_r.y为右嘴角的y坐标，mouth_w为左右嘴角之间水平距离参数，eye_r.x为右眼瞳孔的x坐标；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，得到人脸最小区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
S242、计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
其中，mouth_l.y为左嘴角的y坐标，mouth_l.x为左嘴角的x坐标，mouth_r.x为右嘴角的x坐标，nose_h为鼻子到嘴之间的垂直距离参数，mouth_w为左右嘴角之间水平距离参数；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，得到嘴唇部分区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
S243、计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标，eye_r.x为右眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；nose_h为鼻子到嘴之间的垂直距离参数，mouth_r.y为右嘴角的y坐标；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，得到脸颊部分区域图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于红外图像的人脸活体检测方法，其特征在于，包括以下步骤：
从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
若三个检测结果均为活体，则判断当前红外图像中的人脸对象为活体。
2.根据权利要求1所述的基于红外图像的人脸活体检测方法，其特征在于，根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，包括以下步骤：
检测所述面部红外图像中的所述人脸关键点所在的位置；
建立直角坐标系，记录所述人脸关键点在该直角坐标系中的位置坐标；
通过所述人脸关键点的位置坐标计算对应的标尺参数，所述标尺参数至少包括左右瞳孔之间水平距离参数、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数；
根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像；根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像；根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，获取脸颊部分区域图像。
3.根据权利要求2所述的基于红外图像的人脸活体检测方法，其特征在于，以所述面部红外图像的左顶角作为坐标原点建立直角坐标系，记录所述人脸关键点在该直角坐标系中的位置坐标。
4.根据权利要求2所述的基于红外图像的人脸活体检测方法，其特征在于，在建立直角坐标系，记录各个人脸关键点在该直角坐标系中的位置坐标之后，还包括以步骤：
利用左眼瞳孔位置坐标和右眼瞳孔位置坐标，计算两点所在直线与水平方向的夹角，记该夹角为人脸翻滚角；
利用所述人脸翻滚角，将所述面部红外图像进行旋转至左右眼睛瞳孔处于水平状态；
根据旋转后的面部红外图像重新建立直角坐标系，在新建立的直角坐标系中重新记录所述人脸关键点的位置坐标。
5.根据权利要求2-4任一项所述的基于红外图像的人脸活体检测方法，其特征在于，根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、以及左右嘴角之间水平距离参数，获取人脸最小区域图像，包括以下步骤：
计算人脸最小区域图像的左上角的y坐标mface_lu.y：
mface_lu.y＝eye_l.y-eye_w/4；
计算人脸最小区域图像的左上角的x坐标mface_lu.x：
mface_lu.x＝eye_l.x-eye_w/4；
计算人脸最小区域图像的右下角的y坐标mface_rd.y：
mface_rd.y＝mouth_r.y+mouth_w/2；
计算人脸最小区域图像的右下角的x坐标mface_rd.x：
mface_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；mouth_r.y为右嘴角的y坐标，mouth_w为左右嘴角之间水平距离参数，eye_r.x为右眼瞳孔的x坐标；
根据以上计算结果，在面部红外图像中截取左上角mface_lu和右下角mface_rd两个点所组成的矩形区域，得到人脸最小区域图像。
6.根据权利要求2-4任一项所述的基于红外图像的人脸活体检测方法，其特征在于，根据左嘴角位置坐标、右嘴角位置坐标、左右嘴角之间水平距离参数、以及鼻子到嘴之间的垂直距离参数，获取嘴唇部分区域图像，包括以下步骤：
计算嘴唇部分区域图像的左上角的y坐标mouth_lu.y：
mouth_lu.y＝mouth_l.y-nose_h/2；
计算嘴唇部分区域图像的左上角的x坐标mouth_lu.x：
mouth_lu.x＝mouth_l.x；
计算嘴唇部分区域图像的右下角的y坐标mouth_rd.y：
mouth_rd.y＝mouth_l.y+mouth_w/2；
计算嘴唇部分区域图像的右下角的x坐标mouth_rd.x：
mouth_rd.x＝mouth_r.x；
其中，mouth_l.y为左嘴角的y坐标，mouth_l.x为左嘴角的x坐标，mouth_r.x为右嘴角的x坐标，nose_h为鼻子到嘴之间的垂直距离参数，mouth_w为左右嘴角之间水平距离参数；
根据以上计算结果，在面部红外图像中截取左上角mouth_lu和右下角mouth_lu两个点所组成的矩形区域，得到嘴唇部分区域图像。
7.根据权利要求2-4任一项所述的基于红外图像的人脸活体检测方法，其特征在于，根据左眼瞳孔位置坐标、右眼瞳孔位置坐标、左右瞳孔之间水平距离参数、右嘴角位置坐标、以及鼻子到嘴之间的垂直距离参数，获取脸颊部分区域图像，包括以下步骤：
计算脸颊部分区域图像的左上角的y坐标cheek_lu.y：
cheek_lu.y＝eye_l.y+eye_w/6；
计算脸颊部分区域图像的左上角的x坐标cheek_lu.x：
cheek_lu.x＝eye_l.x-eye_w/4；
计算脸颊部分区域图像的右下角的y坐标cheek_rd.y：
cheek_rd.y＝mouth_r.y-nose_h/2；
计算脸颊部分区域图像的右下角的x坐标cheek_rd.x：
cheek_rd.x＝eye_r.x+eye_w/4；
其中，eye_l.y为左眼瞳孔的y坐标，eye_l.x为左眼瞳孔的x坐标，eye_r.x为右眼瞳孔的x坐标；eye_w为左右瞳孔之间水平距离参数；nose_h为鼻子到嘴之间的垂直距离参数，mouth_r.y为右嘴角的y坐标；
根据以上计算结果，在面部红外图像中截取左上角cheek_lu和右下角cheek_lu两个点所组成的矩形区域，得到脸颊部分区域图像。
8.一种基于红外图像的人脸活体检测装置，其特征在于，所述装置包括面部红外图像获取模块、区域图像获取模块、二分类检测模块、以及判断模块；
所述面部红外图像获取模块，用于从包含人脸对象的红外图像中获取人脸所在区域的面部红外图像；
所述区域图像获取模块，用于根据所述面部红外图像中的人脸关键点的位置和距离关系，从所述面部红外图像中获取人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像；其中，所述人脸关键点至少包括：左眼瞳孔、右眼瞳孔、鼻尖、左嘴角、以及右嘴角；
所述二分类检测模块，用于将获取到的所述人脸最小区域图像、嘴唇部分区域图像、以及脸颊部分区域图像，分别送入各自图像训练的深度卷积神经网络进行二分类检测；
所述判断模块，用于在所述二分类检测模块输出的三个检测结果均为活体时，判断当前红外图像中的人脸对象为活体。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910919195.2A 2019-09-26 2019-09-26 基于红外图像的人脸活体检测方法、装置 Pending CN110728215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910919195.2A CN110728215A (zh) 2019-09-26 2019-09-26 基于红外图像的人脸活体检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910919195.2A CN110728215A (zh) 2019-09-26 2019-09-26 基于红外图像的人脸活体检测方法、装置

Publications (1)

Publication Number Publication Date
CN110728215A true CN110728215A (zh) 2020-01-24

Family

ID=69219519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910919195.2A Pending CN110728215A (zh) 2019-09-26 2019-09-26 基于红外图像的人脸活体检测方法、装置

Country Status (1)

Country Link
CN (1) CN110728215A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353404A (zh) * 2020-02-24 2020-06-30 支付宝实验室(新加坡)有限公司 一种人脸识别方法、装置及设备
CN112115852A (zh) * 2020-09-17 2020-12-22 广东光速智能设备有限公司 一种使用rgb红外相机的活体检测方法
CN112364777A (zh) * 2020-11-12 2021-02-12 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN112613457A (zh) * 2020-12-29 2021-04-06 招联消费金融有限公司 图像采集方式检测方法、装置、计算机设备和存储介质
CN112734682A (zh) * 2020-12-31 2021-04-30 杭州艾芯智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
CN112729551A (zh) * 2020-12-08 2021-04-30 福建星网天合智能科技有限公司 一种人体红外测温方法、距离补偿方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839410A (zh) * 2003-07-18 2006-09-27 佳能株式会社 图像处理设备、摄像设备、图像处理方法
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN108738372A (zh) * 2017-01-31 2018-11-02 夏普株式会社 拍摄装置以及图像处理装置
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109190522A (zh) * 2018-08-17 2019-01-11 浙江捷尚视觉科技股份有限公司 一种基于红外相机的活体检测方法
CN109766785A (zh) * 2018-12-21 2019-05-17 中国银联股份有限公司 一种人脸的活体检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839410A (zh) * 2003-07-18 2006-09-27 佳能株式会社 图像处理设备、摄像设备、图像处理方法
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN108738372A (zh) * 2017-01-31 2018-11-02 夏普株式会社 拍摄装置以及图像处理装置
CN107358157A (zh) * 2017-06-07 2017-11-17 阿里巴巴集团控股有限公司 一种人脸活体检测方法、装置以及电子设备
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108197586A (zh) * 2017-12-12 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109190522A (zh) * 2018-08-17 2019-01-11 浙江捷尚视觉科技股份有限公司 一种基于红外相机的活体检测方法
CN109766785A (zh) * 2018-12-21 2019-05-17 中国银联股份有限公司 一种人脸的活体检测方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353404A (zh) * 2020-02-24 2020-06-30 支付宝实验室(新加坡)有限公司 一种人脸识别方法、装置及设备
CN111353404B (zh) * 2020-02-24 2023-12-01 支付宝实验室(新加坡)有限公司 一种人脸识别方法、装置及设备
CN112115852A (zh) * 2020-09-17 2020-12-22 广东光速智能设备有限公司 一种使用rgb红外相机的活体检测方法
CN112364777A (zh) * 2020-11-12 2021-02-12 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN112364777B (zh) * 2020-11-12 2023-05-16 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN112729551A (zh) * 2020-12-08 2021-04-30 福建星网天合智能科技有限公司 一种人体红外测温方法、距离补偿方法及装置
CN112613457A (zh) * 2020-12-29 2021-04-06 招联消费金融有限公司 图像采集方式检测方法、装置、计算机设备和存储介质
CN112613457B (zh) * 2020-12-29 2024-04-09 招联消费金融股份有限公司 图像采集方式检测方法、装置、计算机设备和存储介质
CN112734682A (zh) * 2020-12-31 2021-04-30 杭州艾芯智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质
CN112734682B (zh) * 2020-12-31 2023-08-01 杭州芯炬视人工智能科技有限公司 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110728215A (zh) 基于红外图像的人脸活体检测方法、装置
CN109657583B (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN109697688B (zh) 一种用于图像处理的方法和装置
CN110517278B (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
US20190206546A1 (en) Modeling and learning character traits and medical condition based on 3d facial features
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
US11403818B2 (en) Three-dimensional reconstruction method, apparatus and system, model training method and storage medium
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN110197109B (zh) 神经网络模型训练、人脸识别方法、装置、设备及介质
CN111797650A (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
KR102386444B1 (ko) 이미지 심도 결정 방법 및 생체 식별 방법, 회로, 디바이스, 및 매체
JP2024501986A (ja) ３次元顔再構築の方法、３次元顔再構築の装置、デバイスおよび記憶媒体
CN111784818A (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN110807409A (zh) 人群密度检测模型训练方法和人群密度检测方法
CN111915676A (zh) 图像生成方法、装置、计算机设备和存储介质
CN112270747A (zh) 一种人脸识别方法、装置及电子设备
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231110