CN112232109A - 一种活体人脸检测方法及系统 - Google Patents

一种活体人脸检测方法及系统 Download PDF

Info

Publication number
CN112232109A
CN112232109A CN202010899445.3A CN202010899445A CN112232109A CN 112232109 A CN112232109 A CN 112232109A CN 202010899445 A CN202010899445 A CN 202010899445A CN 112232109 A CN112232109 A CN 112232109A
Authority
CN
China
Prior art keywords
face
image
hyperspectral
depth
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899445.3A
Other languages
English (en)
Inventor
王兆民
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN202010899445.3A priority Critical patent/CN112232109A/zh
Priority to PCT/CN2020/141998 priority patent/WO2022041627A1/zh
Publication of CN112232109A publication Critical patent/CN112232109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Abstract

本发明公开了一种活体人脸检测方法及系统，包括：S1：获取目标区域的深度图像和高光谱图像；S2：对深度图像进行分析，检测深度图像中的人脸区域；若检测到人脸，则对深度图像中的人脸区域进行人脸关键特征点的定位，得到人脸关键特征点的位置信息；S3：根据深度图像中人脸关键特征点的位置信息，提取所述高光谱图像中对应人脸关键特征点的光谱信息，并进行活体检测，判断是否为活体。本发明结合了深度图像和高光谱图像，不需要用户配合执行相应的动作就能够完成活体检测，体验效果佳，且节省检测时间，减少图像处理计算量，提高了活体人脸检测的效率及准确率。

Description

一种活体人脸检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种活体人脸检测方法及系统。
背景技术
随着电子商务等技术的发展，基于人脸的身份验证已经得到广泛的应用，如刷脸支付、人脸识别解锁等功能已广泛应用于人们的日常生活中，极大提高了人们生活的便利性。然而，在人脸识别技术极大提高了人们生活便利性的同时，其安全性问题也逐渐暴露出来，尤其是随着高仿真面具的出现，使得许多不法分子通过逼真的伪装引起视觉欺骗以进行一系列犯罪行为，也对普通的人脸识别系统造成了攻击。因此，人脸活体防伪技术引发了广泛的关注。
在相关活体人脸检测技术中，高光谱成像技术是当前的研究热点，高光谱成像技术是基于非常多窄波段的影像数据技术，它将成像技术和光谱技术相结合，探测目标的二维结合空间及一维光谱信息，以获取高光谱分辨率的连续、窄波段的图像数据，进而极大提高目标探测的准确性。但由于该技术的波段较多，且相邻波段间必然具有相关性，使得高光谱图像数据存在一定程度的冗余现象，并且数据量大，给图像的后期处理增加压力。
上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种活体人脸检测方法及系统，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种活体人脸检测方法，包括如下步骤：
S1：获取目标区域的深度图像和高光谱图像；
S2：对所述深度图像进行分析，检测所述深度图像中的人脸区域；若检测到人脸，则对所述深度图像中的所述人脸区域进行人脸关键特征点的定位，得到所述人脸关键特征点的位置信息；
S3：根据所述深度图像中的所述人脸关键特征点的所述位置信息，提取所述高光谱图像中对应所述人脸关键特征点的光谱信息，并进行活体检测，判断是否为活体。
在一些实施例中，步骤S1中，通过深度相机获取所述深度图像，通过高光谱相机获取所述高光谱图像；其中，所述高光谱图像包括多个不同波段的高光谱图像。
在一些实施例中，步骤S1中，所述深度相机和所述高光谱相机同步分别获取所述深度图像和所述高光谱图像；或者，所述深度相机和所述高光谱相机以一定的时序间隔分别采集所述深度图像和所述高光谱图像。
在一些实施例中，步骤S2包括如下步骤：
S20：计算所述深度图像中每一个顶点的曲率的曲率值和取向；
S21：基于步骤S20得到所述曲率值和所述取向划分所述深度图像，区分人体和背景，检测出人脸区域；
S22：根据步骤S21检测的所述人脸区域，通过基于步骤S20得到的所述曲率值对所述人脸关键特征点进行定位。
在一些实施例中，所述曲率包括主曲率、高斯曲率和平均曲率中的至少一种。
在一些实施例中，采用所述高斯曲率和所述平均曲率确定人脸局部形状。
在一些实施例中，步骤S3中，将所述深度图像与所述高光谱图像进行匹配，以从所述深度图像中提取所述人脸关键特征点的光谱信息。
在一些实施例中，将所述深度图像与所述高光谱图像进行相匹配包括以下步骤：
S30：根据步骤S2检测所得的所述人脸区域的所述深度图像，获取该区域深度图像的点云数据集，将所有点投影到一个空间平面上，以确认所述人脸区域深度图像二维投影后的点云坐标范围；
S31：基于步骤S2检测所得的所述人脸区域部分，截取不同波段的所述高光谱图像作为配准数据，提取不同波段但尺寸相同的灰度图，得到人脸区域的像素范围；
S32：根据所述人脸区域对应的高光谱图像像素范围，将步骤S30得到的所述点云数据网格化，将所述人脸区域对应的所述高光谱图像中的每个像元的信息值与网格化后的相对应的所述人脸区域的点所述云数据进行匹配，得到二维点云数据每一点的光谱信息；
S33：基于步骤S32得到的与所述高光谱图像对应的所述二维点云数据，根据其二维点云中每个点的标号，将所述光谱信息匹配至对应的原始三维人脸区域的点云中，以获得原始人脸区域的点云数据的每一点的光谱信息；
S34：根据所述深度图像与所述原始三维人脸区域点云数据的坐标映射关系，确定所述深度图像的每一点像素在所述高光谱图像中匹配到相应的光谱信息。
本发明实施例的另一技术方案为：
一种活体人脸检测系统，包括深度相机、高光谱相机、以及处理器；其中，
所述深度相机用于获取目标区域的深度图像；
所述高光谱相机用于获取所述目标区域的不同波段的高光谱图像；
所述处理器包括深度处理器和高光谱处理器，所述深度处理器用于对获取的所述深度图像进行分析，检测所述深度图像中的人脸区域，并对所述人脸区域中的人脸关键特征点进行定位，得到所述人脸关键特征点的位置信息；所述高光谱处理器根据所述人脸关键特征点的位置信息，提取所述高光谱图像对应的所述人脸关键特征点的光谱信息以进行活体检测，判断是否为活体。
在一些实施例中，所述深度相机和所述高光谱相机被配置于同一图像传感器阵列上以分别获取深度图像和高光谱图像；或者，所述深度相机和所述高光谱相机为分开设置。
本发明技术方案的有益效果是：
相较于现有技术，本发明通过获取深度图像和高光谱图像，在深度图像中识别人脸区域并进行人脸关键特征点定位，在高光谱图像中只提取人脸关键特征点的光谱信息进行活体检测以完成人脸识别，结合了深度图像和高光谱图像，不需要用户配合执行相应的动作就能够完成活体检测，体验效果极佳，且节省检测时间，减少图像处理计算量，提高了活体人脸检测的效率及准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例活体人脸检测方法的流程示意图。
图2是根据本发明一个实施例活体人脸检测方法中基于曲率检测人脸区域的流程图示。
图3是根据本发明一个实施例活体人脸检测方法中匹配深度图像和高光谱图像的流程图。
图4是根据本发明一个实施例活体人脸检测方法中三维点云数据的平面投影示意图。
图5是根据本发明另一个实施例活体人脸检测系统示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
参照图1所示，图1为根据本发明实施例提供的一种活体人脸检测方法流程示意图，该方法包括以下步骤：
S1：获取目标区域的深度图像和高光谱图像；
在一个实施例中，深度图像获取的方法包括采用结构光深度相机获取或采用飞行时间深度相机获取，或者采用双目深度相机获取，在本发明实施例中不作特别限制。
在一个实施例中，利用高光谱相机获取目标区域的高光谱图像，高光谱图像包括多个不同波段的高光谱图像。优选地，不同波段的光谱图像包括550nm波段高光谱图像、685nm波段高光谱图像及850nm波段高光谱图像；由于皮肤黑色素等特殊物质的影响，皮肤反射曲线在550nm波段具有“W”特征，即在该波段附近真实皮肤的皮肤反射曲线形成“W”形状，对皮肤识别起促进作用，能够区分模仿人体皮肤衍射的材料，有助于更真实的建模和渲染人体皮肤；对于850nm波段，适合进行活体检测；对于685nm波段，可区分不同的人种。可以理解的是，以上波段仅是示例性说明，本发明实施例中并不仅限于以上波段。
在一个实施例中，在获取深度图像和高光谱图像获取方法中，通过处理器向深度相机和高光谱相机提供同步触发信号，使得深度相机获取深度图像的同时，高光谱相机也同时获取高光谱图像，以实现实时运算。当然，对于同步获取深度图像和高光谱图像的情形，其对整体系统性能的要求高。在另一个实施例中，深度图像和高光谱图像的获取是不同步的，采取以一定的时序的方式(即以一定的时序间隔)分开采集深度图像和高光谱图像，如此可降低对处理器的存储及运算能力的要求。
S2：对深度图像进行分析，检测深度图像中的人脸区域；若检测到人脸，则对深度图像中的人脸区域进行人脸关键特征点的定位，得到人脸关键特征点的位置信息。
具体的，参照图2所示，在一个实施例中，步骤S2包括如下步骤：
S20：计算深度图像中每一个顶点的曲率值和取向；优选地，曲率包括主曲率、高斯曲率和平均曲率中的至少一种。
在一个实施例中，为了分析三维人脸的曲率，定义人脸曲面为S，通过二次可微的函数f定义S，令f：U→R，
Figure BDA0002659317780000061
则曲面S可以表示为：
S＝{(x,y,z)|(x,y)∈U，z∈R，f(x，y)＝z}
对于曲面S上的每一点(x，y，f(x，y))，其沿x，y两个坐标轴方向的一阶导数为fx和fy，因为三维人脸的深度数据是离散的，所以在计算曲面的一阶导数时用差分来代替：
fx(x,y)＝f(x+1,y)-f(x,y)
fy(x,y)＝f(x,y+1)-f(x,y)
同样，离散曲面上的二阶导数也用差分表示：
fxx(x,y)＝fx(x+1,y)-fx(x,y)
fyy(x,y)＝fy(x,y+1)-fy(x,y)
fxy(x,y)＝fx(x,y+1)-fx(x,y)
根据上述离散曲面的二阶导数可知，fxx可以获取人脸在X轴方向上的轮廓，fyy可以获取人脸在Y轴方向上的轮廓，fxy可以获取人脸在X-Y空间上的轮廓，但是二阶偏微分对噪声十分敏感，容易受到各种各样的噪声干扰，其结果不稳定。因此，在一些实施例中，采用高斯曲率和平均曲率确定人脸局部形状，后面对采用高斯曲率和平均曲率确定人脸局部形状进行详细说明。
由微分几何的定义可得，三维曲面上各点(x，y，f(x，y))处的平均曲率(H)和高斯曲率(K)可用如下公式计算：
高斯曲率：
Figure BDA0002659317780000071
平均曲率：
Figure BDA0002659317780000072
其中，fx，fy，fxx，fyy，fxy是f在(x,y)处的一阶和二阶微分。由于二阶微分对于噪声十分敏感，所以要对曲面进行平滑。在计算曲率之前，用高斯滤波器对深度数据进行处理。
在一实施例中，对于一个曲面S上的一点P，有无数个经过P点法向量的平面。这些平面和曲面S的交线是一系列曲线，这些曲线的曲率称之为P点在曲面S的法曲率，曲面的法向矢量决定了法曲率的符号。法曲率中的最大值和最小值称之为主曲率，两个主曲率对应的方向称为曲面S上P点的主方向。当两个主曲率不相等时，相应的两个主方向完全确定，且相互正交；而当两个主曲率相等时，主方向不能唯一确定，此时曲面S在该点的任一切向都是主曲率的方向。
曲面S的弯曲程度可以通过形状算子L进行衡量，形状算子描述了曲面上各个点的切线变化量，其特征值和特征向量可以表示主曲率和主方向，即：
L＝DG-1
其中，L为曲面S的形状算子的矩阵表达式，D表示曲面的第二形式，G表示曲面的第一形式，则：
Figure BDA0002659317780000081
Figure BDA0002659317780000082
其中，x，y表示对变量x，y的偏导。
S21：基于步骤S20得到的曲率中的曲率值和取向划分深度图像，区分人体和背景，检测出人脸区域。
在一个实施例中，高斯曲率唯一地确定凸表面的形状，而平均曲率在一定的辅佐条件下，可唯一地确定图形表面的形状。通过分析高斯曲率和平均曲率的符号，可得出曲面上的某一点的邻域内的几何特征，以检测出人脸。具体的，当高斯曲率为正数、零、负数时，局部曲面分别对应为椭球面、抛物线面以及双曲面。平均曲率的符号指示了邻域曲面的凹凸特性，当平均曲率为非负数时，邻域曲面为凸面；否则平均曲率为负数时，邻域曲面为凹面。应当理解的是，根据高斯曲率的符号和平均曲率符号，可以有很多种不同的组合，分别对应于不同特性的曲面，能够对三维表面的顶点进行初步归类，从而划分人脸与背景。
在一个实施例中，通过计算形状算子的本征值(主曲率的曲率值)和本征向量(主曲率取向)划分人脸和背景。曲率图包含每个像素的主曲率，即具有较大绝对值的本征值和对应的曲率取向。原始曲率可以是正的或者是负的，其中，正曲率对应凸形表面图形，负曲率对应凹形表面图形，人体部分诸如头部本质上是凸形的，且具有强正曲率。此外，具有正曲率值的像素在曲率图中具有浅的灰影，而负曲率值的像素是暗灰的，从正曲率向负曲率的转变为人脸部分的边缘的良好指示，从而可以清楚划分人脸和背景。应当理解的是，此处的正负曲率的定义是任意的，也可以定义成负曲率为凸形表面图形，此处不做限制。
尽管人脸区域因眼、鼻、嘴以及眼眶造成了曲面形状比较复杂，但从额头向头顶的走向、从脸颊向两侧走向和下巴向颈部走向，这三个方向的共同特征点是曲面有一个从较平坦向较弯曲变化的过程。因此，通过高斯曲率、平均曲率和形状算子可以衡量出这种变化。
S22：根据步骤S21检测的人脸区域，通过基于步骤S20得到的曲率值对人脸的关键特征点进行定位。
在一个实施例中，人脸关键特征点包括鼻子、眼睛及嘴巴。假设三维人脸曲面是光滑的曲面，则具有较高主曲率值的区域为鼻子和眼睛的内角区域。通过设置曲率阈值，可快速检测出眼睛和鼻子。优选地，设置阈值Th＝0.04，Tk＝0.0005，将具有较低曲率值的点集剔除，即K≥Th，G≥Tk。在具有阈值的平均曲率图中，曲率值是正值的，该部分表现为凸起，则认定该区域为鼻子；在具有阈值的HK分类表中，表现为椭圆形的部分，则认定该区域为眼睛及嘴巴。基于上述方法得到的人脸关键特征点的区域，获取该区域在深度图像中的位置信息。
S3：根据深度图像中人脸关键特征点的位置信息，提取高光谱图像中对应人脸关键特征点的光谱信息，并进行活体检测，判断是否为活体。若判断为活体，则将人脸深度信息与预设数据库中的人脸信息进行匹配，获取人脸识别结果。
在一个实施例中，将深度图像数据与高光谱图像数据进行匹配，以从深度图像中提取人脸关键特征点的光谱信息。人脸的深度图像是一种无规则的空间三维数据，而高光谱图像是一种二维图像数据，在数据配准之前，需要将两种数据在空间维度上进行转换。优选地，在本发明实施例中，获取深度图像的点云数据集，再将点云数据二维图像化，从而可以减少数据处理难度和计算量。
如图3所示，将深度图像与高光谱图像进行相匹配具体包括以下步骤：
S30：根据步骤S2检测所得的人脸区域的深度图像，获取该区域深度图像的点云数据集，将所有点P(x,y,z)投影到一个空间平面W上，以确认该人脸区域深度图像二维投影后的点云坐标范围。
如图4所示，在一个实施例中，利用相机模型原理，通过矩阵T将点云数据投影到空间平面W上，其中：
T＝KR[I|-C]
C＝[xc,yc,zc]为相机中心，I为单位矩阵，R为旋转矩阵：
Figure BDA0002659317780000101
α、β、γ分别为欧拉三角：Yaw,Pitch,Roll。
相机定标矩阵为：
Figure BDA0002659317780000102
fx和fy表示在X，Y轴方向上的焦距长度。
在一个实施例中，获取点云数据时，相机被配置为以Y轴正向指向被测目标物体。假设空间投影平面与三维坐标系Y轴垂直，设相机坐标系O为圆点，三维点云数据中的任意点P＝(x，y，z)，对应投影平面点为P'＝(x′，y′，z′)。从而：
y′＝yc
Figure BDA0002659317780000103
Figure BDA0002659317780000104
待完全计算完毕后，确定二维投影后人脸区域点云数据坐标范围，如X：-0.05786m～0.07055m，Y：-0.05844m～0.14559m；X的长度Lx＝0.12841m，Y的长度为：Ly＝0.20403m。
S31：基于步骤S2检测所得的人脸区域部分，截取不同波段的高光谱图像作为配准数据，提取不同波段但尺寸相同的灰度图，得到人脸区域的像素范围，如该人脸区域的像素范围为：X：356～843，Y：50～962，裁剪后可得到所需人脸区域部分的数据范围，即488×913。
S32：根据人脸区域对应的高光谱图像像素范围，将步骤S30得到的点云数据网格化，如：选取步长为：m＝Lx/488＝0.00026，n＝Ly/913＝0.00022，将人脸区域对应的高光谱图像中的每个像元的信息值与网格化后的相对应的人脸区域的点云数据进行匹配，得到二维点云数据每一点的光谱信息。
S33：基于步骤S32得到的与高光谱图像对应的的二维点云数据，根据其二维点云中每个点的标号，将光谱信息匹配至对应的原始三维人脸区域的点云中，以获得原始人脸区域的点云数据的每一点的光谱信息。
S34：根据深度图像与原始三维人脸区域点云数据的坐标映射关系，确定深度图像的每一点像素在高光谱图像中匹配到相应的光谱信息。
更具体地，对于不同的材质或结构，光反射信息存在差异，在图像获取的过程中，不同的特征区的灰度值也存在差异，通过上述的差异，可以判断目标对象是否为活体。
在一个实施例中，基于步骤S2获得的深度图像的人脸关键特征点的位置信息，提取高光谱图像中对应的人脸关键特征点的光谱信息，基于该光谱信息计算人脸关键特征点区域的光反射信息及获取人脸关键特征点区域的灰度值，进而判断检测到的人脸是否为活体。若为活体，则根据步骤S1中获取的人脸深度图像与预设数据库中的人脸图像进行匹配，获取人脸识别结果，若匹配成功，则该目标对象为匹配人员，否则为可疑人员。应当理解的是，人脸识别使用的图像不限于深度图像，还可以是彩色图像或红外图像，或者是两两的组合，只需与预设数据库所保存的人脸图像相匹配即可，在本发明实施例中不作特别限制。
图5为根据本发明另一实施例提供的一种活体人脸检测系统的示意图。系统500包括深度相机501、高光谱相机502、处理器503以及人脸检测器504；其中，深度相机501用于获取目标区域的深度图像；高光谱相机502用于获取目标区域的不同波段的高光谱图像；处理器503包括深度处理器5030和高光谱处理器5031，深度处理器5030用于对获取的深度图像进行分析，检测深度图像中的人脸区域，并对人脸区域中的人脸关键特征点进行定位，得到人脸关键特征点的位置信息后将其发送至高光谱处理器5031，高光谱处理器5031接收人脸关键特征点的位置信息，并根据该信息提取高光谱图像对应人脸关键特征点的光谱信息以进行活体检测，判断是否为活体；若为活体，则将深度相机501获取的深度图像传输至人脸检测器504，人脸检测器504将深度图像与预设数据库中的人脸图像进行匹配，输出人脸识别结果。
在一个实施例中，深度相机501可以基于结构光、双目、TOF(时间飞行算法)等技术方案的深度相机。优选地，以深度相机为结构光深度相机为例进行说明，一般地，结构光深度相机包括发射模组和接收模组。在一个实施例中，发射模组发射的结构光图案为红外散斑图像，接收模组为红外相机，通过红外相机采集到所述结构光图案后输出至处理器503，处理器503通过结构光图案计算从而得到目标人物的深度图像。
在一个实施例中，深度相机501和高光谱相机502可以被配置为同一图像传感器阵列上获取深度图像和高光谱图像，图像传感器阵列包括滤光器。可选地，滤光器布置在图像传感器阵列上方，以便光学覆盖图像传感器阵列。滤光器可选择地透射特定波段的光束，并阻止特定波段外的光到达图像传感器阵列，被阻挡的光可以被吸收、反射和/或散射，取决于滤光器的实现方式，此处不作限制。
在一种滤光状态下，若深度图像是基于红外光生成，在则滤光器可以投射红外光并阻挡红外光波段之外的光；在另一种滤光状态下，高光谱图像是基于与深度图像使用不同波段的生成，则滤光器可以透射高光谱图像包含的波段的光束并阻挡波段之外的光束。应当理解的是，高光谱图像含有多个波段的光束，滤光器可以被配置为在不同波段光的多个滤光状态之间切换。应当理解的是，滤光器可以在任何合适数量的不同滤光状态之间切换，以透射任何合适的波段的光束，同时阻挡该波段之外的光束。
在一个实施例中，深度相机和高光谱相机为分开设置的，在获取深度图像与高光谱图像前，需要将深度相机和高光谱相机进行标定，获取两个相机之间的相对位置关系(R,T)，R为旋转矩阵，T为平移矩阵。
更具体地，假设选取参考物上的一点Q在深度图像上的投影坐标为qD，在深度相机坐标系下的空间坐标为QD，深度相机的内参数矩阵为HG，qD与QD之间的转换关系如下所示：
qD＝HD·QD
同理，假设QG为参考物上同一点Q在彩色相机坐标系的空间坐标，qG为该点在彩色图像上的投影坐标，QG与QD之间关系通过深度相机与高光谱相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；QG与QD之间的转换关系如下：
QG＝RQD+T
假设参考物同一点Q在彩色相机坐标系下的空间坐标为QG，在彩色图像上的投影坐标为qG，QG与qG之间的变换关系由彩色相机的内参数矩阵HG表示，即
qG＝HG·QG
则点Q在深度相机坐标系和彩色相机坐标系下的空间坐标QD、QG可下式求得：
Figure BDA0002659317780000131
其中，RD、TD分别为深度相机内参数矩阵的旋转矩阵和平移矩阵，RG、TG分别为高光谱相机内参数矩阵中的旋转矩阵和平移矩阵；在式子QD＝RDQ+TD中，点Q将由RD、QD、TD表示，带入式子QG＝RQD+T，得：
Figure BDA0002659317780000141
整理上式，得深度相机和高光谱相机的外参数矩阵，即外参数矩阵中的旋转矩阵R和平移矩阵T的表达式为：
Figure BDA0002659317780000142
因此，在同一场景下，通过相机标定获取深度相机和高光谱相机的内参数矩阵后，由此求得深度相机和高光谱相机的外参数矩阵，即可将深度图像和高光谱图像一一对齐。
本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的活体人脸检测方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的活体人脸检测方法。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (10)

1.一种活体人脸检测方法，其特征在于，包括如下步骤：，
S1：获取目标区域的深度图像和高光谱图像；
S2：对所述深度图像进行分析，检测所述深度图像中的人脸区域；若检测到人脸，则对所述深度图像中的所述人脸区域进行人脸关键特征点的定位，得到所述人脸关键特征点的位置信息；
S3：根据所述深度图像中的所述人脸关键特征点的所述位置信息，提取所述高光谱图像中对应所述人脸关键特征点的光谱信息，并进行活体检测，判断是否为活体。
2.如权利要求1所述的活体人脸检测方法，其特征在于：在步骤S1中，通过深度相机获取所述深度图像，通过高光谱相机获取所述高光谱图像；其中，所述高光谱图像包括多个不同波段的高光谱图像。
3.如权利要求2所述的活体人脸检测方法，其特征在于：在步骤S1中，所述深度相机和所述高光谱相机同步分别获取所述深度图像和所述高光谱图像；或者，所述深度相机和所述高光谱相机以一定的时序间隔分别采集所述深度图像和所述高光谱图像。
4.如权利要求1所述的活体人脸检测方法，其特征在于：步骤S2包括如下步骤：
S20：计算所述深度图像中每一个顶点的曲率的曲率值和取向；
S21：基于步骤S20得到所述曲率值和所述取向划分所述深度图像，区分人体和背景，检测出人脸区域；
S22：根据步骤S21检测的所述人脸区域，通过基于步骤S20得到的所述曲率值对所述人脸关键特征点进行定位。
5.如权利要求4所述的活体人脸检测方法，其特征在于：所述曲率包括主曲率、高斯曲率和平均曲率中的至少一种。
6.如权利要求4所述的活体人脸检测方法，其特征在于：采用所述高斯曲率和所述平均曲率确定人脸局部形状。
7.如权利要求1所述的活体人脸检测方法，其特征在于：步骤S3中，将所述深度图像与所述高光谱图像进行匹配，以从所述深度图像中提取所述人脸关键特征点的光谱信息。
8.如权利要求7所述的活体人脸检测方法，其特征在于：将所述深度图像与所述高光谱图像进行相匹配包括以下步骤：
S30：根据步骤S2检测所得的所述人脸区域的所述深度图像，获取该区域深度图像的点云数据集，将所有点投影到一个空间平面上，以确认所述人脸区域深度图像二维投影后的点云坐标范围；
S31：基于步骤S2检测所得的所述人脸区域部分，截取不同波段的所述高光谱图像作为配准数据，提取不同波段但尺寸相同的灰度图，得到人脸区域的像素范围；
S32：根据所述人脸区域对应的高光谱图像像素范围，将步骤S30得到的所述点云数据网格化，将所述人脸区域对应的所述高光谱图像中的每个像元的信息值与网格化后的相对应的所述人脸区域的所述点云数据进行匹配，得到二维点云数据每一点的光谱信息；
S33：基于步骤S32得到的与所述高光谱图像对应的所述二维点云数据，根据其二维点云中每个点的标号，将所述光谱信息匹配至对应的原始三维人脸区域的点云中，以获得原始人脸区域的点云数据的每一点的光谱信息；
S34：根据所述深度图像与所述原始三维人脸区域点云数据的坐标映射关系，确定所述深度图像的每一点像素在所述高光谱图像中匹配到相应的光谱信息。
9.一种活体人脸检测系统，其特征在于：包括深度相机、高光谱相机、以及处理器；其中，
所述深度相机用于获取目标区域的深度图像；
所述高光谱相机用于获取所述目标区域的不同波段的高光谱图像；
所述处理器包括深度处理器和高光谱处理器，所述深度处理器用于对获取的所述深度图像进行分析，检测所述深度图像中的人脸区域，并对所述人脸区域中的人脸关键特征点进行定位，得到所述人脸关键特征点的位置信息；所述高光谱处理器根据所述人脸关键特征点的位置信息，提取所述高光谱图像对应的所述人脸关键特征点的光谱信息以进行活体检测，判断是否为活体。
10.如权利要求9所述的活体人脸检测系统，其特征在于：所述深度相机和所述高光谱相机被配置于同一图像传感器阵列上以分别获取深度图像和高光谱图像；或者，所述深度相机和所述高光谱相机为分开设置。
CN202010899445.3A 2020-08-31 2020-08-31 一种活体人脸检测方法及系统 Pending CN112232109A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010899445.3A CN112232109A (zh) 2020-08-31 2020-08-31 一种活体人脸检测方法及系统
PCT/CN2020/141998 WO2022041627A1 (zh) 2020-08-31 2020-12-31 一种活体人脸检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899445.3A CN112232109A (zh) 2020-08-31 2020-08-31 一种活体人脸检测方法及系统

Publications (1)

Publication Number Publication Date
CN112232109A true CN112232109A (zh) 2021-01-15

Family

ID=74115792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899445.3A Pending CN112232109A (zh) 2020-08-31 2020-08-31 一种活体人脸检测方法及系统

Country Status (2)

Country Link
CN (1) CN112232109A (zh)
WO (1) WO2022041627A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139465A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 人脸识别方法及装置
CN113408414A (zh) * 2021-06-18 2021-09-17 北京理工大学 基于高光谱生物特征的人脸防伪识别方法和装置
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN113963425A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质
CN114827561A (zh) * 2022-03-07 2022-07-29 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质
CN115278031A (zh) * 2022-07-29 2022-11-01 盛泰光电科技股份有限公司 基于高光谱的摄像头模组及其图像处理方法和应用
CN115273249A (zh) * 2022-08-01 2022-11-01 思博特集成科技(珠海横琴)有限公司 光谱三维识别方法、识别方法装置及可读存储介质
CN116718271A (zh) * 2023-08-07 2023-09-08 北京理工大学 高速高光谱成像系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797995B (zh) * 2022-11-18 2023-09-01 北京的卢铭视科技有限公司 人脸活体检测方法、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN104881632A (zh) * 2015-04-28 2015-09-02 南京邮电大学 高光谱人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
KR20180134280A (ko) * 2017-06-08 2018-12-18 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN111194449A (zh) * 2017-09-22 2020-05-22 高通股份有限公司 用于人脸活体检测的系统和方法
FR3089036A1 (fr) * 2018-11-28 2020-05-29 In-Idt dispositif et procédé d’authentification d’un individu

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176377B2 (en) * 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
CN106204601B (zh) * 2016-07-15 2018-09-28 华东师范大学 一种基于波段扫描形式的活体高光谱序列图像并行配准方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
CN104881632A (zh) * 2015-04-28 2015-09-02 南京邮电大学 高光谱人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
KR20180134280A (ko) * 2017-06-08 2018-12-18 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN111194449A (zh) * 2017-09-22 2020-05-22 高通股份有限公司 用于人脸活体检测的系统和方法
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
FR3089036A1 (fr) * 2018-11-28 2020-05-29 In-Idt dispositif et procédé d’authentification d’un individu
WO2020109122A1 (fr) * 2018-11-28 2020-06-04 In-Idt Dispositif et procede d'authentification d'un individu

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王辉;于立君;毛晓琦;王雪莹;刘朝达;: "人脸活体特征检测实验平台设计与实现", 实验技术与管理, no. 05 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139465A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 人脸识别方法及装置
CN113408414A (zh) * 2021-06-18 2021-09-17 北京理工大学 基于高光谱生物特征的人脸防伪识别方法和装置
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN113963425A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质
CN113963425B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质
CN114827561A (zh) * 2022-03-07 2022-07-29 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质
CN114827561B (zh) * 2022-03-07 2023-03-28 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质
CN115278031A (zh) * 2022-07-29 2022-11-01 盛泰光电科技股份有限公司 基于高光谱的摄像头模组及其图像处理方法和应用
CN115273249A (zh) * 2022-08-01 2022-11-01 思博特集成科技(珠海横琴)有限公司 光谱三维识别方法、识别方法装置及可读存储介质
CN116718271A (zh) * 2023-08-07 2023-09-08 北京理工大学 高速高光谱成像系统和方法
CN116718271B (zh) * 2023-08-07 2023-11-14 北京理工大学 高速高光谱成像系统和方法

Also Published As

Publication number Publication date
WO2022041627A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112232109A (zh) 一种活体人脸检测方法及系统
CN111046703B (zh) 人脸防伪检测方法、装置及多目相机
Kang et al. Study of a full-view 3D finger vein verification technique
US9734381B2 (en) System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
US20190347461A1 (en) Three-dimensional finger vein recognition method and system
US8345936B2 (en) Multispectral iris fusion for enhancement and interoperability
CN110309782A (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
CN101398886A (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN107563304A (zh) 终端设备解锁方法及装置、终端设备
CN112257641A (zh) 一种人脸识别活体检测方法
CN112487922A (zh) 一种多模态人脸活体检测方法及系统
CN111222472A (zh) 一种基于结构光频域特征的人脸识别方法
CN107374638A (zh) 一种基于双目视觉模块的身高测量系统及方法
KR101021027B1 (ko) 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법
Parziale et al. Advanced technologies for touchless fingerprint recognition
Bastias et al. A method for 3D iris reconstruction from multiple 2D near-infrared images
Bogo et al. Automated detection of new or evolving melanocytic lesions using a 3D body model
Costa et al. Towards biometric identification using 3D epidermal and dermal fingerprints
Labati et al. Virtual environment for 3-D synthetic fingerprints
KR101815697B1 (ko) 위조 얼굴 판별 장치 및 방법
US20180047206A1 (en) Virtual mapping of fingerprints from 3d to 2d
Romanyuk et al. Face recognition techniques
CN112016495A (zh) 人脸识别的方法、装置和电子设备
KR101785661B1 (ko) 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치
Mazumdar et al. Forgery detection in digital images through lighting environment inconsistencies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information