CN111046703B - 人脸防伪检测方法、装置及多目相机 - Google Patents

人脸防伪检测方法、装置及多目相机 Download PDF

Info

Publication number
CN111046703B
CN111046703B CN201811192155.4A CN201811192155A CN111046703B CN 111046703 B CN111046703 B CN 111046703B CN 201811192155 A CN201811192155 A CN 201811192155A CN 111046703 B CN111046703 B CN 111046703B
Authority
CN
China
Prior art keywords
face
rgb
image
infrared
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811192155.4A
Other languages
English (en)
Other versions
CN111046703A (zh
Inventor
苏星
沈家俊
毛慧
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811192155.4A priority Critical patent/CN111046703B/zh
Priority to US17/283,920 priority patent/US11869255B2/en
Priority to EP19870709.3A priority patent/EP3866052A4/en
Priority to PCT/CN2019/110652 priority patent/WO2020073993A1/zh
Publication of CN111046703A publication Critical patent/CN111046703A/zh
Application granted granted Critical
Publication of CN111046703B publication Critical patent/CN111046703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data

Abstract

本申请实施例提供了人脸防伪检测方法、装置及多目相机，该人脸防伪检测方法包括：利用TOF相机及RGB相机获取深度图像、红外图像及RGB图像；通过预设人脸检测算法对RGB图像进行分析，确定RGB图像中人脸的RGB人脸区域及RGB人脸区域的位置信息；按照RGB人脸区域的位置信息，确定人脸在深度图像中的深度人脸区域，及人脸在红外图像中的红外人脸区域；在深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定人脸通过检测。在本申请实施例的人脸防伪检测方法中，不用用户配合执行相应的动作就能够完成人脸活体检测，能够节省检测时间，用户体验佳。

Description

人脸防伪检测方法、装置及多目相机
技术领域
本申请涉及图像处理技术领域，特别是涉及人脸防伪检测方法、装置及多目相机。
背景技术
随着电子商务等技术的发展，人脸识别成为最有潜力的生物身份验证手段。在人脸识别技术极大提高了人们生活便利性的同时，其安全性问题也逐步受到人们的重视。为了防止不法分子通过照片等破解人脸识别，人脸活体防伪检测技术也成为了一个研究热点。
相关人脸活体检测技术中，检测设备会发出随机动作指令，如眨眼，摇头，甚至读出一串随机数等，然后通过摄像头检测用户的响应是否符合预期。然而需要用户配合执行相应的动作才能完成，检测时间长，用户体验差。
发明内容
本申请实施例的目的在于提供一种人脸防伪检测方法、装置及多目相机，以实现减少用户动作，缩短检测时间，提高用户体验。具体技术方案如下：
第一方面，本申请实施例提供了一种人脸防伪检测方法，应用于多目相机，所述多目摄像机包括飞行时间测距法TOF相机及红绿蓝RGB相机，所述方法包括：
利用所述TOF相机及所述RGB相机获取深度图像、红外图像及RGB图像；
通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；
按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；
在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测。
可选的，所述在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测，包括：
计算所述深度人脸区域与预留先验人脸模板的相似度；
确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测。
可选的，所述计算所述深度人脸区域与预留先验人脸模板的相似度，包括：
按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
比较所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定所述深度人脸区域与预留先验人脸模板的相似度。
可选的，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果，包括：
确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
将各所述反射率分布直方图转化为多维特征向量；
通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
可选的，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果，包括：
提取所述RGB人脸区域的LBP特征；
通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
第二方面，本申请实施例提供了一种多目相机，所述多目相机包括：
飞行时间测距法TOF相机、红绿蓝RGB相机及控制模块；
所述TOF相机：用于采集深度图像及红外图像；
所述RGB相机：用于采集RGB图像；
所述控制模块：用于通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测。
可选的，在本申请实施例的多目相机中，所述在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测，包括：
计算所述深度人脸区域与预留先验人脸模板的相似度；
确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测。
可选的，在本申请实施例的多目相机中，所述计算所述深度人脸区域与预留先验人脸模板的相似度，包括：
按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
计算所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线的相似度。
可选的，在本申请实施例的多目相机中，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果，包括：
确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
将各所述反射率分布直方图转化为多维特征向量；
通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
可选的，在本申请实施例的多目相机中，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果，包括：
提取所述RGB人脸区域的LBP特征；
通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
可选的，在本申请实施例的多目相机中，所述TOF相机的光源为波长为940纳米的红外光。
第三方面，本申请实施例提供了一种人脸防伪检测装置，位于多目相机，所述多目摄像机包括飞行时间测距法TOF相机及红绿蓝RGB相机，所述装置包括：
图像获取模块，用于利用所述TOF相机及所述RGB相机获取深度图像、红外图像及RGB图像；
信息确定模块，用于通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；
区域确定模块，用于按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；
检测判断模块，用于在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测。
可选的，所述检测判断模块，包括：
相似度计算子模块，用于计算所述深度人脸区域与预留先验人脸模板的相似度；
红外分析子模块，用于确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
RGB分析子模块，用于确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
综合分析子模块，用于在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测。
可选的，所述相似度计算子模块，包括：
视图确定单元，用于按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
深度对比单元，用于比较所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定所述深度人脸区域与预留先验人脸模板的相似度。
可选的，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述红外分析子模块，包括：
法向量确定单元，用于确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
反射率确定单元，用于根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
直方图确定单元，用于将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
特征向量确定单元，用于将各所述反射率分布直方图转化为多维特征向量；
红外结果确定单元，用于通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
可选的，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述RGB分析子模块，包括：
LBP特征提取单元，用于提取所述RGB人脸区域的LBP特征；
RGB结果确定单元，用于通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
本申请实施例提供的人脸防伪检测方法、装置及多目相机，利用TOF相机及RGB相机获取深度图像、红外图像及RGB图像；通过预设人脸检测算法对RGB图像进行分析，确定RGB图像中人脸的RGB人脸区域及RGB人脸区域的位置信息；按照RGB人脸区域的位置信息，确定人脸在深度图像中的深度人脸区域，及人脸在红外图像中的红外人脸区域；在深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定人脸通过检测。通过TOF相机及RGB相机获取深度图像、红外图像及RGB图像判断人脸是否为活体，不用用户配合执行相应的动作就能够完成人脸活体检测，能够节省检测时间，用户体验佳。通过TOF相机及RGB相机两个相机，同时采集目标深度、红外、可见光三个维度的信息，在深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定人脸通过检测，检测成功率高。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的人脸防伪检测方法的第一种流程示意图；
图2为本申请实施例的人脸防伪检测方法的第二种流程示意图；
图3为本申请实施例的人脸防伪检测方法的第三种流程示意图；
图4为本申请实施例的人脸防伪检测方法的第四种流程示意图；
图5为本申请实施例的多目摄像机的一种示意图；
图6为本申请实施例的多目摄像机的另一种示意图；
图7为现有技术中高光谱图像的一种示意图；
图8a为本申请实施例的照片在高光谱各个子波段的灰度图；
图8b为本申请实施例的活体人脸在高光谱各个子波段的灰度图；
图9为现有技术中连续波测距法的原理示意图；
图10为现有技术中自然光谱的示意图；
图11为本申请实施例的人脸防伪检测装置的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对专业术语进行介绍：
TOF(Time of Flight，飞行时间测距法)：通过计算光的飞行时间来得到距离的技术手段。
SVM(Support Vector Machine，支持向量机)：是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。
RGB-IR：RGB(Red Green Blue，红绿蓝)波段相机，与IR(Infrared Radiation，红外线)波段相机组成的双目相机
多光谱：多光谱成像技术通常的简称，指的是光谱分辨率Δλ/λ＝0.1数量级的光谱成像技术，这种技术一般在可见光和近红外区域只有几个波段。与之对应的还有高光谱技术、超光谱技术，区别在于光谱分辨率，后者的分辨率更高。
深度相机：获取场景图像，图像中每个像素点的值代表场景中该物体到相机的距离。
红外相机：能够测量场景物体发射或者反射的红外光线强度，并输出图像的相机
相机内参：是与相机自身特性相关的参数，比如相机的焦距、主点位置等。
相机外参：是在世界坐标系中的参数，比如相机的位置、旋转方向等。
相关人脸活体检测技术中，检测设备会发出随机动作指令，然后通过摄像头检测用户的响应是否符合预期。用户需要配合执行相应的动作才能完成检测，检测时间长，用户体验差。有鉴于此，本申请实施例提供了一种人脸防伪检测方法参见图1，应用于多目相机，上述多目摄像机包括TOF相机及RGB相机，上述方法包括：
S101，利用上述TOF相机及上述RGB相机获取深度图像、红外图像及RGB图像。
本申请实施例中的人脸防伪检测方法可以通过检测系统实现，检测系统为任意能够实现本申请实施例人脸防伪检测方法的系统。例如：
检测系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本申请实施例的人脸防伪检测方法。可选的。所述设备具体可以为多目相机。
检测系统还可以为一种应用程序，用于在运行时执行本申请实施例的人脸防伪检测方法。
检测系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本申请实施例的人脸防伪检测方法。
TOF相机用于采集深度图像及红外图像，RGB相机用于采集RGB图像。其中，本申请实施例中的红外图像为TOF相机采集的置信度图，即指定波长红外线的亮度图像。可选的，TOF相机的光源为940nm波段，分辨率320x240或更高。RGB相机的分辨率为640×480或更高。TOF相机与RGB相机安装基线距离小于2cm。检测系统获取TOF相机及RGB相机采集的深度图像、红外图像及RGB图像。
S102，通过预设人脸检测算法对上述RGB图像进行分析，确定上述RGB图像中人脸的RGB人脸区域及上述RGB人脸区域的位置信息。
预设人脸检测算法为任意的用于检测人脸的目标检测算法，例如，基于直方图粗分割和奇异值特征的人脸检测模型、基于AdaBoost算法的人脸检测、基于面部双眼结构特征的人脸检测模型或其他基于深度学习的人脸检测算法等。检测系统通过预设人脸检测算法确定RGB图像中人脸所在的区域，即RGB人脸区域，并确定RGB人脸区域的位置信息，例如RGB人脸区域的坐标。
可选的，若RGB图像中未检测到RGB人脸区域，则判定人脸检测失败，即不包括活体人脸。
S103，按照上述RGB人脸区域的位置信息，确定上述人脸在上述深度图像中的深度人脸区域，及上述人脸在上述红外图像中的红外人脸区域。
深度图像及红外图像是由TOF相机采集的，RGB图像是由RGB相机采集的，且深度图像、红外图像及RGB图像均为同一时刻采集的图像。由于TOF相机与RGB相机之间存在视场差异，因此在对于两个相机采集的图像进行位置映射时，需要对位置配准。获取多目相机的相机内参及相机外参，计算TOF相机与RGB相机的视场差异，按照该视场差异确定RGB人脸区域在深度图像及红外图像中的对应位置，得到深度人脸区域及红外人脸区域。深度图像及红外图像均由TOF相机采集，因此深度人脸区域在深度图像的位置与红外人脸区域在红外图像中的位置相同。
具体的，RGB人脸区域的位置信息为RGB人脸区域的坐标区域，可以按照多目相机的相机内参及相机外参，通过仿射变换将RGB人脸区域的坐标区域转化为在深度图像及红外图像中的坐标区域，从而确定深度人脸区域及红外人脸区域。
S104，在上述深度人脸区域、上述红外人脸区域及上述RGB人脸区域各自满足相应的预设规则时，判定上述人脸通过检测。
检测系统在判断深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定上述人脸为活体，上述人脸通过检测。在本申请实施例中，可以并行判定深度人脸区域、红外人脸区域及RGB人脸区域是否各自满足相应的预设规则，若深度人脸区域、红外人脸区域及RGB人脸区域中一个或多个不满足相应的预设规则时，判定人脸为非活体，人脸未通过检测。还可以按照任意顺序依次判定深度人脸区域、红外人脸区域及RGB人脸区域是否各自满足相应的预设规则，在判定其中一项不满足相应的预设规则时，不再继续判定剩余项，直接判定人脸为非活体，人脸未通过检测。示例性地，人脸通过检测的判断过程，可以是人脸是否为活体的判断过程。
在本申请实施例中，通过TOF相机及RGB相机获取深度图像、红外图像及RGB图像判断人脸是否为活体，不用用户配合执行相应的动作就能够完成人脸活体检测，能够节省检测时间，用户体验佳。通过TOF相机及RGB相机两个相机，同时采集目标深度、红外、可见光三个维度的信息，在深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定人脸通过检测，检测成功率高。
可选的，参见图2，上述在上述深度人脸区域、上述红外人脸区域及上述RGB人脸区域各自满足相应的预设规则时，判定上述人脸通过检测，包括：
S1041，计算上述深度人脸区域与预留先验人脸模板的相似度。
预留先验人脸模板为预先输入的真实人脸的深度信息模板，检测系统计算深度人脸区域的深度信息与预留先验人脸模板的深度信息的相似度。
S1042，确定上述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对上述第一图像特征进行分析，得到红外分析结果。
红外分析结果可以为人脸为活体或人脸为非活体。
S1043，确定上述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对上述第二图像特征进行分析，得到RGB分析结果。
RGB分析结果可以为人脸为活体或人脸为非活体。
S1044，在上述相似度大于预设相似度阈值、上述红外分析结果表征上述人脸为活体、且上述RGB分析结果表征上述人脸为活体时，判定上述人脸通过检测。
预设相似度阈值根据实际情况进行设定，例如设置为85％、90％或95％等。深度人脸区域与预留先验人脸模板的相似度大于预设相似度阈值，表征述人脸为活体。
在本申请实施例中，在深度人脸区域、红外人脸区域及RGB人脸区域均表征人脸为活体时，判定人脸通过检测，增加人脸活体检测准确度。
可选的，上述计算上述深度人脸区域与预留先验人脸模板的相似度，包括：
步骤一，按照上述深度人脸区域，确定上述人脸的侧视图及俯视图。
检测系统按照上述深度人脸区域各位置的深度，得到人脸的侧视图与俯视图。
步骤二，比较上述侧视图及上述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定上述深度人脸区域与预留先验人脸模板的相似度。
检测系统将侧视及俯视两个视角下人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线进行比较，计算深度人脸区域与预留先验人脸模板的相似度。例如，按照公式aX+bY＝Z计算深度人脸区域与预留先验人脸模板的相似度，其中，a与b为预设系数，且a+b＝1；Z为深度人脸区域与预留先验人脸模板的相似度；X为深度人脸区域的人脸侧视图的人脸深度变化曲线，与预留先验人脸模板的人脸侧视图的人脸深度变化曲线的相似度；Y为深度人脸区域的人脸俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸俯视图的人脸深度变化曲线的相似度。
在本申请实施例中，通过比较人脸的侧视图及俯视图的人脸深度变化曲线与预留先验人脸模板的人脸深度变化曲线。从两个维度交叉验证，避免照片弯曲骗过关键点深度检测，增加人脸活体检测准确度。
可选的，上述第一图像特征为多维特征向量，上述第一深度学习模型为第一分类器，上述确定上述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对上述第一图像特征进行分析，得到红外分析结果，包括：
步骤一，确定上述红外人脸区域的光强分布及上述红外人脸区域各点的单位法向量。
检测系统按照深度人脸区域的深度信息，计算各点(像素点)的单位法向量，即红外人脸区域各点的单位法向量。检测系统获取红外人脸区域的各像素点的亮度值，即光强分布。
步骤二，根据上述光强分布及上述各点的单位法向量，计算上述红外人脸区域的反射率分布。
例如，检测系统按照如下公式计算红外人脸区域的反射率分布：
Figure BDA0001827780840000121
其中，I(x，y)为光强分布，
Figure BDA0001827780840000122
为单位法向量，d为人脸距离多目摄像机的深度，Istd(d)为指定波长红外光在距离d下的标准亮度值，通过事先标定亮度-距离曲线获得，
Figure BDA0001827780840000123
为平行入射光的单位向量，人脸正对多目相机时
Figure BDA0001827780840000124
与额头平面夹角近似为π/2，γ(x，y)为反射率分布。
步骤三，将上述红外人脸区域划分为多个器官区域，按照上述反射率分布，确定各上述器官区域的反射率分布直方图。
例如，将红外人脸区域分为额头，眼睛，鼻子，脸颊，嘴唇五个器官区域，统计每个器官区域内反射率分布直方图。
步骤四，将各上述反射率分布直方图转化为多维特征向量。
检测系统将所有的反射率分布直方图组成一个多维特征向量。
步骤五，通过预先训练的第一分类器对上述多维特征向量进行分析，得到红外分析结果。
预先训练第一分类器的步骤包括：将多个人脸的多维特征向量作为正样本输入到基于深度学习的分类器中进行训练，得到预先训练的第一分类器。可选的，第一分类器可以为SVM分类器。红外分析结果为人脸为活体或人脸为非活体。
在本申请实施例中，综合使用了深度图像与红外图像。根据人脸深度图获得各点的单位法向量，根据各点的单位法向量、以及红外图像等信息计算获得人脸反射率分布，然后将多个器官区域的反射率分布直方图转化为多维特征向量，通过SVM分类器，能够有效排除掉假体攻击，增加人脸活体检测准确度。
可选的，上述第二图像特征为局部二值模式LBP特征，上述第二深度学习模型为第二分类器，上述确定上述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对上述第二图像特征进行分析，得到RGB分析结果，包括：
步骤一，提取上述RGB人脸区域的LBP特征。
检测系统对RGB图像中的RGB人脸区域进行LBP(Local Binary Patterns，局部二值模式)特征提取，得到RGB人脸区域的LBP特征。
步骤二，通过预选训练的第二分类器对上述LBP特征进行分析，得到RGB分析结果。
预先训练第二分类器的步骤包括：将人脸图像的LBP特征作为正样本输入到基于深度学习的分类器中进行训练，得到预先训练的第二分类器。RGB分析结果为人脸为活体或人脸为非活体。
人脸的纹理特征反应了其反射率分布，因此可将问题转化为对纹理特征的识别。本申请实施例中，通过预先提取人脸区域LBP纹理特征，利用LBP图像训练神经网络分类器进行分类识别，有效利用了可见光波段的反射率线索，并且增强了光照鲁棒性，提高了人脸活体检测准确度。
本申请实施例的人脸防伪检测方法还可以如图3所示，其中深度图像、红外图像及RGB图像的判决流程可以如图4所示。
获取经双目标定的TOF相机与RGB相机的外参。同时获取以下三幅图像：由RGB相机采集的RGB图像；由TOF相机获取的置信度图像，即红外图像；以及由TOF相机获取的深度图像。
在RGB图像上，通过人脸检测算法进行人脸检测，获取人脸框的位置信息；如果没有检测到人脸，则直接判定为非活体，流程结束。
利用标定的参数，把RGB图像中人脸框位置信息投影到深度图像上，即获取深度图像中的人脸区域。根据深度图像中人脸区域，转换立体人脸的侧视图与俯视图，判断两个视角下人脸深度变化曲线与先验模板的相似度，如果相似度大于预先设置的阈值，则标记为深度图像判决通过；否则直接判定为非活体，流程结束。
根据深度图像计算人脸区域每个点的单位法向量
Figure BDA0001827780840000141
由于红外图像与深度图像平面坐标重合，直接利用深度图像中人脸框位置，得到红外图像中人脸区域。从红外图像获得人脸区域的光强分布I(x，y)，即人脸区域每个像素点的亮度值。则人脸区域的反射率分布γ(x，y)可以根据下式计算：
Figure BDA0001827780840000142
其中d为人脸距离相机的深度；Istd(d)为940nm红外光在距离d下的标准亮度值，通过事先标定亮度-距离曲线获得；光照可近似为入射方向单位向量为
Figure BDA0001827780840000143
的平行光，人脸正对时与额头平面夹角近似为π/2。
将人脸区域分为额头，眼睛，鼻子，脸颊，嘴唇五个部分，统计每个区域内反射率分布直方图，将所有的直方图组成一个多维特征向量。根据事先训练好的SVM分类器，将上述特征向量输入SVM分类器，如果分类结果为活体，则标记为红外图像判决通过；否则直接判定为非活体，流程结束。
将RGB图像中人脸区域进行LBP特征提取，得到LBP纹理图像，通过预先训练好的分类器(该分类器基于深度学习训练，输入为人脸图像的LBP特征图)，判断该LBP纹理图像是否来自活体。如果来自活体，则标记为RGB图像判决通过；否则直接判定为非活体，流程结束。
如果RGB图像判决、红外图像判决、深度图像判决均通过，则最判断结果为活体。
在本申请实施例中，充分利用各种有效信息，通过三重判决保障活体检测的准确度。RGB图像判决、红外图像判决、深度图像判决分别利用了人脸的可见光波段发射率特性、红外波段反射率特性、以及人脸的深度分布特性。如果这三方面特性都符合活体人脸要求，则最终判定被检测目标为活体。
利用深度信息，可以非常精准且快速地排除掉平面照片、视频等攻击手段，尤其可以排除掉弯曲照片的攻击；并且不受环境影响，非常鲁棒。可以精确的描述活体人脸的反射率分布，增强对材质、加工精度比较粗糙的孔洞面具、3D(Dimensions，维度)模型等假体的识别能力。可以有效利用可见光波段反射率特征，结合对红外波段反射率特征的准确描述，本申请能够可靠的抵御各种面具、3D模型等假体攻击，并且对光照鲁棒。本申请属于静默式的活体防伪技术，无需主动交互，灵活方便。
本申请实施例还提供了一种多目摄像机，参见图5，该多目摄像机包括：
TOF相机501、RGB相机502及控制模块503；
上述TOF相机501：用于采集深度图像及红外图像；
上述RGB相机502：用于采集RGB图像；
上述控制模块503：用于通过预设人脸检测算法对上述RGB图像进行分析，确定上述RGB图像中人脸的RGB人脸区域及上述RGB人脸区域的位置信息；按照上述RGB人脸区域的位置信息，确定上述人脸在上述深度图像中的深度人脸区域，及上述人脸在上述红外图像中的红外人脸区域；在上述深度人脸区域、上述红外人脸区域及上述RGB人脸区域各自满足相应的预设规则时，判定上述人脸通过检测。
可选的，参见图6，上述控制模块503包括处理器及存储器，上述存储器用于存储数据，上述处理器用于在运行时实现如下步骤：通过预设人脸检测算法对上述RGB图像进行分析，确定上述RGB图像中人脸的RGB人脸区域及上述RGB人脸区域的位置信息；按照上述RGB人脸区域的位置信息，确定上述人脸在上述深度图像中的深度人脸区域，及上述人脸在上述红外图像中的红外人脸区域；在上述深度人脸区域、上述红外人脸区域及上述RGB人脸区域各自满足相应的预设规则时，判定上述人脸通过检测。
在本申请实施例中，通过TOF相机及RGB相机获取深度图像、红外图像及RGB图像判断人脸是否为活体，不用用户配合执行相应的动作就能够完成人脸活体检测，能够节省检测时间，用户体验佳。通过TOF相机及RGB相机两个镜头，同时采集目标深度、红外、可见光三个维度的信息，在深度人脸区域、红外人脸区域及RGB人脸区域各自满足相应的预设规则时，判定人脸通过检测，检测成功率高。
可选的，上述多目相机具体可以为双目相机。
在本申请实施例中，利用双目相机TOF相机的置信度图作为红外灰度图使用，仅用ToF相机加RGB相机组成的双目相机，便可同时采集目标深度、红外、可见光三个维度的信息，不需要相机有三目及三目以上，在保证检测准确度的同时，降低了设备复杂度。
可选的，在本申请实施例的多目相机中，上述在上述深度人脸区域、上述红外人脸区域及上述RGB人脸区域各自满足相应的预设规则时，判定上述人脸通过检测，包括：
计算上述深度人脸区域与预留先验人脸模板的相似度；确定上述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对上述第一图像特征进行分析，得到红外分析结果；确定上述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对上述第二图像特征进行分析，得到RGB分析结果；在上述相似度大于预设相似度阈值、上述红外分析结果表征上述人脸为活体、且上述RGB分析结果表征上述人脸为活体时，判定上述人脸通过检测。
可选的，在本申请实施例的多目相机中，上述计算上述深度人脸区域与预留先验人脸模板的相似度，包括：
按照上述深度人脸区域，确定上述人脸的侧视图及俯视图；计算上述侧视图及上述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线的相似度。
可选的，在本申请实施例的多目相机中，上述第一图像特征为多维特征向量，上述第一深度学习模型为第一分类器，上述确定上述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对上述第一图像特征进行分析，得到红外分析结果，包括：
确定上述红外人脸区域的光强分布及上述红外人脸区域各点的单位法向量；根据上述光强分布及上述各点的单位法向量，计算上述红外人脸区域的反射率分布；将上述红外人脸区域划分为多个器官区域，按照上述反射率分布，确定各上述器官区域的反射率分布直方图；将各上述反射率分布直方图转化为多维特征向量；通过预先训练的第一分类器对上述多维特征向量进行分析，得到红外分析结果。
可选的，在本申请实施例的多目相机中，上述第二图像特征为局部二值模式LBP特征，上述第二深度学习模型为第二分类器，上述确定上述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对上述第二图像特征进行分析，得到RGB分析结果，包括：
提取上述RGB人脸区域的LBP特征；通过预选训练的第二分类器对上述LBP特征进行分析，得到RGB分析结果。
可选的，在本申请实施例的多目相机中，上述TOF相机的光源为波长为940纳米的红外光。
可选的，TOF相机的分辨率可以为320x240或更高。RGB相机的分辨率可以为640×480或更高。TOF相机与RGB相机安装基线距离小于2cm。
光谱成像技术产生于二十世纪八十年代，该技术将各种电磁波，如近红外波段、可见光波段、紫外波段等结合起来，采用了成像技术与光谱技术，可以获得大量连续并且窄的光谱连续图像。根据光谱分辨率分为多光谱(Δλ/λ＝0.1)、高光谱(Δλ/λ＝0.01)、超光谱(Δλ/λ＝0.001)。
“图谱合一”是光谱成像的显著特点。在一般RGB图像中，只有“图”而没有“谱”，电磁波段很多，但在RGB图像中并不能体现出来，RGB图像只能体现一部分光谱下成像的叠加效果。光谱图像能够有效的描述物质的空间信息、光谱信息、以及辐射能量，对物质的分类与辨别有很好的鲁棒性，其中高光谱图像具象的示意如图7所示。可见，高光谱图像实际上是一组图像，构成了一个数据立方体，从这个立方体中，不仅可以得到传统的二维图像；换个维度去观察，还可以得到光谱信息。
申请人在研究中发现，对于人脸活体检测来说，通过高光谱成像，可以清楚的区分活体与假体。参见图8a及图8b，其中图8a为照片在高光谱各个子波段的灰度图，其中图8b为活体人脸在高光谱各个子波段的灰度图。可知照片与真人活体在高光谱各个子波段下，其灰度值有着较为明显的差异。人眼通常看到的照片和真人基本一样，实际上是由于把多个子波段叠加在一起了，造成的结果就是没有区分度了。高光谱技术就像“显微镜”一样，把各个子波段下成的像单独拉出来比较，总有一些子波段上有区分度。
然而，要得到类似高光谱多个子波段的图像，对设备的要求非常高。因此，需要通过光谱分析的原理进行人脸活体检测，一个核心问题就是筛选出最优区分度的子波段，保证区分度的情况下，越少越好。申请人在研究中发现，RGB加940nm波长的IR(InfraredRadiation，红外线)波段组合，对于人脸活体检测这个应用来说，是具有足够的区分度的；而单纯的RGB、单纯的IR波段，其区分度比较有限。因此可以利用940nm波长的TOF的置信度图(即IR波段的红外图像)，结合RGB相机，实现了针对人脸的多光谱检测。
目前主流的三大深度感知技术包括：双目视觉，结构光，TOF。其中ToF主要优势是体积小，精度高，通过单目相机可以同时获得目标深度信息以及置信度图(等同于红外灰度图像)。
TOF技术的基本原理类似于雷达测距。简单来说，就是通过测量光子从发射到返回的往返飞行时间，结合光速，就可以计算出目标距离了。为了测量整个场景表面，不同于扫描式的激光雷达，TOF将许多点传感器集成一个阵列面上，形成一个矩阵。这样通过矩阵式TOF拍摄一张场景，即可实时获取整个场景的表面几何结构信息。因此有些地方也将TOF传感器成为固态激光雷达。TOF典型方法有连续波测距法、脉冲光直接测量法、距离门限法。其中连续波测距法如图9所示，根据以下公式求得测试结果。
Figure BDA0001827780840000181
其中，ρ为测距结果，c为光速，
Figure BDA0001827780840000182
为往返时间(Δφ为相位差，fmod为调制频率)，根据“距离＝光速*往返时间/2”就可已得到上述距离计算公式。
本申请实施例中红外光以及sensor采用了940nm波段，主要原因是自然光中940nm波段含量较低，自然光光谱如下图10所示。可以看出940nm波段正好处于一个波谷范围。这样的好处在于，相机采集到的940nm光波主要来自补光灯，亮度可控，基本不受环境光影响。因此我们可以采用提前标定的亮度-距离曲线的方法计算反射率。
本申请实施例还提供了一种人脸防伪检测装置，参见图11，位于多目相机，所述多目摄像机包括飞行时间测距法TOF相机及红绿蓝RGB相机，所述装置包括：
图像获取模块1101，用于利用所述TOF相机及所述RGB相机获取深度图像、红外图像及RGB图像；
信息确定模块1102，用于通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；
区域确定模块1103，用于按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；
检测判断模块1104，用于在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测。
可选的，所述检测判断模块1104，包括：
相似度计算子模块，用于计算所述深度人脸区域与预留先验人脸模板的相似度；
红外分析子模块，用于确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
RGB分析子模块，用于确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
综合分析子模块，用于在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测。
可选的，所述相似度计算子模块，包括：
视图确定单元，用于按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
深度对比单元，用于比较所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定所述深度人脸区域与预留先验人脸模板的相似度。
可选的，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述红外分析子模块，包括：
法向量确定单元，用于确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
反射率确定单元，用于根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
直方图确定单元，用于将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
特征向量确定单元，用于将各所述反射率分布直方图转化为多维特征向量；
红外结果确定单元，用于通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
可选的，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述RGB分析子模块，包括：
LBP特征提取单元，用于提取所述RGB人脸区域的LBP特征；
RGB结果确定单元，用于通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
上述存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (8)

1.一种人脸防伪检测方法，其特征在于，应用于多目相机，所述多目相机包括飞行时间测距法TOF相机及红绿蓝RGB相机，所述方法包括：
利用所述TOF相机及所述RGB相机获取深度图像、红外图像及RGB图像；
通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；
按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；
在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测；
所述在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测，包括：
计算所述深度人脸区域与预留先验人脸模板的相似度；
确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测；
所述计算所述深度人脸区域与预留先验人脸模板的相似度，包括：
按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
比较所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定所述深度人脸区域与预留先验人脸模板的相似度。
2.根据权利要求1所述的方法，其特征在于，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果，包括：
确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
将各所述反射率分布直方图转化为多维特征向量；
通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
3.根据权利要求1所述的方法，其特征在于，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果，包括：
提取所述RGB人脸区域的LBP特征；
通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
4.一种多目相机，其特征在于，所述多目相机包括：
飞行时间测距法TOF相机、红绿蓝RGB相机及控制模块；
所述TOF相机：用于采集深度图像及红外图像；
所述RGB相机：用于采集RGB图像；
所述控制模块：用于通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测；
所述在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测，包括：
计算所述深度人脸区域与预留先验人脸模板的相似度；
确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测；
所述计算所述深度人脸区域与预留先验人脸模板的相似度，包括：
按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
计算所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线的相似度。
5.根据权利要求4所述的多目相机，其特征在于，所述第一图像特征为多维特征向量，所述第一深度学习模型为第一分类器，所述确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果，包括：
确定所述红外人脸区域的光强分布及所述红外人脸区域各点的单位法向量；
根据所述光强分布及所述各点的单位法向量，计算所述红外人脸区域的反射率分布；
将所述红外人脸区域划分为多个器官区域，按照所述反射率分布，确定各所述器官区域的反射率分布直方图；
将各所述反射率分布直方图转化为多维特征向量；
通过预先训练的第一分类器对所述多维特征向量进行分析，得到红外分析结果。
6.根据权利要求4所述的多目相机，其特征在于，所述第二图像特征为局部二值模式LBP特征，所述第二深度学习模型为第二分类器，所述确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果，包括：
提取所述RGB人脸区域的LBP特征；
通过预选训练的第二分类器对所述LBP特征进行分析，得到RGB分析结果。
7.根据权利要求4所述的多目相机，其特征在于，所述TOF相机的光源为波长为940纳米的红外光。
8.一种人脸防伪检测装置，其特征在于，位于多目相机，所述多目相机包括飞行时间测距法TOF相机及红绿蓝RGB相机，所述装置包括：
图像获取模块，用于利用所述TOF相机及所述RGB相机获取深度图像、红外图像及RGB图像；
信息确定模块，用于通过预设人脸检测算法对所述RGB图像进行分析，确定所述RGB图像中人脸的RGB人脸区域及所述RGB人脸区域的位置信息；
区域确定模块，用于按照所述RGB人脸区域的位置信息，确定所述人脸在所述深度图像中的深度人脸区域，及所述人脸在所述红外图像中的红外人脸区域；
检测判断模块，用于在所述深度人脸区域、所述红外人脸区域及所述RGB人脸区域各自满足相应的预设规则时，判定所述人脸通过检测；
所述检测判断模块，包括：相似度计算子模块，红外分析子模块，RGB分析子模块，综合分析子模块；
所述相似度计算子模块，用于计算所述深度人脸区域与预留先验人脸模板的相似度；
所述红外分析子模块，用于确定所述红外人脸区域的第一图像特征，通过预先训练的第一深度学习模型对所述第一图像特征进行分析，得到红外分析结果；
所述RGB分析子模块，用于确定所述RGB人脸区域的第二图像特征，通过预先训练的第二深度学习模型对所述第二图像特征进行分析，得到RGB分析结果；
所述综合分析子模块，用于在所述相似度大于预设相似度阈值、所述红外分析结果表征所述人脸为活体、且所述RGB分析结果表征所述人脸为活体时，判定所述人脸通过检测；
所述相似度计算子模块，包括：视图确定单元，深度对比单元；
所述视图确定单元，用于按照所述深度人脸区域，确定所述人脸的侧视图及俯视图；
所述深度对比单元，用于比较所述侧视图及所述俯视图的人脸深度变化曲线，与预留先验人脸模板的人脸深度变化曲线，确定所述深度人脸区域与预留先验人脸模板的相似度。
CN201811192155.4A 2018-10-12 2018-10-12 人脸防伪检测方法、装置及多目相机 Active CN111046703B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811192155.4A CN111046703B (zh) 2018-10-12 2018-10-12 人脸防伪检测方法、装置及多目相机
US17/283,920 US11869255B2 (en) 2018-10-12 2019-10-11 Anti-counterfeiting face detection method, device and multi-lens camera
EP19870709.3A EP3866052A4 (en) 2018-10-12 2019-10-11 ANTI-MYSTIFICATION FACE DETECTION PROCESS, DEVICE AND MULTIVUE CAMERA
PCT/CN2019/110652 WO2020073993A1 (zh) 2018-10-12 2019-10-11 人脸防伪检测方法、装置及多目相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811192155.4A CN111046703B (zh) 2018-10-12 2018-10-12 人脸防伪检测方法、装置及多目相机

Publications (2)

Publication Number Publication Date
CN111046703A CN111046703A (zh) 2020-04-21
CN111046703B true CN111046703B (zh) 2023-04-18

Family

ID=70164459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811192155.4A Active CN111046703B (zh) 2018-10-12 2018-10-12 人脸防伪检测方法、装置及多目相机

Country Status (4)

Country Link
US (1) US11869255B2 (zh)
EP (1) EP3866052A4 (zh)
CN (1) CN111046703B (zh)
WO (1) WO2020073993A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) * 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
US11403884B2 (en) 2019-01-16 2022-08-02 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing face ID sensing
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111582381B (zh) * 2020-05-09 2024-03-26 北京市商汤科技开发有限公司 确定性能参数的方法及装置、电子设备和存储介质
CN111582238B (zh) * 2020-05-28 2021-04-02 上海依图网络科技有限公司 一种应用于人脸遮挡场景的活体检测方法及装置
CN111879724B (zh) * 2020-08-05 2021-05-04 中国工程物理研究院流体物理研究所 基于近红外光谱成像的人皮面具识别方法及系统
CN114140839B (zh) * 2020-08-14 2024-02-23 腾讯科技（深圳）有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN112232109A (zh) * 2020-08-31 2021-01-15 深圳奥比中光科技有限公司 一种活体人脸检测方法及系统
CN112115852A (zh) * 2020-09-17 2020-12-22 广东光速智能设备有限公司 一种使用rgb红外相机的活体检测方法
CN112307902A (zh) * 2020-09-29 2021-02-02 深圳市捷顺科技实业股份有限公司 一种打印照片的人脸防伪方法及其装置
CN112325793B (zh) * 2020-09-30 2022-02-18 张成林 防伪检测方法、装置及多目相机
CN112418865A (zh) * 2020-11-13 2021-02-26 上海臻面智能信息科技有限公司 一种基于安全支付模组的活体检测方法
CN112487921B (zh) * 2020-11-25 2023-09-08 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及系统
CN112507952B (zh) * 2020-12-21 2023-04-28 天津大学合肥创新发展研究院 自适应人体测温区域筛选方法及额头无遮挡区域提取方法
US11657589B2 (en) 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy
US11741747B2 (en) 2021-01-13 2023-08-29 Ford Global Technologies, Llc Material spectroscopy
US20220222466A1 (en) * 2021-01-13 2022-07-14 Ford Global Technologies, Llc Material spectroscopy
CN112907680B (zh) * 2021-02-22 2022-06-14 上海数川数据科技有限公司 一种可见光与红外双光相机旋转矩阵自动校准方法
CN113052035A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113052034A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 基于双目摄像头的活体检测方法及相关装置
CN112926498A (zh) * 2021-03-20 2021-06-08 杭州知存智能科技有限公司 基于多通道融合和深度信息局部动态生成的活体检测方法
CN112926497A (zh) * 2021-03-20 2021-06-08 杭州知存智能科技有限公司 基于多通道数据特征融合的人脸识别活体检测方法和装置
CN113158877A (zh) * 2021-04-16 2021-07-23 上海云从企业发展有限公司 成像偏差分析及活体检测方法、装置及计算机存储介质
CN113313057A (zh) * 2021-06-16 2021-08-27 山东省科学院激光研究所 一种人脸活体检测与识别系统
CN113688768A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于人工智能的人脸检测方法、装置、设备及介质
US20210397863A1 (en) * 2021-09-03 2021-12-23 Intel Corporation Methods and devices for an occupant of a vehicle
CN114170690A (zh) * 2022-02-14 2022-03-11 中国科学院自动化研究所 活体识别和构建活体识别模型的方法、装置
CN115083063A (zh) * 2022-06-13 2022-09-20 广州星翊电子科技有限公司 一种物品防伪检测设备及其工作方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740781A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体检测的方法和装置
CN105930780A (zh) * 2016-04-14 2016-09-07 苏州优化智能科技有限公司 基于近红外和面部微表情的真人活体身份验证方法
WO2016197297A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108197615A (zh) * 2018-03-07 2018-06-22 北京上古视觉科技有限公司 一种多媒体展示装置及系统
CN108229362A (zh) * 2017-12-27 2018-06-29 杭州悉尔科技有限公司 一种基于门禁系统的双目人脸识别活体检测方法
CN108596061A (zh) * 2018-04-12 2018-09-28 Oppo广东移动通信有限公司 人脸识别方法、装置及移动终端、存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622588B (zh) * 2012-03-08 2013-10-09 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9251427B1 (en) 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
CN105096420A (zh) * 2015-07-31 2015-11-25 北京旷视科技有限公司 门禁系统以及用于其的数据处理方法
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测系统
US9959455B2 (en) * 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
CN106407914B (zh) 2016-08-31 2019-12-10 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统
CN108229326A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN107506752A (zh) 2017-09-18 2017-12-22 艾普柯微电子（上海）有限公司 人脸识别装置及方法
CN107832677A (zh) 2017-10-19 2018-03-23 深圳奥比中光科技有限公司 基于活体检测的人脸识别方法及系统
CN108268839A (zh) 2018-01-05 2018-07-10 北京万相融通科技股份有限公司 一种活体验证方法及其系统
CN108875338A (zh) * 2018-05-04 2018-11-23 北京旷视科技有限公司 解锁方法、装置和系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016197297A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105740781A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体检测的方法和装置
CN105930780A (zh) * 2016-04-14 2016-09-07 苏州优化智能科技有限公司 基于近红外和面部微表情的真人活体身份验证方法
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN107862299A (zh) * 2017-11-28 2018-03-30 电子科技大学 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108229362A (zh) * 2017-12-27 2018-06-29 杭州悉尔科技有限公司 一种基于门禁系统的双目人脸识别活体检测方法
CN108197615A (zh) * 2018-03-07 2018-06-22 北京上古视觉科技有限公司 一种多媒体展示装置及系统
CN108596061A (zh) * 2018-04-12 2018-09-28 Oppo广东移动通信有限公司 人脸识别方法、装置及移动终端、存储介质

Also Published As

Publication number Publication date
US11869255B2 (en) 2024-01-09
EP3866052A1 (en) 2021-08-18
EP3866052A4 (en) 2021-12-15
US20210397817A1 (en) 2021-12-23
WO2020073993A1 (zh) 2020-04-16
CN111046703A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046703B (zh) 人脸防伪检测方法、装置及多目相机
Zou et al. Illumination invariant face recognition: A survey
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
US9818023B2 (en) Enhanced face detection using depth information
CN110462633B (zh) 一种人脸识别的方法、装置和电子设备
CN109492714B (zh) 图像处理装置及其方法
US20190095701A1 (en) Living-body detection method, device and storage medium
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN110998598A (zh) 对被操纵图像的检测
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN112232109A (zh) 一种活体人脸检测方法及系统
TW200910223A (en) Image processing apparatus and image processing method
Narang et al. Face recognition in the SWIR band when using single sensor multi-wavelength imaging systems
CN112016525A (zh) 非接触式指纹采集方法和装置
CN112232155A (zh) 非接触指纹识别的方法、装置、终端及存储介质
CN112232163A (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
US10460145B2 (en) Device for capturing imprints
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
Parziale et al. Advanced technologies for touchless fingerprint recognition
Chan et al. Illumination invariant face recognition: a survey
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
KR101174103B1 (ko) 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법
Bogo et al. Automated detection of new or evolving melanocytic lesions using a 3D body model
Bera et al. Spoofing detection on hand images using quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant