CN107862299A - 一种基于近红外与可见光双目摄像头的活体人脸检测方法 - Google Patents

一种基于近红外与可见光双目摄像头的活体人脸检测方法 Download PDF

Info

Publication number
CN107862299A
CN107862299A CN201711210041.3A CN201711210041A CN107862299A CN 107862299 A CN107862299 A CN 107862299A CN 201711210041 A CN201711210041 A CN 201711210041A CN 107862299 A CN107862299 A CN 107862299A
Authority
CN
China
Prior art keywords
face
image
living body
picture
body faces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711210041.3A
Other languages
English (en)
Other versions
CN107862299B (zh
Inventor
马争
解梅
肖亚敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711210041.3A priority Critical patent/CN107862299B/zh
Publication of CN107862299A publication Critical patent/CN107862299A/zh
Application granted granted Critical
Publication of CN107862299B publication Critical patent/CN107862299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于近红外与可见光双目摄像头的活体人脸检测方法，属于接收机视觉及安防领域。本发明利用红外摄像头下、视频和大部分纸张不能呈现图像的特性有效的防止了视频中伪造人脸的攻击，利用近红外摄像头和可见光摄像头下真实人脸与照片人脸纹理差异和颜色差异，训练的分类模型可以有效地区分人脸是来自真实人脸还是照片中的伪造人脸。本发明的活体检测的正确率高，能有效的防止了视频、照片常见手段中的伪造人脸的攻击。本发明不仅在正确率上相比传统算法做出了很大的提升，保证了安全性，而且不需要用户配合机器做出相应的动作或表情，提升了用户的体验感。

Description

一种基于近红外与可见光双目摄像头的活体人脸检测方法
技术领域
本发明属于计算机视觉及安防领域，具体涉及一种基于近红外与可见光双目摄像头的活体人脸检测方法。
背景技术
在当今信息社会中，人们在从事很多社会活动时，为保障安全性，经常需要对个人身份进行认证。人脸具有自然性、稳定性、易采集性的特点，因而被应用于身份认证。然而，人脸身份认证系统中，如果只采用人脸识别的算法，将无法判断摄像头前的人脸是来自于真实人脸，还是来自于视频中或者照片中的伪造人脸。因而需要在人脸身份认证系统中加入活体人脸检测算法，以检测摄像头前的人脸是否是来自于活体的真实人脸。
现有的活体人脸检测算法包括需要用户配合的检测算法和不需要用户配合的检测算法。其中不需要用户配合的活体人脸检测算法，通常在性能上性能表现出准确率不足以满足需求的特点。其中很大原因是信息采集源是可见光摄像头，其算法容易受到环境和光照的影响，使得算法的泛化性不好。而需要用户人为的配合活体人脸检测算法，用户需要根据机器的提示，做出点头、转头等动作，或者眨眼、微笑等表情。不仅降低用户的体验感，而且这种活体检测的算法，依旧能够被某些视频合成软件通过合成符合机器指令的人脸视频所破解，存在着不安全的隐患。
有鉴于此，需要一种新的活体人脸检测算法，既能保障足够高的识别率、泛化性和安全性，又能减少或者不用用户的人为配合。
发明内容
本发明的发明目的在于：针对非用户配合的可见光摄像头活体人脸检测识别率、泛化性不足，和用户配合下的活体人脸检测用户体验感差、安全性不足的技术问题，本发明公开了一个基于近红外和可见光双目摄像头的活体人脸检测方法。
本发明的基于近红外与可见光双目摄像头的活体人脸检测方法，包括下列步骤：
(1)活体人脸分类模型的训练步骤：
采集训练样本，包括近红外摄像头下拍摄的真实人脸图片GNIR，对应GNIR的近红外伪造人脸图片NNIR、可见光伪造人脸图片VNIR；可见光摄像头下拍摄的真实人脸图片GVIS、对应GVIS的近红外伪造人脸图片NVIS；
样本清洗：计算训练样本的人脸的侧脸角度，剔除侧脸角度大于阈值的训练样本；
对清洗后的训练样本进行图像预处理：计算训练样本的人脸平面旋转角度，对图片做旋转变换，使眼睛保持在图片中的水平位置；再截取只包含人脸区域的人脸图片，并进行尺寸归一化处理；
训练近红外摄像头下区分真实人脸和可见光伪造人脸的第一活体人脸分类模型：
对预处理后的训练样本进行第一正负样本划分：将真实人脸图像GNIR作为第一正样本；伪造人脸图片NNIR和VNIR作为第一负样本；
提取第一正负样本的纹理特征向量：
提取第一正负样本的8位和16位二值编码模式下的Uniform LBP特征，并分别对两种编码模式下的Uniform LBP特征进行直方图统计，得到第一正负样本的两类初始纹理特征向量；
分别按井字形将第一正负样本均分为9个图像子块，并提取各图像子块的8位二值编码模式下的Uniform LBP特征并进行直方图统计，得到图像子块的纹理特征向量；
拼接各正负样本的两类初始纹理特征向量和图像子块的纹理特征向量，得到样本的纹理特征向量；其中拼接方式不限，可先拼接8位二值编码模式下的初始纹理特征向量和各图像子块的纹理特征向量，再拼接16位二值编码模式下的初始纹理特征向量，当然也可以是其他方式拼接，只要满足拼接后的纹理特征向量能用于SVM(支持向量机)即可。
基于第一正负样本的纹理特征向量，进行SVM分类模型训练，得到能够区别真实人脸和可见光伪造人脸图像的第一活体人脸分类模型；
训练可见光摄像头下区分真实人脸和近红外伪造人脸的第二活体人脸分类模型：
对预处理后的训练样本进行第二正负样本划分：将真实人脸图像GVIS作为第二正样本；将伪造人脸图像NVIS作为第二负样本；
提取第二正负样本的颜色特征向量：将第二正负样本图片转换到Lab颜色空间，并对Lab颜色空间的a通道和b通道进行直方图统计，得到统计结果Sa、Sb，并将Sa和Sb拼接成一个向量，作为样本的颜色特征向量；
基于第二正负样本的颜色特征向量，进行SVM分类模型训练，得到能够区别真实人脸和近红外伪造人脸图像的第二活体人脸分类模型；
(2)活体人脸检测步骤：
分别采集待检测对象在近红外摄像头和可见光摄像头下的一段满足检测时长的图像视频，对应近红外摄像头的记为第一图像视频，对应可见光摄像头的记为第二图像视频；
判断第一和第二图像视频是否同时存在人脸，若否，则判定待检测对象为非活体人脸；若是，则分别从第一和第二图像视频中提取一帧匹配的人脸帧图像，得到第一、二人脸帧图像；其中匹配的人脸帧图像为：两个图像视频中帧时间相同且人脸侧脸角度在预设范围内(以确保所提取的图像尽量为正脸的人脸图像)的一帧图像；
基于第一、二人脸帧图像进行活体人脸检测：
采用与训练样本相同的图像预处理方式，对第一、二人脸帧图像进行图像预处理后；再采用提取训练样本的纹理特征向量、颜色特征向量的特征提取方式，提取第一、二人脸帧图像的纹理特征向量和颜色特征向量；
基于第一活体人脸分类模型和第一人脸帧的纹理特征向量，获取待检测对象的第一分类结果；基于第二活体人脸分类模型和第一人脸帧的纹颜色征向量，获取待检测对象的第二分类结果；
若第一、二分类结果均为活体人脸，则当前待检测对象为活体人脸；否则为非活体人脸。
综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明利用近红外摄像头下、视频和大部分纸张不能呈现图像的特性有效的防止了视频中伪造人脸的攻击，利用近红外摄像头和可见光摄像头下真实人脸与照片人脸纹理差异和颜色差异，训练的分类模型可以有效地区分人脸是来自真实人脸还是照片中的伪造人脸，且检测率高，从而有效的防止了视频、照片常见手段中的伪造人脸的攻击。本发明不仅在正确率上相比传统算法做出了很大的提升，保证了安全性，而且不需要用户配合机器做出相应的动作或表情，提升了用户的体验感。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式，对本发明作进一步地详细描述。
在本发明中使用到可见光摄像头、近红外光摄像头，经发现，大部分的纸质材料、全部照片和全部的视频及投影所呈现的图像，在近红外光摄像头下不能正常显现，只有少数的纸张可以在近红外摄像头下呈现出正常的画面。因此使用近红外摄像头可以有效的防止来自视频、投影和大部分纸张的伪造人脸的攻击。并且在近红外摄像头下和可见光摄像头下的人脸呈现明显的差异，由于近红外摄像头拍摄的照片的光源主要来自于摄像头周围的近红外灯，因此呈现出脸部中间亮、脸颊暗、眼睛瞳孔颜色呈灰白色、并且没有颜色信息等特点。因此本发明利用人脸的纹理信息差异，准确地区分近红外摄像头下的真实人脸和可见光伪造人脸照片，利用人脸的颜色信息准确地区分可见光摄像头下的真实人脸和近红外伪造照片，融合近红外摄像头下的纹理分析和可见光摄像头下的颜色分析，两种伪造人脸照片可以检测出来，因而可以抵御照片伪造人脸的攻击、再结合近红外摄像头下无法录制到视频呈现的画面的特点，可以抵御视频伪造人脸的攻击，最终综合分析之后，可以判断出双目摄像头前的是活体还是非活体。
本发明的具体实现步骤如下：
(1)活体人脸分类模型的训练步骤：
步骤1、采集训练样本集。
采集近红外摄像头和可见光摄像头前的真实人脸和对应的伪造人脸，伪造人脸来自于几种可以近红外摄像头下呈现画面的纸张上打印的可见光人脸照片和近红外人脸照片。
即采集的初始训练样本集包括：
在近红外摄像头下拍摄的真实人脸图片(GNIR)、对应GNIR的近红外伪造人脸图片(NNIR)、可见光伪造人脸图片(VNIR)；
在可见光摄像头下拍摄的真实人脸图片(GVIS)、对应GVIS的近红外伪造人脸图片(NVIS)。
样本清洗：对采集到的图片检测人脸，根据人脸特征点的定位，计算人脸的侧脸角度，剔除初始训练样本集中，侧脸角度大于阈值的侧脸照片，得到后续步骤使用的训练样本集。
步骤2、对训练样本集中的各训练样本进行图像预处理。
步骤2-1：计算训练样本的人脸平面旋转角度，对图片做旋转变换，使眼睛保持在图片中的水平位置。
步骤2-2：然后截取只包含人脸区域的人脸图片，并进行尺寸归一化处理，例如标准化为65×65大小。
步骤3、训练近红外摄像头下区分真实人脸和可见光伪造人脸的活体人脸分类模型。
步骤3-1：对预处理后的训练样本进行第一正负样本划分：
将近红外摄像头采集的经过预处理后的真实人脸(GNIR)作为第一正样本；
将伪造人脸，包括近红外伪造人脸图片(NNIR)、和可见光伪造人脸图片(VNIR)作为第一负样本。
将近红外伪造人脸图片(NNIR)加入第一负样本的原因是，虽然近红外伪造人脸呈现出和真实人脸有很多相似性的纹理信息，但是由于图片会损失一些纹理信息，虽然不能完全抵御但是可以使训练的模型可以一定程度的抵御近红外伪造人脸图片(NNIR)。
步骤3-2：对第一正负样本作8位和16位二值编码模式下的Uniform LBP(旋转不变LBP(局部二值模式))处理。8位二值编码模式下的Uniform LBP处理后一共得到59种模式，对59种模式进行直方图统计，可以得到一个59维的向量。16位二值编码模式下的UniformLBP处理后一共有243种模式，进行直方图统计后可以得到一个243维的向量。
步骤3-3：分别按井字形将第一正负样本均分为9个图像子块，这样划分可以经过Uniform LBP处理后得到眼睛、额头、脸颊、嘴唇等更多局部的特征。对每个子块同样提取8位二值编码模式下的Uniform LBP特征，则可以得到9个59维的向量。
步骤3-4：拼接10个59维的向量以及一个243维的向量，得到各训练样本的纹理特征向量。
步骤3-5：将第一正负样本提取出来的纹理特征向量，采用SVM(支持向量机)训练分类模型得到能够区别真实人脸和和可见光伪造人脸图片的第一活体人脸分类模型。
步骤4、训练可见光摄像头下区分真实人脸和近红外伪造人脸的活体人脸分类模型。
步骤4-1；对预处理后的训练样本进行第二正负样本划分：
将经过预处理化后的可见光摄像头采集到的真实人脸图片(GVIS)，作为第二正样本；
将可见光摄像头采集到近红外伪造人脸图片(NVIS)，作为第二负样本。
步骤4-2：将第二正负样本图片转换到Lab颜色空间(通常正负样本图片的原颜色空间为RGB颜色空间)，并对Lab颜色空间的a通道和b通道进行直方图统计，得到统计结果Sa、Sb。
步骤4-3：然后将统计结果Sa、Sb拼接成一个向量，作为颜色特征向量。
步骤4-4：将第二正负样本提取出来的颜色特征向量，采用SVM训练分类模型。得到能够区别真实人脸和和近红外伪造人脸图片的第二活体人脸分类模型。
(2)活体人脸检测步骤：
步骤1：分别采集待检测对象在近红外摄像头和可见光摄像头下的一段满足检测时长(例如10秒)的图像视频，对应近红外摄像头的记为第一图像视频，对应可见光摄像头的记为第二图像视频。
步骤2；检测两个图像视频是否同时存在人脸。如果两者都检测到人脸，则转向步骤3，若只在可见光摄像头下检测到人脸，在近红外摄像头下检测不到人脸，则可以推断出人脸来自于视频、投影等其他伪造人脸，转向6。若只在近红外摄像头下检测到人脸，在可见光摄像头检测不到人脸，则可以推断出人脸来自于近红外伪造人脸照片或者其他伪造情况，转向6。
步骤3：分别从第一和第二图像视频中提取一帧匹配的人脸帧图像，得到第一、二人脸帧图像；其中匹配的人脸帧图像为：两个图像视频中帧时间相同且人脸侧脸角度在预设范围内的一帧图像。
步骤4：采用与训练样本相同的图像预处理方式，对第一、二人脸帧图像进行图像预处理后；再采用提取训练样本的纹理特征向量、颜色特征向量的特征提取方式，提取第一、二人脸帧图像的纹理特征向量和颜色特征向量。
步骤5：将图像预处理后的第一人脸帧图像(近红外摄像头人脸图像)在第一活体人脸分类模型上用SVM预测分类结果，将图像预处理后第二人脸帧图像(可见光摄像头人脸图像)在第二活体人脸分类模型上用SVM预测分类结果，当两种活体人脸分类模型给出的结果均为活体人脸时，则转向7。若一种活体人脸分类模型输出结果不为活体人脸，则转向6。
步骤6：判断为非活体，输出结果。
步骤7：判断为活体，输出结果。
本发明通过近红外和可见光双目摄像头设计的活体检测方法，利用近红外摄像头下、视频和大部分纸张不能呈现图像的特性有效的防止了视频中伪造人脸的攻击，利用近红外摄像头和可见光摄像头下真实人脸与照片人脸纹理差异和颜色差异，训练的分类模型可以有效地区分人脸是来自真实人脸还是照片中的伪造人脸。经测试，本发明的活体检测的正确率可以达到99.9％，有效的防止了视频、照片常见手段中的伪造人脸的攻击。本发明不仅在正确率上相比传统算法做出了很大的提升，保证了安全性，而且不需要用户配合机器做出相应的动作或表情，提升了用户的体验感。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于近红外与可见光双目摄像头的活体人脸检测方法，其特征在于，包括下列步骤：
(1)活体人脸分类模型的训练步骤：
采集训练样本，包括近红外摄像头下拍摄的真实人脸图片GNIR，对应GNIR的近红外伪造人脸图片NNIR、可见光伪造人脸图片VNIR；可见光摄像头下拍摄的真实人脸图片GVIS、对应GVIS的近红外伪造人脸图片GVIS；
样本清洗：计算训练样本的人脸的侧脸角度，剔除侧脸角度大于阈值的训练样本；
对清洗后的训练样本进行图像预处理：计算训练样本的人脸平面旋转角度，对图片做旋转变换，使眼睛保持在图片中的水平位置；再截取只包含人脸区域的人脸图片，并进行尺寸归一化处理；
训练近红外摄像头下区分真实人脸和可见光伪造人脸的第一活体人脸分类模型：
对预处理后的训练样本进行第一正负样本划分：将真实人脸图像GNIR作为第一正样本；伪造人脸图片NNIR和VNIR作为第一负样本；
提取第一正负样本的纹理特征向量：
提取第一正负样本的8位和16位二值编码模式下的Uniform LBP特征，并分别对两种编码模式下的Uniform LBP特征进行直方图统计，得到第一正负样本的两类初始纹理特征向量；
分别按井字形将第一正负样本均分为9个图像子块，并提取各图像子块的8位二值编码模式下的Uniform LBP特征并进行直方图统计，得到图像子块的纹理特征向量；
拼接各正负样本的两类初始纹理特征向量和9个图像子块的纹理特征向量，得到样本的纹理特征向量；
基于第一正负样本的纹理特征向量，进行SVM分类模型训练，得到能够区别真实人脸和可见光伪造人脸图像的第一活体人脸分类模型；
训练可见光摄像头下区分真实人脸和近红外伪造人脸的第二活体人脸分类模型：
对预处理后的训练样本进行第二正负样本划分：将真实人脸图像GVIS作为第二正样本；将伪造人脸图像NVIS作为第二负样本；
提取第二正负样本的颜色特征向量：将第二正负样本图片转换到Lab颜色空间，并对Lab颜色空间的a通道和b通道进行直方图统计，得到统计结果Sa、Sb，并将Sa和Sb拼接成一个向量，作为样本的颜色特征向量；
基于第二正负样本的颜色特征向量，进行SVM分类模型训练，得到能够区别真实人脸和红外伪造人脸图像的第二活体人脸分类模型；
(2)活体人脸检测步骤：
分别采集待检测对象在近红外摄像头和可见光摄像头下的一段满足检测时长的图像视频，对应近红外摄像头的记为第一图像视频，对应可见光摄像头的记为第二图像视频；
判断第一和第二图像视频是否同时存在人脸，若否，则判定待检测对象为非活体人脸；若是，则分别从第一和第二图像视频中提取一帧匹配的人脸帧图像，得到第一、二人脸帧图像；其中匹配的人脸帧图像为：两个图像视频中帧时间相同且人脸侧脸角度在预设范围内的一帧图像；
基于第一、二人脸帧图像进行活体人脸检测：
采用与训练样本相同的图像预处理方式，对第一、二人脸帧图像进行图像预处理后；再采用提取训练样本的纹理特征向量、颜色特征向量的特征提取方式，提取第一、二人脸帧图像的纹理特征向量和颜色特征向量；
基于第一活体人脸分类模型和第一人脸帧的纹理特征向量，获取待检测对象的第一分类结果；基于第二活体人脸分类模型和第一人脸帧的纹颜色征向量，获取待检测对象的第二分类结果；
若第一、二分类结果均为活体人脸，则当前待检测对象为活体人脸；否则为非活体人脸。
2.如权利要求1所述的基于近红外与可见光双目摄像头的活体人脸检测方法，其特征在于，图像预处理时，将图像尺寸归一化为65*65。
CN201711210041.3A 2017-11-28 2017-11-28 一种基于近红外与可见光双目摄像头的活体人脸检测方法 Active CN107862299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711210041.3A CN107862299B (zh) 2017-11-28 2017-11-28 一种基于近红外与可见光双目摄像头的活体人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711210041.3A CN107862299B (zh) 2017-11-28 2017-11-28 一种基于近红外与可见光双目摄像头的活体人脸检测方法

Publications (2)

Publication Number Publication Date
CN107862299A true CN107862299A (zh) 2018-03-30
CN107862299B CN107862299B (zh) 2021-08-06

Family

ID=61702938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711210041.3A Active CN107862299B (zh) 2017-11-28 2017-11-28 一种基于近红外与可见光双目摄像头的活体人脸检测方法

Country Status (1)

Country Link
CN (1) CN107862299B (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446690A (zh) * 2018-05-31 2018-08-24 北京工业大学 一种基于多视角动态特征的人脸活体检测方法
CN108596082A (zh) * 2018-04-20 2018-09-28 重庆邮电大学 基于图像扩散速度模型和色彩特征的人脸活体检测方法
CN108710841A (zh) * 2018-05-11 2018-10-26 杭州软库科技有限公司 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN108875546A (zh) * 2018-04-13 2018-11-23 北京旷视科技有限公司 人脸身份验证方法、系统及存储介质
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN108985178A (zh) * 2018-06-21 2018-12-11 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109117725A (zh) * 2018-07-09 2019-01-01 深圳市科脉技术股份有限公司 人脸识别方法及装置
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技（深圳）有限公司 一种脸部活体检测、身份认证方法及装置
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN110008878A (zh) * 2019-03-27 2019-07-12 中控智慧科技股份有限公司 一种人脸检测的防假方法及具备防假功能的人脸识别装置
CN110084135A (zh) * 2019-04-03 2019-08-02 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110222486A (zh) * 2019-05-18 2019-09-10 王�锋 用户身份验证方法、装置、设备及计算机可读存储介质
CN110472519A (zh) * 2019-07-24 2019-11-19 杭州晟元数据安全技术股份有限公司 一种基于多模型的人脸活体检测方法
CN110503023A (zh) * 2019-08-19 2019-11-26 深圳市商汤科技有限公司 活体检测方法及装置、电子设备和存储介质
CN110633691A (zh) * 2019-09-25 2019-12-31 北京紫睛科技有限公司 一种基于可见光和近红外相机的双目活体检测方法
CN110728215A (zh) * 2019-09-26 2020-01-24 杭州艾芯智能科技有限公司 基于红外图像的人脸活体检测方法、装置
CN110909617A (zh) * 2019-10-28 2020-03-24 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
CN110929566A (zh) * 2019-10-16 2020-03-27 厦门大学 基于可见光和近红外双目摄像头的人脸活体检测方法
CN110929680A (zh) * 2019-12-05 2020-03-27 四川虹微技术有限公司 一种基于特征融合的人脸活体检测方法
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN111144277A (zh) * 2019-12-25 2020-05-12 东南大学 一种带活体检测功能的人脸验证方法和系统
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111178112A (zh) * 2018-11-09 2020-05-19 株式会社理光 真脸识别装置
CN111191519A (zh) * 2019-12-09 2020-05-22 同济大学 一种用于移动供电装置用户接入的活体检测方法
CN111222380A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN111353326A (zh) * 2018-12-20 2020-06-30 上海聚虹光电科技有限公司 基于多光谱人脸差值图的活体检测方法
CN111767868A (zh) * 2020-06-30 2020-10-13 创新奇智(北京)科技有限公司 人脸检测方法、装置、电子设备及存储介质
CN111967319A (zh) * 2020-07-14 2020-11-20 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN112001429A (zh) * 2020-08-06 2020-11-27 中山大学 一种基于纹理特征的深度伪造视频检测方法
CN112069891A (zh) * 2020-08-03 2020-12-11 武汉大学 一种基于光照特征的深度伪造人脸鉴别方法
WO2020249054A1 (zh) * 2019-06-12 2020-12-17 苏宁云计算有限公司 一种长基线双目人脸活体检测方法及系统
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112215045A (zh) * 2019-07-12 2021-01-12 普天信息技术有限公司 一种活体检测方法和装置
CN112307902A (zh) * 2020-09-29 2021-02-02 深圳市捷顺科技实业股份有限公司 一种打印照片的人脸防伪方法及其装置
CN112329624A (zh) * 2020-11-05 2021-02-05 北京地平线信息技术有限公司 活体检测方法和装置、存储介质、电子设备
CN112395929A (zh) * 2019-08-19 2021-02-23 扬州盛世云信息科技有限公司 一种基于红外图像lbp直方图特征的人脸活体检测方法
CN112613471A (zh) * 2020-12-31 2021-04-06 中移（杭州）信息技术有限公司 人脸活体检测方法、装置及计算机可读存储介质
CN112818821A (zh) * 2021-01-28 2021-05-18 广州广电卓识智能科技有限公司 基于可见光和红外光的人脸采集源检测方法和装置
CN113139517A (zh) * 2021-05-14 2021-07-20 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113532653A (zh) * 2021-06-23 2021-10-22 支付宝(杭州)信息技术有限公司 人脸活体检测的方法、系统以及人脸识别系统
WO2022121895A1 (zh) * 2020-12-09 2022-06-16 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700087A (zh) * 2015-03-23 2015-06-10 上海交通大学 可见光与近红外人脸图像的相互转换方法
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700087A (zh) * 2015-03-23 2015-06-10 上海交通大学 可见光与近红外人脸图像的相互转换方法
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾成等: "基于多任务CNN的人脸活体多属性检测", 《科学技术与工程》 *
盘海玲: "人脸识别系统中活体检测技术", 《科技资讯》 *

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875546A (zh) * 2018-04-13 2018-11-23 北京旷视科技有限公司 人脸身份验证方法、系统及存储介质
CN108596082A (zh) * 2018-04-20 2018-09-28 重庆邮电大学 基于图像扩散速度模型和色彩特征的人脸活体检测方法
CN108764058B (zh) * 2018-05-04 2021-05-25 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108710841B (zh) * 2018-05-11 2021-06-15 杭州软库科技有限公司 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108764071B (zh) * 2018-05-11 2021-11-12 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN108710841A (zh) * 2018-05-11 2018-10-26 杭州软库科技有限公司 一种基于MEMs红外阵列传感器的人脸活体检测装置及方法
CN108446690B (zh) * 2018-05-31 2021-09-14 北京工业大学 一种基于多视角动态特征的人脸活体检测方法
CN108446690A (zh) * 2018-05-31 2018-08-24 北京工业大学 一种基于多视角动态特征的人脸活体检测方法
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN108830858B (zh) * 2018-06-20 2021-08-03 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN108985178A (zh) * 2018-06-21 2018-12-11 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109117725A (zh) * 2018-07-09 2019-01-01 深圳市科脉技术股份有限公司 人脸识别方法及装置
CN111046703B (zh) * 2018-10-12 2023-04-18 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技（深圳）有限公司 一种脸部活体检测、身份认证方法及装置
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN111178112A (zh) * 2018-11-09 2020-05-19 株式会社理光 真脸识别装置
CN111178112B (zh) * 2018-11-09 2023-06-16 株式会社理光 真脸识别装置
CN111222380B (zh) * 2018-11-27 2023-11-03 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN111222380A (zh) * 2018-11-27 2020-06-02 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法
CN111353326A (zh) * 2018-12-20 2020-06-30 上海聚虹光电科技有限公司 基于多光谱人脸差值图的活体检测方法
CN110008878A (zh) * 2019-03-27 2019-07-12 中控智慧科技股份有限公司 一种人脸检测的防假方法及具备防假功能的人脸识别装置
CN110008878B (zh) * 2019-03-27 2021-07-30 熵基科技股份有限公司 一种人脸检测的防假方法及具备防假功能的人脸识别装置
CN110084135B (zh) * 2019-04-03 2024-04-23 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110084135A (zh) * 2019-04-03 2019-08-02 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110222486A (zh) * 2019-05-18 2019-09-10 王�锋 用户身份验证方法、装置、设备及计算机可读存储介质
WO2020249054A1 (zh) * 2019-06-12 2020-12-17 苏宁云计算有限公司 一种长基线双目人脸活体检测方法及系统
CN112215045A (zh) * 2019-07-12 2021-01-12 普天信息技术有限公司 一种活体检测方法和装置
CN110472519A (zh) * 2019-07-24 2019-11-19 杭州晟元数据安全技术股份有限公司 一种基于多模型的人脸活体检测方法
CN110472519B (zh) * 2019-07-24 2021-10-29 杭州晟元数据安全技术股份有限公司 一种基于多模型的人脸活体检测方法
CN110503023A (zh) * 2019-08-19 2019-11-26 深圳市商汤科技有限公司 活体检测方法及装置、电子设备和存储介质
CN112395929A (zh) * 2019-08-19 2021-02-23 扬州盛世云信息科技有限公司 一种基于红外图像lbp直方图特征的人脸活体检测方法
WO2021031609A1 (zh) * 2019-08-19 2021-02-25 深圳市商汤科技有限公司 活体检测方法及装置、电子设备和存储介质
CN110633691A (zh) * 2019-09-25 2019-12-31 北京紫睛科技有限公司 一种基于可见光和近红外相机的双目活体检测方法
CN110728215A (zh) * 2019-09-26 2020-01-24 杭州艾芯智能科技有限公司 基于红外图像的人脸活体检测方法、装置
CN110929566B (zh) * 2019-10-16 2023-05-23 厦门大学 基于可见光和近红外双目摄像头的人脸活体检测方法
CN110929566A (zh) * 2019-10-16 2020-03-27 厦门大学 基于可见光和近红外双目摄像头的人脸活体检测方法
CN110909617A (zh) * 2019-10-28 2020-03-24 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
CN110909617B (zh) * 2019-10-28 2022-03-25 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
CN110929680A (zh) * 2019-12-05 2020-03-27 四川虹微技术有限公司 一种基于特征融合的人脸活体检测方法
CN111191519A (zh) * 2019-12-09 2020-05-22 同济大学 一种用于移动供电装置用户接入的活体检测方法
CN111191519B (zh) * 2019-12-09 2023-11-24 同济大学 一种用于移动供电装置用户接入的活体检测方法
CN111144277B (zh) * 2019-12-25 2023-09-26 东南大学 一种带活体检测功能的人脸验证方法和系统
CN111144277A (zh) * 2019-12-25 2020-05-12 东南大学 一种带活体检测功能的人脸验证方法和系统
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111160313B (zh) * 2020-01-02 2023-04-07 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111767868A (zh) * 2020-06-30 2020-10-13 创新奇智(北京)科技有限公司 人脸检测方法、装置、电子设备及存储介质
CN111767868B (zh) * 2020-06-30 2024-06-11 创新奇智(北京)科技有限公司 人脸检测方法、装置、电子设备及存储介质
CN111967319A (zh) * 2020-07-14 2020-11-20 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN111967319B (zh) * 2020-07-14 2024-04-12 高新兴科技集团股份有限公司 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN112069891B (zh) * 2020-08-03 2023-08-18 武汉大学 一种基于光照特征的深度伪造人脸鉴别方法
CN112069891A (zh) * 2020-08-03 2020-12-11 武汉大学 一种基于光照特征的深度伪造人脸鉴别方法
CN112001429A (zh) * 2020-08-06 2020-11-27 中山大学 一种基于纹理特征的深度伪造视频检测方法
CN112001429B (zh) * 2020-08-06 2023-07-11 中山大学 一种基于纹理特征的深度伪造视频检测方法
CN112307902A (zh) * 2020-09-29 2021-02-02 深圳市捷顺科技实业股份有限公司 一种打印照片的人脸防伪方法及其装置
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112200075B (zh) * 2020-10-09 2024-06-04 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112329624A (zh) * 2020-11-05 2021-02-05 北京地平线信息技术有限公司 活体检测方法和装置、存储介质、电子设备
WO2022121895A1 (zh) * 2020-12-09 2022-06-16 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质
CN112613471A (zh) * 2020-12-31 2021-04-06 中移（杭州）信息技术有限公司 人脸活体检测方法、装置及计算机可读存储介质
CN112818821B (zh) * 2021-01-28 2023-02-03 广州广电卓识智能科技有限公司 基于可见光和红外光的人脸采集源检测方法和装置
CN112818821A (zh) * 2021-01-28 2021-05-18 广州广电卓识智能科技有限公司 基于可见光和红外光的人脸采集源检测方法和装置
CN113139517A (zh) * 2021-05-14 2021-07-20 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113139517B (zh) * 2021-05-14 2023-10-27 广州广电卓识智能科技有限公司 人脸活体模型训练方法、检测方法、存储介质和检测系统
CN113532653A (zh) * 2021-06-23 2021-10-22 支付宝(杭州)信息技术有限公司 人脸活体检测的方法、系统以及人脸识别系统

Also Published As

Publication number Publication date
CN107862299B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN107862299A (zh) 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN108009531B (zh) 一种多策略防欺诈的人脸识别方法
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
Steiner et al. Reliable face anti-spoofing using multispectral SWIR imaging
Ghimire et al. A robust face detection method based on skin color and edges
CN108921041A (zh) 一种基于rgb和ir双目摄像头的活体检测方法及装置
US7715596B2 (en) Method for controlling photographs of people
US20180025244A1 (en) Systems And Methods Of Biometric Analysis To Determine Lack Of Three-Dimensionality
CN109101871A (zh) 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN104036278B (zh) 人脸算法标准脸部图像的提取方法
CN108985134A (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
CN106982426A (zh) 一种远程实现旧卡实名制的方法与系统
CN106874830B (zh) 一种基于rgb-d相机和人脸识别的视障人士辅助方法
CN106650669A (zh) 一种鉴别仿冒照片欺骗的人脸识别方法
Hughes et al. Detection of contact-lens-based iris biometric spoofs using stereo imaging
Dantcheva et al. On the reliability of eye color as a soft biometric trait
CN111582197A (zh) 一种基于近红外和3d摄像技术的活体以及人脸识别系统
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
WenJuan et al. A real-time lip localization and tacking for lip reading
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN106599880A (zh) 一种面向无人监考的同人判别方法
CN106991594A (zh) 一种基于商户的远程实名购买电话卡的方法与系统
Rathgeb et al. Detection of makeup presentation attacks based on deep face representations
TWI427545B (zh) 以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant