CN112861588B - 一种活体检测的方法、装置 - Google Patents

一种活体检测的方法、装置 Download PDF

Info

Publication number
CN112861588B
CN112861588B CN201911189074.3A CN201911189074A CN112861588B CN 112861588 B CN112861588 B CN 112861588B CN 201911189074 A CN201911189074 A CN 201911189074A CN 112861588 B CN112861588 B CN 112861588B
Authority
CN
China
Prior art keywords
image
living body
detection
images
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911189074.3A
Other languages
English (en)
Other versions
CN112861588A (zh
Inventor
王晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN201911189074.3A priority Critical patent/CN112861588B/zh
Publication of CN112861588A publication Critical patent/CN112861588A/zh
Application granted granted Critical
Publication of CN112861588B publication Critical patent/CN112861588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种活体检测的方法，该方法包括，选择当前被检测目标的待获取图像类型，所述待获取图像类型至少包括深度图像、RGB视频流、以及红外图像中的两种以上，其中，红外图像至少包括被检测目标的眼部区域；根据所选择的待获取图像类型，分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；基于各类型图像数据，进行活体识别检测，得到检测结果。通过视频流、红外图像、深度图中至少两种图像的结合来进行活体检测，基于反映活体生理效应的特征图像的活体识别检测，解决了单一视频检测和单一深度图像检测的误检率高的缺陷，有效地减少了误检。

Description

一种活体检测的方法、装置
技术领域
本申请涉及图像识别检测领域，特别地，涉及一种活体检测方法。
背景技术
活体识别检测主要是通过识别活体上的生物特征信息来进行，它把生物特征信息作为生命特征来区分用照片、硅胶、塑料等非生命物质伪造的生物特征。通俗地讲，就是在识别检测的过程中确定被检测目标确实是个“活体”，不是照片、视频或其他什么。
以人脸活体的识别检测为例。目前，人脸活体检测技术主要有交互式动作、3D成像(多目成像、结构光、TOF等)、视频流、红外图像等，其中，
交互式动作其要求用户配合指令完成相应的动作，如眨眼、微笑、朗读等，根据判别得到的动作状态的变化情况来区分照片和活体人脸，需要用户配合，用户体验差，一旦获取所有交互指令可针对性地录制视频，从而难以防备视频攻击；
3D成像识别检测技术基于生成的深度图像进行识别检测，受物体材质和光照影响较小，可以很好的区分真假人脸。但单一的3D成像识别检测对一些3D打印的面具存在极高的误检率；
视频流识别检测技术基于视频流进行识别检测，单一的视频流识别对播放的视频产生误检。
红外图像识别检测技术基于红外相机拍摄的采集近红外光所呈现的图像进行识别检测，单一红外图像的活体检测会对某些红外照片产生误报。
以上几种活体检测方法都存在一些检测盲区，在一些特殊情况下会存在极高的风险。
发明内容
本申请提供了一种活体检测方法，以减少误检。
本发明提供的一种活体检测的方法是这样实现的：
选择当前被检测目标的待获取图像类型，所述待获取图像类型至少包括深度图像、RGB视频流、以及红外图像中的两种以上；
根据所选择的待获取图像类型，分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
基于各类型图像数据，进行活体识别检测，得到检测结果。
较佳地，所述基于各类型图像数据，进行活体识别检测，得到检测结果，包括，
基于各类型图像数据，分别进行活体识别检测，分别得到各类型图像数据的识别结果，
将各类型图像数据的识别结果进行与逻辑运算，将与运算的结果作为检测结果。
较佳地，所述基于各类型图像数据，进行活体识别检测，得到检测结果，包括，
如果基于当前类型图像数据的识别结果为活体，则基于下一类型图像数据进行活体识别检测，直至基于所获取的各类型图像数据均进行了活体识别检测；
当各类型图像数据的识别结果均为活体时，判定被检测目标为活体；
如果任一类型图像数据的识别结果为非活体，则判定被检测目标为非活体。
较佳地，所述待获取图像类型包括所述RGB视频流和红外图像中的中的任一种或两种、以及深度图像；其中，红外图像至少包括被检测目标的眼部区域，
所述根据所选择的待获取图像类型，分别获取当前被检测目标的图像，包括，
分别获取被检测目标当前连续n帧RGB视频流图像、单帧脸部红外图像中任一种图像或两种图像，其中，n为大于1的自然数；
获取被检测目标当前单帧深度图像，
所述基于各类型图像数据，分别进行活体识别检测，包括，
分别基于连续n帧RGB视频流图像、单帧脸部红外图像任一图像或两种图像，分别根据图像所反映的活体生理效应进行活体识别检测，
基于所述单帧深度图像，进行活体识别检测。
其中，所述分别根据图像所反映的活体生理效应进行活体识别检测，包括，基于连续n帧RGB视频流图像的心率效应的活体识别检测，基于单帧脸部红外图像的亮瞳效应的活体识别检测。
其中，所述基于连续n帧RGB视频流图像的心率效应的活体识别检测包括，
将当前连续n帧图像通过欧拉图像放大EVM算法进行处理，
将经过EVM处理后的图像进行时频分析，获得图像中被检目标的当前心跳频率；
根据获得的心跳频率识别被检目标是否为活体，得到识别结果。
其中，包括，
通过欧拉图像放大算法中用于将图像序列进行金字塔多分辨率分解的空间滤波、用于对每个尺度的图像进行时域带通滤波得到感兴趣的一个以上频带的时域滤波、用于对每个频带的信号用泰勒级数差分逼近并线性放大逼近的结果的放大滤波、用于合成经过放大后的图像的图像合成，放大RGB图像上被检测目标的血液流动；
所述将经过EVM处理后的图像进行时频分析，获得图像中被检目标的当前心跳频率，包括，
将经过EVM处理后的图像进行时频分析，得到直方图，
基于直方图的脉动变化，估算单位时间内的脉动数量，将估算结果作为当前心跳频率；
所述根据心跳频率识别被检目标是否为活体包括，
判断当前心跳频率是否大于设定的阈值，如果是，则判定被检测目标为活体，否则，判定被检测目标为非活体；
其中，所述基于单帧脸部红外图像的亮瞳效应的活体识别检测包括，
获取单帧红外图像中脸部和眼部的坐标位置，
根据脸部框坐标，进行脸部矫正，获得矫正后的红外图像，
基于矫正后的红外图像，提取眼部的红外图像，获取方向梯度直方图特征，得到眼部红外图像的特征向量，
对眼部红外图像的特征向量进行特征后处理，得到降维特征向量，
将降维特征向量输入预先训练好的分类器模型中进行识别。
较佳地，所述基于所述单帧深度图像，进行活体识别检测，包括，
根据深度图像中被检测目标的坐标，提取被检测目标的深度图，
将提取的深度图处理为适配于预先训练好的神经网络模型的数据，
将处理后的深度图数据输入预先训练好的神经网络模型进行识别，得到识别结果。
较佳地，所述深度图像包括有脸部区域图像，所述根据深度图像中被检测目标的坐标，提取被检测目标的深度图，包括，
获取单帧深度图像中脸部的坐标位置，
根据脸部框坐标，进行脸部矫正，获得矫正后的深度图像，
基于矫正后的深度图像，根据脸部坐标，裁剪出脸部的深度图，并进行数据清洗。
较佳地，所述神经网络模型为深度学习网络模型，所述将提取的深度图处理为适配于预先训练好的神经网络模型的数据包括，
将提取的深度图中的距离信息调整为设定的范围，
按照比例进行截取各像素点的距离信息，将截取后的距离信息作为该像素点的灰度信息，得到提取的深度图所对应的二维图片数据；
所述将处理后的深度图数据输入预先训练好的神经网络模型进行识别包括，将二维图片数据输入至预先训练好的深度学习网络模型，通过深度学习算法对输入的数据进行识别。
本发明还提供一种活体检测的装置，该装置包括，
获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元中的两个以上图像获取单元，
选择单元，用于选择当前被检测目标的待获取图像类型，使得被选择的图像获取单元分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
检测单元，基于各类型图像数据，进行活体识别检测，得到检测结果。
本发明提供的一种活体检测的设备，该设备包括，
获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元中的两个以上图像获取单元，
存储器，存储有计算机程序，
处理器，执行存储的计算机程序，实现任一所述活体检测的方法的步骤。
本发明还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述活体检测的方法的步骤。
本申请实施例通过视频流、红外图像、深度图中至少两种图像的结合来进行活体检测，基于反映活体生理效应的特征图像的活体识别检测，解决了单一视频检测和单一深度图像检测的误检率高的缺陷，有效地减少了误检；通过实时的随机地选择性地进行图像的获取，提高了攻击的难度，提升了对攻击的抵御，提高了活体识别检测的有效性。
附图说明
图1a～1c为基于脸部脸深度图像进行的活体识别检测与基于红外图像进行活体识别检测相结合的人脸检测方法的一种流程示意图。
图2为眼部红外图像的梯度图像的一种示意图。
图3a和3b为EVM处理前的和处理后的直方图的一种示意图。
图4为实施例一的活体识别检测设备的一种示意图。
图5为基于除脸部之外的其它活体部位特征深度图像进行的活体识别检测与基于红外图像进行活体识别检测相结合的脸部检测方法的一种流程示意图。
图6实施例二的活体识别检测设备的一种示意图。
图7为本申请实施例三基于视频流和深度图对于人脸检测方法的一种流程示意图。
图8为欧拉图像放大处理的一种示意图。
图9为EVM处理前的和处理后的直方图的一种示意图。
图10为本申请实施例三的活体检测装置的一种示意图。
图11为基于脸部红外图像、以及RGB视频流图像、深度图像进行的活体识别检测的一种流程示意图。
图12为实施例四的另一种实施方式的一种流程示意图。
图13为实施例四的活体识别检测设备的一种示意图。
图14为实施例四的活体识别检测设备的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请针对单一活体检测方法所存在检测盲区，鉴于基于深度图像进行的活体识别检测相对于其它单一活体检测方法具有较低误检率，以及从红外图像、和/或视频流图像中捕获到的反映活体生理效应的特征图像，将在基于深度图像的活体识别检测方法与红外图像、和/或视频流图像的活体识别检测方法进行结合，以兼顾所结合活体检测方法的优势，减少检测盲区，提高了检测的准确性。以下将以各个实施例来予以说明。
实施例一：
参见图1a所示，图1a为基于脸部脸深度图像进行的活体识别检测与基于红外图像进行活体识别检测相结合的人脸检测方法的一种流程示意图。其中图1a为实施方式之一，该方法包括以下步骤：
步骤101，分别获取被检测脸部的单帧近红外图像以及单帧深度图像，
在该步骤中，由于基于红外图像进行活体识别检测需要根据眼部的亮瞳效应的特征图像进行识别，因此，在该实施例中，单帧近红外图像中需包括脸部图像。其中亮瞳效应是，是美国著名的学者Hutchinson在眼睛运动检测专利中提出的，当靠近摄像头光轴的红外光源照射到脸部时，视网膜发射光会使瞳孔显得很亮。从获取的红外图像的呈现而言，瞳孔颜色会呈现灰白色，基于此，可识别检测出被检测脸部是否是活体。
较佳地，所述单帧深度图像也包括脸部，以对与红外检测的同一被检测目标进行识别，降低检测设备的系统复杂性。
步骤102，获取单帧近红外图像中脸部和眼睛的坐标位置，获取单帧深度图像中脸部框的坐标；
在该步骤中，考虑到被检测目标均为脸部，则利用脸部检测算法对图像进行识别，以获取脸部框的坐标；对于红外图像，还进一步获取眼睛的坐标位置。
步骤103，根据脸部框坐标，分别对红外图像及深度图像进行脸部矫正，分别获得矫正后的红外图像和深度图像，
对于矫正后的红外图像，
步骤104，提取眼部的红外图像，获取方向梯度直方图(Histogram of OrientedGradient，HOG)特征，得到眼部红外图像的特征向量；
红外照射下的亮瞳效应，对应的数字图像处理上，是获取提取HOG特征。在该步骤中，根据眼睛坐标提取眼部区域的图像，计算提取的眼部图像水平和垂直方向的梯度，基于水平和垂直方向的梯度，得到梯度幅度，该梯度幅度为矢量，包括幅值和方向。基于眼部图像的梯度幅度，构建方向梯度直方图；根据方向梯度直方图(Histogram of OrientedGradient，HOG)，提取HOG特征，以形成特征向量。
其中，图像梯度:G(i,j)＝dx(i,j)+dy(i,j)；
dx(i,j)＝I(i+1,j)-I(i,j)；
dy(i,j)＝I(i,j+1)-I(i,j)；
其中，I是图像像素的值，(i,j)为像素的坐标。
像素点坐标(i，j)的梯度的幅值m和方向θ的数学表达分别为：
图2示出了眼部红外图像的梯度图像，分别为眼部红外图像，水平梯度图像，垂直梯度图像，梯度幅度图像。
步骤105，对眼部红外图像的HOG特征向量进行特征后处理，得到降维特征向量，以适配于分类器模型，
由于在本实施例中，采用的是支持向量机(SVM，Support Vector Machine,)分类器模型，为使得输入至分类器模型的数据能够被分类器模型所处理，在该步骤中，进行特征后处理。所述特征后处理包括，对HOG特征向量进行主分量分析(PCA)，根据主分量分析的结果以及HOG特征向量获取转换矩阵和均值向量，然后对转换矩阵和均值向量进行特征降维处理，得到降维特征向量。
步骤106，将降维特征向量输入预先训练好的分类器模型中进行识别；
例如，通过支持向量机(SVM，Support Vector Machine,)分类器模型，识别出当前被检测脸部是否为活体，当识别被检测脸部为非活体时，输出FALSE，否则，识别被检测脸部为活体，输出TRUE。将上述输出结果记为第一识别结果。
对于矫正后的深度图像，
步骤201，根据脸部坐标，裁剪出脸部的深度图，并进行数据清洗，以去除冗余数据；
步骤202，将裁剪的深度图进行预处理，得到二维图片数据，将二维图片数据保存为图片格式；
为了便于神经网络的识别检测，既满足精度要求又具有快速的响应，本实施例将深度图的距离信息调整为毫米单位，以避免距离信息的精度不一致，并且将各像素点的距离信息按比例截取，截取后的距离信息作为该像素点的灰度值，得到二维图片数据，从而，将16位数据处理为8位数据，即数据范围为0～255，以利于去除冗余数据，加快运算的速度。
将处理后的图像保存为jpg等图片格式。
如图3a～3b所示，图中，3a图为步骤202处理前的一种深度图的示意，3b图为步骤202处理后的图片。
步骤203，将处理后的脸部深度图像送入预先训练好的深度学习网络模型中进行识别，如果识别为活体，则输出TRUE，如果识别为非活体，则输出FALSE；将上述输出结果记为第二识别结果。
其中，深度学习网络模型采用深度学习算法，并预先用大量的样本训练，训练成功后保存训练好的模型参数。
步骤204，将步骤106的第一识别结果与步骤203的第二识别结果进行与逻辑运算，当两者均为TRUE时，输出最终结果为TRUE，判定被检测目标为活体，否则，判定被检测目标为非活体。通过同时基于红外图像的活体检测和基于深度图的活体检测，使得误判率得以降低。
如图1b图所示，作为另一种实施方式，当通过步骤104～步骤106识别出被检测脸部为活体时，则基于该被检测脸部的深度图像进行进一步识别检测，执行所述步骤201～203，在步骤203中，如果识别为活体，这判定被检测目标为活体，否则，判定被检测目标为非活体。
如图1c图所示，类似于图1b图所示的实施方式，当通过步骤201～203识别出被检测脸部为活体时，则基于该被检测脸部的红外图像进行进一步识别检测，执行所述步骤104～106，在步骤106中，如果识别为活体，这判定被检测目标为活体，否则，判定被检测目标为非活体。
本申请实施例采用脸部红外图像与脸部深度图像的结合进行活体检测，由于构建既可攻击红外图像识别检测的脸部照片又可攻击深度图像识别检测的3D模型脸部面具的被检测目标难度高，故而可以有效阻止目前接近100％的攻击方式。其中脸部红外图像检测利用了亮瞳效应，提高了识别检测的可靠性，并且可以有效防止3D模型、照片、视频等攻击；深度图像检测利用了深度图像数据，并且采用深度学习技术，可以有效的防止所有2D图像的攻击。该检测方法无需用户配合，相比于需要用户点头眨眼等互动式活体检测方法，本方法的用户体验好，算法速度快。本申请实施例解决了身份验证场景中确定对象真实生理特征的问题，例如在金融支付领域需要确定是否当前操作为本人操作，除了需要辨认当前操作者的脸部特征与拥有者匹配，同时还需要确认当前操作者是活体而非照片或脸部模型等。
参见图4所示，图4为实施例一的活体识别检测设备的一种示意图。该设备包括，
红外图像获取单元，用于获取至少包括眼部的脸部红外图像；
深度图像获取单元，用于获取脸部深度图像；
深度图像活体检测单元，基于来自深度图像获取单元的单帧深度图像，进行活体识别检测，
红外图像活体检测单元，基于来自红外图像获取单元的单帧眼部红外图像，根据图像所反映的亮瞳效应进行活体识别检测，其中，所述红外图像活体检测单元包括，
矫正提取模块，获取单帧红外图像中脸部和眼部的坐标位置，根据脸部框坐标，进行脸部矫正，获得矫正后的红外图像；获取深度图像中脸部的坐标位置，根据脸部框坐标，进行脸部矫正，获得矫正后的深度图像，
HOG特征提取模块，基于矫正后的红外图像，提取眼部的红外图像，获取方向梯度直方图特征，得到眼部红外图像的特征向量，
特征后处理模块，对眼部红外图像的特征向量进行特征后处理，得到降维特征向量，
SVM识别模型模块，将输入的降维特征向量通过预先训练好的分类器模型进行识别，当识别结果为活体时，来自深度图像获取单元的深度图像输入至矫正提取模块，以进行基于深度图像的活体识别检测。
所述特征后处理模块包括，
PCA模块，对眼部红外图像的特征向量进行主分量分析，
转换矩阵和均值模块，根据主分量分析结果和HOG特征向量，获得转换矩阵和均值向量，
特征降维模块，将转换矩阵和均值向量进行降维，得到降维特征向量。
深度图像活体检测单元包括，
裁剪及数据清洗模块，根据脸部坐标，裁剪出脸部的深度图，并进行数据清洗，
深度图预处理模块，将提取的深度图处理为适配于预先训练好的神经网络模型的数据，
宽卷积神经网络(WideResNet，WRN)识别模型模块，将处理后的深度图数据输入预先训练好的WRN网络模型进行识别。
图4所示实施方式是先基于红外图像进行活体识别检测，再基于深度图像进行活体识别检测，所应理解的是，也可以先基于深度图像进行活体识别检测，再基于红外图像进行活体识别检测，只需对相应的信号关系进行调整。
实施例二：
参见图5所示，图5为基于除脸部之外的其它活体部位特征深度图像进行的活体识别检测与基于红外图像进行活体识别检测相结合的脸部检测方法的一种流程示意图。该方法包括以下步骤：
步骤501，分别获取被检测脸部的单帧近红外图像、以及被检测部位特征单帧深度图像，
在该步骤中，由于基于红外图像进行活体识别检测需要根据眼部的亮瞳效应的特征图像进行识别，因此，在该实施例中，单帧近红外图像中需包括脸部图像。
所述单帧深度图像可以是包括除脸部之外的任何部位特征图像，包括且不限于指纹、掌纹、身体等，以增加进行攻击的难度。
对于获取的红外图像，
步骤502，获取单帧近红外图像中脸部框的坐标、以及眼睛的坐标位置；
在该步骤中，利用脸部检测算法对图像进行识别，以获取脸部框的坐标、以及眼睛的坐标位置。
步骤503，根据脸部框坐标以及眼睛的坐标位置，对红外图像进行脸部矫正，获得矫正后的红外图像，
对于矫正后的红外图像，执行步骤504～506，均与步骤104～106相同。
对于获取的深度图像，
步骤401，根据部位坐标，提取部位的深度图；
步骤402，将提取的深度图进行预处理，得到二维图片数据，将二维图片数据保存为图片格式；
为了便于神经网络的识别检测，既满足精度要求又具有快速的响应，本实施例将深度图的距离信息调整为毫米单位，以避免距离信息的精度不一致，并且将各像素点的距离信息按比例截取，截取后的距离信息作为该像素点的灰度值，得到二维图片数据，从而，将16位数据处理为8位数据，即数据范围为0～255，以利于去除冗余数据，加快运算的速度。
将处理后的图像保存为jpg等图片格式。
步骤403，将处理后的深度图像送入预先训练好的深度学习网络模型中进行识别，如果识别为活体，则输出TRUE，如果识别为非活体，则输出FALSE；将上述输出结果记为第二识别结果。
其中，深度学习网络模型采用深度学习算法，并预先用大量的样本训练，训练成功后保存训练好的模型参数。
步骤404，将步骤506的第一识别结果与步骤403的第二识别结果进行与逻辑运算，当两者均为TRUE时，输出最终结果为TRUE，判定被检测目标为活体，否则，判定被检测目标为非活体。通过同时基于红外图像的活体检测和基于深度图的活体检测，使得误判率得以降低。
本申请实施例采用脸部红外图像与除脸部之外的其它部位深度图像的结合进行活体检测，由于构建既可攻击红外图像识别检测的人脸照片又可攻击深度图像识别检测的3D模型的被检测目标难度高，故而可以有效阻止目前接近100％的攻击方式。其中脸部红外图像检测利用了亮瞳效应，提高了识别检测的可靠性，并且可以有效防止3D模型、照片、视频等攻击；深度图像检测利用了深度图像数据，并且采用深度学习技术，可以有效的防止所有2D图像的攻击。该检测方法无需用户配合，相比于需要用户点头眨眼等互动式活体检测方法，本方法的用户体验好，算法速度快。
参见图6所示，图6实施例二的活体识别检测设备的一种示意图。该设备包括，红外图像获取单元，用于获取至少包括眼部的脸部红外图像；
深度图像获取单元，用于获取除脸部之外任意部位深度图像；
深度图像活体检测单元，基于来自深度图像获取单元的单帧深度图像，进行活体识别检测，
红外图像活体检测单元，基于来自红外图像获取单元的单帧眼部红外图像，根据图像所反映的亮瞳效应进行活体识别检测，其中，所述红外图像活体检测单元包括，
矫正提取模块，获取单帧红外图像中脸部和眼部的坐标位置，根据脸部框坐标，进行脸部矫正，获得矫正后的红外图像；
HOG特征提取模块，基于矫正后的红外图像，提取眼部的红外图像，获取方向梯度直方图特征，得到眼部红外图像的特征向量，
特征后处理模块，对眼部红外图像的特征向量进行特征后处理，得到降维特征向量，
SVM识别模型模块，将输入的降维特征向量通过预先训练好的分类器模型进行识别，输出第一识别结果。
所述深度图像活体检测单元包括，
提取模块，根据深度图像中被检测目标的坐标，提取被检测目标的深度图，
深度图预处理模块，将提取的深度图处理为适配于预先训练好的神经网络模型的数据，
宽卷积神经网络(WRN)识别模型模块，将处理后的深度图数据输入预先训练好的WRN网络模型进行识别，输出第二识别结果。
逻辑与运算，将第一识别结果和第二识别结果进行逻辑与运算。
实施例三：
基于视频流和深度图来进行活体检测，其中，RGB视频流进行欧拉图像放大后可捕获到的反映活体心跳效应的特征图像。具体地，对RGB视频流进行欧拉图像放大(EVM，Eulerian Video Magnification)处理，以放大图像上的血液流动情况，提取的活体心率以进行第一识别，将深度图通过训练后的深度学习模型以进行第二识别，基于第一识别结果和第二识别结果进行与逻辑运算，只有当第一识别结果和第二识别结果都识别为活体时，才判定为活体。本申请解决了单一视频检测和单一深度图像检测的误检率高的缺陷，有效地减少了误检。
为便于理解，以下将以被检测目标为人脸为实施例来进行说明，所应理解的是，本申请不限于人脸，还包括了其他生物特征，包括且不限于，人体、掌纹、指纹等。
参见图7所示，图7为本申请实施例三基于视频流和深度图对于人脸检测方法的一种流程示意图。该方法包括以下步骤：
步骤701，分别获取被检测目标的RGB视频图像和深度图；
在本实施例中，鉴于后续的欧拉图像放大处理需要基于RGB图像来处理，故而通过RGB摄像头采集连续RGB图像帧数大于n的被检测目标的RGB图像；在采集RGB图像的同时，通过深度相机采集当前被检测目标的深度图；
基于采集的RGB视频图像,进行如下处理：
步骤702，判断当前采集的被检测目标的RGB图像是否具有连续的n帧，如果是，则执行步骤703，否则，重新获取RGB图像；其中，n为大于1的自然数；
步骤703，基于获取的具有连续n帧的RGB图像，进行欧拉图像放大处理，以放大RGB图像中的色彩信息；
在该步骤中，通过欧拉图像放大算法，放大RGB图像上人脸血液流动；其中，欧拉图像算法是一种将视频中的微小变化进行放大的算法，该算法可以将视频中的微小变化转变为肉眼可以观察的变化，还可从视频中提取心率信息。
欧拉图像放大算法的机理是将视角固定在一个地方，例如整幅图像。之后，假定整幅图像都在变，只是这些变化信号的频率、振幅等特性不同，而所感兴趣的变化信号就身处其中。这样，对“变”的放大就变成了对感兴趣频段的析出和增强。基于该机理，参见图8所示，图8示出了欧拉图像放大处理的一种示意图。欧拉图像放大处理包括：用于将视频序列进行金字塔多分辨率分解的空间滤波，用于对每个尺度的图像进行时域带通滤波，得到感兴趣的若干频带的时域滤波，用于对每个频带的信号用泰勒级数来差分逼近，线性放大逼近的结果的放大滤波结果，用于合成经过放大后的图像的图像合成；其中，
空间滤波的目的是将多个相邻像素拼接成一块，可以使用低通滤波器来进行，为了加快运算速度，同时可以进行下采样操作，低通滤波器与下采样的组合便是金字塔。金字塔包括拉普拉斯金字塔和高斯金字塔来进行空间滤波；使用哪个金字塔得根据具体需求而定，如果要放大的是动作的变化，那么可以选择拉普拉斯金字塔，构造多个不同空间频率的基带；如果要放大的是颜色的变化，不同基带的SNR应该比较接近，因此可以选择高斯金字塔，只取最顶层下采样和低通滤波的结果。在本实施例中，鉴于感兴趣的是视频中的动作变化，因此，选择拉普拉斯金字塔。
视频可以看作连续的图片，从图片中的单个像素点的角度看，视频每个像素点的变化可以看成时域信号，而物体运动的信息就隐藏在单个像素点的变化之中。得到了不同空间频率的基带后，接下来对每个基带都进行时域上的带通滤波，目的是提取感兴趣的那部分变化信号。例如，如果要放大的心率信号，那么可以选择0.4～4Hz(24～240bpm)进行带通滤波，这个频段就是人的心率的范围。时域滤波可以根据不同的需求选择不同的带通滤波器。为了后续得到心率信号，需要对放大的结果进行后续的时频分析，则选择窄通带的滤波器。
经过空间滤波和时间滤波，可以找出了“变”的部分，即解决了何为“变”这个问题。
线性的EVM方法会在放大动作变化的同时放大噪声，为了避免造成太大的失真，可以设置一个合理的放大倍数限制，使得：当空间波长超出设定的边界，放大倍数维持在设定的阈值。
图像合成先合成变化信号的图像，再与原图进行叠加。
步骤704，对EVM处理后的信号进行时频分析，计算出图像中人的心跳频率H；
参见图9所示，图9示出了EVM处理前的和处理后的直方图的一种示意(实际为彩色)，通过图示可见，经过EVM处理后，信号的直方图具有类似于脉动的变化。因此，对EVM处理后的信号进行时频分析，获得单位时间脉动的数量，可以得到估算出图像中人的心跳频率。
步骤705，判断心跳频率H小于阈值或者等于0，如果是，则判定图像中的人为非活体，输出FALSE，否则，则判定图像中的人为活体，输出TRUE。将上述输出结果记为第一识别结果。
对于采集的深度图像，进行如下处理：
步骤601，接收深度摄像头采集的深度图像、以及其中人脸所在的坐标，根据人脸坐标，提取人脸的深度图。
步骤602，将深度图进行预处理，得到二维图片数据，将二维图片数据保存为图片格式；
为了便于神经网络的识别检测，既满足精度要求又具有快速的响应，本实施例将深度图的距离信息调整为1毫米单位，以避免距离信息的精度不一致，并且将各像素点的距离信息按比例截取，截取后的距离信息作为该像素点的灰度值，得到二维图片数据，从而，将16位数据处理为8位数据，即数据范围为0～255，以利于去除冗余数据，加快运算的速度。
将处理后的图像保存为jpg等图片格式。
步骤603，将处理后的人脸深度图像送入预先训练好的深度学习网络模型中进行识别，如果识别为活体，则输出TRUE，如果识别为非活体，则输出FALSE；将上述输出结果记为第二识别结果。
其中，深度学习网络模型采用深度学习算法，并预先用大量的样本训练，训练成功后保存训练好的模型参数。
步骤604，将步骤705的第一识别结果与步骤604的第二识别结果进行与逻辑运算，当两者均为TRUE时，输出最终结果为TRUE，判定被检测目标为活体，否则，判定被检测目标为非活体。通过同时基于视频的活体检测和基于深度图的活体检测，使得误判率得以降低。
本申请实施例采用RGB视频图像与深度图像的结合进行活体检测，可以有效阻止目前接近100％的攻击方式。其中RGB视频检测利用了EVM技术，具有极高的可靠性，并且可以有效防止3D模型、照片、视频流等攻击；深度图像检测利用了深度图像数据，并且采用深度学习技术，可以有效的防止所有2D图像的攻击。该检测方法无需用户配合，相比于需要用户点头眨眼等互动式活体检测方法，本方法的用户体验好，算法速度快。本申请实施例解决了身份验证场景中确定对象真实生理特征的问题，例如在金融支付领域需要确定是否当前操作为本人操作，除了需要辨认当前操作者的脸部特征与拥有者匹配，同时还需要确认当前操作者是活体而非照片或人脸模型等。
参见图10所示，图10为本申请实施例三的活体检测装置的一种示意图。该检测装置包括，
获取连续n帧图像的第一图像获取单元；其中，n为大于1的自然数；
获取深度图像的第二图像获取单元；
第一检测单元，基于来自第一图像获取单元的当前连续n帧图像进行活体检测，得到第一识别结果；
第二检测单元，基于来自第二图像获取单元的当前深度图像进行活体识别，得到第二识别结果；
逻辑运算单元，将第一识别结果和第二识别结果进行与逻辑运算，得到检测结果。
所述连续n帧图像为RGB图像，
所述第一检测单元包括，
欧拉图像放大EVM模块，将当前连续n帧图像通过欧拉图像放大EVM算法进行处理，
估算模块，将经过EVM处理后的图像进行时频分析，获得图像中被检目标的当前心跳频率；
第一识别模块，根据获得的心跳频率识别被检目标是否为活体，得到第一识别结果。
所述欧拉图像放大EVM模块包括，
用于将图像序列进行金字塔多分辨率分解的空间滤波模块，
用于对每个尺度的图像进行时域带通滤波、得到感兴趣的一个以上频带的时域滤波模块，
用于对每个频带的信号用泰勒级数差分逼近、并线性放大逼近的结果的放大滤波模块，
用于合成经过放大后的图像的图像合成模块。
所述第二检测单元包括，
提取模块，根据深度图像中被检测目标的坐标，提取被检测目标的深度图，
深度图预处理模块，将提取的深度图处理为适配于预先训练好的神经网络模型的数据，
第二识别模块，将处理后的深度图数据输入预先训练好的神经网络模型进行识别，得到第二识别结果。
所述第一图像获取单元可以为RGB图像摄像机，所述第二图像获取单元可以为深度相机。
实施例四：
参见图11所示，图11为基于脸部红外图像、以及RGB视频流图像、深度图像进行的活体识别检测的一种流程示意图。
在本实施例中，除了红外图像需包括脸部之外，其他视频流图像、深度图像可以是包括脸部的图像，也可以是其他部位的图像。以下以均包括脸部图像为实施例来说明。
该方法包括以下步骤：
步骤301，分别获取被检测脸部的单帧近红外图像、单帧深度图像、以及具有连续的n帧的RGB视频流图像，图像中均包括脸部区域。
步骤302，获取单帧近红外图像和眼睛的坐标位置，获取单帧深度图像中脸部框的坐标；对于红外图像，还进一步获取眼睛的坐标位置。
步骤303，根据脸部框坐标以及眼睛的坐标位置，分别对红外图及深度图进行脸部矫正，分别获得矫正后的红外图像和深度图像，
对于矫正后的红外图像，执行步骤304～306，均与步骤104～106相同。
对于矫正后的深度图像，执行步骤801～803，均与步骤401～403相同。
对于视频流图像，
步骤903，基于获取的具有连续n帧的RGB图像，进行欧拉图像放大处理，以放大RGB图像中的色彩信息；具体步骤与步骤703相同；
步骤904，对EVM处理后的信号进行时频分析，计算出图像中人的心跳频率H；具体步骤与步骤704相同；
步骤905，判断心跳频率H小于阈值或者等于0，如果是，则判定图像中的人为非活体，输出FALSE，否则，则判定图像中的人为活体，输出TRUE。将上述输出结果记为第三识别结果。
步骤906，将步骤306的第一识别结果、步骤803的第二识别结果、步骤905的第三识别结果进行与运算，当三者均为TRUE时，输出最终结果为TRUE，判定被检测目标为活体，否则，判定被检测目标为非活体。
本实施例通过同时基于视频的活体检测、基于红外图像的活体检测和基于深度图的活体检测，使得误判率得以降低。
参见图12所示，图12为实施例四的另一种实施方式的一种流程示意图。包括，
步骤1200，对于当前被检测目标，实时地随机选择至少两种以上图像类型，以通过对图像获取的实时随机的选择控制来实现基于视频的活体检测、基于红外图像的活体检测和基于深度图的活体检测的任意组合，例如，对于当前被检测目标，随机选择的是获取红外图像和深度图像，对于下一被检测目标，随机选择的是获取红外图像、深度图像、RGB视频流图像，对于下下一被检测目标，随机选择的是获取深度图像、RGB视频流图像，等等；这样，所选择的图像可以是实时随机的，从而进一步提高识别检测的防攻击能力。
步骤1201，根据随机选择图像类型，获取被检测目标图像；所述图像包括红外、RGB视频流、深度图中的任意组合，
步骤1202，按照图像类型，调用相应的基于图像的活体检测进程，将各个检测进程的识别结果进行与逻辑运算。
该实施方式由于每次所采用的检测方法具有一定的随机性，使得攻击的难度增加，提高了防攻击能力，对于应用于门禁、支付等安防系统，提高了系统的安全性。
参见图13所示，图13为实施例四的活体识别检测设备的一种示意图。该检测设备包括，
包括如下任意两个以上图像获取单元：获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元，
选择单元，用于选择当前被检测目标的待获取图像类型，使得被选择的图像获取单元分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
第一检测单元，基于来自第一图像获取单元的当前连续n帧图像，根据图像所反映的心率效应进行活体识别检测，得到第一识别结果；
第二检测单元，基于来自第二图像获取单元的单帧眼部红外图像，根据图像所反映的亮瞳效应进行活体识别检测，得到第二识别结果；
第三检测单元，基于来自第三图像获取单元的单帧深度图像，进行活体识别检测，
逻辑运算单元，将第一识别结果、第二识别结果、第三识别结果进行与逻辑运算，得到检测结果。
参见图14所示，图14为实施例四的活体识别检测设备的一种示意图。该检测设备包括，
包括如下任意两个以上图像获取单元：获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元，
选择单元，用于选择当前被检测目标的待获取图像类型，使得被选择的图像获取单元分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
第一检测单元，基于来自第一图像获取单元的当前连续n帧图像，根据图像所反映的心率效应进行活体识别检测，当被检测目标识别为活体时，输出第一使能控制信号至使能控制单元；
第二检测单元，基于来自第二图像获取单元的单帧眼部红外图像，根据图像所反映的亮瞳效应进行活体识别检测，当被检测目标识别为活体时，输出第二使能控制信号至使能控制单元；
第三检测单元，基于来自第三图像获取单元的单帧深度图像，进行活体识别检测，当被检测目标识别为活体时，输出第二使能控制信号至使能控制单元；
使能控制单元，根据输入的使能控制信号，控制所选择的各个图像获取单元的图像输出通路依次地处于使能状态，从而使得：当基于当前类型图像数据的识别结果为活体时，则基于下一类型图像数据进行活体识别检测，直至基于被选择的各个类型数据均进行活体识别检测；当各类型图像数据的识别结果均为活体时，判定被检测目标为活体；如果任一类型图像数据的识别结果为非活体，则判定被检测目标为非活体。
本发明提供的一种活体检测的设备，该设备包括，
获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元中的两个以上图像获取单元的任意组合，
存储器，存储有计算机程序，
处理器，执行存储的计算机程序，实现上述活体检测的方法的步骤。
其中，存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
选择当前被检测目标的待获取图像类型，所述待获取图像类型至少包括深度图像、RGB视频流、以及红外图像中的两种以上，其中，红外图像至少包括被检测目标的眼部区域；
根据所选择的待获取图像类型，分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
基于各类型图像数据，进行活体识别检测，得到检测结果。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种活体检测的方法，其特征在于，该方法包括，
实时地随机选择当前被检测目标的待获取图像类型，所述待获取图像类型至少包括深度图像、RGB视频流、以及红外图像中的两种以上；
根据所选择的待获取图像类型，分别获取当前被检测目标的图像，得到至少包括两种以上类型的图像数据；
基于各类型图像数据，进行活体识别检测，得到检测结果；
其中，
对于RGB视频流图像数据，所述活体识别检测包括：
将当前连续n帧图像通过欧拉图像放大EVM算法进行处理，n为大于1的自然数，
将经过EVM处理后的图像进行时频分析，获得图像中被检目标的当前心跳频率，
根据获得的心跳频率识别被检目标是否为活体，得到识别结果；
对于深度图像数据，所述活体识别检测包括：
基于单帧深度图像中被检测目标的坐标，提取被检测目标的深度图，
将提取的深度图中的距离信息调整为设定的范围，按照比例进行截取各像素点的距离信息，将截取后的距离信息作为该像素点的灰度信息，得到提取的深度图所对应的二维图片数据，
将二维图片数据输入至预先训练好的神经网络模型进行识别，得到识别结果；
对于红外图像数据，所述活体识别检测包括：
获取单帧红外图像中脸部和眼部的坐标位置，
根据脸部框坐标，进行脸部矫正，获得矫正后的红外图像，
基于矫正后的红外图像，提取眼部的红外图像，获取方向梯度直方图特征，得到眼部红外图像的特征向量，
对眼部红外图像的特征向量进行特征后处理，得到降维特征向量，所述后处理包括，对眼部红外图像的特征向量进行主分量分析，根据主分量分析的结果以及眼部红外图像的特征向量获取转换矩阵和均值向量，对转换矩阵和均值向量进行特征降维处理，
将降维特征向量输入预先训练好的分类器模型中进行识别，得到识别结果，以基于单帧脸部红外图像的亮瞳效应进行活体识别检测。
2.如权利要求1所述的方法，其特征在于，所述基于各类型图像数据，进行活体识别检测，得到检测结果，包括，
基于各类型图像数据，分别进行活体识别检测，分别得到各类型图像数据的识别结果，
将各类型图像数据的识别结果进行与逻辑运算，将与运算的结果作为检测结果。
3.如权利要求1所述的方法，其特征在于，所述基于各类型图像数据，进行活体识别检测，得到检测结果，包括，
如果基于当前类型图像数据的识别结果为活体，则基于下一类型图像数据进行活体识别检测，直至基于所获取的各类型图像数据均进行了活体识别检测；
当各类型图像数据的识别结果均为活体时，判定被检测目标为活体；
如果任一类型图像数据的识别结果为非活体，则判定被检测目标为非活体。
4.如权利要求2所述的方法，其特征在于，所述待获取图像类型包括所述RGB视频流和红外图像中的任一种或两种、以及深度图像；其中，红外图像至少包括被检测目标的眼部区域，
所述根据所选择的待获取图像类型，分别获取当前被检测目标的图像，包括，
分别获取被检测目标当前连续n帧RGB视频流图像、单帧脸部红外图像中任一种图像或两种图像，
获取被检测目标当前单帧深度图像。
5.如权利要求4所述的方法，其特征在于，所述基于各类型图像数据，分别进行活体识别检测，包括，
分别基于连续n帧RGB视频流图像、单帧脸部红外图像任一图像或两种图像，分别根据图像所反映的活体生理效应进行活体识别检测，
基于所述单帧深度图像，进行活体识别检测。
6.如权利要求1所述的方法，其特征在于，所述将当前连续n帧图像通过欧拉图像放大EVM算法进行处理，包括，
通过欧拉图像放大算法中用于将图像序列进行金字塔多分辨率分解的空间滤波、用于对每个尺度的图像进行时域带通滤波得到感兴趣的一个以上频带的时域滤波、用于对每个频带的信号用泰勒级数差分逼近并线性放大逼近的结果的放大滤波、用于合成经过放大后的图像的图像合成，放大RGB图像上被检测目标的血液流动。
7.如权利要求1所述的方法，其特征在于，所述将经过EVM处理后的图像进行时频分析，获得图像中被检目标的当前心跳频率，包括，
将经过EVM处理后的图像进行时频分析，得到直方图，
基于直方图的脉动变化，估算单位时间内的脉动数量，将估算结果作为当前心跳频率；
所述根据获得的心跳频率识别被检目标是否为活体包括，判断当前心跳频率是否大于设定的阈值，如果是，则判定被检测目标为活体，否则，判定被检测目标为非活体。
8.如权利要求1所述的方法，其特征在于，所述深度图像包括有脸部区域图像，所述基于单帧深度图像中被检测目标的坐标，提取被检测目标的深度图，包括，
获取单帧深度图像中脸部的坐标位置，
根据脸部框坐标，进行脸部矫正，获得矫正后的深度图像，
基于矫正后的深度图像，根据脸部坐标，裁剪出脸部的深度图，并进行数据清洗。
9.如权利要求1所述的方法，其特征在于，所述神经网络模型为深度学习网络模型。
10.一种活体检测的设备，其特征在于，该设备包括，
获取RGB视频流的第一图像获取单元、获取至少包括被检测目标的眼部区域红外图像的第二图像获取单元、获取深度图像的第三图像获取单元中的两个以上图像获取单元，
存储器，存储有计算机程序，
处理器，执行存储的计算机程序，实现如权利要求1至9任一所述活体检测的方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一所述活体检测的方法的步骤。
CN201911189074.3A 2019-11-28 2019-11-28 一种活体检测的方法、装置 Active CN112861588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911189074.3A CN112861588B (zh) 2019-11-28 2019-11-28 一种活体检测的方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911189074.3A CN112861588B (zh) 2019-11-28 2019-11-28 一种活体检测的方法、装置

Publications (2)

Publication Number Publication Date
CN112861588A CN112861588A (zh) 2021-05-28
CN112861588B true CN112861588B (zh) 2024-03-08

Family

ID=75985275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911189074.3A Active CN112861588B (zh) 2019-11-28 2019-11-28 一种活体检测的方法、装置

Country Status (1)

Country Link
CN (1) CN112861588B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657327B (zh) * 2021-08-24 2024-03-08 平安科技（深圳）有限公司 适用于图像的非活体攻击判别方法、装置、设备及介质
CN113842128B (zh) * 2021-09-29 2023-09-26 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106397A (zh) * 2013-01-19 2013-05-15 华南理工大学 基于亮瞳效应的人脸活体检测方法
CN104091147A (zh) * 2014-06-11 2014-10-08 华南理工大学 一种近红外眼睛定位及眼睛状态识别方法
CN106156757A (zh) * 2016-08-02 2016-11-23 中国银联股份有限公司 结合活体检测技术的人脸识别方法及人脸识别系统
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN108549884A (zh) * 2018-06-15 2018-09-18 天地融科技股份有限公司 一种活体检测方法及装置
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN110008783A (zh) * 2018-01-04 2019-07-12 杭州海康威视数字技术股份有限公司 基于神经网络模型的人脸活体检测方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106397A (zh) * 2013-01-19 2013-05-15 华南理工大学 基于亮瞳效应的人脸活体检测方法
CN104091147A (zh) * 2014-06-11 2014-10-08 华南理工大学 一种近红外眼睛定位及眼睛状态识别方法
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN106156757A (zh) * 2016-08-02 2016-11-23 中国银联股份有限公司 结合活体检测技术的人脸识别方法及人脸识别系统
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN110008783A (zh) * 2018-01-04 2019-07-12 杭州海康威视数字技术股份有限公司 基于神经网络模型的人脸活体检测方法、装置及电子设备
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN108549884A (zh) * 2018-06-15 2018-09-18 天地融科技股份有限公司 一种活体检测方法及装置
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Eulerian Video Magnification for Revealing Subtle Changes in the World;Hao-Yu Wu, et al;《ACM Transactions on Graphics》;第31卷(第4期);第65:1-65:8页 *

Also Published As

Publication number Publication date
CN112861588A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
CN109815919B (zh) 一种人群计数方法、网络、系统和电子设备
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
CN106372629B (zh) 一种活体检测方法和装置
EP2192549B1 (en) Target tracking device and target tracking method
US10650260B2 (en) Perspective distortion characteristic based facial image authentication method and storage and processing device thereof
CN108021892B (zh) 一种基于极短视频的人脸活体检测方法
CN108549886A (zh) 一种人脸活体检测方法及装置
CN109086718A (zh) 活体检测方法、装置、计算机设备及存储介质
CN107798279B (zh) 一种人脸活体检测方法及装置
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
CN111783629A (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
CN112861588B (zh) 一种活体检测的方法、装置
CN111222380A (zh) 一种活体检测方法、装置、及其识别模型训练方法
JP4691570B2 (ja) 画像処理装置およびオブジェクト推定プログラム
CN113822927B (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
CN111274851A (zh) 一种活体检测方法及装置
CN112716468A (zh) 基于三维卷积网络的非接触心率测量方法及装置
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN112861587B (zh) 一种活体检测的方法、装置
CN113610071B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112883758B (zh) 一种活体检测方法、装置
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质
CN113128320A (zh) 基于tof相机的人脸活体检测方法、检测装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant