CN112183422A - 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112183422A
CN112183422A CN202011072378.4A CN202011072378A CN112183422A CN 112183422 A CN112183422 A CN 112183422A CN 202011072378 A CN202011072378 A CN 202011072378A CN 112183422 A CN112183422 A CN 112183422A
Authority
CN
China
Prior art keywords
face
image
living body
space
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011072378.4A
Other languages
English (en)
Inventor
李薪宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aokuai Technology Co ltd
Original Assignee
Chengdu Aokuai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aokuai Technology Co ltd filed Critical Chengdu Aokuai Technology Co ltd
Priority to CN202011072378.4A priority Critical patent/CN112183422A/zh
Publication of CN112183422A publication Critical patent/CN112183422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明的实施例提供一种基于时空特征的人脸活体检测方法，通过获取人脸样本视频，提取人脸样本图像，构建基于时空特征的人脸活体检测网络，将人脸样本图像输入基于时空特征的人脸活体检测网络，分别提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，将待检测的人脸图像输入基于时空特征的人脸活体检测网络模型，进行活体人脸图像检测。本发明的实施例同时提供一种基于时空特征的人脸活体检测装置。本发明的实施例通过构建基于时空特征的人脸活体检测网络，训练优化基于时空特征的人脸活体检测网络模型，能够快速准确地实现活体人脸检测，实用性强，有效地提高了人脸检测效率及安全性。

Description

一种基于时空特征的人脸活体检测方法、装置、电子设备及存 储介质
技术领域
本发明涉及计算机视觉及图像识别技术领域，具体而言，涉及一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉与模式识别技术的深入研究与快速发展，人脸识别、指纹识别、虹膜识别等生物特征识别技术在不同场景中得到应用。其中，人脸识别技术因具有使用方便、非接触性等优点，在金融、安防及互联网等诸多领域得到广泛应用。与此同时，通过使用照片、视频、面具等伪装活体人脸进行人脸识别系统攻击，也对人脸识别系统的安全性提出了挑战，如何通过有效识别活体人脸，提高人脸识别系统安全性成为了用户普遍关注的问题。
目前，活体人脸检测的主要方法包括基于纹理信息的活体检测方法，基于运动信息的活体检测方法，以及基于深度学习的活体检测方法，采用上述方法进行活体人脸检测时，仍然存在一些缺陷，诸如，基于单帧的活体检测方法由于丢失了图像的部分空间特征，导致人脸检测准确度较低；又如，在视频流中提取所有图像帧进行活体人脸检测时，重复的图像数量过多从而导致运算效率降低；以及活体人脸检测模型的损失函数只关注像素对活体人脸检测模型的影响，而忽略了不同像素之间的距离，从而忽略了相邻像素间的深度信息等。因此，如何构建一种高效准确的人脸活体检测模型，实时准确地判定待检测目标是否为活体人脸，有效提升人脸检测识别效率及安全性，成为人脸识别技术发展及应用过程中亟待解决的技术问题之一。
发明内容
为了解决上述技术问题至少之一，本发明的第一方面的实施例提出了一种基于时空特征的人脸活体检测方法，包括以下步骤：S101，获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；S102，根据所述人脸样本视频，提取对应的人脸样本图像；S103，构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；S104，将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；S105，将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
优选地，所述步骤S102，具体为：根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像；以及，对所述人脸样本图像进行预处理。
优选地，所述对所述人脸样本图像进行预处理的步骤，具体为：检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
优选地，所述步骤S104，具体为：将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，对所述基于时空特征的人脸活体检测网络进行训练优化，确定损失函数收敛时的网络结构为所述基于时空特征的人脸活体检测网络模型。
优选地，所述步骤S105之前，还包括：获取待检测人脸的视频图像，提取视频图像帧，得到所述待检测的人脸图像。
本发明的第二方面的实施例，还提出了一种基于时空特征的人脸活体检测装置，包括：获取模块，用于获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；提取模块，用于根据所述人脸样本视频，提取对应的人脸样本图像；构建模块，用于构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；训练模块，用于将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；检测模块，用于将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
优选地，所述提取模块，具体用于根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像。
优选地，所述提取模块，还包括：预处理单元，用于检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；以及，标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
本发明的第三方面的实施例，还提出了一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于处理所述可执行指令时实现如前述实施例中所述的基于时空特征的人脸活体检测方法。
本发明的第四方面的实施例，还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例中所述的基于时空特征的人脸活体检测方法。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明的实施例中基于时空特征的人脸活体检测方法的流程示意图；
图2是本发明的实施例中基于时空特征的人脸活体检测网络的结构示意图；
图3是本发明的实施例中空间梯度模块的结构示意图；
图4是本发明的实施例中时空传播模块的结构示意图；
图5是本发明的实施例中基于时空特征的人脸活体检测装置的结构示意图；
图6是本发明的实施例中电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例提出一种基于时空特征的人脸活体检测方法，如图1所示，包括以下步骤：S101，获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；S102，根据所述人脸样本视频，提取对应的人脸样本图像；S103，构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；S104，将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；S105，将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
在该技术方案中，采集预设数量的人脸样本视频，在人脸样本视频中提取对应的人脸样本图像，作为训练数据集和测试数据集，构建基于时空特征的人脸活体检测网络，将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，通过提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，将待检测人脸图像输入基于时空特征的人脸活体检测网络模型，根据基于时空特征的人脸活体检测网络模型的输出数据，判断输入的待检测人脸图像是否为活体人脸图像。
在上述技术方案中，步骤S102，具体为：根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像；以及，对所述人脸样本图像进行预处理。
在该技术方案中，采集预设数量的活体人脸视频及非活体人脸视频，包括不同光线、不同背景、不同采集设备条件下采集的第一预定数量的活体人脸视频，以及通过图片、视频等采集的第二预设数量的非活体人脸视频。对采集得到的活体人脸视频和非活体人脸视频进行样本视频的选取，移除未包含完整的人脸图像或图像分辨率低于预设阈值等不符合预设条件的人脸样本视频，从而得到人脸样本视频集。进一步地，对人脸样本视频集中的每一人脸样本视频进行视频图像帧提取，从而得到人脸样本图像集。具体地，以预设间隔帧数在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，例如，在人脸样本视频中，每间隔5帧提取一帧视频图像，得到人脸样本视频对应的人脸样本图像，特别地，若当前人脸样本视频图像不足5帧，则提取人脸样本视频图像的第一帧图像与最后一帧图像，作为人脸样本视频对应的人脸样本图像；同样地，也可以根据预设时间间隔在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，此处不再赘述。
进一步地，对所述人脸样本图像进行预处理的步骤，具体为：检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
在该技术方案中，对人脸样本图像集中的人脸样本图像进行人脸区域识别，定位样本图像中的人脸图像区域，例如，根据样本图像中的人脸3D形状，确定样本图像中人脸图像的位置区域。进一步地，通过对人脸样本图像进行角度调整，将人脸样本图像中的人脸图像调整至预设角度。具体地，根据CNN-6网络结构，在人脸图像区域中检测人脸图像中的五个关键点，包括左右眼睛、鼻尖和左右嘴角，根据五个关键点的坐标进行人脸样本图像的角度调整，校正倾斜的人脸图像，实现人脸样本图像对齐。进一步地，对角度调整后的人脸样本图像进行尺寸调整，将人脸样本图像调整为预设的尺寸，例如，将人脸样本图像尺寸统一调整至256×256。其中，CNN-6网络包括5个3×3的卷积层、1个全连接层和1个输出层，在每个卷积层和全连接层之后，使用Relu非线性激活函数进行特征映射。CNN-6网络的完整网络架构为：图像输入→Conv(32*32*32)→Conv(16*16*64)→Conv(8*8*128)→Conv(4*4*256)→Conv(2*2*512)→Conv(1024)→图像输出(3*256*256)。以及，对调整尺寸后的样本图像进行标记，标识样本图像中的活体人脸图像和非活体人脸图像，具体地，分别为活体人脸图像和非活体人脸图像设置标签，其中，活体人脸图像对应的标签为1，非活体人脸图像对应的标签为2。
进一步地，将人脸样本图像转换为tfrecord格式，用于以多线程并行化输入基于时空特征的人脸活体检测网络。
在上述技术方案中，步骤S103，具体为：构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块，其中，级联的空间梯度模块和最大池化层组成基于时空特征的人脸活体检测网络的主干网络，以及在主干网络之间设置时空传播模块。
在该技术方案中，如图2所示，基于时空特征的人脸活体检测网络的主干网络由级联的空间梯度模块和最大池化层组成，基于同一人脸样本视频提取具有预设间隔的视频图像帧得到的人脸样本图像，分别输入基于时空特征的人脸活体检测网络，其中，frame t表示人脸样本视频中t时刻视频图像帧对应的第一人脸样本图像，frame t+Δt表示人脸样本视频中与t时刻视频图像帧间隔时长Δt的视频图像帧对应的第二人脸样本图像，通过空间梯度模块分别提取第一人脸样本图像和第二人脸样本图像中的空间特征信息，得到人脸样本图像对应的空间深度图，同时，通过时空传播模块分别提取第一人脸样本图像和第二人脸样本图像中的高维时空特征信息，得到人脸样本图像对应的时空深度图，结合人脸样本图像对应的时空深度图对主干网络提取的空间深度图进行细化。具体地，如图3所示，空间梯度模块区分人脸样本图像的细粒度空间信息，人脸样本图像的时间梯度(Fhor)信息和人脸样本图像的空间梯度(Fver)信息通过3×3的卷积核映射得到特征图，归一化特征图以增强空间细粒度的表达能力，通过Relu非线性激活函数进行特征映射得到非线性的时空特征。
进一步地，如图4所示，时空传播模块包括短期时空块(STSTB)和卷积门控循环单元(ConvGRU)，通过时空传播模块分别提取第一人脸样本图像和第二人脸样本图像中的高维时空特征信息，具体为，短期时空块(STSTB)和卷积门控循环单元(ConvGRU)进行人脸样本图像的空间特征提取，估算人脸样本图像的时空深度图。其中，卷积门控循环单元(ConvGRU)的公式如下：
Figure BDA0002715525570000071
Figure BDA0002715525570000072
Figure BDA0002715525570000073
其中，Xt、Ht、Ut和Rt分别是矩阵的输入、输出、更新位和重置位；Kr，Ku和
Figure BDA0002715525570000074
是卷积核；
Figure BDA0002715525570000075
是卷积运算；*表示元素乘积；σ表示sigmoid激活函数。
在上述技术方案中，步骤S104，具体为：将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，对所述基于时空特征的人脸活体检测网络进行训练优化，确定损失函数收敛时的网络结构为所述基于时空特征的人脸活体检测网络模型。
在该技术方案中，将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，比较基于时空特征的人脸活体检测网络输出的检测结果与人脸样本图像的标签，根据损失函数计算网络损失值，例如，根据对比深度损失函数(CDLS)来计算网络的损失值，对比深度损失函数(CDLS)的公式如下：
Figure BDA0002715525570000076
其中，Ki CDLS是第i个为对比卷积核，i∈[0，7]。
进一步地，通过二分类损失函数进一步区别活体人脸样本图像与非活体人脸样本图像，根据总损失函数调整基于时空特征的人脸活体检测网络的网络参数，直到总损失函数值收敛，从而提取最优的人脸样本图像特征，得到最优的活体检测模型，具体地，二分类损失Lbinary和总的损失Loverall对应的函数的公式为：
Lbinary＝-BG×log(fcs(Davg))
Loverall＝β×Lbinary+(1-β)×(LEDL+LCDLS)
其中，BG中为人脸图像的真实标签；Davg是池化层的平均深度图
Figure BDA0002715525570000077
fcs表示平均深度图之后的两个完全连接层和一个softmax层，输出两个类别的概率；β是权衡二分类损失和深度损失的超参数。
在上述技术方案中，步骤S104，还包括：将人脸样本图像输入基于时空特征的人脸活体检测网络模型，通过将基于时空特征的人脸活体检测网络模型输出的结果与人脸样本图像标签进行比较，验证基于时空特征的人脸活体检测网络模型的准确度。
在上述技术方案中，步骤S105之前，还包括：获取待检测人脸的视频图像，提取视频图像帧，得到所述待检测的人脸图像。
在该技术方案中，采集待检测人脸的视频图像，对待检测人脸的视频图像进行视频图像帧提取，具体地，以预设间隔帧数在待检测人脸的视频图像中提取至少两帧视频图像帧，作为待检测人脸视频对应的人脸图像，例如，在待检测人脸的视频图像中，每间隔5帧提取一帧视频图像，得到待检测人脸的视频图像对应的人脸图像，特别地，若当前待检测人脸的视频图像不足5帧，则提取待检测人脸的视频图像的第一帧图像与最后一帧图像，作为待检测人脸视频图像对应的人脸图像；同样地，也可以根据预设时间间隔在待检测人脸的视频图像中提取至少两帧视频图像帧，作为待检测人脸视频图像对应的人脸图像，此处不再赘述。
在上述技术方案中，步骤S105之后，还包括：若步骤S105中基于时空特征的人脸活体检测网络模型输出数据小于预设阈值，则对待检测人脸图像的人脸图像区域进行任意抖动后进行再次检测，若基于时空特征的人脸活体检测网络模型输出数据小于预设阈值，确定所述待检测图像为非活体人脸图像，从而进一步提高基于时空特征的人脸活体检测网络模型的安全性。
本发明实施例提供的基于时空特征的人脸活体检测方法，构建基于时空特征的人脸活体检测网络，通过空间梯度模块和时空传播模块提取人脸图像的时空特征，根据对比深度损失函数来计算网络的损失值，同时结合二分类损失和经典损失，训练优化得到基于时空特征的人脸活体检测网络模型，从而能够更加准确地提取人脸图像的时空特征，进一步降低了计算复杂度，有效地提高了基于时空特征的人脸活体检测网络模型的检测性能及准确度。
实施例二
本发明的实施例同时提出一种基于时空特征的人脸活体检测装置200，如图5所示，包括：获取模块201，用于获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；提取模块202，用于根据所述人脸样本视频，提取对应的人脸样本图像；构建模块203，用于构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；训练模块204，用于将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；检测模块205，用于将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
在该技术方案中，获取模块201采集预设数量的活体人脸视频及非活体人脸视频作为人脸样本视频，包括不同光线、不同背景、不同采集设备条件下采集的第一预定数量的活体人脸视频，以及通过图片、视频等采集的第二预设数量的非活体人脸视频。对采集得到的活体人脸视频和非活体人脸视频进行样本视频的选取，移除未包含完整的人脸图像或图像分辨率低于预设阈值等不符合预设条件的人脸样本视频，从而得到人脸样本视频集，提取模块202对人脸样本视频集中的每一人脸样本视频图像进行对应的人脸样本图像提取，作为训练数据集和测试数据集，构建模块203构建基于时空特征的人脸活体检测网络，训练模块204将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，通过提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，检测模块205将待检测人脸图像输入基于时空特征的人脸活体检测网络模型，根据基于时空特征的人脸活体检测网络模型的输出数据，判断输入的待检测人脸图像是否为活体人脸图像。
在上述技术方案中，提取模块202，具体用于根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像。
在该技术方案中，提取模块202对人脸样本视频集中的每一人脸样本视频进行视频图像帧提取，从而得到人脸样本图像集。具体地，以预设间隔帧数在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，例如，在人脸样本视频中，每间隔5帧提取一帧视频图像，得到人脸样本视频对应的人脸样本图像，特别地，若当前人脸样本视频图像不足5帧，则提取人脸样本视频图像的第一帧图像与最后一帧图像，作为人脸样本视频对应的人脸样本图像；同样地，也可以根据预设时间间隔在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，此处不再赘述。
在上述技术方案中，提取模块202，还包括：预处理单元，用于检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；以及，标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
在该技术方案中，提取模块202对人脸样本图像集中的人脸样本图像进行人脸区域识别，定位样本图像中的人脸图像区域，例如，根据样本图像中的人脸3D形状，确定样本图像中人脸图像的位置区域。进一步地，通过对人脸样本图像进行角度调整，将人脸样本图像中的人脸图像调整至预设角度。具体地，根据CNN-6网络结构，在人脸图像区域中检测人脸图像中的五个关键点，包括左右眼睛、鼻尖和左右嘴角，根据五个关键点的坐标进行人脸样本图像的角度调整，校正倾斜的人脸图像，实现人脸样本图像对齐。进一步地，对角度调整后的人脸样本图像进行尺寸调整，将人脸样本图像调整为预设的尺寸，例如，将人脸样本图像尺寸统一调整至256×256。其中，CNN-6网络包括5个3×3的卷积层、1个全连接层和1个输出层，在每个卷积层和全连接层之后，使用Relu非线性激活函数进行特征映射。CNN-6网络的完整网络架构为：图像输入→Conv(32*32*32)→Conv(16*16*64)→Conv(8*8*128)→Conv(4*4*256)→Conv(2*2*512)→Conv(1024)→图像输出(3*256*256)。以及，对调整尺寸后的样本图像进行标记，标识样本图像中的活体人脸图像和非活体人脸图像，具体地，分别为活体人脸图像和非活体人脸图像设置标签，其中，活体人脸图像对应的标签为1，非活体人脸图像对应的标签为2。
本发明实施例提供的基于时空特征的人脸活体检测装置，可执行本发明实施例一所提供的基于时空特征的人脸活体检测方法，具备执行基于时空特征的人脸活体检测方法相应的功能模块，以及具备通过实现基于时空特征的人脸活体检测方法所产生的有益效果。
实施例三
本发明还提供一种电子设备，包括存储器及处理器；所述存储器存储有可被处理器调用的可执行指令；其中，所述处理器执行所述可执行指令时，实现如前述实施例一中所述的基于时空特征的人脸活体检测方法。
本发明基于时空特征的人脸活体检测装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示的本发明根据一示例性实施例示出的基于时空特征的人脸活体检测装置200所在电子设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口以及非易失性存储器之外，实施例中基于时空特征的人脸活体检测装置200所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，此处不再赘述。
实施例四
本发明还提供一种机算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述实施例一中所述的基于时空特征的人脸活体检测方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时空特征的人脸活体检测方法，其特征在于，包括以下步骤：
S101，获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；
S102，根据所述人脸样本视频，提取对应的人脸样本图像；
S103，构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；
S104，将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；
S105，将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
2.根据权利要求1所述的基于时空特征的人脸活体检测方法，其特征在于，所述步骤S102，具体为：
根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像；以及，
对所述人脸样本图像进行预处理。
3.根据权利要求2所述的基于时空特征的人脸活体检测方法，其特征在于，所述对所述人脸样本图像进行预处理的步骤，具体为：
检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；
标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
4.根据权利要求3所述的基于时空特征的人脸活体检测方法，其特征在于，所述步骤S104，具体为：
将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，对所述基于时空特征的人脸活体检测网络进行训练优化，确定损失函数收敛时的网络结构为所述基于时空特征的人脸活体检测网络模型。
5.根据权利要求1-4中任一项所述的基于时空特征的人脸活体检测方法，其特征在于，所述步骤S105之前，还包括：
获取待检测人脸的视频图像，提取视频图像帧，得到所述待检测的人脸图像。
6.一种基于时空特征的人脸活体检测装置，其特征在于，所述装置包括：
获取模块，用于获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；
提取模块，用于根据所述人脸样本视频，提取对应的人脸样本图像；
构建模块，用于构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；
训练模块，用于将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；
检测模块，用于将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。
7.根据权利要求6所述的基于时空特征的人脸活体检测装置，其特征在于，所述提取模块，具体用于根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像。
8.根据权利要求7所述的基于时空特征的人脸活体检测装置，其特征在于，所述提取模块，还包括：
预处理单元，用于检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；以及，标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于处理所述可执行指令时实现如权利要求1-5中任一项所述的基于时空特征的人脸活体检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于时空特征的人脸活体检测方法。
CN202011072378.4A 2020-10-09 2020-10-09 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 Pending CN112183422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011072378.4A CN112183422A (zh) 2020-10-09 2020-10-09 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011072378.4A CN112183422A (zh) 2020-10-09 2020-10-09 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112183422A true CN112183422A (zh) 2021-01-05

Family

ID=73948802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011072378.4A Pending CN112183422A (zh) 2020-10-09 2020-10-09 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112183422A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150242707A1 (en) * 2012-11-02 2015-08-27 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2016033184A1 (en) * 2014-08-26 2016-03-03 Hoyos Labs Ip Ltd. System and method for determining liveness
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
CN109902667A (zh) * 2019-04-02 2019-06-18 电子科技大学 基于光流引导特征块和卷积gru的人脸活体检测方法
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
WO2020151489A1 (zh) * 2019-01-25 2020-07-30 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150242707A1 (en) * 2012-11-02 2015-08-27 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2016033184A1 (en) * 2014-08-26 2016-03-03 Hoyos Labs Ip Ltd. System and method for determining liveness
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
WO2020151489A1 (zh) * 2019-01-25 2020-07-30 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
CN109902667A (zh) * 2019-04-02 2019-06-18 电子科技大学 基于光流引导特征块和卷积gru的人脸活体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZEZHENG WANG ET AL.: "Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 1 - 5 *

Similar Documents

Publication Publication Date Title
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN103503029B (zh) 检测面部特性的方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN113139479B (zh) 一种基于光流和rgb模态对比学习的微表情识别方法及系统
Lu et al. Face detection and recognition algorithm in digital image based on computer vision sensor
JP5574033B2 (ja) 画像認識システム及びその認識方法並びにプログラム
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
Yin et al. A face anti-spoofing method based on optical flow field
Liu et al. 3d high-fidelity mask face presentation attack detection challenge
CN116052212A (zh) 一种基于双重自监督学习的半监督跨模态行人重识别方法
An Pedestrian re-recognition algorithm based on optimization deep learning-sequence memory model
CN109299702B (zh) 一种基于深度时空图的人体行为识别方法及系统
Guha A report on automatic face recognition: Traditional to modern deep learning techniques
CN112183422A (zh) 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质
CN113962846A (zh) 图像对齐方法及装置、计算机可读存储介质及电子设备
Fu Face recognition in uncontrolled environments
CN113963391A (zh) 基于双目摄像头的静默活体检测方法及系统
KR100711223B1 (ko) 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체
Malikovich et al. Triangle method for fast face detection on the wild
Peng et al. End-to-End Anti-Attack Iris Location Based on Lightweight Network
CN113128289B (zh) 人脸识别的特征提取计算方法及设备
Lal et al. MHA_VGG19: Multi-Head Attention with VGG19 Backbone Classifier-based Face Recognition for Real-Time Security Applications
KR102540290B1 (ko) 이종 센서 카메라 기반 사람 재식별 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination