CN110674759A - 一种基于深度图的单目人脸活体检测方法、装置及设备 - Google Patents
一种基于深度图的单目人脸活体检测方法、装置及设备 Download PDFInfo
- Publication number
- CN110674759A CN110674759A CN201910917766.9A CN201910917766A CN110674759A CN 110674759 A CN110674759 A CN 110674759A CN 201910917766 A CN201910917766 A CN 201910917766A CN 110674759 A CN110674759 A CN 110674759A
- Authority
- CN
- China
- Prior art keywords
- face image
- living body
- target
- face
- image set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度图的单目人脸活体检测方法、装置、设备及计算机可读存储介质，包括：利用目标活体人脸图像集与目标非活体人脸图像集对预建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；根据目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；利用目标活体人脸图像集与目标非活体人脸图像集对初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；将待检测人脸图像输入目标单目人脸活体检测模型，输出分类结果，并判断待检测人脸图像是否为活体。本发明所提供的方法、装置、设备及计算机可读存储介质，在有效提高人脸活体检测识别率与算法的鲁棒性和泛化能力。
Description
技术领域
本发明涉及计算机数字图像处理技术领域，特别是涉及一种基于深度图的单目人脸活体检测方法、装置、设备以及计算机可读存储介质。
背景技术
人脸活体，即判断捕捉到的人脸是真实人脸还是伪造人脸，是当前计算机视觉研究中极具挑战性的热点问题之一。主要就是找到活体与非活体之间的差异性，然后采用这种差异性就可以判断出是否为活体。该技术对后续的人脸识别等的性能具有重要影响，也能提高产品的安全性。现有的活体检测技术，主要分为基于传统方法和深度学习方法。
传统人脸活体检测方法的主要是根据活体与非活体之间的差异性，分别是颜色纹理、非刚性运动变形、材料(皮肤、纸质)、图像质量。根据这些差异性特征来设计特征分类器。比如可以用svm分类器。比如有用到HSV空间人脸多级LBP特征和YCbCr空间LPQ特征，然后进行svm二分类训练。
基于深度学习的人脸活体检测方法，用到多帧的方法，通过卷积神经网络和循环神经网络来模拟传统方法。也有把活体检测直接放到人脸检测模块做，训练的时候分为真人、非活体、背景，三个类别处理，这一部分可以在前期处理一些活体。
但传统人脸活体检测方法的识别率较低，而基于深度学习的人脸活体检测方法，虽然活体识别率较高，但算法复杂度高，鲁棒性以及泛化能力差。
综上所述可以看出，如何在提高人脸活体检测性能的同时提高人脸活体检测算法的鲁棒性是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于深度图的单目人脸活体检测方法、装置、设备以及计算机可读存储介质，已解决现有技术中的活体人脸检测算法识别率低且鲁棒性差的问题。
为解决上述技术问题，本发明提供一种基于深度图的单目人脸活体检测方法，包括：对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
优选地，所述对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集包括：
利用预选摄像机在不同场景下采集多幅活体人脸图像，分别将采集到的每幅活体人脸图像转换为像素大小为256×256的图像，得到活体人脸图像集；
利用移动终端拍摄的图像与视频伪造多幅人脸图像，并将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集；
分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像执行数据与色彩的增强操作，亮度、对比度、色调与饱和度的调整操作，镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集。
优选地，所述利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型包括：
利用所述目标活体人脸图像集与所述目标非活体人脸图像集，采用动量因子为0.9、初始学习率为0.1的随机梯度下降法，对预先构建的初始人脸图像的深度图生成模型的网络参数进行迭代更新，直至所述初始人脸图像的深度图生成模型收敛，确定目标网络参数，得到目标人脸图像的深度图生成模型。
优选地，所述根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型包括：
固定所述目标人脸图像的深度图生成模型的所述目标网络参数，在所述目标人脸图像的深度图生成模型的网络结构基础上，增加两个卷积层与两个全连接层，得到初始单目人脸活体检测模型。
优选地，所述将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像包括：
利用仿射变换对待检测人脸图像进行对齐处理后，利用双线性插值法将所述待检测人脸图像的尺寸转换为256×256，并在所述待检测人脸图像的RGB三个通道分别剪去预设均值，得到目标待检测人脸图像；
将所述目标待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述目标待检测人脸图像的分类结果；
根据所述分类结果判断所述目标待检测人脸图像是否为活体人脸图像。
本发明还提供了一种基于深度图的单目人脸活体检测装置，包括：
图像集构建模块，用于对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
深度图生成模型训练模块，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
活体检测模型构建模块，用于根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
活体检测模型训练模块，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
检测模块，用于将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
优选地，所述图像集构建模块包括：
采集单元，用于利用预选摄像机在不同场景下采集多幅活体人脸图像，分别将采集到的每幅活体人脸图像转换为像素大小为256×256的图像，得到活体人脸图像集；
伪造单元，用于利用移动终端拍摄的图像与视频伪造多幅人脸图像，并将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集；
预处理单元，用于分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像执行数据与色彩的增强操作，亮度、对比度、色调与饱和度的调整操作，镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集。
优选地，所述检测模块包括：
图像处理单元，用于利用仿射变换对待检测人脸图像进行对齐处理后，利用双线性插值法将所述待检测人脸图像的尺寸转换为256×256，并在所述待检测人脸图像的RGB三个通道分别剪去预设均值，得到目标待检测人脸图像；
分类单元，用于将所述目标待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述目标待检测人脸图像的分类结果；
判断单元，用于根据所述分类结果判断所述目标待检测人脸图像是否为活体人脸图像。
本发明还提供了一种基于深度图的单目人脸活体检测设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于深度图的单目人脸活体检测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度图的单目人脸活体检测方法的步骤。
本发明所提供的基于深度图的单目人脸活体检测方法，基于深度图对人脸活体图像进行检测。由于活体人脸图像是存在深度信息的，而伪造的非活体人脸图像不存在深度信息，因此本发明利用深度信息对待检测的人脸图像进行活体检测。为了生成待检测图像的深度图，首先构建活体人脸图像集与非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，确定深度图生成模型的目标网络参数，得到目标人脸图像的深度图生成模型。将所述待检测人脸图像输入至所述目标人脸图像的深度图生成模型后，可以得到所述待检测人脸图像的深度图。得到所述待检测人脸图像的深度图后，需要利用分类器对深度图的类别进行判断，因此本发明在所述目标人脸图像的深度图生成模型的基础上，结合二分类模型，构建初始单目人脸活体检测模型。再利用活体人脸图像集与非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型。将待检测人脸图像输入至所述目标单目人脸活体检测模型后，可以对生成的所述待检测人脸图像的深度图进行二分类；依据分类结果判断所述待检测人脸图像是否为活体人脸图像。本发明所提供的单目活体人脸检测方法，在有效提高人脸活体检测识别率的同时，提升了算法的鲁棒性与泛化能力。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于深度图的单目人脸活体检测方法的第一种具体实施例的流程图；
图2为本发明所提供的基于深度图的单目人脸活体检测方法的第二种具体实施例的流程图；
图3为目标人脸图像的深度图生成模型的结构示意图；
图4为本发明所提供的基于深度图的单目人脸活体检测方法的第三种具体实施例的流程图；
图5为本发明实施例提供的一种基于深度图的单目人脸活体检测装置的结构框图。
具体实施方式
本发明的核心是提供一种基于深度图的单目人脸活体检测方法、装置、设备以及计算机可读存储介质，在有效提高人脸活体检测识别率的同时，提升了算法的鲁棒性与泛化能力。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于深度图的单目人脸活体检测方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
利用同一款摄像机采集的图像数据对网络模型进行训练，效果会好于多种摄像机采集的图像数据作为训练集，因此本在实施例中可以先确定应用采集人脸图像的摄像机型号，再去采集人脸图像。
利用预选的摄像机在各种场景下，例如逆光、暗光、顺光等，采集多幅包含人脸的图像；并提取包含人脸的图像中的人脸区域图像，只保留人脸区域图像的像素值，将其他区域的像素值设为0。将多幅人脸区域图像的尺寸转为256×256后，得到活体人脸图像集。
在本实施例中，可以通过移动终端拍摄的图片与视频伪造非活体人脸图像，如手机或平板拍摄的照片或录制的视频，也可以为打印照片等。将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集。
分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像进行数据增强；颜色方面的增强；分别对亮度、对比度、色调与饱和度在一定范围内进行概率为0.5的调整；镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集。
所述目标活体人脸图像集，对应的活体32×32的label；所述目标非活体人脸图像集，对应的非活体32×32的label；在本实施例中的label为一张图片，而不是数字。
步骤S102：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
步骤S103：根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
步骤S104：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
步骤S105：将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
本实施所提供的方法，主要针对的是单目静默活体检测，利用伪造的人脸图像与真实人脸图像存在的差异性：活体具有深度信息，非活体不具有深度信息，训练一种了深度神经网络模型生成深度图，然后送到二分类器上对生成的深度图进行判断，判断是否为活体。
基于上述实施例，在本实施例中，初始单目人脸图像的深度图生成模型包括多个卷积层与池化层；初始单目人脸活体检测模型通过在目标单目人脸图像的深度图生成模型固定网络参数的基础上，增加两个卷积层与两个全连接层获得。
请参考图2，图2为本发明所提供的基于深度图的单目人脸活体检测方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S201：利用预选摄像机在不同场景下采集多幅活体人脸图像，分别将采集到的每幅活体人脸图像转换为像素大小为256×256的图像，得到活体人脸图像集；
步骤S202：利用移动终端拍摄的图像与视频伪造多幅人脸图像，并将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集；
步骤S203：分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像执行数据与色彩的增强操作，亮度、对比度、色调与饱和度的调整操作，镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集；
步骤S204：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
在本实施例中，所述初始人脸图像的深度图生成模块包括：
1、第一卷积层(conv1_1)：kernel size(卷积核尺寸)为3*3，filters(卷积核)个数为32，stride(步长)为1，padding为1，输入图像的尺寸为256*256*3。
2、第二卷积层(conv1_2)：kernel size为3*3，filters个数为64，stride为1，padding为1。
3、第三卷积层(conv1_3)：kernel size为3*3，filters个数为128，stride为1，padding为1。
4、第四卷积层(conv1_4)：kernel size为3*3，filters个数为196，stride为1，padding为1；所述第四卷积层后连接第一池化层(Max_pool1)。
5、第五卷积层(conv2_1)：kernel size为3*3，filters个数为128，stride为1，padding为1。
6、第六卷积层(conv2_2)：kernel size为3*3，filters个数为128，stride为1，padding为1。
7、第七卷积层(conv2_3)：kernel size为3*3，filters个数为196，stride为1，padding为1；所述第七卷积层与所述第一池化层进行特征相加融合后，连接第二池化层(Max_pool2)。
8、第八卷积层(con3_1)：kernel size为3*3，filters个数为128，stride为1，padding为1。
9、第九卷积层(conv3_2)：kernel size为3*3，filters个数为128，stride为1，padding为1。
10、第十卷积层(conv3_3)：kernel size为3*3，filters个数为196，stride为1，padding为1；所述第十卷积层与所述第二池化层进行特征相加融合后，连接第三池化层(Max_pool3)。
11、第十一卷积层(con4_1)：kernel size为3*3，filters个数为128，stride为1，padding为1。
12、第十二卷积层(conv4_2)：kernel size为3*3，filters个数为128，stride为1，padding为1。
13、第十三卷积层(conv4_3)：kernel size为3*3，filters个数为64，stride为1，padding为1，输出图像尺寸为32×32。
所述初始人脸图像的深度图生成模型采用PReLu作为激活函数。
在本实施例中，采用pytorch框架训练对所述初始人脸图像的深度图生成模型进行训练。制作深度图label时，图像均通过双线性差值法将尺寸大小统一调整为32×32。设置训练批次为320，将所述活体人脸图像集与所述非活体人脸图像集输入至网络进行训练，经过网络进行前向计算，分别得到各个批次人脸图像的预测结果。
将预测结果与训练集的标签进行比较，此时用到的损失函数为均方差，表达式如下：
其中，向量s为预测值，向量y为实际值，n为批量数据，t为第t张图像。梯度求解过程如下：
在本实施例中，使用随机梯度下降(SGD)方法，并设置动量因子为0.9，初始学习率为0.1，对模型参数进行迭代更新，直到模型收敛为止，完成所述初始人脸图像的深度图生成模型的训练，确定所述目标人脸图像的深度图生成模型的目标网络参数；所述目标人脸图像的深度图生成模型的结构图如图3所示。
在训练所述初始人脸图像的深度图生成模型时，最后生成的是32×32的深度图，对应的label也是一张32×32的图，损失函数用的是均方差损失和L1-smooth损失函数，训练的过程中不断调节参数，直到模型收敛为止，当达到一个较好的效果，固定所述目标人脸图像的深度图生成模型的参数。
利用所述目标人脸图像的深度图生成模型生成人脸图像的深度图时，采用dlib对RGB图进行人脸检测且定位68个关键点，并进行3D人脸重建，生成深度图(人脸3D图)模型。
步骤S205：固定所述目标人脸图像的深度图生成模型的所述目标网络参数，在所述目标人脸图像的深度图生成模型的网络结构基础上，增加两个卷积层与两个全连接层，得到初始单目人脸活体检测模型；
在所述目标人脸图像的深度图生成模型的网络结构基础上，进行二分类模型训练，固定所述目标人脸图像的深度图生成模型的目标网络参数，增加两个卷积层与两个全连接层，得到初始单目人脸活体检测模型。
增加的第一个卷积层(conv5_1)参数为：kernel size为5*5，filters个数为6，stride为1，padding为1，输入图像尺寸为32*32*3。
增加的第二个卷积层(conv5_2)参数为：kernel size为5*5，filters个数为16，stride为1，padding为1。
步骤S206：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
在本实施例中，利用包含活体与非活体的人脸图像测试集对所述目标单目人脸活体检测模型进行测试时，可以经过姿态过滤，对一些大角度人脸，质量不佳的人脸进行过滤处理后，利用过滤后的人脸图像测试集对数所述目标单目人脸活体检测模型进行测试。
步骤S207：将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
在本实施例中，首先对所述初始人脸图像的深度图生成模型进行训练，训练的过程中不断调节网络参数，直至模型收敛为止，确定所述目标网络参数。固定所述目标人脸图像的深度图生成模型的目标网络参数，增加分类层，训练二分类模型，得利用训练得到的所述目标单目人脸活体检测模型判断待检测人脸图像是否为活体人脸图像。
基于上述实施例，在本实施例中，利用目标单目人脸活体检测模型对待检测人脸图像进行检测前，可以对所述待检测人脸图像进行预处理后，在输入至所述目标单目人脸活体检测模型中进行检测。请参考图4，图4为本发明所提供的基于深度图的单目人脸活体检测方法的第三种具体实施例的流程图；具体操作步骤如下：
步骤S401：对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
步骤S402：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
步骤S403：根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
步骤S404：利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模块进行训练，得到目标单目人脸活体检测模型；
步骤S405：利用仿射变换对待检测人脸图像进行对齐处理后，利用双线性插值法将所述待检测人脸图像的尺寸转换为256×256，并在所述待检测人脸图像的RGB三个通道分别剪去预设均值，得到目标待检测人脸图像；
所述预设均值为所述活体人脸图像集与所述非活体人脸图像集的RGB三个通道的均值。
步骤S406：将所述目标待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述目标待检测人脸图像的分类结果；
步骤S407：根据所述分类结果判断所述目标待检测人脸图像是否为活体人脸图像。
将待检测人脸图像输入至所述目标单目人脸活体检测模型中，将生成的所述待检测人脸图像的深度图进行二分类，若所述深度图无深度信息，则所述待检测人脸图像为非活体人脸图像；若所述深度图中存在深度信息，则所述待检测人脸图像为活体人脸图像。
请参考图5，图5为本发明实施例提供的一种基于深度图的单目人脸活体检测装置的结构框图；具体装置可以包括：
图像集构建模块100，用于对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
深度图生成模型训练模块200，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
活体检测模型构建模块300，用于根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
活体检测模型训练模块400，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
检测模块500，用于将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
本实施例的基于深度图的单目人脸活体检测装置用于实现前述的基于深度图的单目人脸活体检测方法，因此基于深度图的单目人脸活体检测装置中的具体实施方式可见前文中的基于深度图的单目人脸活体检测方法的实施例部分，例如，图像集构建模块100，深度图生成模型训练模块200，活体检测模型构建模块300，活体检测模型训练模块400，检测模块500，分别用于实现上述基于深度图的单目人脸活体检测方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于深度图的单目人脸活体检测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于深度图的单目人脸活体检测方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度图的单目人脸活体检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于深度图的单目人脸活体检测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于深度图的单目人脸活体检测方法，其特征在于，包括：
对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
2.如权利要求1所述的方法，其特征在于，所述对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集包括：
利用预选摄像机在不同场景下采集多幅活体人脸图像，分别将采集到的每幅活体人脸图像转换为像素大小为256×256的图像，得到活体人脸图像集；
利用移动终端拍摄的图像与视频伪造多幅人脸图像，并将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集；
分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像执行数据与色彩的增强操作，亮度、对比度、色调与饱和度的调整操作，镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集。
3.如权利要求2所述的方法，其特征在于，所述利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型包括：
利用所述目标活体人脸图像集与所述目标非活体人脸图像集，采用动量因子为0.9、初始学习率为0.1的随机梯度下降法，对预先构建的初始人脸图像的深度图生成模型的网络参数进行迭代更新，直至所述初始人脸图像的深度图生成模型收敛，确定目标网络参数，得到目标人脸图像的深度图生成模型。
4.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型包括：
固定所述目标人脸图像的深度图生成模型的所述目标网络参数，在所述目标人脸图像的深度图生成模型的网络结构基础上，增加两个卷积层与两个全连接层，得到初始单目人脸活体检测模型。
5.如权利要求1所述的方法，其特征在于，所述将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像包括：
利用仿射变换对待检测人脸图像进行对齐处理后，利用双线性插值法将所述待检测人脸图像的尺寸转换为256×256，并在所述待检测人脸图像的RGB三个通道分别剪去预设均值，得到目标待检测人脸图像；
将所述目标待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述目标待检测人脸图像的分类结果；
根据所述分类结果判断所述目标待检测人脸图像是否为活体人脸图像。
6.一种基于深度图的单目人脸活体检测装置，其特征在于，包括：
图像集构建模块，用于对预先采集到的活体人脸图像集及非活体人脸图像集进行预处理后，得到目标活体人脸图像集与目标非活体人脸图像集；
深度图生成模型训练模块，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对预先构建的初始人脸图像的深度图生成模型进行训练，得到目标人脸图像的深度图生成模型；
活体检测模型构建模块，用于根据所述目标人脸图像的深度图生成模型与二分类训练模型，构建初始单目人脸活体检测模型；
活体检测模型训练模块，用于利用所述目标活体人脸图像集与所述目标非活体人脸图像集对所述初始单目人脸活体检测模型进行训练，得到目标单目人脸活体检测模型；
检测模块，用于将待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述待检测人脸图像的分类结果，根据所述分类结果判断所述待检测人脸图像是否为活体人脸图像。
7.如权利要求6所述的装置，其特征在于，所述图像集构建模块包括：
采集单元，用于利用预选摄像机在不同场景下采集多幅活体人脸图像，分别将采集到的每幅活体人脸图像转换为像素大小为256×256的图像，得到活体人脸图像集；
伪造单元，用于利用移动终端拍摄的图像与视频伪造多幅人脸图像，并将伪造的每幅人脸图像转换为像素大小为256×256的图像，得到非活体人脸图像集；
预处理单元，用于分别对所述活体人脸图像集与所述非活体人脸图像集中的每幅图像执行数据与色彩的增强操作，亮度、对比度、色调与饱和度的调整操作，镜像操作以及随机采样操作后，得到目标活体人脸图像集与目标非活体人脸图像集。
8.如权利要求6所述的装置，其特征在于，所述检测模块包括：
图像处理单元，用于利用仿射变换对待检测人脸图像进行对齐处理后，利用双线性插值法将所述待检测人脸图像的尺寸转换为256×256，并在所述待检测人脸图像的RGB三个通道分别剪去预设均值，得到目标待检测人脸图像；
分类单元，用于将所述目标待检测人脸图像输入所述目标单目人脸活体检测模型，输出所述目标待检测人脸图像的分类结果；
判断单元，用于根据所述分类结果判断所述目标待检测人脸图像是否为活体人脸图像。
9.一种基于深度图的单目人脸活体检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于深度图的单目人脸活体检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于深度图的单目人脸活体检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917766.9A CN110674759A (zh) | 2019-09-26 | 2019-09-26 | 一种基于深度图的单目人脸活体检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917766.9A CN110674759A (zh) | 2019-09-26 | 2019-09-26 | 一种基于深度图的单目人脸活体检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110674759A true CN110674759A (zh) | 2020-01-10 |
Family
ID=69079362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910917766.9A Pending CN110674759A (zh) | 2019-09-26 | 2019-09-26 | 一种基于深度图的单目人脸活体检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110674759A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597885A (zh) * | 2020-12-22 | 2021-04-02 | 北京华捷艾米科技有限公司 | 人脸活体检测方法、装置、电子设备及计算机存储介质 |
| CN113221767A (zh) * | 2021-05-18 | 2021-08-06 | 北京百度网讯科技有限公司 | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 |
| CN113255456A (zh) * | 2021-04-28 | 2021-08-13 | 平安科技（深圳）有限公司 | 非主动活体检测方法、装置、电子设备及存储介质 |
| WO2021218695A1 (zh) * | 2020-04-26 | 2021-11-04 | 华为技术有限公司 | 一种基于单目摄像头的活体检测方法、设备和可读存储介质 |
| CN114596599A (zh) * | 2020-11-20 | 2022-06-07 | 中移动信息技术有限公司 | 一种人脸识别活体检测方法、装置、设备及计算机存储介质 |
| CN114973347A (zh) * | 2021-04-22 | 2022-08-30 | 中移互联网有限公司 | 一种活体检测方法、装置及设备 |
| CN115082994A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930710A (zh) * | 2016-04-22 | 2016-09-07 | 北京旷视科技有限公司 | 活体检测方法和装置 |
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| CN106709458A (zh) * | 2016-12-27 | 2017-05-24 | 深圳市捷顺科技实业股份有限公司 | 一种人脸活体检测方法及装置 |
| CN107590430A (zh) * | 2017-07-26 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 活体检测方法、装置、设备及存储介质 |
| CN109003297A (zh) * | 2018-07-18 | 2018-12-14 | 亮风台（上海）信息科技有限公司 | 一种单目深度估计方法、装置、终端和存储介质 |
| CN109086691A (zh) * | 2018-07-16 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
| CN109255364A (zh) * | 2018-07-12 | 2019-01-22 | 杭州电子科技大学 | 一种基于深度卷积生成对抗网络的场景识别方法 |
| CN109635770A (zh) * | 2018-12-20 | 2019-04-16 | 上海瑾盛通信科技有限公司 | 活体检测方法、装置、存储介质及电子设备 |
-
2019
- 2019-09-26 CN CN201910917766.9A patent/CN110674759A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930710A (zh) * | 2016-04-22 | 2016-09-07 | 北京旷视科技有限公司 | 活体检测方法和装置 |
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| CN106709458A (zh) * | 2016-12-27 | 2017-05-24 | 深圳市捷顺科技实业股份有限公司 | 一种人脸活体检测方法及装置 |
| CN107590430A (zh) * | 2017-07-26 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 活体检测方法、装置、设备及存储介质 |
| CN109255364A (zh) * | 2018-07-12 | 2019-01-22 | 杭州电子科技大学 | 一种基于深度卷积生成对抗网络的场景识别方法 |
| CN109086691A (zh) * | 2018-07-16 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
| CN109003297A (zh) * | 2018-07-18 | 2018-12-14 | 亮风台（上海）信息科技有限公司 | 一种单目深度估计方法、装置、终端和存储介质 |
| CN109635770A (zh) * | 2018-12-20 | 2019-04-16 | 上海瑾盛通信科技有限公司 | 活体检测方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 孙佳龙等: "《聚类分析在地球物理学研究中的应用》", 31 December 2018, 武汉大学出版社 * |
| 王志喜等: "《Python机器学习实战》", 31 January 2018, 中国矿业大学出版社 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218695A1 (zh) * | 2020-04-26 | 2021-11-04 | 华为技术有限公司 | 一种基于单目摄像头的活体检测方法、设备和可读存储介质 |
| CN114596599A (zh) * | 2020-11-20 | 2022-06-07 | 中移动信息技术有限公司 | 一种人脸识别活体检测方法、装置、设备及计算机存储介质 |
| CN112597885A (zh) * | 2020-12-22 | 2021-04-02 | 北京华捷艾米科技有限公司 | 人脸活体检测方法、装置、电子设备及计算机存储介质 |
| CN114973347A (zh) * | 2021-04-22 | 2022-08-30 | 中移互联网有限公司 | 一种活体检测方法、装置及设备 |
| CN114973347B (zh) * | 2021-04-22 | 2023-07-21 | 中移互联网有限公司 | 一种活体检测方法、装置及设备 |
| CN113255456A (zh) * | 2021-04-28 | 2021-08-13 | 平安科技（深圳）有限公司 | 非主动活体检测方法、装置、电子设备及存储介质 |
| WO2022227191A1 (zh) * | 2021-04-28 | 2022-11-03 | 平安科技（深圳）有限公司 | 非主动活体检测方法、装置、电子设备及存储介质 |
| CN113255456B (zh) * | 2021-04-28 | 2023-08-25 | 平安科技（深圳）有限公司 | 非主动活体检测方法、装置、电子设备及存储介质 |
| CN113221767A (zh) * | 2021-05-18 | 2021-08-06 | 北京百度网讯科技有限公司 | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 |
| CN113221767B (zh) * | 2021-05-18 | 2023-08-04 | 北京百度网讯科技有限公司 | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 |
| CN115082994A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110532871B (zh) | 图像处理的方法和装置 | |
| CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| CN110929569B (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20230085605A1 (en) | Face image processing method, apparatus, device, and storage medium | |
| EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
| CN111784624B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| KR20200140713A (ko) | 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| WO2020048359A1 (en) | Method, system, and computer-readable medium for improving quality of low-light images | |
| CN111753782B (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN114140844A (zh) | 人脸静默活体检测方法、装置、电子设备及存储介质 | |
| CN117496019B (zh) | 一种驱动静态图像的图像动画处理方法及系统 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
| CN113302619B (zh) | 目标区域评估和特征点评估的系统和方法 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |