CN108596041A - 一种基于视频的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于视频的人脸活体检测方法，该人脸活体检测方法分为两个模块：离线训练模块和在线检测模块。所述离线训练模块分为3个步骤：S11、用摄像头采集大量人脸视频数据；S12、对采集到的视频数据进行预处理；S13、用深度学习对预处理后的视频数据进行训练。所述在线检测模块分为4个步骤：S21、用摄像头采集待检测对象的视频数据；S22、对采集的待检测对象的视频数据进行预处理；S23、对待检测对象进行活体检测。将检测结果和预先设定的阈值对比得到预测结果，从而判断检测对象是否为活体。与现有技术相比，本发明的一种基于视频的人脸活体检测方法不仅利用了单张图片的信息，而且加入了视频中各帧图片之间的信息，提高了人脸活体检测的准确率。本发明基于视频的人脸活体检测方法提高了人脸活体检测的精度，增强了活体相关金融、安防等领域的安全性。

Description

一种基于视频的人脸活体检测方法

技术领域

本发明涉及能够实现人脸活体检测的方法和使用该活体检测方法的人脸活体检测系统。具体为一种基于视频的人脸活体检测方法。

背景技术

随着人脸识别技术的发展，人脸识别系统越来越多地被应用于安防、金融等各种需要身份验证的领域中，如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域中，除了要确保被验证者的身份外，首先需要被验证者是一个合法的生物活体，即人脸识别系统需要能够防范攻击者使用照片、视频回放等方式进行攻击。人脸活体检测技术用于判断当前人脸识别的操作者是否为活体用户，进而可以实现对照片、视频回放等非活体的攻击进行拦截。

目前，人脸活体检测技术主要分为两大类：第一类技术为主动式人脸活体检测技术，这类技术要求用户在进行人脸识别时根据指令，配合完成特定的活体动作(如眨眼、摇头、张嘴等)，从而活体检测模块可以根据操作者是否准确地完成了活体动作，判定操作者是否是活体；第二类技术为被动式人脸活体检测技术，这类技术不需要用户配合完成活体动作，用户体验较好，但技术难度高，主要依赖输入的单帧图像信息或者其他设备传感器信息进行活体检测。在现有技术中，对于上述被动式人脸活体检测技术，通常使用活体与非活体的人脸采集图像用深度学习进行监督式训练，然后使用训练后的模型针对输入的单帧图像进行人脸活体预测。但是，这种技术方案只凭借单帧图像信息判断是否为活体，并没有分析摄像头捕捉到的视频序列中各帧图片之间的信息，从而使得其模型对于人脸活体的特征表达能力不足，进而会降低人脸活体检测结果的准确性。

鉴于上述问题，本发明提供一种基于视频的人脸活体检测方法，使用一段视频而非单张图片训练，使得网络学习时不仅学到单张图片的信息，同时还学到一个视频序列中各帧图片之间的信息。首先采集大量的活体和非活体人脸视频数据训练活体检测模型，对于待检测的对象，用摄像头采集待检测对象的人脸视频，对视频预处理之后输入到训练好的活体检测模型，最后输出视频的检测结果，将检测结果和预先设定的阈值进行对比得到预测结果，从而判断检测对象是否为活体。

发明内容

(一)要解决的技术问题

针对上述问题，本发明提供了一种基于视频的人脸活体检测方法，对摄像头采集到的视频数据进行活体检测，在无需用户主动配合及其它硬件传感器配合的情况下，有效防御照片、视频等非活体攻击者，基于视频的人脸活体检测方法在现有人脸活体检测模型的基础上加入视频帧间的信息，有效的提高了人脸活体检测的精度。

(二)技术方案

本发明提出的一种基于视频的人脸活体检测方法，该活体检测方法分为两个模块：离线训练模块和在线检测模块。所述离线训练模块分为3个步骤：S11、用摄像头采集大量人脸视频数据；S12、对采集到的视频数据进行预处理；S13、用深度学习对预处理后的视频数据进行训练。所述在线检测模块分为4个步骤：S21、用摄像头采集待检测对象的视频数据；S22、对采集的待检测对象的视频数据进行预处理；S23、对待检测对象视频数据进行预测；将检测结果和预先设定的阈值对比得到预测结果，从而判断检测对象是否为活体。S24、对待检测对象进行活体检测。

该人脸活体检测方法离线训练模块具体为：

S11、用摄像头采集大量活体和非活体人脸视频数据；

利用摄像头装置采集大量的活体和非活体人脸视频，其中活体数据的采集覆盖不同光线、不同采集设备，采集过程是对真人拍摄视频。其中非活体数据的采集除了覆盖不同光线、不同采集设备外还覆盖了不同的打印设备，不同打印设备，采集过程主要是对打印的人脸照片和拍摄的人脸视频重新拍摄视频，每段活体与非活体视频的时长为5s。

S12、对采集到的视频数据进行预处理；

对S11中采集到的视频数据进行预处理，根据视频中眼睛的坐标抠出视频中的人脸区域生成新的人脸视频数据，然后对新的人脸视频数据进行裁剪，将5s的视频剪辑成n个clip，每个clip包含16张连续帧的图片。并对预处理后的clip生成标签文件，活体标签为1，非活体标签为0。

n＝N/16

其中N为5s视频中所有的图片帧数，n为最后生成的clip的个数。

S13、用深度学习对预处理后的视频数据进行训练；

将S12预处理生成的clip和标签文件同时输入深度学习框架中进行训练，最后选择训练效果最好的模型作为最终的人脸活体检测模型。

该人脸活体检测方法在线检测模块具体为：

S21、用摄像头采集待检测对象的视频数据；

利用活体检测设备的摄像头采集待检测对象的人脸视频，视频时长为0.5s。

S22、对待检测对象的视频数据进行预处理；

对S21中采集到的视频数据进行预处理，抠出视频中的人脸区域生成新的人脸视频，然后对新的人脸视频进行裁剪，从0.5s视频中提取16张连续帧图片生成n个clip。

n＝N/16

其中N为0.5s视频中所有的图片帧数，n为最后生成的clip的个数。

S23、对待检测对象视频数据进行预测；

将预处理后的生成的n个clip输入离线训练模块S13生成的人脸活体检测模型中，输出n个预测结果p₁、p₂...p_n。

S24、对待检测对象进行活体检测。

将一段视频的n个预测结果p₁、p₂...p_n求平均值得到整段视频的预测结果score。将score值与阈值TH＝0.5相比较，若score值大于等于TH，则识别结果为活体，若score值小于TH，则识别结果为非活体。

与现有技术相比，本发明的一种基于视频训练的人脸活体检测方法在已有活体检测方法的基础上，加入了视频序列中各帧图片之间的信息，利用视频识别的方法进行分类，弥补了现有活体检测技术中缺乏对视频帧间信息的挖掘，尤其在防止视频回放攻击方面，视频帧间蕴含着大量对活体检测有益的信息。同时，利用深度学习技术识别检测对象是否为活体，提高了识别的准确率。本发明一种基于视频的人脸活体检测方法提高了人脸活体检测的准确率，增强了活体相关金融、安防等领域的安全性。

附图说明

图1为本发明人脸活体检测方法一种实施例的检测方法的总体流程图；

图2为本发明人脸活体检测方法一种实施例的离线训练步骤流程图；

图3为本发明人脸活体检测方法一种实施例的卷积神经网络结构图；

图4为本发明人脸活体检测方法一种实施例的在线检测过程流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照详细附图，对本发明进一步详细说明。但所描述的实施例子仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明设计的基于视频的人脸活体检测方法(简称活体检测方法，参见图1-3)分为两个模块：离线训练模块1和在线检测模块2。所述离线训练模块分为3个步骤：S11、用摄像头采集大量人脸视频数据；S12、对采集到的视频数据进行预处理；S13、用深度学习对预处理后的视频数据进行训练(参见图1-2)。具体为：

S11、用摄像头采集大量人脸视频数据；

利用摄像头装置采集大量的活体和非活体人脸视频，其中活体数据的采集覆盖不同光线、不同采集设备，采集过程是对真人拍摄视频。其中非活体数据的采集除了覆盖不同光线、不同采集设备外还覆盖了不同的打印设备，不同打印设备，采集过程主要是对打印的人脸照片和拍摄的人脸视频重新拍摄视频，每段活体与非活体视频的时长为5s。

S12、对采集到的视频数据进行预处理；

对S11中采集到的视频数据进行预处理，根据视频中眼睛的坐标抠出视频中的人脸区域生成新的人脸视频数据，然后对新的人脸视频数据进行裁剪，将5s的视频剪辑成n个clip，每个clip包含16张连续帧的图片。并对预处理后的clip生成标签文件，活体标签为1，非活体标签为0。

n＝N/16

其中N为5s视频中所有的图片帧数，n为最后生成的clip的个数。

S13、用深度学习对预处理后的视频数据进行训练。

将S12预处理生成的clip和标签文件同时输入深度学习框架中进行训练，所述卷积神经网络包括输入层、多个卷积层、ReLU层、max-pooling层、全连接层、Dropout层和Softmax WithLoss层，最后选择训练效果最好的模型作为最终的人脸活体检测模型。

所述输入层将预处理后clip里的每帧人脸图像进行随机裁剪，将裁剪后的人脸图像水平翻转，得到特定像素的图像，将所述特定像素的图像送入多个卷积层中的第一个卷积层；

所述第一个卷积层包括多个卷积核，所述第一个卷积层连接一个ReLU层和max-pooling层，所述特定像素的图像经过所述第一个卷积层后得到与所述第一个卷积层的卷积核对应数量的特征图像，所述ReLU层使部分神经元输出为0，造成稀疏性，所述max-pooling层对所述特征图像进行压缩，提取主要特征，所述特征图像进入第二个卷积层；

所述第二个卷积层包括多个卷积核，所述第二个卷积层连接一个ReLU层和max-pooling层，所述特征图像经过所述第二个卷积层后得到与所述第二个卷积层的卷积核对应数量的特征图像，所述ReLU层使部分神经元输出为0，造成稀疏性，所述特征图像经过第二个max-pooling层后进而进入第三个卷积层；

所述第三个卷积层包括多个卷积核，所述第三个卷积层连接一个ReLU层和max-pooling层，所述特征图像经过所述第三个卷积层后得到与所述第三个卷积层的卷积核对应数量的特征图像，所述ReLU层使部分神经元输出为0，造成稀疏性，所述特征图像经过第三个max-pooling层后进而进入第四个卷积层；

所述第四个卷积层包括多个卷积核，所述第四个卷积层连接一个ReLU层和max-pooling层，随后连接两个全连接层，每个全连接层均依次连接一个ReLU层和dropout层，所述特征图像经过所述第四个卷积层后得到与所述第四个卷积层的卷积核对应数量的特征图像，所述ReLU层使部分神经元输出为0，造成稀疏性，所述特征图像经过第四个max-pooling层后进而进入第一个全连接层和dropout层；dropout层通过训练时，随机让卷积神经网络某些隐含层节点的权重不工作，dropout层之后依次连接一个全连接层和SoftmaxWithLoss层，最后一个全连接层输出所述人脸图像的得分情况，将得分输入到最后一层Sofymax WithLoss层，得到属于每一类的概率以及该次迭代的损失。

进一步地，所述输入层包含RGB三个通道，大小为144×144×16，每个batch大小为128，所述特定像素的图像的像素为128×128×16，所述第一个卷积层包括64个卷积核，每个卷积核的大小为3×3×3，卷积操作的步长为1，边界填充为1，经过第一个卷积层后得到64个像素为128×128×16的特征图像，经过第一个max-pooling层后，得到64个像素为64×64×8的特征图像，所述第一个max-pooling层的大小为2×2×2，步长为2，所述第二个卷积层包括128个卷积核，每个卷积核的大小为3×3×3，卷积操作的步长为1，边界填充为1，经过第二个卷积层后得到128个像素为64×64×8的特征图像，经过第二个max-pooling层后，得到128个像素为32×32×4的特征图像，所述第二个max-pooling层的大小为2×2×2，步长为2，所述第三个卷积层包括256个卷积核，每个卷积核的大小为3×3×3，卷积操作的步长为1，边界填充为1，经过第三个卷积层后得到256个像素为32×32×4的特征图像，经过第三个max-pooling层后，得到256个像素为16×16×2的特征图像，所述第三个max-pooling层的大小为2×2×2，步长为2，所述第四个卷积层包括512个卷积核，每个卷积核的大小为3×3×3，边界补充为1，卷积操作的步长为1，经过第四个卷积层后得到512个像素为16×16×2的特征图像，经过第四个max-pooling层后，得到512个像素为8×8×1的特征图像，所述第四个max-pooling层的大小为2×2×2，步长为2。

所述在线检测模块分为4个步骤：S21、用摄像头采集待检测对象的视频数据；S22、对采集的待检测对象的视频数据进行预处理；S23、对待检测对象视频数据进行预测；S24、对待检测对象进行活体检测。具体为：

S21、用摄像头采集待检测对象的视频数据；

利用活体检测设备的摄像头采集待检测对象的人脸视频，视频时长为0.5s。

S22、对待检测对象的视频数据进行预处理；

对S21中采集到的视频数据进行预处理，抠出视频中的人脸区域生成新的人脸视频，然后对新的人脸视频进行裁剪，从0.5s视频中提取16张连续帧图片生成n个clip。

n＝N/16

其中N为0.5s视频中所有的图片帧数，n为最后生成的clip的个数。

S23、对待检测对象视频数据进行预测；

将预处理后的生成的n个clip输入离线训练模块S13生成的人脸活体检测模型中，输出n个预测结果p₁、p₂...p_n。

S24、对待检测对象进行活体检测。

将一段视频的n个预测结果p₁、p₂...p_n求平均值得到整段视频的预测结果score。将score值与阈值TH＝0.5相比较，若score值大于等于TH，则识别结果为活体，若score值小于TH，则识别结果为非活体。

由此利用深度学习结合视频训练便实现了人脸活体检测。

本发明人脸活体检测方法是在已有活体检测技术的基础上，用摄像头捕获待检测对象的视频，对获取的视频进行预处理，利用离线训练的模型文件对预处理的视频进行识别，根据识别结果实现人脸活体检测。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于视频的人脸活体检测方法。其特征在于，该活体检测方法分为两个模块：离线训练模块和在线检测模块。该人脸活体检测方法离线训练模块具体为：

S11、用摄像头采集大量人脸视频数据；

利用摄像头装置采集大量的活体和非活体人脸视频，其中活体数据的采集覆盖不同光线、不同采集设备，采集过程是对真人拍摄视频。其中非活体数据的采集除了覆盖不同光线、不同采集设备外还覆盖了不同的打印设备，不同打印设备，采集过程主要是对打印的人脸照片和拍摄的人脸视频重新拍摄视频，每段活体与非活体视频的时长为5s。

S12、对采集到的视频数据进行预处理；

对S11中采集到的视频数据进行预处理，根据视频中眼睛的坐标抠出视频中的人脸区域生成新的人脸视频数据，然后对新的人脸视频数据进行裁剪，将5s的视频剪辑成n个clip，每个clip包含16张连续帧的图片。并对预处理后的clip生成标签文件，活体标签为1，非活体标签为0。

n＝N/16

其中N为5s视频中所有的图片帧数，n为最后生成的clip的个数。

S13、用深度学习对预处理后的视频数据进行训练；

将S12预处理生成的clip和标签文件同时输入深度学习框架中进行训练，最后选择训练效果最好的模型作为最终的人脸活体检测模型。

该人脸活体检测方法在线检测模块具体为：

S21、用摄像头采集待检测对象的视频数据；

利用活体检测设备的摄像头采集待检测对象的人脸视频，视频时长为0.5s。

S22、对待检测对象的视频数据进行预处理；

对S21中采集到的视频数据进行预处理，抠出视频中的人脸区域生成新的人脸视频，然后对新的人脸视频进行裁剪，从0.5s视频中提取16张连续帧图片生成n个clip。

n＝N/16

其中N为0.5s视频中所有的图片帧数，n为最后生成的clip的个数。

S23、对待检测对象视频数据进行预测。

将预处理后的生成的n个clip输入离线训练模块S13生成的人脸活体检测模型中，输出n个预测结果p₁、p₂…p_n。

S24、对待检测对象进行活体检测。

将一段视频的n个预测结果p₁、p₂…p_n求平均值得到整段视频的预测结果score。将score值与阈值TH＝0.5相比较，若score值大于等于TH，则识别结果为活体，若score值小于TH，则识别结果为非活体。