CN110598580A - 一种人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种人脸活体检测方法，步骤如下：采集人脸图像训练集，转换至HSV颜色空间并分离颜色通道，分别输入包含三个特征提提取层和一个全连接层的神经网络；分两次训练，第一次使用自编码器训练特征提取层，第二次训练全连接层进行分类，获得训练好的模型；获取多帧人脸检测获取的人脸区域图像；把人脸区域转换至HSV并分离三个颜色通道，分别输入到三个特征提取层进行特征提取；把得到的三个特征向量整合在一起输入到全连接层进行分类，得到每一帧是否为活体；判断结果为活体的帧的数量除以总的帧数大于阈值。本发明不需要人机交互，使用神经网络能够有效提取图像特征，并减少了大量数据集的标记，应用场景广泛，适用性强。

Description

一种人脸活体检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种人脸活体检测方法。

背景技术

随着模式识别等科学技术发展，人脸识别、指纹识别、虹膜识别等生物特征识别得到了广泛的应用。其中，人脸识别技术具有使用方便、非接触性等优点，而安全性成为了用户普遍关注的主要问题。不法分子通过使用照片、视频、面具等方法来伪造人脸进行人脸识别，这将会给用户带来巨大损失。因此，在进行人脸识别前，能够判断待识别人脸是否活体使得人脸识别系统具有更高的安全性。

目前常用的人脸活体检测方法主要包括：

1)基于人机交互的方法

人脸活体检测系统通过指定用户做一些动作，比如张嘴、眨眼、摇头、说话等指令，检测系统检测这些动作来判断检测对象是否是真人，而这种方法需要用户配合系统，用户体验性不好，检测速度慢。

2)基于纹理、光流场的方法

这类方法通过使用传统的方法，比如局部二值模式或者光流场等方法提取特征，然后使用支持向量机进行分类，来对目标进行活体判别。这类方法一般需要使用外接设备，比如使用近红外摄像头采集图像、使用深度相机采集三维人脸信息等方式，这类方法成本比较高，不易推广。

发明内容

本发明的目的在于提供一种基于深度学习的人脸活体检测方法。

本发明为解决上述技术问题的具体步骤如下：一种人脸活体检测方法，包括以下步骤：

步骤1，采集带真人脸部区域的图像作为正样本，采集同一人的照片或视频的脸部区域图像作为负样本；

步骤2，将图像分离成HSV颜色空间的三个颜色通道，并输入至三个特征提取网络，使用自编码器进行训练，获得三个特征提取层；

步骤3，将三个特征提取层的输出整合成一维特征向量，输入至全连接层网络进行训练，获得特征分类层，输出即是输入图像的分类结果，获得训练好的分类模型；

步骤4，采集需要检测的包含人脸的图像，并通过人脸检测获得待检测人脸区域，共采集N张待检测人脸；

步骤5，将每张待检测人脸转换至HSV颜色空间并分离获得三个通道图像，分别输入到三个特征提取层，获得三个特征向量，并整合在一起输入到分类层，获得每张待检测人脸是否为活体的检测结果；

步骤6，将检测结果为活体的人脸数量和除以总的输入人脸数量，获得的结果大于设定的阈值，即可判断检测对象是活体。

与现有技术相比，本发明的显著优点为：(1)本发明无需用户配合即可完成检测，体验性好；(2)不需要额外增加设备；(3)使用HSV颜色空间提取特征，受光照影响小，减少了系统对应用场景的要求；(4)同时使用深度学习方法提取图像特征，相比传统特征提取方法，该方法能够自动提取特征且效果好；(5)使用自编码器训练特征提取网络，避免了大量数据集的标记；(6)使用多张图像检测并设定阈值，提高了检测结果的稳定性。

附图说明

图1为本发明一种人脸活体检测网络的训练流程图。

图2为本发明一种特征提取网络的自编码器结构图。

图3为本发明一种特征提取网络的全连接层结构图。

图4为本发明一种人脸活体检测方法流程图。

具体实施方式

本发明的一种人脸活体检测方法，包括：

步骤1：通过摄像头采集带真人脸部区域的图像作为正样本，采集同一人的照片或视频的脸部区域图像作为负样本；

步骤2：把图像分离成HSV颜色空间的三个颜色通道，并输入至三个特征提取网络，使用自编码器进行训练，获得三个特征提取网络层；

步骤3：将三个特征提取层的输出整合成一维特征向量，输入至全连接层网络进行训练，获得特征分类层，输出即是输入图像的分类结果，获得训练好的分类模型；

步骤4：通过摄像头采集需要检测的包含人脸的图像，并通过人脸检测获得待检测人脸区域，共采集N张待检测人脸；

步骤5：将每张待检测人脸转换至HSV颜色空间并分离获得三个通道图像，分别输入到三个特征提取层，获得三个特征向量，并整合在一起输入到分类层，获得每张待检测人脸是否为活体的检测结果；

步骤6：把检测结果为活体的人脸数量和除以总的输入人脸数量，获得的结果大于设定的阈值，即可判断检测对象是活体。

样本集中，负样本中要包含与正样本中与之对应的同一个人相同面部表情的图像最佳，有利于区分正负样本之间的分类，样本大小可设定为224*224*3。

所述HSV颜色空间分别是：色调(H)，饱和度(S)，明度(V)，也可选定其他颜色空间进行分离，HSV颜色空间效果较好，受光照影响小。

所述的特征提取网络为卷积神经网络，主要包括卷积层和池化层，为了提高网络的泛化能力，加快网络的训练速度，可以在网络中加入Batch Normalization层，通过对每一层的网络输入数据进行归一化，使得特征提取层的鲁棒性更高。特征提取网络包括三个独立的子网络，每个网络分别使用对应的颜色通道图像进行训练，训练方法使用自编码器。

所述的自编码器是一种自监督的神经网络模型，它主要包含两部分：编码和解码。编码是网络从输入数据中提取特征，解码是网络用编码学习到的特征重新组合重构出原始输入数据。而我们需要的便是前半部分—编码，通过使用自编码器来提取特征，获得待检测人脸每个颜色通道的特征向量，达到降噪和降维的目的。

对全连接层进行训练时，需要把三个特征提取网络的输出变形成一维特征并连接在一起，作为全连接层的输入，三个特征提取网络已使用自编码器完成训练，只需要读入保存的训练参数，训练参数设定为否，不参与训练，网络读入样本训练集，转换成HSV通道图像并分离通道，分别输入至各自的特征提取层，完成特征提取，并整合特征向量输入到全连接层来训练全连接层，获得训练好的整个模型，等待待检测图像的输入。

待检测图像从摄像头读入，通过MTCNN算法或者Haar Cascade进行人脸检测，若检测到有人脸存在，则获取此帧的人脸区域，设定一个数值N，共获取N张待检测的人脸图像。

把待检测的N张人脸图像分别输入到检测网络中进行检测，首先转换至HSV通道并分离成单通道图像，然后分别输入到对应的特征提取网络进行特征提取并整合，把获得的特征向量输入到分类层进行分类，检测结果中，识别为活体的输入人脸图像的数量为n，如果n/N大于设定的阈值，即可判定检测的目标为活体。

进一步，针对摄像头采集的图像的方法包括：

步骤101，通过对摄像头显示的视频流取帧，使用MTCNN算法或者Haar Cascade进行人脸检测，如果未发现人脸，则继续在下一帧检测；

步骤102，通过步骤101采集N张待检测人脸图像。

进一步，针对获取的人脸图像输入到检测系统进行检测的方法如下：

步骤201，把输入图像转换至HSV颜色空间并分离通道，把三个通道图像分别输入到三个训练好的特征提取器进行特征提取；

步骤202，把提取的特征整合，输入到全连接层进行分类，获得每一张输入人脸图像的检测结果。

进一步，步骤201里的三个特征提取网络是通过自编码器进行训练的模型，三个特征提取网络相互独立，互不干扰。

进一步，步骤202里的全连接层分类器是在三个特征提取层网络训练完之后训练的，首先把特征提取层的输出整合在一起作为全连接层的输入，重新输入训练集训练模型，特征提取层训练参数设定为否，不作训练，仅训练全连接层，训练集图像经过特征提取层提取特征输入至全连接层来训练参数，获得一个训练好的人脸活体检测网络模型。

本发明提供一种基于深度学习的人脸活体检测方法，通过把活体与非活体训练集转换至HSV颜色空间并分离通道，分别输入到各自的特征提取网络来提取特征，并把提取的特征整合输入至全连接层进行分类，获得输入图像的判定结果。本发明具备成本低，容易在普通设备上推广，安全性比较高，鲁棒性好等优点

下面结合附图和实施例对本发明的原理和特征进行详细描述。

实施例

如图1所示活体检测方法所用的网络训练过程如下：

步骤1，采集正负人脸活体样本集，正样本集主要是活体的人脸区域，标签为1，负样本集主要是照片、视频等非活体人脸区域，标签为0，为了更好的区分正负样本，负样本中要包含与正样本中对应的同一个人、同等环境、类似表情的样本图像,也可以通过在活体图像的基础上进行拍摄，采集为非活体图像，对比性比较高，更容易提取各自的特征。

步骤2，对图像进行预处理，把图像转换至HSV颜色空间并分离通道，把分离后的三个通道图像分别输入神经网络里的三个子网络，使用自编码器进行同时训练，获得三个特征提取层。

其中，预训练网络三个子网络均与图2所示网络结构相同，该网络采用自编码器原理，主要分为两部分，分别为Encoder和Decoder部分，Encoder负责训练网络的特征提取能力，Decoder负责重组特征，输出图像与输入图像相同大小，并以本身作为标签进行网络自学习，

在子网络中，卷积层1和卷积层6、卷积层2和卷积层5、卷积层3和卷积层4的核数量分别相同，主要进行特征提取，池化层负责降维，上采样负责升维，所以编码部分和解码部分的过程是相反的。

根据需要，网络需要在每层卷积层与其后面的池化层之间需要添加一个BN层，来对数据进行处理，加快网络收敛。

如图3所示，神经网络训练完成后，不再需要解码部分，直接舍弃即可，保留编码部分，即为特征提取网络,一共有3个特征提取网络，分别对应图像的H通道、S通道和V通道，分别进行特征提取。

步骤3，把训练好的三个特征提取层输出整合在一起，作为全连接层的输入，来对输入图像进行分类，再次训练时，特征提取网络部分不再参与训练，仅用来提取输入图像的特征，提取的特征整合在一起作为全连接层的输入，对全连接层进行训练。

如图3所示，全连接层部分主要有两层隐藏层，输入层是特征层提取的特征，输出层是二分类层，对应是否是活体。

步骤4，重新把数据集分离通道后的三个通道图像输入已经训练好的特征提取层，直接读入特征提取层训练好保存的参数，来对输入图像提取特征，获得的特征输入全连接层对全连接层进行训练，训练好保存模型。

如图4所示，本发明的具体工作流程图如下：

步骤5，通过摄像头显示的视频流取帧，使用MTCNN算法或者Haar Cascade等方法检测是否存在人脸区域；

步骤6，如果不存在人脸。则重新取帧，如果存在，则截取使用MTCNN算法或者HaarCascade等方法检测的人脸区域，共获取N张待检测人脸区域图像；

步骤7，把获取的待检测人脸区域图像转换至HSV颜色空间，并分离颜色通道，获得三个颜色通道图像；

步骤8，把获取的三个颜色通道分别输入到对应的三个训练好的特征提取层，这三个特征提取层即为图3中的3个Encoder部分，分别得到三个通道图像的特征，并整合在一起，输入到训练好的全连接层进行分类，获得每张输入图像判定是否为活体的结果；

步骤9，在N张人脸区域图像中判定结果是活体的数量为n,通过计算n/N的结果是否大于设定的阈值来确定原始待检测目标是否为活体。

以上所述仅作为本发明的具体实例，但不用以限制本发明，任何在本发明的精神和原则之内，所做的任何修改、等同替换，改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种人脸活体检测方法，其特征在于，包括以下步骤：

步骤1，采集带真人脸部区域的图像作为正样本，采集同一人的照片或视频的脸部区域图像作为负样本；

步骤2，将图像分离成HSV颜色空间的三个颜色通道，并输入至三个特征提取网络，使用自编码器进行训练，获得三个特征提取层；

步骤3，将三个特征提取层的输出整合成一维特征向量，输入至全连接层网络进行训练，获得特征分类层，输出即是输入图像的分类结果，获得训练好的分类模型；

步骤4，采集需要检测的包含人脸的图像，并通过人脸检测获得待检测人脸区域，共采集N张待检测人脸；

步骤5，将每张待检测人脸转换至HSV颜色空间并分离获得三个通道图像，分别输入到三个特征提取层，获得三个特征向量，并整合在一起输入到分类层，获得每张待检测人脸是否为活体的检测结果；

步骤6，将检测结果为活体的人脸数量和除以总的输入人脸数量，获得的结果大于设定的阈值，即可判断检测对象是活体。

2.根据权利要求1所述的人脸活体检测方法，其特征在于，样本集的负样本中包含与正样本中与之对应的同一个人相同面部表情的图像。

3.根据权利要求2所述的人脸活体检测方法，其特征在于，样本大小设定为224*224*3。

4.根据权利要求1所述的人脸活体检测方法，其特征在于，所述自编码器是一种自监督的神经网络模型，包含编码和解码两部分；编码是网络从输入数据中提取特征，解码是网络用编码学习到的特征重新组合重构出原始输入数据；通过使用自编码器来提取特征，获得待检测人脸每个颜色通道的特征向量。

5.根据权利要求1所述的人脸活体检测方法，其特征在于，对全连接层进行训练时，将三个特征提取网络的输出变形成一维特征并连接在一起，作为全连接层的输入，三个特征提取网络已使用自编码器完成训练，只需要读入保存的训练参数，训练参数设定为否，不参与训练，网络读入样本训练集，转换成HSV通道图像并分离通道，分别输入至各自的特征提取层，完成特征提取，并整合特征向量输入到全连接层来训练全连接层，获得训练好的整个模型，等待待检测图像的输入。

6.根据权利要求1所述的人脸活体检测方法，其特征在于，待检测图像从摄像头读入，通过MTCNN算法或者Haar Cascade进行人脸检测，若检测到有人脸存在，则获取此帧的人脸区域，设定一个数值N，共获取N张待检测的人脸图像。

7.根据权利要求6所述的人脸活体检测方法，其特征在于，将待检测的N张人脸图像分别输入到检测网络中进行检测，首先转换至HSV通道并分离成单通道图像，然后分别输入到对应的特征提取网络进行特征提取并整合，把获得的特征向量输入到分类层进行分类，检测结果中，识别为活体的输入人脸图像的数量为n，如果n/N大于设定的阈值，即可判定检测的目标为活体。