CN112070041A - 一种基于cnn深度学习模型的活体人脸检测方法和装置 - Google Patents

Abstract

本发明提供了一种基于CNN深度学习模型的活体人脸检测方法，其主要用于人脸检测技术领域。该方法首先利用图像采集设备，获取包含活体或非活体人脸的RGB彩色图像；再对活体人脸图像进行分割，并基于分割后的活体人脸图像区域块，提取和融合纹理特征和梯度特征，形成低层活体人脸表征；之后将低层活体人脸表征作为CNN深度学习模型的输入数据进行学习，进而得到活体人脸图像的深度特征表示，最后再通过活体人脸分类模块完成活体人脸检测。本发明还提供了一种基于CNN深度学习模型的活体人脸检测装置。本发明基于深度学习框架，通过融合低层特征和深度特征，有效克服单一特征提取所带来的不确定性，增强人脸特征的通用性，提高活体人脸检测分类的准确度。

Description

一种基于CNN深度学习模型的活体人脸检测方法和装置

技术领域

本发明涉及一种活体人脸检测技术，尤其涉及一种基于CNN深度学习模型的活体人脸检测方法和装置。

背景技术

依据提取人脸特征的方法原理的不同，现有的活体人脸检测方法主要有：基于行为特征的活体检测方法、基于人工设计特征的方法、基于纹理特征的活体检测方法、基于三维深度信息的活体检测方法、基于深度学习的活体人脸检测等。

基于行为特征的活体检测方法需要用户刻意配合，如点头、眨眼、微笑等，用户体验不自然。

基于人工设计特征的方法，如频域特征、纹理特征等，这些方法原理简单，易于实现，但是采用人工设计特征的方法，由于不同特征提取的信息不同，虽然也能达到较好的检测效果，但是具有一定的不确定性，通用性较差。

基于三维深度信息的活体检测方法利用真假人脸的三维深度信息的不同来进行活体检测，该方法能够较好地防止照片攻击和视频攻击，但是对于三维人脸立体模型，检测效果不够理想；而且该方法通常采用深度摄像头以获取深度信息，这就必然会导致需要额外增加新的设备投入。

基于深度学习的活体检测方法能够有效地抽取和表达高层语义特征，准确率相对较高，但是由于人脸小样本数据集的问题容易出现过拟合现象。

发明内容

为了克服现有技术中的上述不足，提高活体人脸特征提取的鲁棒性，增强活体人脸识别系统的安全性能，基于深度学习模型框架，本发明构建了一种融合低层表征和深度特征表示的活体人脸检测方法与装置，不仅可以有效克服单一特征提取所带来的不确定性，增强活体人脸特征的有效性和显著性，而且能够较好地解决活体人脸检测中的小样本问题。此外，本发明的目的还在于如何提供一种带方向的多尺度卷积核，通过卷积运算，获取邻域内的方向局部边界强度信息，进而提取活体人脸图像的深度特征。

本发明的技术方案在于提供了一种基于CNN深度学习模型的活体人脸检测方法，其特征在于：包括：

步骤1、获取活体或非活体人脸图像，即利用包括摄像头、照相机或手机在内的图像采集设备，获取包含活体或非活体人脸图像的RGB彩色图像，本步骤所获取的RGB彩色图像将作为后续处理的输入；

步骤2、通过低层活体人脸表征模块完成低层活体人脸表征，即利用超像素分割技术对步骤1获取的活体人脸图像进行分割，然后基于分割后的彩色活体人脸图像区域块，分别提取活体人脸图像区域块的纹理特征和梯度特征，并将纹理特征和梯度特征融合，形成低层活体人脸表征；

步骤3、将步骤2得到的低层活体人脸表征作为新的网络输入，即将融合了纹理特征和梯度特征的低层活体人脸表征作为CNN深度学习模型的输入数据，通过CNN深度学习模型的卷积层、池化层、全连接层的训练后，学习并得到活体人脸图像的深度特征表示；

该步骤中，设置带方向性的多尺度卷积核，通过卷积操作，获取邻域内的方向局部边界强度信息，从而提取活体人脸图像的方向深度特征表示，具体通过以下方式来实现：

首先假设输入图像I_m(x,y)，输出图像O_m(x,y)，H(m,m)为带方向的卷积核，卷积核H(m,m)＝m*m，m为正整数，且1≤m≤5，则O_m(x,y)＝I_m(x,y)*H(m,m)；其次，将不同尺度的输出图像O_m(x,y)按1≤m≤5权重求和，得到

其中，O(x,y)表示多尺度输出图像，

步骤4、通过活体人脸分类模块完成活体人脸检测，在步骤3提取出活体人脸图像的深度特征表示后，利用SVM分类器进行活体人脸与非活体人脸的分类与辨识，有效避免小样本数据集存在的过拟合现象。

进一步地，步骤2具体包括：

步骤2.1、将步骤1中获取的活体人脸的RGB彩色图像，转换到HSV色彩空间，并利用超像素分割技术中的SLIC方法，通过改变种子点个数和超像素边长，获取彩色活体人脸图像区域块；

步骤2.2、基于活体和非活体人脸的纹理差异，利用LBP纹理特征描述子对基于HSV空间中的彩色活体人脸图像区域块进行编码并提取纹理特征，其中，给定L_hiFace，L_siFace，L_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的纹理特征，LiFace表示HSV色彩空间中第i个活体人脸图像区域块的纹理特征，α_L，β_L，γ_L为H，S，V通道的第i个活体人脸图像区域块的纹理特征的权值，则：

LiFace＝α_LL_hiFace+β_LL_siFace+γ_LL_viFace

α_L+β_L+γ_L＝1；

步骤2.3、利用HOG特征描述子提取彩色活体人脸图像区域块的梯度结构特征，HOG特征描述子采用的方式是在局部区域归一化直方图，从而能够部分抵消光照变化带来的影响，降低光照对纹理特征的影响，提取较为鲁棒的活体人脸特征，增强活体人脸与非活体人脸的特征区分度和显著度；针对于HSV空间第i个活体人脸图像区域块，其梯度特征为：

HiFace＝α_HH_hiFace+β_HH_siFace+γ_HH_viFace

α_H+β_H+γ_H＝1；

其中，H_hiFace，H_siFace，H_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的HOG特征，HiFace表示HSV色彩空间中第i个活体人脸图像区域块的HOG特征，α_H，β_H，γ_H分别表示H，S，V通道中第i个活体人脸图像区域块的HOG特征的权值；

步骤2.4、利用典型相关分析CCA方法将提取到的基于HSV色彩空间的活体人脸图像的纹理特征及其梯度结构特征进行融合，形成低层活体人脸表征。

本发明还提供了一种基于CNN深度学习模型的活体人脸检测装置，包括处理器、存储器、活体人脸样本库、低层活体人脸表征模块、深度特征表示模块、活体人脸分类模块；其特征在于：

处理器可执行指令以实现活体人脸检测方法；

存储器存储活体人脸检测图像及机器可执行指令；

活体人脸样本库包含真实活体人脸样本和伪装人脸样本；

低层活体人脸表征模块用于提取活体人脸图像的纹理特征及其梯度特征，并融合形成低层活体人脸表征；

深度特征表示模块通过卷积神经网络模型，提取活体人脸图像的深度特征；

活体人脸分类模块利用分类器对活体人脸深度特征进行分类，输出活体人脸与非活体人脸检测分类结果。本发明的有益效果在于：

(1)、基于深度学习框架，并在其基础上发明提出了一种融合低层人脸表征和深度特征的活体人脸检测方法与装置，通过特征融合，可以克服单一特征提取所带来的不确定性，增强人脸特征的有效性和显著性，提高活体人脸检测分类的准确度。

(2)、不同于传统的纹理特征提取方法，本发明首先利用超像素分割SLIC方法对HSV色彩空间的人脸图像进行分块，然后通过加权融合策略提取基于HSV色彩空间的活体和非活体人脸的纹理特征。

(3)、不同于传统的梯度特征提取方法，本发明首先利用超像素分割SLIC方法对HSV色彩空间的人脸图像进行分块，然后通过加权融合策略提取基于HSV色彩空间的活体和非活体人脸的梯度结构特征。

(4)在传统CNN模型基础上，本发明提出了一种带方向的多尺度卷积核，通过卷积运算，获取邻域内的方向局部边界强度信息，提取活体人脸图像的深度特征。

(5)、不同于传统CNN模型的分类策略，本发明采用SVM分类器进行活体和非活体人脸的辨识，可以有效解决活体人脸检测小样本数据所带来的过拟合问题。

附图说明

图1是活体人脸检测装置原理图；

图2是低层人脸表征形成过程示意图；

图3是深度特征表示及分类识别示意图；

图4是活体人脸检测装置图示意图。

具体实施方式

为了让本领域的技术人员能够更好的理解本发明的技术方案，下面结合附图对本发明作进一步详细的阐述。

如图1-3所示，该实施例提供了一种基于CNN深度学习模型的活体人脸检测方法，具体包括：

步骤1、获取活体或非活体人脸图像，即利用包括摄像头、照相机或手机在内的图像采集设备，获取包含活体或非活体人脸图像的RGB彩色图像，本步骤所获取的RGB彩色图像将作为后续处理的输入；

该步骤中，设置带方向性的多尺度卷积核，通过卷积操作，获取邻域内的方向局部边界强度信息，从而提取活体人脸图像的方向深度特征表示，具体通过以下方式来实现：

首先假设输入图像I_m(x,y)，输出图像O_m(x,y)，H(m,m)为带方向的卷积核，卷积核H(m,m)＝m*m，m为正整数，且1≤m≤5，则O_m(x,y)＝I_m(x,y)*H(m,m)；其次，将不同尺度的输出图像O_m(x,y)按1≤m≤5权重求和，得到

其中，O(x,y)表示多尺度输出图像，

步骤2、通过低层活体人脸表征模块完成低层活体人脸表征，即利用超像素分割技术对步骤1获取的活体人脸图像进行分割，然后基于分割后的彩色活体人脸图像区域块，分别提取活体人脸图像区域块的纹理特征和梯度特征，并将纹理特征和梯度特征融合，形成低层活体人脸表征；

如图2所示，该步骤2具体包括：

步骤2.1、将步骤1中获取的活体人脸的RGB彩色图像，转换到HSV色彩空间，并利用超像素分割技术中的SLIC方法，通过改变种子点个数和超像素边长，获取彩色活体人脸图像区域块；

步骤2.2、基于活体和非活体人脸的纹理差异，利用LBP纹理特征描述子对基于HSV空间中的彩色活体人脸图像区域块进行编码并提取纹理特征，其中，给定L_hiFace，L_siFace，L_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的纹理特征，LiFace表示HSV色彩空间中第i个活体人脸图像区域块的纹理特征，α_L，β_L，γ_L为H，S，V通道的第i个活体人脸图像区域块的纹理特征的权值，则：

LiFace＝α_LL_hiFace+β_LL_siFace+γ_LL_viFace

α_L+β_L+γ_L＝1；

因为打印照片或视频中的活体人脸，是真实活体人脸的二次成像，难免会存在纹理细节信息的损失，为此，基于活体和非活体人脸的纹理差异，LBP特征描述子具有旋转不变性的显著优点，能够有效对抗旋转所带来的影响。

此外，为了增加活体和非活体人脸特征的区分度和显著度，本实施例利用HOG特征描述子提取彩色活体人脸图像区域块的梯度结构特征。

步骤2.3、利用HOG特征描述子提取彩色活体人脸图像区域块的梯度结构特征，HOG特征描述子采用的方式是在局部区域归一化直方图，从而能够部分抵消光照变化带来的影响，降低光照对纹理特征的影响，提取较为鲁棒的活体人脸特征，增强活体人脸与非活体人脸的特征区分度和显著度；针对于HSV空间第i个活体人脸图像区域块，其梯度特征为：

HiFace＝α_HH_hiFace+β_HH_siFace+γ_HH_viFace

α_H+β_H+γ_H＝1；

其中，H_hiFace，H_siFace，H_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的HOG特征，HiFace表示HSV色彩空间中第i个活体人脸图像区域块的HOG特征，α_H，β_H，γ_H分别表示H，S，V通道中第i个活体人脸图像区域块的HOG特征的权值；

步骤2.4、利用典型相关分析CCA方法将提取到的基于HSV色彩空间的活体人脸图像的纹理特征及其梯度结构特征进行融合，形成低层活体人脸表征。

不同于传统的特征串行级联融合方式，本实施例方法采用基于典型相关分析的方式将纹理特征和梯度特征进行融合，这样既可以达到特征融合的目的，又消除了特征之间的信息冗余，降低计算复杂度。

步骤3、将步骤2得到的低层活体人脸表征作为新的网络输入，即将融合了纹理特征和梯度特征的低层活体人脸表征作为CNN深度学习模型的输入数据，通过CNN深度学习模型的卷积层、池化层、全连接层的训练后，学习并得到活体人脸图像的深度特征表示；

该步骤中，设置带方向性的多尺度卷积核，通过卷积操作，获取邻域内的方向局部边界强度信息，从而提取活体人脸图像的方向深度特征表示，具体通过以下方式来实现：

首先假设输入图像I_m(x,y)，输出图像O_m(x,y)，卷积核H(m,m)＝m*m，m为正整数，且1≤m≤5，则O_m(x,y)＝I_m(x,y)*H(m,m)；其次，将不同尺度的输出图像O_m(x,y)按1≤m≤5权重求和，得到

其中，O(x,y)表示多尺度输出图像，

特征提取和选择对最终分类结果的判定发挥至关重要的作用，该发明利用卷积神经网络模型提取活体人脸深度特征，基于CNN模型的特征提取模拟了人类大脑理解对图像理解的方式，具有自动结合和学习的特性，不仅能够提取图像边缘特征和高阶语义信息，而且有效降低了人工设计和构造特征所带来的不确定性。

步骤4、通过活体人脸分类模块完成活体人脸检测，在步骤3提取出活体人脸图像的深度特征表示后，利用SVM分类器进行活体人脸与非活体人脸的分类与辨识，有效避免小样本数据集存在的过拟合现象。

因为考虑到活体人脸检测数据集的小样本问题，该施例中，在进行分类识别时，不同于传统CNN模型所采用的分类策略，该实施例选择了能够处理小样本、非线性、高维数问题的SVM分类器。

该实施还提供了一种活体人脸检测装置，包括处理器、存储器、活体人脸样本库、低层人脸表征模块、深度特征表示模块、活体人脸分类模块；

其中，存储器存储活体人脸检测图像及机器可执行指令；

处理器可执行指令以实现活体人脸检测方法；

活体人脸样本库包含真实人脸样本和伪装人脸样本；

低层活体人脸表征模块用于提取人脸图像的纹理特征和梯度特征，并融合形成低层人脸表征；

深度特征表示模块通过卷积神经网络模型，提取人脸图像的深度特征；

活体人脸分类模块利用分类器对活体人脸深度特征进行分类，输出活体人脸与非活体人脸检测分类结果。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (3)

1.一种基于CNN深度学习模型的活体人脸检测方法，其特征在于：包括：

步骤1、获取活体或非活体人脸图像，即利用包括摄像头、照相机或手机在内的图像采集设备，获取包含活体或非活体人脸的RGB彩色图像，本步骤所获取的RGB彩色图像将作为后续处理的输入；

步骤2、通过低层活体人脸表征模块完成低层活体人脸表征，即利用超像素分割技术对步骤1获取的活体人脸图像进行分割，然后基于分割后的彩色活体人脸图像区域块，分别提取活体人脸图像区域块的纹理特征和梯度特征，并将纹理特征和梯度特征融合，形成低层活体人脸表征；

步骤3、将步骤2得到的低层活体人脸表征作为新的网络输入，即将融合了纹理特征和梯度特征的低层活体人脸表征作为CNN深度学习模型的输入数据，通过CNN深度学习模型的卷积层、池化层、全连接层的训练后，学习并得到活体人脸图像的深度特征表示；

该步骤中，设置带方向性的多尺度卷积核，通过卷积操作，获取邻域内的方向局部边界强度信息，从而提取活体人脸图像的方向深度特征表示，具体通过以下方式来实现：

首先假设输入图像I_m(x,y)，输出图像O_m(x,y)，H(m,m)为带方向的卷积核，卷积核H(m,m)＝m*m，m为正整数，且1≤m≤5，则O_m(x,y)＝I_m(x,y)*H(m,m)；其次，将不同尺度的输出图像O_m(x,y)按1≤m≤5权重求和，得到

其中，O(x,y)表示多尺度输出图像，

步骤4、通过活体人脸分类模块完成活体人脸检测，在步骤3提取出活体人脸图像的深度特征表示后，利用SVM分类器进行活体人脸与非活体人脸的分类与辨识，有效避免小样本数据集存在的过拟合现象。

2.根据权利要求1所述的基于CNN深度学习模型的活体人脸检测方法，其特征在于：步骤2具体包括：

步骤2.1、将步骤1中获取的活体人脸的RGB彩色图像，转换到HSV色彩空间，并利用超像素分割技术中的SLIC方法，通过改变种子点个数和超像素边长，获取彩色活体人脸图像区域块；

步骤2.2、基于活体和非活体人脸的纹理差异，利用LBP纹理特征描述子对基于HSV空间中的彩色活体人脸图像区域块进行编码并提取纹理特征，其中，给定L_hiFace，L_siFace，L_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的纹理特征，LiFace表示HSV色彩空间中第i个活体人脸图像区域块的纹理特征，α_L，β_L，γ_L为H，S，V通道的第i个活体人脸图像区域块的纹理特征的权值，则：

LiFace＝α_LL_hiFace+β_LL_siFace+γ_LL_viFace

α_L+β_L+γ_L＝1；

步骤2.3、利用HOG特征描述子提取彩色活体人脸图像区域块的梯度结构特征，HOG特征描述子采用的方式是在局部区域归一化直方图，从而能够部分抵消光照变化带来的影响，降低光照对纹理特征的影响，提取较为鲁棒的活体人脸特征，增强活体人脸与非活体人脸的特征区分度和显著度；针对于HSV空间第i个活体人脸图像区域块，其梯度特征为：

HiFace＝α_HH_hiFace+β_HH_siFace+γ_HH_viFace

α_H+β_H+γ_H＝1；

其中，H_hiFace，H_siFace，H_viFace分别表示H，S，V通道的第i个活体人脸图像区域块的HOG特征，HiFace表示HSV色彩空间中第i个活体人脸图像区域块的HOG特征，α_H，β_H，γ_H分别表示H，S，V通道中第i个活体人脸图像区域块的HOG特征的权值；

步骤2.4、利用典型相关分析CCA方法将提取到的基于HSV色彩空间的活体人脸图像的纹理特征及其梯度结构特征进行融合，形成低层活体人脸表征。

3.一种基于CNN深度学习模型的活体人脸检测装置，包括处理器、存储器、活体人脸样本库、低层活体人脸表征模块、深度特征表示模块、活体人脸分类模块；其特征在于：

处理器可执行指令以实现活体人脸检测方法；

存储器存储活体人脸检测图像及机器可执行指令；

活体人脸样本库包含真实活体人脸样本和伪装人脸样本；

低层活体人脸表征模块用于提取活体人脸图像的纹理特征及其梯度特征，并融合形成低层活体人脸表征；

深度特征表示模块通过卷积神经网络模型，提取活体人脸图像的深度特征；

活体人脸分类模块利用分类器对活体人脸深度特征进行分类，输出活体人脸与非活体人脸检测分类结果。

Images