CN109740572A - 一种基于局部彩色纹理特征的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于局部彩色纹理特征的人脸活体检测方法，涉及智能安防认证、计算机视觉领域。本方法包括以下步骤：S1：读入视频图像，抽取样本集；S2：人脸检测及预处理；S3：提取彩色纹理特征；S4：选取高辨识度局部图像；S5：统计分类结果，输出分类类别。本发明通过提取一种高效的彩色纹理特征，选用CoALBP特征和LDP特征组成的融合纹理特征，增加了空间特征和梯度特征信息，同时选用HSV和YCbCr色彩空间组成的融合色彩空间，增加了亮度信息和色彩信息。本方法在选用高效特征的同时，采用了有效的策略，将图像进行局部分割，从中选取高辨识度的局部图像作为训练和检测数据，使训练得到的分类器更具一般性。

Description

一种基于局部彩色纹理特征的人脸活体检测方法

技术领域

本发明涉及智能安防认证、计算机视觉领域，具体涉及一种基于局部彩色纹理特征的人脸活体检测方法。

背景技术

随着图像处理技术的不断发展，人脸识别系统在各个行业领域内得到了普及和广泛应用。人脸识别系统的应用场景十分丰富，如在线身份认证系统、智能门禁系统、智能支付系统、人脸解锁系统等。随着人脸识别系统的不断普及，其应用场景将会越来越丰富。然而，目前的主流人脸识别系统仍存在着一定的缺陷，存在着易被虚假人脸欺骗攻击的问题。

人脸活体检测技术，该项技术的研究意义在于增强人脸识别系统的安全性，可以有效地避免诸如打印的人脸照片、包含人脸的回放视频等虚假人脸的攻击手段。目前，主要的活体检测方法分为三类，用户配合式方法、依赖特殊设备方法、静默式方法。前两种方法存在着用户体验感差、检测时间过长、应用场景有限的缺点。因此静默式检测方法被认为是最为理想的人脸活体检测方法。

静默式检测方法目前主要有两个研究重点：1)需要提取出一种高效的分类特征。2)检测算法在单一数据库中表现良好，在多数据的交叉验证中，精度下降明显。

所以如何选取一种高效的分类检测特征以及如何提高检测算法在数据库交叉验证中的精度下降问题，是当前研究领域急需解决的问题。

发明内容

为了解决上述的技术问题，本发明的目的就在于提取一种高效的分类特征和解决交叉验证精度下降问题，提供一种基于局部彩色纹理特征的人脸活体检测方法。

一种基于局部彩色纹理特征的人脸活体检测方法包括如下步骤：

S1，读入视频图像，抽取样本集；

S2，人脸检测及预处理

S21，对样本图像进行人脸检测，检测得到人脸矩形框坐标以及人眼坐标信息；

S22，利用得到的人脸矩形框坐标和人眼坐标，根据人眼距上额的距离与人脸高度的比例约为1：3，两眼间的距离与人脸宽度比例约为1：2，且人脸是左右对称的，可以对图像进行二次截取，得到仅包含人脸的图像，将截取后的图像进行归一化操作；

S3，提取彩色纹理特征

S31，将归一化图像划分为等大小且不重叠的若干个局部图像块；

S32，对所有图像块进行色彩空间的转换，得到HSV色彩空间图像和YCbCr 色彩空间图像，并对图像采取通道分离操作，将得到H通道图像、S通道图像、 V通道图像、Y通道图像、Cb通道图像、Cr通道图像；

S33，从单通道图像上分别提取多尺度的CoALBP特征和多尺度的LDP特征；

S34，针对某一图像块，将所有单通道纹理特征按照设定拼接顺序，依次将所有特征串联为一个特征向量，即为该图像的特征向量；

S4，选取高辨识度局部图像

S41，计算同一图像中，不同图像块之间的相似度，相似度计算采用计算特征距离的方式，依次计算不同的两个图像块之间的特征向量距离，并将计算结果进行记录；

S42，针对某一图像块，计算该图像块与其他所有图像块的特征距离平均值，将同一图像中所有图像块的平均特征距离计算完成后，将所有图像块重新排序，按照平均特征距离从大到小进行排序，最终从每幅图像中选取出平均特征距离最大的若干个图像块特征向量。

S5，统计分类结果，输出分类类别。

优选的，所述的步骤S1具体为：

将视频图像读入，以N帧图像为一组，在N张图像中随机抽取其中一张图像加入样本图像集合；限制样本图像集合上限，当视频图像读取完毕或样本图像数目达到上限时，结束抽取样本集操作。

优选的，所述的步骤S2中，对样本图像进行人脸检测的算法为MTCNN检测算法，归一化大小为144×144像素；所述的步骤S3中，局部图像块大小为32 ×32像素。

优选的，所述的步骤S4中，CoALBP特征的尺度分别为，算子半径为 R＝{1,2,4}，邻域算子距离为D＝{1,2,4}；LDP特征的尺度为，算子半径为 R＝{1,2,4}，LDP的模式为二阶和三阶模式。

优选的，所述的步骤S5具体为；

S51，确定某一归一化图像的分类类别，统计选取的局部图像块分类结果，当多数图像块分类结果为真人，则该图像分类结果为真人；反之，判断为欺骗攻击。

S52，确定输入视频图像的分类类别，统计所有归一化图像的分类结果，当多数图像的分类结果为真人，则最终的输入视频分类结果为真人，反之，判断为虚假人脸攻击。

本发明的人脸活体检测方法产生以下几种良好的效果：

效果1：本发明采用基于HSV色彩空间和YCbCr色彩空间的融合色彩空间替代传统的RGB色彩空间和灰度空间，其中HSV色彩空间和YCbCr色彩空间在图像处理过程中更加高效，提升了最终的彩色纹理特征的分类效率。

效果2：本发明采用CoALBP特征和LDP特征作为分类特征，相较于传统的LBP特征，CoALBP特征包含更多的空间信息，LDP特征包含更多的细节纹理信息以及梯度信息。因此，最终提取得到的特征具有更加稳定且高效的分类结果。

效果3：本发明采用融合色彩纹理特征，将图像中的亮度特征信息、色彩特征信息、空间特征信息、纹理特征信息以及梯度特征信息进行了全面的融合，最终的融合特征可以明显地提升检测算法的分类精度。

效果4：本发明采用高辨识性的局部图像替代全局图像，采用该方法可以更加有效地提取出具有高分类特征的图像特征，可以提升分类器的鲁棒性，使其在面对不同检测环境时具有更高的稳定的性。

附图说明

图1是本方法的步骤图；

图2是人脸检测及预处理流程图；

图3是人脸重定位及归一化流程图；

图4是色彩纹理特征提取流程图；

图5是色彩纹理特征提取过程示例图；

图6是简化LBP特征示例图；

图7是CoALBP特征空间方向示例图；

图8是CoALBP特征提取流程图；

图9是二阶LDP特征提取流程图；

图10是LDP特征提取流程图；

图11是高辨识度局部图像块选取示例图；

图12图高辨识度局部图像块选取流程图。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。

一、方法

如图1，本方法的实现步骤如下：

A读入视频图像，抽取样本集

本方法一般适用于网络摄像头、智能门禁摄像头等，通过检测设备的摄像头在检测到人脸的基础上进行视频采集。每5帧进行一次采样，采样选择从5帧图像中随机选取其中一帧，样本上限设置为25帧样本图像，当样本集达到抽样上限或视频流停止输送时，结束图像采样。

B人脸检测及预处理

首先，利用MTCNN人脸检测算法对样本视频图像进行人脸检测，随后进行图像归一化的预处理操作，操作流程如图2所示。

本方法采用提取仅包含人脸的归一化图像，可以避免复杂背景图像的干扰，因此需要确保检测得到的人脸是正面朝向摄像头。检测到的人眼数目等于2时，认定为正面朝向摄像头，随后根据人眼在人脸图像中的位置信息，确定仅包含人脸的归一化图像。

将人眼距离上额头的距离记为h₁，距离下巴的距离记为h₂，左眼距离左脸颊的距离记为w₁，右眼距离右脸颊的距离记为w₂，两眼距离记为w₃。其中，h₁与h₂的比例关系为1：2，w₁与w₂的比例关系为1：1，且w₁+w₂＝w₃。根据各部分距离的比例关系，重新截取出仅包含人脸的图像，并将图像进行归一化操作，归一化大小为144×144像素。

如图3所示，分别表示预处理过程中提取的图像，分别为原视频图像、人脸检测图像、重新定位仅包含人脸的图像、归一化人脸图像。

C提取彩色纹理特征

在步骤B提取的归一化人脸图像上，进行本步骤的操作，操作流程如图4所示。

首先将图像划分成等大小且不重叠的16个图像块，图像块的大小为32×32 像素大小。随后，将各图像块分别进行色彩空间的转换，转换至HSV色彩空间和YCbCr色彩空间。然后，对转换色彩空间的两幅归一化图像进行色彩通道分离，对于每一个图像块最终将得到六个单通道的图像。接下来，分别从六个单通道图像上提取多尺度CoALBP特征和多尺度LDP特征。最后，将同一单通道图像上得到的特征按照CoALBP特征在前LDP特征在后的顺序，将六个通道的特征依次按照H通道、S通道、V通道、Y通道、Cb通道、Cr通道的顺序串联，将得到特征作为该图像块的特征向量。操作示例如图5所示。

其中，多尺度CoALBP特征的提取流程为：首先，对各像素点计算简化LBP 特征，简化LBP特征计算方式如图6所示，分别为LBP₊和LBP_×，LBP₊计算的是中心点直接相邻的邻域点，LBP_×计算的是对角邻域的邻域点，可以任选其中一种建模LBP算子，本方法中选用的是LBP₊。其次，计算邻近简化LBP特征之间的空间关系，空间关系具体分为四类，D＝{(0,Δr),(Δr,0),(Δr,Δr),(-Δr,Δr)}，代表四个方向，分别为下方，右方，右下方和左下方，具体空间排列形式如图7所示。最后，将邻近简化LBP算子联合成一个CoALBP特征算子，根据四个方向分别统计各种二进制的编码结果，因此最终的特征数目将是普通LBP算子的四倍。对于一幅图像，将计算多种尺度的CoALBP特征，各种尺度分别为算子半径为R＝{1,2,4}，邻域算子距离为D＝{1,2,4}。CoALBP特征提取流程如图9所示。

其中，多尺度LDP特征的提取流程为：首先，将普通像素点视为一阶LDP特征，二阶LDP特征需要计算一阶梯度，计算梯度值需要计算不同方向的梯度值，本方法中采用计算四个方向梯度值的方式，四个方向分别为0°,45°,90°,135°。将图像中心点记为Z₀，将其左上角邻域记为Z₁，顺时针旋转，所有邻域下标依次递增，总共有八个邻域点，则其对应的四个方向梯度值可以用如下四个公式表明 Z₀点处的四个方向的一阶方向梯度值，

I'_0°(Z₀)＝I(Z₀)-I(Z₄) (1)

I'_45°(Z₀)＝I(Z₀)-I(Z₃) (2)

I₉'_0°(Z₀)＝I(Z₀)-I(Z₂) (3)

I₁'_35°(Z₀)＝I(Z₀)-I(Z₁) (4)

计算得到中心点及邻域点的各方向一阶梯度值。然后，计算中心点和邻域点相同方向的梯度值的乘积，如式(5)所示，

当两者乘积大于0时用0替代对应领域点，否则用以替代对应领域点，计算所有八个邻域之后，将得到的八个二进制数合并成一个八位二进制数，代表当前中心点的某一方向的二阶LDP值。最后，以不同方向和不同尺度进行LDP值统计，统计结果即为LDP特征。二阶LDP特征提取示例图如图9所示，多尺度LDP特征提取流程图如图10所示。LDP特征的各种尺度为，算子半径为R＝{1,2,4}，LDP 的模式为二阶和三阶模式。

D选取高辨识度局部图像

基于步骤C中的图像分块结果，以及各图像块提取的彩色纹理特征向量，本步骤将依据各图像块的特征向量，计算特征向量之间的距离作为相似性计算标准。将所有图像块两两组合，分别计算彼此之间的特征距离，随后，对于某一图像块，计算该图像块与其他所有图像块特征距离的平均值，最终将得到16个平均值。 16个图像块与其特征距离平均值一一对应，将距离平均值按照从大到小的顺序进行排列，取其中距离平均值最大的5个图像块作为高辨识度局部图像块。如图 11所示，表示n个图像块选取其中K个图像块的示例图。

在训练分类器阶段，将选取的高辨识度局部图像特征作为分类器训练数据，对分类器进行训练。在检测阶段，将选取的高辨识度局部图像特征，通过分类器，计算所有图像块的分类结果。高辨识度局部图像选取步骤如图12所示。

E统计分类结果，输出分类类别

最终分类结果的统计方式为，统计样本图像中进行分类的5个图像块的分类结果，当多数图像块分类结果为真人，则该图像分类结果为真人。反之，则将该样本图像判定为虚假人脸攻击。

在依次统计出所有样本图像的分类结果后，统计分类结果为真人的样本图像数目，当多数样本图像分类结果为真人，则该图像分类结果为真人。反之，则判定为假人，不进行人脸识别操作。

Claims (5)

1.一种基于局部彩色纹理特征的人脸活体检测方法，其特征在于包括如下步骤：

S1，读入视频图像，抽取样本集；

S2，人脸检测及预处理

S21，对样本图像进行人脸检测，检测得到人脸矩形框坐标以及人眼坐标信息；

S22，利用得到的人脸矩形框坐标和人眼坐标，根据人眼距上额的距离与人脸高度的比例为1：3，两眼间的距离与人脸宽度比例为1：2，且人脸是左右对称的，对图像进行二次截取，得到仅包含人脸的图像，将截取后的图像进行归一化操作；

S3，提取彩色纹理特征

S31，将归一化图像划分为等大小且不重叠的若干个局部图像块；

S32，对所有图像块进行色彩空间的转换，得到HSV色彩空间图像和YCbCr色彩空间图像，并对图像采取通道分离操作，将得到H通道图像、S通道图像、V通道图像、Y通道图像、Cb通道图像、Cr通道图像；

S33，从单通道图像上分别提取多尺度的CoALBP特征和多尺度的LDP特征；

S34，针对某一图像块，将所有单通道纹理特征按照设定拼接顺序，依次将所有特征串联为一个特征向量，即为该图像的特征向量；

S4，选取高辨识度局部图像

S41，计算同一图像中，不同图像块之间的相似度，相似度计算采用计算特征距离的方式，依次计算不同的两个图像块之间的特征向量距离，并将计算结果进行记录；

S42，针对某一图像块，计算该图像块与其他所有图像块的特征距离平均值，将同一图像中所有图像块的平均特征距离计算完成后，将所有图像块重新排序，按照平均特征距离从大到小进行排序，最终从每幅图像中选取出平均特征距离最大的若干个图像块特征向量。

S5，统计分类结果，输出分类类别。

2.根据权利要求1所述的基于局部彩色纹理特征的人脸活体检测方法，其特征在于所述的步骤S1具体为：

将视频图像读入，以N帧图像为一组，在N张图像中随机抽取其中一张图像加入样本图像集合；限制样本图像集合上限，当视频图像读取完毕或样本图像数目达到上限时，结束抽取样本集操作。

3.根据权利要求1所述的基于局部彩色纹理特征的人脸活体检测方法，其特征在于所述的步骤S2中，对样本图像进行人脸检测的算法为MTCNN检测算法，归一化大小为144×144像素；所述的步骤S3中，局部图像块大小为32×32像素。

4.根据权利要求1所述的基于局部彩色纹理特征的人脸活体检测方法，其特征在于所述的步骤S4中，CoALBP特征的尺度分别为，算子半径为R＝{1,2,4}，邻域算子距离为D＝{1,2,4}；LDP特征的尺度为，算子半径为R＝{1,2,4}，LDP的模式为二阶和三阶模式。

5.根据权利要求1所述的基于局部彩色纹理特征的人脸活体检测方法，其特征在于，所述的步骤S5具体为；

S51，确定某一归一化图像的分类类别，统计选取的局部图像块分类结果，当多数图像块分类结果为真人，则该图像分类结果为真人；反之，判断为欺骗攻击。

S52，确定输入视频图像的分类类别，统计所有归一化图像的分类结果，当多数图像的分类结果为真人，则最终的输入视频分类结果为真人，反之，判断为虚假人脸攻击。