CN110458063B - 防视频、照片欺骗的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种防视频、照片欺骗的人脸活体检测方法，包括以下步骤：对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域；计算各对比区域的稠密光流场；检测是否存在两个及两个以上发生运动的背景对比区域；统计发生运动的各背景对比区域的光流方向角直方图；判断是否出现手持人脸视频攻击；将人脸区域图像的梯度方向直方图特征与整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，并以此训练SVM活体与非活体分类器，然后利用该分类器实现人脸活体检测，以抵御人脸视频攻击，该方法能够实现鲁棒、准确及高效的人脸活体检测。

Description

防视频、照片欺骗的人脸活体检测方法

技术领域

本发明属于图像处理领域，涉及一种防视频、照片欺骗的人脸活体检测方法。

背景技术

门禁系统以预防损失和犯罪为主要目的，发展成较为完整的出入口控制管理系统。门禁系统中的身份识别单元是其重要的组成部分，具有对通行人员进行身份识别和认证的作用，人脸识别因其特殊性和便捷性有着巨大的优势和发展空间，也被越来越多的推广到安防领域，但是，仿造合法用户真实人脸的多种恶意攻击手段也在近年来频繁出现，给人脸识别技术带来了安全隐患，其中最常见的攻击手段有借用合法用户的照片、视频实施攻击方式，国内外学者提出了不同的人脸活体检测方案，分别从人脸生理行为、人脸图像的属性变化以及两者相结合的途径设计了活体检测方法。其中，人脸生理行为现象变化主要关注脸部的运动现象，采用眼部嘴部运动、人机交互和脸部运动等信息来检测真实人脸；人脸图像属性主要关注成像质量和人脸的三维特征，采用纹理描述子、多光谱成像、深度信息等特征来检测真实人脸；结合人脸图像属性与人脸生理行为的活体检测技术则是融合两者的多种相关特征构建活体人脸的判别依据。

现有人脸活体检测技术虽然取得到了很好的实验效果，但大多是在特定环境和特种设备条件下进行的，针对不同的攻击方式各有其特点，但检测过程中多需要用户配合，或者依赖于红外、多光谱、深度相机等特殊设备，尚无运用普通单摄像头即可实现人脸活体检测的优势。其中，人机交互需要用户配合；红外、多光谱、深度探测需要额外的设备，因此需要开发出一种检测方法，该方法可以在单摄像头、无特殊设备、无需用户配合的条件下，实现鲁棒、准确、高效的人脸活体检测。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种防视频、照片欺骗的人脸活体检测方法，该方法能够在单摄像头、无特殊设备、无需用户配合的条件下，实现鲁棒、准确及高效的人脸活体检测。

为达到上述目的，本发明所述的防视频、照片欺骗的人脸活体检测方法包括以下步骤：

1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；

2)计算各对比区域的稠密光流场V_L、V_R、V_U，以表达视频帧中背景区域的运动现象；

3)当V_R>0或V_L>0或V_U>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；

4)统计发生运动的各背景对比区域的光流方向角直方图H_L、H_R、H_U；

5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击；

6)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；

7)计算人脸区域图像的梯度方向直方图HOG特征；

8)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；

9)将步骤7)得到的人脸区域图像的梯度方向直方图特征与步骤8)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。

步骤1)的具体操作为：

1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；

1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；

1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。

步骤2)的具体操作为：

根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，

v＝[x,y]^T，θ＝tan^-1(y/x) (1)

其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；

构建如下式所示的背景对比区域的稠密光流场：

V_R＝[v₁,v₂,...,v_m]；V_L＝[v₁,v₂,...,v_n]；V_U＝[v₁,v₂,...,v_p]

Φ_R＝[θ₁,θ₂,...,θ_m]；Φ_L＝[θ₁,θ₂,...,θ_n]；Φ_U＝[θ₁,θ₂,...,θ_p]。

步骤4)的具体操作为：

4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在

范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；

4b)分别统计各背景对比区域的光流方向角直方图H_L、H_R、H_U。

步骤5)的具体操作为：

5a)设两个背景对比区域的光流方向角直方图的相似性通过直方图相交值衡量，其中，直方图相交值d(H₁,H₂)的表达式为：

5b)分别计算两两组合背景对比区域的光流角直方图相似性d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)；

5c)当步骤5b)计算得到的结果d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)中任意一个大于等于70％时，则说明对应两个背景对比区域的相关性较强，即所述两个背景对比区域发生了一致性的抖动现象，则判定出现手持人脸视频欺骗。

步骤7)的具体操作为：

7a)将人脸图像区域划分成大小相等的4个子图，其中，人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

7b)采用Sobel算子计算子图I(x,y)中各像素的梯度G(x,y)及梯度方向角α(x,y)，其中，

其中，G_x(x,y)＝I(x+1,y)-I(x-1,y)，G_y(x,y)＝I(x,y+1)-I(x,y-1)；

7c)将0°～360°的梯度方向角等分为18个bin，每个bin包含20度，得各bin的取值区间为(0°～20°)、(21°～40°)、……、(341°～360°)；根据每个像素点的梯度方向θ所属bin区间，将该像素点的梯度幅值累加到相应的直方图bin中，得人脸子图的18维梯度方向直方图；

7d)将各人脸子图的18维梯度方向直方图串联，得整张人脸图像的HOG特征向量H′，再对整张人脸图像的HOG特征进行归一化处理，得最终的人脸图像HOG特征H_norm。

步骤7d)中最终的人脸图像HOG特征H_norm为：

其中，ε为常值。

步骤8)的具体操作为：

8a)将归一化的人脸图像划分成大小相等的4个子图，使人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

8b)计算各子图的等价模式LBP特征；

8c)统计各子图的等价模式LBP直方图；

8d)串联各人脸子图的等价模式LBP直方图，得整张人脸图像的等价模式LBP直方图特征。

步骤8b)中各子图的LBP特征LBP(x_c,y_c)为：

其中，(x_c,y_c)为LBP计算区域的中心点，i_c表示该中心点的灰度值，i_p为周围像素点的灰度值，s(x)为周围区域符号函数，其中，s(x)的表达式为：

将LBP特征值所对应的二进制数视为从0到1或者从1到0的跳变模式，则等价模式LBP的二进制最多有两次跳变，将LBP的二进制数值换算成十进制，得1-58范围内的等价模式LBP编码值。

本发明具有以下有益效果：

本发明所述的防视频、照片欺骗的人脸活体检测方法在具体操作时，在背景区域中选出左、右、上三个背景对比区域L、R、U，并采用稠密光流V_L、V_R、V_U表达视频帧中背景区域的运动现象，同时使用光流运动方向角的统计直方图H_L、H_R、H_U来表征各区域光流场的分布，通过计算背景对比区光流角度直方图的相似性d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)判断是否出现背景区域的一致性抖动，以检测手持设备播放人脸视频的攻击现象。另外，本发明利用人脸区域图像的梯度方向直方图特征与整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，对SVM活体与非活体分类器进行训练，然后利用训练后的SVM活体与非活体分类器进行人脸活体检测，以抵御人脸视频攻击，以实现鲁棒、准确及高效的人脸活体检测，并且能够在单摄像头、无特殊设备、无需用户配合的条件下进行检测。

附图说明

图1为本发明的背景运动一致非活体人脸检测处理流程图；

图2为本发明的联合HOG与LBP特征的活体人脸检测处理流程图；

图3为本发明的背景对比区域建模示例图；

图4a为实施例一中真实人脸的稠密光流场示例图；

图4b为实施例一中手持设备播放欺骗人脸视频的稠密光流场示例图；

图5a为实施例一中背景有抖动现象的光流角度直方图；

图5b为实施例一中背景有不一致运动现象的光流角度直方图；

图6为实施例一中背景运动一致性检测出的手持视频欺骗人脸图；

图7a为实施例一中真实人脸的HOG特征分布图；

图7b为实施例一中真实人脸的LBP统计特征分布图；

图8为实施例一中真实人脸和视频欺骗人脸的HOG特征对比图；

图9为实施例一中真实人脸和视频欺骗人脸的LBP统计特征对比图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

本发明对各种可能的视频欺骗现象进行了场景和检测手段的综合分析，结果如表1，从表1中可知，当手持设备播放欺骗视频，但人脸未充满屏幕画面时存在有抖动的背景运动现象；而欺骗人脸充满画面或使用固定支架上的设备播放视频时，将不存在背景区抖动现象。因此，以欺骗视频是否存在“抖动”为前提，分别从“背景运动一致性”、“人脸区域的HOG和LBP特征”入手构建两路“串联”的检测方法，它们的处理流程分别如图1和图2。

表1

本发明所述的防视频、照片欺骗的人脸活体检测方法包括以下步骤：

1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；

步骤1)的具体操作为：

1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；

1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；

1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。

2)计算各对比区域的稠密光流场V_L、V_R、V_U，以表达视频帧中背景区域的运动现象；

步骤2)的具体操作为：

根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，

v＝[x,y]^T，θ＝tan^-1(y/x) (1)

其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；

构建如下式所示的背景对比区域的稠密光流场：

V_R＝[v₁,v₂,...,v_m]；V_L＝[v₁,v₂,...,v_n]；V_U＝[v₁,v₂,...,v_p]

Φ_R＝[θ₁,θ₂,...,θ_m]；Φ_L＝[θ₁,θ₂,...,θ_n]；Φ_U＝[θ₁,θ₂,...,θ_p]。

3)当V_R>0或V_L>0或V_U>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；

4)统计发生运动的各背景对比区域的光流方向角直方图H_L、H_R、H_U；

步骤4)的具体操作为：

4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在

范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；

4b)分别统计各背景对比区域的光流方向角直方图H_L、H_R、H_U。

5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击；

步骤5)的具体操作为：

5a)设两个背景对比区域的光流方向角直方图的相似性通过直方图相交值衡量，其中，直方图相交值d(H₁,H₂)的表达式为：

5b)分别计算两两组合背景对比区域的光流角直方图相似性d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)；

5c)当步骤5b)计算得到的结果d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)中任意一个大于等于70％时，则说明对应两个背景对比区域的相关性较强，即所述两个背景对比区域发生了一致性的抖动现象，则判定出现手持人脸视频欺骗。

6)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；

7)计算人脸区域图像的梯度方向直方图HOG特征；

步骤7)的具体操作为：

7a)将人脸图像区域划分成大小相等的4个子图，其中，人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

7b)采用Sobel算子计算子图I(x,y)中各像素的梯度G(x,y)及梯度方向角α(x,y)，其中，

其中，G_x(x,y)＝I(x+1,y)-I(x-1,y)，G_y(x,y)＝I(x,y+1)-I(x,y-1)；

7c)将0°～360°的梯度方向角等分为18个bin，每个bin包含20度，得各bin的取值区间为(0°～20°)、(21°～40°)、……、(341°～360°)；根据每个像素点的梯度方向θ所属bin区间，将该像素点的梯度幅值累加到相应的直方图bin中，得人脸子图的18维梯度方向直方图；

7d)将各人脸子图的18维梯度方向直方图串联，得整张人脸图像的HOG特征向量H′，再对整张人脸图像的HOG特征进行归一化处理，得最终的人脸图像HOG特征H_norm。

步骤7d)中最终的人脸图像HOG特征H_norm为：

其中，ε为常值。

8)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；

步骤8)的具体操作为：

8a)将归一化的人脸图像划分成大小相等的4个子图，使人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

8b)计算各子图的等价模式LBP特征；

8c)统计各子图的等价模式LBP直方图；

8d)串联各人脸子图的等价模式LBP直方图，得整张人脸图像的等价模式LBP直方图特征。

步骤8b)中各子图的LBP特征LBP(x_c,y_c)为：

其中，(x_c,y_c)为LBP计算区域的中心点，i_c表示该中心点的灰度值，i_p为周围像素点的灰度值，s(x)为周围区域符号函数，其中，s(x)的表达式为：

将LBP特征值所对应的二进制数视为从0到1或者从1到0的跳变模式，则等价模式LBP的二进制最多有两次跳变，将LBP的二进制数值换算成十进制，得1-58范围内的等价模式LBP编码值。

9)将步骤7)得到的人脸区域图像的梯度方向直方图特征与步骤8)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。

实施例一

参照图1，为了验证背景运动一致的人脸活体检测方法的有效性，选用Replay-Attack数据库对人脸活体检测方法进行测试，攻击样本中包含手持设备和固定设备的视频欺骗序列。考虑到背景运动一致是针对手持设备播放人脸视频的欺骗检测，故选择120个真实人脸的视频序列作为正样本，120个手持设备的播放视频序列作为负样本，训练背景运动一致性的非活体检测器。

具体操作为：

1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；

2)计算各对比区域的稠密光流场V_L、V_R、V_U，以表达视频帧中背景区域的运动现象；

3)当V_R>0或V_L>0或V_U>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；

4)统计发生运动的各背景对比区域的光流方向角直方图H_L、H_R、H_U；

5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击。

步骤1)的具体操作为：

1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；

1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；

1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。

步骤2)的具体操作为：

根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，

v＝[x,y]^T，θ＝tan^-1(y/x) (1)

其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；

构建如下式所示的背景对比区域的稠密光流场：

V_R＝[v₁,v₂,...,v_m]；V_L＝[v₁,v₂,...,v_n]；V_U＝[v₁,v₂,...,v_p]

Φ_R＝[θ₁,θ₂,...,θ_m]；Φ_L＝[θ₁,θ₂,...,θ_n]；Φ_U＝[θ₁,θ₂,...,θ_p]。

步骤4)的具体操作为：

4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在

范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；

4b)分别统计各背景对比区域的光流方向角直方图H_L、H_R、H_U。

步骤5)的具体操作为：

5a)设两个背景对比区域的光流方向角直方图的相似性通过直方图相交值衡量，其中，直方图相交值d(H₁,H₂)的表达式为：

5b)分别计算两两组合背景对比区域的光流角直方图相似性d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)；

5c)当步骤5b)计算得到的结果d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)中任意一个大于等于70％时，则说明对应两个背景对比区域的相关性较强，即所述两个背景对比区域发生了一致性的抖动现象，则判定出现手持人脸视频欺骗。

表2展示了背景运动一致的欺骗人脸检测效果，本发明与文献“A.Anjos,M.Chakka,and S.Marcel,Motion-based countermeasures to photo attacks in facerecognition[J],IET Biometrics,vol.3,no.3,pp.147-158,2013.”提出的前景背景相关性检测方法(以下简称“前背景检测法”)进行了对比，为了衡量算法的精度，以半错误率HTER＝1/2(FRR+FAR)作为评判依据；其中，FRR为错误拒绝率，指真实人脸被误判的比率，FAR为错误接受率，指欺骗视频人脸被误判的比率。检测结果见表2，本发明对手持人脸视频的检测准确率达到了98.75％，与“前背景检测法”相比，HTER降低了0.27％，可更好的检测出背景一致抖动现象，识别非活体人脸。

表2

实施例二

参照图2，为了验证联合HOG与LBP特征的人脸活体检测方法的有效性，同样从Replay-Attack数据库中选取3000张真实人脸和3000张固定设备播放的人脸视频帧作为正负样本，训练基于HOG与LBP特征相结合的非活体、活体SVM分类器，另取500张正样本和500张负样本开展测试。

具体操作过程为：

1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；

2)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；

3)计算人脸区域图像的梯度方向直方图HOG特征；

4)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；

5)将步骤3)得到的人脸区域图像的梯度方向直方图特征与步骤4)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。

步骤3)的具体操作为：

3a)将人脸图像区域划分成大小相等的4个子图，其中，人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

3b)采用Sobel算子计算子图I(x,y)中各像素的梯度G(x,y)及梯度方向角α(x,y)，其中，

其中，G_x(x,y)＝I(x+1,y)-I(x-1,y)，G_y(x,y)＝I(x,y+1)-I(x,y-1)；

3c)将0°～360°的梯度方向角等分为18个bin，每个bin包含20度，得各bin的取值区间为(0°～20°)、(21°～40°)、……、(341°～360°)；根据每个像素点的梯度方向θ所属bin区间，将该像素点的梯度幅值累加到相应的直方图bin中，得人脸子图的18维梯度方向直方图；

3d)将各人脸子图的18维梯度方向直方图串联，得整张人脸图像的HOG特征向量H′，再对整张人脸图像的HOG特征进行归一化处理，得最终的人脸图像HOG特征H_norm。

步骤3d)中最终的人脸图像HOG特征H_norm为：

其中，ε为常值。

步骤4)的具体操作为：

4a)将归一化的人脸图像划分成大小相等的4个子图，使人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

4b)计算各子图的等价模式LBP特征；

4c)统计各子图的等价模式LBP直方图；

4d)串联各人脸子图的等价模式LBP直方图，得整张人脸图像的等价模式LBP直方图特征。

步骤4b)中各子图的LBP特征LBP(x_c,y_c)为：

其中，(x_c,y_c)为LBP计算区域的中心点，i_c表示该中心点的灰度值，i_p为周围像素点的灰度值，s(x)为周围区域符号函数，其中，s(x)的表达式为：

将LBP特征值所对应的二进制数视为从0到1或者从1到0的跳变模式，则等价模式LBP的二进制最多有两次跳变，将LBP的二进制数值换算成十进制，得1-58范围内的等价模式LBP编码值。

表3给出了联合HOG和LBP特征的活体人脸图像分类结果，结果显示本发明的分类准确率能达到96.1％，针对视频欺骗所呈现的边缘纹理模糊和局部高亮现象，可以有效的提取差异特征，分类精度有明显的提升。

表3

实施例三

参照图1和图2，为了联合验证本发明整体方案的有效性，选择Replay-Attack数据库中的120个真实人脸视频序列作为正样本，120个手持设备的人脸视频欺骗序列和120个固定设备的人脸视频序列作为负样本开展测试。本发明还与已公开的四种方法在REPLAY-ATTACK数据库上开展了实验对比，四种方法分别为：文献“I.Chingovska,A.Anjos,S.Marcel.On the Effectiveness of Local Binary Patterns in Face Anti-spoofing[P].IEEE BioSIG 2012；Darmstadt,Germany；September2012.”提出的“LBP+SVM”的方法；文献“Wen D,Han H,Jain AK.Face Spoof Detection With Image Distortion Analysis[J].IEEE Transactions on Information Forensics&Security,2015,10(4):746-761.”提出的“IDA+SVM”方法；文献“董吉祥.人脸活体检测算法研究与实现[D].哈尔滨工业大学,2018.”提出的“颜色梯度+SVM”的方法；文献“田野,项世军.基于LBP和多层DCT的人脸活体检测算法[J].计算机研究与发展,2018,55(03):643-650.”提出的“LBP+DCT+SVM”方法。

实验结果见表4，本发明在几种方法中的实验效果较为明显，与LBP、IDA、颜色梯度等方法相比，本发明的HTER较低，检测效果较好。虽然LBP+DCT+SVM的方法取得了最好的效果，但该方法需要使用视频中的4帧数据进行检测，而本发明只需要2帧视频进行，减少了1/2的数据处理时间，提高了检测效率。上述实例表明本发明可以较好的区分真实人脸图像和固定设备播放的视频人脸图像，达到抵御视频人脸攻击的效果。

表4

Claims (9)

1.一种防视频、照片欺骗的人脸活体检测方法，其特征在于，包括以下步骤：

1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；

2)计算各对比区域的稠密光流场V_L、V_R、V_U，以表达视频帧中背景区域的运动现象；

3)当V_R>0或V_L>0或V_U>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；

4)统计发生运动的各背景对比区域的光流方向角直方图H_L、H_R、H_U；

5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击；

6)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；

7)计算人脸区域图像的梯度方向直方图HOG特征；

8)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；

9)将步骤7)得到的人脸区域图像的梯度方向直方图特征与步骤8)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。

2.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤1)的具体操作为：

1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；

1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；

1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。

3.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤2)的具体操作为：

根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，

v＝[x,y]^T，θ＝tan^-1(y/x) (1)

其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；

构建如下式所示的背景对比区域的稠密光流场：

V_R＝[v₁,v₂,...,v_m]；V_L＝[v₁,v₂,...,v_n]；V_U＝[v₁,v₂,...,v_p]

Φ_R＝[θ₁,θ₂,...,θ_m]；Φ_L＝[θ₁,θ₂,...,θ_n]；Φ_U＝[θ₁,θ₂,...,θ_p]

其中，Φ_R、Φ_L、Φ_U分别为背景对比区域R、L、U的光流方向角矢量。

4.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤4)的具体操作为：

4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在

范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；

4b)分别统计各背景对比区域的光流方向角直方图H_L、H_R、H_U。

5.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤5)的具体操作为：

5a)设两个背景对比区域的光流方向角直方图的相似性通过直方图相交值衡量，其中，直方图相交值d(H₁,H₂)的表达式为：

5b)分别计算两两组合背景对比区域的光流角直方图相似性d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)；

5c)当步骤5b)计算得到的结果d(H_L,H_R)、d(H_L,H_U)、d(H_U,H_R)中任意一个大于等于70％时，则说明对应两个背景对比区域的相关性较强，即所述两个背景对比区域发生了一致性的抖动现象，则判定出现手持人脸视频欺骗。

6.根据权利要求5所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤7)的具体操作为：

7a)将人脸图像区域划分成大小相等的4个子图，其中，人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

7b)采用Sobel算子计算子图I(x,y)中各像素的梯度G(x,y)及梯度方向角α(x,y)，其中，

其中，G_x(x,y)＝I(x+1,y)-I(x-1,y)，G_y(x,y)＝I(x,y+1)-I(x,y-1)；

7c)将0°～360°的梯度方向角等分为18个bin，每个bin包含20度，得各bin的取值区间为(0°～20°)、(21°～40°)、……、(341°～360°)；根据每个像素点的梯度方向θ所属bin区间，将该像素点的梯度幅值累加到相应的直方图bin中，得人脸子图的18维梯度方向直方图；

7d)将各人脸子图的18维梯度方向直方图串联，得整张人脸图像的HOG特征向量H′，再对整张人脸图像的HOG特征进行归一化处理，得最终的人脸图像HOG特征H_norm。

7.根据权利要求6所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤7d)中最终的人脸图像HOG特征H_norm为：

其中，ε为常值。

8.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤8)的具体操作为：

8a)将归一化的人脸图像划分成大小相等的4个子图，使人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；

8b)计算各子图的等价模式LBP特征；

8c)统计各子图的等价模式LBP直方图；

8d)串联各人脸子图的等价模式LBP直方图，得整张人脸图像的等价模式LBP直方图特征。

9.根据权利要求8所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤8b)中各子图的LBP特征LBP(x_c,y_c)为：

其中，(x_c,y_c)为LBP计算区域的中心点，i_c表示该中心点的灰度值，i_p为周围像素点的灰度值，s(x)为周围区域符号函数，其中，s(x)的表达式为：

将LBP特征值所对应的二进制数视为从0到1或者从1到0的跳变模式，则等价模式LBP的二进制最多有两次跳变，将LBP的二进制数值换算成十进制，得1-58范围内的等价模式LBP编码值。

Images