CN106897675B - 双目视觉深度特征与表观特征相结合的人脸活体检测方法 - Google Patents

Abstract

本发明提供了一种双目视觉深度特征与表观特征相结合的人脸活体检测方法，包括：步骤1：建立双目视觉系统；步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点；步骤3：获取双目深度特征，以及双目深度特征对应的分类得分；步骤4：从左图像中截取完整人脸区域，归一化至固定尺寸，并提取局部二值模式特征LBP作为底层表观特征描述子；步骤5：获得微纹理特征对应的人脸活体检测得分；步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，完成待检图像是否为活体的判断。本发明算法简单、运算速度快、精确度高等优点，为活体人脸检测提供了一种新的可靠的方法。

Description

双目视觉深度特征与表观特征相结合的人脸活体检测方法

技术领域

本发明涉及计算机视觉与机器学习技术领域，具体地，涉及双目视觉深度特征与表观特征相结合的人脸活体检测方法。

背景技术

人脸识别在近十年取得了重要进展，作为有效的基于生物特征的身份认证方案，其应用范围逐渐扩大，已应用到各行各业中。与此同时，对人脸识别系统的攻击也不断出现，花样翻新的攻击手段使人脸识别系统的安全遭遇了较大挑战，处理不好，将造成巨大损失。这些攻击手段中，利用照片或视频进行欺骗最常见，入侵者可能将人脸图片在图像采集设备前旋转、翻转、弯曲、摇摆等方法造成一种类似于合法用户的真人效果去欺骗认证系统。为防守此类攻击，验证人像是现实活体人脸还是进行欺骗的照片或其它假冒人脸是必不可少的一个环节。因此，人脸活体识别技术应运而生。

目前人脸活体识别工作集中在基于单张照片的光线反射分量分析、多张照片序列统计分析，以及结合生理活动、联合语音识别的多膜生物特征融合等。浙江大学计算机科学学院孙霖和潘纲所在的团队发明了另一种预防视频回放攻击的方法，分别用Gabor、SIFT和LBP等特征描述算子对人脸图像和背景图像进行特征点的定位和特征值提取，然后用欧氏距离度量两个特征点的相似度。李江伟等人提出通过2D傅里叶频谱变换来抵抗照片欺骗，照片中人脸的表情和姿势是不变的，那么序列中频率分量的标准差必然非常小，这些差异都可以通过分析2D傅里叶频谱来体现。潘纲等人还提出一种基于Adaboost算法的眼睛开合度计算方法，并将其嵌入到条件随机场人眼模型当中，通过检测眨眼识别活体。K.Kollreider等人发表的将人脸检测和光流估计结合到一起来进行活体检测，基本思想是人脸的中间区域(如鼻子)产生的二维运动比外围区域(如耳朵)要明显，将光流模板匹配和基于Gabor模型的特征分类结合到一起，给出了一个包含人脸中心位置的标准光流模板；中科院模式识别实验室所在团队提出用多种人脸线索来检测人脸用低秩稀疏矩阵来描述人脸的非刚性，以此来判断是否活体。

上述方案的局限性是均没有利用到人脸的三维结构特征，仅利用二维特征，很难达到满意的活体识别效果，此外，目前大部分活体技术需要用户的配合，制约了在实际场景中的应用。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种双目视觉深度特征与表观特征相结合的人脸活体检测方法。

根据本发明提供的双目视觉深度特征与表观特征相结合的人脸活体检测方法，包括如下步骤：

步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；

步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；

步骤3：采用非平行无校正的双目深度算法对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用人脸结构配准以及配准优化迭代算法，对所有抽象三维关键点进行模板脸结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；

步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像中截取完整人脸区域，归一化至固定尺寸；并对人脸图像提取局部二值模式特征LBP作为底层表观特征描述子；

步骤5：用K-means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋BOF编码，得到图像中层特征描述，即BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子，也即微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；

步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。

优选地，所述步骤3中采用非平行无校正双目深度算法是指：计算每个关键点的初始深度，根据双目摄像机的内参数矩阵，旋转矩阵及平移矩阵，结合人脸关键点在左、右图像中对应的像素齐次坐标，根据投影法求解得到右相机坐标系下人脸关键点的Z坐标值，所述Z坐标值即为关键点的深度。

优选地，所述步骤3中采用人脸结构配准及配准优化迭代算法是指：对所有关键点进行模板脸配准的模板脸是在训练过程中确定，其中结构配准算法的思想是经过若干次配准变换后，使得待检人脸中每个三维抽象关键点与模板脸中对应点的误差和最小；

具体地，使用基于单位四元组的定向点集配准算法求使得配准误差和最小的平移向量、旋转矩阵及尺度因子，得到待检人脸的配准变换参数后，对待检人脸的每个抽象三维关键点进行第一次配准变换；最终得到结构配准后的归一化深度特征向量，送入双目深度特征分类器进行分类，得到分类得分，记为score_depth。

优选地，所述步骤3包括：

步骤3.1：训练过程中选取20对正对摄像头拍摄的真人脸图像；

在配准前，每个关键点的深度值需归一化，此时，将每个关键点扩展为抽象三维关键点，前两维是关键点在左图像中的空间坐标，第三维是该关键点的归一化深度：p:[x_l,y_l,d]^T，p为添加深度维度后的三维抽象关键点，d为关键点归一化深度值，x_l表示三维抽象关键点在左图像中x方向的像素坐标，y_l表示三维抽象关键点在左图像中y方向的像素坐标；每个待检人脸均为68个深度归一化后的三维抽象关键点的集合，模板脸同样是68个三维抽象关键点的集合，其中模板脸中每一个抽象三维关键点的x、y坐标是20个对应抽象三维关键点的x、y坐标的平均值，深度坐标是20个对应抽象三维关键点的归一化深度值的平均值；

步骤3.2：将每个待检人脸均与模板脸结构配准后再进行分类器的分类。

优选地，所述步骤4包括：

步骤4.1：在任意半径的圆形邻域中应用多种LBP算子，计算中心像素点对应的多个LBP特征值；遍历人脸区域的每一个像素，得到LBP特征向量；得到未进行等价模式转化的特征脸，该特征脸的尺寸和归一化后的人脸区域的尺寸相同，但类型为三通道，即该特征脸的每一个像素处的值都是对应人脸区域位置的未进行等价模式转化的LBP特征向量；

步骤4.2：对所述LBP特征向量进行等价模式转换，等价模式转化后的LBP特征脸，同时保留了空间位置信息以及纹理特征信息，作为底层特征描述子。

优选地，所述步骤5包括：

步骤5.1：使用K均值聚类算法得到长度为256的特征码书，BOF编码模型将LBP特征脸中每一个像素对应的LBP特征向量进行编码，得到尺寸相同的BOF码字特征脸；

具体地，使用K-means聚类算法，训练得到容量为256的特征码书，BOF编码模型将MSLBP特征脸中每一个像素对应的MSLBP特征向量进行标量编码，即MSLBP特征向量的归类，得到BOF码字特征脸；

步骤5.2：采用空间金字塔模型进行尺度划分，进一步编码得到最终的高层特征描述子：微纹理特征；将图像空间化为不同的尺度，在每个尺度下的每个子区间内，统计各自归一化BOF码字直方图，乘以不同尺度所对应的不同的特征权重，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量；将微纹理特征向量送入微纹理特征分类器进行分类，获得微纹理特征对应的分类得分，记为score_texture。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的双目视觉深度特征与表观特征相结合的人脸活体检测方法是一种结合人脸三维深度信息和人脸图像表观纹理信息的快速人脸活体检测方法，该方法能在不同的光照、位置、形变情况及不同的欺骗手段下准确地对包含真人脸或假人脸的图像进行双目深度及微纹理特征分析，从而判断是否为活体人脸。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中方法的流程示意图；

图2为提取双目深度特征流程图

图3(a)、图3(b)分别为提取“MSLBP特征脸”及“BOF”码字特征脸结果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的双目视觉深度特征与表观特征相结合的人脸活体检测方法，首先根据检测到的68个稀疏人脸关键点在左、右图像中的对应图像坐标，采用非平行无校正的算法，计算每个关键点的深度，将所有关键点转换为抽象三维关键点，采用“人脸结构配准”以及“配准优化迭代”算法，对所有抽象三维关键点进行“模板脸”结构配准，得到68维的双目深度特征，得到双目深度特征对应的分类得分；之后裁剪并归一化完整的人脸区域，逐像素应用LBP特征算子，并经LBP等价模式转化，得到底层特征描述子“LBP特征脸”，利用经K-means方法训练得到的特征码书，采用BOF编码模型，对“LBP特征脸”进行逐像素的矢量量化及BOF编码，得到中层特征描述子“BOF码字特征脸”，采用SPM空间金字塔模型进行图像空间的尺度划分，并加权拼接所有子区域的BOF特征码字直方图，得到最终的高层特征描述子——5376维的微纹理特征向量，得到微纹理特征对应的分类得分；最后在决策层采用线性融合模型，融合两个特征对应的分类得分，得出最终活体检测的检测置信度，完成待检人脸图像是否为活体人脸的判断。

具体地，本发明提供的双目视觉深度特征与表观特征相结合的人脸活体检测方法包括如下步骤：

步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；

步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点(本发明中检测得到68个关键点)，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；

步骤3：采用“非平行无校正”的双目深度算法，对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用“人脸结构配准”以及“配准优化迭代”算法，对所有抽象三维关键点进行“模板脸”结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；

步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像中截取完整人脸区域，归一化至固定尺寸；并对人脸图像提取局部二值模式特征(Local Binary Pattern,LBP)作为底层表观特征描述子；具体地对人脸图像应用MSLBP特征算子，并进行LBP等价模式转化，得到“MSLBP特征脸”，作为底层特征描述子；

步骤5：用K-means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋(Bag of Features,BOF)编码，得到图像中层特征描述：BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子：微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；

具体地，采用空间金字塔尺度模型进行进一步编码：确定图像空间金字塔的划分尺度数，在每一个尺度下将图像空间划分为相应数量的子区域，在每一个子区域中统计归一化BOF码字特征直方图，将所有子区域的BOF直方图向量进行加权拼接，得到活体检测的另一个高层特征描述子：微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的分类得分。

步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。

所述步骤3中采用“非平行无校正”双目深度算法是指：计算每个关键点的初始深度，根据双目摄像机的内参数矩阵，旋转矩阵及平移矩阵，结合人脸关键点在左、右图像中对应的像素齐次坐标，根据投影法求解得到右相机坐标系下人脸关键点的Z坐标值，作为关键点的深度。

所述步骤3中采用“人脸结构配准”及“配准优化迭代”算法，对所有关键点进行“模板脸”配准的“模板脸”在训练过程中确定，其中结构配准算法的思想是经过若干次配准变换后，待检人脸中每个三维抽象关键点与“模板脸”中对应点的误差和最小；

具体地，使用基于单位四元组的“定向点集配准算法”，求使得配准误差和最小的平移向量，旋转矩阵及尺度因子，得到待检人脸的配准变换参数后，对待检人脸的每个抽象三维关键点进行第一次配准变换。最终得到结构配准后的归一化深度特征向量，送入双目深度特征分类器进行分类，得到分类得分score_depth。

使用“配准优化迭代”算法进行对变换结果进行优化：首先在上一次配准变换后的关键点集中获取和相应的“模板脸”关键点配准误差最小的20个点对；随后使用这20个点对求新一轮的配准变换参数，对所有抽象点进行新一轮的配准变换，迭代20次后终止配准变换，此时得到人脸结构配准后的待检人脸，提取所有抽象点结构配准后的归一化深度值，形成双目深度向量。

具体地，包括如下步骤：

步骤3.1：训练过程中选取20对正对摄像头拍摄的真人脸图像(一对图像同时包含左图像及右图像，由不同真人在不同的深度位置拍摄得到，但要求每张图像必须正对摄像头拍摄)；

在配准前，每个关键点的深度值需归一化，此时，将每个关键点扩展为抽象三维关键点，前两维是关键点在左图像中的空间坐标，第三维是该关键点的归一化深度：p:[x_l,y_l,d]^T，p为添加深度维度后的三维抽象关键点，d为关键点归一化深度值；每个待检人脸P_i均为68个深度归一化后的三维抽象关键点

的集合，模板脸T同样是68个三维抽象关键点T_j的集合，其中模板脸中每一个抽象三维关键点的x、y坐标是20个对应抽象三维关键点(对应选取的20对正对摄像头拍摄的真人脸图像)的x、y坐标的平均值，深度坐标是20个对应抽象三维关键点(对应选取的20对正对摄像头拍摄的真人脸图像)的归一化深度值的平均值。

步骤3.2：每个待检人脸都需要与“模板脸”结构配准后再进行分类器的分类。

所述步骤4包括：

步骤4.1：在任意半径的圆形邻域中应用多种LBP算子，计算中心像素点对应的多个LBP特征值；遍历人脸区域的每一个像素，得到LBP特征向量；此时可得到未进行等价模式转化的“特征脸”，该“特征脸”的尺寸和归一化后的人脸区域的尺寸相同，但类型为三通道，即该“特征脸”的每一个像素处的值都是对应人脸区域位置的未进行等价模式转化的LBP特征向量；

具体地，从左图像中截取完整的人脸区域，并归一化至固定的尺寸(56×64)。对人脸图像应用MSLBP特征算子，并进行LBP等价模式转化，得到“MSLBP特征脸”，作为底层特征描述子。包含以下子步骤：

步骤4.1.1：MSLBP特征算子在任意半径的圆形邻域中应用多种LBP算子，计算；邻域中心像素的多个LBP特征值。本方法的MSLBP特征算子包含三种LBP算子：

为保证边缘纹理信息不丢失，首先对人脸区域进行“对称式”填充，上下左右各扩充两像素，对人脸区域的每一个像素，应用MSLBP特征算子计算得到一个长度为3的未经等价模式转化的MSLBP特征向量。

此时可得到未进行等价模式转化的“特征脸”，该特征脸的尺寸和归一化后的人脸区域的尺寸相同，但类型是三通道矩阵，即“特征脸”的每一个像素处的值都是对应人脸区域位置的未经等价模式转化的MSLBP特征向量。

步骤4.1.2：采用“等价模式”来对LBP模式种类进行降维，若某个LBP模式最多有两次从1到0或从0到1的跳变时，该模式对应的二进制数称为一个等价模式类。LBP模式数量减少到P×(P-1)+2种。因此，本方法中采用LBP等价模式对未经等价模式转化的MSLBP特征向量进行转化，得到实用的MSLBP特征向量，首先建立两个等价模式转化表：table₈及table₁₆。table₈长度为256，对应

及

特征算子，table₁₆长度为65536，对应

特征算子。

所有非等价模式被归为一类，经等价模式转化后的非等价LBP纹理特征值转化为59或243。对子步骤一中得到的未进行等价模式转化的“MSLBP特征脸”逐像素逐通道进行等价模式转化，得到的“MSLBP特征脸”同时保留了空间位置信息以及纹理特征信息，作为底层特征描述子。

步骤4.2：对所述LBP特征向量进行等价模式转换，等价模式转化后的“LBP特征脸”，同时保留了空间位置信息以及纹理特征信息，作为底层特征描述子。

所述步骤5包括：

步骤5.1：使用K均值聚类算法得到长度为256的特征码书，BOF编码模型将“LBP特征脸”中每一个像素对应的LBP特征向量进行编码，得到尺寸相同的“BOF码字特征脸”；具体地，使用K-means聚类算法，训练得到容量为256的特征码书，BOF编码模型将“MSLBP特征脸”中每一个像素对应的MSLBP特征向量进行标量编码，即MSLBP特征向量的归类，得到“BOF码字特征脸”。

步骤5.2：采用空间金字塔模型进行尺度划分，进一步编码得到最终的高层特征描述子：微纹理特征；将图像空间化为不同的尺度，在每个尺度下的每个子区间内，统计各自归一化BOF码字直方图，乘以不同尺度所对应的不同的特征权重，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量。将微纹理特征向量送入微纹理特征分类器进行分类，获得微纹理特征对应的分类得分score_texture。

具体地，采用SPM空间金字塔模型进行尺度划分及进一步编码得到最终的高层特征描述子：微纹理特征。如果仅用BOF码字特征值统计特征直方图，将完全丧失特征点的位置信息。将图像空间化为不同的尺度0,1,2,...,L，二维的图像空间可以划分出2^2l＝4^l个子区间，在每个尺度下的每个子区间内，都各自统计归一化BOF码字直方图，，乘以不同尺度所对应的不同的特征权重系数，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量。

划分尺度越大粒度越细，越小的子区间的特征匹配准确度对分类结果的贡献越大，因此越大的划分尺度所对应的特征权重越大，考虑到运行效率及数据存储能力，本方法中空间金字塔的最大划分尺度L＝2，即共有l＝0,1,2三种尺度划分。将微纹理特征向量送入已训练好的微纹理特征分类器进行分类，获得微纹理特征对应的分类得分score_texture。

所述步骤6包括：将步骤3中得到的双目深度特征对应的分类得分score_depth，以及步骤5中得到的微纹理特征对应的分类得分score_texture，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断。试验证明采用线性融合模型效果最佳。

下面结合具体实施例对本发明中的技术方案作更加详细的说明。

在本发明的一个实施例中，所述方法的流程如图1所示，本实施例具体实施步骤如下(优选地使用C++语言编程)：

步骤S1：采用非平行无校正的双目深度算法，对每一个关键点进行深度的计算，如图2，包含如下子步骤：

步骤S1.1：根据投影法求解，得到右相机坐标系下人脸关键点的Z坐标值，作为关键点深度。R表示两个摄像机坐标系间的旋转矩阵，T表示两个摄像机坐标系间的平移矩阵，M_r表示右摄像机的内参数矩阵，M_l表示左摄像机的内参数矩阵，p_l为人脸关键点在左图像中的像素齐次坐标，p_r为人脸关键点在右图像中的像素齐次坐标，P_rc为人脸关键点在右摄像机坐标系下的三维坐标：

p_l＝[u_l,v_l,1]^T,p_r＝[u_r,v_r,1]^T,P_rc＝[X_rc,Y_rc,Z_rc,1]^T

解得：

其中：

B₁₁＝m₁₁-m₃₁u_l,B₁₂＝m₁₂-m₃₂u_l,B₁₃＝m₁₃-m₃₃u_l

B₂₁＝m₂₁-m₃₁v_l,B₂₂＝m₂₂-m₃₂v_l,B₂₃＝m₂₃-m₃₃v_l

b₁＝m₃₄u_l-m₁₄,b₂＝m₃₄v_l-m₂₄

式中：u_l表示关键点在左图像中x方向的像素坐标，v_l表示关键点在左图像中y方向的像素坐标，X_rc表示关键点在右摄像机坐标系中x坐标值，Y_rc表示关键点在右摄像机坐标系中y坐标值，Z_rc表示关键点在右摄像机坐标系中z坐标值，f_xr表示右摄像机x方向的物理焦距长度与成像仪每个单元x方向的尺寸的乘积，f_yr表示右摄像机y方向的物理焦距长度与成像仪每个单元y方向的尺寸的乘积，c_xr表示右摄像机成像仪中心与图像平面主点在x方向的像素偏移量，c_yr表示右摄像机成像仪中心与图像平面主点在y方向的像素偏移量，M为中间变量，m_ij表示矩阵M第i行第j列的值，其中i＝1,2,3；j＝1,2,3,4；u_r表示关键点在右图像中x方向的像素坐标，v_r表示关键点在右图像中y方向的像素坐标，B₁₁、B₁₂、B₁₃、B₂₁、B₂₂、B₂₃、b₁、b₂分别表示中间变量；

步骤S1.2：采用人脸结构配准算法，对所有三维抽象关键点进行“模板脸”配准。第i个待检人脸P_i均为68个深度归一化后的三维抽象关键点

的集合，记作：

其中

为归一化后的关键点深度：

式中：

表示第i个待检人脸的第j个关键点的初始深度值；

模板脸T同样是68个三维抽象关键点T_j的集合，其中：

式中：T_j表示模板脸的第j个三维抽象关键点；

分别是第j个三维抽象关键点的空间x坐标，空间y坐标以及归一化深度值：

待检人脸和“模板脸”分别记作p_i、T_i：

{p_i|p_i＝[x_i,y_i,d_i]^T,i＝1,2,...,68}

使用基于单位四元组的“定向点集配准算法”，求使得单次配准误差最小的t向量，解得：

式中：

表示模板脸中所有三维抽象坐标点的平均，s表示最优的变换尺度因子，

表示矩阵R左乘

T_i表示模板脸中第i个三维抽象关键点，

表示待检人脸中所有三维抽象坐标点的平均，求使得单次配准误差最小的s值，解得：

式中：T_i'表示模板脸中第i个三维抽象关键点减去模板脸中所有三维抽象坐标点的平均，R(p′_i)表示矩阵R左乘p′_i，p′_i表示待检脸中第i个三维抽象关键点减去待检人脸中所有三维抽象坐标点的平均，求使得单次配准误差最小的配准旋转矩阵R：用旋转单位四元组

等效代替旋转矩阵R，即

推出：

式中：q₀表示旋转单位四元组

实部的值，q_x表示旋转单位四元组

第一个虚部的值，q_y表示旋转单位四元组

第二个虚部的值，q_z表示旋转单位四元组

第三个虚部的值，可证明，使得单次配准误差函数最小的旋转单位四元组

为矩阵N最大特征值对应的特征向量，其中：

式中：S_xx表示i从1到n，p′_i第一维的值与T_i'第一维的值的乘积之和，S_xy表示i从1到n，p′_i第一维的值与T_i'第二维的值的乘积之和，S_xz表示i从1到n，p′_i第一维的值与T_i'第三维的值的乘积之和，S_yx表示i从1到n，p′_i第二维的值与T_i'第一维的值的乘积之和，S_yy表示i从1到n，p′_i第二维的值与T_i'第二维的值的乘积之和，S_yz表示i从1到n，p′_i第二维的值与T_i'第三维的值的乘积之和，S_zx表示i从1到n，p′_i第三维的值与T_i'第一维的值的乘积之和，S_zy表示i从1到n，p′_i第三维的值与T_i'第二维的值的乘积之和，S_zz表示i从1到n，p′_i第三维的值与T_i'第三维的值的乘积之和，由上述步骤求得待检人脸的单次配准变换(R,t,s)后，对待检人脸的每个关键点进行第一次配准变换：

式中：

表示待检人脸第一次配准变换后的第i个三维抽象关键点，R(p_i)表示矩阵R左乘p_i，在上一步配准后的关键点集中计算和相应“模板脸”关键点配准误差最小的20个点对；随后使用这20个点对再估计新的刚体变换；迭代20次后终止配准，此时得到配准后的待检人脸：

双目深度特征向量为：

将双目深度特征向量送入已训练好的双目深度特征SVM分类器进行分类，获得双目深度特征对应的分类得分：score_depth。

步骤S2：为保证边缘纹理信息不丢失，首先对人脸区域进行“对称式”填充，上下左右各扩充两像素，对人脸区域的每一个像素，应用MSLBP特征算子计算得到一个长度为3的MSLBP特征向量：

式中：

表示位于像素坐标(x,y)处像素的邻域半径为1，邻域点数为8的LBP模式特征值，

表示位于像素坐标(x,y)处像素的邻域半径为2，邻域点数为8的LBP模式特征值，

表示位于像素坐标(x,y)处像素的邻域半径为2，邻域点数为16的LBP模式特征值；其中邻域半径为R，邻域点数为P的LBP模式特征计算方法如下：

式中：LBP(x,y)表示位于像素坐标(x,y)处像素的某种LBP模式特征值，s(g_p-g_c)表示g_p值与g_c值的大小关系，若g_p大于g_c则该式值为1，否则该式值为0，g_p表示以(x,y)为圆心，R为半径的圆上的第p个被采样像素的灰度值，g_c表示像素坐标(x,y)处像素的灰度值；之后采用LBP等价模式对MSLBP特征进行转化，首先建立两个等价模式转化表：table₈及table₁₆。table₈长度为256，对应

及

特征算子，table₁₆长度为65536，对应

特征算子，所有非等价模式被归为一类，经等价模式转化后的非等价LBP纹理特征值转化为59或243，对子步骤S1中得到的未进行等价模式转化的“MSLBP特征脸”逐像素逐通道进行等价模式转化，得到实用的“MSLBP特征脸”(如图3)。

步骤S3：基于步骤S2所得底层“MSLBP特征脸”，提取经空间金字塔尺度模型编码的微纹理特征。训练过程中使用K-means聚类算法，训练得到一个包含256个特征码字的码书，表示为：

BOF编码模型将“MSLBP特征脸”中每一个像素对应的MSLBP特征向量进行标量编码，设“BOF码字特征脸”(如图3)于坐标(x_i,y_i)处的BOF码字特征值为BOF(x_i,y_i)，则：

式中：

表示MSLBP特征码书中第k个码字第n个维度的值，Face_MSLBP(x,y)[n]表示“MSLBP特征脸”的(x,y)坐标处像素的第n个通道的值；将图像空间化为不同的尺度0,1,2,...,L，在每个尺度下的每个子区间内，都各自统计BOF码字直方图，并基于每个子区间进行直方图归一化，乘以不同尺度所对应的不同的特征权重，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量。

本方法中空间金字塔的最大划分尺度L＝2，即共有l＝0,1,2三种尺度划分。所有子区间的特征码字直方图的进行加权拼接，H为拼接后的微纹理特征，H的维数为5376维。将微纹理特征向量送入已训练好的微纹理特征SVM分类器进行分类，获得微纹理特征对应的分类得分score_texture

步骤S4：经过在测试集上的多次试验，采用线性融合模型效果最佳，检测置信度表示为score，最终的决策过程为：

score＝0.5×score_depth+0.5×score_texture

if score＞threhold→活体

else→非活体

实验结果：本发明提出的基于双目深度特征以及经空间金字塔尺度模型编码的微纹理特征的单帧活体检测方法，在总量为2200张图像的测试集(测试正样本1000张，测试负样本1100张，且测试集中出现的真人脸图像和假人脸图像均未在训练集中出现，泛化性较高)的准确率到达99％，运行速度为3fps，程序运行环境为OpenCV2.4.11与Microsoft公司的Visual Studio 2012。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，包括如下步骤：

步骤1：建立双目视觉系统，所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；将左摄像机拍摄的图像简称为左图像，右摄像机拍摄的图像简称为右图像；

步骤2：通过双目视觉系统对人脸进行检测，得到多个关键点，分别记录多个关键点在左图像、右图像中的坐标，并进行基于关键点的畸变校正；

步骤3：采用非平行无校正的双目深度算法对每一个关键点进行初始深度的计算，将所有关键点转换为抽象三维关键点，采用人脸结构配准以及配准优化迭代算法，对所有抽象三维关键点进行模板脸结构配准，得到配准后的深度向量，作为活体检测特征之一，即双目深度特征；并通过已训练好的双目深度特征分类器进行分类，获得双目深度特征对应的分类得分；

步骤4：根据所有三维关键点的坐标结合级联检测模型，从左图像或右图像中截取完整人脸区域，归一化至固定尺寸；逐像素应用LBP特征算子，并经LBP等价模式转化，得到底层特征描述子LBP特征脸；

步骤5：用K-means均值聚类算法得到LBP特征码书，对LBP特征脸中每一个像素对应的LBP特征向量进行视觉词袋BOF编码，得到左右图像中层特征描述，即BOF码字特征脸；采用空间金字塔模型进一步编码，得到活体检测的另一个高层特征描述子，也即微纹理特征；经已训练好的微纹理特征分类器，获得微纹理特征对应的人脸活体检测得分；

步骤6：将步骤3中得到的双目深度特征对应的分类得分，以及步骤5中得到的微纹理特征对应的分类得分，进行决策层的融合，得到最终的活体检测置信度分值，并与测试集中最大检测精度对应的检测阈值比较，最终完成待检图像是否为活体的判断；

在决策层采用线性融合模型，融合两个特征对应的分类得分；

所述步骤3中采用非平行无校正双目深度算法是指：计算每个关键点的初始深度，根据双目摄像机的内参数矩阵，旋转矩阵及平移矩阵，结合人脸关键点在左、右图像中对应的像素齐次坐标，根据投影法求解得到左、右相机坐标系下人脸关键点的Z坐标值，所述Z坐标值即为关键点的深度。

2.根据权利要求1所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤3中采用人脸结构配准及配准优化迭代算法是指：对所有关键点进行模板脸配准的模板脸是在训练过程中确定，其中结构配准算法的思想是经过若干次配准变换后，使得待检人脸中每个三维抽象关键点与模板脸中对应点的误差和最小；

使用基于单位四元组的定向点集配准算法求使得配准误差和最小的平移向量、旋转矩阵及尺度因子，得到待检人脸的配准变换参数后，对待检人脸的每个抽象三维关键点进行第一次配准变换；最终得到结构配准后的归一化深度特征向量，送入双目深度特征分类器进行分类，得到分类得分，记为score_depth。

3.根据权利要求1至2中任一项所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤3包括：

步骤3.1：训练过程中选取20对正对摄像头拍摄的真人脸图像；

在配准前，每个关键点的深度值需归一化，此时，将每个关键点扩展为抽象三维关键点，前两维是关键点在左、右图像中的空间坐标，第三维是该关键点的归一化深度：p:[xl,yl,d]^T，p为添加深度维度后的三维抽象关键点，d为关键点归一化深度值，xl表示三维抽象关键点在左、右图像中x方向的像素坐标，yl表示三维抽象关键点在左、右图像中y方向的像素坐标；每个待检人脸均为68个深度归一化后的三维抽象关键点的集合，模板脸同样是68个三维抽象关键点的集合，其中模板脸中每一个抽象三维关键点的x、y坐标是20个对应抽象三维关键点的x、y坐标的平均值，深度坐标是20个对应抽象三维关键点的归一化深度值的平均值；T表示两个摄像机坐标系间的平移矩阵；

步骤3.2：将每个待检人脸均与模板脸结构配准后再进行分类器的分类。

4.根据权利要求1所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤4包括：

步骤4.1：在完整人脸区域中应用多种LBP算子，计算中心像素点对应的多个LBP特征值；遍历人脸区域的每一个像素，得到LBP特征向量；得到未进行等价模式转化的特征脸，该特征脸的尺寸和归一化后的人脸区域的尺寸相同，但类型为三通道，即该特征脸的每一个像素处的值都是对应人脸区域位置的未进行等价模式转化的LBP特征向量；

步骤4.2：对所述LBP特征向量进行等价模式转换，等价模式转化后的LBP特征脸，同时保留了空间位置信息以及纹理特征信息，作为底层特征描述子。

5.根据权利要求1所述的双目视觉深度特征与表观特征相结合的人脸活体检测方法，其特征在于，所述步骤5包括：

步骤5.1：使用K均值聚类算法得到长度为256的特征码书，BOF编码模型将LBP特征脸中每一个像素对应的LBP特征向量进行编码，得到尺寸相同的BOF码字特征脸；

使用K-means聚类算法，训练得到容量为256的特征码书，BOF编码模型将MSLBP特征脸中每一个像素对应的MSLBP特征向量进行标量编码，即MSLBP特征向量的归类，得到BOF码字特征脸；

步骤5.2：采用空间金字塔模型进行尺度划分，进一步编码得到最终的高层特征描述子：微纹理特征；将图像空间化为不同的尺度，在每个尺度下的每个子区间内，统计各自归一化BOF码字直方图，乘以不同尺度所对应的不同的特征权重，最后将所有子区间的特征直方图进行拼接，得到微纹理特征向量；将微纹理特征向量送入微纹理特征分类器进行分类，获得微纹理特征对应的分类得分，记为score_texture。

Images