CN106446772A - 一种人脸识别系统中的防欺骗方法 - Google Patents

Abstract

本发明公开了一种人脸识别系统中的防欺骗方法，步骤1、得到人脸灰度图；步骤2、对步骤1中获得的人脸灰度图的像素点进行等价特征编码后，直方图统计得到59维ULBP特征向量；步骤3、对人脸灰度图四级Haar小波分解；步骤4、将特征向量拼接后，送入训练好的SVM分类器，通过决策函数预测标签；步骤5、为了训练和测试能够判别人脸欺骗的SVM分类器，需要收集一组正、负人脸样本；步骤6、对SVM进行训练，然后用步骤5中的测试集对三个训练好的SVM测试，选出一种性能最好的核函数的SVM，进行真假人脸图像的判别。与现有技术相比，本发明最大的优势是计算复杂度小，节省了时间和空间的消耗；人脸防欺骗性能优良，能够用来保障人脸识别系统的安全性。

Description

一种人脸识别系统中的防欺骗方法

技术领域

本发明属于人脸识别技术领域，特别是涉及人脸识别中的防欺骗技术。

背景技术

目前，中国招商银行深圳总行首次引进“刷脸取款”ATM机，无需插卡取卡。然而“刷脸”也只是一个辅助的验证手段，还需手机号码和取款密码配合才能完成业务。这是由于在实际环境中的人脸识别系统，如门禁、海关安检等都极易受到非法用户的虚假攻击，主要包括四种欺骗类型：照片人脸、屏幕显示人脸、人脸视频和3D人脸模型。在人脸识别系统中，对于人脸防欺骗技术的研究显得尤为重要。

近年来，国内外的许多研究机构对人脸防欺骗技术进行了大量的研究，主要包含四类方法：1)基于图像特征差异的方法：利用人脸图像的二维傅里叶频谱，但这易受光照条件、照片扭曲等影响；提取人脸的多规模LBP；融合LBP、DOG等多种特征；利用动态相关模型对视频预处理，提取包含动态信息最多的人脸图片的特征等。这些方法提取的特征维数都比较大，增加了时间、空间的开销，计算复杂度大。2)基于运动信息的方法：采用Adaboost算法的眼睛开合度计算方法，将不同的眨眼动作嵌入到条件随机场人眼模型中，获取了较高的眨眼检测率；将人脸检测和光流估计结合到一起。这些方法虽然理论上简单，但追踪人脸的多帧图像增加了检测时间，并且需要用户的高度配合。3)基于重建人脸三维信息的方法：从头部运动中被跟踪估计的特征点估计三维深度坐标值，但该方法对刻意弯曲变形的人脸照片识别性差；运用三维扫描仪重建出人脸三维结构，虽然防欺骗性能很好，但成本高，泛化能力不强。4)基于多光谱的方法： 在不同的光照条件下估算真假人脸的反射率，并通过Fisher线性判别法分析判断；根据皮肤和非皮肤的反射曲线的不同判别真假人脸。这都需要额外设备的辅助，在普通的人脸识别系统上无法大力推广。

发明内容

为了克服目前的防欺骗技术的算法复杂度通常比较大的不足，本发明提出了一种人脸识别系统中的防欺骗方法，利用等价局部二值模式和Haar小波分解的方法，提取人脸图像的微纹理特征训练SVM分类器判定真假人脸图像。

本发明提出了一种人脸识别系统中的防欺骗方法，该方法包括以下步骤：

步骤1、对输入用户视频进行帧图像截取后，利用Viola-Jones检测器定位用户帧图像的人脸得到人脸灰度图；

步骤2、对步骤1中获得的人脸灰度图的像素点进行等价特征编码后即下述公式中P是8，R是1直方图统计得到59维的特征向量(称为ULBP特征向量)，是一个有59个元素的行向量，记为F₅₉；特征编码的计算公式如下：

其中的

式中，c表示中心像素点，h表示中心点的邻域像素点，g_h为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径，表示中心像素点c处的特征值；U(LBP_P,R)为0、1之间跳变的次数，计算公式如下：

式中，g_P-1表示标号为P-1的邻域像素点的灰度值，P＝8代表八个点的标号是0至7，g_h-1表示标号为h-1的邻域像素点的灰度值，h的取值是从1至7循环，g₀表示标号为0(其实就是第一个邻域像素点)的灰度值，g_c表示中心像素点的灰度值；

步骤3、对人脸灰度图四级Haar小波分解，提取h1、v1、h2、v2、h3、v3、h4、v4的系数矩阵的均值和方差作为特征向量，记为F₁₆，设表示像素为M×N的一幅二维人脸图像，根据S.Mallat的多分辨率理论对其进行Haar小波分解：计算公式如下：

式中，h(n)为低通滤波器，具有平滑作用，得到图像的平滑逼近；g(n)为带通滤波器，具有差分作用，得到图像的高频成分；L为小波分解级数，取值4表示四级的Haar小波分解；为上一级分解得到的低通分量；为下一级分解的四个图像分量，用来表示整幅图像的平均值和不同分辨率下的细节系数；h(n)、g(n)通过有紧支集的Haar小波基来构造；

步骤4、将步骤2和步骤3的特征向量F₅₉和F₁₆拼接后，得到最终的75维特征向量，记为F₇₅，计算公式如下：

F₇₅＝[F₅₉,F₁₆]

送入训练好的SVM分类器，通过决策函数预测标签；

步骤5、为了训练和测试能够判别人脸欺骗的SVM分类器，需要收集一组正、负人脸样本；

步骤6、利用步骤5中的训练集对SVM分别进行基于多项式核、径向基核和Sigmoid核的训练，训练结束后，得到三种核函数类型的SVM模型，分别产生三个训练准确率。，然后选取步骤5中的训练准确率最高的SVM模型，返回步骤4，在测试集上进行真假人脸图像的判别。

与现有技术相比，本发明首次使用基于Haar小波分解和ULBP的方法，实验结果表明本发明对打印或冲洗的照片人脸样本最高准确率能够达到99.96％、AUC为1，相较于之前的基于微纹理特征的方法，最大的优势是计算复杂度小，节省了时间和空间的消耗；从总体上来讲，本发明的人脸防欺骗性能优良，能够用来保障人脸识别系统的安全性；具有易采集、隐蔽性、与用户交互少等特点，实现了在时间、空间代价小的前提下对假冒照片人脸图像的高效检测。

附图说明

图1为ULBP特征提取提取过程示意图；

图2为Haar小波一级及四级分解子带图；

图3为本发明的一种人脸识别系统中的防欺骗方法的整体框架图；

图4为人脸防欺骗算法框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，为人脸图像的ULBP特征提取过程，该过程包括：首先从一段人脸视 频中获得人脸帧图像，进行人脸定位处理，对人脸灰度图中的像素点进行等价LBP₈,ri₁u2编码，然后统计直方图特征向量，直至获得LBP等价模式特征向量。

将获取的人脸灰度图进行等价二值模式(ULBP)编码，ULBP是对每个像素点LBP(P,R)编码且最多只包含两次跳变的模式，它比后者的维数小，能够解决数据量过大导致的直方图稀疏的问题，其计算公式如下：

式中：g_p为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径，表示中心像素点c处的ULBP特征值。其中的代表0、1之间跳变次数。

通过式(1)对人脸图像的像素点编码后，统计直方图特征向量。本发明采用的是ULBP中的等价模式。

如图2所示，为对人脸图像进行Haar小波标准分解得到的子带图。低频区域a集中原始图像的主要信息和能量，高频区域h、v、d分别包含图像水平方向、垂直方向、对角线方向的灰度变化信息和边缘信息。

本发明的最佳实施方式详述如下：

步骤1、首先在用户面向摄像头并保持自然的姿态后，调用Viola-Jones人脸检测器，并将recall阀值设到75％，检测用户人脸，定位出人脸框图后归一化到96*96大小的RGB模型图片，然后进行灰度转换；

步骤2、对步骤1中获得的人脸灰度图的像素点进行等价特征编码后，直方图统计得到59维ULBP特征向量，记为F₅₉；

步骤3、对人脸灰度图四级Haar小波分解，提取h1、v1、h2、v2、h3、v3、h4、 v4的系数矩阵的均值和方差作为特征向量，记为F₁₆，共计16维，为一个有16个元素的行向量；

步骤4、将步骤2和步骤3的特征向量F₅₉和F₇₅拼接后，得到最终的75维特征向量，记为F₇₅，共计75维，送入训练好的SVM分类器(标签是1表示是正样本，真实人脸；0表示是负样本，假冒照片人脸)，通过决策函数预测标签；

步骤5、为了训练和测试能够判别人脸欺骗的SVM分类器，需要收集一组正、负人脸样本。本发明所使用的样本采用在“一种应用于人脸识别的活体检测方法及系统”发明中所收集的样本，正样本使用网络摄像头收集的9个真人人脸的图像序列，负样本是使用正样本的照片(四寸照片和五寸照片两种大小以及打印机打印和传统冲洗两种质地)采集得到的图像序列。随机选取四个人的正、负样本作为训练集，其余的作为测试集；

步骤6、利用步骤5中的训练集对SVM分别进行基于多项式核、径向基核和Sigmoid核的训练，SVM采用libSVM工具箱，通过设置参数“option-t”是用来选择核函数类型：设置为1，表示是多项式核；2是径向基核函数；3是sigmoid核，其他参数设置：惩罚因子c设为20，核函数半径g设为1.5。训练结束后，会得到三种核函数类型的SVM模型，分别产生三个训练准确率；然后选取步骤5中的训练准确率最高的SVM模型，返回步骤4，在测试集上进行真假人脸图像的判别。由于本发明源于二次采集的因素，假冒人脸图像会存在局部高光、图像模糊、噪声干扰等因素。本发明充分利了用二者在经过成像系统后所表现的局部微纹理差异，淡化了判别价值不大的平滑区域的影响。

在对步骤1得到的人脸灰度图分解前，需要确定其分解的级数。

设表示像素为M×N的一幅二维人脸图像，根据S.Mallat的多分辨率理论对其进行Haar小波分解：

上式中：h(n)表示低通滤波器，具有平滑作用，得到图像的平滑逼近；g(n)表示带通滤波器，具有差分作用，得到图像的高频成分；L是小波分解级数；代表上一级分解得到的低通分量；代表下一级分解的四个图像分量，用来表示整幅图像的平均值和不同分辨率下的细节系数；h(n)、g(n)通过有紧支集的Haar小波基来构造。

在公开的NUAA库上实验，随机选取NUAA库中的六个人的真假照片作为训练集，共计5802张，余下九个人的真假照片作为测试集，共计7107张。这样选择，可以有效地避免训练集和测试集因样本重复而造成实验结果不具有说服力。将式(2)、(3)、(4)、(5)中的L分别设置为1、2、3、4、5，可得到的一到五级Harr小波分解子图。对上述训练集、测试集中的人脸样本分别提取一到五级的高频子带图系数矩阵的均值与方差作为特征向量训练SVM和测试。实验发现，综合一到四级的特征向量时的检测性能最好，本发明选择的级数是四。

Claims (1)

1.一种人脸识别系统中的防欺骗方法，其特征在于，该方法包括以下步骤：

步骤1、对输入用户视频进行帧图像截取后，利用Viola-Jones检测器定位用户帧图像的人脸得到人脸灰度图；

步骤2、对步骤1中获得的人脸灰度图的像素点进行等价特征编码后即下述公式中P是8，R是1直方图统计得到59维的特征向量(称为ULBP特征向量)，是一个有59个元素的行向量，记为F₅₉；特征编码的计算公式如下：

${\mathrm{LBP}}_{P,R}^{riu2}=\left\{\begin{array}{cc}\underset{h=0}{\overset{P-1}{\Σ}}s(g_h-g_c)& ifU\left({\mathrm{LBP}}_{P,R}\right)\≤2\\ P+1& otherwise\end{array}\right.$

其中的

式中，c表示中心像素点，h表示中心点的邻域像素点，g_h为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径，表示中心像素点c处的特征值；U(LBP_P,R)为0、1之间跳变的次数，计算公式如下：

$U\left({\mathrm{LBP}}_{P,R}\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+\underset{h=1}{\overset{P-1}{\Σ}}|s(g_h-g_c)-s(g_{h-1}-g_c)|;$

式中，g_P-1表示标号为P-1的邻域像素点的灰度值，P＝8代表八个点的标号是0至7，g_h-1表示标号为h-1的邻域像素点的灰度值，h的取值是从1至7循环，g₀表示标号为0(其实就是第一个邻域像素点)的灰度值，g_c表示中心像素点的灰度值；

步骤3、对人脸灰度图四级Haar小波分解，提取h1、v1、h2、v2、h3、v3、h4、v4的系数矩阵的均值和方差作为特征向量，记为F₁₆，设表示像素为M×N的一幅二维人脸图像，根据S.Mallat的多分辨率理论对其进行Haar小波分解：计算公式如下：

$C_0^{L+1}=\underset{m}{\Σ}\underset{n}{\Σ}h\left(m\right)h\left(n\right)C_0^L(m+2i,n+2j)$

$C_1^{L+1}=\underset{m}{\Σ}\underset{n}{\Σ}h\left(m\right)g\left(n\right)C_0^L(m+2i,n+2j)$

$C_2^{L+1}=\underset{m}{\Σ}\underset{n}{\Σ}g\left(m\right)h\left(n\right)C_0^L(m+2i,n+2j)$

$C_3^{L+1}=\underset{m}{\Σ}\underset{n}{\Σ}g\left(m\right)g\left(n\right)C_0^L(m+2i,n+2j)$

式中，h(n)为低通滤波器，具有平滑作用，得到图像的平滑逼近；g(n)为带通滤波器，具有差分作用，得到图像的高频成分；L为小波分解级数，取值4表示四级的Haar小波分解；为上一级分解得到的低通分量；为下一级分解的四个图像分量，用来表示整幅图像的平均值和不同分辨率下的细节系数；h(n)、g(n)通过有紧支集的Haar小波基来构造；

步骤4、将步骤2和步骤3的特征向量F₅₉和F₁₆拼接后，得到最终的75维特征向量，记为F₇₅，计算公式如下：

F₇₅＝[F₅₉,F₁₆]

送入训练好的SVM分类器，通过决策函数预测标签；

步骤5、为了训练和测试能够判别人脸欺骗的SVM分类器，需要收集一组正、负人脸样本；

步骤6、利用步骤5中的训练集对SVM分别进行基于多项式核、径向基核和Sigmoid核的训练，训练结束后，得到三种核函数类型的SVM模型，分别产生三个训练准确率。，然后选取步骤5中的训练准确率最高的SVM模型，返回步骤4，在测试集上进行真假人脸图像的判别。