CN101999900A - 一种应用于人脸识别的活体检测方法及系统 - Google Patents

Abstract

本发明涉及一种可用于基于人脸识别的身份认证应用的反照片欺骗活体检测方法和系统。所述系统包含中频滤波器、频域变换器和分类器三个部分；其中中频滤波器可采用DoG(difference of Gaussian)滤波器，用于对图像进行滤波预处理获取其中的中频带信息；频域变换器可采用傅立叶变换器，用于从预处理过的二维图像中提取出傅立叶变换特征；分类器可采用logistic回归分类器，用于判断身份认证中采集到的图像是真实人脸还是照片人脸。实验结果表明，所述方法及系统在不添加额外的辅助设备、不需要用户的主动配合、实现简单、计算量小且功能独立的情况下，能够很好的解决基于人脸识别的身份认证中照片欺骗的问题。

Description

一种应用于人脸识别的活体检测方法及系统

技术领域

本发明涉及生物模式识别领域中的人脸识别子领域，具体地，涉及在人脸识别系统中如何区分真实的人脸与照片的方法技术；本发明在具体实施方式中还涉及到机器学习领域及图像处理领域。

背景技术

生物特征识别系统的使用安全性是人们普遍关注的问题，人们对生物特征识别系统的信心和接受很大程度上取决于系统的鲁棒性、低错误率和抗欺骗能力。生物特征识别系统中，最常见的欺骗方式是发生在用户界面上。冒名顶替者使用某种具有相同表现形式的假冒特征来入侵系统。

在各种基于生物特征的应用中，人脸识别由于其符合人类自身区分不同人的方式，且对用户友好(即不需要刻意或令使用者反感的配合等)，受到了广泛的欢迎。在人脸识别应用中，合法用户的人脸图片、视频以及三维模型等常被用于身份伪造，而其中照片是最常见的欺骗方式。解决这一问题的方法，通常称为活体检测(liveness detection或者liveness testing)，其目的是判断获取到的生物特征是否来自一个已授权的、有生命的、在现场的、真实的人。

活体检测是生物特征识别系统中检测和拒绝仿冒身份特征的一项重要功能，而照片欺骗是人脸识别中一种最常见的入侵方式，对基于人脸识别的安全系统构成很大的威胁。

现有的应用于人脸识别的活体检测方法及其缺点主要包括：

1、分析真实人脸与照片人脸的图片信息差异，如根据头部的三维深度信息去判断是否是一个真人，这种方法存在活体检测所需的特征不易于捕获，计算时间代价高等缺点；

2、分析真实人脸的非刚性运动变化，如采用线性光学流的方法捕捉三维人脸细微的运动信息，发声时嘴唇部位的动作分析，眼睛区域的变化，头部运动变化等，这些方法需要用户的主动配合或者需要较大的计算时间、空间的开销；

3、采用多模式判别的方法，如分析人脸的红外图像，联合声音识别的方法等，这些方法需要额外的设备。

此外，以上的方法中，还存在不能作为独立的模块，需要改变其他模块才能加入已有的人脸识别系统的问题。

为解决存在的问题，本发明提出了一种可用于基于人脸识别的身份认证应用的反照片欺骗活体检测方法。该方法首先通过中频滤波获取受检图像中的中频带信息，然后通过频域变换抽取所得中频带信息中的特征信息，最后通过分类器辨析受检图像为真实人脸还是照片人脸。具体地，该方法可通过首先对图像进行DoG(difference of Gaussian)滤波的预处理，从预处理过的二维图像中提取出傅立叶变换特征，再采用稀疏logistic回归模型来判断身份认证中采集到的图像是真实人脸还是照片人脸。实验结果表明，本发明提出的方法在不添加额外的辅助设备、不需要用户的主动配合、实现简单、计算量小且功能独立的情况下，能够很好的解决基于人脸识别的身份认证中照片欺骗的问题。

发明内容

本发明涉及一种应用于人脸识别领域的反照片欺骗的方法和系统，结合至少一幅附图对所述方法和系统进行了充分的展现和描述，并在具体实施方式部分结合具体实施例对权利要求书中所述各项内容进行了更加完整的阐述。

本发明所述系统由如图1所示的三个主要模块构成，其中中频滤波器用于获取受检照片或人脸图像信息中的中频带信息，频域变换器用于对获取到的中频带信息做频域变换以便提取关键特征信息进一步处理，分类器用于对处理过的特征信息进行分类判断，得到受检者为照片及真实人脸的概率。具体地，该系统中中频滤波器可采用DoG滤波器，频域变换器可采用傅立叶变换器，分类器可采用logistic回归分类器，如图2所示。该系统既可以独立地处理规整化后的图像信息，也可以作为一个模块直接嵌入到如图3所示的具体应用当中。

在典型的基于人脸识别的身份认证中，人脸图像的成像结果往往受到三方面的影响：

1、人脸的内部特征(如人脸皮肤的反射属性、3D结构属性，人脸表情等)；

2、外部的成像条件(如所处的环境内的光照情况，人脸部存在的饰物、毛发的遮挡等)；

3、图像采集设备的属性(如照相机的焦距、光圈、分辨率等因素)。

如果将采集人脸图像所处环境的光源想象成是理想的点光源，则按照Lambertian模型，人脸的生成图像表示成：

(Ix，y)＝f_c(ρ_(x，y，z)h^T _(x，y，z)s_(x，y，z))

其中，ρ_(x，y，z)是三维空间中人脸表面一点的坐标，h^T _(x，y，z)是人脸表面一点所在平面的法向量，s_(x，y，z)是点光源在人脸表面一点的方向和强度，f_c是摄像头的成像函数，I(x，y)是三维空间中一点(x，y，z)对应的映射到成像平面的图像点。注意到如果人脸识别中采集到的人脸图像是由照片成像的，则成像前的物体是一个平面的物体，照片中的每一点所处平面的法向量可近似为一个固定的常数。即使是照片存在一定程度的向内、向外弯曲和水平方向、垂直方向向内、向外的旋转，其各点所在平面的法向量h^T _(x，y，z)也不符合真实人脸面部的凹凸情况。因此从理论上说，我们可以利用照片成像的这个特点来区分照片和真人图像。

但在实践中，由于人脸表面各点所在平面的法向量不易直接计算，但该量实际反映的是对象表面纹理分布，不同的对象表面纹理对光照反射程度的不同，从而造成不同的成像结果。我们可以利用这一特点来区分照片和真实人脸：真人人脸与照片人脸由于纹理不同而往往在光照反射程度会有很大的不同，进而造成成像差异。在实践中我们可以方便地对采集得到的二维图像进行傅立叶变换来捕捉这种差异。照片人脸、真实人脸及其在频域内的对比示例如图4所示。其中图(a)为照片人脸成像，图(b)为真实人脸成像。从该图中我们可以看出，由于经照片得到的人脸图像是由平面物体成像，因此由照片得到的人脸图像比真实人脸得到的人脸图像含有更少的高频部分信息。

进一步地，考虑到在现实应用场景中，即使照片也可能存在大量高频信息(脸部的痣、眼镜、胡须等遮挡以及照片反光等光照情况而带来的高频噪声等)，极大降低了高频信息的区分能力。但是考虑到照片(或视频)图像在摄像头中的图像实际上是一种二次成像，而现代CCD感光器的主要噪声来源为与光强平方根成比例的短噪声(short noise)，从直观上说，照片二次成像相当于对图像造成更大的模糊效果，即增强了低频信息分布，而损失大量的中频细节信息。换言之，真人图像由于是一次成像因而比照片包含更多的中频细节信息。本发明所述的方法就是基于根据上述事实而得到一个合理的假定：中频带信息可能对照片人脸和真实人脸具有更大的区分能力。

根据上述假定，进一步地，首先需要提取这一部分中频带信息，在本发明所给出的实施例中是利用DoG(difference of Gaussian)滤波器来提取取这部分信息，但并不限于此。

进一步地，对于抽取到的上述信息通过傅立叶变换进行频域变换提取关键特征以便做进一步处理。

进一步地，该方法将反照片欺骗问题视为一个两类分类问题，在本发明所给出的实施例中使用logistic回归作为分类器，但并不限于此。

进一步地，由于在研究活体检测问题中经常会遇到训练集存在严重的类不平衡情况，即往往反例样本(照片人脸)的规模远远大于正例样本(真实人脸)的规模，如此训练的logistic回归器将对反例有极大的偏置。在本发明所给出的实施例中采取了在训练中“提前终止”的技术，即在logistic回归训练收敛之前结束训练的方法，以及调整logistic回归器中的l₁范数正则化球半径的方法来解决这一问题，但并不限于此。

本发明所述方法的流程如图5所示。

附图说明

本发明说明书部分所引用的所有附图具体说明如下，如无特别申明则对该附图均已在其被引用部分做了必要的进一步说明：

图1活体检测系统基本构成

图2活体检测系统具体构成。

图3活体检测模块在具体应用中的嵌入。

图4照片人脸及真实人脸傅立叶频谱的对比，其中(a)为照片人脸及其傅立叶频谱，(b)为真实人脸及其傅立叶频谱。

图5活体检测流程。

图6经过DoG滤波后照片人脸与真实人脸傅立叶频谱的对比，其中(a)为经过DoG滤波后照片人脸的傅立叶频谱，(b)为经过DoG滤波后真实人脸的傅立叶频谱。

图7反例样本采集方式(从左至右分别为：静止、上下旋转、左右旋转、上下弯曲、左右弯曲等五种不同的照片姿态情况)。

图8部分规整化后正、反例样本，其中(a)为规整化后的真实人脸图片序列，(b)为规整化后的照片人脸图片序列。

图9不同l₁范数正则化的球半径对分类器性能的影响。

图10l₁范数正则化的球半径设为4000时，不同的最大迭代次数对分类器性能的影响。

具体实施方式

在本发明所给出的实施例中，活体检测整个流程如图5所示，其具体步骤描述如下：

1、对输入的图片进行人脸检测，截出人脸区域。

2、在截出的人脸区域内进行眼睛定位，即得到双眼在人脸区域中的位置。

3、根据定位得到的眼睛坐标，将人脸图片规整化到64像素×64像素。

4、将经过规整化的灰度人脸区域进行DoG滤波，并在滤波处理后对这些图像采用二维离散傅立叶变换。

在本发明所述实施例中，首先利用DoG(difference of Gaussian)滤波器来对规整化得到的图像进行预处理。DoG滤波器是一种差分高斯滤波器，高斯滤波器是指脉冲响应为高斯函数的一类线性平滑滤波器。在计算机视觉领域中，高斯平滑用来做图像预处理，用于抑制服从正态分布的噪声，也可在不同的尺寸下增强图像的结构。

DoG滤波是一种利用差分高斯滤波获取结果带通的方法，即，在输入图像上采用两种对应不同方差的高斯模糊(Gaussian blur)操作，并求两者相减的差而得到结果，该方法广泛应用于机器视觉领域中。DoG中涉及到的两个主要参数是内外高斯滤波器的方差，分别记为σ₀和σ₁。一般内高斯取值较窄(σ₀小于等于1个像素)，而外高斯σ₁取2-4个像素，取决于实际空间域内的频率信息分布。在本发明的实施例中这两个参数的取值为σ₀＝0.5和σ₁＝1，但并不限于此。其处理效果如图6所示。

在对规整化后的图像进行进行了DoG滤波之后，再对其进行二维离散傅立叶变换以获取关键特征值。

5、为了更好的刻画真实人脸与照片人脸在频率域的统计差异，对经过上述二维离散傅立叶变换的信息再用logistic回归分类器判断是否是真实人脸。

Logistic回归属于一类判别型模型，通过直接最大化类标号的后验概率来学习一个线性分类函数，该分类器性能与线性SVM相当，但与其他线性分类器如SVM不同的是，该方法无需保存任何训练样本，在检测时的效率大大提高。

为了得到反照片欺骗活体检测中的logistic回归分类器，在本发明的实施例中需要收集一组正、反例样本：正例样本是使用网络摄像头收集的若干个真人人脸的图像序列；反例样本是用相应的真人照片采集得到的图像。采样的基本原则是，尽量减少真人人脸所含的动态信息，而增加照片人脸所含有的动态信息。具体要求如下：

1)正例样本中的真人人脸图像应尽可能多地涵盖有无眼镜遮挡以及性别、年龄等变化因素。在采集图像时，每个人都被要求正视网络摄像头，自如眨眼，表情自然，无明显的动作和表情变化。

2)采集反例样本所使用的照片包括多种不同的大小以及打印机打印和传统冲洗等多种不同质地的照片。在所使用的照片中，人脸部区域占整个照片区域的大小应尽可能的大，至少要超过2/3。反例样本应尽可能地涵盖人脸识别中照片欺骗的各种方式：在网络摄像头前，照片保持正对、沿水平轴旋转、沿垂直轴旋转、上下方向的向内向外弯曲、左右方向的向内向外弯曲等等，一些常见的情况如图7所示。在每种情况下，照片还存在上下左右前后的空间位置移动。

3)正、反例样本可使用不同的网络摄像头在不同的地点和不同的时间段内采集，所处环境的光照条件可涵盖不同的情况。正、反例样本的图片采集速度、采集规模以及图像的分辨率等参数可按实际情况设置。一种可行的参数设置如下：正、反例样本的图片序列采集速度为20fps，每组图片采集500张。图片的分辨率为640像素×480像素。

在本发明的实施例中，依照上述要求收集了如下一组正、反例样本：正例样本是使用网络摄像头收集的9个真人人脸的图像序列。反例样本是用这9个人的照片采集得到的图像序列。采集反例样本所使用的照片包括四寸照片(6.8cm×10.2cm)和五寸照片(8.9cm×12.7cm)两种大小以及打印机打印和传统冲洗两种质地的照片。经过人脸检测、眼睛定位后，得到的正例样本为9组真人人脸图片序列，共计3548张真实人脸图片，反例样本为45组照片人脸图片序列，共计21910张照片人脸图片。部分正、反例样本示例如图8所示。

从9组真人图片中随机选取4组，共计1700张图片作为正例训练样本，从45组照片人脸图片中随机选取15组照片人脸图片，共计7243张图片作为反例训练样本。将剩余的、未参加过训练的样本全部作为测试集。

进一步地，稀疏logistic回归中的稀疏度，即不同l₁范数正则化的球半径(radius of l₁ ball)对于正反例样本的检测性能有很大的影响，应用于人脸识别中的反照片活体检测的目的是希望在保证真实人脸的正确检测率的前提下，尽可能的提高照片人脸的正确检测率；而在研究活体检测问题中经常会遇到训练集存在严重的类不平衡情况，即往往反例样本(照片人脸)的规模远远大于正例样本(真实人脸)的规模，如此训练的logistic回归器将对反例有极大的偏置。为了解决这个问题，本发明的实施例中在训练时采用了“提前终止”的技术，即在logistic回归训练收敛之前结束训练。

在本发明的实施例中，我们基于训练数据构建了一个稀疏logistic模型，该模型在传统logistic回归的似然函数函数上增加了一个基于l₁范数的正则化项，以防止模型陷入过拟合。在研究了稀疏logistic回归中的稀疏度，即不同l₁范数正则化的球半径(radius of l₁ ball)对检测性能的影响，实验结果如图9所示。

从该图可以看出，l₁范数正则化强度对于正反例测试样本的检测性能的确有很大的影响，考虑到应用于人脸识别中的反照片活体检测的目的是希望在保证真实人脸的正确检测率的前提下，尽可能的提高照片人脸的正确检测率，在本发明实施例的后续实验中选择l₁范数正则化强度4000，此时照片人脸图片的拒绝率提高到足够的高，接近100％(误接受率低于干分之一)，而真实人脸图片的通过率稳定在≥98％。

由于训练集存在严重的类不平衡问题(正例样本1700，反例样本7243)，如此训练的logistic回归器将对反例有极大的偏置。为了解决这个问题，在本发明的实施例中在训练时采用了“提前终止”技术，即在logistic回归训练收敛之前结束训练。图10中给出了不同的最大迭代次数对分类器性能的影响。

从该图可以看出，当迭代50次时结束训练可以得到较好的泛化能力。而继续训练则将导致true positiverate(即输入真人图片且判断是真人图片的概率)的下降，表明发生了对照片图像的偏置。

为了检验所述方法的效果，本发明的实施例在训练集上训练了logistic模型，然后用1848张真实人脸图片和14667张照片人脸图片进行测试。实验结果如表1所示。

表1活体检测实验结果

其中，True Positive为输入为真实人脸，分类器判断为是真实人脸的概率；False Positive为输入为照片人脸，分类器判断为是真实人脸的概率；True Negative为输入为照片人脸，分类器判断为是照片人脸的概率；False Negative为输入为真实人脸，分类器判断为是照片人脸的概率。

从表1中可以看出，采用DoG滤波及稀疏logistic回归方法达到了很高的正确检测率，能够很好的解决人脸识别中的照片欺骗问题。

本发明通过上述实例对所述方法及系统进行了详细的阐述，在本发明所给出的实施例中是通过DoG滤波器对受检图像进行中频滤波，通过傅立叶变换器对滤波后所得中频信息进行频域变换抽取特征信息，并通过logistic回归分类器判断受检图像为真实人脸还是照片人脸的概率。本领域的技术人员应该明白，在不脱离本发明范围的情况下，上述环节的实现方法并不限于此，因此本发明并不局限于所公开的对上述环节的具体实现方法，而应当包括落入本发明范围内的全部对于上述环节的实现方法。

Claims (2)

1.一种应用于人脸识别领域的反照片欺骗方法，其特征在于：

该方法通过对受检图像进行滤波处理获取其中的中频带信息，并进行频域变换抽取其中的特征信息，之后通过分类模型辨析受检图像为真实人脸还是照片人脸。

进一步地，该方法可采用基于DoG滤波、二维离散傅立叶分析和稀疏logistic回归分类的算法进行反照片欺骗处理。

具体地，该方法可首先通过对图像进行DoG(difference of Gaussian)滤波的预处理，留下具有更大的区分能力的中频带信息；然后，可采用离散傅立叶变换提取特征，最后可使用稀疏logistic回归模型快速、有效地来判断人脸识别系统中采集到的图像是真实人脸还是照片人脸。

2.根据权利要求1所述方法的一种活体检测系统，其特征在于：

该活体检测系统由中频滤波器、频域变换器及分类器三个主要模块构成。

具体地，该活体检测系统可用DoG滤波器作为中频滤波器、傅立叶变换器作为频域变换器以及用logistic回归分类器作为分类器。

该活体检测系统可以作为一个独立的系统使用，也可以作为一个模块嵌入到具体的人脸识别应用中去。

进一步地，该系统可通过DoG滤波器获取图像信息中的中频带信息，之后通过傅立叶变换器提取关键特征，最后通过logistic回归分类器对提取和处理后的特征信息辨析和分类，以达到有效判别所识别的图像为真实人脸还是照片人脸的目的。

Images