CN103886301B - 一种人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种人脸活体检测方法，包括如下步骤：S1、获取人脸图像；步骤S2、根据所述人脸图像确定与该人脸图像对应的身份信息；步骤S3、采用人脸活体检测分类器判断所述人脸图像是否是所述身份信息对应的特定人的真实人脸图像，其中，人脸活体检测分类器针对特定人单独进行训练，即每个注册人员对应一个人脸活体检测分类器。此外，本发明还提出人脸样本合成算法为注册人员合成真实人脸样本和/或假人脸样本，可以应用于训练样本稀少或缺省的场合。本发明能够很自然地与人脸识别系统整合。在不增加系统运算负担的同时，能够有效地解决传统人脸活体检测方法的不足。

Description

一种人脸活体检测方法

技术领域

本发明涉及计算机视觉和模式识别领域，特别涉及了生物特征识别领域中的人脸活体检测方法。

背景技术

目前，生物特征识别技术已经被广泛地应用于日常生活中的方方面面。人脸生物特征识别技术，由于具有方便易用，用户友好性，非接触式等优点，在近年来取得了突飞猛进的发展。这些发展体现在了各个研究领域，包括人脸检测，人脸特征提取，分类器设计以及硬件设备制造等。然而，基于人脸的生物特征识别在应用层面上依然面临着一些考验。其中，最为突出的就是识别系统的安全性问题。作为一种用于身份识别的装置，它们很容易被一个非法分子假冒成合法的用户欺骗。目前的大部分人脸识别系统都无法区分真实的人脸和照片。只要获取到了合法用户的照片，那么就能轻而易举地骗过这类识别系统。如今发达的社交网络让这个攻击方式变得异常容易。此外，用录制的视频或者伪造的面具均可能对人脸识别系统产生攻击。

目前，人脸防伪，亦称人脸活体检测，逐渐受到了来自学术界和工业界的重视。人脸活体检测的主要目的是区分真实人脸和上述伪造人脸的图像，识别来自假人脸图像对人脸识别系统的攻击，从而提高人脸识别认证系统的安全性。根据使用的线索不同，我们可以将人脸活体检测方法分成四大类：

1、基于人机交互的人脸活体检测方法：这类方法旨在通过检测人脸的生理反应来判定采集的是否为真实人脸。考虑到真实人脸和伪造人脸相比，有更多的自主性，这类方法通过要求用户进行指定的动作作为判定的依据。常用的交互方法包括眨眼，摇头，嘴部动作等等。除基于局部运动的检测方法之外，还有一类方法是基于整个头部的动作进行判断的。这类方法有效的原因在于照片和人脸的三维结构存在明显的差异，使得获取的头部运动模式也存在一定的差异。以上方法虽然能够在一定程度上区别真假人脸，但是假人脸的生成方式多种多样，可以找到多种攻破方式对这些方案进行攻击，如录制的人脸视频片段。考虑到这些可能存在的缺陷，一种基于多模态的活体检测方法被提出，该方法要求用户阅读指定的文本内容，随后通过分析用户的嘴唇动作和相应的语音内容是否吻合来判断人脸的真伪。然而，这种基于人机交互的活体检测方法由于要求用户进行特定的动作，对用户的要求过高，使得用户体验不佳。同时，认证时间较长也是上述方法的一大弊端。

2、基于皮肤反射特性的人脸活体检测方法：从人脸皮肤的反射特性出发，一些研究者利用多光谱采集手段进行活体检测。利用真人皮肤和伪造的人脸皮肤两者在不同光谱下的反射率不同这一特点，达到活体检测的目的。这类方法的研究内容是找到合适的光谱，使得真假人脸皮肤的差异最大。然而，这类方法有以下几个明显的不足：1)仅在非常少量的数据上测试，因此无法对性能进行全面评估；2)选取的光谱波段无法通过常用的摄像头感应，需要部署特殊的感光器件，增加了硬件开销；3)额外的感光器件需要开发有针对性的信号转换电路，增加了与现有系统的兼容性问题。

3、基于纹理差异的人脸活体检测方法：基于微纹理的活体检测方法有以下假设：同一设备采集伪造人脸和用该设备采集的真人脸相比存在细节丢失或差异，而这些细节上的差异就引起了图像微纹理上的差异。该假设在大多数情况下是成立的。伪造的人脸是通过使用真实人脸图片制作而成。以打印的照片为例，非法用户首先将照片打印在纸张上，然后将打印的人脸照片摆放在人脸识别系统前进行攻击。在这个过程中，至少会有两个环节造成差异，一是打印环节，打印机不可能不失真地复现照片内容；二是打印照片的二次成像，采集设备不可能将照片上的内容完美捕捉。除此之外，真实人脸和打印人脸在表面形状上的差异，局部高光的差异等等，都会造成两者在微纹理上的差异。

4、基于多线索融合的人脸活体检测方法：除了上述三种不同的活体检测方法之外，还有一类方法在尝试融合多种不同的线索。其中，较为常见的方法是将运动信息和纹理信息相结合用于活体检测。这类方法考虑到基于纹理的方法无法处理高质量的攻击，同时基于运动分析的方法也不能完全保证活体检测的正确性。但是两种方法在机理上存在一定的互补性。通过两者的融合之后，活体检测变得更加鲁棒。

如上所述的人脸活体检测方法，能够在一定程度上减少人脸识别系统被非法用户攻击的可能性。然而，所有上述方法都会面临两个问题。在上述方法中，所有注册人员的真人脸被当成一类，假人脸被当成一类来训练一个二元分类器。然而，由于不同注册人员本身的外貌差异，真人脸样本和假人脸样本的类内差异过大，导致训练出来的活体检测分类器性能不均衡，即对某些注册人员的分类性能很好，而对某些注册人员的分类性能极差。此外，这种活体检测分类器对新注册人员的适应能力也较弱。根据多篇文献中的实验结果，使用活体检测分类器对新的注册人员和已注册人员的人脸样本进行活体检测时，前者的性能与后者的性能相比明显变差。而如果在每次在新注册人员的样本加入到数据库中之后，为其重新训练该活体检测分类器的代价是相当之大的。随着数据库中的数据量的增长，训练分类器所使用的样本数量也会逐渐增加，致使后续的训练过程非常耗时。这种训练模式对人脸活体检测系统的应用和推广是相当不利。为了解决上述两个问题，需要提出一种新的活体检测思路，以提高活体检测的实用性，从而助于活体检测模块在人脸识别系统的推广。

发明内容

(一)要解决的技术问题

本发明提出一种面向特定人脸的活体检测方法。该方法将人脸识别和人脸活体检测进行有机结合，旨在解决传统活体检测方法对注册人员检测效果差异较大，对新注册人员适应能力较弱的缺点与不足。目前的人脸活体检测方法均是使用可获得的所有注册人员的真实和假人脸样本分别作为一类，并训练得到一个活体检测器。然而，由于不同注册人员之间存在明显的外貌差异，训练得到的活体检测器很难对所有的注册人员均有较好的性能。此外，当有新注册人员加入时，传统活体检测方法可能需要使用所有人脸样本重新训练活体检测器。由于训练样本数量和样本特征维度较高，活体检测器的重新训练往往有很高的时间复杂度。

(二)技术方案

本发明公开了一种特定人脸活体检测方法。该方法为每个注册人员分别训练活体检测器。在测试过程中，首先对新采集的人脸图像进行身份识别，随后使用该身份对应的活体检测器对人脸图像进行活体检测。同时，本发明还公开了一种样本合成算法。该算法为注册人员合成无法获取的真实或假人脸样本，以供特定人脸活体检测器的训练。

(三)有益效果

本发明提出的方法与传统的活体检测方法相比有几个明显的优势。首先，和传统的活体检测方法不同，本方法首先对输入的人脸图像的身份进行确认，随后再使用为该身份所对应的分类器进行活体检测。它通过为每个注册人员单独训练活体检测分类器，能够有效地避免了不同注册人脸的相貌差异对活体检测性能带来的不利影响。同时，在有新的注册人员加入到数据库中时，只需要为该注册人员训练特定的活体检测器，大大降低了训练分类器所花费的时间代价。此外，该方法考虑到实际应用中获取大量人脸训练样本的困难性，使用样本合成算法合成无法直接获取的训练样本，能够很自然地与现有的人脸识别系统进行整合。

附图说明

图1为本发明提出的面向特定人脸的人脸活体检测方法的流程图；

图2为本发明提出的基于人脸图像变换的样本合成算法流程图；

图3为本发明提出的基于人脸图像特征变换的样本合成算法流程图。

具体实施方式

本发明提出的面向特定人脸的人脸活体检测方法使用特定的人脸活体检测器对人脸图像进行活体检测以判断该人脸图像是否采集自真实人脸。该方法为每一个注册人员训练一个人脸活体检测器。根据人脸识别引擎或者用户给出的身份信息，人脸图像被输入到对应的活体检测器进行真伪判断。

图1为本发明提出的面向特定人脸的人脸活体检测方法的流程图。如图1所示，其主要包括如下步骤：

步骤S1、获取人脸图像；

步骤S2、根据所述人脸图像确定与该人脸图像对应的身份信息；

步骤S3、采用一个人脸活体检测分类器判断所述人脸图像是否是所述身份信息对应的特定人的真实人脸图像，其中，该人脸活体检测分类器是针对所述特定人单独进行训练得到的。

在所述步骤S2中，可以提取所述非特定人的人脸图像的特征，并根据该图像特征来确定与该人脸图像对应的身份信息，也可以由用户直接给定与所述非特定人的人脸图像对应的身份信息。

在所述步骤S3中，人脸活体检测器是针对每个注册人员单独训练的人脸活体检测器，并且，在针对特定注册人员的人脸活体检测器的训练过程中，该特定注册人员的真实人脸样本作为一类训练样本，该特定注册人员的假人脸样本作为另一类训练样本。

在人脸识别系统中，注册人员的真实人脸样本在注册时便可获取，而假人脸样本需要繁琐的制作过程，相对不易获取。如果注册人员没有对应的假人脸图像，则无法训练面向该注册人员的活体检测器。而在另外一些应用场合，注册人员的假人脸样本可以轻易获取，而获取相应的真人脸样本需要真人在现场采集，导致某些注册人员的真人脸样本数量较少甚至缺失。因此，本发明提出使用人脸样本合成算法为所述特定注册人员合成真实训练样本和/或假训练样本。该算法使用数据库中已有的真实/假人脸样本和新注册人员的人脸样本来合成新注册人员的缺省人脸样本。为方便描述，假设既有真人脸样本，又有假人脸样本的注册人员为参考人员；而只有真人脸样本或假人脸样本的注册人员为目标人员。基于该算法，尽管无法获取某些注册人员的部分人脸样本，我们依然可以使用合成的人脸样本来训练面向该特定注册人员的人脸活体分类器。特别的，所述人脸样本合成算法的样本合成的方式是基于人脸图像的样本合成或基于人脸图像特征的样本合成。

本发明的一种实施方式是，所述样本合成算法基于参考人员的真实人脸样本和假人脸样本，以及特定注册人员的真实人脸样本合成特定注册人员的假人脸样本。下面分别描述上述步骤S1～S3中的人脸图像特征提取，人脸样本合成的算法以及人脸活体检测器的训练。

1、人脸图像特征提取

我们可以从人脸图像中提取不同类型的特征，如颜色特征，纹理特征等。其中颜色特征可以提取自不同的颜色空间，如RGB，HSI，HSV，YCbCr颜色空间等。同时，颜色特征可以是颜色直方图，也可以是原始图像。而纹理特征也可以有多种选择，如局部二元模式(LocalBinary Patter，LBP)，局部相位量化(Local Phase Quantization,LPQ)，高斯差分(Difference of Gaussian,DOG)，梯度直方图特征(Histogram of Oriented Gradient,HOG)等。我们以较为常用的两种纹理特征，即LBP和HOG特征说明我们提出的方法的具体流程。具体地，首先使用一个常规的人脸检测器定位视频中的人脸区域，得到的图像的宽高表示为w×h。随后，所有人脸图像被缩放到统一宽高120×140。在缩放后的人脸图像上提取得到一个833维的LBP特征。为了提取HOG特征，将人脸区域分成6×7个胞元，每个胞元的大小为20×20。同时，为了减低计算量，没有对每个block中的HOG特征进行归一化。因此，从人脸图像上提取的HOG特征的维度为42×9＝378。在使用这些特征进行训练分类器之前，对其进行二范数归一化。

2、人脸样本合成

对于没有人脸样本的注册人员，需要为其合成人脸样本。本发明中样本合成包括人脸图像合成和人脸特征合成两种方式。图2和图3分别展示了基于样本图片合成和基于样本特征合成的算法流程。具体地，图2展示的人脸图片合成算法的步骤包括：(1)获取人脸图像，并将人脸图像转换成一维向量；(2)计算参考人员与目标人员之间的人脸图像样本之间变换关系；(3)基于人脸图像之间的变换关系，为目标人员合成相应的人脸图像。与人脸图片合成不同，人脸特征合成算法需要首先对人脸图像进行特征提取，随后在特征空间中估计参考人员与目标人员的人脸样本之间的变换关系，并使用该变换关系合成目标人员相应的人脸图像特征。如前所述，在人脸样本特征合成算法中，有多种人脸特征可供选取。

接下来，我们以假人脸样本特征合成为例来阐述本发明提出的样本合成方法。我们假设新加入的注册人员只有真人脸样本，没有假人脸样本。那么，我们需要为其合成假人脸样本。需要指出的是，我们也可以用同样的样本合成方法为注册人员合成真人脸样本。具体地，在特征空间中首先估计出参考人员的真人脸样本和目标人员的真人脸样本在特征空间中的变换，随后利用该变换将参考人员的假人脸样本映射到特征空间的相应位置。

为了描述方便，将一张真人脸图像表示为X＝{x₁,x₂,…,x_k}^T，一张假人脸样本表示为y＝{y₁,y₂,…,y_k}^T。一个注册人员的所有人脸样本表示为{A,B}，其中A＝{X₁,X₂,…,X_m}，B＝{Y₁,Y₂,…,Y_n}分别表示m张真人脸和n张假人脸。样本合成算法基于两个假设：1)在特征空间中，如果两张来自不同人员的人脸在相似的条件下采集，那么他们在空间中可以用一个线性变换来相互转换；2)两个人员的真人脸在特种空间中的变换和他们的假人脸的变换是相同的。第一个假设可以通过数学公式描述如下：

$X_i=P_A^{ij}{X}_j+q_A^{ij}---\left(0.1\right)$

上式中的X_i和X_j是在同一条件下采集的两个人员的真人脸样本特征；和是从X_j到X_i的变换矩阵及偏移量。假设A_i和A_j中的样本已经匹配上了，这意味着两个特征集中对应元素采集条件相同。那么，公式(1.1)可以被扩展成：

$A_i=P_A^{ij}{A}_j+Q_A^{ij}---\left(0.2\right)$

上式中的是相应的偏移矩阵，该矩阵的所有列向量都等于类似地，两个人员的负样本之间的变换如下所示：

$B_i=P_B^{ij}{B}_j+Q_B^{ij}---\left(0.3\right)$

上式中的和为相应的变换矩阵和偏移量。其中，中的列向量表示为基于第二个假设，对于任意的两个人员，和相等，且和也相等。为了合成没有观测到的样本的特征，比如B_i，首先根据给定的A_i和A_j，基于公式(1.2)估计出和随后，根据公式(1.3)，使用B_i和已经估计得到的得出B_i。因此，样本合成的关键步骤就是估计出和

在进行样本合成之前，需要对样本进行匹配，即找到采集条件相同或者相似的来自两个注册人员的人脸图像。为了找到两个注册人员相匹配的人脸图像，我们通过最大化所有可能的对应关系下的相似度得到：

$\mathrm{\Φ}(j,j)=\underset{a^i,a^j}{max}\underset{s=1}{\overset{min(m_i,m_j)}{\Σ}}\exp (-\frac{{(x_{a_s^i}^i-x_{a_s^j}^j)}^2}{{\mathrm{\σ}}^2})---\left(0.4\right)$

上式中m_i和m_j为第i和第j个注册人员的真人脸样本的数量；为中的第s个对应关系。上式可以通过奇异值分解(SVD)进行优化。首先，建立一个关联矩阵G，该矩阵的{s_i,s_j}位置的元素等于注册人脸i的第s_i个真人脸样本和注册人脸j的第s_j个真人脸样本之间的相似度。随后，通过SVD方法，将G分解成UΣV^T。将其中的Σ用单位矩阵E代替，便可在G′＝UEV^T中找到在某一行和某一列的最大值，相应的行列号便是要求的最佳对应关系{a_i,a_j}。

以下介绍三种不同的估计和的方法：

1、中心漂移算法：

该算法假设和都是单位矩阵。在这种情况下，公式(1.2)和(1.3)可以转化成：

$A_i=A_j+Q_A^{ij}---\left(0.5\right)$

$B_i=B_j+Q_B^{ij}---\left(0.6\right)$

在公式(1.5)中，只需要根据A_i和A_j估计出为了估计出我们定义优化目标为Frobenius范数：

$L\left(Q_A^{ij}\right)=\left|\right|A_i-A_j-Q_A^{ij}|{|}_F---\left(0.7\right)$

该目标函数的最优解即两个特征集合的中心偏移量：

$q_A^{ij}=c_A^{ij}=\frac{1}{m}(\underset{s_i=1}{\overset{m}{\Σ}}{X}_{s_i}^i-\underset{s_j=1}{\overset{m}{\Σ}}{X}_{s_j}^j)---\left(0.8\right)$

在使用上述的优化方法求得了之后，基于使用公式(1.6)将参考人员的假人脸样本B_j平移到目标人员的假人脸样本处，从而估计出B_i。

2、通用最小二乘法：

该算法弱化了中心漂移算法中的强假设，即它需要中心化后的A_i和A_j是同分布的，且中心化后的B_i和B_j也需要是同分布的。使用最小二乘方法不仅对偏移量进行估计，同时还对变换矩阵进行估计。首先对A_i和A_j进行中心化，得到和随后，将公式(1.2)和(1.3)变换成：

${\stackrel{\‾}{A}}_i=\[P_A^{ij},q_A^{ij}\]\[{\stackrel{\‾}{A}}_j;1^T\]---\left(0.9\right)$

${\stackrel{\‾}{B}}_i=\[P_B^{ij},q_B^{ij}\]\[{\stackrel{\‾}{B}}_j;1^T\]---\left(0.10\right)$

以上两式中1^T是一个所有元素都是1的向量。显然，公式(1.9)可以使用最小二乘法来求解，求得的解为其中当样本的数目小于或者等于特征的维度时，ΛΛ^T是不可逆的。此时，等于其中Λ^-1为Λ的伪逆。基于便可以利用得到随后将其加上得到B_i。

3、偏最小二乘法

除了使用最小二乘法之外，还可使用偏最小二乘方法来求解变换矩阵和偏移矩阵。和直接使用原始特征空间中的样本进行回归不同，偏最小二乘方法通过将原始数据投影到一个隐含空间中，随后再进行回归。具体地，首先对A_i和A_j进行中心化，得到和和随后将其分解成如下形式：

${\stackrel{\‾}{A}}_i^T=T_i{U}_i^T+E_i---\left(0.11\right)$

${\stackrel{\‾}{A}}_j^T=T_j{U}_j^T+E_j---\left(0.12\right)$

上式中T_i和T_j为分数矩阵。U_i和U_j为负载矩阵。随后，基于线性关系T_i＝T_jD^ij+H^ij，可以得到如下变换：

${\stackrel{\‾}{A}}_i^T={\stackrel{\‾}{A}}_j^T{W}_A^{ij}+F^{*}---\left(0.13\right)$

上式中F^*为残差矩阵，为相应的回归系数，具体计算如下：

$W_A^{ij}={\left(P_A^{ij}\right)}^T={\stackrel{\‾}{A}}_j{T}_i{\left(T_j^T{\stackrel{\‾}{A}}_j^T{\stackrel{\‾}{A}}_j{T}_i\right)}^{-1}{T}_j^T{\stackrel{\‾}{A}}_i^T---\left(0.14\right)$

在得到了回归系数之后，使用下式合成第i个注册人员的假人脸样本：

$B_i=P_A^{ij}{\stackrel{\‾}{B}}_j+Q_B^{ij}---\left(0.15\right)$

上式中为中心化之后的B_j，中的所有列向量等于中心漂移向量

通过上述的样本合成方法，我们便可以为注册人员合成假人脸样本。这些假人脸样本将会用于特定人脸活体检测器的训练。

3、人脸活体检测器训练

我们为不同的注册人员单独训练活体检测分类器。我们使用支持向量机(SVM)来解决该二类分类问题。对于参考集中的注册人员，我们直接使用其真人脸和假人脸样本进行训练；而对于无法获取假人脸样本的目标注册人员，我们使用真人脸样本和通过上述的样本合成算法得到的假人脸样本的特征来训练相应的活体检测分类器。这样，每个注册人员都会有一个独立的活体检测器进行活体检测。

如上所述，本发明排除了多个注册人员的真假人脸样本类内差异过大的影响，从而为能够为所有注册人员训练得到分类性能较好的分类器。其次，本发明能够较好地适应数据库中注册人员的增长。我们只需要针对新的注册人员训练活体检测分类器即可。除此之外，该方法能够很好的与人脸识别系统进行结合。人脸识别系统的识别结果可以直接作为该活体检测系统的输入。因此，和传统的活体检测方法相比，该方法没有给人脸识别系统带来额外的负担，却为系统带来了更高的安全性能。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸活体检测方法用于判断人脸图像是否采集自真实人脸，其特征在于，包括如下步骤：

S1、获取注册人员的人脸图像；

S2、根据所述人脸图像确定与该人脸图像对应的身份信息；

S3、采用人脸活体检测分类器判断所述人脸图像是否是所述身份信息对应的特定人的真实人脸图像，其中，该人脸活体检测分类器是针对所述特定人单独进行训练得到。

2.如权利要求1所述的人脸活体检测方法，其特征在于，在所述步骤S2中，通过提取所述人脸图像的特征，并根据该图像特征来确定与该人脸图像对应的身份信息。

3.如权利要求1所述的人脸活体检测方法，其特征在于，所述步骤S2中，人脸图像对应的身份信息可由用户直接给定。

4.如权利要求1所述的人脸活体检测方法，其特征在于，步骤S3中所述人脸活体检测器是针对每个注册人员单独训练的人脸活体检测器，并且，该特定注册人员的真实人脸样本作为一类训练样本，该特定注册人员的假人脸样本作为另一类训练样本。

5.如权利要求4所述的人脸活体检测方法，其特征在于：可使用人脸样本合成算法为所述特定注册人员合成真实人脸样本和/或假人脸样本。

6.如权利要求5中所述的人脸活体检测方法，其特征在于：所述样本合成算法基于参考人员的真实人脸样本和假人脸样本，以及特定注册人员的真实人脸样本合成特定注册人员的假人脸样本。

7.如权利要求5中所述的人脸活体检测方法，其特征在于：所述样本合成算法基于参考人员的真实人脸样本和假人脸样本，以及特定注册人员的假人脸样本合成特定注册人员的真实人脸样本。

8.如权利要求5中所述的人脸活体检测方法，其特征在于：所述人脸样本合成算法是基于人脸图像或人脸图像特征。

9.如权利要求8中所述的基于人脸图像的样本合成方法，其特征在于：使用相应算法为特定注册人员合成真实或假人脸图像。

10.如权利要求8中所述的基于人脸图像特征的样本合成方法，其特征在于：使用相应算法为特定注册人员合成真实或假人脸图像特征。