CN104966070A - 基于人脸识别的活体检测方法和装置 - Google Patents

Abstract

本发明涉及一种基于人脸识别的活体检测方法和装置。所述方法包括：通过人脸识别对待测人群中的待测用户进行身份认证；获得所述待测用户注视训练视点时的训练眼睛图像，并进一步提取训练视线特征；获得待测用户注视系统随机点时的待测眼睛图像，并进一步提取待测视线特征；对于通过了所述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及所述待测视线特征，采用自适应线性回归算法进行初步视点位置估计；将上述初步视点位置估计出的视点位置中符合预定条件的系统随机点增加到所述训练视点序列中，构成新的视点序列，进行增量的视点位置估计；以及根据增量的视点位置估计所估计出的视点位置，利用KL散度进行活体判断。

Description

基于人脸识别的活体检测方法和装置

技术领域

本发明涉及人脸识别领域，特别涉及一种基于人脸识别的活体检测方法和装置。

背景技术

人脸识别作为近年来兴起的一种身份认证技术，目前取得了极大发展，并在公共安防、考勤门禁、信用卡识别等领域获得了日益广泛的应用。然而，由于传统的人脸识别技术易受到各种虚假人脸，例如照片、视频、甚至3D模型的攻击。而一旦人脸攻击成功，则可能给用户造成重大损失。因此，随着技术的发展和信息安全的需求，在人脸识别系统中加入活体检测越来越受到更多的关注。

与真实的人脸相比，照片中的人脸是平面的，并且存在二次获取带来的质量损失、模糊等缺陷。视频中的人脸则由于视频播放器的缘故而存在LCD反光等现象。3D模型构成的人脸的运动是刚性的运动。根据以上利用照片、视频和3D进行人脸攻击的特点，目前用于人脸识别中的活体检测方法主要有三类：基于运动的方法、基于纹理的方法和基于融合的方法。

其中，基于运动的方法主要是分析图像帧序列的运动趋势，例如通过光流法估计出人脸不同区域的运动趋势来区分真实人脸和照片攻击。对于利用照片进行人脸攻击如前所述由于存在二次获取过程中带来的质量下降、纹理模糊等变化，因此，基于纹理的方法主要是通过找出单帧真实人脸和欺骗人脸的显著性区分特征进行活体判断，例如提取人脸图像的多层LBP(Local Binary Pattern，局部二值模式)特征并使用非线性支持向量机(SVM，Support Vector Machine)进行二分类，以区别真实人脸或欺骗人脸。基于融合的方法则融合了上述基于运动的方法和基于纹理的方法，通过上述两种方法的优势互补来抵御各种形式的人脸攻击。

此外，由于注意力转移的过程具有不确定性，视线行为是一种难以被他人通过摄像头等设备获取的生物信息。此外，视线作为一种生物计量信息，具有不需要用户与设备之间进行身体接触的优势。有鉴于此，视线可以作为一种理想的生物行为而用于人脸识别中的活体检测，从而防止欺骗人脸的攻击。已有的利用视线进行活体检测的方法包括，例如，通过跟踪用户的视线并且用信息熵来判定是否是真实人脸。信息熵值越大，视线运动的不确定性越大，更可能是真实人脸，反之则是欺骗人脸。

然而，在已有的利用视线进行活体检测的方法中，存在检测设备复杂，例如需要采用红外摄像头或音频输入设备等，以及仅对照片攻击有效，对于视线变化的视频攻击没有防御能力等这样或那样的缺陷。

发明内容

因此，有必要提出一种检测精度高且检测设备简单，并能同时抵御照片攻击，包括静止或扭曲照片，以及视频攻击的活体检测方法和装置。本发明即为在以上考虑的基础上，提出一种基于人脸识别的活体检测方法和装置。

一方面，根据本发明的活体检测方法，包括：身份认证步骤，对由N个待测用户构成的待测人群中的每个所述待测用户进行人脸识别，以对待测用户进行身份认证；及训练视线特征提取步骤，设置n个训练视点构成训练视点序列，获得每个所述待测用户注视每一个该训练视点时的H帧训练眼睛图像，并提取其视线特征作为训练视线特征；待测视线特征提取步骤，设置M个系统随机点{Q₁,…,Q_M}，使待测用户注视所述系统随机点并获得注视时的待测眼睛图像，并进一步提取待测视线特征；初步视点位置估计步骤，对于通过了上述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及提取到的所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值；增量的视点位置估计步骤，如果所述初步视点位置估计值所表征视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值；以及活体判断步骤，利用KL散度计算所述增量的视点位置估计值所表征的视点位置及上述系统随机点之间的距离，根据计算出的所述距离进行活体判断。

考虑到眼睛图像采集过程中出现的图像捕获距离的变化和/或微小头部运动，会带来的所捕获的眼睛图像的差异。为减少这种差异带来的图像噪声，提高估计结果的精度，优选对眼睛图像进行对齐等预处理。本发明所述的方法，其中，训练视线特征提取步骤还包括眼睛图像预处理的步骤，用于对所述训练眼睛图像进行内外眼角的检测，并根据所检测到的眼角位置进行眼睛区域的对齐。

优选地，所述训练视线特征提取步骤具体包括：将获取的所述训练眼睛图像均匀划分为若干个子区域；对每一个子区域计算像素的灰度值的和，并归一化处理，每个训练视点位置对应的所述训练视线特征。

替换地，所述方法中，还可采用局部二值模式LBP直方图法获取视线特征，即，所述训练视线特征提取步骤具体包括：将获取的所述训练眼睛图像均匀划分为若干个子区域；对每一个子区域提取局部二值模式LBP直方图，将所有直方图进行串联，得到每个训练视点位置对应的所述训练视线特征。

本发明所述方法中，具体地，利用如下公式(1)计算针对每个待测用户注视每个训练视点时获得的每一训练眼睛图像的所述训练视线特征：

$f=\frac{{\[s_1,...,s_{r\×c}\]}^T}{\underset{j}{\Σ}{s}_j}......\left(1\right)$

其中，r×c为所述训练眼睛图像所划分的所述子区域的数量；s_j为每一个子区域的像素的灰度值的和，j＝1，2，…，r×c。

另外，同样地，所述待测视线特征提取步骤中，利用获得的待测眼睛图像，采用上述公式(1)提取待测视线特征。

进一步地，所述初步视点位置估计步骤中，采用如下公式(2)来估计所述待测用户的初步视点位置估计值

$\hat{w}=\arg \underset{w}{min}{||w||}_{1}s.t.{||Fw-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}}{\&Sigma;}}{w}_i=1......\left(2\right)$

其中，w＝[w₁…w_n′]^T为自适应线性回归算法的系数向量， $F=\&lsqb;f_1^d,...,f_{n^{\&prime;}}^d\&rsqb;\&Element;R^{m\&times;n^{\&prime;}}$ 和 $P=\&lsqb;p_1^d,...,p_{n^{\&prime;}}^d\&rsqb;\&Element;R^{2\&times;n^{\&prime;}}$ 分别表示在所述身份认证步骤中通过了上述身份认证的待测用户的所有训练视线特征的集及其训练视点序列，其中，R是实数空间，n′＝H×n是通过了所述身份认证的待测用户的眼睛图像的帧数，m＝r×c是每一帧图像的特征维数；为待测用户注视某一系统随机点时的所提取的待测视线特征。另外，已知地，ε是容忍度参数，用来平衡模型的稀疏程度和线性组合的准确度。可以人工设定，比如选择ε＝0.01，也可通过实验方法获得。ε越大，模型越稀疏，但是线性组合准确度越差；反之，线性组合准确度越高，然而模型会变得越复杂。

进一步地，如果满足则随机点Q_l可以添加到上述训练视点序列P中形成新的视点序列 $\tilde{P}=\left[\begin{array}{cc}P& Q_l\end{array}\right],$ 同时对应的视线特征为并且所述增量的视点位置估计步骤中，采用如下公式(3)来获得所述待测用户的增量的视点位置估计值

$\hat{w}=\arg \underset{w}{min}{||w||}_{1}s.t.{||\tilde{F}w-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}+1}{\&Sigma;}}{w}_i=1......\left(3\right)$

本发明所述的方法，活体判断步骤中，具体用如下公式(4)计算KL散度：

$D=\underset{i=1}{\overset{M}{\&Sigma;}}\left({||{\tilde{p}}_i^d||}_p\log \frac{{||{\tilde{p}}_i^d||}_p}{{||Q_i||}_p}\right)......\left(4\right)$

其中，其中||.||_p是向量的p-范数，这里可以取p＝1,2,∞。

可选地，所述活体判断步骤中，还可利用获得增量的视点位置估计值的x轴和y轴坐标的平均KL散度来计算所述距离，即用如下公式(5)来计算平均KL散度：

$\begin{array}{c}D=\frac{1}{2}\left(KL\left({\tilde{p}}_x^d\left|\right|q_x\right)+KL\left({\tilde{p}}_y^d\left|\right|q_y\right)\right)\\ =\frac{1}{2}\left(\underset{i}{\&Sigma;}{\tilde{p}}_{x,i}^d\log \frac{{\tilde{p}}_{x,i}^d}{q_{x,i}}+\underset{i}{\&Sigma;}{\tilde{p}}_{y,i}^d\log \frac{{\tilde{p}}_{y,i}^d}{q_{y,i}}\right)\end{array}......\left(5\right)$

其中系统随机点序列，为利用公式(3)估计出的待测用户的增量的视点位置估计值， q_x＝{q_x,i}_i，q_y＝{q_y,i}_i。

根据本发明的另一方面，所述基于人脸识别的活体检测装置，包括：图像采集单元，包括用于分别显示n训练视点构成训练视点序列和M个系统随机点{Q₁,…,Q_M}、以及所采集到图像的屏幕，及捕获待测用户的人脸图像及眼睛图像的图像捕获单元；身份认证单元，用于对图像采集单元捕获的人脸图像进行人脸识别，以对由N个待测用户构成的待测人群中的每个所述待测用户进行身份认证；视线特征提取单元，用于对当待测用户注分别注视训练视点和系统随机点时图像采集单元所捕获的H帧训练眼睛图像和待测眼睛图像进行待测用户的视线特征的提取，分别获得训练视线特征和待测视线特征；初步视点位置估计单元，对于通过了上述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值；增量的视点位置估计单元，如果所述初步视点位置估计值所表征视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值；以及活体判断单元，利用KL散度计算所述增量的视点位置估计值所表征的视点位置及上述系统随机点之间的距离，根据计算出的所述距离进行活体判断。

通过利用视线行为作为检测对象及判断基准，本发明所述的方法和装置能同时抵御照片和视频攻击。且由于视点位置估计中参考了待测用户的身份认证结果，降低了数据运算量及不同用户数据之间的干扰。同时，本发明所述方法和装置由于采用增量学习的自适应线性回归算法进行视点位置估计，使得视点位置估计结果更加精确，并进而使活体判断结果更加可靠。

以下结合具体实施方式对发明的方法和装置进行详细说明，本发明的有益效果将因此进一步明确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对实施例中所需使用的附图进行简单介绍。

图1为本发明一优选实施例的活体检测装置的结构框图；

图2为本发明一优选实施例的活体检测方法的流程图；

图3(a)、3(b)分别为本发明图像采集装置示意图及屏幕上训练视点的分布示意图；

图4(a)、4(b)分别为本发明中图像捕获单元对人脸及眼睛图像进行捕获的示意图；

图4(c)、4(d)分别为本发明对眼睛图像子区域划分及视线特征进行提取的示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细描述。需要指出的是，这些实施例仅仅是为了说明本发明的技术方案的部分实施例，基于该实施例，所属领域的普通技术人员在不需要花费创造性劳动的基础上做出的修改和变动均在本发明保护的范围内。

图1为本发明所述基于人脸识别的活体检测装置的结构框图。

如图1所示，所述装置包括：图像采集单元1、身份认证单元4、视线特征提取单元5、初步视点位置估计单元6、增量的视点位置估计单元7以及活体判断单元8。

其中，图像采集单元1具体包括用于分别显示n个训练视点构成训练视点序列和M个系统随机点{Q₁,…,Q_M}的屏幕2，及捕获待测用户的人脸图像及眼睛图像的图像捕获单元3。身份认证单元4用于对图像采集单元捕获的人脸图像进行人脸识别，以对由N个待测用户构成的待测人群中的所述待测用户进行身份认证。视线特征提取单元5用于对当待测用户分别注视训练视点和系统随机点时图像采集单元所捕获的H帧训练眼睛图像和待测眼睛图像进行待测用户的视线特征的提取，分别获得训练视线特征和待测视线特征。

在进行了相应的数据采集后，再进一步进行活体判断。即，初步视点位置估计单元6，对于通过了上述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及提取到的所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值。以及，如果所述初步视点位置估计值所表征视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，所述增量的视点位置估计单元7进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值。最后，活体判断单元8利用KL散度计算所述增量的视点位置估计值所表征的视点位置与对应的系统随机点之间的距离，根据计算出的所述距离进行活体判断。

对于所述装置的各部分的具体操作和功能将在以下结合本发明所述方法作进一步的详细描述。

图2为本发明所述基于人脸识别的活体检测方法的流程图。

如图2所示，所述方法包括身份认证步骤S1、训练视线特征提取步骤S2、待测视线特征提取步骤S3、初步视点位置估计步骤S4、增量的试点位置估计步骤S5以及活体判断步骤S6。

其中，身份认证步骤S1，对由N个待测用户构成的待测人群中的每个所述待测用户进行人脸识别，以对待测用户进行身份识别。训练视线特征提取步骤S2，设置n个训练视点构成训练视点序列，获得每个所述待测用户注视每一个该训练视点时的H帧训练眼睛图像，并进一步提取其视线特征作为训练视线特征。待测视线特征提取步骤S3，设置M个系统随机点{Q₁,…,Q_M}，使待测用户注视所述系统随机点并获得注视时的待测眼睛图像，并进一步提取待测视线特征。初步视点位置估计步骤S4，对于通过了上述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值。增量的视点位置估计步骤S5，如果所述初步视点位置估计值所表征视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值。以及活体判断步骤S6，利用KL散度计算所述增量的视点位置估计值所表征的视点位置及上述系统随机点之间的距离，根据计算出的所述距离进行活体判断。

本发明所述检测方法，可分为数据采集阶段和活体判断阶段。进行视点位置估计及活体判断之前，首先对由N个待测用户构成的待测人群进行数据采集。包括对待测人群中的N个待测用户进行身份认证、眼睛图像获取以及视线特征的提取。具体地，利用图像采集单元1的图像捕获单元3捕获待测用户的人脸图像，身份认证单元4利用人脸识别对待测用户进行身份认证；在图像采集单元1的屏幕2上显示n个训练视点构成训练视点序列，并利用图像采集单元1的图像捕获单元3捕获待测用户在注视每个上述训练视点时的H帧眼睛图像，视线特征提取单元5从眼睛图像提取待测用户在注视每个上述训练视点时的训练视线特征。

[身份认证]

首先说明根据本发明的方法中的身份认证步骤。

首先利用如图3(a)所示的图像采集单元对待测用户的人脸进行图像捕获。身份认证单元4对图像捕获单元3捕获的上述人脸图像(如图4(a)所示)进行人脸识别，以便对所述待测用户进行身份认证。例如，设待测用户为具有N名成员的待测人群(例如有N名员工的企业)，则对该待测人群中的用户进行身份认证。

对待测用户进行身份认证的目的是为了在后续进行视线估计时参与自适应线性回归算法。从而使得视线估计结果更加精准，并进一步使得后续的活体判断过程更加可信。

身份认证单元4对待侧用户的人脸图像进行人脸识别，以进行身份认证，例如，首先收集一批人脸图像作为训练图像构成训练图像的训练集，并提取训练集中的训练图像的特征作为人脸原始特征，例如LBP、Gabor特征等。然后计算训练集中所述人脸原始特征的协方差矩阵得到特征值和特征向量；取其中前K个最大原始特征值对应的特征向量构造训练集降维矩阵；最后将训练集中所有训练图像的人脸原始特征值投影到所述训练集降维矩阵上得到训练集中新的人脸特征。其中已知地，K的选择例如，按照如下规则进行：将所有特征值按照从大到小的顺序排列，计算前C个特征值的和。如果前C个特征值的和与所有特征值和的比值为k，k通常取90％，95％，99％等，则令K＝C。

当对所述待测用户进行人脸识别时，对于所获得的一幅待测人脸图像，首先同样的提取其人脸原始特征作为待测原始特征值，并投影到上述训练集降维矩阵上得到新的待测图像特征。将新的待测图像特征和上述训练集中所有所述新的人脸特征计算距离，例如欧式距离、马氏距离等。选择最小距离的所述训练集中的训练图像作为待测图像的人脸识别结果。从而完成对待测用户的身份认证。对于通过上述身份认证的待测用户，将进一步利用其相应的视线特征等数据进行视点位置估计。对此，以下会进一步说明。

以上仅示例性的描述了本发明用户对待测用户身份进行认证的方法。事实上，需要指出的是，现有的任何有效的人脸识别方法均可用于本发明的身份认证步骤，例如基于贝叶斯的人脸识别方法，基于线性判别分析的人脸识别方法，基于深度卷积网络的人脸识别方法等等。

在视线估计中加入待测用户的身份认证步骤，是本发明提出的区别于其他活体检测方法的主要区别之一，通过在后续的视点位置估计中加入待测用户的身份认证结果，能够降低运算量，并同时减少存在大量不同个体所带来的干扰和影响，有利于获得出更加准确的估计结果，从而获得更加可靠的活体判断结果。

[眼睛图像获取]

首先需要在所述屏幕2上设定训练视点，并用图像捕获单元3进行待测用户眼睛图像的采集。如图3(a)所示，所述图像采集单元1包括：屏幕2，例如分别率为1440×900像素的液晶显示器；和图像捕获单元3，例如，通用串行总线(Universal Serial Bus，简称USB)摄像装置，优选分辨率为640×480像素。

在所述屏幕2上设置n个固定点，作为训练视点(Point of Gaze，POG)，训练视点的分布，例如图3(b)所示，其中1，2，…，n表示训练视点的标号，并把该训练视点序列记为后续步骤使用的训练视点序列P＝{p₁,…,p_n}。这里n可以选择大于9的任何整数，数值越大，视点位置的估计结果精度越高，但是同时会给用户带来标定负担。综合精度和用户体验，例如可以选择9个训练视点。

考虑到一般人脸识别时用户与检测装置之间的距离，进行数据采集时，待测用户在距离屏幕大约50cm-60cm的位置，并尽量保持头部的固定。要求待测用户逐一注视上述视点序列，并捕捉待测用户注视每一视点序列时的正面图像，从而获得待测用户的眼睛图像，如图4(a)、4(b)所示。

具体地，首先要求待测用户在保持头部固定，并注视第1个视点并保持该视线方向，保存在此期间图像捕获单元3捕捉到的待测用户正面图像，达到H帧，例如，20帧后停止图像的保存。然后引导用户的视线转向第2个视点，同样保存用户正面图像，例如20帧。重复上述操作，直到完成待测用户注视所述n个训练视点的，例如20帧，正面图像的捕捉和保存，从而完成了n个训练视点位置处待测用户眼睛图像的捕获。

这里需要说明的是，20帧仅是示例，也可以选择20帧以上的其他帧数。就视点位置的估计结果来说，样本越多，结果会越准确，但同时计算也会越复杂。所属领域技术人员可综合考虑结果的准确度和工作量的大小进行选择。

同身份认证步骤中相同，设待测用户的人群为N名成员的群体，则以相同的方式，进行N个用户在注视训练视点时眼睛图像的采集。这里，数值N是根据实际应用情况选择的，例如，如果将本发明所述的方法应用到一个包含200名员工的企业，则N＝200。

[眼睛图像预处理]

接下来利用所捕捉的待测用户的眼睛图像，进行视线特征的提取。

视线特征提取单元5在进行训练视线特征提取之前，考虑到图像捕获距离的变动、待测用户微小的头部运动等带来的图像噪声，优选预先对眼睛图像进行预处理，即，对眼睛图像进行内外眼角的检测，并根据所检测到的眼角位置进行眼睛区域的对齐。

具体地，以左眼为例进行说明。图4(a)、4(b)、4(c)、4(d)示出了根据本发明的眼睛图像及其区域划分以及进一步进行视线特征提取的示意图。如图4(a)、4(b)所示，首先定义眼睛图像标准模板的大小，并设置内外两个眼角的位置，例如分别为屏幕上(55，25)和(5，25)的像素位置。所述眼睛图像标准模板，例如为60×40像素大小，为适于所有人的。这里，眼睛图像标准模板大小和内外眼角位置的选择具有一定的联系，选择的标准是眼睛图像标准模板能够包含完全的眼睛区域，并且尽可能少的背景区域。

只要定位到左眼的内外眼角位置，即可通过旋转和尺度变换将检测到的内外眼角和眼睛图像标准模板上定义的内外眼角位置保持一致，从而得到对齐的眼睛图像，如图4(b)所示。具体为：(1)连接左眼内外眼角获得内外眼角的连接线段，将该连接线段旋转使得内眼角和外眼角处于同一水平线上，人脸区域的其他像素也进行相同的旋转。(2)将处于同一水平位置上的内外眼角通过尺度变化使之与根据所述眼睛图像标准模板上定义的内外眼角位置重合，与此同时人脸区域的其他像素也做相同的尺度变换。(3)最后根据定义的眼睛图像标准模板大小截取经过旋转和尺度变换的人脸区域，得到对齐的眼睛图像。

这里眼睛图像标准模板大小和内外眼角位置的选择具有一定的联系，选择的标准是眼睛图像标准模板能够包含完全的眼睛区域并且尽可能少的背景区域。另外，需要指出的是，以上仅以左眼图像为例说明了对眼睛图像的预处理，实际上，以右眼图像进行预处理同样可实现相同效果。

如前所述，本发明中在视点位置估计之前进行眼睛图像的对齐等预处理，是考虑到眼睛图像采集过程中出现的图像捕获距离的变化和/或微小头部运动，会带来的所捕获的眼睛图像的差异。为减少这种差异带来的图像噪声，提高估计结果的精度，故对图像进行对齐等预处理。但该预处理并非必须的，如果能保证图像的获取质量，最大限度的降低噪声，则可不必要对图像进行对齐等预处理。

[视线特征提取]

接下来视线特征提取单元5利用所获得待测用户的眼睛图像，进行待测用户的视线特征的提取。

本发明中，在利用所述眼睛图像进行所述视线特征的提取时，为了充分利用真实人脸和欺骗人脸存在的微纹理差异，提高提取精度，将上述获取的眼睛图像均匀划分为r×c个子区域，例如为8×12个子区域，如图4(c)、4(d)所示。对每一个子区域计算像素的灰度值的和s_j，j＝1，2，…，r×c，然后进行归一化处理，从而得到在1到n中每个视点位置获得的所述训练视线特征：

$f=\frac{{\&lsqb;s_1,...,s_{r\&times;c}\&rsqb;}^T}{\underset{j}{\&Sigma;}{s}_j},i=1,...,n\&times;H......\left(1\right)$

通过上述的区域划分，可以获取眼睛区域图像的微纹理特征，能够更好地描述眼睛的外观。对于n个训练视点位置的H帧图像，共有n×H帧图像，对于每一帧图像，采用公式(1)获取视线特征，所以对于每个待测用户，共有n×H个用公式(1)表示的所述训练视线特征，其中，n和H均为正整数。

另外，上述待测用户的视线特征的提取，也可以利用其他方法，例如采用局部二值模式(LBP,Local Binary Pattern)法。具体地，对每一个均匀划分的子区域提取LBP直方图，最后将所有子区域直方图进行串联得到眼睛区域特征，即视线特征。

以上完成了本发明的方法中的数据采集过程。在接下来的活体判断阶段，将根据所获得待测用户数据进行视点位置估计值，并据此进行活体判断。

[视点位置估计]

根据本发明的方法，由于进行活体检测所利用的生物行为为视线，即通过检测待测用户的视线特征并对其视点位置进行估计，以利用估计结果进行后续的活体判断。即在进行待测用户活体判断之前，预先对待测用户进行视点位置的估计。下面描述根据本发明的方法中对待测用户的视点位置进行估计的步骤。具体包括初步视点位置估计单元6和增量的视点位置估计单元7，分别对视点位置进行初步估计和增量的估计。

为保证视点位置估计结果的准确性，本发明所采用的视点位置估计方法为，在原始自适应线性回归算法上加入增量学习来在线动态增加训练视点的个数，所需检测数据获取及处理装置简单易行。一方面降低了成本，另一方面提高了视点位置估计的准确性。

已知地，自适应线性回归算法的主要思想，是通过寻找训练数据中的子集来表示测试数据。和线性回归算法相比，自适应线性回归算法可以忽略不相关的训练数据。结合本发明，首先，初步视点位置估计单元6，对于身份认证单元4认证通过了的待测用户，利用视线特征提取单元5所提取到的上述训练视点序列及训练视线特征，以及在其注视系统随机点时提取到的所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值。

具体地，在对待测用户进行检测时，首先在图像采集单元1的屏幕2上设定M个系统随机点，表示为{Q₁,…,Q_M}，M可以是任何正整数，M值越大，检测结果越可靠，但是会增加负担而带来较差的用户体验。因此，可综合考虑检测结果的精度和工作负担来选择M，例如可以为30-100。上述系统随机点序列服从特定的分布，比如高斯分布，并且会逐个显示在图像采集单元1的屏幕2上。在显示上述系统随机点的同时捕捉用户注视该随机点时的正面图像，并获取至少一帧眼睛图像，以及进一步利用该眼睛图像提取所述待测视线特征，例如采用公式(1)。需要说明的是，在利用所述眼睛图像提取视线特征之前，参考数据采集阶段，优选对所述眼睛图像进行对齐等预处理。

同时，设矩阵 $F=\&lsqb;f_1^d,...,f_{n^{\&prime;}}^d\&rsqb;\&Element;R^{m\&times;n^{\&prime;}}$ 和 $P=\&lsqb;p_1^d,...,p_{n^{\&prime;}}^d\&rsqb;\&Element;R^{2\&times;n^{\&prime;}}$ 分别表示在前述数据采集阶段所获得的通过了所述身份认证的待测用户的所有数据的训练视线特征集合及其训练视点序列，其中，R是实数空间，n′＝n×H是通过了上述身份认证的待测用户的所有图像帧数，m＝r×c是每一帧图像的特征维数。

则在屏幕2上显示随机点Q_l,l∈{1,…,M}时捕捉到的待测用户的至少一帧眼睛图像，并根据，例如公式(1)提取其待测视线特征根据自适应线性回归算法，可以通过公式(2)求解：

$\hat{w}=\arg \underset{w}{min}{||w||}_{1}s.t.{||Fw-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}}{\&Sigma;}}{w}_i=1......\left(2\right)$

来获取待测用户的视点位置其中w＝[w₁…w_n′]^T为自适应线性回归算法的系数向量。由此获得与上述系统随机点对应的位置处的视点位置估计值，即初步视点位置估计值。

此处，本发明的视点位置估计中，由于将用户的身份认证步骤结合到所对应的视点位置估计中，因此，不同待测用户的数据之间互相独立，与不结合待测用户身份认证的情况相比，本发明的方法，一方面参与运算的样本少，减少运算复杂度；另一方面，能够减少不同待测用户信息之间的相互干扰，提高视线估计的精度。

为了确保视点位置估计的可靠性，同时不增加待测用户的负担，本发明提出了基于增量学习的自适应线性回归算法，即增量的视点位置估计单元7，将与利用上述自适应线形回归算法估计得到的符合预定条件的视点位置对应的系统随机点增加到所述训练视点序列中，构成新的视点序列进一步对待测用户注视系统随机点时的视点位置进行估计。具体地，如果所述初步视点位置估计值所表征视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列。

进一步地，判断利用自适应线性回归算法所得到的初步视点位置估计值所表明的视点位置与对应的系统随机点之间的距离是否小于预定值，是的话则表明所述初步视点位置估计值估计出的视点位置趋近与其对应的系统随机点。具体地，例如，判断是否满足是的话，则表明所述初步视点位置估计值估计出的视点位置趋近与其对应的系统随机点Q_l，随机点Q_l可以添加到上述训练视点序列P中形成新的视点序列 $\tilde{P}=\left[\begin{array}{cc}P& Q_l\end{array}\right],$ 同时对应的视线特征为 $\tilde{F}=\left[\begin{array}{cc}F& \hat{f}\end{array}\right].$

其中，σ是一个小的正数，例如为0.01，其为通过预先对真实人脸和攻击人脸进行判断训练所获得的高准确率的阈值。具体来说，例如，首先对于数据采集阶段的参与训练的N个待测用户，采集真实人脸和欺骗人脸的图像；接下来定义σ的范围，例如Ω＝{0.01,0.02,…,0.1}，对于Ω＝{0.01,0.02,…,0.1}中的每一个待选数值，分别利用N个待测用户的上述欺骗人脸和真实人脸图像进行测试，获得若干个准确率，选择最高准确率对应的数值即为σ值。需要说明的是，以上仅为示例性的描述，所属领域的技术人可以根据实际情况预先实验来获得σ的取值。

此后，对于下一帧待测用户的眼睛图像，利用公式(1)获得其待测视线特征为则基于增量学习的自适应线性回归算法可以通过如下公式(3)求解：

$\hat{w}=\arg \underset{w}{min}{||w||}_{1}s.t.{||\tilde{F}w-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}+1}{\&Sigma;}}{w}_i=1......\left(3\right)$

来预测待测用户的视点位置由此获得与系统随机点l+1对应的位置处的增量的视点位置估计值，即增量的视点位置估计值。

逐一完成上述M个系统随机点的注视，以进行相应的待测用户视点位置的估计，得到相应的增量的视点位置估计值，用于后续的活体判断步骤。

[活体判断]

在完成了视线位置估计后，接下来就可利用估计结果对待测用户进行活体判断。本发明通过判断系统随机点的出现位置和用户的视点位置之间的一致性程度进行活体判断。进一步地，活体判断单元8，利用KL散度判断系统随机点的出现位置和前述增量的视点位置估计步骤中得到待测用户的视点位置之间的一致性程度，即利用KL散度计算所述增量的视点位置估计值及上述系统随机点之间的距离，根据计算出的所述距离进行活体判断。

已知地，KL散度(Kullback-leibler Divergence)，又称相对熵、互熵，在一定程度上可以用于度量两个随机变量的距离。KL散度越大，两个分布越不相似，反之亦然。具体到人脸识别领域，对于预先定义的阈值，平均KL散度小于该阈值时是真实人脸，否则为攻击人脸.

本发明中，可采用基于KL散度的测量来估计待测用户的视点序列和系统随机点序列之间的一致性程度。

具体地，设图像采集单元1的屏幕2上设定系统随机点序列根据公式(3)得到的通过了上述身份认证的待测用户的增量的视点位置估计值构成的视点位置序列为了衡量系统随机点位置和预测的用户视点位置的一致性，活体判断单元8利用如下公式(4)计算平均KL散度：

$D=\underset{i=1}{\overset{M}{\&Sigma;}}\left({||{\tilde{p}}_i^d||}_{p}log\frac{{||{\tilde{p}}_i^d||}_p}{{||Q_i||}_p}\right)......\left(4\right)$

其中||.||_p是向量的p-范数,这里可以取p＝1,2,∞。

另外，还可以采用视点位置x轴和y轴坐标的平均KL散度来估计待测用户的视点序列和系统随机点序列之间的一致性程度。具体地，设图像采集单元1的屏幕2上设定系统随机点序列根据公式(3)得到待测用户的增量的视点位置估计值构成的视点位置序列为了衡量系统随机点位置和预测的用户视点位置的一致，活体判断单元8，利用如下公式计算平均KL散度：

$\begin{array}{c}D=\frac{1}{2}\left(KL\left({\tilde{p}}_x^d\left|\right|q_x\right)+KL\left({\tilde{p}}_y^d\left|\right|q_y\right)\right)\\ =\frac{1}{2}\left(\underset{i}{\&Sigma;}{\tilde{p}}_{x,i}^d\log \frac{{\tilde{p}}_{x,i}^d}{q_{x,i}}+\underset{i}{\&Sigma;}{\tilde{p}}_{y,i}^d\log \frac{{\tilde{p}}_{y,i}^d}{q_{y,i}}\right)\end{array}......\left(5\right)$

其中 ${\tilde{p}}_x^d={\left\{{\tilde{p}}_{x,i}^d\right\}}_i,{\tilde{p}}_y^d={\left\{{\tilde{p}}_{y,i}^d\right\}}_i,$ q_x＝{q_x,i}_i,q_y＝{q_y,i}_i。

公式(4)、(5)定义的平均KL散度可以很好地度量系统随机点序列位置和用户的视点序列位置的一致性，平均KL散度值越小，说明越一致，则被判断为真实人脸的可能性越大；反之，被判断为欺骗人脸的可能性越大。由此，完成本发明的人脸识别中的活体检测。

由于注意力转移过程具有不确定性，视线行为是一种难以被他人通过监控摄像头等设备获取的生物信息，因此可以用来作为一种活体检测的线索。根据视线注意力机制和系统引导，通过预测用户在一段时间内的视线位置序列和系统随机点序列的吻合程度来判断是否活体。应用本发明所述方法和装置，通过利用视线行为作为检测对象及判断基准，本发明所述的方法和装置能同时抵御照片和视频攻击。且由于视点位置估计中参考了待测用户的身份认证结果，降低了运算量，并同时减小了不同用户数据之间的干扰。同时，本发明所述方法和装置由于采用增量学习的自适应线性回归算法进行视点位置估计，使得视点位置估计结果更加精确，并进而使活体判断结果更加可靠。

最后需要说明的是，以上实施例仅仅用于说明本发明的技术方案，而非对其进行限制，本领域的普通技术人员应当理解，其可以对前述实施例所描述的方案进行修改或对某些特征进行替换，但并不使得其脱离本发明的技术方案的精神和范围。

Claims (10)

1.一种基于人脸识别的活体检测方法，其特征在于，所述方法包括：

身份认证步骤，对由N个待测用户构成的待测人群中的所述待测用户进行人脸识别，以对待测用户进行身份认证；

训练视线特征提取步骤，设置n个训练视点构成训练视点序列，获得所述待测用户注视每一个该训练视点时的H帧训练眼睛图像，并从中提取视线特征作为训练视线特征；

待测视线特征提取步骤，设置M个系统随机点{Q₁,…,Q_M}，获得待测用户注视所述系统随机点时的待测眼睛图像，并从中提取待测视线特征；

初步视点位置估计步骤，对于通过所述身份认证的待测用户，利用对该待测用户设置的所述训练视点序列及所述训练视线特征，以及所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值；

增量的视点位置估计步骤，如果所述初步视点位置估计值所表征的视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值；以及

活体判断步骤，利用KL散度计算所述增量的视点位置估计值所表征的视点位置与对应的系统随机点之间的距离，根据计算出的所述距离进行活体判断。

2.如权利要求1所述的方法，其中，训练视线特征提取步骤还包括眼睛图像预处理步骤，用于对所述训练眼睛图像进行内外眼角的检测，并根据所检测到的眼角位置进行眼睛区域的对齐。

3.根据权利要求1或2所述的方法，其中，所述训练视线特征提取步骤中，所述获得所述待测用户注视每一个该训练视点时的H帧训练眼睛图像，并从中提取视线特征作为训练视线特征包括：将获取的所述训练眼睛图像均匀划分为若干个子区域；对每一个子区域计算像素的灰度值的和，并归一化处理，得到每个训练视点位置对应的所述训练视线特征。

4.根据权利要求3所述的方法，其中，利用如下公式(1)计算针对每个待测用户注视每个训练视点时获得的每一训练眼睛图像的所述训练视线特征：

$f=\frac{{\&lsqb;s_1,...,s_{r\&times;c}\&rsqb;}^T}{\underset{j}{\&Sigma;}{s}_j}\mathrm{......}\left(1\right)$

其中，r×c为所述训练眼睛图像所划分的所述子区域的数量；s_j为每一个子区域的像素的灰度值的和，j＝1，2，…，r×c。

5.如权利要求4所述的方法，其中，所述初步视点位置估计步骤中，采用如下公式(2)来估计所述待测用户的初步视点位置估计值 $\hat{p}=P\hat{w}:$

$\hat{w}=\arg \underset{w}{\min }{||w||}_{1}s.t.{||Fw-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}}{\&Sigma;}}{w}_k=1......\left(2\right)$

其中，w＝[w₁…w_n′]^T为自适应线性回归算法的系数向量，和分别表示在所述身份认证步骤中通过了所述身份认证的待测用户的所有训练视线特征的集合及其训练视点序列，R是实数空间，n′＝n×H是通过了所述身份认证的待测用户的眼睛图像的帧数，m＝r×c是每一帧图像的特征维数，为待测用户注视某一系统随机点时的所提取的待测视线特征，ε是自适应线性回归算法的容忍度参数。

6.如权利要求5所述的方法，其中，如果满足所述初步视点位置估计值所表征的视点位置趋近与其对应的系统随机点，则将随机点Q_l添加到上述训练视点序列P中形成新的视点序列同时对应的视线特征为并且所述增量的视点位置估计步骤中，采用如下公式(3)：

$\hat{w}=\arg \underset{w}{\min }{||w||}_{1}s.t.{||\tilde{F}-\hat{f}||}_2<\mathrm{\&epsiv;},\underset{i=1}{\overset{n^{\&prime;}+1}{\&Sigma;}}{w}_i=1......\left(3\right)$

来估计所述待测用户的增量的视点位置估计值

7.如权利要求6所述的方法，其中，活体判断步骤中，利用获得增量的视点位置估计值的x轴和y轴坐标的平均KL散度来计算所述距离，所述平均KL散度由如下公式(4)来计算：

$\begin{array}{c}D=\frac{1}{2}\left(KL\right({\tilde{p}}_x^d||q_x\left)\right)+KL\left({\tilde{p}}_y^d||q_y\right))\\ =\frac{1}{2}(\underset{i}{\&Sigma;}{\tilde{p}}_{x,i}^d\log \frac{{\tilde{p}}_{x,i}^d}{q_{x,i}}+\underset{i}{\&Sigma;}{\tilde{p}}_{y,i}^d\log \frac{{\tilde{p}}_{y,i}^d}{q_{y,i}})\end{array}\mathrm{......}\left(4\right)$

其中，为系统随机点序列，为增量的视点位置估计值构成的视点位置序列， ${\tilde{p}}_x^d={\left\{{\tilde{p}}_{x,i}^d\right\}}_i,{\tilde{p}}_y^d={\left\{{\tilde{p}}_{y,i}^d\right\}}_i,q_x={\left\{q_{x,i}\right\}}_i,q_y={\left\{q_{y,i}\right\}}_i.$

8.一种基于人脸识别的活体检测装置，其特征在于，包括：

图像采集单元，包括用于分别显示n训练视点构成的训练视点序列、M个系统随机点{Q₁,…,Q_M}以及所采集的图像的屏幕，及捕获待测用户的人脸图像及眼睛图像的图像捕获单元；

身份认证单元，用于对图像采集单元捕获的人脸图像进行人脸识别，以对待测用户进行身份认证；

视线特征提取单元，用于对待测用户注视训练视点时图像采集单元所捕获的H帧训练眼睛图像进行视线特征提取，获得训练视线特征，以及用于对待测用户注视系统随机点时图像采集单元所捕获的待测眼睛图像进行视线特征提取，获得待测视线特征；

初步视点位置估计单元，对于通过所述身份认证的待测用户，利用其上述训练视点序列及训练视线特征，以及所述待测视线特征，采用自适应线性回归算法对该待测用户的视点位置进行估计，得到初步视点位置估计值；

增量的视点位置估计单元，如果所述初步视点位置估计值所表征的视点位置趋近其对应的系统随机点，则将该对应的系统随机点增加到所述训练视点序列中，构成新的视点序列，进一步对待测用户注视系统随机点时的视点位置进行估计，以得到增量的视点位置估计值；以及

活体判断单元，利用KL散度计算所述增量的视点位置估计值所表征的视点位置与对应的系统随机点之间的距离，根据计算出的所述距离进行活体判断。

9.如权利要求8所述的装置，其中，视线特征提取单元在进行视线特征估计之前，还用于对所述训练眼睛图像预处理，所述对训练眼睛图像预处理包括对所述训练眼睛图像进行内外眼角的检测，并根据所检测到的眼角位置进行眼睛区域的对齐。

10.根据权利要求8或9所述的装置，其中，所述视线特征提取单元，将获取的所述训练眼睛图像均匀划分为若干个子区域；对每一个子区域计算像素的灰度值的和，并归一化处理，得到每个训练视点位置对应的所述训练视线特征。