CN105320950A - 一种视频人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种视频人脸活体检测方法：输入一个视频流；截取所述视频流，得到N个视频帧图片；对N个视频帧图片采用动态相关性模型算法建立N-1个动态模型；相位角模型选择，得到最终的单个动态降阶模型图片；对上述的动态降阶模型模型图片提取基于分割加权的LBP等价模式特征直方图；基于三种核函数的SVM分类，区分虚拟攻击和合法用户。与现有技术相比，本发明首次使用动态相关性模型对视频帧进行预处理，能精准地捕获到人脸的动态变化，很好地弥补了目前对于视频攻击的性能较好的活体检测方法的缺失；其次，重点突出了对活体检测性能大的人脸区域。本发明的人脸活体检测性能算法从总体上优于其他现有的针对视频攻击的方法。

Description

一种视频人脸活体检测方法

技术领域

本发明属于图像处理领域，涉及人脸识别中的活体检测技术，尤其是涉及利用人脸动态信息和微纹理特征抵抗人脸假冒视频攻击的方法。

背景技术

近年来，人脸识别技术取得了突飞猛进的发展，在应对姿态、光照和表情变化时有了更高的稳定性，这也促使越来越多的场合使用人脸识别技术进行身份认证。

然而目前现有的人脸识别系统都还缺乏可靠的安全性，源于它极易受到各种形式的非法用户的虚假攻击，最常见的如人脸照片攻击、人脸视频攻击和三维人脸模型攻击。因此，研究可靠的人脸活体检测技术与人脸识别系统相结合成为实际应用中迫切需要解决的问题。

现阶段，国内外关于活体人脸的检测技术主要有：微纹理分析、三维人脸重建、基于运动信息、基于非可见光的多光谱成像、基于多特征融合、人机交互式、热红成像等。

微纹理分析的方法，主要依据真假人脸在图像纹理上的差异。Li等人^[1]提出利用图像的二维傅里叶频谱来区分真假人脸，这种方法易受光照条件、照片扭曲等影响。Tan等人^[2]首次把视角扩展到空间，通过提取图像的空域特征并改进分类器以提高活体检测的性能，创立了第一个人脸活体检测标准数据库NUAA。在2011年的国际生物特征联合会议上，Jukka等人^[3]提取人脸的多规模LBP(局部二元模式)特征，分别是最后拼接为一个特征向量，在NUAA数据库上取得了良好的性能。受到Jukka等人的启发，Schwartz^[4]融合了LBP、DoG等多种特征以最大化地提取出人脸的纹理信息，这在一定程度上提高了检测的性能。文献^[5]创建了另一个新的标准数据库REPLAY-ATTACK，为后续的研究者提供了新的更全面的实验对象，该方法同样采用的是LBP特征。文献^[6]通过结合时间和空间的信息，提取LBP-TOP特征，并在REPLAY-ATTACK数据库上进行验证检测，取得了良好的性能。但是所有的基于微纹理的方法都只能抵抗照片攻击。

基于运动信息的方法，人脸的运动信息主要包括唇部运动、眨眼等。GangPan等人^[7]提出一种基于Adaboost算法的眼睛开合度(EyeClosity)计算方法，将不同的眨眼动作嵌入到建立的条件随机场(ConditionalRandomField，CRF)人眼模型当中，获取了较高的眨眼检测率。受此启发，JiangweiLi在文献^[8]中通过分析眨眼时的人眼区域在不同尺度、不同方向的Gabor响应波来判断活体。文中利用40个Gabor小波(5个尺度、8个方向)对人眼图片进行分解，发现照片人眼和活体人眼的KGRW(keyGaborresponsewaves)有明显差异，因此通过观察KGRW可以推断视频中有无眨眼信号。K.Kollreider等人^[9]将人脸检测和光流估计结合到一起来进行活体检测，因为真实的人脸是三维结构，人脸突出的部位如鼻子相对于摄像头在平面上所产生的二维运动的幅度要大于人脸的边界区域如耳朵。Kollreider等人^[10]利用唇部的运动来进行活体检测，通过一个精准的人脸和唇部检测器精确地定位嘴唇，分析用户在读取一段文字时唇部的运动模式是否和应有的模式一致。

但上述的这些方法在应对攻击者需要将合法用户的人脸照片的眼睛和嘴巴位置掏空，并将自己的相应部位隐藏照片其后以做出相应的动作，因而导致活体检测的性能会大大降低。

发明内容

针对上述的现有技术及存在的问题，本发明提出了一种视频人脸活体检测方法，结合动态相关性模型和LBP(LocalBinaryPattern)等价模式(UniformPattern)特征提取，最后将特征向量送入支持向量机SVM(SupportVectorMachine)分类器进行训练测试的方案,解决了目前现存方法的检测不稳定、易受外界环境影响以及在抵抗视频攻击薄弱的缺陷，在检测性能上比目前现存的方法要好。

本发明提出了一种视频人脸活体检测方法，该方法包括以下步骤：

步骤一，输入一个视频流；

步骤二，截取所述视频流，得到N个视频帧图片；

步骤三，对N个视频帧图片采用动态相关性模型算法建立N-1个动态模型：

对于N个视频帧，产生一个面积大小为mn×N的数据矩阵F:

$F=\[F_1,F_2,...F_N\]=\left[\begin{array}{cccc}{F}_1^1& F_2^1& ...& F_N^1\\ F_1^2& F_2^2& ...& F_N^2\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ F_1^{mn}& F_2^{mn}& ...& F_N^{mn}\end{array}\right]---\left(1\right)$

设M是两个相邻帧之间的线性映射系数，且

F₂＝MF₁(2)

则有：

F＝[F₁MF₁…M^N-1F₁]和[F₂F₃…F_N]＝M[F₁F₂…F_N-1]；

步骤四，相位角模型选择，得到最终的单个动态降阶模型图片：

公式(2)表示基于克雷洛夫子空间的视频帧的相互的关系，依据通过Arnoldi

迭代算法使其正交化，得到：

MF₁≈F₁A(3)

其中，A是由前N-1个帧变换过程中产生的伴随矩阵，并且通过结合前N-1个帧逼近第N帧；即：

F₂＝c₀F₁+c₁F₂+…+c_N-2F_N-1＝{F₁,F₂,…F_n-1}c

得到：

F₂≈F₁A(5)

从公式(4)到(5)，得到:

MF₁≈F₂≈F₁A(6)

得到了接近于M的特征值的低维的系统矩阵A，通过计算矩阵A的复特征值的相位角，选取相位角为零或者逼近于零的特征值所对应的模型为最终的单个动态降阶模型图片；

步骤五，对上述的动态降阶模型模型图片提取基于分割加权的LBP等价模式特征直方图；

首先将步骤四获得的动态降阶模型图片的人脸图像进行人脸检测和定位，按照人脸器官分为左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域；随后，在每个区域中的每个像素点计算LBP等价模式特征值；然后计算每个子区域的直方图并进行直方图归一化处理；计算公式如下：

${\mathrm{LBP}}_{P,R}^{riu2}=\left\{\begin{array}{cc}\underset{p=0}{\overset{P-1}{\Σ}}S(g_P-g_P)& \begin{array}{cc}if& U\left({\mathrm{LBP}}_{P,R}\right)\≤2\end{array}\\ P+1& otherwise\end{array}\right.---\left(7\right)$

其中的g_c为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径。

$U\left({\mathrm{LBP}}_{P,R}\right)=|S(g_{P-1}-g_c)-S(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\Σ}}|S(g_P-g_c)-S(g_{P-1}-g_c)|U\left({\mathrm{LBP}}_{P,R}\right)\≤2$ 代表0、1之间跳变次数小于等于2；然后对于每个区域的LBP特征进行不同的系数加权，设左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域对应的Fisher系数分别为R_le,R_re,R_lf,R_n,R_rf,R_m,R_o；将得到的每个区域的LBP等价模式特征值按照每个区域的R值进行加权即为每个区域最终的特征值，然后拼接成一个特征向量，即为整幅人脸图像的LBP等价模式纹理特征向量；

步骤六，基于三种核函数的SVM分类，区分虚拟攻击和合法用户：

将得到的人脸的图像的LBP等价模式纹理特征向量送入SVM分类器来训练和测试，采用基于多项式核、径向基核和sigmoid核三种核函数的SVM分类器，然后根据特异性和敏感度这两个指标判断基于不同的核函数下的SVM的性能，并选择性能最好的SVM对测试样本进行判决并分析测试结果。

与现有技术相比，本发明首次使用动态相关性模型对视频帧进行预处理，相较于以前的方法，能精准地捕获到人脸的动态变化(如眨眼、唇部运动等动态信息)，很好地弥补了目前对于视频攻击的性能较好的活体检测方法的缺失。其次，本设计通过分析人脸不同区域的纹理差异，提出加权人脸区域分割，重点突出了对活体检测性能大的人脸区域。最后，本设计基于三种不同的核函数下通过性能指标的比较选择出性能最佳的SVM分类器。从总体上来讲，本方法提出的算法，人脸活体检测性能优于其他现有的针对视频攻击的方法，致力于较好地抵抗假冒的人脸视频攻击。

附图说明

图1是本发明的整体流程图；

图2是对人脸分割和提取的特征加权的流程图；

图3是提取每个区域的LBP等价模式特征的流程图；

图4是基于三种核函数的SVM分类器训练及测试的流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细说明。

一、采用动态相关性模型选择一幅模型图片

此模型应用于人脸活体检测中以获得人脸动态信息，它是一种基于先验知识从非线性复杂流体中提取相关模型从而对复杂的流动行为进行降阶的一种数学方法，这些模型又被称为相关流结构。

首先对输入的N帧视频流采用动态相关性模型算法建立N-1个动态模型，具体步骤如下：

对于从一段视频中截取的N个视频帧，分别为F₁,F₂，…F_N，若每一帧转换为一个mn×1的列向量，则对于N个视频帧，将会产生一个面积大小为mn×N的数据矩阵F：

$F=\[F_1,F_2,...F_N\]=\left[\begin{array}{cccc}{F}_1^1& F_2^1& ...& F_N^1\\ F_1^2& F_2^2& ...& F_N^2\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ F_1^{mn}& F_2^{mn}& ...& F_N^{mn}\end{array}\right]---\left(1\right)$

其中，m、n表示每一帧图像的面积大小是m×n,N为视频帧个数。

由于这N个视频帧是相关的，设M是两个相邻帧之间的线性映射，则会有如下关系：

F₂＝MF₁(2)

其中，F₁、F₂分别是是第一个和第二个视频帧。

则有：

F＝[F₁MF₁…M^N-1F₁]和[F₂F₃…F_N]＝M[F₁F₂…F_N-1]

其中的M是未知的，它捕获到视频中的全部的可视的动态信息，因为M是mn×mn阶，若直接计算M的特征值，计算代价太大。因此，可以采用基于克雷洛夫子空间的方法简化计算量，由于其中的列是非正交的，故需要通过Arnoldi迭代算法使其正交化。

公式(2)展现了基于克雷洛夫子空间的视频帧的相互的关系，依据Arnoldi迭代算法得到：

MF₁≈F₁A(3)

其中，A是由前N-1个帧变换过程中产生的伴随矩阵。

通过结合前N-1个帧可以逼近第N帧，同理第二帧也可如下得到：

F₂＝c₀F₁+c₁F₂…+c_N-2F_N-1＝{F₁,F₂…F_n-1}c

其中的c₀,…c_N-1分别前后两个视频帧得相关系数。

得到：

F₂≈F₁A(5)

从等式4到6，得到：

MF₁≈F₂≈F₁A(6)

得到了低维的系统矩阵A，A的特征值接近于M的特征值，A的特征向量组成了反映视频帧动态信息的线性组合的系数，可以用特征值分析求出它的特征值和特征向量。

然后需要从中选取最优的模型来进行下一步的判定，因为对于视频而言，N-1个动态模型中，每一个都能捕捉到不同的动态信息，通过计算A的复特征值的相位角，选取相位角为零或者逼近于零的特征值所对应的模型为动态模型。原因是在实验中，选取单个的动态模型已经取得了很好的分类性能，不需要再使用全部的动态模型增大计算量，而相位角越逼近于零的模型越能最大限度地捕获人脸动态信息。

二、对模型图片提取基于分割加权的LBP等价模式特征直方图

由于不同的人脸区域对活体检测性能的影响不同，因此本方法提出将人脸区域进行有效的分割，重点利用对检测贡献大的人脸区域的LBP特征。

首先将(一)中获得的动态模型图片的人脸图像进行人脸检测和定位，按照人脸器官分为左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域。随后，在每个区域中的每个像素点计算LBP等价模式特征值(对于每个像素点编码后的LBP模式最多只包含两次跳变的称为等价模式)。由于二进制模式种类繁多，数据量过大且直方图会过于稀疏，降维以获得较高的检测效率成为了急需解决的问题，本发明采取的LBP等价模式还可以减少高频噪声对检测的影响以达到提高检测效率的目的。然后计算每个子区域的直方图并进行直方图归一化处理。其计算公式如下：

${\mathrm{LBP}}_{P,R}^{riu2}=\left\{\begin{array}{cc}\underset{p=0}{\overset{P-1}{\Σ}}S(g_P-g_c)& \begin{array}{cc}if& U\left({\mathrm{LBP}}_{P,R}\right)\≤2\end{array}\\ P+1& otherwise\end{array}\right.---\left(7\right)$

其中，g_c为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径，LBP_P,R ^riu2表示中心像素点c处的等价模式LBP特征值。

$U\left({\mathrm{LBP}}_{P,R}\right)=|S(g_{P-1}-g_c)-S(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\Σ}}|S(g_P-g_c)-S(g_{P-1}-g_c)|U\left({\mathrm{LBP}}_{P,R}\right)\≤2$ 代表0、1之间跳变次数小于等于2。

然后对于每个区域的LBP特征进行不同的系数加权，设左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域对应的Fisher系数分别为R_le,R_re,R_lf,R_n,R_rf,R_m,R_o。欲求这些系数值，首先要求出整张人脸图像的费舍尔Fisher系数图。然后在Fisher系数图对应的区域进行4×4个像素点的采样，得到每个区域的16个像素点的Fisher系数，分别对这七个区域的16个像素点求均值，则分别得到每个区域的R值。

Fisher系数图的求解步骤在第三部分作详细介绍。

最后将得到的每个区域的LBP等价模式特征值按照二中得到的每个区域的R值进行加权即为每个区域最终的特征值，然后拼接成一个特征向量，即为整幅人脸图像的LBP等价模式纹理特征向量。

三、根据Fisher准则分析人脸不同区域的微纹理差异并求人脸的Fisher系数图

为了分析人脸的哪些区域对检测的贡献大，本方法采用基于Fisher的纹理差异分析来确定。

首先归一化人脸图像，尺寸大小为{138，116}，然后将其分成均匀的15×15的子块，相邻的块之间有{10，10}的重叠，对每个子块提取三种不同的LBP特征，分别是并将它们拼接成一个特征向量。

然后计算任意两个子块之间的卡方距离d：

$d(H_i,H_i^{/})=\underset{b=1}{\overset{n}{\Σ}}\frac{{\left(H_i\right(b)-H_i^{/}(b\left)\right)}^2}{\left(H_i\right(b)+H_i^{/}(b\left)\right)}---\left(8\right)$

其中，H_i是第i个子块的LBP直方图，是另一幅人脸图像的第i个子块的LBP直方图，n是每个图像子块的直方图的尺寸，b是每个图像子块所含的bin的个数。

基于卡方距离，可以计算得到真假人脸样本间的纹理差异，以及真假人脸样本的类内差异。至此，可以得到第i个子块的Fisher值：

$R_i=\frac{{(m_{w,t}+m_{w,f}-m_b)}^2}{{\mathrm{\δ}}_{w,t}^2+{\mathrm{\δ}}_{w,f}^2+{\mathrm{\δ}}_b^2}---\left(9\right)$

其中，m_b,分别表示真样本和假样本之间的均值和方差；m_w,t,分别表示真人脸样本的均值方差；m_w,f,分别表示假人脸样本的均值和方差。

通过在PRINT-ATTACK、CASIA-FASD数据库上的测试，发现R值较高的区域集中在人脸的边界，比如轮廓等。根据各个R_i得到整个人脸图像的Fisher系数图。

四、用SVM分类器训练测试数据库中的人脸图像

将第二部分最后得到的人脸的图像的LBP等价模式纹理特征向量送入SVM分类器来训练和测试。

本设计采用基于多项式核、径向基核和sigmoid核三种核函数的SVM分类器，然后根据特异性和敏感度这两个指标判断基于不同的核函数下的SVM的性能，并选择性能最好的SVM对测试样本进行判决并分析测试结果。

首先在REPLAY-ATTACK、CASIA-FASD两个数据库上随机生成等容量的训练样本和测试样本，形成二类样本。

然后进行SVM训练，生成最优决策超平面。本发明对基于多项式核、径向基核和sigmoid核这三种核函数的SVM分别进行训练，最后选取所生成最优决策超平面最佳的核函数分类器对测试样本判决是合法用户还是视频攻击。

本发明实施例详述如下：

(1)初始化后系统后，首先在输入的单个视频中截取N个视频帧，记为

F＝[F₁,F₂,...F_N]，将[F₁F₂…F_N-1]和[F₂F₃…F_N]分别依次赋值给F₁和F₂；

其中，F₁,F₂…F_N分别为N个视频帧。

(2)将(1)中得到的N-1个F₁进行LU分解，即分解为上三角矩阵U和下三角矩阵L之积。

(3)通过A＝U^-1L⁺F₂公式计算A，其中L⁺是L的伪逆矩阵；

(4)分别计算N-1个A的特征值和特征向量。

(5)依据A的复特征值的相位角等于零或者接近于零的原则，选取一张动态模型图片。

(6)依据上述得到的动态模型图片，首先使用Adaboost检测器检测人脸，然后分别采用边缘检测法定位人脸轮廓区域，位置准则法定位左眼、右眼、左脸颊、鼻子、右脸颊，肤色掩码法定位嘴巴，然后将人脸划分为这七个区域。

对各个人脸子区域提取特征，通过费舍尔准则分析各个人脸子区域的费舍尔比值R，依据R对各个子区域的LBP等价模式特征向量加权，最后拼接为一个特征向量。

(7)将最终的LBP等价模式直方图送入三种核函数的SVM分类器进行训练，选取性能最好的作为最终的测试SVM。

Claims (1)

1.一种视频人脸活体检测方法，其特征在于，该方法包括以下步骤：

步骤一，输入一个视频流；

步骤二，截取所述视频流，得到N个视频帧图片；

步骤三，对N个视频帧图片采用动态相关性模型算法建立N-1个动态模型：

对于N个视频帧，产生一个面积大小为mn×N的数据矩阵F:

$F=\[F_1,F_2,...F_N\]=\left[\begin{array}{cccc}{F}_1^1& F_2^1& ...& F_N^1\\ F_1^2& F_2^2& ...& F_N^2\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ F_1^{mn}& F_2^{mn}& ...& F_N^{mn}\end{array}\right]---\left(1\right)$

设M是两个相邻帧之间的线性映射系数，且

F₂＝MF₁(2)

则有：

F＝[F₁MF₁…M^N-1F₁]和[F₂F₃…F_N]＝M[F₁F₂…F_N-1]；

步骤四，相位角模型选择，得到最终的单个动态降阶模型图片：

公式(2)表示基于克雷洛夫子空间的视频帧的相互的关系，依据通过Arnoldi迭代算法使其正交化，得到：

MF₁≈F₁A(3)

其中，A是由前N-1个帧变换过程中产生的伴随矩阵，并且通过结合前N-1个帧逼近第N帧；即：

F₂＝c₀F₁+c₁F₂+…+c_N-2F_N-1＝{F₁,F₂,…F_n-1}c

得到：

F₂≈F₁A(5)

从公式(4)到(5)，得到:

MF₁≈F₂≈F₁A(6)

得到了接近于M的特征值的低维的系统矩阵A，通过计算矩阵A的复特征值的相位角，选取相位角为零或者逼近于零的特征值所对应的模型为最终的单个动态降阶模型图片；

步骤五，对上述的动态降阶模型模型图片提取基于分割加权的LBP等价模式特征直方图；

首先将步骤四获得的动态降阶模型图片的人脸图像进行人脸检测和定位，按照人脸器官分为左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域；随后，在每个区域中的每个像素点计算LBP等价模式特征值；然后计算每个子区域的直方图并进行直方图归一化处理；计算公式如下：

${\mathrm{LBP}}_{P,R}^{riu2}=\left\{\begin{array}{cc}\underset{p=0}{\overset{P-1}{\Σ}}S(g_P-g_c)& ifU\left({\mathrm{LBP}}_{P,R}\right)\≤2\\ P+1& otherwise\end{array}\right.---\left(7\right)$

其中的g_c为邻域像素点的灰度值，g_c为中心像素点的灰度值，P为邻域中像素点的个数，R为邻域半径，LBP_P,R ^riu2表示中心像素点c处的等价模式LBP特征值。

$U\left({\mathrm{LBP}}_{P,R}\right)=|S(g_{P-1}-g_c)-S(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\Σ}}|S(g_P-g_c)-S(g_{P-1}-g_c)|U\left({\mathrm{LBP}}_{P,R}\right)\≤2$ 代表0、1之间跳变次数小于等于2；然后对于每个区域的LBP特征进行不同的系数加权，设左眼、右眼、左脸颊、鼻子、右脸颊、嘴巴和脸轮廓七个区域对应的Fisher系数分别为R_le,R_re,R_lf,R_n,R_rf,R_m,R_o；将得到的每个区域的LBP等价模式特征值按照每个区域的R值进行加权即为每个区域最终的特征值，然后拼接成一个特征向量，即为整幅人脸图像的LBP等价模式纹理特征向量；

步骤六，基于三种核函数的SVM分类，区分虚拟攻击和合法用户：

将得到的人脸的图像的LBP等价模式纹理特征向量送入SVM分类器来训练和测试，采用基于多项式核、径向基核和sigmoid核三种核函数的SVM分类器，然后根据特异性和敏感度这两个指标判断基于不同的核函数下的SVM的性能，并选择性能最好的SVM对测试样本进行判决并分析测试结果。