CN101702198A - 基于背景比对的视频和活体人脸的鉴别方法 - Google Patents

Abstract

本发明公开了一种基于背景比对的视频和活体人脸的鉴别方法，步骤如下：(1)对输入视频的每一帧图像进行人脸位置检测，根据检测出的人脸位置确定背景比对区域；(2)选取输入视频中和背景比对区域在尺度空间上的极值点作为背景比对区域的特征点，得到背景特征点集P_t；(3)用Gabor小波变换描述图像I在背景特征点集P_t的特征；(4)利用步骤(3)的结果，定义活体度量L；如果活体度量L大于阈值θ，判定为活体，否则视为假冒视频。本发明主要解决仅通过单个摄像头进行视频人脸和活体人脸的计算机自动鉴别问题。

Description

基于背景比对的视频和活体人脸的鉴别方法

技术领域

本发明涉及视频及图像的计算机处理技术领域，尤其涉及一种通过背景比对来自动鉴别视频人脸与活体人脸的方法。

背景技术

活体人脸检测是计算机人脸识别系统的安全性的重要保证。对于二维人脸识别系统而言，使用合法用户的视频在摄像头前假冒用户是一种常用的攻击手段，视频中有头部运动、眨眼、唇部运动等生理信息，与活体人脸有很大的共性，从而对识别系统的安全性构成极大威胁。

迄今为止对于活体人脸检测技术的研究不多，主要有三维深度估计、脸部表情变化、光流、频谱、眨眼检测等分析手段。但这些方法中有的需要用户头部或者脸部的运动配合，有的则受外部环境条件影响很大。

发明内容

本发明提供一种基于背景比对的视频人脸和活体人脸的鉴别方法，主要解决的是仅通过单个摄像头进行视频人脸和活体人脸的鉴别问题。

一种基于背景比对的视频和活体人脸的鉴别方法，其步骤如下：

(1)人脸定位与背景比对区域的确定

使用Haar类似特征与级联Adaboost方法对输入视频的每一帧图像I_t进行人脸位置检测，根据检测出的人脸位置确定背景比对区域。

背景比对区域设定为人脸左右两侧的小块区域，不包含耳朵和头发。

背景比对区域的高度和人脸的高度(人脸自动检测结果)相同，宽度为人脸宽度的1/4，背景比对区域与人脸边缘的距离为人脸宽度的1/4。

(2)基于尺度空间的背景特征点提取

在每一帧图像I_t的背景比对区域中，通过图像尺度空间的方法，将尺度空间上的极值点作为该帧背景比对的特征点，用集合P_t表示；

(3)基于Gabor的背景描述子计算

用特征点集P_t上的Gabor小波变换描述每一帧图像I_t的背景特征，该Gabor背景描述子∏定义为，

∏＝{G(x，y，I)|(x，y)∈P_t}

其中，G(x，y，I)由一组Gabor小波集在点(x，y)上卷积后组成的一个集合，

$G(x,y,I)=\left\{g_{(x,y)}^i\right\}=\{{\mathrm{\ψ}}^i(x,y)*I(x,y)\}$

I(x，y)表示坐标为(x，y)的像素值；

${\mathrm{\ψ}}^i(x,y)=e^{-\frac{x^{\′2}+y^{\′2}}{2{\mathrm{\σ}}^2}}{e}^{2\mathrm{\πj}\frac{x^{\′}}{\mathrm{\λ}}}$

x′＝xcosθ+ysinθ，y′＝-xsinθ+ycosθ；(j表示复数中的虚部)

θ表示Gabor小波的方向；λ表示小波的波长；σ表示包络函数的半径，以确定小波的卷积范围。

(4)活体度量及活体判定

定义活体度量L来区分活体人脸与假冒视频，

$L=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left(\frac{1}{N}\underset{(x,y)\∈P_t}{\mathrm{\Σ}}S(G(x,y,I_t),G(x,y,\mathrm{Background}))\right)$

Background表示背景图片，背景图片是检测活体之前在检测活体的位置用拍摄的一张照片；

T是视频中图像的总帧数；

S()是相似度函数，公式中G(x，y，I_t)与G(x，y，Background)相当于是S()的两个参数；

如果活体度量L大于阈值θ，判定为活体，否则视为假冒视频。

对于活体和假冒视频的鉴别，我们用阈值θ来判定，

如果活体度量L大于阈值θ，我们判定为活体，否则视为假冒视频攻击。

本发明有益的效果是：主要解决仅通过单个摄像头进行视频人脸和活体人脸的计算机自动鉴别问题。

附图说明

图1是本发明鉴别方法的流程图；

图2本发明鉴别方法中背景比对区域示意图。

具体实施方式

人脸定位与背景比对区域的确定：

对于输入视频的每一帧图像，先要进行人脸定位。用Haar类似特征与级联Adaboost方法(可参考：P.Viola，M.J.Jones，Rapid Object Detection usinga Boosted Cascade of Simple Features.IEEE Conference on.Computer Visionand Pattem Recognition，pp.511-518，2001.)结合，对输入视频的每一帧图像进行人脸位置的检测。级联Adaboost方法是把若干Adaboost分类器级联起来，即把前一级分类器分类的结果作为下一级分类器分类的内容，以提高分类性能。Adaboost分类器是以人脸图像和非人脸图像为样本来训练参数。对于样本中提取的特征是Haar类似特征，因为Haar类似特征能有效地表达人脸中眼部、鼻梁和嘴部等重要特征，并且能快速地计算。

当假冒视频用其他显示设备在人脸认证系统的摄像头前回放时，摄像头所拍摄的人脸周围区域将包括假冒视频的背景、部分显示设备等，而对活体人脸来说，人脸周围就是识别系统的工作场所背景，故假冒视频中人脸周围部分的图像和人脸认证系统所在的工作背景图像的不同可作为检测假冒视频的依据。摄像头取景形状通常呈长方形，上下距离比左右距离长，同时考虑到视频回放假冒时，视频中人脸左右两侧会有更多拍摄时的背景，而脸部上部因受发型影响可能背景非常少，故我们把背景比对区域设定为人脸左右两侧的小块区域，如图2所示，宽度为d的中央区域表示用级联Adaboost方法检测出的人脸位置，因为该方法定位的人脸不包含左右两侧头发和耳朵，所以为了在背景比对区域中不包含人脸左右两侧头发和耳朵，将人脸区域在级联Adaboost方法检测出人脸区域向左右两侧分别扩大人脸宽度的1/4(图2中与中央区域相邻，宽度为1/4d的扩展区域B，然后在此扩展区域B的左右两侧的区域作为背景比对区域A，在图2中背景比对区域A用实线矩形框表示。背景比对区域A的高度和人脸的高度(人脸自动检测结果)相同，宽度为人脸宽度的1/4，这是人脸周围区域中获取视频假冒攻击线索的关键区域。

基于尺度空间的背景特征点提取：

为实现两个图像的比对，本方法提取图像中若干个有代表性、信息丰富的关键点来表征图像。这些特征点通常能指示出背景中有意义的景物，使之能区分于其它背景。我们把这些关键点称为背景特征点。用关键点来表征图像进行背景比对的好处在于：首先，能降低其它非关键点对背景比对的干扰，增强比对的稳定性与可靠性；其次，可减少光线变化对相同背景比对的影响；另外，还可减少特征计算量。

背景特征点的选取基于图像尺度空间上的极值点。尺度空间上的极值点具有尺度不变性、独特性、对三维视点和光线变化有较强的鲁棒性等优点，并已被该方法成功地应用在图像匹配、物体识别、图像检索等方面。

图像I(x，y)的尺度空间L_I(x，y，σ)是多尺度的高斯函数G(x，y，σ)和图像I(x，y)的卷积，

L_I(x，y，σ)＝G(x，y，σ)*I(x，y)(1)

其中*表示高斯函数G(x，y，σ)和图像I(x，y)的卷积，多尺度的高斯函数G(x，y，σ)定义为，

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(2\right)$

σ表示高斯滤波器的方差，图像I的相邻尺度差D_I(x，y，σ)定义为两个相邻尺度空间的差，

D_I(x，y，σ)＝L_I(x，y，kσ)-L_I(x，y，σ)(3)

其中k为常数，表示两个尺度相邻乘数因子k。

公式(2)中的σ定义为，

σ(o，s)＝σ₀2^o+s/S    (4)

其中o，s取值为整数，o∈[0，...，O-1]，s∈[0，...，S-1]。σ₀，O和S都是常数，分别表示基准尺度，倍频数目和子尺度数目，那么两个尺度的相邻乘数因子k为，

k＝2^1/S(5)

利用图像的相邻尺度差，我们设计了一个基于尺度空间的背景特征点提取算法。该算法的输入为一个视频的图像序列{I₁，...，I_T}，输出为每一个图像的背景特征点集合P_t，t＝1，...，T。

该算法中，函数is_local_extrema(x，y，I)判断一个像素点P(x，y)是否是图像I在相邻尺度差D_I(x，y，σ)上的极值点。该点成为极值点的条件是相邻26点中的极大或极小值，这26个点分别是尺度σ上周围的8个点，尺度σ增大方向的相邻尺度上的9个点，尺度σ减小方向的相邻尺度上的9个点。不同图像中极值点的个数通常相差很大，为增强活体度量的可比性，我们在特征点提取方法中固定所选取特征点的数量，用N表示(一般来说，如果背景比对区域中有3-5个物体，每个物体用3-4个点标示的话，9-20个点就可以了，在这个范围里结果基本相同，本实施例中N＝16)。背景特征点提取算法中的Background表示背景图片，背景图片是检测活体之前在检测活体的位置用摄像头拍摄的一张照片。

背景特征点提取算法：

输入一图像序列{I₁，...，I_T}，对图像序列的每一个图片I_t，如果在图片中检测到人脸，那么

1.确定背景比对区域R；

2.对R中的每一个像素(x，y)

如果is_local_extrema(x，y，I_t)或者is_local_extrema(x，y，Background)，那么将(x，y)保存在集合P_t中；

如果集合P_t中特征点的个数为N，那么算法结束；

3.如果集合P_t中特征点的个数小于N，那么随机选取区域R中但不在集合P_t的点(x，y)保存到集合P_t中，使得集合P_t中特征点的个数为N；

函数is_local_extrema(x，y，I)

对每一个尺度σ(o，s)

如果D₁(x，y，σ(o，s))值在D_I(x+i，y+j，σ(o，s))，D_I(x+i，y+j，σ(o，s-1))和D_I(x+i，y+j，σ(o，s+1))中是极大值或者极小值，其中(i，j＝0，±1)，那么返回值为真，否则返回值为假；

基于Gabor的背景描述子计算：

为了能有效地进行背景比对，需要在背景特征点上进行有效的特征描述。背景比对不仅要能准确地检测出活体人脸，而且要能抵抗在近似背景下拍摄的假冒视频攻击。Gabor小波接近视觉皮层响应，能提取多个方向尺度上的局部特征，而且对光线变化较鲁棒，应用在人脸识别等方面取得了很好的效果。本方法提出了基于Gabor的背景描述子，用以在背景特征点集上紧凑、有效地表征背景特征。

图像I在背景特征点集P_t上的Gabor背景描述子∏定义为，

∏＝{G(x，y，I)|(x，y)∈P_t}(6)

其中，P_t是第t帧选取出来的背景特征点集合，

是由一组Gabor小波集{ψⁱ(x，y)}在图像I的点(x，y)上卷积得到。其中，

${\mathrm{\ψ}}^i(x,y)=e^{-\frac{x^{\′2}+y^{\′2}}{{2\mathrm{\σ}}^2}}{e}^{2\mathrm{\πj}\frac{x^{\′}}{\mathrm{\λ}}}---\left(7\right)$

x′＝xcosθ+ysinθ(8)

y′＝-xsinθ+ycosθ(9)

θ表示Gabor小波的方向；λ表示小波的波长；σ表示包络函数的半径，确定了小波的卷积范围。这里我们取σ＝λ。我们取8个不同的方向

5个不同的波长

构成40个Gabor小波集{ψⁱ(x，y)，i＝1，...，40}。G(x，y，I)由该40个Gabor小波在点(x，y)上卷积后的40个复数组成的一个集合(见公式10)，这里我们把复数g_(x，y) ⁱ表示为

其中a_i表示幅值，φ_i表示相位。

$G(x,y,I)=\left\{g_{(x,y)}^i\right\}=\{{\mathrm{\ψ}}^i(x,y)*I(x,y)\}---\left(10\right)$

活体度量及活体判定：

借助背景描述子，活体度量L定义为，

$L=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left(\frac{1}{N}\underset{(x,y)\∈P_t}{\mathrm{\Σ}}S(G(x,y,I_t),G(x,y,\mathrm{Background}))\right)---\left(11\right)$

其中，Background表示背景图片，S(G，G′)表示G和G′的相似度。

对于S(G，G′)我们用相位相似度S_φ计算，

$S_{\mathrm{\φ}}(G,G^{\′})=\frac{\underset{i}{\mathrm{\Σ}}{a}_i{a^{\′}}_i\cos ({\mathrm{\φ}}_i-{{\mathrm{\φ}}^{\′}}_i)}{\sqrt{\underset{i}{\mathrm{\Σ}}{a}_i^2}\sqrt{\underset{i}{\mathrm{\Σ}}{a^{\′}}_i^2}}---\left(12\right)$

其中a_i表示幅值，φ_i表示相位，不带上角标和带上角标的分别对应G和G′，(G和G`表示S中的两个参数)。

对于活体和假冒视频的鉴别，我们用阈值θ来判定，见公式(13)，如果活体度量L大于阈值θ，我们判定为活体，否则视为假冒视频攻击。

验证结果：

为了测试本文算法对活体人脸和假冒视频的鉴别能力，我们自己采集构建了一个人脸视频数据库。该数据库用SONYH7在2个室内和5个室外背景中采集，数据采集时没有人为的光线控制。每个测试人拍摄2个片断，每个片段拍摄时间约6-8秒，共采集了14个人的196个活体人脸视频。视频分辨率为640×480，采样频率为25帧/秒。对公式(2)中参数我们设置为σ₀＝1.6，S＝2，O＝5。背景特征点提取算法中提取特征点的个数N＝16。

性能说明：

我们分别在不同的特征点数N和阈值θ下测试196个活体人脸视频，来测试该方法的活体检测性能。对于抵抗视频攻击性能的测试，我们依次把7个采集背景中的1个背景作为认证系统工作背景，而把其他6个采集背景拍摄的168个视频作为假冒视频对其进行欺骗测试。

经实验测试，基于相位相似度Gabor描述子方法，θ＝0.23时，活体检测率和假冒视频检测率分别为99.35％和99.25％，该方法的EER(等错误率)为0.85％，表明在抵抗视频欺骗方面达到很好的性能。同时我们还进行了与其他的局部特征方法SIFT背景描述子和非局部特征方法Pearsonproduct-moment correlation的性能比较实验。对于SIFT描述子我们用

相似度的测试。表1列出了各描述子与不同相似度方法的EER以及当FAR(错误接受率)分别为0.1，0.01和0.001时对应的FRR(错误拒绝率)。从表中我们可以看出Gabor描述子优于SIFT描述子和Correlation方法。

表1各描述子与其它特征描述方法的活体检测性能比较(N＝16)

实验结论：

由实验结果可以看出本发明在视频人脸和活体人脸的鉴别方面都取得了比较理想的结果，Gabor特征描述子在本问题中性能上优于SIFT方法和非局部特征方法，同时本发明检测活体人脸的方法较为隐蔽，不需要用户配合，有很好的实时性和抗视频欺骗的能力。

Claims (3)

1.一种基于背景比对的视频和活体人脸的鉴别方法，其特征是，步骤如下：

(1)对输入视频的每一帧图像I_t进行人脸位置检测，根据检测出的人脸位置确定背景比对区域；

(2)在每一帧图像I_t的背景比对区域中，通过图像尺度空间的方法，将尺度空间上的极值点作为该帧背景比对的特征点，提取预定数量的特征点得到特征点集P_t；

(3)用特征点集P_t上的Gabor小波变换描述所对应帧图像I_t的背景特征，Gabor背景描述子G(x，y，I)为由一组Gabor小波集在点(x，y)上卷积后组成的一个集合，G(x，y，I)＝{ψⁱ(x，y)*I(x，y)}；

I(x，y)为图像中坐标为x，y的点的像素值；

${\mathrm{\ψ}}^i(x,y)=e^{-\frac{x^{\′2}+y^{\′2}}{2{\mathrm{\σ}}^2}}{e}^{2\mathrm{\πj}\frac{x^{\′}}{\mathrm{\λ}}};$

x′＝xcosθ+ysinθ，y′＝-xsinθ+ycosθ；

j表示复数中的虚部；

θ表示Gabor小波的方向；

λ表示小波的波长；

σ表示包络函数的半径；

(4)利用步骤(3)的结果，定义活体度量L；

$L=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left(\frac{1}{N}\underset{(x,y)\∈P_t}{\mathrm{\Σ}}S(G(x,y,I_t),G(x,y,\mathrm{Background}))\right)$

S()是相似度函数；

Background表示背景图片，是检测活体之前在检测活体的位置拍摄得到的图片；

T是输入视频中图像的总帧数；

如果活体度量L大于阈值θ，判定为活体，否则视为假冒视频。

2.根据权利要求1所述的鉴别方法，其特征是，步骤(1)中使用Haar类似特征与级联Adaboost方法进行人脸位置检测。

3.根据权利要求1所述的鉴别方法，其特征是，步骤(1)中所述的背景比对区域的高度和人脸的高度相同，宽度为人脸宽度的1/4，背景比对区域与人脸边缘的距离为人脸宽度的1/4。

Images