CN105975926A - 基于光场相机的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于光场相机的人脸活体检测方法，包括：(1)光场相机原始数据的提取与解码；(2)从光场数据中提取面部不同深度的重对焦图像；(3)从重对焦图像中提取聚焦特征和功率谱特征，连接两种特征作为该人脸图像的综合特征；(4)对采集到的所有光场图像提取上述综合特征，将训练集的综合特征输入支持向量机训练，得到可用于人脸活体检测的模型；然后将待检测的图像的综合特征输入训练好的模型，得到检测结果。本发明利用光场相机一次拍照后可获得不同深度重对焦图像的特点，从中提取人脸重对焦变化特征来进行人脸活体检测，对比传统的人脸活体检测方法，本发明检测结果准确，检测效率更高，更为简单便利，符合实际应用的要求。

Description

基于光场相机的人脸活体检测方法

技术领域

本发明涉及人脸检测的研究领域，特别涉及一种基于光场相机的人脸活体检测方法。

背景技术

人脸活体检测技术的目的是辨别所采集到的人脸的真假，确保用于认证的人脸信息是从活体用户上获取的，以此保障人脸识别系统的安全运行。随着人脸识别系统的应用推广，人脸活体检测技术愈发重要。

传统的人脸活体检测技术在实际应用等方面还存在一些性能和准确度上的不足。传统的基于图像纹理频率等信息的人脸活体检测技术，容易受到光照，照片质量的影响。而基于运动信息如眨眼、头部运动、嘴部动作等的人脸活体检测技术，这类技术需要活体用户进行实时的动作响应配合，用户友好性差，或者需要以视频为基础，数据依赖性强，所需要的验证时间也比较长。而基于活体特征信息的人脸活体检测技术，如利用热红外成像则会受到室外温度，遮挡物等的影响，并且设备昂贵，代价较大。

发明内容

本发明的目的在于克服现有人脸活体检测技术的不足，提供一种实用性强、可明显提高识别准确率的基于光场相机的人脸活体检测方法。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于光场相机的人脸活体检测方法，包括下述步骤：

(1)光场相机原始数据的提取与解码，通过微透镜中心标定、Bayer格式解码、六边形-正交格点校正的步骤从Lytro光场相机中提取原始光场数据并进行色彩校正；

(2)通过数字重对焦，从光场数据中提取出两张对焦在面部不同深度的重对焦图像；

(3)综合两张不同深度的重对焦图像，分别提取聚焦特征和功率谱特征，将两种特征连接在一起作为该人脸图像的综合特征；

(4)对采集到的所有光场图像提取上述综合特征，将训练集的综合特征输入支持向量机训练，支持向量机模型选择径向基函数，得到可用于人脸活体检测的模型，然后将待检测的图像的综合特征输入训练好的模型，得到检测结果。

作为优选的技术方案，所述步骤(1)中，Lytro光场相机原始数据的提取与解码的具体步骤为：

(1-1)微透镜中心标定：将Lytro光场相机中取得的白图像与一个低通滤波器卷积后，找到每个微透镜图像中的峰值，这就是微透镜的中心；

(1-2)Bayer格式解码：采用Malvar提出的线性插值方法进行；

(1-3)六边形-正交格点转换：采用Condat提出的转换方法进行。

作为优选的技术方案，所述步骤(1)中，色彩校正的具体方法是：

从Lytro光场相机中获得包含图像拍摄参数的json文件，从json文件中获得色彩校正的参数矩阵，将前面得到的光场数据与参数矩阵相乘。

作为优选的技术方案，所述步骤(2)中，从光场数据中提取出两张对焦在面部不同深度的重对焦图像的具体方法为：

令L_F(x,y,u,v)表示原始光场数据，新的对焦深度为F'＝αF，重对焦后的光场表示为L_F’(x,y,u,v)那么通过下列公式可以计算出重对焦在F'深度的图像：

$E_{(\mathrm{\α}\·F)}(x,y)=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}},u,v)dudv$

其中参数α控制对焦深度的变化，调整α的值，选取其中两张面部模糊程度差异较大的重对焦图像。

作为优选的技术方案，所述步骤(3)中，提取聚焦特征的具体方法为：

(3-1-1)采用Nayar提出的方法从两幅重对焦图像中提取改进的拉普拉斯能量和特征(Sum Modified Laplacian)，记为SML₁和SML₂；

(3-1-2)计算差异变化值矩阵DIF＝SML₁-SML₂；

(3-1-3)把矩阵DIF按列相加得到SumDIF；

(3-1-4)通过二次方程式y＝ax2+bx+c曲线拟合SumDIF；

(3-1-5)计算拟合的曲线y＝ax2+bx+c的系数A＝[a b c]^T即为聚焦特征F_R。

作为优选的技术方案，所述步骤(3)中，提取功率谱特征的具体方法为：

(3-2-1)通过掩膜将人脸图像I分为两个放射状的圆形子区域图像，第一个子区域包含鼻子周围，第二个则包含耳朵和脸颊轮廓；

(3-2-2)对两张子区域图像进行二维离散傅里叶变换后，将得到的傅里叶频谱进行中心移动，使能量集中在每个频谱的中心；

(3-2-3)以频谱中心为圆心把得到的频谱划分为n个不同半径的同心圆，计算各个圆形区域包含的功率占总功率的百分比α，计算公式如下：

${\mathrm{\α}}_c=\frac{{\Σ}_{(u,v)\∈C}P(u,v)}{P_T}$

其中P(u,v)＝real(u,v)²+imag(u,v)²,这里real(u,v)和imag(u,v)是对应频率分量的实部和虚部，总功率

(3-2-4)从每一个频谱中得到一个直方图，该直方图中每一个直条的值是在每个圆形区域C上的功率百分比α_c；

(3-2-5)连接两个子区域图像的直方图，可以得到对应图片I的组合功率谱直方图PHist；

(3-2-6)计算DIF＝PHist₁-PHist₂，得到的差值DIF即为功率谱特征F_P。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过光场相机采集的数据进行人脸活体检测研究，相比于传统相机的二维平面成像，从光场相机中获得的四维光场数据可以为人脸活体检测提供更多更全面的信息，可以更好地弥补普通相机的不足，只需采集一张光场相机拍摄的照片，不需要活体用户的动作配合，也不需要多幅图像或者视频的采集，对比传统的人脸活体检测方法，采集过程效率更高，更为简单便利，且花费代价较小。

2、本发明利用光场相机一次拍照后可获得不同深度重对焦图像的特点，只需要采集单张图像，通过变换对焦深度，得到不同深度的人脸重对焦图像，进而提取人脸模糊程度的变化特征来进行人脸活体检测。对比于普通相机需要手动对焦，多次拍照，本方法自动化的流程极大地提升了处理效率。而且本发明所采用的聚焦特征以及功率谱特征计算简单，检测结果准确，检测方法具有实时性，符合实际应用的要求。

3、本发明还对比研究了光场相机不同拍摄距离以及本发明所采用的不同特征下，人脸活体检测的结果，得到的结论对于设计基于光场相机的人脸活体检测系统具有一定的指示性。

附图说明

图1为本发明的算法流程图。

图2为从重对焦图像中提取改进的拉普拉斯能量和(SML)特征的可视化表示，其中(a)(b)为从真实人脸图像上提取出的SML特征，(c)(d)为从照片欺骗人脸图像上提取出的SML特征，(e)(f)为从显示屏欺骗人脸图像上提取出的SML特征。

图3为从重对焦图像中提取功率谱特征的关键步骤，其中(a)为由重对焦图像掩膜后得到的两张子区域图像，(b)为子区域图像经过傅里叶变换，划分为同心圆域，计算圆域所占功率的百分比后生成的直方图。

图4为本发明相关实验的数据集样本。

图5为本发明数据集裁剪出脸部区域的示例。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1示出了本发明的操作过程，由图1可见，本发明基于光场相机的人脸活体检测方法，实施步骤如下：

(1)Lytro光场相机原始数据的提取与解码。通过微透镜中心标定、Bayer格式解码、六边形-正交格点校正等步骤从Lytro光场相机中恢复光场数据并进行色彩校正。Lytro光场相机中会装载用于微透镜中心标定的白图像。将取得的白图像与一个低通滤波器卷积后，找到每个微透镜图像中的峰值，这就是微透镜的中心。在本实施例中，滤波器采用圆形区域均值滤波器，也即根据给定的半径参数，用待处理像素点周边圆形区域内像素的平均值来代替原图像中的该点的像素值。半径参数根据微透镜的间距来确定，这里取微透镜间距的1/3。微透镜的间距从相机配置文件中可以得到。然后采用线性插值方法对光场数据进行Bayer格式解码。线性插值法具体过程见“Malvar H,He L,Cutler R.,Highquality linear interpolation for demosaicing of bayer-patterned color image.Proceedings of International Conference on Acoustics，Speech，and Signal Processing.Motreal,Canada:IEEE,2004:485-488.”。然后采用一种六边形-正交格点转换方法，将六边形的子光圈图像校正为正方形排列。六边形-正交格点转换相关过程见“Condat L,Forster-Heinlein B,Van De Ville D.H2O:reversiblehexagonal-orthogonal grid conversion by 1-D filtering.Proceedings of IEEEInternational Conference on Image Processing.San Antonio TX,USA:IEEE,2007:73-76.”。色彩校正。从Lytro光场相机中获得包含图像拍摄参数的json文件，从中获得色彩校正的参数矩阵，将前面得到的光场数据与参数矩阵相乘。

(2)通过数字重对焦，从光场数据中提取出两张对焦在面部不同深度的重对焦图像。令L_F(x,y,u,v)表示原始光场数据，新的对焦深度为F'＝αF，重对焦后的光场表示为L_F’(x,y,u,v)那么通过下列公式可以计算出重新对焦在F'深度的图像。

$E_{(\mathrm{\α}\·F)}(x,y)=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}},u,v)dudv$

其中参数α控制对焦深度的变化。不同的α取值下，重对焦得到的图像面部区域模糊的变化程度也不同。调整α的值，选取其中两张面部模糊程度差异较大的重对焦图像并裁剪出脸部区域，记作图像I₁和I₂。

(3)从两张不同深度的重对焦图像中，分别提取聚焦特征和功率谱特征，将两种特征连接在一起作为该张人脸图像的综合活体检测特征。

聚焦特征：从前一步得到的两幅图像I₁I₂中分别提取改进的拉普拉斯能量和特征(Sum Modified Laplacian)，记为SML₁和SML₂。拉普拉斯能量和计算的相关过程见“Nayar,S.K.,Nakagawa,Y.Shape from Focus.IEEE Trans.Pattern Anal.Mach.Intell.1994,16,824–831”。如图2所示，(a)(b)为从真实人脸图像上提取出的SML特征可视化显示，(c)(d)为从显示屏欺骗人脸图像上提取出的SML特征可视化显示，(e)(f)为从打印照片欺骗人脸图像上提取出的SML特征可视化显示。然后计算差异变化值矩阵DIF＝SML₁-SML₂，把矩阵DIF按列相加得到SumDIF，再通过二次方程式y＝ax2+bx+c曲线拟合SumDIF。计算拟合的曲线y＝ax2+bx+c的系数A＝[a b c]^T即为聚焦特征F_R。

功率谱特征：对于从前一步得到的两幅图像I₁I₂，分别进行如下运算：

首先，通过掩膜将人脸图像I根据深度不同分为两个放射状的子区域，第一个子区域包含鼻子周围，第二个则包含耳朵和脸颊轮廓，如图3(a)所示得到两张子区域图像。

接下来，对两张子区域图像进行二维离散傅里叶变换，再将两个子区域的傅里叶频谱进行中心移动，使能量集中在每个频谱的中心。以频谱中心为圆心把得到的频谱划分为n个不同半径的同心圆，计算各个圆形区域包含的功率占总功率的百分比。在一个圆形区域C中的功率的百分比α通过下述公式计算：

${\mathrm{\α}}_c=\frac{{\Σ}_{(u,v)\∈C}P(u,v)}{P_T}$

其中P(u,v)＝real(u,v)²+imag(u,v)²,这里real(u,v)和imag(u,v)是对应频率分量的实部和虚部。总功率

每一个频谱都可以得到一个直方图，直方图中每一个直条的值是在每个圆形区域C上的功率百分比α_c。最后通过连接两个子区域图像的直方图，可以得到对应图片I的组合功率谱直方图PHist，如图3(b)所示。功率谱直方图PHist的维度由每个频率谱划分的圆形区域的数目决定，这里取圆形区域数目为7。然后计算DIF＝PHist₁-PHist₂，得到的差值DIF即为功率谱特征F_P。

(4)对采集到的所有光场图像提取上述聚焦特征F_R和功率谱特征F_P，将两特征归一化后串联得到用于人脸活体检测的综合特征，然后通过支持向量机(SVM)训练，支持向量机模型选择径向基函数(RBF)，得到可用于人脸活体检测的模型。SVM分类器的参数通过训练数据集来调整。测试阶段，将待测试的光场图像通过前述步骤提取活体检测综合特征后，通过训练好的人脸活体检测模型即可得到检测结果。

本发明通过以下实验对本发明的效果进行说明：实验在自建的Lytro光场相机人脸活体检测数据库上进行，该数据库包含57个个体的513张Lytro相机采集的原始图像，包括真实人脸，打印照片欺骗人脸，显示屏照片欺骗人脸。打印照片欺骗人脸是将单反相机拍摄的高清照片按照正常人脸的比例彩印于A4纸上，显示屏照片欺骗人脸是将单反相机拍摄的高清照片按照正常人脸的比例显示在分辨率为1280*1024的显示屏上。每组人脸都包括三个拍摄距离：30cm，45cm，60cm，用来研究实际应用时的有效检验距离。数据集样本如图4所示。

首先对原始图像进行预处理和重对焦操作，每张原始图像可以得到两张379×379大小的重对焦图像。针对不同的拍摄距离，实验所对应的变焦参数分别为：-0.2和0.2(30cm)，0和0.2(45cm)，0.1和0.3(60cm)。为了正确地评估方法，减少背景的影响，这里对得到的重对焦图像进行简单的背景裁剪，裁剪出脸部区域，最终30cm距离的图像裁剪后为299×299，45cm裁剪后为239×239，60cm裁剪后为179×179，如图5所示。

实验主要使用两个评估标准：准确率和半错误率。准确率ACC为测试集中分类正确的样本占总测试样本的百分比。半错误率HTER＝(FAR+FRR)/2,其中FAR为欺骗人脸被错误判定为真实人脸的样本占总欺骗人脸样本的百分比，FRR为真实人脸被错误判定为欺骗人脸的样本占总真实人脸样本的百分比。

实验采用5折交叉验证的方法获得平均的实验结果，将总样本随机分为五份，每次取其中的四份用于训练，剩下的一份用于测试。整个过程进行五次，取五次结果的平均为最终结果。对于打印照片欺骗人脸和显示屏照片欺骗人脸两种攻击方式，分别进行了人脸活体检测实验，实验结果如表1，表2所示。其中Focus代表聚焦特征Power代表功率谱特征，Fusion代表聚焦特征和功率谱特征串联后的综合特征。sigma为SVM中RBF核所用的参数。

表1 显示屏照片欺骗人脸实验结果

表2 打印照片欺骗人脸实验结果

由于现有的人脸活体检测数据库并不适用于本发明基于光场相机的人脸活体检测方法，而现有的基于普通相机的方法不适合在本数据库上进行实验，因此这里没有提供对比数据。但是从本发明的实验结果来看，本发明的方法在较近拍摄距离(30cm)时有非常好的检测效果，无论是对于打印照片欺骗人脸还是对于高清显示屏欺骗人脸都达到了100％的识别率，尤其是采用单一的Focus特征就可以得到100％的识别率，计算复杂度低，这是非常符合实际应用需求的。而对于较远的距离，45cm时，显示屏照片欺骗人脸的准确率可以达到98.25％，半错误率1.75％；打印照片欺骗人脸的准确率可以达到97.37％，半错误率2.63％。60cm时，显示屏照片欺骗人脸的准确率可以达到96.49％，半错误率3.51％；打印照片欺骗人脸的准确率可以达到95.61％，半错误率4.39％；以上都显示了较好的识别度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于光场相机的人脸活体检测方法，其特征在于，包括下述步骤：

(1)光场相机原始数据的提取与解码，通过微透镜中心标定、Bayer格式解码、六边形-正交格点校正的步骤从Lytro光场相机中提取原始光场数据并进行色彩校正；

(2)通过数字重对焦，从光场数据中提取出两张对焦在面部不同深度的重对焦图像；

(3)综合两张不同深度的重对焦图像，分别提取聚焦特征和功率谱特征，将两种特征连接在一起作为该人脸图像的综合特征；

(4)对采集到的所有光场图像提取上述综合特征，将训练集的综合特征输入支持向量机训练，支持向量机模型选择径向基函数，得到可用于人脸活体检测的模型，然后将待检测的图像的综合特征输入训练好的模型，得到检测结果。

2.根据权利要求1所述的基于光场相机的人脸活体检测方法，其特征在于，所述步骤(1)中，Lytro光场相机原始数据的提取与解码的具体步骤为：

(1-1)微透镜中心标定：将Lytro光场相机中取得的白图像与一个低通滤波器卷积后，找到每个微透镜图像中的峰值，这就是微透镜的中心；

(1-2)Bayer格式解码：采用Malvar提出的线性插值方法进行；

(1-3)六边形-正交格点转换：采用Condat提出的转换方法进行。

3.根据权利要求1所述的基于光场相机的人脸活体检测方法，其特征在于，所述步骤(1)中，色彩校正的具体方法是：

从Lytro光场相机中获得包含图像拍摄参数的json文件，从json文件中获得色彩校正的参数矩阵，将前面得到的光场数据与参数矩阵相乘。

4.根据权利要求1所述的基于光场相机的人脸活体检测方法，其特征在于，所述步骤(2)中，从光场数据中提取出两张对焦在面部不同深度的重对焦图像的具体方法为：

令L_F(x,y,u,v)表示原始光场数据，新的对焦深度为F'＝αF，重对焦后的光场表示为L_F’(x,y,u,v)那么通过下列公式可以计算出重对焦在F'深度的图像：

$E_{(\mathrm{\α}\·F)}(x,y)=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y}{\mathrm{\α}},u,v)dudv$

其中参数α控制对焦深度的变化，调整α的值，选取其中两张面部模糊程度差异较大的重对焦图像。

5.根据权利要求1所述的基于光场相机的人脸活体检测方法，其特征在于，所述步骤(3)中，提取聚焦特征的具体方法为：

(3-1-1)采用Nayar提出的方法从两幅重对焦图像中提取改进的拉普拉斯能量和特征(Sum Modified Laplacian)，记为SML₁和SML₂；

(3-1-2)计算差异变化值矩阵DIF＝SML₁-SML₂；

(3-1-3)把矩阵DIF按列相加得到SumDIF；

(3-1-4)通过二次方程式y＝ax2+bx+c曲线拟合SumDIF；

(3-1-5)计算拟合的曲线y＝ax2+bx+c的系数A＝[a b c]^T即为聚焦特征F_R。

6.根据权利要求1所述的基于光场相机的人脸活体检测方法，其特征在于，所述步骤(3)中，提取功率谱特征的具体方法为：

(3-2-1)通过掩膜将人脸图像I分为两个放射状的圆形子区域图像，第一个子区域包含鼻子周围，第二个则包含耳朵和脸颊轮廓；

(3-2-2)对两张子区域图像进行二维离散傅里叶变换后，将得到的傅里叶频谱进行中心移动，使能量集中在每个频谱的中心；

(3-2-3)以频谱中心为圆心把得到的频谱划分为n个不同半径的同心圆，计算各个圆形区域包含的功率占总功率的百分比α，计算公式如下：

${\mathrm{\α}}_c=\frac{{\mathrm{\Σ}}_{(u,v)\∈C}P(u,v)}{P_T}$

其中P(u,v)＝real(u,v)²+imag(u,v)²,这里real(u,v)和imag(u,v)是对应频率分量的实部和虚部，总功率

(3-2-4)从每一个频谱中得到一个直方图，该直方图中每一个直条的值是在每个圆形区域C上的功率百分比α_c；

(3-2-5)连接两个子区域图像的直方图，可以得到对应图片I的组合功率谱直方图PHist；

(3-2-6)计算DIF＝PHist₁-PHist₂，得到的差值DIF即为功率谱特征F_P。