CN109101949A - 一种基于彩色视频信号频域分析的人脸活体检测方法 - Google Patents

Abstract

一种基于彩色视频信号频域分析的人脸活体检测方法，采用以下步骤，步骤1：图像流采集装置采集人脸视频，将该人脸视频发送到处理模块；步骤2：处理模块对人脸视频中的人脸进行检测识别；步骤3：处理模块选取人脸图像的上额区域作为目标区域；步骤4：获取目标区域内的RGB颜色均值，得到三个通道的均值序列x₁(t)、x₂(t)、x₃(t)，t表示时刻；步骤5：对RGB信号进行独立成分分析，得到三个独立成分分析的分量为s₁(t)，s₂(t)，s₃(t)。使用方法为用户非接触式、无需完成任何动作即可完成人脸活体检测，用户体验好。

Description

一种基于彩色视频信号频域分析的人脸活体检测方法

技术领域

本发明涉及人脸识别领域，具体涉及一种基于彩色视频信号频域分析的人脸活体检测方法。

背景技术

人脸识别技术是目前应用最广泛的生物特征识别技术之一，它具有方便易用、用户友好性、非接触式等优点。随着各行各业的广泛应用，使用安全性便成为普遍关注的问题。在人脸识别系统中，非法分子很容易采用照片、面具假冒伪造人脸来实施攻击和欺诈行为。因此，人脸活体检测技术，逐渐受到学术界和工业界的重视，其目的就是区分真实和虚假人脸。

目前的人脸活体检测技术主要有以下几种：

1、基于特征学习的方法：由于同一设备采集的真实人脸和伪造人脸相比存在纹理细节的细微差异，表面形状的差异、以及局部高光差异等不同。这类方法对真实人脸(正样本)和伪造人脸(负样本)分别进行特征提取，通过设计分类器进行模型训练，从而实现真假人脸的辨别。这类算法的缺点是，同类样本的类内差别可能会很大，对分类器分类性能有影响，即选取的真实人脸样本可能是不同的人，不同的角度、表情、环境，很难学习到区分人脸真实与否的特征。

2、基于人机交互的方法：被检测者需按系统要求做出相应动作，如点头、眨眼等，通过分析人脸的动作模式来区分真假人脸。这类方法的缺点是，对用户要求过高，使得用户体验不佳，且认证时间较长。

3、采用多模式融合判别方法：如采用红外图像分析人脸、深度摄像头获取三维信息、联合语音识别等方法，这类方法需要额外的设备辅助，成本较高。为解决以上活体检测方法的缺点，本文发明提出了一种彩色视频信号频域分析的方法验证人脸的真实性。该方法的主要依据是，真实人的心脏搏动会引起人脸血管血液流量的周期性变化，而这种细微变化直接反应在人脸RGB信号上，通过对人脸彩色图像序列的信号进行傅里叶频域分析，发现在心率频率附近具有较高的能量，以此来判断人脸真实与否。本发明方法的优点是，直接利用获取的彩色视频，无需额外设备辅助，无需被检测者的主动配合，计算简单快速，能够很好的解决基于人脸识别的身份认证中伪造人脸的欺骗问题。

发明内容

本发明针对现有技术的不足，提出一种基于彩色视频信号频域分析的人脸活体检测方法，具体技术方案如下：一种基于彩色视频信号频域分析的人脸活体检测方法，其特征在于：

采用以下步骤，

步骤1：图像流采集装置采集人脸视频，将该人脸视频发送到处理模块；

步骤2：处理模块对人脸视频中的人脸进行检测识别；

步骤3：处理模块选取人脸图像的上额区域作为目标区域；

步骤4：获取目标区域内的RGB颜色均值，得到三个通道的均值序列x₁(t)、x₂(t)、x₃(t)，t表示时刻；

步骤5：对RGB信号进行独立成分分析，得到三个独立成分分析的分量为

s₁(t)，s₂(t)，s₃(t)；

步骤6：提取独立成分分析的第二个分量s₂(t)，对s₂(t)进行傅里叶频域分析，获取信号的能量谱E(ω)，即

E(ω)＝|F(s₂(t))|

其中F表示傅里叶变换，ω为频率；

步骤7：通过统计1.07Hz频率附近的幅值占整个能量谱的比例来判断是否为真实人脸，即计算

步骤8：设定阈值h，判断Ks是否大于h，如果是，则进入下一步骤，否则，进入步骤；

步骤9：判断为真实人脸；

步骤10：判断为伪造人脸。

进一步地：所述步骤2具体为：

处理模块对人脸视频中逐帧进行人脸检测，如果有其中某一帧没有检测到人脸，则可以采取上一帧的结果，如果连续的至少三帧没有检测结果，则判断为人脸从视频中消失，当某一帧检测出多张人脸时，采用与上一帧位置最接近的矩形区域为当前检测结果。

进一步地：所述步骤5具体为，采用独立成分分析对RGB颜色信号进行独立分解，令列向量x(t)＝[x₁(t)，x₂(t)，x₃(t)]^T为RGB观测信号，s(t)＝[s₁(t)，s₂(t)，s₃(t)]^T为假设的三个独立的源信号，A为3x3的包含混合参数的矩阵，则观测信号可由独立源信号的线性组合而成，即x(t)＝As(t)；

独立成分分析的目的是寻找一个分离矩阵W，作为混合矩阵A的逆矩阵估计，从而得到源信号的估计满足

采用特征矩阵对角化联合估计算法求解独立成分分析问题，得到三个独立成分分析分量s₁(t)，s₂(t)，s₃(t)。

本发明的有益效果为：第一，无需对硬件设备、摄像头进行改造，现有大部分摄像头即可满足要求，降低用户成本；

第二，使用方法为用户非接触式、无需完成任何动作即可完成人脸活体检测，用户体验好。

第三，利用本发明，能够解决目前利用虚假人脸，具体如人脸照片、人脸视频或者面具等进行违法行为的问题，且算法简单、快速、高效。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示：一种基于彩色视频信号频域分析的人脸活体检测方法，采用以下步骤，

步骤1：图像流采集装置采集人脸视频，将该人脸视频发送到处理模块，图像流采集装置包括一个分辨率大于30万像素、帧率为30帧/秒的摄像头，一台连接摄像头的PC机，在稳定的可见光环境下，采用摄像头实时获取或录制一段人脸正面的彩色视频，录制期间受检者与摄像头保持半米的距离，上额部没有遮挡且头部位置和面部表情基本保持不变，可有轻微表情变化，如正常眨眼动作；

步骤2：处理模块对人脸视频中的人脸进行检测识别，对采集的彩色视频逐帧进行人脸检测，检测算法采用Viola-Jones算法，该算法采用Haar-like特征和Adaboost级联分类器实现人脸的检测。为防止整个过程的漏检和误检，采取以下措施：

处理模块对人脸视频中逐帧进行人脸检测，如果有其中某一帧没有检测到人脸，则可以采取上一帧的结果，如果连续的至少三帧没有检测结果，则判断为人脸从视频中消失，当某一帧检测出多张人脸时，采用与上一帧位置最接近的矩形区域为当前检测结果，该处可采用Opencv实现，获得检测结果为人脸矩形框左上角坐标以及矩形宽高；

步骤3：考虑到诸多影响脸部颜色变化的因素，如眨眼、鼻子对脸部光线遮挡、人脸边缘背景等，处理模块选取人脸图像的上额区域作为目标区域-ROI；

步骤4：在每一帧获取目标区域内的RGB三个通道的像素值，且分别计算三个通道在区域内的颜色均值，得到三个通道的均值序列x₁(t)、x₂(t)、x₃(t)，t表示时刻；

步骤5：RGB颜色传感器实际上获取的是不同反射光源的混合信号，因此RGB三通道之间具有很大程度的相关性。独立成分分析-ICA，常用于盲源信号分离，即从混合信号中分离出相互独立的信号分量；

对RGB信号进行独立成分分析，该独立成分分析可用ICA作为缩写替代词，采用独立成分分析对RGB颜色信号进行独立分解，令列向量x(t)＝[x₁(t)，x₂(t)，x₃(t)]^T为RGB观测信号，s(t)＝[s₁(t)，s₂(t)，s₃(t)]^T为假设的三个独立的源信号，A为3x3的包含混合参数的矩阵，则观测信号可由独立源信号的线性组合而成，即x(t)＝As(t)；

独立成分分析的目的是寻找一个分离矩阵W，作为混合矩阵A的逆矩阵估计，从而得到源信号的估计满足

采用特征矩阵对角化联合估计算法求解独立成分分析问题，得到三个独立成分分析分量s₁(t)，s₂(t)，s₃(t)。

步骤6：由于人的心脏搏动使人脸额头部的血管血液容积产生周期性变化，可反映在反射光信号中，通过大量实验验证，独立成分分析分量中第二个分量s₂(t)更多的包含真实人的心率信息，因此提取独立成分分析的第二个分量s₂(t)，对s₂(t)进行傅里叶频域分析，获取信号的能量谱E(ω)，即

E(ω）＝|F(s₂(t))|

其中F表示傅里叶变换，ω为频率。

步骤7：通过实验发现，真实人脸独立成分分析的第二分量信号的幅频响应曲线中在频率为1.07Hz附近有明显的峰值，即信号在此频率附近能量较大，这是由于信号中隐含了心率信号，符合正常人的的心率65bpm；而对于虚假人脸图像，其独立成分分析的第二分量的能量谱则不具有此特性。通过统计1.07Hz频率附近的幅值占整个能量谱的比例来判断是否为真实人脸，即计算

步骤8：设定阈值h，判断Ks是否大于h，如果是，则进入下一步骤，否则，进入步骤；

步骤9：判断为真实人脸；

步骤10：判断为伪造人脸。

Claims (3)

1.一种基于彩色视频信号频域分析的人脸活体检测方法，其特征在于：

采用以下步骤，

步骤1：图像流采集装置采集人脸视频，将该人脸视频发送到处理模块；

步骤2：处理模块对人脸视频中的人脸进行检测识别；

步骤3：处理模块选取人脸图像的上额区域作为目标区域；

步骤4：获取目标区域内的RGB颜色均值，得到三个通道的均值序列x₁(t)、x₂(t)、x₃(t)，t表示时刻；

步骤5：对RGB信号进行独立成分分析，得到三个独立成分分析的分量为s₁(t)，s₂(t)，s₃(t)；

步骤6：提取独立成分分析的第二个分量s₂(t)，对s₂(t)进行傅里叶频域分析，获取信号的能量谱E(ω)，即

其中F表示傅里叶变换，ω为频率；

步骤7：通过统计1.07Hz频率附近的幅值占整个能量谱的比例来判断是否为真实人脸，即计算

步骤8：设定阈值h，判断Ks是否大于h，如果是，则进入下一步骤，否则，进入步骤；

步骤9：判断为真实人脸；

步骤10：判断为伪造人脸。

2.一种基于彩色视频信号频域分析的人脸活体检测方法，其特征在于：所述步骤2具体为：

处理模块对人脸视频中逐帧进行人脸检测，如果有其中某一帧没有检测到人脸，则可以采取上一帧的结果，如果连续的至少三帧没有检测结果，则判断为人脸从视频中消失，当某一帧检测出多张人脸时，采用与上一帧位置最接近的矩形区域为当前检测结果。

3.一种基于彩色视频信号频域分析的人脸活体检测方法，其特征在于：所述步骤5具体为，采用独立成分分析对RGB颜色信号进行独立分解，令列向量x(t)＝[x₁(t)，x₂(t)，x₃(t)]^T为RGB观测信号，s(t)＝[s₁(t)，s₂(t)，s₃(t)]^T为假设的三个独立的源信号，A为3x3的包含混合参数的矩阵，则观测信号可由独立源信号的线性组合而成，即x(t)＝As(t)；

独立成分分析的目的是寻找一个分离矩阵W，作为混合矩阵A的逆矩阵估计，从而得到源信号的估计满足

采用特征矩阵对角化联合估计算法求解独立成分分析问题，得到三个独立成分分析分量s₁(t)，s₂(t)，s₃(t)。