CN109858439A - 一种基于人脸的活体检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于人脸的活体检测方法及装置，涉及生物识别技术领域。本发明公开的方法及装置包括对采集到的彩色图像和近红外图像进行如下处理：人脸检测及人脸关键点检测、人脸姿态矫正、图像预处理、导向滤波、图像区域分割、纹理特征提取和归一化处理、以及人脸属性分类，最后得到活体检测结果。本发明提出的活体检测方法，以近红外图像作为数据来源，能够实现实时的人脸活体检测，该方法能够有效的对抗3D人脸模型及人脸面具等三维立体非活体攻击，并且不受环境变化干扰，具有鲁棒性。

Description

一种基于人脸的活体检测方法及装置

技术领域

本发明涉及生物识别技术领域，特别是涉及一种基于人脸的活体检测方法及装置。

背景技术

随着摄像头等硬件设备的不断更新以及机器视觉技术的不断发展，人脸识别作为一种用户身份认证的重要手段，被广泛应用在银行、机场、车站及移动端等一切需要身份认证的场景中。人脸识别的这些应用场景往往涉及信息、安全、财产等众多重要领域，因此，确保人脸识别系统面对非活体攻击时的可靠性具有至关重要的意义。

活体检测作为人脸识别过程中的重要步骤，主要功能是区分摄像头中的人脸的真假，是人脸识别系统对抗非活体攻击的最重要环节。从非活体攻击手段来看，打印照片、屏幕播放照片或视频是最常见也是攻击成本最低的手段。就目前的计算机信息技术发展水平而言，获取被攻击者的人脸图像是轻而易举的事情。目前带有活体检测功能的人脸识别系统中，采取的活体检测方法主要是针对这种简单的平面攻击的。具体来看，目前的活体检测方法可大致分为以下三种，第一种是基于传统的图像知识的方法，在检测过程中，利用人脸彩色图像提取纹理信息，进而区别活体人脸与非活体人脸。近几年由于深度相机的发展，成像质量不断进步，一些检测方法中加入了图像的深度信息，利用活体人脸和非活体照片、屏幕等在深度信息上的差异，实现活体检测的目的。第二种方法，主要是基于深度学习神经网络，这种方法首先要设计合理有效的网络结构，利用大量预先采集的活体和非活体数据训练网络提取特征，最终实现活体检测。除此以外，还有一部分活体检测方法在检测过程中加入了人机互动的环节，国内如证券、移动支付等手机软件中加入这一类的活体检测方法，在这种检测过程中，通常需要被识别者面对摄像头做出一系列规定动作，如点头、张嘴、闭眼等。这种交互式的环节在一定程度上进一步增强了活体检测算法的可靠性。但是，这样的人机交互过程并不符合智能系统的手机理念，势必会让人脸识别系统的用户体验大打折扣。

到目前为止，活体检测方法发展依旧不够成熟，具体而言，虽然现有的活体检测方法在应对照片打印、屏幕播放等平面攻击时能够发挥不错的效果，但在面对复杂环境时，仍然存在着诸多不足之处，具体包括以下几点：(1)容易受环境变化影响，尤其是光照发生变化时，彩色摄像头的成像效果很容易受到光照等环境因素影响，使得活体判断失去应有的准确度，导致活体检测算法鲁棒性不佳；(2)部分检测算法需要人机交互，这使得人脸检测系统的用户体验大打折扣，并且已经可以被一些具有实时换脸功能的软件攻破；(3)部分基于深度图像的活体检测算法，能够很好的辨别平面攻击，但是面对3D人脸模型、人脸面具等立体攻击时，效果不佳。

发明内容

针对现有技术中以上几点不足，本发明的目的是开发出一套可靠的静默活体检测方法。

本发明的技术方案如下：

一种基于人脸的活体检测方法，包括：

步骤S1：获取红外人脸图像，并检测出人脸关键点的位置信息；

步骤S2：对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

步骤S3：对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到归一化后的人脸特征向量；

步骤S4：将所述归一化后的人脸特征向量送入到预先训练好的分类器模型中进行分类，根据分类结果得到活体检测结果。

优选的，上述步骤S1之前还包括：利用双摄像头模组采集获取彩色图像和近红外图像，对所述彩色图像进行人脸检测，并判断是否检测到人脸，是则执行步骤S1，否则返回继续采集彩色图像和近红外图像。

优选的，上述步骤S2具体包括：根据所述人脸关键点的位置信息计算得到人脸器官关键点，根据预先标定好的标准姿态的人脸器官关键点和计算得到的人脸器官关键点之间存在的变换关系计算出图形变换矩阵，根据图形变换矩阵将所述红外人脸图像矫正得到标准红外人脸图像。

优选的，上述步骤S3具体包括：先以预先设计好的标准图像作为滤波的引导图进行导向滤波处理，然后利用人脸关键点对图像进行区域分割，再利用LBP特征算子对图像进行多次分块化特征提取和归一化处理得到归一化后的人脸特征向量。

优选的，上述步骤S2和步骤S3之间还包括图像预处理的步骤，具体为：将所述标准红外人脸图像的尺寸修改为128*128像素，并将灰度值标准化为[0 255]区间内。

本发明还提供了一种基于人脸的活体检测装置，包括：人脸检测及人脸关键点检测模块、人脸姿态矫正模块、图像处理模块和人脸属性分类模块；

所述人脸检测及人脸关键点检测模块，用于检测并截取红外人脸图像，以及检测出人脸关键点的位置信息；

所述人脸姿态矫正模块，用于对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

所述图像处理模块，用于对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到归一化后的人脸特征向量；

所述人脸属性分类模块，用于将所述归一化后的人脸特征向量送入到预先训练好的分类器模型中进行分类，根据分类结果得到活体检测结果。

优选的，上述人脸检测及人脸关键点检测模块，还用于从双摄像头模组获取彩色图像和近红外图像，根据彩色人脸检测算法对所述彩色图像进行人脸检测得到人脸框，然后根据预先标定的摄像头参数矩阵，将所述人脸框对应到所述近红外图像上，定位出红外图像中的人脸位置并截取出红外人脸图像，根据人脸特征点提取算法对所述红外人脸图像进行检测，得到人脸关键点的位置信息。

优选的，上述人脸姿态矫正模块，具体用于根据所述人脸关键点的位置信息计算得到人脸器官关键点，根据预先标定好的标准姿态的人脸器官关键点和计算得到的人脸器官关键点之间存在的变换关系计算出图形变换矩阵，根据图形变换矩阵将所述红外人脸图像矫正得到标准红外人脸图像。

优选的，上述图像处理模块，具体用于先以预先设计好的标准图像作为滤波的引导图进行导向滤波处理，然后利用人脸关键点对图像进行区域分割，再利用LBP特征算子对图像进行多次分块化特征提取和归一化处理得到人脸特征向量。

优选的，上述图像处理模块，还用于先将所述标准红外人脸图像的尺寸修改为128*128像素，并将灰度值标准化为[0 255]区间内，再进行所述导向滤波处理。

本发明提出的一种红外活体检测方法，以近红外图像作为数据来源，能够实现实时的人脸活体检测，该方法能够有效的对抗3D人脸模型及人脸面具等三维立体非活体攻击，并且不受环境变化干扰，具有鲁棒性。

附图说明

图1是实施例1提供的一种基于人脸的活体检测方法的流程图；

图2是实施例2提供的一种基于人脸的活体检测方法的流程图；

图3是人脸姿态矫正的效果示意图；

图4是活体检测结果的效果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

本发明中的相关技术术语解释如下：

SVM(Support Vector Machine,支持向量机)；

LBP(Local Binary Pattern,局部二值模式)；

(半径为r，区域内像素数为n的LBP算子)；

统一模式的算子，得到的特征数目为N＝n×(n-1)+3；

HoG(Histogram of Oriented Gradient,方向梯度直方图)；

Haar(Haar-like Features,哈尔特征)；

KNN(k-Nearest Neighbor,k临近算法)；

k-means(k均值聚类算法)。

实施例1

本实施例1提供的一种基于人脸的活体检测方法，如图1所示，包括以下步骤：

步骤1：获取彩色图像和近红外图像；

本实施例中，利用集成了彩色和红外摄像头的双摄像头模组同时采集获取彩色图像和近红外图像。

步骤2：对所述彩色图像进行人脸检测，并判断是否检测到人脸，是则执行步骤3，否则返回步骤1；

本实施例中具体的，根据彩色人脸检测算法对所述彩色图像进行人脸检测，若得到人脸框则表示检测到人脸，执行步骤3，否则未检测到人脸，返回步骤1。

步骤3：获取红外人脸图像，并检测出人脸关键点的位置信息；

本实施例中具体的，根据预先标定的摄像头参数矩阵，将所述人脸框对应到所述近红外图像上，定位出红外图像中的人脸位置并截取出红外人脸图像；根据人脸特征点提取算法对所述红外人脸图像进行检测，得到人脸关键点的位置信息。

步骤4：对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

本实施例中具体的，根据所述人脸关键点的位置信息计算得到人脸器官关键点，根据预先标定好的标准姿态的人脸器官关键点和计算得到的人脸器官关键点之间存在的变换关系计算出图形变换矩阵，根据图形变换矩阵将所述红外人脸图像矫正得到标准红外人脸图像。

人脸姿态矫正的效果图如图3所示。

步骤5：对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到归一化后的人脸特征向量；

本实施例中具体的，先以预先设计好的标准图像作为滤波的引导图，进行导向滤波处理，再对所述标准红外人脸图像利用LBP特征算子进行多次分块化特征提取和归一化处理得到归一化后的人脸特征向量。

例如，直接采用步骤3得到的标准红外人脸图像作为引导图。

优先的，本步骤之前还包括图像预处理的步骤，具体包括统一图像尺寸、灰度值归一化的步骤。

对所述标准红外人脸图像利用LBP特征算子进行多次分块化特征提取具体包括：首先对整张标准红外人脸图像进行特征提取，在提取之前，将图像大小调整为64*64像素，分别选取了和对整张图像特征提取。同时，为了增强活体检测方法的鲁棒性，本发明又将从所述标准红外人脸图像中选取的分成5块矩形区域进行局部特征提取，选取的LBP算子为上述这5个区域分别包含了左眼、右眼、鼻子、嘴巴及额头。

针对提取到的每一特征向量，进行归一化处理：

其中和为训练SVM模型时保存的数值，即已知值，为归一化后的特征值。

步骤6：将所述归一化后的人脸特征向量送入到预先训练好的SVM模型中进行分类，根据分类结果得到活体检测结果。

具体的，将步骤5得到的归一化后的人脸特征向量连接并输入到预先训练好的SVM中进行分类。

活体检测结果的效果图如图4所示。

实施例2

本实施例提供的一种基于人脸的活体检测方法，先利用双摄像头模组同时获取彩色和红外图像，然后基于获取的彩色和近红外图像，执行如图2所示方法流程之后，得到活体检测结果。下面对图2所示流程的各步骤进行详细说明如下：

人脸检测及人脸关键点检测101：对彩色摄像头捕捉到的每一帧图像进行人脸检测，得到人脸框的位置，通过预先标定好的摄像头参数矩阵，将彩色图像上的人脸框对应到相应的红外图像上，并根据红外图像上的人脸框截取出红外人脸图像。利用人脸特征提取算法对红外人脸图像进行检测，得到人脸上68个关键点的位置信息P(i)(i＝1,2,3,…,68)。

需说明的是，常用的人脸特征提取算法有68个点的、98个点的，本实施例中以68个点的人脸特征提取算法为例进行了介绍。

人脸姿态矫正102：为了排除人脸在检测过程中刚性运动的影响，可以利用对每一帧检测到的红外人脸图像和68个关键检点位置对图像进行姿态矫正。首先，由68个人脸关键点，通过计算定位5个人脸器官关键点，分别为左眼P_le、右眼P_re、鼻尖P_nose以及左右嘴角P_lm、P_rm。其计算方法为：

P_le＝(P(43)+P(44)+P(45)+P(46)+P(47)+P(48))/6

P_re＝(P(37)+P(38)+P(39)+P(40)+P(41)+P(42))/6

P_nose＝P(31)

P_lm＝(P(55)+P(65))/2

P_rm＝(P(49)+P(61))/2

假设Q⁵为5个预先标定好的标准姿态的人脸器官关键点，标准关键点与每一帧红外人脸图像的5个关键点P⁵间存在着变换关系：

Q⁵＝T·P⁵

其中T为图形变换矩阵，通过变换矩阵T对红外人脸图像进行姿态变换，具体如下：其中，原图像上点S(x₀,y₀)对应到矫正后的图像上的点坐标为D(x,y)。就可以将其变换到标准的人脸姿态，可以消除人脸刚性运动对检测过程的影响。

人脸姿态矫正前后的效果图参见图3。

图像预处理103：对得到的标准红外人脸图像进行预处理，将其尺寸修改为128*128像素，并将灰度值标准化为[0 255]区间内。

导向滤波104：在对图像p进行导向滤波得到q的过程中，还需要引入滤波的引导图像I，滤波器实现的具体数学公式为：

其中W_ij(I)代表了滤波过程中由引导图像I确定的加权平均的权重值，选取图像p为引导图像I。导向滤波的基本原理，也正是导向滤波与普通的平滑滤波的区别所在。通过选取合适的引导图像I，导向滤波器能够有效的区分图像中的边缘、平面区域和噪声信息，并且能够保证图像的边缘信息在滤波过程中不被磨平。在活体检测中，区别活体与非活体的关键就在于这些边缘区域如人脸的轮廓、眉毛、皱纹等。通过选择合适的导向滤波引导图像I，可以在滤除图像中干扰噪声的同时有效地保留有用信息，是红外活体检测过程中的关键一步。

图像区域分割105：本发明利用人脸关键点，对红外人脸图像进行区域分割，从而得到待检测的人脸区域。结合人脸关键点位置，本发明在红外人脸图像上选取出了5块矩形区域作为特征提取区域，这5个区域分别包含了左眼、右眼、鼻子、嘴巴及额头。

纹理特征提取106：本发明选取统一模式的LBP特征算子对人脸图像进行纹理特征提取。具体而言，分别选取了和对整张图像特征提取。同时，为了增强活体检测方法的鲁棒性，本发明又将人脸图像分成5块进行局部特征提取，选取的LBP算子为由于本发明采取的是U≤2的统一模式的LBP算法，最终得到的特征向量元素个数为：

N＝59+243+5*59＝597

归一化处理107：针对每一特征向量，进行归一化处理：

其中n为当前图片序号，和分别为第m个特征的最大值和最小值，为预先保存的已知值，为归一化后的第n帧图片的第m个特征的特征值。

人脸属性分类108：将归一化处理后的特征向量送入到预先训练好的SVM模型中，得到人脸属性分类结果。

本发明利用SVM作为人脸属性分类器，采用线性核函数。在训练阶段，分别选取一定数量的正负人脸图像样本，经过上述处理后得到特征矩阵，针对每一维度的特征值，首先进行归一化处理：

其中n为当前图片序号，和分别为第m个特征的最大值和最小值，为归一化后的第n帧图片的第m个特征的特征值。将每个特征对应的最大值和最小值保存待用，将归一化后的特征向量送入SVM中进行训练，得到用于活体检测分类的SVM模型。

实施例3

本实施例基于实施例1和实施例2的基础上，提供了一种基于人脸的活体检测装置，包括：人脸检测及人脸关键点检测模块、人脸姿态矫正模块、图像处理模块和人脸属性分类模块；

所述人脸检测及人脸关键点检测模块，用于检测并截取红外人脸图像，以及检测出人脸关键点的位置信息；

对彩色摄像头捕捉到的每一帧图像进行人脸检测，得到人脸框的位置，通过预先标定好的摄像头参数矩阵，将彩色图像上的人脸框对应到相应的红外图像上，并根据红外图像上的人脸框截取出红外人脸图像。利用人脸特征提取算法对红外人脸图像进行检测，得到人脸上68个关键点的位置信息P(i)(i＝1,2,3,…,68)。

所述人脸姿态矫正模块，用于对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

为了排除人脸在检测过程中刚性运动的影响，可以利用对每一帧检测到的红外人脸图像和68个关键检点位置对图像进行姿态矫正。首先，由68个人脸关键点，通过计算定位5个人脸器官关键点，分别为左眼P_le、右眼P_re、鼻尖P_nose以及左右嘴角P_lm、P_rm。具体计算参见实施例2的描述。

所述图像处理模块，用于对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到人脸特征向量；

优选的，所述图像处理模块包括图像预处理单元、导向滤波单元、图像区域分割单元、纹理特征提取单元，各单元功能具体如下：

图像预处理单元：用于对标准红外人脸图像进行预处理，将其尺寸修改为128*128像素，并将灰度值标准化为[0 255]区间内。

导向滤波单元：用于将原图像p进行导向滤波得到图像q。

例如：引入滤波的引导图像I，滤波器实现的具体数学公式为：

其中W_ij(I)代表了滤波过程中由引导图像I确定的加权平均的权重值，选取图像p为引导图像I。

图像区域分割单元：用于利用人脸关键点，对红外人脸图像进行区域分割，从而得到待检测的人脸区域。

结合人脸关键点位置，本发明在红外人脸图像上选取出了5块矩形区域作为特征提取区域，这5个区域分别包含了左眼、右眼、鼻子、嘴巴及额头。

纹理特征提取单元：用于选取统一模式的LBP特征算子对人脸图像进行纹理特征提取。

归一化处理单元：用于将所述纹理特征提取单元提取的特征向量进行归一化处理得到归一化后的人脸特征向量；

本实施例中，图像处理模块中各单元的具体实现可参考实施例2的详细描述，在此不再赘述。

所述人脸属性分类模块，用于将所述归一化后的人脸特征向量送入到预先训练好的分类器模型中进行分类，根据分类结果得到活体检测结果。

本实施例中，优选的所述预先训练好的分类器模型为SVM分类器，还可以是KNN分类器或K-means分类器。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (15)

1.一种基于人脸的活体检测方法，其特征在于，包括：

步骤S1：获取红外人脸图像，并检测出人脸关键点的位置信息；

步骤S2：对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

步骤S3：对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到归一化后的人脸特征向量；

步骤S4：将所述归一化后的人脸特征向量送入到预先训练好的分类器模型中进行分类，根据分类结果得到活体检测结果。

2.根据权利要求1所述的活体检测方法，其特征在于，所述步骤S1之前还包括：利用双摄像头模组采集获取彩色图像和近红外图像，对所述彩色图像进行人脸检测，并判断是否检测到人脸，是则执行步骤S1，否则返回继续采集彩色图像和近红外图像。

3.根据权利要求2所述的活体检测方法，其特征在于，所述对所述彩色图像进行人脸检测，并判断是否检测到人脸具体为：根据彩色人脸检测算法对所述彩色图像进行人脸检测，若得到人脸框则表示检测到人脸，否则表示未检测到人脸。

4.根据权利要求3所述的活体检测方法，其特征在于，所述步骤S1具体包括：根据预先标定的摄像头参数矩阵，将所述人脸框对应到所述近红外图像上，定位出红外图像中的人脸位置并截取出红外人脸图像，根据人脸特征点提取算法对所述红外人脸图像进行检测，得到人脸关键点的位置信息。

5.根据权利要求1所述的活体检测方法，其特征在于，所述步骤S2具体包括：根据所述人脸关键点的位置信息计算得到人脸器官关键点，根据预先标定好的标准姿态的人脸器官关键点和计算得到的人脸器官关键点之间存在的变换关系计算出图形变换矩阵，根据图形变换矩阵将所述红外人脸图像矫正得到标准红外人脸图像。

6.根据权利要求1所述的活体检测方法，其特征在于，所述步骤S3具体包括：先以预先设计好的标准图像作为滤波的引导图进行导向滤波处理，然后利用人脸关键点对图像进行区域分割，再利用LBP特征算子对图像进行多次分块化特征提取和归一化处理得到归一化后的人脸特征向量。

7.根据权利要求6所述的活体检测方法，其特征在于，所述步骤S3所述纹理特征提取具体包括：分别选取LBP算子为和对整张图像特征提取，以及选取LBP算子为对区域分割后的图像进行局部特征提取。

8.根据权利要求6或7所述的活体检测方法，其特征在于，所述利用人脸关键点对图像进行区域分割具体为：结合人脸关键点位置，在所述标准红外人脸图像上选取出5块矩形区域作为特征提取区域，分别为包含了左眼、右眼、鼻子、嘴巴及额头的区域。

9.根据权利要求1所述的活体检测方法，其特征在于，所述步骤S2和步骤S3之间还包括图像预处理的步骤，具体为：将所述标准红外人脸图像的尺寸修改为128*128像素，并将灰度值标准化为[0255]区间内。

10.根据权利要求1所述的活体检测方法，其特征在于，所述预先训练好的分类器模型具体为SVM分类器或KNN分类器或K-means分类器。

11.一种基于人脸的活体检测装置，其特征在于，包括：人脸检测及人脸关键点检测模块、人脸姿态矫正模块、图像处理模块和人脸属性分类模块；

所述人脸检测及人脸关键点检测模块，用于检测并截取红外人脸图像，以及检测出人脸关键点的位置信息；

所述人脸姿态矫正模块，用于对所述红外人脸图像和人脸关键点的位置信息进行姿态矫正得到标准红外人脸图像；

所述图像处理模块，用于对所述标准红外人脸图像进行导向滤波处理、纹理特征提取和归一化处理得到归一化后的人脸特征向量；

所述人脸属性分类模块，用于将所述归一化后的人脸特征向量送入到预先训练好的分类器模型中进行分类，根据分类结果得到活体检测结果。

12.根据权利要求11所述的活体检测装置，其特征在于：所述人脸检测及人脸关键点检测模块，还用于从双摄像头模组获取彩色图像和近红外图像，根据彩色人脸检测算法对所述彩色图像进行人脸检测得到人脸框，然后根据预先标定的摄像头参数矩阵，将所述人脸框对应到所述近红外图像上，定位出红外图像中的人脸位置并截取出红外人脸图像，根据人脸特征点提取算法对所述红外人脸图像进行检测，得到人脸关键点的位置信息。

13.根据权利要求11所述的活体检测装置，其特征在于：所述人脸姿态矫正模块，具体用于根据所述人脸关键点的位置信息计算得到人脸器官关键点，根据预先标定好的标准姿态的人脸器官关键点和计算得到的人脸器官关键点之间存在的变换关系计算出图形变换矩阵，根据图形变换矩阵将所述红外人脸图像矫正得到标准红外人脸图像。

14.根据权利要求11所述的活体检测装置，其特征在于：所述图像处理模块，具体用于先以预先设计好的标准图像作为滤波的引导图进行导向滤波处理，然后利用人脸关键点对图像进行区域分割，再利用LBP特征算子对图像进行多次分块化特征提取和归一化处理得到人脸特征向量。

15.根据权利要求11所述的活体检测装置，其特征在于：所述图像处理模块，还用于先将所述标准红外人脸图像的尺寸修改为128*128像素，并将灰度值标准化为[0 255]区间内，再进行所述导向滤波处理。