CN109670430A - 一种基于深度学习的多分类器融合的人脸活体识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多分类器融合的人脸活体识别方法，使用传统的边缘特征、眼部特征等与深度神经网络特征分别训练三种分类器，然后利用这些分类器通过设计好的程序流程，进行人脸活体识别。该方法针对现实场景中的活体识别问题，设计了边框检测、眨眼检测和摩尔纹检测，并创新性地将上述三个检测的结果按照一定逻辑进行融合，得到人脸活体识别结果，具有良好抗欺骗能力、优秀抗干扰能力、仅需用户少量配合的、且仅需普通摄像头(无需外加设备)等优点。本发明主要有边框检测、眨眼检测、摩尔纹检测、融合判断流程等步骤，为现实推广人脸活体识别的应用做出了一定的贡献。

Description

一种基于深度学习的多分类器融合的人脸活体识别方法

技术领域

本发明涉及机器学习、深度学习和模式识别等科研领域，尤其涉及一种基于深度学习的多分类器融合的人脸活体识别方法。

背景技术

人脸活体检测成为人脸识别的关键组成部分，它对于任何一个生物检测系统来说是十分重要和必要的一个环节，它可以保证生物检测系统能够安全有效地工作；对于无人监督的人脸识别系统应用来说，自动地抵抗照片和视频欺骗是人脸识别领域中一个迫切需要解决的问题。

活体人脸的检测主要有以下方法：三维深度信息分析、脸部运动的光流估计、人脸和语音混合识别、傅里叶频谱分析、眨眼检测、热红外成像识别等。以及上述方法中几种方法的融合。随着深度学习的发展，也有一些学者提出将上述方法和深度学习方法相结合的方法。相关技术主要有人脸图像的预处理，人脸区域检测，特征提取，活体分类等。特征提取是人脸活体识别中最重要的一步，目前主要存在基于人脸区域的特征提取方法，基于频谱的特征提取方法，基于运动信息的特征提取方法和基于深度学习的特征提取方法等等。对于分类器的设计，常用的分类方法有支持向量机，神经网络等。总的来说目前的人脸活体识别算法研究着重于特征的提取和分类器的设计，大部分方法不仅无法对抗视频攻击，而且需要额外设备的辅助。由于实际场景下需要在照片和视频攻击中由于电子设备显示屏的原因经常出现摩尔纹，或者手机边框，因此本发明综合边框检测，摩尔纹检测再加上可抵抗静态图片攻击的眨眼检测，可以满足现有活体识别的应用场景需求。

发明内容

本发明的目的在于针对目前基于视觉的人脸活体识别方法存在的不足，提出一种基于深度学习的多分类器融合的人脸活体识别方法，该方法基于传统边框检测、眨眼检测和深度摩尔纹检测进行人脸活体的识别。

本发明的目的是通过以下技术方案来实现的：一种基于深度学习的多分类器融合的人脸活体识别方法，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。

进一步的，该方法包括如下步骤：

(1)眨眼检测：对视频F中的待检测视频帧f_i进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度U_i，统计人眼开合度U_i小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测；

(2)边框检测：通过眨眼检测后，对待检测视频帧f_i进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；

(3)摩尔纹检测：通过边框检测后，构建并训练深度卷积神经网络，训练后，输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。

进一步的，所述眨眼检测具体包括如下步骤：

(1.1)输入一段视频F，取待检测视频帧f_i；

(1.2)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测视频帧f_i进行人脸关键点检测，获得眼部区域关键点坐标；

(1.3)使用上述眼部区域关键点坐标计算人眼开合度U_i，

统计U_i小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测。

进一步的，所述边框检测具体包括如下步骤：

对取待检测视频帧f_i进行灰度化处理，使用canny边缘提取算法提取灰度图的边缘；将边缘图进行hough变换；在hough变换图中寻找n个像素以上的直线形成的点；统计直线检测结果中直线包含像素的个数，若大于阈值threshold5，则判断为该图片检测为有边框；计算出现边框的帧数，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体。

进一步的，所述摩尔纹检测具体包括如下步骤：

使用手机对着电脑屏幕翻拍人脸图片，图片来自公开人脸数据集，以获取带有摩尔纹的人脸图片；使用标注软件对带有摩尔纹的人脸图片中有摩尔纹的区域进行标注；将标注区域裁切出来，并调整尺寸至固定大小，作为深度卷积神经网络训练的正样本；将公开人脸数据集的原图片，即不带有摩尔纹的人脸图片裁切，调整尺寸至同样固定大小，作为深度卷积神经网络训练的负样本；利用上述正样本和负样本进行训练，得到深度卷积神经网络分类器；

对待检测视频帧f_i进行灰度化处理，调整尺寸，并划分成m*n个网格；将每一个小网格区域S_i，输入训练好的深度卷积神经网络分类器中，输出其为摩尔纹区域的概率p_i；计算上述f_i计算总的平均概率值P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。

本发明的有益效果是：本发明使用传统的边缘特征、眨眼运动特征与深度特征分别训练三种检测器，然后利用这些检测器采用一定的识别逻辑构建活体识别分类器，进行人脸活体识别。该活体识别方法使用了近年来流行的深度学习方法提取深度特征，并与人脸关键点(眼睛)区域的结构特征以及图像边缘特征进行融合，同时提出创新性的融合方法，使得人脸活体的识别更加鲁棒。本发明主要有眨眼检测、边框检测、摩尔纹检测、多分类器融合的活体识别方法等步骤。使用该人脸识别方法，可在但单个普通摄像头且用户较少配合的场景下获得较好的效果，为现实场景下人脸活体识别算法的应用做出了一定的贡献。

附图说明

图1是人脸活体识别的主要流程图。

图2是68个人脸关键点展示图；

图3(a)-图3(c)是眨眼检测中的人眼开合度计算模型；

图4(a)是不带有摩尔纹的人脸图片；

图4(b)是带有摩尔纹的人脸图片；

图5是深度神经网络进行摩尔纹分类流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供的一种基于深度学习的多分类器融合的人脸活体识别方法，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。

详细步骤如下：

1.多分类器融合的活体识别算法流程，如图1：

(a)眨眼检测：对视频F中的待检测视频帧f_i进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度U_i，统计人眼开合度U_i小于阈值0.25的次数z，z小于阈值2则识别为非活体，否则进行下一步检测；

(b)边框检测：通过眨眼检测后，对待检测视频帧f_i进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值0.1，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；

(c)摩尔纹检测：通过边框检测后，构建深度卷积神经网络，使用数据进行深度卷积神经网络参数的训练；输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值0.593，则识别为非活体，否则识别为活体。

2.所述眨眼检测具体包括如下步骤：

(a)输入一段视频F，取待检测视频帧f_i；

(b)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测帧f_i进行人脸关键点检测，获得眼部区域关键点坐标，如图2；

(c)使用上述眼部区域关键点坐标计算人眼开合度U_i，统计U_i小于阈值0.25的次数，则判断视频F出现相应次数的眨眼动作；所述人眼开合度U_i的计算方法为：

其中(x_i,y_i),i∈[1,6]，指图三(a)中检测出的6个眼部特征点，从内眼角开始顺时针经过外眼角最后转回内眼角，按此顺序从1-6进行编号，图3(a)为睁眼图，图3(b)为半睁图，图3(c)为闭眼图，由图3(a)-图3(c)可知U_i的值可以衡量眼睛开合的程度。

3.所述边框检测具体包括如下步骤：

对待检测视频帧f_i进行灰度化处理，使用canny边缘提取算法提取灰度图的边缘；将边缘图进行hough变换；在hough变换图中寻找100个像素以上的直线形成的点；统计直线检测结果中直线包含像素的个数，超过阈值30则判断为该图片检测到直线边框，否则判断为无边框；

4.所述摩尔纹检测具体包括如下步骤：

使用手机对着电脑屏幕翻拍人脸图片，图片来自公开人脸数据集，以获取带有摩尔纹的人脸图片，如图4(b)；使用labelImg标注软件对上述图片中有摩尔纹的区域进行标注；将上述标注区域裁切出来，并调整尺寸至224×224大小，作为深度网络训练的正样本；将上述公开数据集原图片，即不带有摩尔纹的人脸图片，如图4(a)，调整尺寸至224×224大小，作为深度网络训练的负样本；利用上述正样本和负样本进行训练，得到深度卷积神经网络分类器；

对待检测视频帧f_i(h，w)进行灰度化处理，调整尺寸至大小，并划分成个网格；将每一个小网格区域S_i(大小为224*224)，输入训练好的深度神经网络分类器中，输出其为摩尔纹区域的概率p_i，如图5；根据以下公式计算概率值P：

若P大于阈值(0.593)，则判断该图片含有摩尔纹。

目前现有人脸活体识别领域，大部分方法不仅无法对抗视频攻击，而且需要额外设备的辅助。该方法仅需用户少量配合的，而且仅需单个普通摄像头即可应用。本发明为人脸活体识别方法的应用做出了贡献。

应当说明的是：以上实施例仅用以说明本发明的技术流程而不是对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应该涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。

2.根据权利要求1所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，该方法包括如下步骤：

(1)眨眼检测：对视频F中的待检测视频帧f_i进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度U_i，统计人眼开合度U_i小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测；

(2)边框检测：通过眨眼检测后，对待检测视频帧f_i进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；

(3)摩尔纹检测：通过边框检测后，构建并训练深度卷积神经网络，训练后，输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。

3.根据权利要求2所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，所述眨眼检测具体包括如下步骤：

(1.1)输入一段视频F，取待检测视频帧f_i；

(1.2)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测视频帧f_i进行人脸关键点检测，获得眼部区域关键点坐标；

(1.3)使用上述眼部区域关键点坐标计算人眼开合度U_i，

统计U_i小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测。

4.根据权利要求3所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，所述边框检测具体包括如下步骤：

对取待检测视频帧f_i进行灰度化处理，使用canny边缘提取算法提取灰度图的边缘；将边缘图进行hough变换；在hough变换图中寻找n个像素以上的直线形成的点；统计直线检测结果中直线包含像素的个数，若大于阈值threshold5，则判断为该图片检测为有边框；计算出现边框的帧数，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体。

5.根据权利要求4所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，所述摩尔纹检测具体包括如下步骤：

使用手机对着电脑屏幕翻拍人脸图片，图片来自公开人脸数据集，以获取带有摩尔纹的人脸图片；使用标注软件对带有摩尔纹的人脸图片中有摩尔纹的区域进行标注；将标注区域裁切出来，并调整尺寸至固定大小，作为深度卷积神经网络训练的正样本；将公开人脸数据集的原图片，即不带有摩尔纹的人脸图片裁切，调整尺寸至同样固定大小，作为深度卷积神经网络训练的负样本；利用上述正样本和负样本进行训练，得到深度卷积神经网络分类器；

对待检测视频帧f_i进行灰度化处理，调整尺寸，并划分成m*n个网格；将每一个小网格区域S_i，输入训练好的深度卷积神经网络分类器中，输出其为摩尔纹区域的概率p_i；计算上述f_i计算总的平均概率值P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。