CN112347904B - 基于双目深度和图片结构的活体检测方法、装置及介质 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，公开了一种基于双目深度和图片结构信息的活体检测方法、装置和存储介质，通过扣取不同人脸占比区域的图像，分别计算图像中M个对应人脸特征的关键点与N个参考点的深度信息均值差，判断是否为活体，若为非活体，图像数据输入训练完成的卷积神经网络，判断是否包含边界信息；若包含边界信息，则为非活体，否则为活体。本发明可以自动标定相机，利于量产；通过选取参考点与人脸关键点处深度信息进行比对，可以更有效区分活体与非活体，通过融合边界信息与深度信息可以实现更精准的判断。通过不同人脸占比区域共享CNN网络，降低模型复杂度，同时两块区域特征互相融合，提升了判断活体精度。

Description

基于双目深度和图片结构的活体检测方法、装置及介质

技术领域

本发明涉及计算机视觉技术领域，特别是指一种基于双目深度信息和图片结构信息的活体检测方法、装置及存储介质。

背景技术

目前人脸识别技术已经广泛应用于考勤系统、门禁系统、闸机、金融等领域。但人脸识别系统在实际的应用中存在一些问题，由于人脸容易获取，使得人脸容易被一些人用照片、面具、视频等方式复制，从而对人脸识别系统进行攻击。针对人脸识别系统的这个缺陷，一系列的人脸识别防假或活体检测方法被提出，以解决人脸识别系统容易被照片、面具或者视频攻击的缺陷。

目前人脸活体检测的方法主要有2大类，即额外硬件和使用软件。

额外硬件，使用额外硬件的方法一般是外加可以探测到活体生物信息的硬件来判断识别对象是否为真实活人的人脸，比如3D结构光和TOF立体成像技术，可以探测到人脸3维信息，但是其成像距离、分辨率、帧率等均有限制，且成本较高，不经济实用。

使用软件的方法则是基于数字图像处理，分析图像、视频或者视频帧的特征来区分识别对象是照片、面具、视频还是真实人脸，具体包括如下几种方式：。

1.主动配合式：通过检测待检测者是否点头，摇头，眨眼，张嘴等方式，来判断目标是否是活体。该方法主要缺点在于：a、需要待检测者主动配合；b、完成这些动作需要一定时间。因此广泛应用在支付、金融等领域，但在门禁，考勤等对时间比较敏感的领域使用很少。

2.由于纸张、手机成像与真人成像在纹理，颜色，非刚性物体形变，材质等特征存在差别，通过这些差别进行活体判断：主要是通过svm或深度学习等机器学习的方法对活体、非活体样本训练，自动学习这些特征，建立特征模型。最后通过特征模型对目标进行活体判断。这种方法容易受到光线，环境等因素的影响，存在一定概率的漏判(非活体判断为活体)和误判(活体误判为非活体)，在实际使用中使客户产生负面印象。

3.基于人脸深度信息的深度学习方法：该方法主要通过深度学习的方法对人脸图像和对应的人脸深度图像进行训练，让深度神经网络自动学习人脸深度信息。在实际使用中通过深度神经网络给出对应网络的深度信息，通过这些深度信息判断目标是否为活体，该方法存在以下弊端：a、模型训练难度大，样本标注难度大，现有样本少；b、计算量大，难以满足实时性要求；c、对深度信息精度要求高。

发明内容

本发明提出一种基于双目深度信息的活体检测方法、装置及存储介质，解决了现有技术中通过人脸图像进行活体检测体验不佳的问题。

本发明的技术方案是这样实现的：一种基于双目深度信息和图片结构信息的活体检测方法，包括以下步骤：

通过左右摄像头采集检测对象的原始人脸图像，分别从所述原始人脸图像中获取若干个对应人脸特征的关键点；利用左右摄像头采集的人脸图像及其关键点标定相机；

通过人脸检测框扣取人脸占比区域，所述人脸占比区域内包含M个对应人脸特征的关键点；从所述人脸检测框向外扩设定倍数得到以参考框为边界扣取的参考区域，所述参考框内包含N个参考点；分别计算M个对应人脸特征的关键点与N个参考点的深度信息值，并计算二者的深度信息均值差，若深度信息均值差大于设定阈值，则检测对象为活体；否则，

将人脸检测框和参考框扣取的图像数据输入训练完成的卷积神经网络，通过卷积神经网络判断是否包含边界信息；若人脸图像中包含边界信息，则检测对象为非活体，否则为活体。

作为优选的技术方案，参考区域的数量至少是一个，多个不同的参考区域均由人脸占比区域向外扩不同倍数形成的。

作为优选的技术方案，计算M个对应人脸特征的关键点与N个参考点的深度信息均值差，包括以下步骤：计算M个关键点深度信息均值，计算N个参考点的深度信息均值，将二者相减取绝对值二者深度信息均值差。

作为优选的技术方案，人脸检测框和参考框扣取的图像数据输入卷积神经网络之前对图像数据进行预处理，将图像数据缩放至固定尺寸。

作为优选的技术方案，将人脸检测框和参考框扣取的图像数据输入训练完成的卷积神经网络，通过卷积神经网络的权值共享，融合两个图像数据输出的不同特征，判断所述参考区域是否包含边界信息。

作为优选的技术方案，左右摄像头分别为白光摄像头和近红外摄像头。

一种基于双目深度信息和图片结构信息的活体检测装置，应用上述活体检测方法。

作为优选的技术方案，所述装置还包括用于采集人脸图像的左右摄像头。

作为进一步的改进，左右摄像头分别为白光摄像头和近红外摄像头。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序执行上述活体检测方法。

本发明的有益效果在于：本发明中与相比传统相机标定算法需要在全图找角点，然后进行对齐、扫描，本发明直接利用左右相机中人脸对应关键点作为标注所需角点，同时无需逐台设备进行人工参与标定，可以自动标定相机，利于量产。

本发明通过在人头部周围选取参考点与人脸关键点处深度信息进行比对，可以更有效区分活体与非活体。可实现以下几种特征场景下的活体检测：当人站在门框内，可以避免由于边框而导致的误判；当非活体人脸占纸张比例很小，外扩区域无法包含边界框信息而导致误判。

本发明可以通过融合边界信息与深度信息可以实现更精准的判断。通过不同人脸占比区域共享CNN网络，降低模型复杂度，同时两块区域特征互相融合，提升了判断活体精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的程序流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

一种基于双目深度信息的活体检测方法，包括以下主要步骤：

通过左右摄像头采集检测对象的原始人脸图像，分别从原始人脸图像中获取若干个对应人脸特征的关键点；利用左右摄像头采集的人脸图像及其关键点标定相机；

通过人脸检测框扣取人脸占比区域，人脸占比区域内包含M个对应人脸特征的关键点；从人脸检测框向外扩设定倍数得到以参考框为边界扣取的参考区域，参考框内包含N个参考点；分别计算M个对应人脸特征的关键点与N个参考点的深度信息值，并计算二者的深度信息均值差，若深度信息均值差大于设定阈值，则检测对象为活体；否则，

将人脸检测框和参考框扣取的图像数据输入训练完成的卷积神经网络，通过卷积神经网络判断是否包含边界信息；若人脸图像中包含边界信息，则检测对象为非活体，否则为活体。

如图1所示，本实施例中，通过双目相机采集人脸图像，双目相机包括左右两个摄像头，分别为白光摄像头和近红外摄像头。左右摄像头分别采集同一人脸的原始图像以及人脸关键点作为特征点，利用自适应标定算法对相机进行标定，从而得到相机的三维坐标系统。

人脸检测与人脸关键点可以通过人脸检测、人脸关键检测2个算法实现，也可以利用多任务人脸检测网络同时检测出，其关键点个数至少为68个，利用后面的相机标定选取合适角点。

本实施例中，在白光摄像头采集的人脸图像中，扣取不同人脸占比区域，该区域为人脸检测框所在区域为参考，获取人脸检测框内的M个关键点，以人脸检测框为参考，左右上下各外扩人脸框高度一倍的区域为参考区域，参考区域的界限以参考框为边界，从人脸周围的参考区域内按照一定规则依次取N个参考点，具体是计算这N个参考点的深度信息。

真实人脸周围N个点的深度信息与人脸关键点的深度信息肯定较大，而打印假人脸由于选取的关键点和参考点在同一平面上，因此其深度信息相差很小。通过选取的关键点和参考点的深度信息差异就可以判断出真实活体与非活体，因此通过计算M个对应人脸特征的关键点与N个参考点的深度信息均值差判断是否是活体。

具体来说，包括以下步骤：首先计算M个关键点深度信息均值，以及计算N个参考点的深度信息均值，将二者相减取绝对值得到二者深度信息均值差。

如果参考点与人脸关键点深度信息均值差异大于设定阈值，那么说明两者没有在同一平面上，则直接判断为活体，若是差异小于设定阈值，说明二者可能近似在同一平面上，此时需要进一步判断，通过参考卷积神经网络CNN的输出结果。

本实施例中，在近红外摄像头采集的人脸原始图像中扣取不同占比的人脸区域，即通过人脸检测框扣取包含M个关键点的图像数据，将人脸检测框外扩一定倍数，本实施例中，将人脸检测框外扩一倍形成参考框，通过参考框扣取包含N个参考点的图像数据。

将截取的2个不同区域的图像数据进行预处理，将两个图像数据缩放到固定尺寸，输入卷积神经网络，通过卷积神经网络的权值共享，融合两个图像数据输出的不同特征，判断参考区域是否包含边界信息。

在训练该CNN网络时，训练样本采用数据增强技术扩展样本，同时设计新颖的轻量级的主干网络并改进loss，增加网络的泛化能力和鲁棒性。

如果CNN输出结果为有边界信息，那么判断为非活体，例如打印到纸上的人脸，存在边界信息，可以判断出为非活体；如果CNN输出结果为无边界信息，但是融合判断为活体，则最终结果判断为活体，例如人体贴近一面白墙时，此时参考点和人脸关键点的均值差很小，但是确实为活体。

本发明中，参考区域的数量至少是一个，多个不同的参考区域均由人脸占比区域向外扩不同倍数形成的，以提高检测精度。

本发明还涉及一种基于双目深度信息的活体检测装置，应用上述活体检测方法进行活体检测，装置包括用于采集人脸图像的左右摄像头，左右摄像头分别为白光摄像头和近红外摄像头，通过左右摄像头采集检测的对象的人脸图像，通过对人脸图像进行处理，判断检测对象是否是活体。

本发明还涉及一种计算机可读存储介质，存储有计算机程序，计算机程序执行上述活体检测方法。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双目深度和图片结构信息的活体检测方法，其特征在于：包括以下步骤：

通过左右摄像头采集检测对象的原始人脸图像，分别从所述原始人脸图像中获取若干个对应人脸特征的关键点；利用左右摄像头采集的人脸图像及其关键点标定相机，左右摄像头分别为白光摄像头和近红外摄像头，左右摄像头分别采集同一人脸的原始图像以及人脸关键点作为特征点，利用自适应标定算法对相机进行标定，从而得到相机的三维坐标系统；

通过人脸检测框扣取人脸占比区域，所述人脸占比区域内包含M个对应人脸特征的关键点；从所述人脸检测框向外扩设定倍数得到以参考框为边界扣取的参考区域，所述参考框内包含N个参考点；分别计算M个对应人脸特征的关键点与N个参考点的深度信息值，并计算二者的深度信息均值差，若深度信息均值差大于设定阈值，则检测对象为活体；否则，

将人脸检测框和参考框扣取的图像数据输入训练完成的卷积神经网络，通过卷积神经网络判断是否包含边界信息；若人脸图像中包含边界信息，则检测对象为非活体，否则为活体，人脸检测框和参考框扣取的图像数据输入卷积神经网络之前对图像数据进行预处理，将图像数据缩放至固定尺寸，将人脸检测框和参考框扣取的图像数据输入训练完成的卷积神经网络，通过卷积神经网络的权值共享，融合两个图像数据输出的不同特征，判断所述参考区域是否包含边界信息；

计算M个对应人脸特征的关键点与N个参考点的深度信息均值差，包括以下步骤：计算M个关键点深度信息均值，计算N个参考点的深度信息均值，将二者相减取绝对值二者深度信息均值差。

2.如权利要求1所述的一种基于双目深度和图片结构信息的活体检测方法，其特征在于：参考区域的数量至少是一个，多个不同的参考区域均由人脸占比区域向外扩不同倍数形成的。

3.一种基于双目深度和图片结构信息的活体检测装置，其特征在于：应用如权利要求1至2任一项所述的方法。

4.如权利要求3所述的一种基于双目深度和图片结构信息的活体检测装置，其特征在于：所述装置还包括用于采集人脸图像的左右摄像头。

5.如权利要求4所述的一种基于双目深度和图片结构信息的活体检测装置，其特征在于：左右摄像头分别为白光摄像头和近红外摄像头。

6.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序执行如权利要求1至2任一项所述的方法。