CN113627300A - 基于深度学习的人脸识别与活体检测方法 - Google Patents

Abstract

本发明公开基于深度学习的人脸识别与活体检测方法，收集人脸图像信息分为训练集和测试集，设计神经网络利用训练集和测试集训练人脸模型得到能准确获取图像中的人脸的优化人脸模型；将优化人脸模型获取的人脸信息细分出若干反映人脸特征的有效点位为锚点，根据人脸与锚点设计卷积神经网络以卷积得到快速获取人脸有效信息模型；从摄像头拍摄的视频中分别截取一个以上指定区域的图像作为待测图像；待测图像依次经过优化人脸模型人脸有效信息模型处理得到人脸有效信息，人脸有效信息包括若干反应动作状态的锚点；人脸有效信息构建对应各个锚点之间的关系，通过算法计算锚点向量之间的行为阈值以判断是否活体。本发明验证效果增加显著，活体验证成功率高。

Description

基于深度学习的人脸识别与活体检测方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及基于深度学习的人脸识别与活体检测方法。

背景技术

在如今一个信息数据时代，数据的公开透明给人们造成了极大便利的同时，其弊端也逐渐崭露头角，甚至有些不法分子利用非法的来的信息，从事各种非法工作，如何保证信息数据给科技带来便利的同事，信息安全的需求也在人们日常活动中显得越为重要，一套安全的验证系统，能够过滤绝大多数非法验证信息，由此，本专利推出一种基于深度学习的人脸识别技术，来加强信息验证。同时，根据人脸生物特征，检测人脸的同时，校验样本活体的可信度，来进一步巩固验证按得安全等级，同时解放双手。搭配上时下5G技术，让该系统更加快速便捷。

顾名思义，该方法基于深度学习(Deep Learning,DL)这种智能方式，获取足够多的人脸样本数量，来训练人脸识别，捕捉人脸特征，而后构建一套卷积神经网络，卷积不同的人脸信息，来比对人脸的相似度，相似度达到一定阈值后，即视为验证通过。该技术在银行验证系统中，有被利用，但是安全等级并不令人满意，基于这一人脸识别技术，该方法引入动态图像分析，通过摄像头采集验证当事人当前的图像信息，验证者完成指定的相应动作，通过生物特征，识别活体的可信度，最终达到验证目的，同时解放双手。根据该项技术，后续可以进一步研发自动上妆等技术。数据的公开透明给人们造成了极大便利的同时，其弊端也逐渐崭露头角，甚至有些不法分子利用非法的来的信息。

发明内容

本发明的目的在于提供基于深度学习的人脸识别与活体检测方法。

本发明采用的技术方案是：

基于深度学习的人脸识别与活体检测方法，其包括以下步骤：

步骤1，收集人脸图像信息分为训练集和测试集，设计神经网络利用训练集和测试集训练人脸模型得到能准确获取图像中的人脸的优化人脸模型；

步骤2，将优化人脸模型获取的人脸信息细分出若干反映人脸特征的有效点位为锚点，根据人脸与锚点设计卷积神经网络以卷积得到快速获取人脸有效信息模型：

步骤3，从摄像头拍摄的视频中分别截取一个以上指定区域的图像作为待测图像；

步骤4，待测图像依次经过优化人脸模型人脸有效信息模型处理得到人脸有效信息，人脸有效信息包括若干反应动作状态的锚点；

步骤5，人脸有效信息构建对应各个锚点之间的关系，通过算法计算锚点向量之间的行为阈值以判断是否活体。

步骤2中若干反映人脸特征包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点。

步骤2中人脸的锚点包括：左眉头点、右眉头点、左眉顶点、右眉顶点、左眉尾点、右眉尾点、左眼内眼角点、右眼内眼角点、左眼外眼角点、右眼外眼角点、左脸宽点、右脸宽点、左鼻顶点、右鼻顶点、左鼻翼点、右鼻翼点、左鼻侧点、右鼻侧点、左鼻孔点、右鼻孔点、鼻顶点、鼻下点、左嘴角点、右嘴角点、眉心点和下巴点。

步骤3中指定区域为眼睛或者眼睛和嘴巴。

步骤4中涉及在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点。

步骤4中涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点。

步骤5的具体步骤为：

步骤5-1、对应眼睛分别选取6个特征点

步骤5-2、确定这些点在眼睛睁开和闭合时彼此坐标之间的关系。

步骤5-3、基于眼睛睁开和闭合时会不同坐标关系，导出眼睛纵横比EAR的方程：

步骤5-3、根据动作过程中连续图像的EAR值的变化绘制对应的EAR参数变化曲线，

步骤5-4、最后根据EAR参数变化曲线判断测试人员是否根据指令做出相应的动作行为以确定是否为活体。

本发明采用以上技术方案，采用深度学习(Deep Learning,DL)的智能设计算法，结合图像采集与生物特征，搭配时下5G技术，更快更安全的实现安全验证。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为训练获取优化人脸模型的神经网络的原理示意图；

图2为快速获取人脸有效信息模型的卷积神经网络结构示意图；

图3为本发明人脸若干锚点的选取示意图；

图4为实施例中眼睛6个特征点的向量关系计算示意图；

图5为本发明实施例中眼睛EAR参数变化曲线示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。

如图1至图5之一所示，本发明公开了基于深度学习的人脸识别与活体检测方法，其包括以下步骤：

步骤1，收集人脸图像信息分为训练集和测试集，设计神经网络利用训练集和测试集训练人脸模型得到能准确获取图像中的人脸的优化人脸模型；神经网架构如图1所示。

步骤2，将优化人脸模型获取的人脸信息细分出若干反映人脸特征的有效点位为锚点，根据人脸与锚点设计卷积神经网络以卷积得到快速获取人脸有效信息模型：就其中一实施方式而言，步骤2可采用如图2所示的卷积神经网络以卷积得到快速获取人脸有效信息模型。

步骤3，从摄像头拍摄的视频中分别截取一个以上指定区域的图像作为待测图像；

步骤4，待测图像依次经过优化人脸模型人脸有效信息模型处理得到人脸有效信息，人脸有效信息包括若干反应动作状态的锚点；

步骤5，人脸有效信息构建对应各个锚点之间的关系，通过算法计算锚点向量之间的行为阈值以判断是否活体。

进一步地，步骤2中若干反映人脸特征包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点。

进一步地，如图3所示，步骤2中人脸的锚点包括：左眉头点、右眉头点、左眉顶点、右眉顶点、左眉尾点、右眉尾点、左眼内眼角点、右眼内眼角点、左眼外眼角点、右眼外眼角点、左脸宽点、右脸宽点、左鼻顶点、右鼻顶点、左鼻翼点、右鼻翼点、左鼻侧点、右鼻侧点、左鼻孔点、右鼻孔点、鼻顶点、鼻下点、左嘴角点、右嘴角点、眉心点和下巴点。

进一步地，步骤3中指定区域为眼睛或者眼睛和嘴巴。

进一步地，步骤4中涉及在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点。

进一步地，如图4所示，步骤4中涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点。

步骤5的具体步骤为：

步骤5-1、对应眼睛分别选取6个特征点

步骤5-2、确定这些点在眼睛睁开和闭合时彼此坐标之间的关系。

步骤5-3、基于眼睛睁开和闭合时会不同坐标关系，导出眼睛纵横比EAR的方程：

步骤5-3、根据动作过程中连续图像的EAR值的变化绘制对应的EAR参数变化曲线，

步骤5-4、最后根据EAR参数变化曲线判断测试人员是否根据指令做出相应的动作行为以确定是否为活体。

具体地，以判断眼睛的闭合为例：从摄像头获取一帧的人脸图像，之后截取眼部获取6个特征点，同样根据眼睛上六个特征点P1、P2、P3、P4、P5、P6可以达到对眼睛张眼闭眼的动作行为判断。根据指令测试人员需要做出相应的闭眼和长眼的动作行为，眼参数会随着时间的改变而变化，根据眼参数变化曲线图中的数据，判断测试人员是否根据指令做出相应的动作行为。

基于眼睛睁开和闭合时会不同坐标关系，导出眼睛纵横比EAR的方程：

分子中计算的是眼睛的特征点在垂直方向上的距离，分母计算的是眼睛的特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。

如图5所示，根据动作过程中连续图像的EAR值的变化绘制对应的EAR参数变化曲线，最后根据所设阀值的对比进行睁眼和闭眼的动作判断。

最后，基于预设的嘴巴开闭阈值和眼睛开闭阈值，分别判断眼睛的开眼和闭眼以及嘴巴的张嘴和闭嘴动作；进而将判断的测试人员的动作行为与指令动作相比较是否一致；动作一致时，判断当前测试人员为活体并验证通过；否则活体验证失败并告知测试人员。不难发现，EAR在眼睛睁开时是基本保持不变的，在小范围内会上下浮动，然而，当眼睛闭合时，EAR会迅速下降。其他的活体特征如张嘴，摇头，点头等，也类似这样的算法，通过分析向量之间的关系，完成算法，达到最终验证的目的。

本发明采用以上技术方案，采用深度学习(Deep Learning,DL)的智能设计算法，结合图像采集与生物特征，搭配时下5G技术，更快更安全的实现安全验证。本发明利用深度神经网络来解决特征表达的一种学习过程。为了提高深层神经网络的训练效果，人们对神经元的连接方法以及激活函数等方面做出了调整。其目的在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。深度学习引入了人工神经网络，依靠着数据量日益壮大，不断“自我优化”，不断提升，能够使结果更贴近真实结果。该方法正是利用了这一点，是验证效果增加显著，当前验证成功率高达99.38％。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (7)

1.基于深度学习的人脸识别与活体检测方法，其特征在于：其包括以下步骤：

步骤1，收集人脸图像信息分为训练集和测试集，设计神经网络利用训练集和测试集训练人脸模型得到能准确获取图像中的人脸的优化人脸模型；

步骤2，将优化人脸模型获取的人脸信息细分出若干反映人脸特征的有效点位为锚点，根据人脸与锚点设计卷积神经网络以卷积得到快速获取人脸有效信息模型：

步骤3，从摄像头拍摄的视频中分别截取一个以上指定区域的图像作为待测图像；

步骤4，待测图像依次经过优化人脸模型人脸有效信息模型处理得到人脸有效信息，人脸有效信息包括若干反应动作状态的锚点；

步骤5，人脸有效信息构建对应各个锚点之间的关系，通过算法计算锚点向量之间的行为阈值以判断是否活体。

2.根据权利要求1所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤2中若干反映人脸特征包括脸型轮廓特征点、眉形特征点、眼型特征点、鼻型特征点和嘴型特征点。

3.根据权利要求2所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤2中人脸的锚点包括：左眉头点、右眉头点、左眉顶点、右眉顶点、左眉尾点、右眉尾点、左眼内眼角点、右眼内眼角点、左眼外眼角点、右眼外眼角点、左脸宽点、右脸宽点、左鼻顶点、右鼻顶点、左鼻翼点、右鼻翼点、左鼻侧点、右鼻侧点、左鼻孔点、右鼻孔点、鼻顶点、鼻下点、左嘴角点、右嘴角点、眉心点和下巴点。

4.根据权利要求1所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤3中指定区域为眼睛或者眼睛和嘴巴。

5.根据权利要求4所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤4中涉及在嘴巴图像选定嘴巴特征点时，嘴巴特征点包括一组左右嘴角特征点以及三组以上的上下嘴唇特征点，每组上下嘴唇特征点间隔选取且上下嘴唇对应位置各选取一个特征点。

6.根据权利要求4所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤4中涉及在眼睛图像选定眼睛特征点时，眼睛特征点包括一组左右眼角特征点以及二组以上的上下眼睑特征点，每组上下眼睑特征点间隔选取且上下眼睑对应位置各选取一个特征点。

7.根据权利要求6所述的基于深度学习的人脸识别与活体检测方法，其特征在于：步骤5的具体步骤为：

步骤5-1、对应眼睛分别选取6个特征点

步骤5-2、确定这些点在眼睛睁开和闭合时彼此坐标之间的关系。

步骤5-3、基于眼睛睁开和闭合时会不同坐标关系，导出眼睛纵横比EAR的方程：

步骤5-3、根据动作过程中连续图像的EAR值的变化绘制对应的EAR参数变化曲线，

步骤5-4、最后根据EAR参数变化曲线判断测试人员是否根据指令做出相应的动作行为以确定是否为活体。

Images