CN110909634A - 可见光与双红外线相结合的快速活体检测方法 - Google Patents

Abstract

本发明公开了一种计算机视觉与机器学习技术领域，具体为一种基于双目视觉的快速活体检测方法，包括以下几个步骤：双目摄像头标定、人脸定位、五官定位、双目匹配生成点云以及五官指令动作分类进行活体决策。本发明具有能快速准确检测是否为活体人脸等特点。

Description

可见光与双红外线相结合的快速活体检测方法

技术领域

本发明涉及一种计算机视觉与机器学习技术领域，具体涉及一种基于双目视觉的快速活体检测方法。

背景技术

人脸识别在近十年取得了重要进展，作为有效的基于生物特征的身份认证方案，其应用范围逐渐扩大，己应用到各行各业中。与此同时，对人脸识别系统的攻击也不断出现，花样翻新的攻击手段使人脸识别系统的安全遭遇了较大挑战，处理不好，将造成巨大损失。这些攻击手段中，利用照片或视频进行欺骗最常见，入侵者可能将人脸图片在图像采集设备前旋转、翻转、弯曲、摇摆等方法造成一种类似于合法用户的真人效果去欺骗认证系统。为防守此类攻击，验证人像是现实活体人脸还是进行欺骗的照片或其它假冒人脸是必不可少的一个环节。因此，人脸活体识别技术应运而生。

目前人脸活体识别工作集中在基于单张照片的光线反射分量分析、多张照片序列统计分析，以及结合生理活动、联合语音识别的多膜生物特征融合等。

现有常见活体检测方式：1、交互式动作活体检测，人完成张嘴闭眼等指令动作，防止视频冒充但易受视频攻击；2、通过深度图立体检测，验证采集到的人脸是否是立体，防止平面照片和弯曲照片，会受三维立体模型攻击。这两种方法不仅无法做到快速识别和鉴伪，而且安全性相对差，容易受到照片、视频、三维模型等各类手段的攻击。

发明内容

本发明的目的是针对现有技术的缺陷，而提供一种基于双目视觉的快速活体检测方法。该方法是先通过可见光图像进行人脸定位及五官定位；然后可见光与红外线双目对前一步提取出来的人脸区域分别提取ORB特征描述子，采用RANSAC迭代进行匹配，生成人脸部分3D点云；再判断前后多帧3D点云中的五官位置高低位置变化是否与交互动作指令一致。

为了实现上述本发明的目的，本发明所采用的技术方案是：

一种基于双目视觉的快速活体检测方法，其特征在于：包括以下步骤，

基于双目摄像头标定，建立双目视觉系统；

通过所述双目视觉系统对人脸进行检测，得到多个关键点，记录多个关键点在左图像中的坐标，使用级联网络得到标记人脸关键点的特征点；

采用特征提取算法对左右图像分别提取特征点，并获得左图像蒙板内像素点的三维坐标及五官定位点的三维坐标，该三维坐标即为三维点云；

将所有三维点云进行立体拟合，后拟定立方体中轴画，然后用五官点到人脸平面的距离组成描述向量，得五官立体性描述子，并计算出输出分类概率；

通过随机抽取五官移动指令串，依次提示客户端执行，串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率；

将所述五官立体性描述子的输出分类概率，以及所述五官指令动作描述子的输出分类概率，通过决策级融合输出最终的活体人脸判断结果。

进一步的，所述使用级联网络获得特征点，具体步骤包括：

将所述左图像中的坐标，输入到人脸检测网络进行检测，

在将人脸检测网络获得检测输出的人脸框图像输入到五官检测网络，从而得到标记人脸关键点的特征点；

再次过程中还需要进行基于关键点的畸变校正。

进一步的，所述畸变校正是基于关键点的畸变校正是根据标定结果中的畸变系数消除图像畸变；随后进行双目校准，即使图像的光心在同一个平面上，使用左右摄像机在校准坐标系中的投影矩阵，旋转矩阵将原始图像重新旋转平移到新的平面中去，并裁剪校准后的图片边缘进行尺寸归一化。

进一步的，所述特征提取算法，具体是采用ORB特征提取算法对左图像和右图像分别提取ORB特征点，再获得的ORB特征点的视差图，所述视差图再获得所述左图像蒙板内像素点的三维坐标及五官定位点的三维坐标。

进一步的，所述ORB特征点的视差图是用金字塔分层分快匹配的方式得；

进一步的，所述三维坐标是通过相似三角形原理算而得。

进一步的，所述标记人脸关键点的特征点，是所述左图像中的人脸设定为N个关键点：

采用所述N个关键点中的脸部的关键点，生产蒙板，蒙板内的像素点均为需要获取3D坐标；

在所述的N个特征点中起伏较大的几个关键点，并取其中的眼周、鼻子、嘴巴共计M个特征点为五官定位点。

进一步的，所述串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率具体的：

将所述三维点云与所述五官定位点联系起来，该部分活体检测可分两级决策：

使用是否是立体人脸图像来判断是否为活体，人脸区域的三维点云使用立方体拟合方法，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体；

随机从库中抽取五官移动指令串，依次提示客户端执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策客户端执行的五官指令是否正确。

进一步的，所述五官指令动作描述子为人脸左转、人脸右转、睁左眼、睁右眼、闭双眼、张嘴、闭嘴、摇头、点头和抬头。

进一步的，所述基于双目摄像头标定，建立双目视觉系统：

所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；所述左摄像机为左可见光摄像头，所述右摄像机为右红外摄像头组成；并将左摄像机拍摄的对应图像简称为左图像，右摄像机拍摄的对应图像简称为右图像。

级联网络，即为级联相关神经网络，是从一个小网络开始，自动训练和添加隐含单元，最终形成一个多层的结构。级联相关神经网络具有以下优点：学习速度快；自己决定神经元个数和深度；训练集变化之后还能保持原有的结构；不需要后向传播错误信号。

SVM输出分类概率：

标准的SVM的无阈值输出为

f(x)＝h(x)+b (1)

其中

Platt利用sigmoid-fitting方法，将标准SVM的输出结果进行后处理，转换成后验概率。

A，B为待拟合的参数，f为样本x的无阈值输出。sigmoid-fitting方法的优点在于保持SVM稀疏性的同时，可以良好的估计后验概率。

ORB采用EAST(features from accelerated segment test)算法来检测特征点。这个定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。

其中I(x)为圆周上任意一点的灰度，I(p)为圆心的灰度，Ed为灰度值差得阈值，如果N大于给定阈值，一般为周围圆圈点的四分之三，则认为p是一个特征点。

摄像头标定：该步骤由出厂技术人员操作。硬件平台中两个摄像头的位置固定，随后打开设备，设备会自动检测该设备是否被标定过(指定目录是否有标定文件)，若未被标定，则会提醒将指定规格的棋盘格板放置到摄像头前按提醒移动片刻，摄像头会采集远近角度不同的棋盘格图片，使用张正友标定算法，分别对两个摄像头进行内参标定及两个摄像头之间的外参(内参数畸变矫正参数双目对齐变换矩阵)。

人脸定位：为了提高效率，此处仅使用可见光图片进行人脸及五官定位，可将定位结果通过上一步的相机标定参数，投影到红外图片中。人脸定位采用人脸大数据样本提取HOG特征，训练SVM分类器，随后通过模板滑动窗在同一幅图中搜索不同尺度下的匹配目标，最后选择得分最高的一个目标输出为检测人脸。可以直接使用opencv的开源库中的分类器实现。

五官定位：将上一步的人脸定位区域图片输入到dlib物体检测网络中，检测出人脸的68个关键点，取其中的眼周4*2+鼻子2+嘴巴8个共计18个特征点为五官定位点。

双目匹配生成点云：首先根据标定结果中的畸变系数消除图像畸变；随后进行双目校准，即使图像的光心在同一个平面上，使用左右相机在校准坐标系中的投影矩阵，旋转矩阵将原始图像重新旋转平移到新的平面中去，并裁剪校准后的图片边缘进行尺寸归一化；然后分别从左右图像中提取ORB特征，采用金字塔分层分块匹配的方式得到视差d，再通过视差图利用相似三角形得到左视图参考系下的3维点云。

五官指令动作分类进行活体决策部分：将步骤4生成的点云与步骤3的五官定位点联系起来，该部分活体检测可分两级决策：第一级，使用是否是立体人脸图像来判断是否为活体，人脸区域点云使用立方体拟合，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体，第二级，随机从库中抽取五官移动指令串(例如：睁眼左，闭双眼，张嘴等)，依次提示用户执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策用户执行的五官指令是否正确。

本发明利用可见光摄像头+红外摄像头所够成的双目摄像头，根据双目建模三维点云原理可以得到可见光摄像头所采集图像上像素点的三维坐标，结合第二步只提取可见光图像的人脸区域内像素点的三维坐标即可生成人脸区域的3D点云；其中可见光图像定为左图像，红外图像定为右图像，左、右图像分别提取的是ORB特征进行匹配，匹配过程利用的对极几何约束：左图一个像素点对应右图一条线，对该线上的所有特征点依次检测是否满足对极几何约束，满足约束就是匹配的特征点；三角化建立特征关联的像素点深度和三维坐标。

本发明相对于现有技术，所具有的实质性特点和进步：本发明先通过可见光图像进行人脸定位及五官定位；然后可见光与红外线双目对前一步提取出来的人脸区域分别提取ORB特征描述子，采用RANSAC迭代进行匹配，生成人脸部分3D点云；再判断前后多帧3D点云中的五官位置高低位置变化是否与交互动作指令一致；先可见光人脸五官定位，后3D点云生成大大提高算法的运行速度，可做到实时性；深度立体图+红外+立体交互动作探测多重防护算法融合使用，极大提升用户身份验证的安全性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明68个关键点的示意图；

图2为本发明蒙板的示意图；

图3为使用图2的人脸蒙板内的所有三维点云进行立方体拟合，如图中小长方体所示，后拟定立方体中轴面，如图中长方形所示。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

参看如图1至3所示，一种基于双目视觉的快速活体检测方法，其特征在于：包括以下步骤，

基于双目摄像头标定，建立双目视觉系统；

通过所述双目视觉系统对人脸进行检测，得到多个关键点，记录多个关键点在左图像中的坐标，使用级联网络得到标记人脸关键点的特征点；

采用特征提取算法对左右图像分别提取特征点，并获得左图像蒙板内像素点的三维坐标及五官定位点的三维坐标，该三维坐标即为三维点云；

将所有三维点云进行立体拟合，后拟定立方体中轴画，然后用五官点到人脸平面的距离组成描述向量，得五官立体性描述子，并计算出输出分类概率；

通过随机抽取五官移动指令串，依次提示客户端执行，串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率；

将所述五官立体性描述子的输出分类概率，以及所述五官指令动作描述子的输出分类概率，通过决策级融合输出最终的活体人脸判断结果。

所述使用级联网络获得特征点，具体步骤包括：

将所述左图像中的坐标，输入到人脸检测网络进行检测，

在将人脸检测网络获得检测输出的人脸框图像输入到五官检测网络，从而得到标记人脸关键点的特征点；

再次过程中还需要进行基于关键点的畸变校正。

所述畸变校正是基于关键点的畸变校正是根据标定结果中的畸变系数消除图像畸变；随后进行双目校准，即使图像的光心在同一个平面上，使用左右摄像机在校准坐标系中的投影矩阵，旋转矩阵将原始图像重新旋转平移到新的平面中去，并裁剪校准后的图片边缘进行尺寸归一化。

所述特征提取算法，具体是采用ORB特征提取算法对左图像和右图像分别提取ORB特征点，再获得的ORB特征点的视差图，所述视差图再获得所述左图像蒙板内像素点的三维坐标及五官定位点的三维坐标。

所述ORB特征点的视差图是用金字塔分层分快匹配的方式得；

所述三维坐标是通过相似三角形原理算而得。

所述标记人脸关键点的特征点，是所述左图像中的人脸设定为N个关键点：

该N取值为68，则对应为1至68个特征点，即采用所述68个关键点中的先使用1～27脸部的关键点，生产蒙板，蒙板内的像素点均为需要获取3D坐标；

在所述的68个特征点中起伏较大的几个关键点，并取其中的眼周、鼻子、嘴巴共计M个特征点为五官定位点。该M取值为18，即眼周、鼻子、嘴巴所取的特征点分别为：

眼周4*2个：38，39，42，41，44，45，47，48；

鼻子2个：31，34；

嘴巴8个：51与62中点，52与63中点，53与64中点，59与68中点，58与67中点，67与66中点，49与61中点，55与65中点。

所述串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率具体的：

将所述三维点云与所述五官定位点联系起来，该部分活体检测可分两级决策：

使用是否是立体人脸图像来判断是否为活体，人脸区域的三维点云使用立方体拟合方法，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体；

随机从库中抽取五官移动指令串，依次提示客户端执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策客户端执行的五官指令是否正确。

所述五官指令动作描述子为人脸左转、人脸右转、睁左眼、睁右眼、闭双眼、张嘴、闭嘴、摇头、点头和抬头。

所述五官指令动作分类进行活体决策部分将步骤4生成的五官立体性点云与步骤3的五官定位点联系起来，该部分活体检测可分两级决策：第一级，使用是否是立体人脸图像来判断是否为活体，人脸区域点云使用立方体拟合，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体，第二级，随机从库中抽取五官移动指令串，依次提示客户端执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策客户端执行的五官指令是否正确。

实现该检测方法所需设备包括：核心板；可见光摄像头，用于采集图像上像素点的三维坐标，生成左图像；红外线摄像头，用于采集图像上像素点的三维坐标，生成右图像；闪光灯，用于补充亮度；及显示器，用于显示图像特征匹配；其中，所述可见光摄像头、红外线摄像头、闪光灯以及显示器均与核心板连接。

具体的实施案例如下：

双目摄像头标定由出厂技术人员操作。硬件平台中两个摄像头的位置固定，随后打开设备，设备会自动检测该设备是否被标定过(指定目录是否有标定文件)，若未被标定，则会提醒将指定规格的棋盘格板放置到摄像头前按提醒移动片刻，摄像头会采集远近角度不同的棋盘格图片，使用张正友标定算法，分别对两个摄像头进行内参标定及两个摄像头之间的外参(内参数畸变矫正参数双目对齐变换矩阵)。

人脸定位：为了提高效率，此处仅使用可见光图片进行人脸及五官定位，可将定位结果通过上一步的相机标定参数，投影到红外图片中。人脸定位采用人脸大数据样本提取ORB特征，训练SVM分类器，随后通过模板滑动窗在同一幅图中搜索不同尺度下的匹配目标，最后选择得分最高的一个目标输出为检测人脸。可以直接使用opencv的开源库中的分类器实现。

五官定位：将上一步的人脸定位区域图片输入到dlib物体检测网络中，检测出人脸的68个关键点，取其中的眼周4*2+鼻子2+嘴巴8个共计18个特征点为五官定位点。该68个特征点使用方法为：

先使用1～27关键点，生产蒙板，蒙板内的像素点均为需要获取3D坐标；

在所述的68个特征点中起伏较大的几个特征点，取其中的眼周4*2(38，39，42，41，44，45，47，48)+鼻子2(31，34)+嘴巴8个(51与62中点，52与63中点，53与64中点，59与68中点，58与67中点，67与66中点，49与61中点，55与65中点)共计18个特征点为五官定位点。

双目匹配生成点云：首先根据标定结果中的畸变系数消除图像畸变；随后进行双目校准，即使图像的光心在同一个平面上，使用左右摄像机在校准坐标系中的投影矩阵，旋转矩阵将原始图像重新旋转平移到新的平面中去，并裁剪校准后的图片边缘进行尺寸归一化；然后分别从左右图像中提取ORB特征，采用金字塔分层分块匹配的方式得到视差图，再通过视差图利用相似三角形得到左视图参考系下的3维点云。

五官指令动作分类进行活体决策部分将双目匹配生成的点云与五官定位点联系起来，该部分活体检测可分两级决策：第一级，使用是否是立体人脸图像来判断是否为活体，人脸区域点云使用立方体拟合，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体，第二级，随机从库中抽取五官移动指令串(例如：睁眼左，闭双眼，张嘴等)，依次提示用户执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策用户执行的五官指令是否正确。

经过在测试集上的多次试验，采用立方体拟合模型效果最佳，检测置信度表示为score，最终的决策过程为：

score-0.5×scoredepth+0.5×scoretexture

if score＞threhold_活体

else_非活体

实验结果：本发明提出的基于双目视觉的快速活体检测方法，在总量为3200张图像的测试集(测试正样本1500张，测试负样本1600张，且测试集中出现的真人脸图像和假人脸图像均未在训练集中出现，泛化性较高)的准确率到达99.99％，运行速度为6fps，程序运行环境为OpenCV2.4.11与Microsoft公司的Visual Studi0 2012。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于双目视觉的快速活体检测方法，其特征在于：包括以下步骤，

基于双目摄像头标定，建立双目视觉系统；

通过所述双目视觉系统对人脸进行检测，得到多个关键点，记录多个关键点在左图像中的坐标，使用级联网络得到标记人脸关键点的特征点；

采用特征提取算法对左右图像分别提取特征点，并获得左图像蒙板内像素点的三维坐标及五官定位点的三维坐标，该三维坐标即为三维点云；

将所有三维点云进行立体拟合，后拟定立方体中轴画，然后用五官点到人脸平面的距离组成描述向量，得五官立体性描述子，并计算出输出分类概率；

通过随机抽取五官移动指令串，依次提示客户端执行，串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率；

将所述五官立体性描述子的输出分类概率，以及所述五官指令动作描述子的输出分类概率，通过决策级融合输出最终的活体人脸判断结果。

2.根据权利要求1所述的基于双目视觉的快速活体检测方法，其特征在于，所述使用级联网络获得特征点，具体步骤包括：

将所述左图像中的坐标，输入到人脸检测网络进行检测，

在将人脸检测网络获得检测输出的人脸框图像输入到五官检测网络，从而得到标记人脸关键点的特征点；

再次过程中还需要进行基于关键点的畸变校正。

3.根据权利要求2所述的基于双目视觉的快速活体检测方法，其特征在于，所述畸变校正是基于关键点的畸变校正是根据标定结果中的畸变系数消除图像畸变；随后进行双目校准，即使图像的光心在同一个平面上，使用左右摄像机在校准坐标系中的投影矩阵，旋转矩阵将原始图像重新旋转平移到新的平面中去，并裁剪校准后的图片边缘进行尺寸归一化。

4.根据权利要求1所述的基于双目视觉的快速活体检测方法，其特征在于，所述特征提取算法，具体是采用ORB特征提取算法对左图像和右图像分别提取ORB特征点，再获得的ORB特征点的视差图，所述视差图再获得所述左图像蒙板内像素点的三维坐标及五官定位点的三维坐标。

5.根据权利要求4所述的基于双目视觉的快速活体检测方法，其特征在于，所述ORB特征点的视差图是用金字塔分层分快匹配的方式得。

6.根据权利要求4所述的基于双目视觉的快速活体检测方法，其特征在于，所述三维坐标是通过相似三角形原理算而得。

7.根据权利要求1所述的基于双目视觉的快速活体检测方法，其特征在于，所述标记人脸关键点的特征点，是所述左图像中的人脸设定为N个关键点：

采用所述N个关键点中的脸部的关键点，生产蒙板，蒙板内的像素点均为需要获取3D坐标；

在所述的N个特征点中起伏较大的几个关键点，并取其中的眼周、鼻子、嘴巴共计M个特征点为五官定位点。

8.根据权利要求1所述的基于双目视觉的快速活体检测方法，其特征在于，

所述串联五官点的坐标组成的54维向量，得五官指令动作描述子，并计算出输出分类概率具体的：

将所述三维点云与所述五官定位点联系起来，该部分活体检测可分两级决策：

使用是否是立体人脸图像来判断是否为活体，人脸区域的三维点云使用立方体拟合方法，拟定立方体中轴面为人脸平面，根据五官点到人脸平面的距离差可决策该人脸是否立体；

随机从库中抽取五官移动指令串，依次提示客户端执行，通过判断预先训练好的人脸五官点3D位置关系与指令建的SVM网络决策客户端执行的五官指令是否正确。

9.根据权利要求1或8所述的基于双目视觉的快速活体检测方法，其特征在于，所述五官指令动作描述子为人脸左转、人脸右转、睁左眼、睁右眼、闭双眼、张嘴、闭嘴、摇头、点头和抬头。

10.根据权利要求1所述的基于双目视觉的快速活体检测方法，其特征在于，

所述基于双目摄像头标定，建立双目视觉系统：

所述双目视觉系统包括：双目立体摄像机，分别记为左摄像机和右摄像机；所述左摄像机为左可见光摄像头，所述右摄像机为右红外摄像头组成；并将左摄像机拍摄的对应图像简称为左图像，右摄像机拍摄的对应图像简称为右图像。

Images