CN108764058B - 一种基于热成像效应的双摄像头人脸活体检测方法 - Google Patents

Abstract

本发明涉及一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于：以热成像效应作为活体人脸的活体特征，通过检测人脸区域是否同时满足热成像效应的三个判据，从而区分活体人脸和非活体人脸。该方法包含以下具体步骤：可见光摄像头采集照片进行人脸检测；可见光照片人脸位置定位低分辨率热成像摄像头采集照片中人脸位置；对热成像图像人脸位置进行图像形态学处理和凸包检测；判断热成像图像人脸位置是否满足热成像效应的三个判据，若同时满足这三个判据则判定为活体人脸，否则判定为非活体人脸。其适用于门禁考勤、现场监控等人脸识别活体认证系统，具有预防照片或者视频恶意欺骗系统的能力。

Description

一种基于热成像效应的双摄像头人脸活体检测方法

技术领域

本发明涉及一种基于热成像效应的双摄像头人脸活体检测方法,属于生物模式识别和图像处理技术领域。

技术背景

随着人脸识别技术的广泛发展，人脸识别技术不断应用到门禁考勤、刷脸支付、刑侦破案、银行系统和现场监控等身份认证系统。为提高人脸识别系统的抗欺骗能力，关键技术在于如何解决冒名顶替者使用相同形式的假冒特征来欺骗系统，假冒特征主要来源来包括人脸照片、视频和人脸三维模型三个方面。

现有的应用于人脸识别活体检测主要包含下述3种方法：

中国专利CN103106397A公开了一种基于亮瞳效应的人脸活体检测方法，所述方法通过被检测人脸眼睛区域是否存在亮瞳效应作为活体人脸的活体特征。该方法缺点在于仅以眼睛作为活体判断的唯一标准，而现实场合中眼镜佩戴则会严重影响红外摄像头的成像效果，影响了活体检测；同时该方法采用了价格相对昂贵的红外摄像头不利于产品的推广。

中国专利CN103605958A公开了一种基于灰度共生矩阵和小波分析的活体人脸检测方法，所述方法首先获取人脸区域的灰度图像计算灰度共生矩阵，然后再此基础上提取能量、熵、惯性矩和相关性四个纹理特征量以此作为活体人脸的活体特征。该方法的缺点在于现实场合中仅通过一个可见光摄像头很难提取到能量和熵等信息，实现效果不理想。

中国专利CN103440479A公开了一种活体人脸检测方法与系统方法，所述方法首先进行人脸检测获得面部关键区域侧定位，通过关键区域检测分类器随机选择训练一种或多种动作，然后随机让用户完成作为活体特征。该方法最大缺点在于需要用户配合完成几组随机动作，非常费时而且用户体验很差。

发明内容

本发明克服了上述现有技术的不足，提出了一种基于热成像效应的双摄像头人脸活体检测方法，通过双目摄像头(普通可见光摄像头、低分辨率热成像摄像头)，依据热成像效应三个判据正确区分开非活体人脸。具有成本低、鲁棒性强和速度快(能进行视频实时人脸活体判断)等优点。

本发明的技术方案是这样实现的：一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于：根据热成像图像采用三种判据方法进行热成像效应判定：①计算热成像图片中人脸区域外轮廓周长与面积比是否在给定范围内；②计算热成像图片人脸区域灰度图像与人脸外轮廓模板的相关系数是否在给定范围内；③计算热成像图像人脸区域温度平均值与非人脸区域温度平均值比值是否在给定范围内。这三个判据同时成立，判定为活体人脸

具体包括以下步骤如下：

1)可见光摄像头采集图像，进行人脸检测；

2)将可见光摄像头采集的图像进行人脸检测得到人脸位置后定位到热成像摄像头采集图片中人脸位置；

3)热成像摄像头采集图片定位到的人脸区域位置进行图像形态学开运算、闭运算及凸包检测预处理后，再进行热成像效应三个判据判定是否为活体人脸。

所述步骤1)中，可见光摄像头分辨率为1280x720的USB摄像头，最高帧率为30帧/秒。在进行人脸检测时，利用OpenCV机器学习库加入人脸姿态检测，判断是否为正脸照片；

所述步骤2)中，低分辨率热成像摄像头分辨率为320x240，最高帧率为30帧/秒。由于可见光摄像头和热成像摄像头焦距和分辨率不同，需要通过几何位置变换，将可见光摄像头采集照片检测到的人脸位置定位到热成像摄像头采集图像中人脸区域位置；

所述步骤3)中，进行图像预处理和热成像效应判定的具体步骤如下：

301)对步骤2)热成像摄像头采集图片获得的人脸区域进行二值化处理，获得脸部区域二值图；

302)对人脸区域二值图进行形态学处理开运算去除细小的干扰模块、然后进行形态学处理闭运算连通相邻团块和填充细小空洞；

303)热成像效应判据1：人脸的外轮廓类似一个椭圆，所以在热成像摄像头中如果检测到一个类椭圆的形状，即可认为活体人脸的一个判据，对步骤302)形态学处理后的人脸区域，进行凸包检测，连接各角点检测获得一个n边形的多边形，计算n边形的周长与面积比值，判定比值是否在椭圆性质规定的范围之内即可完成类椭圆检测，完成判据1判定；

304)热成像效应判据2：人脸外轮廓在自然界具有其独特的形状，提前训练大量人脸外轮廓的形状并将其保留成二进制数据，对步骤302)形态学处理后的人脸外轮廓与之前提取训练的人脸外轮廓模版进行模板匹配，计算热成像图片人脸区域灰度图像与人脸外轮廓模板的相关系数是否在给定范围内，完成判据2判定；

305)热成像效应判据3：热成像摄像头能获取到每一个像素点的温度，照片或者视频中的人脸明显低于活体人脸温度，以此作为活体人脸判据。计算热成像图像人脸区域温度平均值与非人脸区域温度平均值比值是否在给定范围内，完成判据3判定。

本发明的积极效果是与现有技术相比，具有以下优点：

(1)准确率高，只有三个判定依据都成立，才认为是活体人脸；

(2)速度快，在低成本处理器Intel赛扬J1900上，每帧照片处理时间仅需100毫秒，能进行视频实时人脸活体判断；

(3)硬件成本低，采用低成本处理器Intel赛扬J1900和低分辨率热成像摄像头。

附图说明

图1三维设计图和实物结构图。

图2控制摇杆与双目摄像头连接图

图3双目摄像头极限位置1。

图4双目摄像头极限位置2

图5系统实现总流程图。

图6可见光图像中人脸位置定位到热成像图像中人脸位置几何变换示意图。

图7热成像效应判定活体照片过程。

图8热成像效应判定假体照片过程。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明实施过程中，已经加工出实物，其结构如图1所示，包含1-外壳、2-显示屏、3--低分辨率320x240热成像摄像头、4-可见光720p摄像头以及5—控制摇杆，其中控制摇杆通过螺纹连接于双目摄像头上，其连接图如图2所示。通过上下旋转摇杆可控制双目摄像头的位置，以适应不同身高的人使用本发明机器。摇杆控制两个摄像头两个极限位置(上下摇动幅度30度)如图3和图4所示。

具体实现总流程如图5所示，首先通过可见光摄像头4进行人脸检测判断是否含有人脸，如果含有人脸获得照片人脸矩形区域的位置。然后通过数学几何变换将可见光图像中人脸位置定位到低分辨率热成像图像图片中人脸的位置，该几何变换如图6所示。对热成像图像定位的人脸矩形区域进行二值化处理后，再对二值化图进行形态学变换开运算和闭运算去除细小的干扰模块和连通相邻团块和填充细小空洞，以获得一个完整的人脸外轮廓边界，然后在对其进行凸包检测，获得人脸外轮廓边界完成图像的预处理阶段。

对上述图片进行预处理后得到的人脸区域热成像图像采用以下三种判据进行判定。

(1)、计算人脸外轮廓类椭圆的周长与面积的比值

上述预处理后的图像中经过凸包检测可获得人脸外轮廓被一个不规则多边形包裹，我们不妨定义该不规则多边形周长与面积的比值为变量α₁，其计算公式如下：

式中

c为不规则多边形的周长(即人脸外轮廓近似周长)，l_i为相邻角点之间的距离，s为不规则多边形面积(即人脸外轮廓近似面积)，计算方法为将多边形分解为多个三角形采用海伦公式求解，a_i、b_i、c_i分别为三角形的三条边线。

当计算得到的比值在设定范围之内，即可以说明检测的图像类似椭圆，外轮廓线与人脸外轮廓相似，计算的比值超出设定范围时，说明外轮廓形状与人脸外轮廓不同，即检测图像为非活体图像。

(2)、计算灰度图像与模板的相关系数

提前采集并训练已有活体人脸区域制作人脸热成像效应图像模板，判定相关系数是否大于设定的阈值。计算待检测图像与模板的相关系数，相关系数的计算公式如下：

以人脸区域的左上角点为起始点，水平向右为x轴正方向，垂直向下为y轴正方向建立坐标系。不妨设灰度图像与模板的相关系数为变量为α₂，I(i,j)是热成像效应检测图像中坐标(i,j)的灰度值，T(i,j)是热成像效应模板图像中坐标(i,j)的灰度值，m和n分别是图像的水平宽度和垂直高度。

根据上式求得的检测图像与热成像效应特征模板相关系数越大说明匹配程度越高，当相关系数大于一设定值时，可以认为检测图像与模板是一样的，即所获取的人脸存在热成像效应。若检测图像与特征模板的相关系数小于设定值，则认为所获取的人脸不存在热成像效应，不是活体图像。

(3)计算人脸区域的平均温度与非人脸区域的平均温度的比值

热成像摄像头3能获取到每一个像素点的温度，不妨设热成像图像中人脸区域的平均温度与非人脸区域的平均温度的比值为α₃，其计算公式如下：

s_xy、s_xy′分别为进行凸包检测连接的不规则多边形的面积，热成像图像除去该不规则多边形面积的差值，∑T为s_xy对应像素点离散温度和，∑T′为s_xy′对应像素点离散温度和。

α₃的大小体现了人脸区域与非人脸区域在温度上的差别，比值越大说明温度区分都越大，当比值大于一定值时，可以认为检测处的人脸为活体人脸。反之认为不是照片或者视频中的人脸。

本发明实施过程中要求上述三个判据同时成立，只有三个判据同时成立，才会判定检测的图像含有活体人脸，如图7所示，采用上述三种判据进行判断，大大提高了系统检测的准确性。如果三个判据不能同时成立，则判定检测的图像没有活体人脸，如图8所示。

Claims (4)

1.一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于：以热成像效应作为人脸活体特征，通过三个判据进行判定，若同时满足这三个判据则判定为活体人脸，否则判定为照片或者视频中的人脸；具体步骤如下：

1)可见光摄像头采集图像，进行人脸检测；

2)可见光摄像头采集图像进行人脸检测得到人脸位置定位到热成像摄像头采集图片中人脸位置；

3)热成像摄像头采集图片定位到的人脸区域位置进行图像形态学开运算、闭运算及凸包检测预处理后，再进行热成像效应三个判据判定是否为活体人脸；

所述的热成像效应的三个判据具体为：

1)计算类椭圆检测热成像图片中人脸区域外轮廓周长与面积比是否在给定范围内；

2)计算热成像图片人脸区域二值化图像与人脸外轮廓模板的相关系数是否在给定范围内；

3)计算热成像图像人脸区域温度平均值与非人脸区域温度平均值比值是否在给定范围内。

2.根据权利要求1所述的一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于所述判据1的具体实现骤如下：

热成像图片人脸区域经过凸包检测可获得人脸外轮廓被一个不规则多边形包裹，定义该不规则多边形周长与面积的比值为变量α₁，其计算公式如下：

式中

c为不规则多边形的周长(即人脸外轮廓近似周长)，l_i为相邻角点之间的距离，s为不规则多边形面积即人脸外轮廓近似面积，计算方法为将多边形分解为多个三角形后采用海伦公式求解，a_i、b_i、c_i分别为三角形的三条边线； 当计算得到的比值在设定范围之内，即可以说明检测的图像类似椭圆，外轮廓线与人脸外轮廓相似，计算的比值超出设定范围时，说明外轮廓形状与人脸外轮廓不同，即检测图像为非活体图像。

3.根据权利要求1所述的一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于所述判据2具体实现步骤如下：

提前采集并训练已有活体人脸区域制作人脸热成像效应图像模板，判定相关系数α₂是否大于设定的阈值，计算待检测图像与模板的相关系数α₂，相关系数α₂的计算公式如下：

以人脸区域的左上角点为起始点，水平向右为x轴正方向，垂直向下为y轴正方向建立坐标系，不妨设人脸区域灰度图像与模板的相关系数为α₂，I(i,j)是热成像效应检测图像中坐标(i,j)的灰度值，T(i,j)是热成像效应模板图像中坐标(i,j)的灰度值，m和n分别是图像的水平宽度和垂直高度；

根据上式求得的检测图像与热成像效应特征模板相关系数α₂越大说明匹配程度越高，当相关系数大于一设定值时，可以认为检测图像与模板是一样的，即所获取的人脸存在热成像效应,若检测图像与特征模板的相关系数α₂小于设定值，则认为所获取的人脸不存在热成像效应，不是活体图像。

4.根据权利要求1所述的一种基于热成像效应的双摄像头人脸活体检测方法，其特征在于所述判据3具体实现步骤如下：

热成像摄像头能获取到每一个像素点的温度，不妨设热成像图像中人脸区域的平均温度与非人脸区域的平均温度的比值为α₃，其计算公式如下：

s_xy、s_xy′分别为热成像图片人脸区域进行凸包检测连接的不规则多边形的面积和热成像图像除去该不规则多边形面积的差值，∑T为s_xy对应像素点离散温度和，∑T′为s_xy′对应像素点离散温度和；

α₃的大小体现了人脸区域与非人脸区域在温度上的差别，比值越大说明温度区分都越大，当比值大于一定值时，可以认为检测处的人脸为活体人脸，反之认为不是照片或者视频中的人脸。

Images