CN102708383B - 一种多模态比对功能的活体人脸检测系统与方法 - Google Patents

Abstract

本发明公开了一种多模态比对功能的活体人脸检测系统与方法，包括进行综合处理的计算机；可见光摄像模块、红外摄像机、电源模块、显示模块和信号处理模块，所述信号处理模块用于对可见光摄像模块和红外摄像机采集的图像信号进行处理，提取两个图像信号中不变的特征，然后输入分类器进行判别。采用本发明从而可以有效避免被检测者通过照片、录像或者模型进行欺骗过关。

Description

一种多模态比对功能的活体人脸检测系统与方法

技术领域

本发明涉及与生物特征识别的相关技术，尤其涉及的是一种多模态比对功能的活体人脸检测系统与方法。

背景技术

目前，在人脸识别中，应用比较广泛的活体检测功能是基于人机交互的眨眼检测，该方法主要有两方面不足，一是该方法需要用户的眨眼配合，在使用上显得不太友好并且检测的时间较长，另是当检测者使用眨眼的人脸视频进行欺骗，该方法将会失效。近几年来，使用红外进行人体温度检测来判断活体的技术得到了应用，但是该技术有个比较明显的漏洞是，当使用热水袋或者其他加温装置模拟人体体温，可以轻松欺骗过关。因此，使用可见光人脸图像结合红外成像技术进行活体检测的技术应运而生。目前，使用该技术的一般思路是分别对可见光人脸图像与红外成像技术形成的人脸图像进行同一类或多类方法的检测与识别。该方法主要的缺陷是，只强调了某种形态的人脸图像的检测与识别，而没有挖掘两种形态下人脸图像的关联性。因此使用该方法无法确定两种或多种形态下的人脸图像是否来自同一个活体。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种多模态比对功能的活体人脸检测系统与方法，旨在解决现有技术无法确定两种或多种形态下的人脸图像是否来自同一个活体的问题。

本发明的技术方案如下：

一种多模态比对功能的活体人脸检测系统，其中，包括进行综合处理的计算机；可见光摄像模块、红外摄像机、电源模块、显示模块和信号处理模块，所述信号处理模块用于对可见光摄像模块和红外摄像机采集的图像信号进行处理，提取两个图像信号中不变的特征，然后输入分类器进行判别，所述可见光摄像模块和红外摄像机通过USB数据线连接计算机的数字输入接口；信号处理模块连接计算机的信号输出接口；显示模块连接计算机的低压差分信号转换线，所述电源模块连接计算机。

所述的多模态比对功能的活体人脸检测系统，其中，还设置有补光模块，所述补光模块连接补光驱动模块，补光驱动模块通过com控制线连接计算机。

所述的多模态比对功能的活体人脸检测系统，其中，所述红外摄像机还可替换为X光或CRT。

一种多模态比对功能的活体人脸检测方法具体包括以下步骤：

步骤1：初始化空间变换先验信息；

步骤2：加载分类器数据；

步骤3：通过可见光摄像机采集人脸正面的照片，并通过红外拍摄技术采集人脸非正面的照片；

步骤4：对采集得到的人脸非正面的图像进行射影几何变换成正脸图像；

步骤5：分别提取可见光与红外光人脸照的不变特征；

步骤6：把提取的不变特征输入分类器进行判别；

步骤7：返回比对结果，相同则通过，不同则显示错误。

所述的多模态比对功能的活体人脸检测方法，其中，并不限于采用红外拍摄技术进行非正面的人脸图像采集，所述红外拍摄技术可替换为X光或CRT。

所述的多模态比对功能的活体人脸检测方法，其中，通过红外拍摄技术采集人脸非正面的照片中，所述非正面为左右各角度的侧脸或者上下各角度的侧脸。

所述的多模态比对功能的活体人脸检测方法，其中，所述的对采集得到的人脸非正面的图像进行射影几何变换的具体步骤为：

步骤41：先使用视角差关系把原图像变换为仿射图像；

步骤42：再利用在同一拍摄平面的关系把仿射图像变换为相似图像；

步骤43：最后把相似图像矫正为与正面人脸图像相关的缩放的正面人脸图像。

所述的多模态比对功能的活体人脸检测方法，其中，所述的分别提取可见光与红外光人脸照的不变特征的具体步骤为：

步骤51：使用拉普拉斯算子分别对可见光人脸图像和矫正后的非可见光人脸图像滤波处理；

步骤52：在进行滤波后的图像使用三种局部模式构造直方图特征；

步骤53：对初步构造的高维特征使用Fisher特征选择算法挑选有效的特征子集。

本发明的有益效果：本发明通过提供了一种多模态比对功能的活体人脸检测系统。其在正面使用可以光拍摄技术采集人脸的正面照片，同时在其他视角我们采用红外光或其他不限于红外波段的拍摄技术（如：X光，CRT等）采集其他模态下的人脸照片。再结合视角差等空间信息建立多态图像模型，进行多态图像模型比对，确认为同一人。从而可以有效避免被检测者通过照片、录像或者模型进行欺骗过关。

附图说明

图1是本发明中多模态比对功能的活体人脸检测系统的模块框图。

图2是本发明中多模态比对功能的活体人脸检测方法的流程图。

图3是多模态比对功能的活体人脸检测方法中的射影几何变换步骤。

图4是多模态比对功能的活体人脸检测方法中的不变特征提取步骤。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

参见图1，本发明提供的多模态比对功能的活体人脸检测系统包括进行综合处理的计算机；可见光摄像模块、红外摄像机（本发明以红外摄像机为例但并不限于红外摄像机）、电源模块、显示模块和信号处理模块。为了解决特殊环境和条件下光线问题，还设置有补光模块。所述可见光摄像模块和红外摄像机通过USB数据线连接计算机的数字输入接口；信号处理模块连接计算机的信号输出接口；显示模块连接计算机的低压差分信号转换线；所述补光模块连接补光驱动模块，补光驱动模块通过com控制线连接计算机。所述电源模块连接计算机和补光驱动模块。

该系统电路模块的工作流程是：首先电源模块工作，给处理计算机供电。然后可见光摄像机对图像进行第一次图像采集，采集后的图片转换成数字信号通过USB数据线传输到处理计算机，同时，红外摄像机也对当前的图像进行第二次图像采集，第二次所采集到的图像转换成数字信号通过USB数据线传输到处理计算机中。接着，处理计算机将第一次采集到的图像数字信号通过LVDS（低压差分信号）转换线传输到显示模块中进行图像显示。第二次采集到的图像和第一次采集到的图像进行图像辩别，最后辩别的结果转换成模拟信号通过屏蔽电缆线传输到信号处理模块中。

参见图2，本发明提供的多模态比对功能的活体人脸检测方法具体包括以下步骤：

步骤1：初始化空间变换先验信息；

步骤2：加载分类器数据；

步骤3：通过可见光摄像机采集人脸正面的照片，并通过红外拍摄技术采集人脸非正面的照片；

步骤4：对采集得到的人脸非正面的图像进行射影几何变换成正脸图像；

步骤5：分别提取可见光与红外光人脸照的不变特征；

步骤6：把提取的不变特征输入分类器进行判别；

步骤7：返回比对结果，相同则通过，不同则显示错误。

本发明中并不限于采用红外拍摄技术进行非正面的人脸图像采集，如：X光，CRT等也可以。且角度可以是左右不同角度的侧脸或者上下不同角度的侧脸。

参见图3，在上述活体人脸检测方法的步骤4中所述的对采集得到的人脸非正面的图像进行射影几何变换的具体步骤为：

步骤41：先使用视角差关系把原图像变换为仿射图像；

步骤42：再利用在同一拍摄平面的关系把仿射图像变换为相似图像；

步骤43：最后把相似图像矫正为与正面人脸图像相关的缩放的正面人脸图像。

参见图4，在上述活体人脸检测方法的步骤5中所述的分别提取可见光与红外光人脸照的不变特征的具体步骤为：

步骤51：使用拉普拉斯算子分别对可见光人脸图像和矫正后的非可见光人脸图像滤波处理；

步骤52：在进行滤波后的图像使用三种局部模式构造直方图特征；

步骤53：对初步构造的高维特征使用Fisher特征选择算法挑选有效的特征子集。

本发明创造的主要优点有：操作简单，交互友好；检测时间较短，准确率较高；装置部署简单，具有高移动性与可扩充性；可以避免冒充图片、视频和模型的欺骗；不仅可以进行活体检测，而且可以确定多摄像头下的拍摄对象是否为同一活体。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种多模态比对功能的活体人脸检测系统，其特征在于，包括进行综合处理的计算机；可见光摄像模块、红外摄像机、电源模块、显示模块和信号处理模块，所述信号处理模块用于对可见光摄像模块和红外摄像机采集的图像信号进行处理，提取两个图像信号中不变的特征，然后输入分类器进行判别，所述可见光摄像模块和红外摄像机通过USB数据线连接计算机的数字输入接口；信号处理模块连接计算机的信号输出接口；显示模块连接计算机的低压差分信号转换线，所述电源模块连接计算机；所述提取两个图像信号中不变的特征的具体过程为：使用拉普拉斯算子分别对可见光人脸图像和矫正后的非可见光人脸图像滤波处理；在进行滤波后的图像使用三种局部模式构造直方图特征；对初步构造的高维特征使用Fisher特征选择算法挑选有效的特征子集。 

2.根据权利要求1所述的多模态比对功能的活体人脸检测系统，其特征在于，还设置有补光模块，所述补光模块连接补光驱动模块，补光驱动模块通过com控制线连接计算机。 

3.根据权利要求1所述的多模态比对功能的活体人脸检测系统，其特征在于，所述红外摄像机还可替换为X光或CRT。 

4.一种多模态比对功能的活体人脸检测方法，其特征在于，具体包括以下步骤： 

步骤1：初始化空间变换先验信息； 

步骤2：加载分类器数据； 

步骤3：通过可见光摄像机采集人脸正面的照片，并通过红外拍摄技术采集人脸非正面的照片； 

步骤4：对采集得到的人脸非正面的图像进行射影几何变换成正脸图 像； 

步骤5：分别提取可见光与红外光人脸照的不变特征； 

步骤6：把提取的不变特征输入分类器进行判别； 

步骤7：返回比对结果，相同则通过，不同则显示错误； 

步骤5中，所述的分别提取可见光与红外光人脸照的不变特征的具体步骤为： 

步骤51：使用拉普拉斯算子分别对可见光人脸图像和矫正后的非可见光人脸图像滤波处理； 

步骤52：在进行滤波后的图像使用三种局部模式构造直方图特征； 

步骤53：对初步构造的高维特征使用Fisher特征选择算法挑选有效的特征子集。 

5.根据权利要求4所述的多模态比对功能的活体人脸检测方法，其特征在于，并不限于采用红外拍摄技术进行非正面的人脸图像采集，所述红外拍摄技术可替换为X光或CRT。 

6.根据权利要求4所述的多模态比对功能的活体人脸检测方法，其特征在于，通过红外拍摄技术采集人脸非正面的照片中，所述非正面为左右各角度的侧脸或者上下各角度的侧脸。 

7.根据权利要求4所述的多模态比对功能的活体人脸检测方法，其特征在于，所述的对采集得到的人脸非正面的图像进行射影几何变换的具体步骤为： 

步骤41：先使用视角差关系把原图像变换为仿射图像； 

步骤42：再利用在同一拍摄平面的关系把仿射图像变换为相似图像； 

步骤43：最后把相似图像矫正为与正面人脸图像相关的缩放的正面人脸图像。