CN104881632A - 高光谱人脸识别方法 - Google Patents

Abstract

本发明公开了一种高光谱人脸识别的方法，首先通过人脸的彩色空间信息进行人脸识别，然后利用人脸高光谱信息进行活体检测进一步验证是否经过伪装。该方法对人脸进行双验证，能够抵抗照片、模型和人造面具伪装对于人脸识别系统的欺骗和攻击，人机交互体验好，更加简单有效。

Description

高光谱人脸识别方法

技术领域

本发明属于生物特征识别领域，涉及一种高光谱人脸识别方法。

背景技术

基于视频数据的人脸识别与身份验证技术在公共安全、智能监控、视频会议、用户访问控制、多媒体和数字娱乐等领域有着广阔的应用前景。普通人脸识别利用彩色空间信息进行人脸识别技术易受照片、视频中人脸攻击，干扰识别，进而引发一系列安全问题。近年来随着高仿真面具的出现，犯罪分子通过逼真的伪装进行一系列犯罪活动，也可对普通人脸识别系统造成攻击。由此，人脸防伪技术的出现引发了关注，通过双验证方法来实现人脸防伪技术也被提出，利用人脸识别技术和多光谱技术进行活体检测的双路验证方法是目前有效快速的方法。

多光谱成像技术已经被广泛的研究和应用，它不同于传统的单一宽波段成像技术，而是将成像技术和光谱测量技术相结合，获得的信息不仅包括二维信息，还包括随波长分布的光谱辐射信息，丰富的目标光谱信息能够极大提高目标探测的准确性。在视频人脸识别的基础上加入光谱成像技术能提供光谱信息，根据人脸皮肤具有的独特的反射光谱信息，辅助人脸识别，能够弥补一般人脸识别中难于识别照片、视频和伪装攻击的不足。

发明内容

技术问题：本发明提供一种能够排除照片、视频、模型及面具伪装对人脸识别系统的攻击，人机交互体验好，更加简单有效的高光谱人脸识别方法。

技术方案：本发明的高光谱人脸识别方法，步骤如下：

步骤1：利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成像装置同步捕获经过下采样的人脸光谱视频；

步骤2：对所述彩色人脸视频进行人脸检测、追踪，然后选取一帧彩色图像与数据库中存储的人脸信息进行匹配识别，一旦找到与该帧彩色图像人脸特 征匹配的人脸信息，则转入步骤3；

步骤3：利用捕获得到的人脸光谱信息进行光谱活体检测，判断是否为自然皮肤，如是，则被识别的对象为真实人物，将步骤2确定的匹配人员作为识别结果，否则，被识别的对象为可疑人员。

进一步的，所述步骤3中，根据545-575nm波段内人脸真实皮肤光谱反射率曲线的特有“w”特征进行光谱活体检测，具体包括以下步骤：

步骤301：将所述步骤2选取的彩色图像与该彩色图像所同步对应的光谱图像通过光谱传播算法进行融合，得到完整的高空间高光谱分辨图像；

步骤302：从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下巴五个区域，获取每个区域上546.5nm、559.7nm和565.4nm三个波段上的像素强度信息，即I_546.5、I_559.7和I_565.4；

步骤303：分别利用ΔI₁＝I_559.7-I_546.5和ΔI₂＝I_559.7-I_565.4计算每个区域在559.7nm波段上的强度信息与其在546.5nm和565.4nm上强度信息的差值，当人脸每个区域均满足ΔI₁＞0和ΔI₂＞0时，目标为自然皮肤，其中I_546.5为人脸区域图像在546.5nm波段上的强度信息，I_559.7为人脸区域图像在559.7nm波段上的强度信息，I_565.4为人脸区域图像在565.4nm波段上的强度信息，ΔI₁为人脸区域图像在559.7nm与546.5nm波段上的强度信息差值，ΔI₂为人脸区域图像在559.7nm与565.4nm波段上的强度差值。

本发明方法所采用的装置包括两路光路，一路为沿水平方向依次设置的第一透镜、掩膜板、第二透镜、阿米西棱镜和灰度相机，一路为彩色相机。灰度相机用于捕获人脸高光谱信息，彩色相机用于捕获人脸彩色空间信息。

本发明方法利用高光谱成像装置，同时捕获人脸高光谱信息和彩色空间信息。首先利用彩色视频进行人脸识别，若找到一个数据库中存储的人脸信息与该帧彩色图像匹配，进行高光谱活体检测进一步鉴定是否是真实人脸皮肤。

有益效果：本发明与现有技术相比，具有如下优点：

在普通人脸识别的基础上加入高光谱活体检测技术，排除照片、视频、模型及面具伪装对人脸识别系统的攻击，使用高光谱成像装置同时实现人脸识别和高光谱活体检测，可以改善目前多光谱人脸检测存在的人机交互体验差的问 题。

使用的高光谱成像装置利用阿米西棱镜分光，可一次性采集可见光波段人脸多波段光谱图像和视频，与现有多光谱人脸识别装置中采用滤光片分光获取光谱信息相比更加简单成本更低。该装置同时捕获人脸彩色视频与高光谱视频，人脸彩色视频用于人脸识别，高光谱视频结合彩色视频用于进一步验证目标是否为自然皮肤。如果人脸信息与数据库中信息成功匹配后，同时检测到目标是自然皮肤，则身份鉴定成功。若人脸匹配成功后，检测到不是自然皮肤，则目标为可疑人物。高光谱活体检测利用人脸真实皮肤光谱”w”型稳定特征进行检测，与现有多光谱人脸识别方法更加简便。分别利用ΔI₁＝I_559.7-I_546.5和ΔI₂＝I_559.7-I_565.4计算每个区域在559.7nm波段上的强度信息与其在546.5nm和565.4nm上强度信息的差值，当人脸每个区域均满足ΔI₁＞0和ΔI₂＞0时，目标为自然皮肤。

附图说明

图1为本发明方法的流程图。

图2为高光谱人脸识别的装置图。

图中有：第一透镜1、掩膜板2、第二透镜3、阿米西棱镜4、灰度相机5、彩色相机6。

图3为由高光谱人脸识别装置所获得的人脸光谱特征曲线和高仿真面具的光谱特征曲线。

图4为由高光谱人脸识别装置所获得的人脸光谱特征曲线和高仿真面具的光谱特征曲线图。

具体实施方式

下面结合实施例和说明书附图对发明的技术方案进行详细说明：

如图1所示，本发明的高光谱人脸识别方法，通过双路验证进行人脸验证，一路利用彩色相机捕获得到的RGB视频帧进行人脸识别，一路利用灰度相机捕获得到的光谱视频帧进行活体检测。如果人脸信息与数据库中信息成功匹配后，同时检测到目标是活体，则身份鉴定成功。若人脸匹配成功后，检测到不是活体，则目标为可疑人物。

实施例中，采用的高光谱采集装置，如图2所示。系统主要分为两路，一路为沿水平方向依次设置的场景7、第一透镜1、掩膜板2、第二透镜3、阿米西棱镜4和灰度相机5，一路为水平放置的彩色相机6.掩膜板2放在第一透镜1的成像面上，场景7、第一透镜1和掩膜板2之间的设置关系遵守其中u代表场景7与第一透镜1的距离，v为第一透镜1和掩膜板2之间的距离，f为第一透镜1的焦距。可通过调节第一透镜1的焦距f和掩膜板2与第一透镜1的距离v来改变拍摄场景7的距离u。包含人脸的场景信息由第一透镜1汇聚到掩膜板2上，掩膜板2对场景信息进行均匀下采样，下采样后的场景信息通过第二透镜3和阿米西棱镜4在灰度相机5的成像面上以不同波段分散开。阿米西棱镜3实现分光作用。此光路能够一次性捕获场景多通道的光谱信息。彩色相机6用于捕获场景信息的彩色视频。灰度相机5和彩色相机6同步拍摄场景7，通过对两个相机采集到的场景图像进行采样点几何标定后，可经过光谱传播算法，将灰度图像上采样点的光谱信息传播到彩色图像上，从而获得完整的高光谱信息。

高光谱人脸识别方法的流程为：

步骤1：利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成像装置同步捕获经过下采样的人脸光谱视频；

步骤2：利用人脸的haar特征和LBP特征对视频每一帧图像进行分类器训练，实现对所述彩色人脸视频的人脸检测、追踪，在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，选取一副人脸状态比较好的一副图像经预处理之后，利用主成分人脸分析方法进行识别。识别算法完成人脸信息的降维和特征的提取，并与库存的已知人脸进行比对，完成最终的分类。若找到一个数据库中存储的人脸信息与该帧彩色图像匹配，则转入步骤3；

步骤3：利用捕获得到的人脸光谱信息进行光谱活体检测。Angelopoulou等人使用先进光谱仪精确测量了可见光波段下的人脸皮肤反射率，得出在545-575nm波段内人脸真实皮肤光谱反射率曲线的特有“w”特征(即人脸皮肤光谱曲线在559.7nm波段附近突起，在546.5nm和565.4nm附近凹陷，形成“w”形状)。利用该“w”特征来判断是否为自然皮肤，如是，则被识别的 对象为真实人物，将步骤2确定的匹配人员作为识别结果，否则，被识别的对象为可疑人员。具体包括以下步骤：

步骤301：选取人脸信息完整的一帧彩色图像与同步拍摄的一帧光谱图像通过光谱传播算法进行融合，得到完整的高空间高光谱分辨图像，该高空间高光谱图像为三维数据，两维为空间信息，一维为400nm到800nm波段上的光谱信息；

步骤302：从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下巴五个区域，获取每个区域上546.5nm、559.7nm和565.4nm三个波段上的像素强度信息，即I_546.5、I_559.7和I_565.4；

步骤303：分别利用ΔI₁＝I_559.7-I_546.5和ΔI₂＝I_559.7-I_565.4计算每个区域在559.7nm波段上的强度信息与其在546.5nm和565.4nm上强度信息的差值，当人脸每个区域均满足ΔI₁＞0和ΔI₂＞0时，目标为自然皮肤，其中ΔI₁为图像在559.7nm与546.5nm波段上的强度信息差值，ΔI₂为图像在559.7nm与565.4nm波段上的强度差值。

如图3所示，本发明的实施例中，将高光谱采集装置及处理显示过程进行模块化。封装后的高光谱采集装置可安装于一定场所，通过采集彩色视频与光谱视频传入后台服务器中，进行存储、处理、分析，最后将鉴定结果在人机交互友好界面中显示出来。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (2)

1.一种高光谱人脸识别方法，其特征在于，步骤如下：

步骤1：利用彩色CCD相机捕获具有人脸空间信息的彩色人脸视频，利用高光谱成像装置同步捕获经过下采样的人脸光谱视频；

步骤2：对所述彩色人脸视频进行人脸检测、追踪，然后选取一帧彩色图像与数据库中存储的人脸信息进行匹配识别，一旦找到与该帧彩色图像人脸特征匹配的人脸信息，则转入步骤3；

步骤3：从所述经过下采样的人脸光谱视频中提取与所述步骤2选取的彩色图像同步对应的光谱图像，然后对其进行光谱活体检测，判断是否为自然皮肤，如是，则被识别的对象为真实人物，将步骤2确定的匹配人员作为识别结果，否则，被识别的对象为可疑人员。

2.根据权利要求1所述的高光谱人脸识别方法，其特征在于，所述步骤3中，根据545-575nm波段内人脸真实皮肤光谱反射率曲线的特有“w”特征进行光谱活体检测，具体包括以下步骤：

步骤301：将所述步骤2选取的彩色图像与该彩色图像所同步对应的光谱图像通过光谱传播算法进行融合，得到完整的高空间高光谱分辨图像；

步骤302：从所述高空间高光谱分辨图像中选取额头，鼻子，左脸颊，右脸颊和下巴五个区域，获取每个区域上546.5nm、559.7nm和565.4nm三个波段上的像素强度信息，即I_546.5、I_559.7和I_565.4；

步骤303：分别利用ΔI₁＝I_559.7-I_546.5和ΔI₂＝I_559.7-I_565.4计算每个区域在559.7nm波段上的强度信息与其在546.5nm和565.4nm上强度信息的差值，当人脸每个区域均满足ΔI₁＞0和ΔI₂＞0时，目标为自然皮肤，其中I_546.5为人脸区域图像在546.5nm波段上的强度信息，I_559.7为人脸区域图像在559.7nm波段上的强度信息，I_565.4为人脸区域图像在565.4nm波段上的强度信息，ΔI₁为人脸区域图像在559.7nm与546.5nm波段上的强度信息差值，ΔI₂为人脸区域图像在559.7nm与565.4nm波段上的强度差值。