CN106845450A

CN106845450A - 基于近红外成像与深度学习的黑暗环境人脸识别方法

Info

Publication number: CN106845450A
Application number: CN201710096834.0A
Authority: CN
Inventors: 吴怀宇; 程果; 钟锐
Original assignee: Wuhan University of Science and Engineering WUSE
Current assignee: Wuhan University of Science and Engineering WUSE; Wuhan University of Science and Technology WHUST
Priority date: 2017-02-22
Filing date: 2017-02-22
Publication date: 2017-06-13

Abstract

本发明涉及一种基于近红外成像与深度学习的黑暗环境人脸识别方法,包括以下步骤：用近红外摄像头采集近红外人脸图像，然后对所采集的近红外人脸图像进行预处理以及归一化，得到大小和分辨率统一的近红外人脸图像；利用LBP算子提取近红外人脸图像中的局部微结构特征；将LBP特征作为深度网络的输入，通过逐层训练网络，在最后一层形成分类面；最后，用训练好的深度卷积神经网络对人脸样本进行识别。本发明能大大提升非约束环境下的识别率，可应用于公共安全领域的实时自动人脸识别系统。

Description

基于近红外成像与深度学习的黑暗环境人脸识别方法

技术领域

本发明涉及图像处理及模式识别领域，尤其涉及一种基于近红外成像与深度学习的黑暗环境人脸识别方法

背景技术

基于生物特征的身份识别对于安防领域及各种身份认证系统具有重要作用。人脸识别由于其非接触性和非强制性、准确、方便、直观的特点，具有良好的发展和应用前景。早期的人脸识别技术都在可见光状态下进行，但在实际应用中，环境光照通常更复杂，光照的强弱、方向与光源的数量等都会对可见光人脸识别产生影响。为了解决可见光各种因素对人脸识别的影响，人们提出了在红外光照下进行人脸识别的方法。Wilder等提出了利用热红外光照的人脸识别方法，该方法通过热红外摄像头获得人脸的热辐射图像，无论光照如何变化，人脸部的血液或温度都以一定的方式展现，因此热红外人脸识别方法不会受环境光照变化的影响，且一些遮挡物可被热红外轻易地穿透(如口罩等)，所以热红外人脸识别算法引起了人们的广泛关注。但热红外人脸识别方法也存在一些缺点，如很容易受环境温度的影响，且热红外很难穿透玻璃材料，当有玻璃材料作为遮挡物(如眼镜等)时，无法获得完整的热红外人脸图像，甚至人的情绪与健康状态也会对成像产生影响，因此无法获得效果较好的识别效果，限制了其在人脸识别领域的发展。

传统人脸识别算法如：表达图像几何特征的SIFT特征，表达图像纹理特征的局部二元模式(Local Binary Pattern，以下简称LBP)，表达人脸图像统计特征的特征脸(Eigenface)等，都是基于人工定义的特征进行分类，使用的模型通常只包含一个提取特征的隐含层，特征往往不足以刻画和区分人脸，导致识别的准确率较低。

因而能够在环境光照更复杂情况下稳定获取并识别人脸已经成为目前亟需解决的技术问题。

发明内容

本发明为了解决上述问题，提供一种基于近红外成像与深度学习的黑暗环境人脸识别方法。该方法可以在环境光照不好甚至是黑暗环境下进行人脸识别，对背景、姿态等变化具有较好的鲁棒性，增加人脸识别的精确率。

为解决上述技术问题，本发明采用如下技术方案：

一种基于近红外成像与深度学习的黑暗环境人脸识别方法，其特征在于包括以下步骤：采集近红外人脸图像，然后对所采集的近红外人脸图像进行预处理以及归一化，得到大小和分辨率统一的近红外人脸图像；之后，利用LBP算子提取近红外人脸图像中的局部微结构特征，将该局部微结构特征作为深度卷积神经网络的输入，通过逐层训练神经网络，在最后一层形成分类面；最后，用训练好的深度卷积神经网络对人脸进行识别。

上述技术方案中，用训练好的深度卷积神经网络对人脸进行识别时，先采集用于测试识别的近红外人脸图像并进行预处理，之后利用LBP算子提取近红外人脸图像中的局部微结构特征，将近红外人脸图像的LBP特征图放入已经训练好的深度卷积神经网络模型中进行识别，得出识别结果。

上述技术方案中，利用LBP算子提取近红外人脸图像中的局部微结构特征时，通过多层卷积神经网络，由低层次向高层次的不断进行特征提取与抽象。

上述技术方案中，采集近红外人脸图像时，使用近红外摄像头采集人脸图像，人脸保持与摄像头50—100cm距离，被采集人脸的眼睛盯着屏幕的中央处，缓缓的前后左右移动脸部，并保持表情自然。

本发明提出的基于近红外成像和深度学习的黑暗环境人脸识别方法，利用LBP算子提取到近红外人脸图像的局部微结构特征，有助于深度网络对图像特征分布的理解，进一步减少网络学习到不利的特征描述，而且深度网络具有一定平移、缩放和扭曲不变形，从而在整体上提高特征的可识别性，能够很大程度上提升在光照条件不好的情况下人脸识别的准确度和正确率。相对于现有技术，其有益效果体现在以下几个方面：

1、本发明基于近红外成像进行人脸识别，近红外人脸识别对于光照鲁棒性好，不仅适用于白天，也适用于夜晚，甚至其他复杂光线条件，在无可见光照明和环境光照更复杂条件下的人脸识别率非常准确。

2、本发明基于深度卷积神经网络，通过所构建的多层卷积神经网络，由低层次向高层次的不断进行特征提取与抽象，使得通过卷积神经网络所提取的特征能更加准确的描述人脸特征，因而其抗干扰能力和识别率与传统分类算法相比，具有很大的提高。

附图说明

图1为本发明基于近红外成像与深度学习的黑暗环境人脸识别方法的流程示意图；

图2为本发明基于近红外成像与深度学习的黑暗环境人脸识别方法采用的LBP编码原理图；

图3为本发明深度卷积神经网络结构示意图。

具体实施方式

本发明为基于近红外成像与深度学习的黑暗环境人脸识别方法如图1-3所示，分为人脸的训练过程和测试过程。

训练过程包括人脸信息采集、LBP特征的提取、深度网络模型的构建，测试过程包括人脸识别。其具体的实施方法如下所示：

训练过程：

S1：人脸信息采集

S11：使用近红外摄像头采集人脸图像，人脸保持与摄像头约50—100cm距离，眼睛盯着屏幕的中央处，缓缓的前后左右移动脸部，并保持表情自然，取样期间可以佩戴眼镜、耳钉、留胡须等。

S12：对采集的图像进行尺度归一化，得到大小和分辨率统一的近红外人脸图像，将图片大小设置为224×224像素，并对图像进行直方图均衡和高斯滤波预处理。

S2：LBP特征提取

S21：当人与光源距离不变时，近红外人脸图像非常稳定，但是图像的整体亮度仍然会随着距离的变化而单调变化，因此需要采用特定的特征提取方法来解决单调变化问题。局部二元模式(Local Binary Pattern，LBP)是一种较好的方案，LBP只关注像素间的大小关系，当图像整体发生单调变化时，像素间的大小关系是不变的。

S22：LBP算子LBP_P-R的具体计算公式为：

其中R表示圆形邻域的半径，P表示P邻域，n_c为中心像素灰度值，n_i(i＝0,1,2,3,...,p-1)表示半径为R的圆形邻域上的像素灰度值。如图2所示。

S3：深度网络模型的构建

近红外图像经过LBP特征提取后，将LBP特征作为深度网络的输入，对预设深度卷积神经网络训练，得到人脸的高层次特征表达，得到训练好的深度卷积神经网络人脸识别模型。本发明所用识别方法为深度卷积神经网络(VGG)，该神经网络的具体参数设置为：

S31：深度卷积神经网络的构建，图3为深度卷积神经网络结构示意图，整个深度卷积神经网络分为8层，对应于224×224图像窗口按行展开的各个像素。其余各层参数设置为：

S311：第1、2层分别包含了两个卷积层，卷积核是卷积神经网络模型中最具有特性的部分。第1个大卷积层有64个大小为3×3的卷积核，步长为1。第2个大卷积层有128个大小为3×3的卷积核，步长为1。通过卷积运算，可以使原信号特征增强，并且降低噪音，卷积核的大小决定了感受野的范围，感受野过大，则提取的特征超出卷积核的表达范围；如果感受野过小，则无法提取有效的局部特征。

S312：在卷积层中，上一层的特征maps被不同的卷积核进行滤波，加上一个偏置量basis，最后通过一个激活函数，就可以得到输出特征图，激活函数如下：

上式中：M_j表示选择的输入maps的集合；l代表层数；b是一个偏置量；K代表卷积核

S313：第3、4、5层分别包含了三个卷积层，第3个大卷积层有256个大小为3×3的卷积核，步长为1。第4个大卷积层有512个大小为3×3的卷积核，步长为1。第5个大卷积层有512个大小为3×3的卷积核，步长为1。

S314：每个大卷积层后面都有一个下采样层，为最大下采样，步长为2。

S315：在子采样中，每邻域四个像素求和为一个像素，通过标量加权，再增加偏置最后通过一个sigmoid激活函数，产生一个缩小四倍的特征映射图下采样的表达式为：

上式中，down(.)表示一个下采样函数。这里是对输入图像的不同2×2的块的所有像素进行求和，输出图像在两个维度上都缩小了2倍。

S316：经过前五层滤波后的特征大小分别为112×112、56×56、28×28、14×14、7×7。

S317：最后三层为三个全连接层。对数据分别进行dropout处理，dropout的作用就是在训练过程中随机扔掉某些节点，使得网络可以自行引入稀疏性，并防止过拟合现象发生。dropout其实是一个一一映射，y＝dropout(x)。令y＝α*x，其中α只能取1或0，这样y要么等于x，要么等于0。只要一个节点的输出被dropout变为0，这个输出无论走到之后的哪一层，都起不了任何作用，相当于被扔掉。为了满足随机性，我们给定被扔掉的概率为p，使得α服从参数为1-p的伯努利分布，假设α＝0的概率p，α＝1的概率1-p，这样就构建了一个dropout了，经过dropout处理，增强了本网络的泛化能力。

S32：深度卷积神经网络的训练算法，其具体的训练方法主要包含以下两个阶段：

第1阶段：前向传播。将采集的人脸图片与相关联的ID号输入到已经设置好VGG网络里面，通过逐级向前传播得到输出O_p。

O_p＝f_n(...(f₂(f₁(X_pW⁽¹⁾)W⁽²⁾)...)Wⁿ)

第2阶段：反向传播。计算输出的O_p与相应的理想输出Y_P的差，按极小化误差的方法调整权值矩阵。N个样本、C个类的的误差值为：

表示第n个样本对应的标签的第p维，表示第n个样本对应的网络输出的第K个输出。

S33：深度学习训练的本质是一种输入到输出的映射，无需任何输入与输出之间的精确的数学表达式，只要通过已知人脸特征和标签对深度卷积网络加以训练，网络就具备有输入与输出之间的映射能力。

测试过程

S4：人脸识别

S41：近红外摄像头采集等待识别用户的人脸信息然后对所采集的红外人脸图像进行预处理及归一化，得到大小和分辨率统一的近红外人脸图像。

S42：利用LBP算子提取近红外人脸图像中的局部微结构特征。

S43：将近红外人脸图像的LBP特征图放入已经训练好的深度卷积神经网络模型中进行识别，得出识别结果。

Claims

1.一种基于近红外成像与深度学习的黑暗环境人脸识别方法，其特征在于包括以下步骤：采集近红外人脸图像，然后对所采集的近红外人脸图像进行预处理以及归一化，得到大小和分辨率统一的近红外人脸图像；之后，利用LBP算子提取近红外人脸图像中的局部微结构特征，将该局部微结构特征作为深度卷积神经网络的输入，通过逐层训练神经网络，在最后一层形成分类面；最后，用训练好的深度卷积神经网络对人脸进行识别。

2.根据权利要求1所述的基于近红外成像与深度学习的黑暗环境人脸识别方法，其特征在于用训练好的深度卷积神经网络对人脸进行识别时，先采集用于测试识别的近红外人脸图像并进行预处理，之后利用LBP算子提取近红外人脸图像中的局部微结构特征，将近红外人脸图像的LBP特征图放入已经训练好的深度卷积神经网络模型中进行识别，得出识别结果。

3.根据权利要求1所述的基于近红外成像与深度学习的黑暗环境人脸识别方法，其特征在于利用LBP算子提取近红外人脸图像中的局部微结构特征时，通过多层卷积神经网络，由低层次向高层次的不断进行特征提取与抽象。

4.根据权利要求1所述的基于近红外成像与深度学习的黑暗环境人脸识别方法，其特征在于采集近红外人脸图像时，使用近红外摄像头采集人脸图像，人脸保持与摄像头50—100cm距离，被采集人脸的眼睛盯着屏幕的中央处，缓缓的前后左右移动脸部，并保持表情自然。