CN106599797B - 一种基于局部并行神经网络的红外人脸识别方法 - Google Patents

Abstract

本发明一种基于局部并行神经网络的红外人脸识别方法，它的网络结构主要包含四部分：一、提取初步卷积特征：通过一组2×2的卷积核提取初步的人脸特征并对输出特征信号进行整理；二、生成并行多尺度卷积特征：利用并行多尺度卷积网络结构提取代表不同尺度信息的人脸特征；三、生成分类特征向量：利用全连接层将卷积特征整合得到最终代表人脸身份的用于分类输入的特征向量并进行修正线性激活和随机忽略处理；四、训练并测试分类器：将处理过的全连接特征向量输入Softmax分类器计算损失并反向传播训练调整网络参数实现红外人脸识别。本发明能广泛应用于红外人脸识别与身份辨识应用。

Description

一种基于局部并行神经网络的红外人脸识别方法

技术领域

本发明涉及一种基于局部并行神经网络的红外人脸识别方法，属于数字图像处理，模式识别和红外工程技术领域。它主要涉及深度神经网络和多尺度特征分类技术，能广泛应用于红外人脸识别与身份验证等应用。

背景技术

红外人脸识别技术作为红外图像处理与模式识别的重要技术一直在向前发展，尽管可见光图像的人脸识别技术已经趋于成熟，然而在某些不具备可见光人脸成像的极端条件下，基于中长波红外传感器的人脸识别系统就成为了非常重要的信息处理途径，因而红外人脸识别具有重要的研究和应用价值。不同于可见光人脸图像，红外人脸图像不具备足够的色彩和纹理信息，加之成像质量较差造成红外人脸图像信噪比较低，基于可见光人脸识别的特征分类算法直接应用于红外人脸识别问题往往无法取得良好的效果。Fisherface算法[P.Belhumeur,J.Hespanha,and D.Kriegman,Eigenfaces vs.Fisherfaces:Recognition Using Class Specific Linear Projection,IEEE Transactions onPattern Analysis and Machine Intelligence,19(7)(1997)711-720.(贝尔胡米尔等:特征脸和费舍尔脸：基于类别的线性判别.IEEE模式分析与机器智能19(7)(1997)711-720)]，采用主成分分析法(Principal Component Analysis，PCA)对图像进行特征降维，并利用线性判别分析法(Linear Discriminant Analysis，LDA)对降维后的主成分特征进行转换使得样本在大类间散度与小类内散度之间实现平衡，该方法至今依然是人脸识别领域的主流方法之一。Local Binary Pattern(LBP)特征算法[T.Ojala,M.D.Harwood.Acomparative study of texture measures with classification based on featureddistributions,Pattern recognition,29(1)(1996)51-59.(奥亚拉等：基于特征分类的纹理度量比较性研究，模式识别29(1)(1996)51-59)]是一种描述图像局部空间结构的非参数算子，由于定义相对简单、扩展改造方便且易于在硬件快速运行的优点得到了广泛的应用。HoG特征[N.Dalal,et al.Histograms of oriented gradients for human detection,in:2005Computer Vision and Pattern Recognition,IEEE Computer SocietyConference on.IEEE,2005,pp.886-893.(达拉尔等：行人检测的梯度方向直方图算法.IEEE计算机视觉与模式识别会议,(2005)886-893.)]作为目标检测与识别的重要技术，其核心思想是图像中目标的形状特征信息可以被梯度和边缘的方向分布充分描述，因此通过在密集的同尺寸细胞单元中计算各个方向上梯度统计信息，并以直方图的方式来构造特征描述子。HoG特征对一般不要求旋转不变的应用如行人检测和人脸识别有良好的效果，然而对于目标纹理信息不明显的红外人脸图像往往不具有足够的表现力和区分度。近些年由于深度学习尤其是卷积网络的快速发展，基于深度神经网络的方法如DeepID[Y.Sun,etal.Deep learning face representation from predicting 10,000classes,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2014,pp.1891-1898.(孙祎等：预测1000类的深度学习人脸算法，IEEE计算机视觉与模式识别会议，(2014)1891-1898.)]和DeepFace[Y.Taigman,et al.DeepFace:Closing the gap to human-level performance in face verification,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2014,pp.1701-1708.(泰戈曼等：DeepFace算法在人脸辨识上已接近肉眼级别，IEEE计算机视觉与模式识别会议，(2014)1701-1708.)]，都是构造了适合于人脸识别的卷积神经网络。实际上DeepID算法是用深度卷积神经网络在LFW(Labeled Faces in theWild)数据集上以人脸识别分类作为训练任务得到网络的特征向量作为代表人脸的身份特征，再结合Joint Bayesian分类器实现人脸验证(face verification)。而DeepFace算法则在卷积神经网络之前设计了一个基于三维重建的人脸矫正模块，使得进入卷积特征提取器的姿态各异的人脸图像矫正为正面方向从而极大降低了提取有效特征的难度。

在红外人脸图像中，由于人脸前景与背景之间温度分布不同因而较容易区分，然而在不同身份的人脸之间由于面部温度分布具有很高的相似性，加上红外图像不具备纹理细节因而使得身份识别非常困难，因此基于传统特征的描述子与分类器很难实现较高的识别准确率。而红外人脸图像中可靠的特征大部分来自边缘和梯度，因此利用深度神经网络并行地提取不同尺度的特征并增加代表边缘和梯度的特征权重来实现红外人脸身份的识别可以较有针对性的实现高准确率。

发明内容

1、目的：为了较高准确率的红外人脸识别，本发明提供一种基于局部并行神经网络的红外人脸识别方法，为基于个人信息鉴别的军用及民用领域应用提供有效工具。

2、技术方案：为了实现这个目的，本发明一种基于局部并行神经网络的红外人脸识别方法，该方法具体步骤如下：

步骤一：提取初步卷积特征：用一组普通的2×2卷积核对输入图像进行特征提取，生成对应的特征谱，并进行修正线性激活(ReLu)和最大池化降采样(MaxPooling)一系列处理后作为进一步卷积操作的输入；

步骤二：生成并行多尺度卷积特征：将最大池化降采样后的特征谱依据不同的卷积核尺寸(size)、步长(stride)以及数量(number)进行多尺度卷积运算，并再次用修正线性激活(ReLu)提取代表不同尺度信息的红外人脸特征谱，得到多尺度特征谱；

步骤三：生成分类特征向量：将步骤二中提取到的多尺度特征谱全部输入到全连接层，并将输出的响应信号作为分类特征向量进行随机忽略(Dropout)处理以降低过拟合效应；

步骤四：训练并测试分类器：将分类特征向量输入到Softmax分类器并结合输入监督分类标签计算交叉熵损失函数，通过反向传播和梯度下降不断更新整个网络中连接神经元的权重和偏置，最终实现红外人脸识别。

本发明基于基本图像分类的深度神经网络思想，通过设计局部并行的不同尺度卷积特征实现红外图像中多尺度特征的综合利用，并针对边缘特征进行了加强以增加其在综合特征中的影响作用，最终生成以小尺度边缘特征为主、中大尺度区域特征为辅的多尺度特征向量。基于多尺度特征向量的分类器，由于综合了红外人脸中不同范围的特征信息，因而可以实现较高准确率的红外人脸识别。

3、本发明一种基于局部并行神经网络的红外人脸识别方法，其优点及功效是：本发明利用深度神经网络的理论框架，通过合理设计网络结构，在基础特征基础上引入局部并行多尺度特征提取策略，并增加核心特征在决策层的影响力，构造了代表红外人脸图像中不同尺度区域信息的综合特征，实现了具有较高准确率的红外人脸识别。本发明识别算法可以广泛应用于要求全天候高识别率的军事、交通、金融等等领域，具有广阔的市场前景与应用价值。

附图说明

图1为基于局部并行结构的红外人脸识别神经网络结构。

图2为初步卷积提取并池化处理后的结果特征示例，其中图2(a)为步骤一中生成的部分32×32特征谱，图2(b)为第一步中所用部分2×2卷积核。

图3(a)为步骤二由双层2×2卷积生成的部分30×30特征谱，图3(b)为对应的部分2×2卷积核。

图4(a)为步骤二由3×3卷积生成的部分30×30特征谱，图4(b)为对应的部分3×3卷积核。

图5(a)为步骤二由5×5模板生成的部分14×14特征谱，图5(b)为对应的部分5×5卷积核。

图6为最终用于分类的512维红外人脸特征向量。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明一种基于局部并行神经网络的红外人脸识别方法，其网络结构如图1所示，各部分具体实施细节步骤如下：

步骤一：提取初步卷积特征

用一组128个2×2卷积核以单步长对输入红外人脸灰度图像(64×64)求卷积以提取初步特征，生成对应的特征谱(feature map)进行修正线性激活(ReLu)和以2×2为窗口的最大值池化降采样(MaxPooling)等一系列处理后生成尺寸为128×32×32的特征谱为作为进一步卷积操作的输入。据此生成的部分特征谱如图2(a)所示，对应的部分卷积核权值如图2(b)所示。其中修正线性激活(ReLu)是神经网络领域在传统sigmoid函数和双正切tanh函数之后新提出的截至目前为止最有效的激活函数，三者定义如下:

在本发明中所有卷积输出的特征谱以及全连接生成的特征向量均由修正线性单元激活。

步骤二：生成并行多尺度卷积特征

将步骤一输出的尺寸为128×32×32的特征谱分别以四种不同的卷积核尺寸(size)、步长(stride)以及数量(number)进行多尺度卷积运算，其中包括：提取边缘与梯度细节特征的128个单步长2×2模板卷积，提取局部范围边缘特征的64个双步长2×2模板卷积，提取局部中等范围的64个单步长3×3模板卷积以及提取局部大范围的64个双步长5×5模板卷积。由于红外人脸图像中用于身份辨识的信息大都集中于局部的边缘细节中，因而对由128×2×2卷积核提取到特征谱进行进一步的特征提取，即再次以128个单步长2×2模板对该特征谱进行卷积操作，如图1流程所示。同时本步骤中所有的卷积生成的特征谱均由修正线性单元进行激活，并与步骤一输出的尺寸为128×32×32的特征谱同时输入到步骤三的全连接特征向量中，过程如流程图1所示，本步骤生成的部分多尺度特征谱如图3(a)-图5(a)所示，对应的部分卷积核权值如图3(b)-图5(b)所示。

步骤三：生成分类特征向量

将步骤三由多尺度卷积操作提取到的多尺度特征谱全部输入到512个节点的全连接层生成特征向量，然后对512维的神经元输出进行50％的随机忽略处理并用修正线性激活，以避免在接下来计算损失以及反向传播训练过程中网络模型对样本数据出现过拟合效应。

步骤四：训练并测试分类器

将上一步骤生成的512维分类特征向量输入到Softmax分类器计算损失函数。Softmax基于交叉熵的损失函数源于对数似然函数，定义为：

其中1{.}是一个指示性函数，当括号内为真时结果为1，否则为0。x为最终用于判别分类的特征向量，θ为特征向量线性组合权值，y为训练标签给出的类别，k为网络预测的分类类别，m为参与训练的样本总数。在Softmax回归中将x分类为第j类的概率为：

其中参数x,y,θ,k的定义与损失函数J(θ)相同。由计算出的损失函数J(θ)，通过反向传播和梯度下降不断更新整个网络中连接神经元的权重和偏置使算法收敛。梯度下降是求解极值问题的经典算法之一，其迭代更新原理可表述为：其中常数α为学习率。结合Softmax损失函数J(θ)的定义，其相对分类参数θ_j的偏导数为：

其中1{.}和P函数，参数x,y,θ,m定义同上。为了实现快速收敛并避免陷入局部极值，整个训练利用随机梯度下降法(SGD)，即根据某个单独样本误差计算更新，以得到近似的梯度下降搜索，通过调整网络中的权值最终实现红外图像中的人脸识别。

为了展示本发明的效果，利用一张红外人脸图像生成各个步骤对应的特征谱效果并展示如下。本发明首先生成初步卷积特征谱如图2(a)所示，训练出的部分卷积核权值如图2(b)所示。图3-图5所示为并行多尺度卷积层生成的中间结果，其中生(a)为代表不同尺度(2×2，3×3，5×5)卷积特征的部分特征谱，(b)为部分不同尺度的卷积核权值。最终生成用于分类预测的512维特征向量以32×16的特征谱的形式在图6中给出。本发明在实验所用的红外人脸图像数据集上交叉验证测试准确率接近96％，top5准确率接近99％，超过了基于AlexNet、DeepID等深度神经网络的方法以及基于传统特征的Fisherface与LBP特征算法，可以有效地识别红外人脸。

Claims (1)

1.一种基于局部并行神经网络的红外人脸识别方法，特征在于：该方法具体步骤如下：

步骤一：提取初步卷积特征：用一组2×2卷积核对输入图像进行特征提取，生成对应的特征谱，并进行修正线性激活和最大池化降采样一系列处理后作为进一步卷积操作的输入；

步骤二：生成并行多尺度卷积特征：将最大池化降采样后的特征谱依据不同的卷积核尺寸、步长以及数量进行多尺度卷积运算，并再次用修正线性激活提取代表不同尺度信息的红外人脸特征谱，得到多尺度特征谱；

步骤三：生成分类特征向量：将步骤二中提取到的多尺度特征谱全部输入到全连接层，并将输出的响应信号作为分类特征向量进行随机忽略处理以降低过拟合效应；

步骤四：训练并测试分类器：将分类特征向量输入到Softmax分类器并结合输入监督分类标签计算交叉熵损失函数，通过反向传播和梯度下降不断更新整个网络中连接神经元的权重和偏置，最终实现红外人脸识别。