CN106529447A - 一种小样本人脸识别方法 - Google Patents

Abstract

本发明一种小样本人脸识别方法，涉及应用电子设备进行人脸识别的方法，是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，步骤是：人脸图像预处理；人脸图像多特征图的提取：包括提取一层DWT低频子带图、提取Sobel边缘特征图和提取LBP纹理特征图；利用单层多尺度卷积神经网络结构进行多特征融合；用Softmax分类器预测分类结果，实现人脸识别。本发明克服了现有技术在解决小样本人脸识别问题中，受分类方法的限制，分类识别率不高的缺陷。

Description

一种小样本人脸识别方法

技术领域

本发明的技术方案涉及应用电子设备进行人脸识别的方法，具体地说是一种小样本人脸识别方法。

背景技术

人脸识别技术作为生物特征识别重要分支经过了几十年的发展，如今已经被广泛应用到人们生活中的各个领域，但是，在实际应用中，不同场景和角度带来的人脸的光照、姿态、表情和遮挡等问题是人脸识别技术一直以来面临的巨大挑战；除此之外，许多人脸识别算法在实际应用中往往需要庞大的网络结构与海量的训练数据，人脸样本采集困难导致的训练样本不足，使得这些人脸识别算法在实际应用中并未得到其理想的识别效果。

为了克服海量人脸样本采集的困难，现有技术开始研发小样本情况下的人脸识别方法。然而，在训练样本远小于数据维度的情形下很多人脸识别方法都会遇到困难，尤其是在基于神经网络的方法中表现最为突出。针对这一问题常用的解决方法分为两类：基于扩充虚拟样本的方法与基于数据降维的方法。基于虚拟样本扩充的方法是对图像进行几何变换，变换后的样本与初始样本共同构成训练集，研究者通过二维图像建立三维人脸模型，利用三维模型的投影生成不同姿态的人脸图像，但其计算量较大,且效果依赖于三维模型的精度,目前三维模型的精度仍待提高以满足期望的精度；基于数据降维的方法是通过去掉图像中的冗余信息，保留能够表征图像的最重要信息的方式来解决小样本问题，常用的降维方法有PCA、LDA和LPP。CN104268593A公开了一种小样本情况下的人脸识别方法，该方法同时采用了上述基于扩充虚拟样本与基于数据降维的方法来解决小样本问题，首先，采用镜像变换方式构造虚拟样本，然后通过KPCA、KDA和KLLP三种特征降维算法对人脸图像进行降维并构造稀疏表示模型，特征降维虽然能够解决小样本问题，但是该方法仅通过模型间的误差进行分类，很难达到较高的识别率。

现有技术在解决小样本人脸识别问题中，受分类方法的限制，分类识别率不高，因此迫切需要一种能够在保证识别率的前提下有效解决小样本人脸识别问题的方法。

发明内容

本发明所要解决的技术问题是：提供一种小样本人脸识别方法，是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，通过提取包含DWT低频特征、LBP纹理特征、Sobel边缘特征三种特征，并利用单层多尺度卷积神经网络进行多特征融合与人脸识别，其中DWT低频特征能够过滤掉冗余信息与噪声，提高对表情与光照的鲁棒性，LBP纹理特征与Sobel边缘特征能够保证细节与轮廓的完整性，多尺度卷积网络从不同尺度上对多个特征进行自适应融合，融合后的特征具有姿态鲁棒性强及对遮挡不敏感的特性，采用单层多尺度卷积且动态调整全连接层神经元个数，大大减少了训练权值的个数，克服了现有技术在解决小样本人脸识别问题中受分类方法的限制，分类识别率不高的缺陷。

单层多尺度卷积神经网络的英文缩写为smCNN，全称为single-level multi-scale Convolutional Neural Networks。

本发明解决该技术问题所采用的技术方案是：一种小样本人脸识别方法，是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，具体步骤如下：

第一步，人脸图像预处理：

对从计算机USB接口采集的人脸图像首先由RGB空间转化到灰度空间，得到灰度图像I_gray，采用的公式(1)如下：

I_gray＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB图像的红色、绿色和蓝色通道，然后对得到的灰度图像I_gray进行尺寸归一化到N×N个像素并为该人脸图像设置类别标签f，得到尺寸归一化灰度图像I和类别标签f；

第二步，人脸图像多特征图的提取：

(2.1)提取一层DWT低频子带图：

将上述第一步得到的尺寸归一化灰度图像I经过一层DWT算法变换，分解为4个大小为原来尺寸1/4的子带图，即大小为N/2×N/2像素，分别为DWT低频子带图LL、水平高频子带图LH、垂直高频子带图HL和对角高频子带图HH，提取其中的一层DWT低频子带图I_LL；

(2.2)提取Sobel边缘特征图：

对上述第一步得到的尺寸归一化灰度图像I中每一个像素点I(x,y)通过Sobel边缘算法的Sobel梯度算子来提取梯度信息S(x,y)，即以该图像像素点(x,y)为中心计算其3×3邻域的x方向偏导数S_x和y方向的偏导数S_y，如以下公式(2)、(3)：

得到梯度S(x,y)为：

根据上述公式(4)求出尺寸归一化灰度图像I的每个像素的梯度值，得到梯度特征图，将得到的特征图进行2×2的平均采样，提取得Sobel边缘特征图I_Sobel，其大小为N/2×N/2像素；

(2.3)提取LBP纹理特征图：

对上述第一步得到的尺寸归一化灰度图像I利用LBP算法提取纹理特征图，将尺寸归一化灰度图像I中每一个像素点(x,y)置于3×3窗口W的中心w_c，并以该中心像素为阈值，将相邻的8个像素w_i(i＝1,…,8)的灰度值与其进行比较，若邻域像素值大于中心像素值，则该邻域像素点的位置被标记为1，否则为0，3×3邻域内的8个点经比较可产生8位二进制数码，采用公式(5)转换为十进制数得到该窗口W的中心w_c像素点的LBP值：

其中，

窗口P＝8，sgn为符号函数，定义如下：

遍历尺寸归一化灰度图像I的各个像素点，得到LBP特征图，为了保证在维度上与上述(2.1)步DWT低频子带图LL相同，将得到的LBP特征图进行2×2的平均采样，提取得LBP纹理特征图I_LBP，其大小为N/2×N/2像素；

第三步，利用单层多尺度卷积神经网络结构进行多特征融合：

将上述第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图输入到单层多尺度卷积神经网络结构中进行训练，该结构包含一个输入层、采样层I和采样层II两个采样层、一个多尺度卷积层以及全连接层I和全连接层II两个全连接层；

(3.1)向输入层输入第二步中提取的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图与人脸图像的类别标签f；

(3.2)采样层I连接输入层，采样层I采用2×2的Max采样方式，用采样层I采样上述(3.1)步中的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图后得到大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图；

(3.3)在采样层I后为多尺度卷积层，该层采用四种不同尺度卷积核，分别为2×2、3×3、4×4和5×5，每种尺度包含30种不同参数的卷积核，经卷积后，每种尺度卷积核则对应得到30个不同特征图，共得到120个特征图，将上述(3.2)步得到的大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图的采样结果作为多尺度卷积层的输入，令l^j与uⁱ分别表示第j幅输出特征图与第i幅输入特征图，k^ij为第i个输入特征图与第j个输出特征图的卷积核，b^j为第j个输出特征图的偏置，则卷积操作可表示为：

l^j＝max(0,b^j+∑_ik^ij*uⁱ) (7)，

(3.4)在多尺度卷积层后为采样层II，经(3.3)步卷积后的特征图通过采样层II进行降维，采样层II采用3×3的Max采样方式，上述(3.3)步得到的120个特征图经过采样层II后被串联成一个特征向量；

(3.5)在采样层II后为全连接层，将上述(3.3)步采样层II所串联成的一个特征向量输入全连接层I和全连接层II两个相邻的全连接层，假设分类问题有C个类别，全连接层I的神经元个数设置为4×C，全连接层II的神经元个数设置为2×C，由此全连接层同时实现对特征图的有效降维，经过全连接层得到的的特征向量标记为e；

至此完成利用单层多尺度卷积神经网络结构进行的多特征融合；

第四步，用Softmax分类器预测分类结果，实现人脸识别：

(4.1)将经过上述(3.5)步得到的全连接层的特征向量e输入至C维的Softmax分类器，根据输入的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图所对应的类别标签f对Softmax分类器进行有监督的反向传播算法训练，得到Softmax分类器映射关系R＝g(e)，其中R为类别输出，g(﹒)为Softmax分类器建立的从输入到输出的映射；

(4.2)特征图依次经过上述第三步的各层后，计算误差函数，然后利用梯度下降法计算最小化误差，从而获得最优的网络权值与偏置，得到最终训练好的单层多尺度卷积神经网络模型；

(4.3)在人脸识别过程中，按照上述第一步和第二步方法处理待识别的人脸图像，然后将第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP输入上述训练好的单层多尺度卷积神经网络模型中，进行多特征融合，再利用Softmax分类器预测分类结果，实现人脸识别。

上述一种小样本人脸识别方法，所述N×N个像素、N/2×N/2像素和N/4×N/4像素中的N＝64。

上述一种小样本人脸识别方法，其中采用的DWT算法、LBP算法、Sobel边缘算法和Softmax分类器都是本技术领域公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，通过提取包含DWT低频特征、LBP纹理特征、Sobel边缘特征三种特征，并利用单层多尺度卷积神经网络进行多特征融合与人脸识别，其中DWT低频特征能够过滤掉冗余信息与噪声，提高对表情与光照的鲁棒性，LBP纹理特征与Sobel边缘特征能够保证细节与轮廓的完整性，多尺度卷积网络从不同尺度上对多个特征进行自适应融合，融合后的特征具有姿态鲁棒性强及对遮挡不敏感的特性，采用单层多尺度卷积且动态调整全连接层神经元个数，大大减少了训练权值的个数，克服了现有技术在解决小样本人脸识别问题中，受分类方法的限制，分类识别率不高的缺陷。

(2)本发明的特征提取方法结合了DWT、LBP、Sobel三种不同算法，在降噪的同时保证了特征的完整性，并且利用了平均采样的形变不变性的优势，具有突出的实质性特点。

(3)本发明提出的单层多尺度卷积神经网络模型借鉴了GoogleNet中的多尺度设计，在同一个卷积层采用4种不同尺度的卷积核，能够有效地从多个尺度对DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三种特征图进行自适应融合。该融合方式相比传统的融合方式，保证了识别目标的尺度不变性，并且能够通过训练得到最优的权值分配，从而使融合后的特征分类更加准确。

(4)本发明构造的单层多尺度卷积神经网络模型，解决了由于网络层数过少带来的分类能力降低的问题，在保证分类能力的同时将卷积层减少到一层，从而减少了训练参数个数，提高了模型训练速度。

(5)本发明方法将传统的特征提取与卷积神经网络相结合，利用各自的优点，使得该方法不但对人脸姿态、光照、遮挡和表情等有着较强的鲁棒性，而且该方法从数据降维和减少训练权值个数两个不同角度进行设计，从而有效地解决了小样本人脸识别的问题。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明一种小样本人脸识别方法的流程示意框图。

图2是本发明特征提取的整体过程及中间结果示意图：

图2(a)归一化后的图像；

图2(b)从上到下分别为DWT变换图、Sobel边缘特征图、LBP纹理特征图；

图2(c)从上到下为DWT变换后的低频子图、平均采样后的Sobel边缘特征图、平均采样后的LBP纹理特征图；

图2(d)为特征提取后的结果。

图3为本发明在AR数据库与ORL数据库中部分实验的样本示例。

图4为AR数据库中应用DWT、DWT+LBP、DWT+LBP+Sobel三种不同特征提取方法的效果图：

图4(a)为应用DWT特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、垂直高频子带图HL。

图4(b)为应用DWT+LBP特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、LBP纹理特征图。

图4(c)为应用DWT+LBP+Sobel特征提取方法的效果图，从左到右分别为低频子带图LL、Sobel边缘特征图、LBP纹理特征图。

图5为ORL数据库中应用DWT、DWT+LBP、DWT+LBP+Sobel三种不同特征提取方法的效果图：

图5(a)为应用DWT特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、垂直高频子带图HL。

图5(b)为应用DWT+LBP特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、LBP纹理特征图。

图5(c)为应用DWT+LBP+Sobel特征提取方法的效果图，从左到右分别为低频子带图LL、Sobel边缘特征图、LBP纹理特征图。

具体实施方式

图1所示实施例表明，本发明一种小样本人脸识别方法的流程是：人脸图像预处理人脸图像多特征图的提取提取一层DWT低频子带图；提取Sobel边缘特征图；提取LBP纹理特征图利用单层多尺度卷积神经网络结构进行多特征融合用Softmax分类器预测分类结果，实现人脸识别。

图2所示实施例从整体上显示了本发明人脸图像多特征图的提取过程及效果。其中图2(a)为归一化后的人脸图像；然后对归一化的人脸图像分别进行一次DWT变换、Sobel边缘检测和LBP纹理特征提取，得到如图2(b)中的从上到下分别为DWT变换图、Sobel边缘特征图和LBP纹理特征图；提取DWT变换后的低频子带图LL、对Sobel边缘特征图进行大小为2×2的平均采样、对LBP纹理特征图进行大小为2×2的平均采样等操作后得到2(c)中的从上到下分别为DWT变换后的低频子图、平均采样后的Sobel边缘特征图、平均采样后的LBP纹理特征图，这三个特征图融合构成为特征提取后的结果，如图2(d)所示，即作为单层多尺度卷积神经网络的输入。

图3所示实施例显示了本发明在AR数据库与ORL数据库中部分实验的样本，图中第一行为AR数据库归一化后的样本示例，第二行为ORL数据库归一化后的样本示例。本实施例在Windows7环境下的Microsoft visual studio 2013平台下运行完成；在AR数据库中选取了50名男性和50名女性，每人26幅图像分别包括八幅中立表情、六幅表情、六幅围遮挡巾、六幅太阳镜遮挡。将选取的100个分类，2600幅图像进行训练集与测试集划分，每类训练样本的数量用q表示，q＝13，剩余26-q幅图像用于测试。

图4所示实施例显示了本发明在AR数据库中应用DWT、DWT+LBP、DWT+LBP+Sobel三种不同特征提取方法的效果。

其中，4(a)显示了应用DWT特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、垂直高频子带图HL。4(b)显示了应用DWT+LBP特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、LBP纹理特征图即原图像经过LBP特征提取后进行2×2平均采样后结果。4(c)显示了应用DWT+LBP+Sobel特征提取方法的效果图，从左到右分别为一层DWT变换后的低频子带图LL、2×2平均采样后的Sobel边缘特征图、2×2平均采样后的LBP纹理特征图。

图5所示实施例显示了本发明在ORL数据库中应用DWT、DWT+LBP、DWT+LBP+Sobel三种不同特征提取方法的效果。

其中，5(a)显示了应用DWT特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、垂直高频子带图HL。5(b)显示了应用DWT+LBP特征提取方法的效果图，从左到右分别为低频子带图LL、水平高频子带图LH、LBP纹理特征图即原图像经过LBP特征提取后进行2×2平均采样后结果。5(c)显示了应用DWT+LBP+Sobel特征提取方法的效果图，从左到右分别为一层DWT变换后的低频子带图LL、2×2平均采样后的Sobel边缘特征图、2×2平均采样后的LBP纹理特征图。

实施例1

本实施例的一种小样本人脸识别方法，是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，具体步骤如下：

第一步，人脸图像预处理：

对从计算机USB接口采集的人脸图像首先由RGB空间转化到灰度空间，得到灰度图像I_gray，采用的公式(1)如下：

I_gray＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB图像的红色、绿色和蓝色通道，然后对得到的灰度图像I_gray进行尺寸归一化到N×N个像素并为该人脸图像设置类别标签f，N＝64(下同)，得到尺寸归一化灰度图像I和类别标签f，f与训练和测试的人的个数有关，本实施例中对于AR数据库f的值为[1,100]，ORL数据库f的值为[1,40]；

第二步，人脸图像多特征图的提取：

(2.1)提取一层DWT低频子带图：

将上述第一步得到的尺寸归一化灰度图像I经过一层DWT算法变换，分解为4个大小为原来尺寸1/4的子带图，即大小为N/2×N/2像素，分别为DWT低频子带图LL、水平高频子带图LH、垂直高频子带图HL和对角高频子带图HH，提取其中的一层DWT低频子带图I_LL；

(2.2)提取Sobel边缘特征图：

对上述第一步得到的尺寸归一化灰度图像I中每一个像素点I(x,y)通过Sobel边缘算法的Sobel梯度算子来提取梯度信息S(x,y)，即以该图像像素点(x,y)为中心计算其3×3邻域的x方向偏导数S_x和y方向的偏导数S_y，如以下公式(2)、(3)：

得到梯度S(x,y)为：

根据上述公式(4)求出尺寸归一化灰度图像I的每个像素的梯度值，得到梯度特征图，将得到的特征图进行2×2的平均采样，提取得Sobel边缘特征图I_Sobel，其大小为N/2×N/2像素；

(2.3)提取LBP纹理特征图：

对上述第一步得到的尺寸归一化灰度图像I利用LBP算法提取纹理特征图，将尺寸归一化灰度图像I中每一个像素点(x,y)置于3×3窗口W的中心w_c，并以该中心像素为阈值，将相邻的8个像素w_i(i＝1,…,8)的灰度值与其进行比较，若邻域像素值大于中心像素值，则该邻域像素点的位置被标记为1，否则为0，3×3邻域内的8个点经比较可产生8位二进制数码，采用公式(5)转换为十进制数得到该窗口W的中心w_c像素点的LBP值：

其中，

窗口P＝8，sgn为符号函数，定义如下：

遍历尺寸归一化灰度图像I的各个像素点，得到LBP特征图，为了保证在维度上与上述(2.1)步DWT低频子带图LL相同，将得到的LBP特征图进行2×2的平均采样，提取得LBP纹理特征图I_LBP，其大小为N/2×N/2像素；

第三步，利用单层多尺度卷积神经网络结构进行多特征融合：

将上述第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图输入到单层多尺度卷积神经网络结构中进行训练，该结构包含一个输入层、采样层I和采样层II两个采样层、一个多尺度卷积层以及全连接层I和全连接层II两个全连接层；

(3.1)向输入层输入第二步中提取的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图与人脸图像的类别标签f；

(3.2)采样层I连接输入层，采样层I采用2×2的Max采样方式，用采样层I采样上述(3.1)步中的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图后得到大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图；

(3.3)在采样层I后为多尺度卷积层，该层采用四种不同尺度卷积核，分别为2×2、3×3、4×4和5×5，每种尺度包含30种不同参数的卷积核，经卷积后，每种尺度卷积核则对应得到30个不同特征图，共得到120个特征图，将上述(3.2)步得到的大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图的采样结果作为多尺度卷积层的输入，令l^j与uⁱ分别表示第j幅输出特征图与第i幅输入特征图，k^ij为第i个输入特征图与第j个输出特征图的卷积核，b^j为第j个输出特征图的偏置，则卷积操作可表示为

l^j＝max(0,b^j+∑_ik^ij*uⁱ) (7)，

(3.4)在多尺度卷积层后为采样层II，经(3.3)步卷积后的特征图通过采样层II进行降维，采样层II采用3×3的Max采样方式，上述(3.3)步得到的120个特征图经过采样层II后被串联成一个特征向量；

(3.5)在采样层II后为全连接层，将上述(3.3)步采样层II所串联成的一个特征向量输入全连接层I和全连接层II两个相邻的全连接层，假设分类问题有C个类别，全连接层I的神经元个数设置为4×C，全连接层II的神经元个数设置为2×C，由此全连接层同时实现对特征图的有效降维，经过全连接层得到的的特征向量标记为e；

至此完成利用单层多尺度卷积神经网络结构进行的多特征融合；

第四步，用Softmax分类器预测分类结果，实现人脸识别：

(4.1)将经过上述(3.5)步得到的全连接层的特征向量e输入至C维的Softmax分类器，根据输入的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图所对应的人脸图像的类别标签f对Softmax分类器进行有监督的反向传播算法训练，得到Softmax分类器映射关系R＝g(e)，其中R为类别输出，g(﹒)为Softmax分类器建立的从输入到输出的映射；

(4.2)特征图依次经过上述第三步的各层后，计算误差函数，然后利用梯度下降法计算最小化误差，从而获得最优的网络权值与偏置，得到最终训练好的单层多尺度卷积神经网络模型；

(4.3)在人脸识别过程中，按照上述第一步和第二步方法处理待识别的人脸图像，然后将第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP输入上述训练好的单层多尺度卷积神经网络模型中，进行多特征融合，再利用Softmax分类器预测分类结果，实现人脸识别。

实施例2

本实施例是对本发明的特征提取方法和单层多尺度卷积神经网络结构相结合进行实验验证。

A.在AR数据库中选取所有100个人(50男50女)，每个人26幅图像，一共2600幅人脸面部图像进行实验，由于AR数据库中图片包含人脸遮挡、表情变化、关照变化等多种因素，因此选择该数据库对本发明的特征提取方法和单层多尺度卷积神经网络结构相结合进行实验验证：

在AR数据库中应用DWT、DWT+LBP、DWT+LBP+Sobel三种不同特征提取方法,对本发明的特征提取方法和单层多尺度卷积神经网络结构相结合进行实验，训练集划分q＝13，选取方式为随机选取，其余26-q幅图像用于测试，实验结果如表1所示。

表1.AR数据库中q＝13测试结果

由表1所列实验结果可知，与只用DWT特征提取方法和DWT结合LBP的方法相比，本发明的DWT+LBP+Sobel特征提取方法在识别率上有明显的优势，平均识别率达到99.45％，表中的平均识别率为重复10次实验的平均值。

B.在ORL数据库对本发明的特征提取方法和单层多尺度卷积神经网络结构相结合进行实验验证：

在ORL数据库中选取所有40个人的一共400幅人脸面部图像进行实验，其中每人10幅不同姿态的图像，训练集划分q＝5，选取方式为随机选取，其余10-q幅图像用作测试，实验结果如表2所示。

表2.ORL数据库中q＝5测试结果对比

表2表明，本发明的方法在识别率上明显优于LBP、PCA+BP、PCA+RBF、L21FLDA等方法，平均识别率达到了98.25％，表中平均识别率为重复10次实验的平均值。

上述实施例中采用的DWT算法、LBP算法、Sobel边缘算法和Softmax分类器都是本技术领域公知的。

Claims (2)

1.一种小样本人脸识别方法，其特征在于：是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，具体步骤如下：

第一步，人脸图像预处理：

对从计算机USB接口采集的人脸图像首先由RGB空间转化到灰度空间，得到灰度图像I_gray，采用的公式(1)如下：

I_gray＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB图像的红色、绿色和蓝色通道，然后对得到的灰度图像I_gray进行尺寸归一化到N×N个像素并为该人脸图像设置类别标签f，得到尺寸归一化灰度图像I和类别标签f；

第二步，人脸图像多特征图的提取：

(2.1)提取一层DWT低频子带图：

将上述第一步得到的尺寸归一化灰度图像I经过一层DWT算法变换，分解为4个大小为原来尺寸1/4的子带图，即大小为N/2×N/2像素，分别为DWT低频子带图LL、水平高频子带图LH、垂直高频子带图HL和对角高频子带图HH，提取其中的一层DWT低频子带图I_LL；

(2.2)提取Sobel边缘特征图：

对上述第一步得到的尺寸归一化灰度图像I中每一个像素点I(x,y)通过Sobel边缘算法的Sobel梯度算子来提取梯度信息S(x,y)，即以该图像像素点(x,y)为中心计算其3×3邻域的x方向偏导数S_x和y方向的偏导数S_y，如以下公式(2)、(3)：

$\begin{array}{c}{S}_x=\{I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)\}-\\ \{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)\}\end{array}---\left(2\right),$

$\begin{array}{c}{S}_y=\{I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)\}-\\ \{I(x+1,y+1)+2I(x,y+1)+I(x-1,y+1)\}\end{array}---\left(3\right),$

得到梯度S(x,y)为：

$S(x,y)=\sqrt{S_x^2+S_y^2}---\left(4\right),$

根据上述公式(4)求出尺寸归一化灰度图像I的每个像素的梯度值，得到梯度特征图，将得到的特征图进行2×2的平均采样，提取得Sobel边缘特征图I_Sobel，其大小为N/2×N/2像素；

(2.3)提取LBP纹理特征图：

对上述第一步得到的尺寸归一化灰度图像I利用LBP算法提取纹理特征图，将尺寸归一化灰度图像I中每一个像素点(x,y)置于3×3窗口W的中心w_c，并以该中心像素为阈值，将相邻的8个像素w_i(i＝1,…,8)的灰度值与其进行比较，若邻域像素值大于中心像素值，则该邻域像素点的位置被标记为1，否则为0，3×3邻域内的8个点经比较可产生8位二进制数码，采用公式(5)转换为十进制数得到该窗口W的中心w_c像素点的LBP值：

$LBP\left(w_c\right)=\underset{i=0}{\overset{P-1}{\Σ}}{2}^i\mathrm{sgn}(w_i-w_c)---\left(5\right),$

其中，

窗口P＝8，sgn为符号函数，定义如下：

$\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1,& ifx>0\\ 0,& else\end{array}\right.---\left(6\right),$

遍历尺寸归一化灰度图像I的各个像素点，得到LBP特征图，为了保证在维度上与上述(2.1)步DWT低频子带图LL相同，将得到的LBP特征图进行2×2的平均采样，提取得LBP纹理特征图I_LBP，其大小为N/2×N/2像素；

第三步，利用单层多尺度卷积神经网络结构进行多特征融合：

将上述第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图输入到单层多尺度卷积神经网络结构中进行训练，该结构包含一个输入层、采样层I和采样层II两个采样层、一个多尺度卷积层以及全连接层I和全连接层II两个全连接层；

(3.1)向输入层输入第二步中提取的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图与人脸图像的类别标签f；

(3.2)采样层I连接输入层，采样层I采用2×2的Max采样方式，用采样层I采样上述(3.1)步中的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图后得到大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图；

(3.3)在采样层I后为多尺度卷积层，该层采用四种不同尺度卷积核，分别为2×2、3×3、4×4和5×5，每种尺度包含30种不同参数的卷积核，经卷积后，每种尺度卷积核则对应得到30个不同特征图，共得到120个特征图，将上述(3.2)步得到的大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图的采样结果作为多尺度卷积层的输入，令l^j与uⁱ分别表示第j幅输出特征图与第i幅输入特征图，k^ij为第i个输入特征图与第j个输出特征图的卷积核，b^j为第j个输出特征图的偏置，则卷积操作可表示为

l^j＝max(0,b^j+∑_ik^ij*uⁱ) (7)，

(3.4)在多尺度卷积层后为采样层II，经(3.3)步卷积后的特征图通过采样层II进行降维，采样层II采用3×3的Max采样方式，上述(3.3)步得到的120个特征图经过采样层II后被串联成一个特征向量；

(3.5)在采样层II后为全连接层，将上述(3.3)步采样层II所串联成的一个特征向量输入全连接层I和全连接层II两个相邻的全连接层，假设分类问题有C个类别，全连接层I的神经元个数设置为4×C，全连接层II的神经元个数设置为2×C，由此全连接层同时实现对特征图的有效降维，经过全连接层得到的的特征向量标记为e；

至此完成利用单层多尺度卷积神经网络结构进行的多特征融合；

第四步，用Softmax分类器预测分类结果，实现人脸识别：

(4.1)将经过上述(3.5)步得到的全连接层的特征向量e输入至C维的Softmax分类器，根据输入的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图所对应的类别标签f对Softmax分类器进行有监督的反向传播算法训练，得到Softmax分类器映射关系R＝g(e)，其中R为类别输出，g(﹒)为Softmax分类器建立的从输入到输出的映射；

(4.2)特征图依次经过上述第三步的各层后，计算误差函数，然后利用梯度下降法计算最小化误差，从而获得最优的网络权值与偏置，得到最终训练好的单层多尺度卷积神经网络模型；

(4.3)在人脸识别过程中，按照上述第一步和第二步方法处理待识别的人脸图像，然后将第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP输入上述训练好的单层多尺度卷积神经网络模型中，进行多特征融合，再利用Softmax分类器预测分类结果，实现人脸识别。

2.根据权利要求1所述一种小样本人脸识别方法，其特征在于：所述N×N个像素、N/2×N/2像素和N/4×N/4像素中的N＝64。