CN105913025A - 一种基于多特征融合的深度学习人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的深度学习人脸识别方法，首先对待测试的orl人脸库进行二维gabor变换（2D gabor）,提取出具有gabor特征的人脸库；由于图片的尺寸为：92×112，此处尺寸比较大，采用双线性插值的方法，将图像降为32×32的；然后将原始的orl人脸库与gabor特征的人脸库进行融合；最后用深度学习里面的栈式自编码的方式进行编码，并用softmax回归的方式求出权重参数，预测出识别准确率。本发明融合了多特征后，前提是该特征单独用此算法测试准确率不得低于80%，准确率会提高，而且算法会更加稳定，即随机初始化后，识别准确率基本保持不变。

Description

一种基于多特征融合的深度学习人脸识别方法

技术领域

本发明属于图像识别和深度学习技术领域，涉及一种学习人脸识别方法，特别是涉及一种基于多特征融合的深度学习人脸识别方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份认证的一种生物识别技术。通过摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行匹配与识别。

人脸识别的应用领域很广泛，尤其是在安防反恐、金融支付、门禁考勤、身份识别等众多领域起着非常重要的作用，它所涉及的领域知识有生物医学、模式识别、图像处理、机器学习等。

人脸识别算法主要有：

①模板匹配法：主要利用了人脸的纹理和灰度特征，采用最近邻分类器，将待识别的图像与数据集中的所有模板进行匹配，进而找出最相似的模板。该方法主要存在的问题是，如果数据集足够大，那么进行匹配的时候，时间消耗很大，而且准确率会有所降低。

②主成分分析法(PCA)：简而言之，就是将原始图像库的图像用一个低维的特征表示出来，该特征一般要求能够代表整张图片的90％以上，可以很大程度上减少计算量。然而该算法对外界环境较敏感，而且在识别过程中，初始特征量个数难以事先确定。

③支持向量机(SVM)：支持向量机是一种能力很强的分类器，一般情况下，采用此分类器的算法准确率较高。当人脸样本数量较大时，该算法的时间复杂度和空间复杂度都较高。

④线性判别式分析(LDA)：其基本思想是将高维的模式样本投影到最佳判别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离。过分强调类间距较大，忽视了类间距较小的特征，最终会造成类间距较小的类别大量的重叠，导致最终的识别准确率不高。

发明内容

为了解决上述技术问题，本发明公开了一种基于多特征融合的深度学习人脸识别方法。

本发明所采用的技术方案是：一种基于多特征融合的深度学习人脸识别方法，其特征在于，包括以下步骤：

步骤1：初始化权重衰减参数λ、权重稀疏惩罚参数β、权重参数θ、稀疏系数p、隐藏层L1、隐藏层L2和分类数k；

步骤2：原始图像特征提取；

步骤3：分别将图像像素矩阵进行双线性插值变成M×M大小，并利用高斯金字塔将图像像素降低N倍，变成大小；

步骤4：将每个对应的2张人脸串接在一起，组成一个大的人脸矩阵，并将该矩阵变成一个L*1的向量，其中

步骤5：训练第一个隐藏层的稀疏编码；

步骤6：训练第二个隐藏层的稀疏编码；

步骤7：训练softmax分类器；

步骤8：利用栈式自编码算法构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络；

步骤9：微调；

步骤10：检验栈式自编码是否成功；

若是，则通过微调求出来的权重系统θ，对未知样本进行预测，并计算出准确率，流程结束；

若否，则直接结束流程。

作为优选，初始化参数λ＝3e-3、β＝3，随机初始化权重系统θ，初始化稀疏系数p＝0.3、隐藏层L1＝200、隐藏层L2＝200和分类数k＝40。

作为优选，步骤2中所述图像特征提取，包括对原始的ORL人脸库进行Gabor特征提取和对原始的ORL人脸库进行LBP特征提取；

所述对原始的ORL人脸库进行Gabor特征提取，是利用2D Gabor基本函数分别对原始的ORL人脸库进行特征提取，并组成一个Gabor的人脸库；

所述2D Gabor基本函数定义为：

h(x*,y*,σ_x,σ_y)＝g(x',y')exp[j2π(u₀x*+v₀y*)]

其中：

$\left\{\begin{array}{c}{x}^{\′}=x*cos\left(w\right)+y*sin\left(w\right)\\ y^{\′}=-x*sin\left(w\right)+y*cos\left(w\right)\end{array}\right.,$

$g(x*,y*)=\frac{1}{2{\mathrm{\π\σ}}_{x*}{\mathrm{\σ}}_{y*}}\exp \{-\frac{1}{2}\[{\left(\frac{x*}{{\mathrm{\σ}}_{x*}}\right)}^2+{\left(\frac{y*}{{\mathrm{\σ}}_{y*}}\right)}^2\]\};$

其中：u₀表示在x*方向的频率，v₀表示在y*方向的频率，w为正弦函数的方向角，和分别为高斯包络在x*和y*方向上的标准差，即高斯分布，这两个参数决定了高斯包络的扩展空间，假设则把以上的2D Gabor基本函数写成如下的形式：

$h(x*,y*)=\frac{1}{2\mathrm{\π}}\exp \[\frac{{(x*)}^2+{(y*)}^2}{{\mathrm{\σ}}^2}\]\exp \[j2{\mathrm{\πw}}_0(x*\cos w+y*\sin w)\]$

其中，为正弦函数的空间频率，σ为空间常数；

所述对原始的ORL人脸库进行LBP特征提取，是利用LBP基本函数分别对原始的ORL人脸库进行特征提取，并组成一个LBP的人脸库；

LBP基本函数定义为：

当某个局部二进制模式所对应的循环二进制从0到1或从1到0最多有两次跳变时这个二进制序列首尾相连，该局部二进制模式所对应的二进制就称为一个等价模式类；检验某种模式是否属于等价模式的方法是将其和其移动一位后的二进制模式按位相减的绝对值求和，定义如下：

$U\left(G_P\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\Σ}}|s(g_p-g_c)-s(g_{p-1}-g_c)|$

其中：

g_c:表示的是局部区域的中心点的灰度值；g_p(p＝0,1,....,P):表示对应于中心点周围等距分布的P个点；若某种模式计算得到的U(G_P)小于或等于2，则将其归于等价模式。

作为优选，步骤3中M＝128，N＝32。

作为优选，步骤4中Z＝200。

作为优选，步骤7中所述训练softmax分类器，其具体实现包括以下子步骤：

步骤7.1：初始化参数λ＝1e-4、分类数k＝40、随机初始化权重系统θ；

步骤7.2：判断梯度检验是否成功；

若是，则继续执行下述步骤7.3；

若否，则结束流程；

步骤7.3：加载人脸数据，并标签；

步骤7.4：计算损失函数；

将已经有m个标记了的训练样本作为训练集，特征向量x的维度为n+1，即x⁽ⁱ⁾∈R^{n +1}，标记y⁽ⁱ⁾∈{1,2,…k}，此处x⁽ⁱ⁾特征向量即为步骤4中L*1的向量,y⁽ⁱ⁾表示的是x⁽ⁱ⁾所对应人脸的序号；最终训练集组成的集合为：{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}；

对于logistic回归，假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}=\frac{1}{1+\exp (-{\mathrm{\θ}}^{T}x)},$

其中，θ为权重参数；则最小化代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)}log(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right))\];$

在softmax中的假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=k|x^{\left(i\right)};\mathrm{\θ})\end{array}\right]=\frac{1}{{\mathrm{\Σ}}_{j=1}^k{e}^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{{\mathrm{\θ}}_1}^T{x}^{\left(i\right)}}\\ e^{{{\mathrm{\θ}}_2}^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{{\mathrm{\θ}}_k}^T{x}^{\left(i\right)}}\end{array}\right]$

其中权重参数θ不再是列向量，而是一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行；

矩阵能写成下面的形式：

$\mathrm{\θ}=\left[\begin{array}{c}-{{\mathrm{\θ}}_1}^T-\\ -{{\mathrm{\θ}}_2}^T-\\ \·\\ \·\\ \·\\ -{{\mathrm{\θ}}_k}^T-\end{array}\right];$

此时，系统损失函数的方程为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}log\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\];$

其中，1{·}是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0；

Softmaxregression中损失函数的偏导函数如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\];$

其中公式中的是一个向量，表示的是针对第i个类别而求得的；表示的是损失函数对第j个类别的第L个参数的偏导；

加入规则项后的损失函数表达式如下：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}log\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{k}{\Σ}}\underset{j=0}{\overset{n}{\Σ}}{{\mathrm{\θ}}_{ij}}^2;$

则偏导函数表达式如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\]+{\mathrm{\λ\θ}}_j;$

步骤7.5：利用L-BFGS算法求得的θ，该矩阵大小为k*(n+1)，k为分类的类别数；

步骤7.6：采用softmax分类器预测结果并计算出分类的准确率。

作为优选，步骤8中所述栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入；其中输入的就是前述步骤中提取的信息经过2次高斯金字塔缩小4倍后的图像，然后reshape成一维的向量；所述前述步骤中提取的信息包括原始图像、Gabor特征、LBP特征、原始图像&Gabor特征、原始图像&LBP特征、Gabor特征&LBP特征、原始图像&Gabor特征&LBP特征。

作为优选，步骤9中所述微调，是对反向传播算法进行微调，其具体实现包括以下子步骤：

步骤9.1：对L₂,L₃,…L_nl层使用前向传播中的公式计算各层的激活值；其中nl表示的是网络层数；

步骤9.2：对输出层n_l，令：

其中：a^nl:表示的是第nl层的激活值，即输出值；z^(nl):表示的是第nl层输入加权和，包括偏置单元；即选用的是sigmoid函数作为激活值；

当使用softmax分类器时，softmax满足：其中I为输入数据对应的标签，P为条件概率向量；

步骤9_.3：对l＝n_l-x,n_l-2,n_l-3…,2，令δ^(l)＝((W^(l))^Tδ^(l+1))·f'(z^(l))；

其中：f'(z):表示的是激活值函数的导数；

步骤9.4：计算所需要的偏导数；

损失函数J(W,b；x,y)对权重W^(l)的偏导：

损失函数J(W,b；x,y)对偏置项b^(l)的偏导：

步骤9.5：更新权重参数；

${\mathrm{\ΔW}}^{\left(l\right)}={\mathrm{\ΔW}}^{\left(l\right)}+{\▿}_{W^{\left(l\right)}}J(W,b;x,y);$

${\mathrm{\Δb}}^{\left(l\right)}={\mathrm{\Δb}}^{\left(l\right)}+{\▿}_{b^{\left(l\right)}}J(W,b;x,y);$

$W^{\left(l\right)}=W^{\left(l\right)}-\mathrm{\α}\[\left(\frac{1}{m}\right){\mathrm{\ΔW}}^{\left(l\right)}\]+{\mathrm{\λW}}^{\left(l\right)};$

$b^{\left(l\right)}=b^{\left(l\right)}-\mathrm{\α}\[\frac{1}{m}{\mathrm{\Δb}}^{\left(l\right)}\].$

其中：α:学习因子。

本发明的优点：

(1)多特征融合技术能够比单一的准确率有所提高，最明显的就是原始orl库+Gabor特征后的库，融合在一起后，由单个准确率为91.5％和88％提高到了95％。提高了3.5％的准确率；

(2)融合了多特征的算法比单一的特征对复杂的场景更具有适应性；

(3)通过该发明算法，求出来的权重参数，只要有未知样本，只需要通过矩阵相乘的运算，然后求出每一列对应的最大值的序号，即为识别的人脸的序号，这很大程度上减少了算法的运算。当训练样本足够大时，可运用于实际的实时人脸识别中。

附图说明

图1：本发明实施例的流程图；

图2：本发明实施例的Softmax算法流程；

图3：本发明实施例的栈式自编码算法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于多特征融合的深度学习人脸识别方法，包括以下步骤：

步骤1：初始化权重衰减参数λ＝3e-3、权重稀疏惩罚参数β＝3，随机初始化权重参数θ，初始化稀疏系数p＝0.3、隐藏层L1＝200、隐藏层L2＝200和分类数k＝40。

步骤2：图像特征提取，包括对原始的ORL人脸库进行Gabor特征提取和对原始的ORL人脸库进行LBP特征提；

【第一个特征】原始的ORL人脸库，这个库当然是最全面的库，没有进行任何特征提取，从而保证了原始图像的完好特征。

【第二个特征】Gabor小波与人类的视觉刺激响应很相似。由于也对于图像的边缘敏感，提供了良好的方向特性和尺度特性，而且对于光照变化不敏感，又能提供对光照变化良好的适应性。所以对原始的ORL人脸库进行Gabor特征提取。

Gabor特征提取：

1946年，Dennis Gabor对傅立叶变换进行改进，提出了Gabor变换，该变换属于“窗口”傅立叶变换，Gabor函数可以在频域不同尺度、不同方向上提取相关的特征。而且经研究Gabor函数与人眼的生物作用相仿，是一种很好的特征提取算法，并取得了较好的效果。本发明主要采用Gabor变换来进行人脸识别。

2D Gabor基本函数定义为：

h(x,y,σ_x,σ_y)＝g(x',y')exp[j2π(u₀x+v₀y)]；

$\left\{\begin{array}{c}{x}^{\′}=xcos\left(\mathrm{\θ}\right)+ysin\left(\mathrm{\θ}\right)\\ y^{\′}=-xsin\left(\mathrm{\θ}\right)+ycos\left(\mathrm{\θ}\right)\end{array}\right.,g(x,y)=\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}\exp \{-\frac{1}{2}\[{\left(\frac{x}{{\mathrm{\σ}}_x}\right)}^2+{\left(\frac{y}{{\mathrm{\σ}}_y}\right)}^2\]\};$

其中：u0表示在x*方向的频率，v0表示在y*方向的频率，w为正弦函数的方向角，和分别为高斯包络在x*和y*方向上的标准差，即高斯分布，这两个参数决定了高斯包络的扩展空间，假设则把以上的2D Gabor基本函数写成如下的形式：

$h(x,y)=\frac{1}{2\mathrm{\π}}\exp \[\frac{x^2+y^2}{{\mathrm{\σ}}^2}\]\exp \[j2{\mathrm{\πw}}_0(x\cos w+y\sin w)\]$

其中，为正弦函数的空间频率，θ为正弦函数的方向角，σ为空间常数。

利用2D Gabor小波分别对原始的ORL人脸库进行特征提取，并组成一个Gabor的人脸库。

【第三个特征】由于LBP主要用于纹理特征提取，它具有旋转不变性和灰度不变性等显著的优点。所以对原始的ORL人脸库进行LBP特征提取。

LBP特征提取的简介：

Ojala等人通过研究发现，提出了采用一种等价模式对LBP算子进行降维。等价模式(uniformpattern)的LBP算子定义：当某个局部二进制模式所对应的循环二进制从0到1或从1到0最多有两次跳变时(这个二进制序列首尾相连)，该局部二进制模式所对应的二进制就称为一个等价模式类。比如：10100000的变化次数为3次所以不是一个uniformpattern。为什么要提出这么个uniformLBP呢？因为研究者发现他们计算出来的大部分值都在这58种之中，可达到90％以上，这样直方图从原来的256维变成59维，起到了降维的作用。检验某种模式是否属于等价模式的简单方法是将其和其移动一位后的二进制模式按位相减的绝对值求和，定义如下：

$U\left(G_P\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\Σ}}|s(g_p-g_c)-s(g_{p-1}-g_c)|$

其中：

若某种模式计算得到的U(G_P)小于或等于2，则将其归于等价模式。

利用LBP分别对原始的ORL人脸库进行特征提取，并组成一个LBP的人脸库。

步骤3：分别将图像像素矩阵进行双线性插值变成128*128大小的矩阵，并利用高斯金字塔将图像像素降低4倍，变成大小32*32大小的像素矩阵；

步骤4：将每个对应的2张人脸串接在一起，组成一个大的人脸矩阵，并将该矩阵变成一个2048*1的向量，其中2048＝32*32*2，乘以2是因为2张人脸；

步骤5：训练第一个隐藏层的稀疏编码；

步骤6：训练第二个隐藏层的稀疏编码；

步骤7：训练softmax分类器；

请见图2，本实施例的训练softmax分类器，其具体实现包括以下子步骤：

步骤7.1：初始化参数λ＝1e-4、分类数k＝40、随机初始化权重系统θ；

步骤7.2：判断梯度检验是否成功；

若是，则继续执行下述步骤7.3；

若否，则结束流程；

步骤7.3：加载人脸数据，并标签；

步骤7.4：计算损失函数；

将已经有m个标记了的训练样本作为训练集，特征向量x的维度为n+1，即x⁽ⁱ⁾∈R^{n +1}，标记y⁽ⁱ⁾∈{1,2,…k}，此处x⁽ⁱ⁾特征向量即为步骤4中L*1的向量,y⁽ⁱ⁾表示的是x⁽ⁱ⁾所对应人脸的序号；最终训练集组成的集合为：{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}；(本实施例对符号的约定如下：特征向量x的维度为n+1，其中x₀＝1对应截距项)

对于logistic回归，假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}=\frac{1}{1+\exp (-{\mathrm{\θ}}^{T}x)},$

其中，θ为权重参数；

则最小化代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)}log(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right))\];$

在softmax中的假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=k|x^{\left(i\right)};\mathrm{\θ})\end{array}\right]=\frac{1}{{\mathrm{\Σ}}_{j=1}^k{e}^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{{\mathrm{\θ}}_1}^T{x}^{\left(i\right)}}\\ e^{{{\mathrm{\θ}}_2}^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{{\mathrm{\θ}}_k}^T{x}^{\left(i\right)}}\end{array}\right]$

其中的参数θ不再是列向量，而是一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行；

矩阵能写成下面的形式：

$\mathrm{\θ}=\left[\begin{array}{c}-{{\mathrm{\θ}}_1}^T-\\ -{{\mathrm{\θ}}_2}^T-\\ \·\\ \·\\ \·\\ -{{\mathrm{\θ}}_k}^T-\end{array}\right];$

此时，系统损失函数的方程为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}log\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\];$

其中，1{·}是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0；

Softmaxregression中损失函数的偏导函数如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\];$

注意公式中的是一个向量，表示的是针对第i个类别而求得的。所以上面的公式还只是一个类别的偏导公式，我们需要求出所有类别的偏导公式。表示的是损失函数对第j个类别的第L个参数的偏导。

Softmax中对参数的最优化求解不只一个，每当求得一个优化参数时，如果将这个参数的每一项都减掉同一个数，其得到的损失函数值也是一样的。这说明这个参数不是唯一解。用数学公式证明过程如下所示：

$\begin{array}{c}p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ})=\frac{e^{{({\mathrm{\θ}}_j-\mathrm{\ψ})}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{({\mathrm{\θ}}_l-\mathrm{\ψ})}^T{x}^{\left(i\right)}}}\\ =\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}{e}^{-\mathrm{\ψ}{)}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}{e}^{-\mathrm{\ψ}{)}^T{x}^{\left(i\right)}}}\\ =\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{({{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\end{array}$

hession矩阵如果没有加入规则项，就有可能不是可逆，因此加入规则项后的损失函数表达式如下：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}log\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{k}{\Σ}}\underset{j=0}{\overset{n}{\Σ}}{{\mathrm{\θ}}_{ij}}^2;$

则偏导函数表达式如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\]+{\mathrm{\λ\θ}}_j;$

步骤7.5：利用L-BFGS算法求得的θ，该矩阵大小为k*(n+1)，k为分类的类别数；

步骤7.6：采用softmax分类器预测结果并计算出分类的准确率。

步骤8：利用栈式自编码算法构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络；

请见图3，利用栈式自编码算法中的栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入。依照这种方法，最终构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络；

其中输入的就是我们在前面提取的(原始图像，Gabor特征，LBP特征，原始图像+Gabor，原始图像+LBP，Gabor+LBP，原始图像+Gabor+LBP)经过2次高斯金字塔缩小4被后的图像，然后reshape成一维的向量。

步骤9：微调；

微调可以大幅提升一个栈式自编码神经网络的性能，本实施例的微调，是对反向传播算法进行微调，其具体实现包括以下子步骤：

步骤9.1：对L₂,L₃,…L_nl层使用前向传播中的公式计算各层的激活值；其中nl表示的是网络层数；

步骤9.2：对输出层n_l，令：

其中：a^nl:表示的是第nl层的激活值，即输出值；z^(nl):表示的是第nl层输入加权和，包括偏置单元；即选用的是sigmoid函数作为激活值；

当使用softmax分类器时，softmax满足：其中I为输入数据对应的标签，P为条件概率向量；

步骤9.3：对l＝n_l-1,n_l-2,n_l-3…,2，令δ^(l)＝((W^(l))^Tδ^(l+1))·f'(z^(l))；

其中：f'(z):表示的是激活值函数的导数；

步骤9.4：计算所需要的偏导数；

损失函数J(W,b；x,y)对权重W^(l)的偏导：

损失函数J(W,b；x,y)对偏置项b^(l)的偏导：

步骤9.5：更新权重参数；

${\mathrm{\ΔW}}^{\left(l\right)}={\mathrm{\ΔW}}^{\left(l\right)}+{\▿}_{W^{\left(l\right)}}J(W,b;x,y);$

${\mathrm{\Δb}}^{\left(l\right)}={\mathrm{\Δb}}^{\left(l\right)}+{\▿}_{b^{\left(l\right)}}J(W,b;x,y);$

$W^{\left(l\right)}=W^{\left(l\right)}-\mathrm{\α}\[\left(\frac{1}{m}\right){\mathrm{\ΔW}}^{\left(l\right)}\]+{\mathrm{\λW}}^{\left(l\right)};$

$b^{\left(l\right)}=b^{\left(l\right)}-\mathrm{\α}\[\frac{1}{m}{\mathrm{\Δb}}^{\left(l\right)}\].$

其中：α:学习因子。

步骤10：检验栈式自编码是否成功；

若是，则通过微调求出来的权重系统θ，对未知样本进行预测，并计算出准确率，流程结束；

若否，则直接结束流程。

本实施例通过实验结果分析来进一步阐述本发明的优点，

本实施例的实验平台：Windows7(64位)，Matlab2014a；

本实施例的实验结果：

采用单一特征识别采用多特征融合的方法

由以上的实验结果可知道，如何进行特征选择是很重要的，由于LBP单独测试的准确率很低，即对该场景的适应不好，所以在此实验数据中不必融合LBP，只采用原始ORL特征+Gabor的特征进行融合。一般来说，只要融合的那个特征不很差(通过该算法独立测试的准确率不低于85％)，那么对该算法均有贡献，即可以提高准确率。

本发明主要在两方面有较大的提高：

第一：计算时间上，虽然本发明在计算出权值时用的是栈式自编码网络求解的，计算量十分大，运行需要一段时间，但最终可以计算出每个输入特征的权重出来，但是这部分运行时间时可以不必计算到识别中去的，只需要计算一次即可。在识别的时候，只需要利用这些权重，然后乘以输入的特征向量，很容易就能识别出未知样本。时间上，显然，该方法只需要一个简单的矩阵相乘就能识别出来，时间上会快很多。

第二：准确率上，即便是用同样的数据库，通过PCA、SVM、Gabor、LBP、LDA等计算出来的识别率均达不到95％。该方法融合了原始人脸库和Gabor特征后，可以达到95％。如果样本足够大，那么计算出的权重将更具有代表性，准确率会更高。也就是说，在大数据时代，该算法更具有优势。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于多特征融合的深度学习人脸识别方法，其特征在于，包括以下步骤：

步骤1：初始化权重衰减参数λ、权重稀疏惩罚参数β、权重参数θ、稀疏系数p、隐藏层L1、隐藏层L2和分类数k；

步骤2：原始图像特征提取；

步骤3：分别将图像像素矩阵进行双线性插值变成M×M大小，并利用高斯金字塔将图像像素降低N倍，变成大小；

步骤4：将每个对应的2张人脸串接在一起，组成一个大的人脸矩阵，并将该矩阵变成一个L*1的向量，其中

步骤5：训练第一个隐藏层的稀疏编码；

步骤6：训练第二个隐藏层的稀疏编码；

步骤7：训练softmax分类器；

步骤8：利用栈式自编码算法构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络；

步骤9：微调；

步骤10：检验栈式自编码是否成功；

若是，则通过微调求出来的权重系统θ，对未知样本进行预测，并计算出准确率，流程结束；

若否，则直接结束流程。

2.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：初始化参数λ＝3e-3、β＝3，随机初始化权重系统θ，初始化稀疏系数p＝0.3、隐藏层L1＝200、隐藏层L2＝200和分类数k＝40。

3.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：步骤2中所述图像特征提取，包括对原始的ORL人脸库进行Gabor特征提取和对原始的ORL人脸库进行LBP特征提取；

所述对原始的ORL人脸库进行Gabor特征提取，是利用2D Gabor基本函数分别对原始的ORL人脸库进行特征提取，并组成一个Gabor的人脸库；

所述2D Gabor基本函数定义为：

h(x^*,y^*,σ_x,σ_y)＝g(x',y')exp[j2π(u₀x^*+v₀y^*)]

其中：

$\left\{\begin{array}{c}{x}^{\′}=x*cos\left(w\right)+y*sin\left(w\right)\\ y^{\′}=-x*sin\left(w\right)+y*cos\left(w\right)\end{array}\right.,$

$g(x*,y*)=\frac{1}{2{\mathrm{\π\σ}}_{x*}{\mathrm{\σ}}_{y*}}\exp \{-\frac{1}{2}\[{\left(\frac{x*}{{\mathrm{\σ}}_{x*}}\right)}^2+{\left(\frac{y*}{{\mathrm{\σ}}_{y*}}\right)}^2\]\};$

其中：u₀表示在x*方向的频率，v₀表示在y*方向的频率，w为正弦函数的方向角，和分别为高斯包络在x*和y*方向上的标准差，即高斯分布，这两个参数决定了高斯包络的扩展空间，假设则把以上的2D Gabor基本函数写成如下的形式：

$h(x*,y*)=\frac{1}{2\mathrm{\π}}\exp \[\frac{{(x*)}^2+{(y*)}^2}{{\mathrm{\σ}}^2}\]\exp \[j2{\mathrm{\πw}}_0(x*\cos w+y*\sin w)\]$

其中，为正弦函数的空间频率，σ为空间常数；

所述对原始的ORL人脸库进行LBP特征提取，是利用LBP基本函数分别对原始的ORL人脸库进行特征提取，并组成一个LBP的人脸库；

LBP基本函数定义为：

当某个局部二进制模式所对应的循环二进制从0到1或从1到0最多有两次跳变时这个二进制序列首尾相连，该局部二进制模式所对应的二进制就称为一个等价模式类；检验某种模式是否属于等价模式的方法是将其和其移动一位后的二进制模式按位相减的绝对值求和，定义如下：

$U\left(G_P\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\mathrm{\Σ}}}|s(g_p-g_c)-s(g_{p-1}-g_c)|$

其中：

g_c:表示的是局部区域的中心点的灰度值；g_p(p＝0,1,....,P):表示对应于中心点周围等距分布的P个点；若某种模式计算得到的U(G_P)小于或等于2，则将其归于等价模式。

4.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：步骤3中M＝128，N＝32。

5.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：步骤4中Z＝200。

6.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于，步骤7中所述训练softmax分类器，其具体实现包括以下子步骤：

步骤7.1：初始化参数λ＝1e-4、分类数k＝40、随机初始化权重系统θ；

步骤7.2：判断梯度检验是否成功；

若是，则继续执行下述步骤7.3；

若否，则结束流程；

步骤7.3：加载人脸数据，并标签；

步骤7.4：计算损失函数；

将已经有m个标记了的训练样本作为训练集，特征向量x的维度为n+1，即x⁽ⁱ⁾∈Rⁿ⁺¹，标记y⁽ⁱ⁾∈{1,2,…k}，此处x⁽ⁱ⁾特征向量即为步骤4中L*1的向量,y⁽ⁱ⁾表示的是x⁽ⁱ⁾所对应人脸的序号；最终训练集组成的集合为：{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}；

对于logistic回归，假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}=\frac{1}{1+\exp (-{\mathrm{\θ}}^{T}x)},$

其中，θ为权重参数；则最小化代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)}log(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right))\];$

在softmax中的假设函数(hypothesisfunction)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p\left(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ}\right)\\ p\left(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ}\right)\\ \begin{array}{c}.\\ .\\ .\end{array}\\ p\left(y^{\left(i\right)}=k|x^{\left(i\right)};\mathrm{\θ}\right)\end{array}\right]=\frac{1}{{\mathrm{\Σ}}_{j=1}^k{e}^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{{\mathrm{\θ}}_1}^T{x}^{\left(i\right)}}\\ e^{{{\mathrm{\θ}}_2}^T{x}^{\left(i\right)}}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ e^{{{\mathrm{\θ}}_k}^T{x}^{\left(i\right)}}\end{array}\right]$

其中权重参数θ不再是列向量，而是一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行；

矩阵能写成下面的形式：

$\mathrm{\θ}=\left[\begin{array}{c}-{{\mathrm{\θ}}_1}^T-\\ -{{\mathrm{\θ}}_2}^T-\\ .\\ .\\ .\\ -{{\mathrm{\θ}}_k}^T-\end{array}\right];$

此时，系统损失函数的方程为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}log\frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\];$

其中，1{·}是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0；

Softmaxregression中损失函数的偏导函数如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\];$

其中公式中的是一个向量，表示的是针对第i个类别而求得的；

表示的是损失函数对第j个类别的第L个参数的偏导；

加入规则项后的损失函数表达式如下：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}1\left\{y^{\left(i\right)}=j\right\}\log \frac{e^{{{\mathrm{\θ}}_j}^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{{\mathrm{\θ}}_l}^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\θ}}_{ij}}^2;$

则偏导函数表达式如下所示：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\]+{\mathrm{\λ\θ}}_j;$

步骤7.5：利用L-BFGS算法求得的θ，该矩阵大小为k*(n+1)，k为分类的类别数；

步骤7.6：采用softmax分类器预测结果并计算出分类的准确率。

7.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：步骤8中所述栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入；其中输入的就是前述步骤中提取的信息经过2次高斯金字塔缩小4倍后的图像，然后reshape成一维的向量；所述前述步骤中提取的信息包括原始图像、Gabor特征、LBP特征、原始图像&Gabor特征、原始图像&LBP特征、Gabor特征&LBP特征、原始图像&Gabor特征&LBP特征。

8.根据权利要求1中所述的基于多特征融合的深度学习人脸识别方法，其特征在于：步骤9中所述微调，是对反向传播算法进行微调，其具体实现包括以下子步骤：

步骤9.1：对L₂,L₃,…L_nl层使用前向传播中的公式计算各层的激活值；其中nl表示的是网络层数；

步骤9.2：对输出层n_l，令：

其中：a^nl:表示的是第nl层的激活值，即输出值；z^(nl):表示的是第nl层输入加权和，包括偏置单元；即选用的是sigmoid函数作为激活值；

当使用softmax分类器时，softmax满足：其中I为输入数据对应的标签，P为条件概率向量；

步骤9.3：对l＝n_l-1,n_l-2,n_l-3…,2，令δ^(l)＝((W^(l))^Tδ^(l+1))·f'(z^(l))；

其中：f'(z):表示的是激活值函数的导数；

步骤9.4：计算所需要的偏导数；

损失函数J(W,b；x,y)对权重W^(l)的偏导：

损失函数J(W,b；x,y)对偏置项b^(l)的偏导：

步骤9.5：更新权重参数；

${\mathrm{\ΔW}}^{\left(l\right)}={\mathrm{\ΔW}}^{\left(l\right)}+{\▿}_{W^{\left(l\right)}}J(W,b;x,y);$

${\mathrm{\Δb}}^{\left(l\right)}={\mathrm{\Δb}}^{\left(l\right)}+{\▿}_{b^{\left(l\right)}}J(W,b;x,y);$

$W^{\left(l\right)}=W^{\left(l\right)}-\mathrm{\α}\[\left(\frac{1}{m}\right){\mathrm{\ΔW}}^{\left(l\right)}\]+{\mathrm{\λW}}^{\left(l\right)};$

$b^{\left(l\right)}=b^{\left(l\right)}-\mathrm{\α}\[\frac{1}{m}{\mathrm{\Δb}}^{\left(l\right)}\];$

其中：α为学习因子。