CN109815929A - 基于卷积神经网络的人脸识别方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的人脸识别方法，卷积神经网络包括输入层、卷积层、下采样层和全连接层；具体处理步骤包括101)图像预处理步骤、102)卷积处理步骤、103)降维步骤；本发明提供了复杂环境下，高安全系数，高识别精准度且识别速度快的基于卷积神经网络的人脸识别方法。

Description

基于卷积神经网络的人脸识别方法

技术领域

本发明涉及人脸识别领域，更具体的说，它涉及基于卷积神经网络的人脸识别方法。

背景技术

人类社会正在从信息时代迈向数据时代，数据在人们心目中的地位所占的比重越来越大，尤其是个人隐私的问题。回看去年发生的一次次被曝光的计算机病毒事件、大型网络公司用户信息泄露事件等等，计算机的发展所带来的变革已经使得每个人不得不面临自己数据信息会被泄露的威胁，如何更加有效的保障个人信息的隐秘性和安全性，如何保障身份验证的准确性和安全性，已经成为了目前研究者们所面临的一个刻不容缓的问题。

二十一世纪初期，人工智能在经历了三次跌宕起伏后得到迅速发展，一系列人工智能技术也日趋成熟，但其中的人脸识别技术仍然面临着很多复杂的问题，需要一次技术性的突破，来打破人脸识别与现实应用的界限。这仍然是一个非常具有挑战性的领域。人脸识别的应用领域非常宽泛，人脸识别可以取代传统数字字母型、卡片型、口令型密码，在简化认证步骤时更安全有效。人脸识别在安全领域中的应用可以实现智慧校园、智慧交通、智慧安防，实现对交通和环境的智能化监控和提供智能化的引导服务。目前公安系统中的关于人工智能的应用已经初见成效，例如前段时间听说的在演唱会现场通过人脸识别技术识别通缉犯的例子，便是很好证明了人工智能已经走进了生活中，距离人们并不遥远。在现代信息社会中，人们对个人隐私的关注提升并且个人隐私保护的难度加大，此时人脸识别的研究就显得尤为重要。

随着对人脸识别技术深入研究，其宽泛的应用领域和无可取代的优势使得越来越多的研究者进入这一领域。目前很多国家及著名的研究机构都已经开展了人脸识别的研究，想要首先突破目前的瓶颈。我国在去年更是将人工智能上升到了国策的程度上，显示了国家对这方面研究的重视程度，同样也揭示了其广阔的发展前景。国内涌现出了一大批十分优秀的人工智能公司，如旷视科技，商汤科技等等，我国的人脸识别技术在世界上处于领先的位置。目前的人脸识别技术主要是基于神经网络的算法，取得了很好的效果。

神经网络是在1962年感受野的概念被提出后进入研究者的视野中的，在之后随着研究的深入，具备局部感知能力的卷积神经网络被设计出来，并且受到了很大的关注。但神经网络很快陷入了低谷期，很多研究者面对这么一个无法清楚其运行过程，但对计算机耗费巨大的课题失去了兴趣。但人们没有想到的是计算机硬件的发展远远超过了人们的想象，并且也得益于有一部分研究者没有放弃神经网络的研究，在二十一世纪初，神经网络再次迎来了春天，深度学习得到人们的认可和关注，一次次刷新了人们对人工智能的认知，从ImageNet竞赛一举夺冠，超第二名10多个百分点，到alpha GO战胜世界第一的围棋大师，颠覆了人们死板机器的印象，进化为一个可以“思考”的棋者。再到最近涌现出来的越来越多的人工智能产品，人们已经清楚的感受到了人工智能带来的时代变革。卷积神经网络作为人工智能的一个经典的网络模型在图像识别领域具有非常好的效果，正在更多的领域展示它强大的能力。然而在人脸识别上的提升仍需提高，确保信息的精准，提高安全级别。

发明内容

本发明提供了复杂环境下，高安全系数，高识别精准度且识别速度快的基于卷积神经网络的人脸识别方法。

本发明的技术方案如下：

基于卷积神经网络的人脸识别方法，卷积神经网络包括输入层、卷积层、下采样层和全连接层；具体处理步骤如下：

101)图像预处理步骤：通过二阶微分线性方法对二维图像f(x,y)进行预处理，强化图像边缘特征，x和y分别表示横轴和纵轴；具体公式如下：

利用差分分别得到沿x和y轴方向的二阶偏导：

由公式(2)、公式(3)得：

102)卷积处理步骤：通过卷积层对已经预处理的二维图像进行处理，包括卷积核的数量、大小、数值和卷积核进行运算的步长；卷积核的数量为获取的特征参数的数量；卷积核的大小为要匹配的特征的大小，影响局部特征检测的准确性和运算效率；卷积核的数值以初始化均值为0，方差为0.01；卷积核的步长为局部感知中的距离，图像中距离越近，卷积核的步长越大的部分相关性越大，不相邻部分卷积核的步长越小相关性越小；在预处理的二维图像的基础上在图像四周添加列数和行数，以完成对全部的图像数据的卷积操作；其中列数和行数为卷积核的大小减一，卷积层处理二维空间变换的公式如下：

z(x,y)＝(k*g)(x,y)＝∫∫k(t,h)g(x-t,y-t)dtdh 公式(5)

k、g是两个可积分的函数，x为横轴坐标，y为纵轴坐标，t为横轴坐标，h为纵轴坐标；

103)降维步骤：由下采样层对数据进行压缩，减少参数的数量，抑制过拟合的发生，刷选特征数据，保留重要特征数据；具体如下：

将m个二维图像数据集A用矩阵形式表示从中寻找主方向u，将m样本值投影到直线L上，获取投影点的方差，方差具有最大值；其中二维图像数据已经进行了去均值化处理；

投影的公式如下：

由公式(6)得方差：

Var(A·u)＝(Au)^T(Au)＝u^TA^TAu 公式(7)

从而得到目标函数J：

J(u)＝u^TA^TAu 公式(8)

为向量u添加单位向量的约束，即

由拉格朗日乘数法处理得到如下公式：

L(u)＝u^TA^TAu-λ(u^Tu-1) 公式(9)

λ为拉格朗日乘子，L为拉格朗日函数；

对公式(9)求偏导得：

对矩阵A^TA进行特征分解，之后按照从大到小将得到的特征值进行排序α₁≥α₂≥α₃≥…≥α_d，则前几个特征向量便是所求的特征向量W＝(ω₁,ω₂,ω₃,…,ω_e)，其中e≤d。

进一步的，还包括优化步骤：降维中参数本身会造成误差，且误差只体现在输出时，因此通过反向过程，获得处理过程中损失函数对参数的导数，最终得到参数的误差，调整参数；其中反向过程先对中间变量求导，再利用中间变量得到损失函数参数的求导，其中输出的误差等于预测值与实际值的差值，最终误差为这层的输出与上层的误差的乘积。

进一步的，具体反向过程的处理公式如下：

δ^l＝(θ^l)^Tδ^l+1*f′(z^l)

其中，δ^l为每层中的每个神经元的误差，θ¹为每层的参数矩阵，l为第l层，f为激活函数，z^l为每层的中间变量，a^l为每层的输出结果，J为损失函数，θ为每层的参数矩阵，z为中间变量，a为输出结果。

本发明相比现有技术优点在于：本发明利用二阶微分算子对图像进行处理。其具有旋转轴对称的特性，应用时不被图像旋转影响。本发明根据数据的特征是具有很多维度的，但特征之间可能存在一定的相关性在原始数据中的特征，将全部样本放置在一个超平面中进行表达，所以求得一个可以使得分类间隔最大化的超平面，使得所有类别距离此超平面具有最远的距离。在这个超平面下，样本点在这个超平面的投影尽可能的分散，即使得投影后总体样本的方差最大，从而得到特征向量构成的样本投影矩阵，降低数据维度，从而提高数据处理效率。

本发明通过对二维图像的边缘部分添加一部分像素图像，从而解决二维图像中边缘的一列像素值不能进行卷积运算的问题，避免图像数据未能充分利用的情况的出现，从而提高整体的数据特征选取上的优势，提高建模后人脸识别的安全系数和高精准度。

本发明的反向传播，会在模型对所得的预测值会和实际值相匹配，采用度量计算其误差和权重的贡献度进行反向传播，对模型的参数及权重进行优化，以大大提高安全性和识别精确度，完善降维，提升处理效率。

附图说明

图1为本发明的模型图。

图2为本发明的4-领域的模型；

图3为本发明的图像预处理后成像示例图；

图4为本发明的卷积操作示例图；

图5为本发明的卷积核运算选择示例图；

图6为本发明的卷积核特殊处理后的运算选择示例图；

图7为本发明的图像数据集三维数据图；

图8为本发明的图像数据集降维后的数据图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1至图8所示，基于卷积神经网络的人脸识别方法，卷积神经网络包括输入层、卷积层、下采样层和全连接层；具体处理步骤如下：

101)图像预处理步骤：通过二阶微分线性方法对二维图像f(x,y)进行预处理，强化图像边缘特征，x和y分别表示横轴和纵轴。因为二维图像具有旋转轴对称的特性，二阶微分线性方法能在应用时不被图像旋转影响，通过二阶微分线性方法增强图像对比度，实现对图像的锐化，增强图像中重要特征。

具体处理公式如下：

利用差分分别得到沿x和y轴方向的二阶偏导：

由公式(2)、公式(3)得：

从而如下表所示进行4-领域的模版设置，其图像处理后如图3所示。

102)卷积处理步骤：通过卷积层对已经预处理的二维图像进行处理，包括卷积核的数量、大小、数值和卷积核进行运算的步长。卷积是一种积分变换的数学方法，其几何意义上表示两个函数图像处理的共同部分的面积。卷积层的卷积处理不仅减少了参数，而且更好的关注了图像的局部特征。在预处理的二维图像的基础上在图像四周添加列数和行数，以完成对全部的图像数据的卷积操作，其中列数和行数为卷积核的大小减一。从而解决二维图像中边缘的一列像素值不能进行卷积运算的问题，避免图像数据未能充分利用的情况的出现，从而提高整体的数据特征选取上的优势，提高建模后人脸识别的安全系数和高精准度。

其中卷积核的数量为获取的特征参数的数量。

卷积核的大小为要匹配的特征的大小，影响局部特征检测的准确性和运算效率。卷积核的数值以初始化均值为0，方差为0.01。

卷积核的步长为局部感知中的距离，图像中距离越近，卷积核的步长越大的部分相关性越大，不相邻部分卷积核的步长越小相关性越小。

卷积层处理二维空间变换的公式如下：

z(x，y)＝(k*g)(x，y)＝∫∫k(t，h)g(x-t，y-t)dtdh 公式(5)

k、g是两个可积分的函数，x为横轴坐标，y为纵轴坐标，t为横轴坐标，h为纵轴坐标。

具体的卷积操作如下：如图4所示为将大小为3×3的卷积核作用在5×5的图像上，做步长为1的卷积的过程。图4左侧只填一个数字的部分是图像数据，剩余部分是正在进行卷积处理的部分，其中右下角的数值是卷积核的值，每个像素值与对应的卷积核中的值进行乘积运算再相加求和，获得一次卷积的结果，存入右边的矩阵中。经过多次运算和优化，获得特征的表示，即卷积核。

如图5所示，以对5×5的图像，卷积核大小为2×2为例，选取步长为2，从图中可以看出，图像最右边的一列像素值不能进行卷积处理。这样就造成了图像数据无法充分利用。为了充分利用图像中像素数据，避免在选取步长后存在一些像素无法进行卷积运算的情况，可以在图像的边缘部分添加一部分像素。如图6所示，在原图的基础上再添加一列和一行，这样就可以完成对全部的图像数据的卷积操作。

103)降维步骤：由下采样层对数据进行压缩，减少参数的数量，抑制过拟合的发生，刷选特征数据，保留重要特征数据。在实际问题中数据的特征往往是具有很多维度的，但特征之间可能存在一定的相关性，在原始数据中，数据量增加了要处理的问题的复杂度。因此要将空间中的全部样本在一个超平面中进行表达，所以存在一个可以使得分类间隔最大化的超平面，使得所有类别距离此超平面具有最远的距离。在这个超平面下，样本点在这个超平面的投影尽可能的分散，即使得投影后总体样本的方差最大，以此降低维度，降低运算量，提高运算速率。降维过程是多层的，一次次运算处理而得，因此下采样层实际为多层结构，每层结构的处理方式相同，整体具体处理过程如下：

将m个二维图像数据集A用矩阵形式表示n为图像大小的像素值。再A中寻找主方向u，将m样本值投影到直线L上，获取投影点的方差，方差具有最大值。其中二维图像数据已经进行了去均值化处理，这是因为如果特征值比较大的时候，会导致结果也很大，这样进行处理后输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行运算，所以会导致梯度消散问题，导致参数改变量很小，也就会易于数据拟合，反而造成优化时的效果不好。

投影的公式如下：

由公式(6)得方差：

Var(A·u)＝(Au)^T(Au)＝u^TA^TAu 公式(7)

从而得到目标函数J：

J(u)＝u^TA^TAu 公式(8)

为向量u添加单位向量的约束，即

由拉格朗日乘数法处理得到如下公式：

L(u)＝u^TA^TAu-λ(u^Tu-1) 公式(9)

λ为拉格朗日乘子，L为拉格朗日函数。

对公式(9)求偏导得：

对矩阵A^TA进行特征分解，之后按照从大到小将得到的特征值进行排序α₁≥α₂≥α₃≥…≥α_d，则前几个特征向量便是所求的特征向量W＝(ω₁，ω₂,ω₃,…,ω_e)，其中e≤d。

具体数据处理效果如图7所示为原始数据的三维数据分布图，处理后的数据如图8所示。

作为优选，还包括优化步骤：降维中参数本身会造成误差，且误差只体现在输出时，因此通过反向过程，获得处理过程中损失函数对参数的导数，最终得到参数的误差，调整参数。其中反向过程先对中间变量求导，再利用中间变量得到损失函数参数的求导，其中输出的误差等于预测值与实际值的差值，最终误差为这层的输出与上层的误差的乘积。

具体反向过程的处理公式如下：

δ^l＝(θ^l)^Tδ^l+1*f′(z^l)

其中，δ^l为每层中的每个神经元的误差，θ¹为每层的参数矩阵，l为第l层，f为激活函数，z^l为每层的中间变量，a^l为每层的输出结果，J为损失函数，θ为每层的参数矩阵，z为中间变量，a为输出结果。

本发明通过Labeled Faces in the Wild(LFW)作为数据源进行实验。LFW数据集不大，其中包括大概13000张图像，并且图像名称是人名标签，但是数据集中的单人人脸数较小，大概仅有1600人存在两张以上的图片，对模型的泛化能力要求较高。实验中为了实验效果，从数据集中选择单人人脸数超过70和30的两类人脸图像进行实验。

首先进行人脸特征检测对不同数据集的表现，如下表

数据集	数据集数量(张)	检测数量(张)	标准误差	平均误差
					AFW	337	325	0.0475	0.0729
LFPW	224	223	0.0182	0.0579
					LFW	13233	13205	0.0238	0.055

表1

从表1中可以看出本发明方案在这三个数据集上都取得了很好的效果，误差非常小。为了提高程序的效率，首先对图像进行人脸检测，然后将图像进行切割单独保存下来，形成人脸检测后的数据集。

降维算法	降维后特征脸数(个)	常用的核函数	准确率	用时(s)
					无	1288	RBF	0.18	338.5690676
无	1288	poly	0.66	290.7706531
					无	1288	linear	0.68	368.8807766
无	1288	sigmoid	0.18	343.7702238
					本降维方案	80	RBF	0.83	0.038312432
本降维方案	80	ploy	0.77	0.013932546
					本降维方案	80	linear	0.79	0.014073593
本降维方案	80	sigmoid	0.75	0.033575591
					LDA	80	RBF	0.78	0.040256552
LDA	80	ploy	0.76	0.014216512
					LDA	80	linear	0.77	0.014397825
LDA	80	sigmoid	0.68	0.036038466

表2

从表2中可以看出，加入降维算法对时间复杂度的影响是巨大的，在不对数据进行降维的处理下的时间消耗与进行降维处理的时间消耗相差上万倍，也可以看出不同的核函数对分类准确性的影响也是很大的，同时从表中可以看出本降维方法对这次实验的效果相当好，相比之下比现有的LDA方法的表现更良好，且提高了分类的准确性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (3)

1.基于卷积神经网络的人脸识别方法，其特征在于，卷积神经网络包括输入层、卷积层、下采样层和全连接层；具体处理步骤如下：

101)图像预处理步骤：通过二阶微分线性方法对二维图像f(x,y)进行预处理，强化图像边缘特征，x和y分别表示横轴和纵轴；具体公式如下：

利用差分分别得到沿x和y轴方向的二阶偏导：

由公式(2)、公式(3)得：

102)卷积处理步骤：通过卷积层对已经预处理的二维图像进行处理，包括卷积核的数量、大小、数值和卷积核进行运算的步长；卷积核的数量为获取的特征参数的数量；卷积核的大小为要匹配的特征的大小，影响局部特征检测的准确性和运算效率；卷积核的数值以初始化均值为0，方差为0.01；卷积核的步长为局部感知中的距离，图像中距离越近，卷积核的步长越大的部分相关性越大，不相邻部分卷积核的步长越小相关性越小；在预处理的二维图像的基础上在图像四周添加列数和行数，以完成对全部的图像数据的卷积操作；其中列数和行数为卷积核的大小减一，卷积层处理二维空间变换的公式如下：

z(x,y)＝(k*g)(x,y)＝∫∫k(t,h)g(x-t,y-t)dtdh 公式(5)

k、g是两个可积分的函数，x为横轴坐标，y为纵轴坐标，t为横轴坐标，h为纵轴坐标；

103)降维步骤：由下采样层对数据进行压缩，减少参数的数量，抑制过拟合的发生，刷选特征数据，保留重要特征数据；具体如下：

将m个二维图像数据集A用矩阵形式表示从中寻找主方向u，将m样本值投影到直线L上，获取投影点的方差，方差具有最大值；其中二维图像数据已经进行了去均值化处理；

投影的公式如下：

由公式(6)得方差：

Var(A·u)＝(Au)^T(Au)＝u^TA^TAu 公式(7)

从而得到目标函数J：

J(u)＝u^TA^TAu 公式(8)

为向量u添加单位向量的约束，即

由拉格朗日乘数法处理得到如下公式：

L(u)＝u^TA^TAu-λ(u^Tu-1) 公式(9)

λ为拉格朗日乘子，L为拉格朗日函数；

对公式(9)求偏导得：

对矩阵A^TA进行特征分解，之后按照从大到小将得到的特征值进行排序α₁≥α₂≥α₃≥…≥α_d，则前几个特征向量便是所求的特征向量W＝(ω₁,ω₂,ω₃,…,ω_e)，其中e≤d。

2.根据权利要求1中所述的基于卷积神经网络的人脸识别方法，其特征在于，还包括优化步骤：降维中参数本身会造成误差，且误差只体现在输出时，因此通过反向过程，获得处理过程中损失函数对参数的导数，最终得到参数的误差，调整参数；其中反向过程先对中间变量求导，再利用中间变量得到损失函数参数的求导，其中输出的误差等于预测值与实际值的差值，最终误差为这层的输出与上层的误差的乘积。

3.根据权利要求2中所述的基于卷积神经网络的人脸识别方法，其特征在于，具体反向过程的处理公式如下：

δ^l＝(θ^l)Tδ^l+1*f′(z^l)

其中，δ^l为每层中的每个神经元的误差，θ¹为每层的参数矩阵，l为第l层，f为激活函数，z^l为每层的中间变量，a^l为每层的输出结果，J为损失函数，θ为每层的参数矩阵，z为中间变量，a为输出结果。