CN108960064A - 一种基于卷积神经网络的人脸检测及识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人脸检测及识别方法，包括以下步骤：1)接收训练图像，形成人脸训练特征库；2)设置区别放大层和同类聚类层，输入图片进行迭代训练，形成特征模型；3)接收图像信息，识别判断是否含有人脸；4)如果无人脸，回到步骤1)；如果存在人脸，对图像中的人脸候选框进行筛选处理，形成最终人脸候选框；5)将所述最终人脸候选框中的人脸图像与特征值进行比对，实现验证。本发明其不仅能够实现单层次的对特征参数的拟合，并且在拟合过程中，利用上一层的结果不断进行同类聚类，更好地实现分类效果，使得拟合的结果更优，建立的特征模型更为精准，从而实现人脸的精确识别，减少误差。

Description

一种基于卷积神经网络的人脸检测及识别方法

技术领域

本发明涉及智能人脸识别领域，特别是涉及一种基于卷积神经网络的人脸检测及识别方法。

背景技术

为解决中老年人遗忘密码或者不熟悉使用电子产品等问题。通常采用人脸识别进行解锁达到方便使用的目的。现有技术中，虽然存在一些人脸检测及识别方法，但是这些方法建立的模型准确性有限，因此识别的准确度并不强，系统对人脸的检测也不够敏感。现有技术中，缺少一种人脸检测及人脸识别方法，使得能够方便快速的实现人脸检测及人脸识别。

因此本领域技术人员致力于开发一种基于卷积神经网络的人脸检测及识别方法，提高了系统的敏感性及准确性，使其能够方便快速地实现人脸检测及人脸识别。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于卷积神经网络的人脸检测及识别方法，提高了系统的敏感性及准确性，使其能够方便快速地实现人脸检测及人脸识别。

为实现上述目的，本发明提供了一种基于卷积神经网络的人脸检测及识别方法，包括以下步骤：1)接收训练图像，形成人脸训练特征库；

2)设置区别放大层和同类聚类层，输入图片进行迭代训练，形成特征模型；

3)接收图像信息，识别判断是否含有人脸；

4)如果无人脸，回到步骤1)；

如果存在人脸，对图像中的人脸候选框进行筛选处理，形成最终人脸候选框；

5)将所述最终人脸候选框中的人脸图像与特征值进行比对，实现验证。

较优的，所述步骤2)中，按照以下步骤形成特征模型：

21)设置区别放大层和同类聚类层，采用下列公式产生训练模型：

J＝(1-α)J_S+αJ_c

其中，

x_i＝Conv(ω，data)

J为总损失函数，J_s为区别放大层产生的损失，J_c为同类聚类层产生的损失，m为样本个数。β为计算区别放大层所需的参数，x_i为卷积网络输入到损失层的值，ω为卷积层参数，data为整个系统的输入，为该类的中心，yⁱ为是否属于该类，是则为1，否则为0，k为样本总数；α设置为同类聚类层的权重；

22)按照下列公式实现参数更新并形成最终的特征模型：

其中是根据对损失函数求导后得到的梯度；β^t是第t时刻β参数值，β^t+1是第t+1时刻β参数值；

因所以

23)参数β修正后，反向传播至卷积层，按照下列公式更新卷积层的参数ω：

其中，ω^t是第t时刻ω参数值，ω^t+1是第t+1时刻ω参数值；

24)将步骤23)中更新后的卷积层参数ω带入步骤21)，重复步骤22)至23)，实现参数不断迭代，形成最终特征模型。

较优的，所述步骤3)中，按照以下公式实现是否含有人脸的判断：

L^det＝-(yⁱlog(p_i)+(1-yⁱ)log(1-log(p_i))

其中，L^det为交叉熵损失函数，p_i为模型输出的该训练样本是否为人脸的概率，yⁱ为训练样本的真实值，该样本为人脸则为1，否则为0。

较优的，所述步骤4)中，还包括以下步骤：

41)通过全卷积网络获得所有的人脸候选框，使用边框回归微调各候选窗，然后通过非极大值抑制合并高度重复的候选框；

42)将步骤2)的结果输出到第二卷积网络，按照下列公式过滤掉大部分假性候选框，同时继续使用边框回归及非极大值抑制微调，合并候选框：

其中，L^box为欧氏距离损失函数，y^box为训练样本真实的人脸候选框的坐标，y^pre_box为模型预测的人脸候选框的坐标；

43)在第三卷积网络中按照下列公式增加约束，进行筛选，输出最终的人脸候选框及人脸的五个标志点位置：

其中，L^lm为欧式距离损失函数，y^lm为训练样本真实的五个人脸关键点的坐标，y^{pre _lm}为模型预测的人脸关键点的坐标。

较优的，所述步骤4)中，还包括以下步骤：

44)同一幅图像探测到多张人脸时，筛选面部面积最大的那张人脸为待测人脸的。

较优的，所述步骤5)中，按照下列步骤实现人脸验证：

51)通过步骤2)的特征模型，形成若干个特征值；

52)根据步骤51)产生的人脸特征值，按照下列公式判断是否属于同一个人：

其中：

f_i为特征向量，||f_i||为特征向量的内积，θ为两个特征向量之间形成的夹角，cosθ的值越大则两个特征向量越相似，反之则越相异。

53)若cosθ值大于系统设定的阈值，则判定为同一人，验证通过；

否则判断为非同一人，验证不通过。

本发明的有益效果是：本发明在利用神经网络进行人脸识别时，通过设置区别放大层和同类聚类层训练人脸识别的特征模型，其不仅能够实现单层次的对特征参数的拟合，并且在拟合过程中，利用上一层的结果不断进行同类聚类，更好地实现分类效果，使得拟合的结果更加精确，特征模型更为精准，从而实现人脸的精确识别，减少误差。

附图说明

图1是本发明一具体实施方式的流程图。

图2是本发明残差网络的展开视图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，一种基于卷积神经网络的人脸检测及识别方法，包括以下步骤：1)接收训练图像，形成人脸训练特征库；

2)设置区别放大层(softmax loss层)和同类聚类层(center loss层)，输入图片进行迭代训练，形成特征模型；

3)接收图像信息，识别判断是否含有人脸；

4)如果无人脸，回到步骤1)；

如果存在人脸，对图像中的人脸候选框进行筛选处理，形成最终人脸候选框；

5)将最终人脸候选框中的人脸图像与特征值进行比对，实现验证。

进一步的，步骤2)中，按照以下步骤形成特征模型：

21)设置区别放大层和同类聚类层：本技术方案在反向传播的过程中，计算损失时此神经网络引入了center loss层即同类聚类层，与传统的softmax loss层即区别放大层结合，通过赋予上述两个层权重共同产生损失值。与传统的只采用softmaxloss的神经网络相比，centerloss可以帮助减小类内距离，达到更好的分类效果。采用下列公式产生训练模型：

J＝(1-α)J_S+αJ_c

其中，

x_i＝Conv(ω，data)

J为总损失函数，J_s为区别放大层产生的损失，J_c为同类聚类层产生的损失，β为计算区别放大层所需的参数，x_i为卷积网络输入到损失层的值，ω为卷积层参数，data为整个系统的输入，为该类的中心，yⁱ为是否属于该类，是则为1，否则为0，k为样本总数；α设置为同类聚类层的权重。

如图2，在构建人脸验证神经网络时，不仅将每层F_n的拟合结果进行下一步拟合，同时将每层的拟合结果与上一层F_n-1的拟合结果进行权重分配计算后再进行下一次拟合，避免随着网络层数的加深，可能出现的网络退化，误差增大的现象，采用了深度残差网络的思想，除采用较为常见的卷积层，ReLU层，池化层之外，通过Eltwise层产生残差。通过残差网络，可以将原来较深的网络架构改造为宽网络，以在不影响网络性能的前提下减少其深度，防止网络可能出现的梯度爆炸现象。

22)按照下列公式实现参数更新并形成最终的特征模型：

其中是根据对损失函数求导后得到的梯度；，通过该梯度，对参数β进行更新，以期减小下一回合的训练误差；

因所以

23)参数β修正后，反向传播至卷积层，按照下列公式更新卷积层的参数ω：

其中

24)将步骤23)中更新后的卷积层参数ω带入步骤21)，重复步骤22)至23)，实现参数不断迭代，形成最终特征模型。

前向传播后，神经网络可产生针对该输入的512个特征值，通过比较不同照片中人脸特征值的余弦相似度以判断是否属于同一人。

进一步的，步骤3)中，按照以下公式实现是否含有人脸的判断：

L^det＝-(yⁱlog(p_i)+(1-yⁱ)log(1-log(p_i))

其中，L^det为交叉熵损失函数；p_i为模型输出的该训练样本是否为人脸的概率，yⁱ为训练样本的真实值，该样本为人脸则为1，否则为0。

本技术方案采用级联卷积网络探测人脸，级联3个轻量级卷积神经网络，快速探测人脸。

进一步的，步骤4)中，包括以下步骤：

41)通过全卷积网络获得所有的人脸候选框，使用边框回归微调各候选窗，然后通过非极大值抑制合并高度重复的候选框；

42)将步骤2)的结果输出到第二卷积网络，按照下列公式过滤掉大部分假性候选框，同时继续使用边框回归及非极大值抑制微调，合并候选框：

其中，L^box为欧氏距离损失函数；y^box为训练样本真实的人脸候选框的坐标，y^pre_box为模型预测的人脸候选框的坐标；

43)在第三卷积网络中按照下列公式增加约束，进行筛选，输出最终的人脸候选框及人脸的五个标志点位置：

其中，L^lm为欧式距离损失函数，y^lm为训练样本真实的五个人脸关键点的坐标，y^{pre _lm}为模型预测的人脸关键点的坐标。

在第一至第三卷积网络中，系统通过对上述3个损失值赋予不同的权重，以调整它们的重要性，然后组合产生一个总损失值。3个不同的权重表示了在各个网络中，某项任务的重要性。

进一步的，步骤4)中，还包括以下步骤：

44)同一幅图像探测到多张人脸时，筛选面部面积最大的那张人脸为待测人脸的。

进一步的，步骤5)中，按照下列步骤实现人脸验证：

51)通过步骤2)的特征模型，形成若干个特征值；

52)根据步骤51)产生的人脸特征值，按照下列公式判断是否属于同一个人：

其中：

f_i为特征向量，||f_i||为特征向量的内积，f_old为已保存的用户特征，f_new为待验证人脸的特征。θ为两个特征向量之间形成的夹角，cosθ的值越大则两个特征向量越相似，反之则越相异。

53)若cosθ值大于系统设定的阈值，则判定为同一人，验证通过；

否则判断为非同一人，验证不通过。

本实施例中，前向传播后，神经网络可产生针对该输入的512个特征值，通过比较不同照片中人脸特征值的余弦相似度以判断是否属于同一人。

cosθ的值越大则两个特征向量越相似，反之则越相异。

上式表明，若cosθ值大于系统设定的阈值T，则判定为同一人，否则判断为非同一人。

工作时，本技术方案可以形成一种人脸识别系统，在用户首次使用系统的时候，系统将播放提示音指导用户录入7张照片，提取这7张照片的特征值后形成该用户的特征库。之后，每次用户登录时，系统将验证照片与该用户特征库进行比较，若相似度超过阈值，则视为通过验证，否则为未通过。

本技术方案通过图像采集，采集的图像首先被送入人脸探测算法中，查看是否含有人脸，若不包含，则向上级程序继续请求图像，若包含人脸则将截取人脸图像输入人脸验证算法中。获取算法输出的特征值后，与用户早前录入的特征库进行比较，计算余弦相似度，若相似度超过阈值，则视为通过，否则重新请求图像进行验证。

本技术方案采用深度学习进行人脸验证及识别。深度学习通过多层的卷积层等特征提取器提取图像特征，然后通过损失函数计算模型预测值与真实值的误差，之后通过对误差进行求导求得梯度，通过反向传播修正卷积层的参数以减小误差。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于卷积神经网络的人脸检测及识别方法，其特征是：包括以下步骤：1)接收训练图像，形成人脸训练特征库；

2)设置区别放大层和同类聚类层，输入图片进行迭代训练，形成特征模型；

3)接收图像信息，识别判断是否含有人脸；

4)如果无人脸，回到步骤1)；

如果存在人脸，对图像中的人脸候选框进行筛选处理，形成最终人脸候选框；

5)将所述最终人脸候选框中的人脸图像与特征值进行比对，实现验证。

2.如权利要求1所述的基于卷积神经网络的人脸检测及识别方法，其特征是：所述步骤2)中，按照以下步骤形成特征模型：

21)设置区别放大层和同类聚类层，采用下列公式产生训练模型：

J＝(1-α)J_s+αJ_c

其中，

x_i＝Conv(ω，data)

J为总损失函数，J_s为区别放大层产生的损失，J_c为同类聚类层产生的损失，m为样本个数。β为计算区别放大层所需的参数，x_i为卷积网络输入到损失层的值，ω为卷积层参数，data为整个系统的输入，c_yi为该类的中心，yⁱ为是否属于该类，是则为1，否则为0，k为样本总数；α设置为同类聚类层的权重；

22)按照下列公式实现参数更新并形成最终的特征模型：

其中是根据对损失函数求导后得到的梯度；

因所以

23)参数β修正后，反向传播至卷积层，按照下列公式更新卷积层的参数ω：

其中，

24)将步骤23)中更新后的卷积层参数ω带入步骤21)，重复步骤22)至23)，实现参数不断迭代，形成最终特征模型。

3.如权利要求1所述的基于卷积神经网络的人脸检测及识别方法，其特征是：所述步骤3)中，按照以下公式实现是否含有人脸的判断：

L^det＝-(yⁱlog(p_i)+(1-yⁱ)log(1-log(p_i))

其中，L^det为交叉熵损失函数，p_i为模型输出的该训练样本是否为人脸的概率，yⁱ为训练样本的真实值，该样本为人脸则为1，否则为0。

4.如权利要求1所述的基于卷积神经网络的人脸检测及识别方法，其特征是：所述步骤4)中，还包括以下步骤：

41)通过全卷积网络获得所有的人脸候选框，使用边框回归微调各候选窗，然后通过非极大值抑制合并高度重复的候选框；

42)将步骤2)的结果输出到第二卷积网络，按照下列公式过滤掉大部分假性候选框，同时继续使用边框回归及非极大值抑制微调，合并候选框：

其中，L^box为欧氏距离损失函数，y^box为训练样本真实的人脸候选框的坐标，y^pre_box为模型预测的人脸候选框的坐标；

43)在第三卷积网络中按照下列公式增加约束，进行筛选，输出最终的人脸候选框及人脸的五个标志点位置：

其中，L^lm为欧式距离损失函数，y^lm为训练样本真实的五个人脸关键点的坐标，y^pre_Im为模型预测的人脸关键点的坐标。

5.如权利要求4所述的基于卷积神经网络的人脸检测及识别方法，其特征是：所述步骤4)中，还包括以下步骤：

44)同一幅图像探测到多张人脸时，筛选面部面积最大的那张人脸为待测人脸。

6.如权利要求1所述的基于卷积神经网络的人脸检测及识别方法，其特征是：所述步骤5)中，按照下列步骤实现人脸验证：

51)通过步骤2)的特征模型，形成若干个特征值；

52)根据步骤51)产生的人脸特征值，按照下列公式判断是否属于同一个人：

其中：

f_i为特征向量，||f_i||为特征向量的内积，f_old为已保存的用户特征，f_new为待验证人脸的特征。θ为两个特征向量之间形成的夹角，cosθ的值越大则两个特征向量越相似，反之则越相异。

53)若cosθ值大于系统设定的阈值，则判定为同一人，验证通过；

否则判断为非同一人，验证不通过。