CN109214263A - 一种基于特征复用的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于特征复用的人脸识别方法，属于计算推算的技术领域，尤其涉及人脸识别的计算机视觉技术领域。该方法利用外部数据集训练人脸特征提取器，通过多次等步长卷积及特征图拼接的方式分级提取本地数据集中各成员对应的参考特征以构成参考特征空间，对比待测试样本的特征向量和参考特征以确定与待测试样本的特征向量最相似的参考特征，在与待测试样本的特征向量最相似的参考特征满足阈值要求时，以与待测试样本的特征向量最相似的参考特征所属成员的身份为待测试样本的身份，否则，返回待测试样本身份识别失败的消息，以较少的计算资源实现了人脸的快速识别。

Description

一种基于特征复用的人脸识别方法

技术领域

本发明公开了一种基于特征复用的人脸识别方法，属于计算推算的技术领域，尤其涉及人脸识别的计算机视觉技术领域。

背景技术

人脸识别技术已经广泛运用于门禁、安检、监控等方面，其主要任务是区分数据库中的不同个体并拒绝数据库之外的个体。在实际应用中，人的相貌特征会受到装扮、表情的影响且因姿势、光照而变化，同一个人的正面图片也会随时间的推移而出现不同。为增加算法的鲁棒性，在识别过程中，有必要在特定情况下更新模型。传统的方法是重新收集样本再次训练，这种做法费时费力，难以操作。

现有的在线学习方法通过提取人脸的浅层特征(如：Haar特征、LBP特征)进行比对，在视频中识别并跟踪给定的人脸。在这种应用场景下，把目标人脸和周围的一个或多个人脸区分开，只需要辨别很少的样本；同时，在视频包含的小段时间内，人脸特征变化较小，因此，图像的浅层特征可以在一定程度上表征人脸特征。但是，人脸门禁、考勤等任务需要分辨包含数百人的数据库，在相当长的一段时间内，每个人的相貌都会有所改变，浅层特征难以处理如此复杂的任务。

深度神经网络提高了模型的辨识度，但网络的训练耗费大量的运算资源和时间，变更模型时需要将在离线服务器上训练好的模型重新导入人脸识别设备；另一方面，神经网络结构固定，增加/删除成员时同样需要再次训练，为实际应用带来不便。

上述人脸识别技术存在计算量大、占用较多计算资源、准确率有待提高的缺陷，为提高人脸识别准确率并减少占用的计算机资源，本申请旨在提出一种基于特征复用的人脸识别方法。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了一种基于特征复用的人脸识别方法，以有限的计算资源快速准确地识别人脸，解决了现有人脸识别技术计算复杂、占用较多计算资源、准确率有待提高的技术问题。

本发明为实现上述发明目的采用如下技术方案：

一种基于特征复用的人脸识别方法，

建立外部数据集：根据研究机构的公开人脸数据库或自行搜集的数据建立外部数据集，示例性地，人脸数据库可以选择CASIA-WebFace、VGG-FACE等公开数据库；也可以自行在网络上抓取公众人物的图片。每张图片都应含有身份标注，指明该图片属于哪个个体。应当收集尽可能多的个体，每个个体包含尽可能多的样本，同时减少数据集中错误标注样本的数量。样本数量和类别数量的增加会提高训练精度，且不会改变人脸特征提取器的结构或增加训练难度；

建立本地数据集：假设由m个人组成本地成员集合U＝{u₁,u₂,...,u_m}，给U中的每个成员u_i拍摄n张对应的人脸样本{x_i1,x_i2,...,x_in}，优选地，人脸样本应该是光照正常、表情自然的照片，当条件允许拍摄多张图片时，可以关注表情和姿态的多样性；

训练模型：使用卷积神经网络作为特征提取器，神经网络的输入为彩色图片，神经网络的输出为图片所属类别，分类层的长度等于外部数据集的类别数，损失函数可以采用softmaxloss，需要说明的是，神经网络采用外部数据集训练，因为外部数据集的样本数量和种类远超本地数据集，有利于神经网络学习到更好的特征，损失函数随着误差的反向传播不断下降，训练准确率不断上升，当损失函数收敛并不再继续下降时，保存卷积神经网络模型，把与分类层相连的l维向量作为输入图片的特征向量，特征向量的维度一般远小于类别数量，可以取几十到几百之间，记输入图片x到特征向量的映射为h(x)，用训练好的特征提取器提取本地数据集的样本特征，计算得到每个个体对应的参考特征其中，n代表人脸库中第i个人的人脸样本个数，建立参考特征空间S＝{y₁,y₂,...,y_m}，

本申请涉及的卷积神经网络在网络中增加了至少一个用于分级提取特征的稠密连接块，每个稠密连接块负责提取一级特征，每个稠密连接块至少包含两个依次连接的卷积层，当前卷积层输出的特征图和该卷积层之前所有卷积层输出的特征图拼接后作为至下一卷积层的输入特征图，每一个稠密连接块输出的特征图都经降采样后传输至下一稠密连接块的输入端；

预测待测图片所属个体的身份：在视频帧中截取待测者的人脸区域图片，处理所截图片得到待测图片x，使用特征提取器提取待测图片x的特征向量 对所有y_i∈S计算与y_i的距离d：d表征了两个特征之间的相似度。d越大表征特征差距就越大，更进一步地，当d足够大时，可以认为两个特征属于不同的个体，找出S中与距离最近的参考向量以及距离设定相似度阈值δ，如果输出否则输出 代表模型预测的待测者身份。

优选地，输入卷积神经网络的彩色人脸图片经多个等步长的卷积层和降采样层的处理后得到输入第一个稠密连接块的特征图，对最后一个稠密连接块输出的特征图再进行卷积操作和均值池化操作得到输入至分类层的特征向量。

进一步的，本申请还提供了一种添加/删除成员后无需重新训练模型的人脸识别方法，添加成员时，新成员完成一次人脸识别过程后提供自己的真实身份标签暂停视频流传输，保存当前输入图片x及特征提取器从当前图片提取的特征向量更新本地成员集合为U′，U′＝U∪u_k，更新参考特征空间为更新完毕后恢复视频流；删除成员时，暂停视频流传输，在本地成员集合U和参考特征空间S中移除待删除成员的信息，恢复视频流。

本申请还提供了一种实现上述人脸识别方法的终端设备，该设备包括：存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行所述程序时实现以下步骤：利用外部数据集训练人脸特征提取器，通过多次等步长卷积及特征图拼接的方式分级提取本地数据集中各成员对应的参考特征以构成参考特征空间，对比待测试样本的特征向量和参考特征以确定与待测试样本的特征向量最相似的参考特征，在与待测试样本的特征向量最相似的参考特征满足阈值要求时，以与待测试样本的特征向量最相似的参考特征所属成员的身份为待测试样本的身份，否则，返回待测试样本身份识别失败的消息。

本发明采用上述技术方案，具有以下有益效果：

(1)本发明提出了复用特征的人脸识别方法，通过稠密连接的卷积神经网络实现特征提取，通过连接若干同步长的卷积层构成稠密连接层，每个卷积层的输出特征图和之前卷积层的所有输出特征图拼接后作出下一卷积层的输入特征图，强化了特征复用，提升了网络性能，减少了参数数量和运算量，鲁棒性更强，适用范围更广，以有限的计算资源尽可能提高识别速度和准确率，该特征复用的人脸识别方法还可以推广至车辆识别、行人识别等图像识别领域。

(2)本申请还提供了一种在终端动态添加或删除成员的方法，该方法通过灵活调整从本地数据集提取的参考特征空间以适应数据集的变化，实现了人脸识别模型的离线更新，相比于重新收集样本再次训练的传统方法，操作简单，计算量小，在数据集发成变化时无需对模型进行在线更新，尤其适合应用于离线场合的人脸识别。

附图说明

图1是本方法的人脸识别流程图。

图2是数据集的人脸截取样例。

图3是稠密连接块的结构示意图。

具体实施方式

为了更清楚地说明本发明的特征，下面结合附图和具体实施方式进行进一步的详细描述。需要说明的是，以下的阐述提到了许多具体细节以便于充分理解本发明，本发明包括但不限于以下实施方例。

图1给出了根据本发明人脸识别方法的流程图，该人脸识别方法包括以下五个步骤。

步骤一、建立外部数据集：采用CASIA-WebFace数据库作为外部数据集，图2给出了经过处理的CASIA-WebFace数据库的样本实例，如图2所示，人脸框应该比较紧密地贴合人脸边缘，所有图片缩放成卷积神经网络的输入尺寸。如从其它数据集获取外部数据集，也需要遵循人脸框紧密地贴合人脸边缘以及图片满足神经网络输入图片尺寸要求的处理方式。

步骤二、建立本地数据集：拍摄十个人的脸部照片，拍摄每一个人表情和姿态不同的多张人脸样本图片。

步骤三、建立卷积神经网络：以外部数据集合为样本集训练人脸特征提取器：本申请涉及了一种更高效的卷积神经网络，如图3所示，神经网络的输入是160*160像素的彩色人脸图片，彩色人脸图片首先依次经过三个步长为1的卷积层和一个降采样层得到80*80的特征图，80*80的特征图随后输入至第一个稠密连接块做为第一个稠密连接块的输入特征图。稠密连接块包含三个卷积层，输入特征图首先输入卷积层1，输入特征图与卷积层1的输出特征图拼接后输入卷积层2；卷积层1和卷积层2的输出特征图拼接后输入卷积层3。将卷积层3的输出特征图降采样到40*40后输入下一个稠密连接块，重复相同的操作。经过三个稠密连接块后，特征图大小变为20*20，20*20的特征图随后经过两次步长为2的卷积层得到64个3*3的特征图，64个3*3特征图输入均值池化层得到64维特征向量。训练时，在分类层输出训练图片所属类别，计算误差并反向传播；测试时，在特征层输出待测图片的特征，训练神经网络直到损失函数收敛，记此时神经网络输入到输出的映射为h(x)。

步骤四、构建参考特征空间：由训练后的人脸特征提取器提取本地样本集的特征，计算得到每个个体对应的参考特征y_i，本地样本集中各个体对应的参考特征构成参考特征空间S，S＝{y₁,y₂,...,y_m}。

步骤五、对比待测样本的预测特征向量和参考特征空间中的各参考特征向量确定待测样本所属个体：使用训练好的特征提取器预测待测图片x的特征向量 对所有y_i∈S，计算与y_i的距离：找出S中与距离最近的参考特征向量以及距离设定相似度阈值δ，如果输出否则，输出较大的δ代表更宽松的判断标准，宽松的判断标准更倾向于把待测者看作本地数据集的某个成员；较小的δ反之。

本申请提供的人脸识别方法可在终端设备上实现，该设备包括至少一个包含更新成员按键、一个删除成员按键、一个输入模块、存储有上述人脸识别方法的计算机软件程序的存储器及处理器。示例性的，输入模块可以是供待测者输入自己的身份标签的刷卡装置或键盘。系统暂停视频流传输，保存当次的输入图片x和预测结果。可选地，设备还可以包括获取权限模块。

本发明还提供了一种简便的添加/删除成员方式。添加成员时，新成员完成一次人脸识别过程，通过设备的输入模块提供自己的真实身份标签，发出添加成员指令(待测者按下更新成员按键)后，系统暂停视频流传输，保存当次的输入图片x和特征向量更新本地个体集合U′＝U∪u_k，更新参考特征空间删除成员时，待测试者通过输入模块提供待删除的成员标签，发出删除成员(待测试者按下删除成员按键)指令后，系统暂停视频流传输，在本地个体集合U和参考特征空间S中移除待删除成员的信息。通过设备的获取权限模块授予管理员添加/删除成员的权限。

Claims (10)

1.一种基于特征复用的人脸识别方法，其特征在于，利用外部数据集训练人脸特征提取器，通过多次等步长卷积及特征图拼接的方式分级提取本地数据集中各成员对应的参考特征以构成参考特征空间，对比待测试样本的特征向量和参考特征以确定与待测试样本的特征向量最相似的参考特征，在与待测试样本的特征向量最相似的参考特征满足阈值要求时，以与待测试样本的特征向量最相似的参考特征所属成员的身份为待测试样本的身份，否则，返回待测试样本身份识别失败的消息。

2.根据权利要求1所述一种基于特征复用的人脸识别方法，其特征在于，人脸特征提取器通过包含至少一个稠密连接块的卷积神经网络实现，每个稠密连接块包含至少两个依次连接的同步长卷积层，当前卷积层输出的特征图和该卷积层之前所有卷积层输出的特征图拼接后作为至下一卷积层的输入特征图，每一个稠密连接块输出的特征图都经降采样后传输至下一稠密连接块的输入端。

3.根据权利要求2所述一种基于特征复用的人脸识别方法，其特征在于，对最后一个稠密连接块输出的特征图再进行卷积操作和均值池化操作得到输入至分类层的特征向量。

4.根据权利要求2所述一种基于特征复用的人脸识别方法，其特征在于，输入至第一个稠密连接块的特征图通过对输入网络的初始样本进行卷积及降采样操作获取。

5.根据权利要求1所述一种基于特征复用的人脸识别方法，其特征在于，所述外部数据集从公开数据库中选择样本或自行在网络上抓取的人物图片。

6.根据权利要求1所述一种基于特征复用的人脸识别方法，其特征在于，所述本地数据集包含本地成员集合及各本地成员对应的人脸样本构成的人脸集合。

7.根据权利要求1所述一种基于特征复用的人脸识别方法，其特征在于，添加本地成员时，将新添加成员的身份信息添加至本地数据集，提取新添加成员图片的特征并将所提取的特征添加至参考特征空间。

8.根据权利要求1所述一种基于特征复用的人脸识别方法，其特征在于，删除成员时，从本地数据集及参考特征空间移除待删除成员的数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述的方法。

10.一种人脸识别终端设备，包括：存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：利用外部数据集训练人脸特征提取器，通过多次等步长卷积及特征图拼接的方式分级提取本地数据集中各成员对应的参考特征以构成参考特征空间，对比待测试样本的特征向量和参考特征以确定与待测试样本的特征向量最相似的参考特征，在与待测试样本的特征向量最相似的参考特征满足阈值要求时，以与待测试样本的特征向量最相似的参考特征所属成员的身份为待测试样本的身份，否则，返回待测试样本身份识别失败的消息。