CN109583322A - 一种人脸识别深度网络训练方法和系统 - Google Patents

Abstract

本发明提供了一种人脸识别深度网络训练方法和系统，基于类别中心点排序学习，包括：收集人脸图片并进行标注，构建人脸识别数据集；检测人脸和关键点，并用关键点进行人脸对齐；构造深度神经网络；构造类别中心点更新策略和基于类别中心点的排序损失，结合分类损失进行深度网络的训练；利用训练好的深度神经网络模型进行人脸特征提取，利用人脸特征之间的相似度进行人脸识别。本发明通过排序学习来进行深度网络的训练，使得样本不仅能够靠近自己的中心点，还能尽可能的远离其他中心点，从而得到更有区分性的特征表示；本发明利用多个类别的中心点信息，具有较快收敛速度。同时着重优化与样本相似的难以区分的类别中心，能够有效的增强人脸识别的精度。

Description

一种人脸识别深度网络训练方法和系统

技术领域

本发明涉及人脸识别技术领域，具体来说涉及一种基于类别中心点排序学习的人脸识别深度网络训练方法和系统。

背景技术

人脸识别技术是生物特征识别的一种，具有非接触性、快速性和准确性，广泛应用于门禁、监控、金融、零售和娱乐等行业。随着技术和应用的发展，人脸数据的规模也逐渐增大，同时人脸图像容易受到光照、姿态、表情、遮挡和清晰度等因素的影响，当前大规模和无约束的人脸识别仍然是一个具有挑战性的问题。

早期的人脸识别技术主要采用手工设计的特征提取方法，如LBP和HOG等，再使用浅层的分类器进行人脸的验证和识别。传统手工方法的特征表示能力有限，识别效果很容易受到环境影响，主要用于配合式的和光照良好的应用场景。

近年来，得益于计算能力的提升和人脸数据规模的增加，深度学习成功应用于人脸识别技术中，使得人脸识别的精度的不断提高。深度学习采用多层神经网络结构，能够学习多个抽象层次的特征表示。在人脸识别任务中，深度网络的高层抽象表示对于人脸姿态、表情和光线有着更高的容忍度，能够部分解决非约束环境的人脸识别问题。

目前该领域已经申请的专利有中国发明专利公开号CN106951867A和CN107103281A。CN106951867A(基于卷积神经网络的人脸识别方法、装置、系统及设备)公开了一种基于卷积神经网络的人脸识别方法、装置、系统及设备，方法包括以下步骤：S1：人脸检测，采用多层CNN特征架构；S2：关键点定位，采用深度学习中级联多个基准框回归网络来得到人脸关键点位置；S3：预处理，获得固定大小的人脸图像；S4：特征提取，经过特征提取模型得到特征代表向量；S5：特征比对，根据阈值判定相似性或根据距离排序给出人脸识别结果。其采用softmax分类损失，具有算法简单和训练速度快的优点，但是类别之间的区分度不够好，特征表达的可判别性不够高。

CN107103281A(基于聚集损失深度度量学习的人脸识别方法)公开了一种基于聚集损失深度度量学习的人脸识别方法，步骤：1)对训练图像进行预处理；2)用预处理过的图像对深度卷积神经网络进行预训练，采用softmax损失作为损失函数，引入关键点池化技术；3)将所有训练图像输入预训练好的模型，计算每个类的初始类中心；4)利用聚集损失对预训练好的模型进行精调，经过迭代更新网络参数和类中心，使得每类样本向类中心聚集，同时增大不同类中心之间的间距，从而学习到鲁棒的有判别性的人脸特征表达。5)应用时，对输入图像进行预处理，分别输入到训练好的网络模型提取特征表达，通过计算不同人脸之间的相似度，实现人脸识别。其采用度量学习的算法，能够学习更具有区分性特征，但是该方法在训练过程中没有特别的针对相似类别进行优化，同时该方法使用的聚类损失的收敛速度比较慢，训练时间过长。

发明内容

为了解决现有技术中人脸识别深度网络的训练针对性不强，难以区分比较相似的人脸的问题，本发明提出基于排序学习的深度网络训练方法。该方法的流程如下：

收集人脸图片并进行标注，构建人脸识别数据集；

人脸检测和关键点检测，并用关键点进行人脸对齐；

构造一个深度神经网络；

构造类别中心点更新策略和基于类别中心点的排序损失，结合分类损失进行深度网络的训练；

利用训练好的深度神经网络模型进行人脸特征提取，利用人脸特征之间的相似度进行人脸识别。

其中，所述的关键点检测至少为三个关键点，包括眼睛、鼻子、嘴等；所述的人脸对齐则采用仿射变换将人脸图像上多个关键点的位置对齐到预先设定好的位置上；所述的深度神经网络采用多层卷积网络，排序损失和分类损失共享网络的卷积层和第一个全连接层，网络的第一个全连接层输出是人脸特征表示；所述的类别中心点是指训练集中每个类别都会维持一个特征表示的中心点，类别中心点的更新采用移动均值策略，基于类别的中心点的排序损失采用Top1排序损失；所述的分类损失为softmax的交叉熵分类损失。所述的排序损失和分类损失按照权重比例相加得到总的损失函数。

优选的，Top1排序损失属于列表级的排序损失。如果将样本到所有类别中心距离进行排序，Top1概率表示检索到的结果排在第1位的概率，Top1损失则是Top1概率与真实排序的交叉熵损失，其公式化表示如下：

其中，x_i为第i个样本，y_i为第i个样本的标签，f(x_i)为x_i的深度网络的特征，u是类别中心，j∈[1，...，n]表示类别中心的编号，距离函数为：

其中j∈[1，...，n]，M是过滤间隔参数，过滤掉离样本间隔大且非自身类别的中心点，将优化目标集中在离自己近的难以区分的类别中心；m是最大间隔参数，当第i个样本的标签等于j时，加上距离m来增加样本的学习难度，使得相互之间能够离得更远，从而增加特征的区分度。

优选的，类别中心点的更新依据中心点与当前该类别样本的特征的差值，具体可以表示为下式：

u_j←u_j-αt(u_j-f(x_i))，y_i＝j

其中α是控制更新的系数，t是学习率。

根据上述方法，本发明提供了一种基于类别中心点排序学习的人脸识别深度网络的训练系统，该系统包括：人脸数据预处理模块、类别中心点更新模块、深度网络训练模块和深度模型部署模块。其中：

所述人脸数据预处理模块，用于人脸图像的预处理，采用人脸检测和关键点检测获得图像中的人脸区域和人脸的关键点，再用关键点进行人脸对齐；

所述类别中心点更新模块，用于更新每个类别的中心点特征；

所述深度网络训练模块，则用反向传播算法来进行网络模型参数权值的更新直到收敛。

所述深度模型部署模块，用于部署训练好的模型进行人脸特征的提取。

本发明的优点在于：本发明通过排序学习来进行深度网络的训练，使得样本不仅能够靠近自己的中心点，还能尽可能的远离其他中心点，从而得到更有区分性的特征表示；本发明利用多个类别的中心点信息，具有较快收敛速度。同时着重优化与样本相似的难以区分的类别中心，能够有效的增强人脸识别的精度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为基于类别中心点排序学习的人脸识别训练方法流程图；

图2为本发明所采用的深度神经网络的结构示意图。

图3为类别中心点排序损失示意图。

图4为本发明类别中心点排序学习的人脸识别训练装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例中，首先收集人脸图片并进行标注，构建人脸识别数据集；再进行人脸检测和关键点检测，并用关键点进行人脸对齐；构造深度神经网络；构造类别中心点排序损失和中心点更新策略，结合分类损失进行深度网络的训练；最后，利用训练好的深度神经网络模型进行人脸识别。

为了使本发明中的技术方案被更好地理解，下面将结合附图及具体实施方式对本发明做进一步详细说明。

本发明实施例中提出一种类别中心点排序学习的人脸识别深度网络训练方法，如图1所示，该方法包括：

步骤S1:收集人脸图片并进行标注，构建人脸识别数据集。

该步骤首先进行人脸图片的采集和收集，并进行标注。收集的图片应该包含不同性别、不同年龄、不同肤色、不同光照、不同姿态、不同表情和不同清晰度等条件下的人脸，从而保证数据集中人脸的多样性。

步骤S2:检测人脸和关键点，并用关键点进行人脸对齐。

该步骤对收集的人脸数据进行预处理操作。人脸检测算法获取图像中的人脸区域，人脸关键点检测则在检测到的人脸区域中得到眼睛、鼻子和嘴等关键点位置。人脸对齐则采用仿射变换将人脸图像上多个关键点的位置对齐到预先设定好的位置上，只保留人脸区域，去除头发、脖子和背景的影响。人脸检测和关键点检测采用深度学习的算法，属于现有技术，这里不做具体叙述。

步骤S3:构造深度神经网络。

如图2所示，深度神经网络主要采用深度卷积网络进行特征的提取，在卷积网络的输出接一个全连接层作为人脸的特征表示，该全连接层输出纬度要比临近的卷积层的输出维度要小，比如设置为128维，这样可以得到更加紧凑的特征表示。排序损失和分类损失共享网络的卷积层和第一个全连接层。

步骤S4:构造类别中心点排序损失，进行深度网络的训练。

该步骤中，类别中心点是指训练集中每个类别都会维持一个特征表示的中心点，类别中心点的更新采用移动均值策略，基于类别的中心点的排序损失采用Top1排序损失L_top1；分类损失为softmax的交叉熵分类损失L_softmax。排序损失和分类损失按照权重比例相加得到总的损失函数L，具体形式如下：

L＝λL_top1+(1-λ)L_softmax

其中λ用于权衡Top1损失L_top1和分类损失L_softmax的比例，在具体实施中，λ是可控制的变量，训练的开始阶段值比较小，主要通过分类损失进行优化，越到后期值越大，则利用Top1损失来进行优化。

Top1排序损失属于列表级的排序损失。如图3所示，如果将样本到所有类别中心距离进行排序，则类别中心点排序学习的目的就是将样本所对应的类别中心点的排名提升到第1位。通过学习，样本会不断的缩小对自身类别中心点距离，同时扩大到其他类别的距离。假设Top1概率表示检索到的结果排在第1位的概率，Top1损失则是Top1概率与真实排序的交叉熵损失，其公式化表示如下：

其中，x_i为第i个样本，y_i为第i个样本的标签，f(x_i)为x_i的深度网络的特征，u是类别中心，j∈[1，...，n]表示类别中心的编号，距离函数为：

其中j∈[1，...，n]，M是过滤间隔参数，过滤掉离样本间隔大且非自身类别的中心点，将优化目标集中在离自己近的难以区分的类别中心；m是最大间隔参数，当第i个样本的标签等于j时，加上距离m来增加样本的学习难度，使得相互之间能够离得更远，从而增加特征的区分度。

类别中心点的更新依据中心点与当前该类别样本的特征的差值，具体可以表示为下式：

u_j←u_j-αt(u_j-f(x_i))，y_i＝j

其中α是控制更新的系数，t是学习率。

步骤S5:利用训练好的深度神经网络模型进行人脸识别。

该步骤中，训练好的深度神经网络模型包括所有的卷积层和第一个全连接层。人脸图片在进行部署时需要使用与训练相同的预处理方式，也就是人脸对齐方式。对齐的人脸图片输入到网络模型中，输出为该人脸的特征。人脸特征之间的相似度采用cosin距离来计算。该特征可以用作人脸识别、人脸验证和人脸检索等任务。

本发明实施例提供了一种基于类别中心点排序学习的人脸识别深度网络的训练系统，如图4所示。该系统包括：人脸数据预处理模块、类别中心点更新模块、深度网络训练模块和深度模型部署模块。其中：

人脸数据预处理模块，用于人脸图像的预处理，采用人脸检测和关键点检测获得图像中的人脸区域和人脸的关键点，再用关键点进行人脸对齐；

类别中心点更新模块，用于更新每个类别的中心点特征；

深度网络训练模块，则用反向传播算法来进行网络模型参数权值的更新直到收敛。

深度模型部署模块，用于部署训练好的模型进行人脸特征的提取。

BP算法(即误差反向传播算法)是建立在梯度下降法的基础上的有监督学习算法，适合于多层神经元网络。BP网络的输入输出关系实质上是一种映射关系：一个输入m输出的BP神经网络所完成的功能是从维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。

反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。

在这些模块中，人脸数据预处理模块中的关键点检测至少包含三个关键点，包括眼睛、鼻子、嘴等；人脸对齐则采用仿射变换将人脸图像上多个关键点的位置对齐到预先设定好的位置上；深度神经网络采用多层卷积网络，网络的第一个全连接层输出是人脸特征表示；目标损失函数为排序损失和分类损失，这两种损失函数共享网络的卷积层和第一个全连接层；类别中心点的更新采用移动均值策略。

该训练系统首先在人脸预处理模块中进行人脸数据集的对齐和归一化，然后将处理好的数据集分为训练集和测试集两个部分，训练集送入训练模块进行深度网络的训练，在训练的同时进行类别中心点的更新，每隔一段时间将模型在测试集上进行测试，当测试集的精度保持不变时，可以认为模型收敛，则停止训练。在训练的过程中需要尝试不同的超参数，产生多个模型，则选择在测试集上精度最高的模型进行部署。在深度学习的部署中需要注意使用与训练相同的预处理方式。深度网络的输出为人脸特征向量，人脸特征之间的相似度则采用cosin距离来计算。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸识别深度网络训练方法，基于类别中心点排序学习，包括：

收集人脸图片并进行标注，构建人脸识别数据集；

检测人脸和关键点，并用关键点进行人脸对齐；

构造深度神经网络；

构造类别中心点更新策略和基于类别中心点的排序损失，结合分类损失进行深度网络的训练；

利用训练好的深度神经网络模型进行人脸特征提取，利用人脸特征之间的相似度进行人脸识别。

2.根据权利要求1所述的一种人脸识别深度网络训练方法，其特征在于，

其中，所述的关键点至少包括以下三个关键点：眼睛、鼻子、嘴。

3.根据权利要求1所述的一种人脸识别深度网络训练方法，其特征在于，

所述的人脸对齐采用仿射变换将所述关键点的位置对齐到预先设定的位置上。

4.根据权利要求1所述的一种人脸识别深度网络训练方法，其特征在于，

所述的深度神经网络采用多层卷积网络，所述卷积网络的第一个全连接层输出是人脸特征表示，所述排序损失和分类损失共享卷积网络的卷积层和所述第一个全连接层。

5.根据权利要求1所述的一种人脸识别深度网络训练方法，其特征在于，

所述的类别中心点是指训练集中每个类别都会维持一个特征表示的中心点，所述类别中心点更新策略采用移动均值策略，所述训练集选自所述数据集。

6.根据权利要求1所述的一种人脸识别深度网络训练方法，其特征在于，

所述基于类别中心点的排序损失采用Top1排序损失；所述的分类损失为softmax的交叉熵分类损失，所述的排序损失和分类损失按照权重比例相加得到总的损失函数。

7.根据权利要求6所述的一种人脸识别深度网络训练方法，其特征在于，

所述Top1排序损失属于列表级的排序损失。

8.根据权利要求7所述的一种人脸识别深度网络训练方法，其特征在于，

所述Top1排序损失的公式化表示如下：

其中，x_i为第i个样本，y_i为第i个样本的标签，f(x_i)为x_i的深度网络的特征，u是类别中心，j∈[1，...，n]表示类别中心的编号，距离函数为：

其中j∈[1，...，n]，M是过滤间隔参数；m是最大间隔参数。

9.根据权利要求8所述的一种人脸识别深度网络训练方法，其特征在于，

所述类别中心点的更新依据中心点与当前该类别样本的特征的差值，具体表示为下式：

u_j←u_j-αt(u_j-f(x_i))，y_i＝j

其中α是控制更新的系数，t是学习率。

10.一种人脸识别深度网络的训练系统，基于类别中心点排序学习，该系统包括：人脸数据预处理模块、类别中心点更新模块、深度网络训练模块和深度模型部署模块，其中：

所述人脸数据预处理模块，用于人脸图像的预处理，采用人脸检测和关键点检测获得图像中的人脸区域和人脸的关键点，再用关键点进行人脸对齐；

所述类别中心点更新模块，用于更新每个类别的中心点特征；

所述深度网络训练模块，用反向传播算法来进行网络模型参数权值的更新直到收敛；

所述深度模型部署模块，用于部署训练好的模型进行人脸特征的提取。