CN109165566B - 一种基于新型损失函数的人脸识别卷积神经网络训练方法 - Google Patents

Abstract

本发明公开了一种基于新型损失函数的人脸识别卷积神经网络训练方法，将SoftMax loss、余弦相似度损失、Center Loss相结合，共同作为人脸识别卷积神经网络训练过程中的目标函数，在保证增大类间距、减小类内距离的同时，加入余弦相似度损失来克服由于训练与测试时人脸特征比对的度量方法不同造成的差异性。包括：一：将人脸识别数据行划分为训练样本集与测试样本集；二：对训练样本集中的人脸图像进行数据预处理；三：构建基于新型损失函数的人脸识别卷积神经网络结构；四：将训练样本集输入到人脸识别卷积神经网络中进行训练；五：保存人脸识别模型参数；六：利用经过数据预处理后的测试样本集对人脸识别模型进行测试。

Description

一种基于新型损失函数的人脸识别卷积神经网络训练方法

技术领域

本发明属于深度神经网络提取脸部特征的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到基于新型损失函数的人脸识别卷积神经网络训练方法。

背景技术

近年来，随着计算机技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一，人脸识别的目的是从人脸图像中抽取人的个性化特征，并以此来识别人的身份。

人脸识别一直是模式识别方向中的热点，主要有四种人脸识别的方法：基于几何特征的方法、基于模型的方法、基于统计的方法和基于神经网络的方法。卷积神经网络(CNN)是一种包含卷积层的神经网络，在人脸识别域，CNN成为了引起广泛重视的一种高效识别方法。在人脸识别中，特征的分类能力、算法复杂度和可实现性是确定特征提取法需要考虑的因素。所提取特征对最终分类结果有着决定性的影响，分类器所能实现的分辨率上限就是各类特征间最大可区分度。因此，人脸识别的实现需要综合考虑特征选择、特征提取和分类器设计。在传统意义上的深度卷积神经网络的softmax代价函数的监督下，所学习的模型通常缺乏足够的判别性。为了解决这一问题，产生一系列损失函数被提出来，如CenterLoss、L-Softmax、A-Softmax。所有这些改进算法都基于一个核心思想：增强类间差异并且减小类内差异，但是以上这些损失函数的设计原则仅考虑了权重向量与人脸特征向量之间的余弦夹角或者欧式距离等，而未考虑过两个人脸特征向量在训练过程中所造成的差异性。

解决上述问题的关键就是要设计一个新型的损失函数，在人脸识别网络训练过程中，既可以监督人脸特征之间的余弦相似性，又可以监督训练的人脸特征之间的欧式距离，由于测试过程常采用余弦公式作为人脸相似度度量方法，所以将余弦相似度加入到损失函数中，能够保证训练与测试过程中人脸特征比较方式的一致性，克服由于训练与测试时人脸特征比对的度量方法不同造成的差异性，提高人脸识别准确率。

发明内容

本发明克服了现有技术的不足之处，提出了一种基于新型损失函数的人脸识别卷积神经网络训练方法，意在将余弦相似度与center loss损失函数相结合，利用卷积神经网络进行人脸识别模型的训练，提高人脸识别的准确率。

本发明为达上述发明目的，采用如下技术方案：

一种基于新型损失函数的人脸识别卷积神经网络训练方法包括以下步骤：

步骤一：对需要进行人脸识别训练的人脸图像数据划分为训练样本集、测试样本集；

步骤二:将步骤一所获得的训练样本集中的人脸图像进行数据预处理，预处理包括：人脸矫正、图像尺寸大小归一化为M*N，所述人脸矫正采用MTCNN(Multi-taskconvolutional neural networks)算法，MTCNN算法主要包括人脸/非人脸分类器、边界框回归、人脸关键点定位三个部分，利用获得的人眼睛关键点位置，把每个人眼睛置于同一个水平线上，实现人脸矫正；

步骤三：构建人脸识别卷积神经网络结构，结构为数据输入层—卷积层C₁—池化层P₁—卷积层C₂—卷积层C₃—池化层P₂—卷积层C₄—卷积层C₅—池化层P₃—卷积层C₆—卷积层C₇—池化层P₄—全连接层F₁—全连接层F₂—SoftMaxWithLoss层—余弦相似度损失与Center Loss结合层，所述余弦相似度损失与Center Loss结合层是将人脸特征向量之间的余弦相似度与Center Loss共同加入到损失函数计算过程中；

步骤四：将步骤二中经过数据预处理后的训练样本输入到步骤三构建的网络结构中的数据输入层进行人脸识别卷积神经网络训练，训练时的损失函数采用步骤三中SoftMaxWithLoss层的损失函数L_s、步骤三中余弦相似度损失与Center Loss结合层的损失函数L_{cos_center}相叠加的联合损失函数L，通过不断的对网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数Q；

进一步地，所述SoftMaxWithLoss层的损失函数L_s和余弦相似度损失与CenterLoss结合层中损失函数L_{cos_center}、联合损失函数L的计算公式分别为：

L＝L_s+L_{cos_center} (3)

其中θ_ij的表达式为：

其中f_i、f_j的表达式为：

其中，n表示训练过程中每次迭代输入的训练样本总数；N表示训练样本的总类别数；x_i∈R^d、x_j∈R^d表示第i个样本在权利要求1的步骤三中全连接层F₁的输出特征，d表示特征维度；

表示第i个样本的所属类别y_i的类中心特征；

w_r∈R^d、w_i∈R^d、w_j∈R^d分别表示权利要求1的步骤三中全连接层F₂的权重矩阵W∈R^d×N的第y_i列、第r列、第i列、第j列，b∈R^N代表偏置项；f_i、f_j分别表示第i个样本和第j个样本在权利要求1的步骤三中全连接层F₂的输出特征；θ_ij代表向量f_i和f_j的夹角；λ₁和λ₂分别表示权重系数(λ₁>0，λ₂>0)；当y_i＝y_j时，k＝1；当y_i≠y_j时，k＝0；

步骤五：将步骤四训练后得到的人脸识别模型参数进行保存；

步骤六：采用步骤二中的数据预处理方法对测试样本集中的图像进行处理，将处理好的测试样本集利用步骤五中的人脸识别模型对测试样本集中的人脸图像进行特征提取，计算每两个人脸特征向量之间的余弦相似度P，设置自适应阈值T，如果相似度P大于阈值T，则判断两个人脸图像是同一个人，否则不是同一个人，得到人脸识别模型测试结果。

与现有技术相比，本发明的有益效果体现在：

本发明采取一种新型损失函数对人脸识别卷积神经网络进行训练，由于测试过程常采用余弦公式作为人脸相似度度量方法，所以在对人脸样本进行训练时，将余弦相似度加入到损失函数之中，能够保证训练与测试过程中人脸特征比较方式的一致性，克服由于训练与测试时人脸特征比对的度量方法不同造成的差异性，center loss与余弦相似度损失相结合，既可以将不同人脸特征之间的余弦相似度作为人脸识别卷积神经网络的监督信号，又可以将人脸特征之间的欧式距离作为监督信号，center loss能够有效的使同一类别的人脸特征聚集，同时，在损失函数中加入SoftMax loss可以使不同类别人脸特征分离，达到了有效增大类间距、减小类内距离的目的，提高人脸识别准确率。

附图说明

图1是一种基于新型损失函数的人脸识别卷积神经网络结构示意图；图中C₁、P₁、C₂、C₃、P₂、C₄、C₅、P₃、C₆、C₇、P₄、F₁、F₂均代表各个对应的网络层的名字。

具体实施方式

下面结合附图对本发明作进一步说明。

本实施例中，如图1所示，本发明的基于新型损失函数的人脸识别卷积神经网络训练方法包括如下步骤：

步骤一：对需要进行人脸识别训练的人脸图像数据划分为训练样本集、测试样本集，其中，两个测试样本集中每一类相同身份的人脸图像具有相同的类别标签；

步骤二:将步骤一所获得的训练样本集中的人脸图像进行数据预处理，预处理包括：人脸矫正、图像尺寸大小归一化为M*N，其中人脸矫正采用MTCNN(Multi-taskconvolutional neural networks)算法，MTCNN算法主要包括人脸/非人脸分类器、边界框回归、人脸关键点定位三个部分，利用获得的人眼睛关键点位置，把每个人眼睛置于同一个水平线上，实现人脸矫正；

对人脸图像进行矫正能够减少由于人脸姿态的不同造成的特征差异，同时把人脸图像尺寸进行归一化能够保证网络对每个人脸进行特征提取时具有相同的输出特征维度。

步骤三：构建人脸识别卷积神经网络结构，结构为数据输入层—卷积层C₁—池化层P₁—卷积层C₂—卷积层C₃—池化层P₂—卷积层C₄—卷积层C₅—池化层P₃—卷积层C₆—卷积层C₇—池化层P₄—全连接层F₁—全连接层F₂—SoftMaxWithLoss层—余弦相似度损失与Center Loss结合层，其中，全连接层F₂的输出维度是人脸训练样本集的类别总数，所有池化层均使用最大池化的方法，余弦相似度损失与Center Loss结合层是将人脸特征向量之间的余弦相似度与Center Loss共同加入到损失函数计算过程中；

步骤四：将步骤二中经过数据预处理后的训练样本输入到步骤三构建的网络结构中的数据输入层进行人脸识别卷积神经网络训练，训练时的损失函数采用步骤三中SoftMaxWithLoss层的损失函数L_s、步骤三中余弦相似度损失与CenterLoss结合层的损失函数L_{cos_center}相叠加的联合损失函数L，通过不断的对网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数Q，其中SoftMaxWithLoss层的损失函数L_s和余弦相似度损失与Center Loss结合层中损失函数L_{cos_center}、联合损失函数L的计算公式分别为：

L＝L_s+L_{cos_center}

其中θ_ij的表达式为：

其中f_i、f_j的表达式为：

其中，n表示训练过程中每次迭代输入的训练样本总数；N表示训练样本的总类别数；x_i∈R^d、x_j∈R^d表示第i个样本在权利要求1的步骤三中全连接层F₁的输出特征，d表示特征维度；

表示第i个样本的所属类别y_i的类中心特征；

w_r∈R^d、w_i∈R^d、w_j∈R^d分别表示权利要求1的步骤三中全连接层F₂的权重矩阵W∈R^d×N的第y_i列、第r列、第i列、第j列，b∈R^N代表偏置项；f_i、f_j分别表示第i个样本和第j个样本在权利要求1的步骤三中全连接层F₂的输出特征；θ_ij代表向量f_i和f_j的夹角；λ₁和λ₂分别表示权重系数(λ₁>0，λ₂>0)；当y_i＝y_j时，k＝1；当y_i≠y_j时，k＝0；

在训练过程中，设置自适应权重系数λ₁＝1，λ₂＝10.

步骤五：将步骤四训练后得到的人脸识别模型参数进行保存；

步骤六：采用步骤二中的数据预处理方法对测试样本集中的图像进行处理，将处理好的测试样本集利用步骤五中的人脸识别模型对测试样本集中的人脸图像进行特征提取，计算每两个人脸特征向量之间的余弦相似度P，设置自适应阈值T，如果相似度P大于阈值T，设置T＝0.75，则判断两个人脸图像是同一个人，否则不是同一个人，得到人脸识别模型测试结果。

Claims (1)

1.一种基于新型损失函数的人脸识别卷积神经网络训练方法，其特征在于包括如下步骤：

步骤一：对需要进行人脸识别训练的人脸图像数据划分为训练样本集、测试样本集；

步骤二:将步骤一所获得的训练样本集中的人脸图像进行数据预处理，预处理包括：人脸矫正、图像尺寸大小归一化为M*N，所述人脸矫正采用MTCNN(Multi-task convolutionalneural networks)算法，MTCNN算法主要包括人脸/非人脸分类器、边界框回归、人脸关键点定位三个部分，利用获得的人眼睛关键点位置，把每个人眼睛置于同一个水平线上，实现人脸矫正；

步骤三：构建人脸识别卷积神经网络结构，该结构为数据输入层—卷积层C₁—池化层P₁—卷积层C₂—卷积层C₃—池化层P₂—卷积层C₄—卷积层C₅—池化层P₃—卷积层C₆—卷积层C₇—池化层P₄—全连接层F₁—全连接层F₂—SoftMaxWithLoss层—余弦相似度损失与Center Loss结合层，所述余弦相似度损失与Center Loss结合层是将人脸特征向量之间的余弦相似度与Center Loss共同加入到损失函数计算过程中；

步骤四：将步骤二中经过数据预处理后的训练样本输入到步骤三构建的网络结构中的数据输入层进行人脸识别卷积神经网络训练，训练时的损失函数采用步骤三中SoftMaxWithLoss层的损失函数L_s、步骤三中余弦相似度损失与Center Loss结合层的损失函数L_{cos_center}相叠加的联合损失函数L，通过不断的对网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数Q；

步骤五：将步骤四训练后得到的人脸识别模型参数进行保存；

步骤六：采用步骤二中的数据预处理方法对测试样本集中的图像进行处理，将处理好的测试样本集利用步骤五中的人脸识别模型对测试样本集中的人脸图像进行特征提取，计算每两个人脸特征向量之间的余弦相似度P，设置自适应阈值T，如果相似度P大于阈值T，则判断两个人脸图像是同一个人，否则不是同一个人，得到人脸识别模型测试结果；

步骤三中SoftMaxWithLoss层的损失函数L_s和余弦相似度损失与Center Loss结合层中损失函数L_{cos_center}的计算公式分别为：

其中θ_ij的表达式为：

其中f_i、f_j的表达式为：

其中，n表示训练过程中每次迭代输入的训练样本总数；N表示训练样本的总类别数；x_i∈R^d、x_j∈R^d表示第i个样本在权利要求1的步骤三中全连接层F₁的输出特征，d表示特征维度；

表示第i个样本的所属类别y_i的类中心特征；

w_r∈R^d、w_i∈R^d、w_j∈R^d分别表示权利要求1的步骤三中全连接层F₂的权重矩阵W∈R^d×N的第y_i列、第r列、第i列、第j列，b∈R^N代表偏置项；f_i、f_j分别表示第i个样本和第j个样本在权利要求1的步骤三中全连接层F₂的输出特征；θ_ij代表向量f_i和f_j的夹角；λ₁和λ₂分别表示权重系数，λ₁>0，λ₂>0；当y_i＝y_j时，k＝1；当y_i≠y_j时，k＝0。

Images