CN109902757B - 一种基于Center Loss改进的人脸模型训练方法 - Google Patents

Abstract

本发明涉及一种基于Center Loss改进的人脸模型训练方法，包括：(1)剪切、筛选原总数据集中的人脸图片，划分为训练集、验证集和测试集；(2)对训练集中的人脸图片进行预处理；(3)搭建网络结构，优化目标损失函数；(4)将训练集中的数据输入到网络结构中进行训练；(5)保存人脸模型；(6)使用测试集对人脸模型进行测试。在人脸模型具有一定分类能力的基础上增强模型类内聚合能力，达到了有效增大类间距离，缩小类内距离的目标，提升了人脸识别的准确率和鲁棒性。

Description

一种基于Center Loss改进的人脸模型训练方法

技术领域

本发明涉及一种基于Center Loss改进的人脸模型训练方法，属于深度学习技术领域。

背景技术

随着社会的不断发展以及各方面对于快速有效的身份验证的迫切需求，人们对于人脸识别的研究越来越重视，对人脸模型的精度要求也越来越高。人脸识别技术是基于人的脸部特征，给出输入的人脸图像的位置、大小和各个主要面部器官的位置信息，进一步提取每个人脸的特征同已知人脸进行比对，从而识别人的身份。由于人脸识别相较于其他生物技术而言，具有非接触性、非强制性、并发性等优点，因此，它在身份验证、安全监测等方面发挥着不可替代的作用。

算法是影响人脸识别模型精度的核心因素。人脸识别算法是基于人脸特征来完成身份识别的一种生物识别技术，人脸识别算法需要在识别过程中提取人的脸部特征，所提取的特征对最终的分类结果有着决定性的影响。在机器学习尤其是深度学习中，softmax是一个很重要的函数，特别是在多分类的场景中应用广泛，而对于常见的图像分类问题，经常用SoftMax Loss来求损失，但是，基于传统意义上的网络结构的SoftMax Loss代价函数的监督，类别界限明确而类内差异过大。有学者提出，将SoftMax Loss与Center Loss结合起来，共同作为神经网络训练的损失函数，改进算法的核心思想，增强类间差异并且减小类内差异，但是，以上损失函数的设计仅是在训练过程中固定Center Loss的占比，并不能根据训练参数调整类内聚合的程度，容易陷入局部最优解，缺乏灵活性。

发明内容

针对现有技术的不足，本发明提供了一种基于Center Loss改进的人脸模型训练方法；本发明使Center Loss动态化，提高了人脸识别模型的精度和健壮性。

本发明的目的是将SoftMax Loss和改进的Center Loss动态结合,在模型具有一定分类能力的基础上，根据训练参数控制类内聚合的程度，提高人脸识别模型的精度和鲁棒性。

术语解释：

1、MTCNN，Multi-task convolutional neural networks的缩写。

2、mini bath策略，将整个大的训练集划分为若干个小的数据集。

3、Inception-ResNet V1网络模型，训练中使用的卷积神经网络结构,其总体结构如图2所示。

4、batch size，当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个Epoch,在不能将数据一次性通过神经网络的时，需要将数据集分成若干个小数据集即batch,batch size是指一个batch中的样本总数,其极限值为训练集样本数。

本发明的技术方案为：

一种基于Center Loss改进的人脸模型训练方法，包括步骤如下：

(1)使用MTCNN算法剪切原总数据集中的人脸图片，将剪切出的两张及以上张人脸图片筛选出来进行排查，保证人脸ID唯一，将剪切后的所有的人脸图片划分为训练集、验证集和测试集；不同人的人脸属于不同的类别，但一个类别中的人脸必须都是同一个人的,就是指人脸ID唯一；

(2)对训练集中的人脸图片进行预处理；

(3)搭建网络结构，优化目标损失函数；

(4)将步骤(2)经过预处理的训练集中的数据输入到步骤(3)构建的网络结构中进行训练，输入到网络结构中的数据采用mini bath策略，设置batch size大小为B，B不小于训练集中的样本数，batch的数目为N，N为训练集样本数除以B，训练的迭代轮数为E，E是指神经网络中传递完整的数据集的次数；训练中的损失函数为步骤(3)优化后的目标损失函数；在反向传播过程中，使用自适应参数更新算法Adam优化器，指数衰减学习率不断进行梯度更新减小损失函数，直到完成设置的迭代轮数E；

(5)保存人脸模型；

(6)使用测试集对人脸模型进行测试。

根据本发明优选的，所述步骤(1)中，当一张人脸图片中只有一个人时，使用MTCNN算法剪切时剪切一张人脸；当一张人脸图片中有两个或以上个人且剪切出来的人脸不唯一时，将该人脸图片从训练集中移动出来。

根据本发明优选的，所述步骤(1)中，训练集、验证集及测试集中人脸图片的张数的比例为98:1:1。

根据本发明优选的，所述步骤(2)中，包括步骤如下：

A、使用双线性插值算法对步骤(1)剪切后的训练集、验证集中的人脸图片进行归一化处理，将人脸图片归一化到a*b像素大小，归一化后的人脸图片将作为网络结构的输入；其归一化后的大小即a,b的取值将由设计好的卷积神经网络结构决定,无具体的取值范围；以满足网络结构初始形状需求；

B、对步骤A处理后的训练集中的人脸图片进行直方图均衡化操作。

进一步优选的，a＝160，b＝160。

根据本发明优选的，所述步骤(3)中，包括步骤如下：

C、搭建Inception-ResNet V1网络模型，输入人脸图片的初始形状为(160,160,3)，第一个160是指图片的宽,第二个160是指图片的高,单位均为像素,3是图片的通道数,表示图像是由红色R、绿色G、蓝色B三个通道组成的；

D、将SoftMax Loss损失函数与改进后的Center Loss损失函数动态结合，共同作为神经网络训练中的目标损失函数，加入到计算过程中。

进一步优选的，所述SoftMax Loss损失函数L_s，Center Loss损失函数L_c，以及SoftMax Loss损失函数L_s与改进后的Center Loss损失函数L_c动态结合的损失函数L_{s_c}的计算公式分别如式(Ⅰ)、式(Ⅱ)、式(Ⅲ)所示：

式(Ⅰ)、式(Ⅱ)、式(Ⅲ)中，

m表示训练中一个mini batch的训练样本总数；

n表示训练样本的人脸图片ID的个数；

x表示训练样本在网络结构的输出特征；

b_yi表示第i个样本的类别y_i的偏置项；

表示网络结构输出层的权重矩阵W∈R^d×n的第j列的转置；

b_j表示网络结构输出层的权重矩阵W∈R^d×n的第j列的偏置项；

x_i∈R^d，表示第i个训练样本在网络结构的输出特征；

d表示特征维度；

表示第i个训练样本的类别yⁱ的中心；

表示网络结构输出层的权重矩阵W∈R^d×n的第y_i列；

W_j∈R^d表示网络结构输出层的权重矩阵W∈R^d×n的第j列；

b∈Rⁿ表示偏置项；

α表示Center Loss的占比，0≤α≤1，α在训练过程中动态变化，根据训练参数控制同类之间内聚程度。在训练早期设置α等于0,使用SoftMax Loss进行分类,训练模型分类能力,扩大类间距离；训练后期加入Center Loss,在模型已经具有一定分类能力的基础上进行不同程度的内聚,实现训练过程中Center Loss的动态化,控制缩小类内距离的程度。

根据本发明优选的，所述α动态取值的方法如下：

设置Center Loss配置文件,在该文件中根据训练的轮数设置α值,设置迭代轮数分别为E₁,E₂,E₃,E₄,E₅,E₆,e表示第e轮,α₁，α₂，α₃，α₄，α₅，α₆表示对应的α值，训练的轮数e与设置的α值的关系如表1所示：

表1

e

<![CDATA[0≤e&lt;E<sub>1</sub>]]>

<![CDATA[E<sub>1</sub>≤e&lt;E<sub>2</sub>]]>

<![CDATA[E<sub>2</sub>≤e&lt;E<sub>3</sub>]]>

<![CDATA[E<sub>3</sub>≤e&lt;E<sub>4</sub>]]>

<![CDATA[E<sub>4</sub>≤e&lt;E<sub>5</sub>]]>

<![CDATA[E<sub>5</sub>≤e&lt;E<sub>6</sub>]]>

α

<![CDATA[α<sub>1</sub>]]>

<![CDATA[α<sub>2</sub>]]>

<![CDATA[α<sub>3</sub>]]>

<![CDATA[α<sub>4</sub>]]>

<![CDATA[α<sub>5</sub>]]>

<![CDATA[α<sub>6</sub>]]>

根据本发明优选的，所述步骤(5)中，训练过程中，保存每一次训练轮数得到的人脸模型；同时，对保存的人脸模型进行验证集验证,根据验证集结果调整训练中的参数，包括步骤如下：

E、基于验证集生成pairs对文件，pairs对文件是txt格式文件，验证时，根据该pairs对文件索引到验证集中的人脸图片，该pairs对文件中包含6000对人脸图片；6000对人脸图片中，第1个300人是同一个人的两张人脸图片，第2个300人是两张不同人的人脸图片，如此循环10次；

F、验证过程中，验证集给出一对人脸图片，将这一对人脸图片送入网络并加载人脸模型，进而提取人脸图片的特征向量，计算该对人脸图片的特征向量之间的欧式距离，并判断两张人脸图片是不是同一个人；如此，通过6000对人脸图片验证结果与真实结果的比值，得到人脸识别准确率；

G、通过验证集的效果进行反馈，当人脸识别准确率达到一个值且不再上升时，终止当前的人脸模型训练，得到最优的人脸模型，否则，更改超参之后继续训练。

根据本发明优选的，所述步骤(6)中，包括步骤如下：

H、将测试集中的人脸图片进行归一化处理，使用步骤(5)中得到的人脸模型对测试集中的人脸图片进行特征提取；

I、计算每两张人脸图片的特征向量之间的欧式距离D，设置判定阈值Y，0.5≤Y≤1.5，如果欧氏距离D大于Y，则两张人脸图片中不是同一个人，反之，是同一个人。

本发明的有益效果为：

本发明在搭建Inception-ResNet V1网络模型之后将SoftMax Loss与改进后的Center Loss动态结合共同作为神经网络训练中的目标损失函数,加入到计算过程中。由于早期只用SoftMax Loss作为目标损失函数来训练人脸模型的分类能力，而在训练后期加入不同占比的Center Loss，根据训练参数控制类内内聚程度，通常Center Loss的占比随着训练轮数的增加而增大的。在整个人脸模型训练过程中，Center Loss的占比始终是动态变化的，而Center Loss占比在整个训练中不变会在很大程度上影响人脸模型的类内聚合能力，容易陷入局部最优解，而Center Loss占比动态规律变化克服了Center Loss占比在整个训练中不变的缺点，在人脸模型具有一定分类能力的基础上增强模型类内聚合能力，达到了有效增大类间距离，缩小类内距离的目标，提升了人脸识别的准确率和鲁棒性。

附图说明

图1为本发明基于Center Loss改进的人脸模型训练方法的流程示意图。

图2为本发明Inception-ResNet V1网络模型的总体结构示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步说明。

实施例1

一种基于Center Loss改进的人脸模型训练方法，如图1所示，包括步骤如下：

(1)使用MTCNN算法剪切原总数据集中的人脸图片，将剪切出的两张及以上张人脸图片筛选出来进行排查，保证人脸ID唯一，将剪切后的所有的人脸图片划分为训练集、验证集和测试集；训练集、验证集及测试集中人脸图片的张数的比例为98:1:1。不同人的人脸属于不同的类别，但一个类别中的人脸必须都是同一个人的,就是指人脸ID唯一；当一张人脸图片中只有一个人时，使用MTCNN算法剪切时剪切一张人脸；当一张人脸图片中有两个或以上个人且剪切出来的人脸不唯一时，将该人脸图片从训练集中移动出来。

(2)对训练集中的人脸图片进行预处理；包括步骤如下：

A、使用双线性插值算法对步骤(1)剪切后的训练集、验证集中的人脸图片进行归一化处理，将人脸图片归一化到160*160像素大小，以满足网络结构初始形状需求,保证网络对每个人脸提取特征时输出特征维度的同一性归一化后的人脸图片将作为网络结构的输入；其归一化后的大小即a,b的取值将由设计好的卷积神经网络结构决定,无具体的取值范围；以满足网络结构初始形状需求；

B、对步骤A处理后的训练集中的人脸图片进行直方图均衡化操作。

(3)搭建网络结构，优化目标损失函数；包括步骤如下：

C、搭建Inception-ResNet V1网络模型，输入人脸图片的初始形状为(160,160,3)，第一个160是指图片的宽，第二个160是指图片的高，单位均为像素，3是图片的通道数,表示图像是由红色R、绿色G、蓝色B三个通道组成的；

D、将SoftMax Loss损失函数与改进后的Center Loss损失函数动态结合，共同作为神经网络训练中的目标损失函数，加入到计算过程中。

SoftMax Loss损失函数L_s，Center Loss损失函数L_c，以及SoftMax Loss损失函数L_s与改进后的Center Loss损失函数L_c动态结合的损失函数L_{s_c}的计算公式分别如式(Ⅰ)、式(Ⅱ)、式(Ⅲ)所示：

式(Ⅰ)、式(Ⅱ)、式(Ⅲ)中，

m表示训练中一个mini batch的训练样本总数；

n表示训练样本的人脸图片ID的个数；

x表示训练样本在网络结构的输出特征；

b_yi表示第i个样本的类别y_i的偏置项；

表示网络结构输出层的权重矩阵W∈R^d×n的第j列的转置；

b_j表示网络结构输出层的权重矩阵W∈R^d×n的第j列的偏置项；

x_i∈R^d，表示第i个训练样本在网络结构的输出特征；

d表示特征维度；

表示第i个训练样本的类别y_i的中心；

表示网络结构输出层的权重矩阵W∈R^d×n的第y_i列；

W_j∈R^d表示网络结构输出层的权重矩阵W∈R^d×n的第j列；

b∈Rⁿ表示偏置项；

α表示Center Loss的占比，0≤α≤1，α在训练过程中动态变化，根据训练参数控制同类之间内聚程度。在训练早期设置α等于0,使用SoftMax Loss进行分类,训练模型分类能力,扩大类间距离；训练后期加入Center Loss,在模型已经具有一定分类能力的基础上进行不同程度的内聚,实现训练过程中Center Loss的动态化,控制缩小类内距离的程度。

α动态取值的方法如下：

设置Center Loss配置文件,在该文件中根据训练的轮数设置α值,设置迭代轮数分别为E₁＝400,E₂＝600,E₃＝900,E₄＝1400,E₅＝1800,E₆＝2000,e表示第e轮,α₁，α₂，α₃，α₄，α₅，α₆表示对应的α值，训练的轮数e与设置的α值的关系如表2所示：

表2

e

<![CDATA[0≤e&lt;E<sub>1</sub>]]>

<![CDATA[E<sub>1</sub>≤e&lt;E<sub>2</sub>]]>

<![CDATA[E<sub>2</sub>≤e&lt;E<sub>3</sub>]]>

<![CDATA[E<sub>3</sub>≤e&lt;E<sub>4</sub>]]>

<![CDATA[E<sub>4</sub>≤e&lt;E<sub>5</sub>]]>

<![CDATA[E<sub>5</sub>≤e≤E<sub>6</sub>]]>

α

<![CDATA[α<sub>1</sub>＝0]]>

<![CDATA[α<sub>2</sub>＝0.01]]>

<![CDATA[α<sub>3</sub>＝0.05]]>

<![CDATA[α<sub>4</sub>＝0.1]]>

<![CDATA[α<sub>5</sub>＝0.5]]>

<![CDATA[α<sub>6</sub>＝1.0]]>

(4)将步骤(2)经过预处理的训练集中的数据输入到步骤(3)构建的网络结构中进行训练，输入到网络结构中的数据采用mini bath策略，设置batch size大小为B，B＝128，batch的数目为N，N＝6000，训练的迭代轮数为E，E＝2000；训练中的损失函数为步骤(3)优化后的目标损失函数；在反向传播过程中，使用自适应参数更新算法Adam优化器，指数衰减学习率不断进行梯度更新减小损失函数，直到完成设置的迭代轮数E；

(5)保存人脸模型；每50轮保存一次人脸模型，同时对每50轮保存的人脸模型进行验证集验证,根据验证集结果调整训练中的参数，包括步骤如下：

E、基于验证集生成pairs对文件，pairs对文件是txt格式文件，验证时，根据该pairs对文件索引到验证集中的人脸图片，该pairs对文件中包含6000对人脸图片；6000对人脸图片中，第1个300人是同一个人的两张人脸图片，第2个300人是两张不同人的人脸图片，如此循环10次；

F、验证过程中，验证集给出一对人脸图片，将这一对人脸图片送入网络并加载人脸模型，进而提取人脸图片的特征向量，计算该对人脸图片的特征向量之间的欧式距离，并判断两张人脸图片是不是同一个人；如此，通过6000对人脸图片验证结果与真实结果的比值，得到人脸识别准确率；

G、通过验证集的效果进行反馈，当人脸识别准确率达到一个值且不再上升时，终止当前的人脸模型训练，得到最优的人脸模型，否则，更改超参之后继续训练。

(6)使用测试集对人脸模型进行测试。包括步骤如下：

H、将测试集中的人脸图片进行归一化处理，使用步骤(5)中得到的人脸模型对测试集中的人脸图片进行特征提取；

I、计算每两张人脸图片的特征向量之间的欧式距离D，设置判定阈值Y，Y＝0.85，如果欧氏距离D大于Y，则两张人脸图片中不是同一个人，反之，是同一个人。比较所有训练过程中产出的人脸模型，判定人脸模型质量的基本原则是在不同ID人脸图像分类正确的前提下，同一个ID的不同人脸欧式距离D越小越好，得到人脸模型测试结果。

在本发明中，α动态变化，与现有的α固定的方法相比，效果数据如表3所示：

表3

由表3可知，在人脸模型具有一定分类能力的基础上增强模型类内聚合能力，达到了有效增大类间距离，缩小类内距离的目标，提升了人脸识别的准确率和鲁棒性。

Claims (7)

1.一种基于Center Loss改进的人脸模型训练方法，其特征在于，包括步骤如下：

(1)使用MTCNN算法剪切原总数据集中的人脸图片，将剪切出的两张及以上张人脸图片筛选出来进行排查，保证人脸ID唯一，将剪切后的所有的人脸图片划分为训练集、验证集和测试集；

(2)对训练集中的人脸图片进行预处理；

(3)搭建网络结构，优化目标损失函数；

(4)将步骤(2)经过预处理的训练集中的数据输入到步骤(3)构建的网络结构中进行训练，输入到网络结构中的数据采用minibath策略，设置batch size大小为B，B不小于训练集中的样本数，batch的数目为N，N为训练集样本数除以B，训练的迭代轮数为E，E是指神经网络中传递完整的数据集的次数；训练中的损失函数为步骤(3)优化后的目标损失函数；在反向传播过程中，使用自适应参数更新算法Adam优化器，指数衰减学习率不断进行梯度更新减小损失函数，直到完成设置的迭代轮数E；

(5)保存人脸模型；

(6)使用测试集对人脸模型进行测试；

所述步骤(3)中，包括步骤如下：

C、搭建Inception-ResNet V1网络模型，输入人脸图片的初始形状为(160,160,3)，第一个160是指图片的宽,第二个160是指图片的高,单位均为像素,3是图片的通道数,表示图像是由红色R、绿色G、蓝色B三个通道组成的；

D、将SoftMax Loss损失函数与改进后的Center Loss损失函数动态结合，共同作为神经网络训练中的目标损失函数，加入到计算过程中；

所述SoftMax Loss损失函数L_s，Center Loss损失函数L_c，以及SoftMax Loss损失函数L_s与改进后的Center Loss损失函数L_c动态结合的损失函数L_{s_c}的计算公式分别如式(Ⅰ)、式(Ⅱ)、式(Ⅲ)所示：

式(Ⅰ)、式(Ⅱ)、式(Ⅲ)中，

m表示训练中一个mini batch的训练样本总数；

n表示训练样本的人脸图片ID的个数；

x表示训练样本在网络结构的输出特征；

表示第i个样本的类别y_i的偏置项；

表示网络结构输出层的权重矩阵W∈R^d×n的第j列的转置；

b_j表示网络结构输出层的权重矩阵W∈R^d×n的第j列的偏置项；

x_i∈R^d，表示第i个训练样本在网络结构的输出特征；

d表示特征维度；

c_yi表示第i个训练样本的类别y_i的中心；

W_yi∈R^d，表示网络结构输出层的权重矩阵W∈R^d×n的第y_i列；

W_j∈R^d表示网络结构输出层的权重矩阵W∈R^d×n的第j列；

b∈Rⁿ表示偏置项；

α表示Center Loss的占比，0≤α≤1，α在训练过程中动态变化，根据训练参数控制同类之间内聚程度；

所述α动态取值的方法如下：

设置Center Loss配置文件,在该文件中根据训练的轮数设置α值,设置迭代轮数分别为E₁,E₂,E₃,E₄,E₅,E₆,e表示第e轮,α₁，α₂，α₃，α₄，α₅，α₆表示对应的α值，训练的轮数e与设置的α值的关系如表1所示：

表1

。

2.根据权利要求1所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，所述步骤(1)中，当一张人脸图片中只有一个人时，使用MTCNN算法剪切时剪切一张人脸；当一张人脸图片中有两个或以上个人且剪切出来的人脸不唯一时，将该人脸图片从训练集中移动出来。

3.根据权利要求1所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，所述步骤(1)中，训练集、验证集及测试集中人脸图片的张数的比例为98:1:1。

4.根据权利要求1所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，所述步骤(2)中，包括步骤如下：

A、使用双线性插值算法对步骤(1)剪切后的训练集、验证集中的人脸图片进行归一化处理，将人脸图片归一化到a*b像素大小，归一化后的人脸图片将作为网络结构的输入；

B、对步骤A处理后的训练集中的人脸图片进行直方图均衡化操作。

5.根据权利要求4所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，a＝160，b＝160。

6.根据权利要求1所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，所述步骤(5)中，训练过程中，保存每一次训练轮数得到的人脸模型；同时，对保存的人脸模型进行验证集验证,根据验证集结果调整训练中的参数，包括步骤如下：

E、基于验证集生成pairs对文件，pairs对文件是txt格式文件，验证时，根据该pairs对文件索引到验证集中的人脸图片，该pairs对文件中包含6000对人脸图片；6000对人脸图片中，第1个300人是同一个人的两张人脸图片，第2个300人是两张不同人的人脸图片，如此循环10次；

F、验证过程中，验证集给出一对人脸图片，将这一对人脸图片送入网络并加载人脸模型，进而提取人脸图片的特征向量，计算该对人脸图片的特征向量之间的欧式距离，并判断两张人脸图片是不是同一个人；如此，通过6000对人脸图片验证结果与真实结果的比值，得到人脸识别准确率；

G、通过验证集的效果进行反馈，当人脸识别准确率达到一个值且不再上升时，终止当前的人脸模型训练，得到最优的人脸模型，否则，更改超参之后继续训练。

7.根据权利要求1-6任一所述的一种基于Center Loss改进的人脸模型训练方法，其特征在于，所述步骤(6)中，包括步骤如下：

H、将测试集中的人脸图片进行归一化处理，使用步骤(5)中得到的人脸模型对测试集中的人脸图片进行特征提取；

I、计算每两张人脸图片的特征向量之间的欧式距离D，设置判定阈值Y，0.5≤Y≤1.5，如果欧氏距离D大于Y，则两张人脸图片中不是同一个人，反之，是同一个人。

Images