CN110909636A - 一种基于非均匀分布的人脸识别方法 - Google Patents

Abstract

本发明提供了一种基于非均匀分布的人脸识别方法，属于图像模式识别领域。首先使用人脸检测器检测和截取人脸区域，再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作，然后利用深度学习模型对侧脸矫正的人脸图片提取特征；深度学习模型进行训练和测试，包括：(1)对深度学习模型进行训练；(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后，利用训练好的深度学习模型提取原始特征，并进行归一化处理，计算不同原始特征归一化后的特征之间的余弦相似度来判断是否属于同一人。本发明基于大边界的特征增强技术与可迁移特征归一化技术相结合，使得人脸识别的效率得到较大的提高，使得人脸识别系统的稳定性的也有很大的提高。

Description

一种基于非均匀分布的人脸识别方法

技术领域

本发明属于图像模式识别领域，尤其涉及一种基于深度学习的人脸识别技术。

背景技术

人脸识别是基于人的面部特征信息进行身份识别的一种生物特征技术，通常是从获取的动态或静态图像中检测人脸，接着对检测到的人脸进行身份识别。一个完整的人脸识别流程如图1所示。人脸识别系统首先通过摄像头，视频文件或者图像文件输入到人脸检测模块，然后将所有的人脸图像从所示图像中截取出来，再通过人脸矫正模块将非规范化的人脸归一化为标准人脸。对人脸图像进行预处理之后，再通过人脸识别算法模型提取人脸特征并进行特征计算和比对，最后得到识别结果。

现有的人脸训练集存在严重的分布不均的现象，比如少部分的富类别拥有大量的样本而大部分的穷类别却拥有少量的样本。在设计识别算法时，如果没有考虑到数据分布不均匀的现象，那么富类别将在模型训练更新中占据主导地位，以至于降低模型的泛化能力。从当前的不均匀特征学习的识别方法来看，可以分为三大类：(1)数据采样技术；(2)数据增强技术；(3)成本敏感损失函数。(1)数据采样技术主要采用上采样技术或者下采样技术来均衡数据分布。上采样技术是增加穷类别采样频次来匹配富类别，而下采样技术是丢掉某些穷类别来减缓数据不均匀分布。但是上采样技术可能会给数据带来新的噪声，而下采样技术可能丢掉某些有用的信息，这两者都不利于模型的训练。(2)数据增强技术主要采用生成模型来生成新的训练样本，但是生成模型很难保证新的生成人脸特征保持人脸身份信息不丢失。同时新生成的人脸图像也会线性地增加模型训练时间。(3)成本敏感损失函数对高损失值的样本赋予大权重值而对低损失值的样本赋予小权重值，这样保证模型训练更新过程中富类别和穷类别的均衡性，但是我们很难通过改变权值的方式来保证模型的均衡学习。

目前在人脸识别的问题中，由于人脸训练数据的每类样本数量存在明显的分布不均匀的现象，同时不同数据集之间存在较大的分布差异，这严重影响了人脸模型的泛化能力，降低了人脸识别性能。

发明内容

本发明针对目前人脸识别系统采用的人脸训练集存在严重分布不均的现象，影响人脸模型的泛化能力和降低人脸识别性能的问题，提出的一种基于非均匀分布的人脸识别的新方法。

本发明提出的基于非均匀分布的人脸识别方法，包括：首先，使用人脸检测器检测和截取人脸区域，再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作，然后利用深度学习模型对侧脸矫正的人脸图片提取特征。在对深度学习模型进行训练和测试的过程如下：

(1)对深度学习模型进行训练，包括：

设当前深度学习模型提取到一个原始人脸特征集，每个原始人脸特征对应一个人脸类别标签，设人脸类别共有C个；然后执行下面(1.1)和(1.2)；

(1.1)对提取的人脸特征集的每个类别，采用改进的基于最大边界的特征增强技术来生成新特征，具体是：对第j(j＝1,2,…,C)个类别，计算特征中心c_j，根据属于该类别的原始人脸特征和特征中心c_j确定最大的类内差异d_j，进而生成该类别的新特征f_new＝c_j+m×d_j，m为最大边界系数；

(1.2)对原始人脸特征和新特征进行如下的特征归一化处理；特征归一化处理是指：由于生成特征存在噪声，我们首先学习原始人脸特征集的全局均值和方差，然后使用该均值和方差对原始人脸特征和新特征进行均值为0，方差为1的归一化操作；

利用(1.2)归一化处理后的原始人脸特征和新特征训练分类器和深度学习模型；

(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后，利用训练好的深度学习模型提取原始测试特征，并使用测试特征的均值和方差进行归一化处理，计算归一化后的不同原始测试特征之间的余弦相似度来判断是否属于同一人。

本发明与现有技术相比，具有以下优势：

(1)相比图像增强技术，本发明所提出的基于大边界的特征增强技术在不增加模型训练时间成本的情况下，可以生成困难样本特征，从而保证在富样本和穷样本的特征空间之间学习一个鲁棒的分类边界，这不仅大大提高了人脸模型的识别率，而且还明显地降低了模型的训练时间成本。

(2)本发明利用可迁移特征归一化技术，解决了跨数据的人脸识别模型性能降低的问题。

(3)本发明将基于大边界的特征增强技术与可迁移特征归一化技术相结合，使得人脸识别的效率得到较大的提高，使得人脸识别系统的稳定性的也有很大的提高。

附图说明

图1是一个完整的人脸识别方法的流程图；

图2是本发明的基于非均匀分布的人脸识别方法的一个实现流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。

为了解决现有问题，本发明的基于非均匀分布的人脸识别方法，采用了基于大边界的特征增强技术和可迁移的特征归一化技术，通过基于大边界的特征增强技术在不增加模型训练时间成本的情况下，可以生成困难样本特征，从而保证在富样本和穷样本的特征空间之间学习一个鲁棒的分类边界。由于人脸识别模型的训练集和测试集可能会存在差异较大的分布，这样会大大降低人脸识别模型在实际环境中的识别准确率，因此本发明提出一个可迁移的特征归一化技术来增强特征的跨数据迁移能力和模型的泛化能力。

本发明的基于非均匀分布的人脸识别方法，如图2所示，分为如下6个步骤来说明。

步骤1、使用人脸检测器，检测和截取出所有可能的人脸区域。

本发明实施例中，考虑到人脸图像的特性，主要通过采用从粗到细的级联式人脸检测器MTCNN(参考文件：Zhang,K.,Zhang,Z.,Li,Z.,and Qiao,Y.(2016).Joint facedetection and alignment using multitask cascaded convolutional networks.IEEESignal Processing Letters,23(10):1499–1503.)来实现对人脸的检测。

在第一阶段上，本发明利用一个全卷积网络生成一个特征图(使用Sigmoid函数进行归一化)，其中特征图上每个位置的响应度代表该感受野区域是否包含人脸，并生成相应的粗略人脸框，同时对输入图像构建图形金字塔和进行人脸框回归任务，采用最大值抑制修正人脸框；在第二阶段上，在第一阶段的所有窗口输入作进一步判断，同时也要做人脸框回归任务和最大值抑制修正人脸框；在第三阶段上，和第二阶段相似，只不过增加更强的约束5个人脸关键点回归。

步骤2、根据标准关键点和检测关键点计算出仿射变换矩阵，使用该矩阵对所有截取的人脸区域进行侧脸矫正操作。

非受限条件下的人脸通常会呈现出各种姿态，会带来较大的类内差异和降低人脸识别率。人脸侧脸矫正即利用几何归一化将不同尺度和仿射变换的人脸统一处理为规范化的正面人脸。仿射变换能够对二维图像进行线性变换，通过仿射变换可将非规范的人脸变换到标准人脸。在线性空间中，原始坐标通过乘以一个仿射变换矩阵，可以表示不同的线性变换，其中仿射变换矩阵可以用一个3×3的变换矩阵来表示。该变换矩阵将原始像素坐标(x,y)变换到新坐标(x′,y′)，公式定义如下：

其中，

是仿射变换矩阵。

本步骤中，首先找到人脸中的关键点，根据标准关键点和检测关键点采用最小二乘法对仿射变换矩阵的参数θ_ij(i＝0,1；j＝0,1,2)进行估计，然后使用估计的仿射矩阵对侧脸图像进行矫正操作。

步骤3、利用深度学习模型对侧脸矫正的人脸图片提取特征。

本发明实施例中深度学习模型采用的是卷积神经网络，如残差网络ResNet。如图1所示，通过残差网络得到非规范化的特征，对非规范化的特征经过特征增强和归一化得到规范化的特征，进行人脸分类识别后，计算损失函数并反馈结果给深度学习模型，调整模型中的参数。在模型训练阶段，通过步骤4改进富样本和穷样本的均衡分布。

步骤4、在对深度学习模型的训练阶段，采用改进的基于最大边界的特征增强技术来生成新的困难样本特征，以此来均衡不同类别的人脸特征分布。

考虑一个批次的原始人脸特征集{f₁,f₂,…,f_n}和人脸标签集{y₁,y₂,…,y_n}，n表示人脸特征的样本个数，设人脸标签共有C个类别，n,C均为正整数，本发明实施例中每个类别代表是一个不同的人。对每一类别，例如对第j类，首先计算该批次中第j类的特征中心c_j，然后根据该类所有的特征和它们对应的特征中心c_j计算最大的类内差异d_j，最后生成新特征f_new＝c_j+m×d_j，其中m为最大边界系数。通过这种方式，对穷类别产生较多的特征，富类别产生较少的特征，从而保证在富样本和穷样本之间的样本数目的均衡分布。

步骤5、采用改进的特征归一化技术来增加人脸特征在不同数据集之间的可迁移性，同时抑制新生成特征所带来的噪声。

由于人脸识别模型的训练集和测试集可能会存在差异较大的分布，这样会大大降低人脸识别模型在实际环境中的识别准确率。因此本发明提出一个可迁移的特征归一化技术来增强特征的跨数据迁移能力和模型的泛化能力。

本发明对由步骤3提取的一个批次的原始人脸特征，通过步骤4的特征增强技术生成对应的新特征，在本步骤中，首先学习原始人脸特征的全局均值和方差，然后使用该均值和方差来对原始人脸特征和新特征都进行均值0和方差1的归一化操作。使用原始特征均值和方差既能避免生成特征的噪声，又能增加人脸特征的可迁移性。

步骤6、在模型训练阶段，利用归一化的原始人脸特征和经过特征增强技术生成的人脸特征进行深度学习模型训练。在测试阶段，利用训练好的深度学习模型提取图片中的人脸原始特征，并利用同步骤5相同的方法进行特征归一化，然后计算归一化的人脸图像特征之间的余弦相似度来判断是否属于同一人。

在训练阶段，本发明将归一化的原始人脸特征和生成人脸特征输入到深度学习模型的分类器中，分类器的输出为属于不同的C个人脸类别的概率。通过计算分类器的损失函数，来调整深度学习模型中的参数，完成深度学习模型的训练。

深度学习模型的训练，主要包括以下几个步骤：

(1)制作数据集。收集人脸数据集，对其进行清洗和标注。

(2)训练模型。将制作好的数据集作为模型的输入，配置好模型的训练文件，训练模型。

(3)调整模型参数。利用人脸识别LFW测试集测试模型的效果，不断调整训练模型的超参数，使模型在LFW测试集上达到最好的效果。

在测试阶段，本发明通过计算一对人脸图像的原始特征之间的余弦相似度来判断是否属于同一人。在计算特征对的余弦相似度之前，先对提取的原始特征进行归一化，归一化可以利用预先获得测试集中的所有原始人脸特征的全局均值和方差进行均值0和方差1的归一化操作。

对深度学习模型提取人脸特征后的人脸识别过程，主要是利用一对图片特征的余弦相似度设置一个置信度，置信度的值是在0-1的区间，本发明选取0.45，对置信度大于0.45的视为同一人，对置信度小于0.45的视为不同人。

本发明对LFW测试集采用不同方式来进行人脸识别，人脸识别的正确率如下表1所示。

表1不同方式下的人脸识别正确率

	基线模型	特征增强	特征增强+特征归一化
				LFW识别准确率	97.60％	99.15％	99.45％

其中，基线模型是指本发明实施例所使用的深度学习模型为ResNet64模型，特征增强是指利用了本发明中步骤3的特征增强方式，但不进行特征归一化，特征增强+特征归一化就是本发明方法在模型训练中将步骤3和4结合。通过试验对比，证明本发明方法具有更好的人脸识别准确率。

为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在上述参考文献或其它现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。同时，本领域的技术人员能够理解，对本发明的上述实施例能够做出各种修改、变型、以及替换，其均落入如所附权利要求限定的本发明的保护范围内。

Claims (1)

1.一种基于非均匀分布的人脸识别方法，包括：首先使用人脸检测器检测和截取人脸区域，再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作，然后利用深度学习模型对侧脸矫正的人脸图片提取特征；其特征在于：

(1)对深度学习模型进行训练，包括：

设当前深度学习模型提取到一个原始人脸特征集，每个原始人脸特征对应一个人脸类别标签，设人脸类别共有C个；然后执行下面(1.1)和(1.2)；

(1.1)对提取的人脸特征集的每个类别，采用改进的基于最大边界的特征增强技术来生成新特征，具体是：对第j(j＝1,2,…,C)个类别，计算特征中心c_j，根据属于该类别的原始人脸特征和特征中心c_j确定最大的类内差异d_j，进而生成该类别的新特征f_new＝c_j+m×d_j，m为最大边界系数；

(1.2)对原始人脸特征和新特征进行如下的特征归一化处理；特征归一化处理是指：首先学习原始人脸特征集的全局均值和方差，然后使用该均值和方差对原始人脸特征和新特征进行均值为0，方差为1的归一化操作；

利用(1.2)归一化处理后的原始人脸特征和新特征训练分类器和深度学习模型；

(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后，利用训练好的深度学习模型提取原始特征，并进行归一化处理，计算不同原始特征归一化后的特征之间的余弦相似度来判断是否属于同一人。

Images