CN112395923A - 一种基于特征扩充的单样本人脸识别方法 - Google Patents

Abstract

本发明属于人脸识别技术领域，涉及一种基于特征扩充的单样本人脸识别方法。本发明基于迁移学习，采用了深度卷积神经网络提取具有鲁棒性的人脸特征，提出了一种特征空间的样本扩充方法：首先，基于迁移习，在多样本公共人脸集上训练一个深度卷积神经网络，并应用于目标人脸数据集，用预训练好的模型提取人脸特征；再利用辅助数据集的类内差异在特征空间扩充数据，然后用扩充后的数据训练分类器，获得更好的识别性能。同时这种基于特征空间的样本扩充方法克服样本不足的问题，比一般的图像域的数据增强更具潜力，提高了模型的识别率。

Description

一种基于特征扩充的单样本人脸识别方法

技术领域

本发明属于人脸识别技术领域，涉及一种基于特征扩充的单样本人脸识别方法。

背景技术

由于人脸识别的实际应用越来越广泛，人脸识别成为了一个热门的研究方向。大量的人脸识别算法被提出，但是大部分算法需要充分的有代表性的训练数据才能达到不错的性能，而事实上，收集大量训练样本是非常困难的，这也是当前人脸识别技术面临的主要挑战之一。在一些特殊的场合，如法律实施、护照验证、身份验证等，每人只能得到一幅图像。特别是大规模识别应用中，如果要为每个人收集更多的训练样本，势必会造成极其昂贵的成本，因此只能用这些有限的图像去训练人脸识别系统。在这种情况下，称为单样本人脸识别。此时很多现有算法识别效果不够理想，识别率低甚至有些根本不适合。对于像LDA等一系列需要考虑类内差异的算法要求每类样本至少有两个训练样本。当每个人只有一个训练样本时，类内散度矩阵不存在，导致该算法在单样本下无法使用。受现实应用需求的刺激，单样本人脸识别研究引起了相关研究小组和领域专家的关注，成为了人脸识别领域最新的一个研究热点。

虽然单样本人脸识别的准确率还不够理想，相比多样本人脸识别，单样本有其自身的独特优势，也是人脸识别走向应用的终极目标，具有极强的实际意义：(1)便于采集(2)节省存储成本(3)提高预处理速度(4)提高识别速度。

人脸识别作为一种应用系统，走向实用是其最终目标。在实际应用中，由于条件限制通常只能获得每人一张照片作为训练样本，如依靠居民身份证、护照等单独进行验证。另一方面，从系统运行成本来分析，对于大型的系统而言不可能对每个人采集大量样本。因此，如何有效地解决单样本条件下的人脸识别问题是人脸识别系统走向实际应用的一个重要研究课题。

解决这一问题的方法大致可以分为三类：(1)抽取鲁棒性的特征，如投影组合主成分分析(PC2A)，二维的主成分分析(2DPCA)，卷积神经网络(FaceNet)(2)生成虚拟样本，比如基于低秩分解的方法，基于奇异值分解(SVD)的方法，基于3D形变模型(3DMM)的方法(3)generic learning(一般的学习)，如稀疏变异字典学习(SVDL)。这些方法并不都适用于单样本人脸识别。由于每类只有一个训练样本，缺少类内差异，使得无法预测测试图像的类内变化，这严重影响了单样本人脸识别的性能。

已有的特征提取方法中，卷积神经网络在有大量训练样本时，表现出了不错的性能。在此基础上，可以考虑迁移学习，利用多样本人脸数据集作为辅助数据集，对网络进行预训练，然后用于目标数据集，提取鲁棒性的特征。进一步，可以挖掘更多的特征空间的语义信息，提高单样本人脸识别系统的识别性能。

发明内容

针对上述存在问题或不足，为了克服传统人脸识别方法在训练数据不足情况下识别率低的缺陷，使单样本人脸识别系统能够利用每类单个样本训练鲁棒性的模型。本发明提供了一种基于特征扩充的单样本人脸识别方法。

本发明由以下步骤实现，其技术框图见附图1。

技术框图说明：首先，图的上半部分是训练过程的第一阶段模型预训练。模块深度卷积神经网络(DCNN)后面接了一个L2 normalization，使得将DCNN的输出映射到一个超球面特征空间上。这里，把L2normalization的输出作为提取的人脸特征。首先以分类任务在Multi-Sample(多样本数据集)训练这个网络。假设用I表示输入图像，网络学习到的人脸特征X∈Rd可表示为

其中

表示预训练模型中从输入层到L2 normalization层的前向运算操作。d是X的维度，

将输入I映射到d维的欧式空间，L2 normalization使得

其次，图的下半部分是训练过程的第二阶段，包括参数迁移、特征空间样本扩充和模型微调。一般来说，迁移学习的做法是：一个预训练好的模型直接在目标数据集上微调。但由于是单样本训练集，这种直接做法效果不是很好。为了解决这个问题，本发明在特征空间做了一个样本扩充，然后对模型微调。从图中可以看出，一般数据集(Generic set)和单样本数据集(Gallery set)同时输入预训练模型，经过L2 normalization后得到一般从数据集提取的特征(Generic features)和单样本数据集提取的特征(Gallery features)，然后用Generic features的类内变化扩充单样本数据集的特征，最后用扩充后的特征微调最后一层softmax分类层。

具体步骤如下：

步骤1、在训练或测试前，先要对所有人脸图像做预处理，这里利用了MTCNN模型对人脸做了检测对齐，对齐后的图像尺寸resize为160×160(resize后的这个分辨率可根据具体情况调整)，并进行归一化。

步骤2、基于迁移学习，利用多样本数据集CASIA-WebFace预训练深度卷积神经网络，学习一个人脸嵌入空间。这里DCNN可以用当下主流网络VggNet、ResNet或者GoogleNet等。整个训练框图见附图1。

由于深度卷积神经网络的训练大量数据，没办法直接用来解决单样本人脸识别问题。所以本发明用了迁移学习，在一个多样本人脸数据集上预训练模型。迁移学习利用了一个特征场景的知识来帮助另外一个应用场景。为了学习一个紧凑的嵌入特征空间，这里的深度卷积神经网络架构用的是inception-resnet-v1，它结合inception单元和残差结构的优势。除了加入的L2 normalization和最后一层网络的神经元数不同，其他部分和inception-resnet-v1是一样的。其中最后一层网络的神经元数等于待识别目标类别总数。DCNN的完整结构见附图2。模型训练用的人脸数据集是CASIA-WebFace，这个数据集包含10575个人，总共493456张人脸图像，本发明将L2normalization的输出作为人脸表示特征。模型预训练用了交叉熵损失函数：-∑kyklogy′k，其中yk表示第k个样本的真实标签，y′k表示第k个样本的预测标签。

步骤3、模型预训练好后，将其应用到目标数据集，提取到目标训练集(galleryset)和一般集合(genericset)的人脸特征，将图像输入预训练好的模型，取网络L2normalization的输出即得到人脸特征，分别记作gallery features和genericfeatures。

步骤4、特征空间样本扩充。为了进一步提高模型的识别准确率，本发明提出了一种在特征空间扩充样本的方法。一般的样本扩充方法是在图像域进行的，而本发明提出在特征空间进行样本扩充，这是一种更加有效充满潜力的方法。这种方法通过在特征空间用一般数据集特征的类内方差扩充单样本集特征。具体实现方法主要包含两个步骤：

(1)首先，需要从一般数据特征集中为单样本特征集的每一类对象选择一个子集，用来扩充每一类单样本特征，选择的原则是基于单样本特征和一般数据集特征的相似度。因为相似的人脸在特征空间有着相似特征分布。因此，用相似度来选择这个子集。假设一般数据集特征中有m1类不同人脸的特征，每一类有n种差异特征样本。单样本集特征中有m2类不同人脸的特征，每一类只有一个特征样本。用F表示一般数据集特征，Fi表示一般数据集特征的第i类特征，Fij表示第i类的第j个特征样本，其中i∈[1，m1]，j∈[1，n]。令f表示单样本集特征，fi表示第i类人脸特征，i∈[1，m2]，本发明用欧几里得距离来衡量fi和Fi之间的相似度。计算如下：

其中

表示Fi的中心特征，d(fi，Fi′)表示fi和Fi′之间的相似度，它的值越小相似度越大。由于不同类别特征可能包含不同的脸部变化，如脸部姿态、关照和遮挡。为了尽可能扩充更多的特征，从F中选择k类特征作为后面扩充fi的一个子集。用Di表示fi与F的相似度集合：

对Di从小到大排序，并选出前k个相似度对应的F的特征类别。用Si表示为fi选出的k类特征，也就是为每类单样本特征选择的特征子集，Sij表示Si中的第j类特征，

表示Si中的第j类特征的中心特征。Si，Sij和

可表示如下：

Si＝{Si1，Si2，...，Sik，}

Sij＝{Sij1，Sij2，...，Sijn，}

(2)其次，用Si来扩充单样本特征fi，其中Si中有k类特征，每一类有n个样本。用Sij的类内变化扩充fi。将人脸特征看作是高维空间的向量，扩充的思想是：将集合Sij的中心特征

作为基准特征，Sij随着

向fi旋转，使得旋转后

与fi对应，把旋转后的特征作为fi的扩充特征。由于高维向量旋转的复杂度高，这里用矢量相加来实现这个过程，对于fi和Sij，首先求解一个补偿向量Vij，使得：

||Vij||2＝1

其中，补偿向量和人脸特征向量在同一超球面特征空间上。β变量是缩放因子，根据上面两个式子，可以求出Vij的唯一解。用下式扩充单样本特征fi。

其中，i∈[1，m2]，j∈[1，k]以及h∈[1，n]。Efijh表示第i类单样本特征由Si的第j类扩充得到的第h个特征样本。

步骤5、通过这种方法，在特征空间对样本进行了扩充，然后用扩充后的特征样本训练网络的最后一层softmax分类器。然后将训练好的模型用于单样本人脸识别。

本发明的有益效果为，本发明基于迁移学习，采用了深度卷积神经网络提取具有鲁棒性的人脸特征，提出了一种特征空间的样本扩充方法：首先，基于迁移习，在多样本公共人脸集上训练一个深度卷积神经网络，并应用于目标人脸数据集，用预训练好的模型提取人脸特征；再利用辅助数据集的类内差异在特征空间扩充数据，然后用扩充后的数据训练分类器，获得更好的识别性能。同时这种基于特征空间的样本扩充方法克服样本不足的问题，比一般的图像域的数据增强更具潜力，提高了模型的识别率。

附图说明

图1为本发明的完整训练框图；

图2为深度卷积神经网络(DCNN)的完整结构；

图3为实验所用的三个数据集的部分展示；

图4为特征扩充算法的超参数分析实验结果。

具体实施方式

下面结合具体的实验来说明本发明的有效性。

实验环境：Intel i7-6700HQ处理器，GTX 1080Ti显卡，Linux操作系统；

参数设置：模型预训练时，初始学习率0.01，并以0.1的衰减每50个epoch衰减一次；优化器采用Adam。特征扩充算法的超参数k＝3，可视具体应用调整；

数据集：采用的多样本数据集是CASIA-WebFace，全部用于模型预训练。单样本数据集训练集(或者有限样本训练集)需结合应用采集数据；

网络架构：本发明是基于inception-resnet-v1实现，采用其他主流的网络架构(如resnet系列和vgg系列)也是可以的；

具体实施方式如下所示：

A、对所有图像进行预处理(主要包括人脸检测对齐以及归一化)

B、在多样本人脸数据集CASIA-WebFace上预训练分类模型

C、将预训练模型应用到单样本训练集，提取单样本训练集的人脸特征。

D、在特征空间扩充单样本特征，并用扩充后的特征微调最后一层softmax分类器。

E、将测试数据集输入训练好的网络中得到识别结果

本发明在ORL、LFW、FERET三个数据集上进行了单样本训练集识别测试。其中ORL共40个人，每人10人脸图像，每人选择一张作为训练，剩余作为测试。从LFW数据集中样本数大于10的对象中选择前50人用于训练测试，每人随机选择一张图作为训练集，剩余作为测试集。FERET包含200人，每人7个样本，每人选择一张正常关照的正脸作为训练集，剩余作为测试。三个数据库的部分人脸图像见附图3

本发明的识别结果和时间复杂度如下表1

表1 不同数据集上的单样本人脸识别率(％)和每张图平均运行时间(ms)

数据集	准确率(％)	时间(ms)
			ORL	97.8	19.1
LFW	98.8	20.3
			FERET	93.2	19.2

另外，为了说明特征空间样本扩充的有效性，本发明还进行了如下实验：在不同分类器下(softmax分类器和最近邻分类器NN)测试了进行样本扩充和不进行样本扩充在三个数据集的识别结果，训练和测试样本的设置和上面一样，均为的单个训练样本下的人脸识别。结果如表2。

表2 不同数据集上的不同分类器下进行特征扩充和不进行特征扩充的单样本人脸识别率(％)

从表中可以看出在softmax分类器下进行特征扩充分别提高了4.2％，3.9％和9.7％的识别率。在最近邻NN分类器下进行特征扩充分别提高了1.1％，1.1％和3.1％的识别率。这说明了提出的特征空间的样本扩充算法是非常有效的。

最后对特征空间样本扩充算法的超参数k进行分析，在三个人脸数据集ORL，FERET，LFW上测试不同k的取值对于识别率的影响，结果见附图4，从图中可以看出k的不同取值对于识别率的影响很小，说明了本发明的方法是很稳定的。

Claims (1)

1.一种基于特征扩充的单样本人脸识别方法，其特征在于，包括以下步骤：

步骤1、对所有人脸图像做预处理：对人脸进行检测对齐，统一对齐后的图像分辨率，并进行归一化；

步骤2、基于迁移学习，利用已知的多样本人脸数据集预训练深度卷积神经网络DCNN模型，学习一个人脸嵌入空间；DCNN最后一层全连接前加入L2 normalization，L2normalization的输出将人脸图像映射到超球面特征空间，并设定最后一层网络的神经元数等于待识别目标类别总数；模型预训练用了交叉熵损失函数：-∑kyklogy′k，其中yk表示第k个样本的真实标签，y′k表示第k个样本的预测标签；

步骤3、模型预训练好后，将其应用到目标数据集，所述目标数据集为根据实际需求采集的单样本数据集和一般数据集，将单样本数据集和一般数据集同时输入预训练好的模型，取网络L2 normalization的输出即得到人脸特征，分别记作单样本集特征和一般数据集特征；

步骤4、特征空间样本扩充，用一般数据集特征的类内方差扩充单样本集特征，具体实现方法为：

a)从一般数据特征集中为单样本特征集的每一类对象选择一个子集，用来扩充每一类单样本特征，选择的原则是基于单样本特征和一般数据集特征的相似度，假设一般数据集特征中有m1类不同人脸的特征，每一类有n种差异特征样本，单样本集特征中有m2类不同人脸的特征，每一类只有一个特征样本，用F表示一般数据集特征，Fi表示一般数据集特征的第i类特征，Fij表示第i类的第j个特征样本，其中i∈[1，m1]，j∈[1，n]，令f表示单样本集特征，fi表示第i类人脸特征，i∈[1，m2]，用欧几里得距离来衡量fi和Fi之间的相似度，计算如下：

其中

表示Fi的中心特征，d(fi，Fi′)表示fi和Fi′之间的相似度，它的值越小相似度越大，然后从一般特征集F中选择k类特征作为后面扩充fi的一个子集，用Di表示fi与F的相似度集合：

对Di从小到大排序，并选出前k个相似度对应的F的特征类别，用Si表示为fi选出的k类特征，也就是为每类单样本特征选择的特征子集，Sij表示Si中的第j类特征，

表示Si中的第j类特征的中心特征，Si，Sij和

表示如下：

Si＝{Si1，Si2，...，Sik，}

Sij＝{Sij1，Sij2，...，Sijn，}

b)用Si来扩充单样本特征fi，其中Si中有k类特征，每一类有n个样本，用Sij的类内变化扩充fi，将人脸特征看作是高维空间的向量，用矢量相加来实现特征扩充这个过程，对于fi和Sij，首先求解一个补偿向量Vij，使得：

||Vij||2＝1

其中，补偿向量和人脸特征向量在同一超球面特征空间上，变量β是缩放因子使得等式成立，根据上面两个式子，可以求出Vij的唯一解，用下式扩充单样本特征fi：

其中，i∈[1，m2]，j∈[1，k]以及h∈[1，n]，Efijh表示第i类单样本特征由Si的第j类扩充得到的第h个特征样本；

步骤5、用扩充后的特征样本训练网络的最后一层softmax分类器，然后将训练好的模型用于单样本人脸识别。

Images