CN114332986A - 一种基于子空间学习的小样本人脸识别方法 - Google Patents

Abstract

本发明涉及一种基于子空间学习的小样本人脸识别方法，属于人脸识别技术领域。本方法针对小样本人脸识别，提出了基于标签释放和贡献度区分的子空间学习方法，通过对系数矩阵进行加权，对重要的数据点赋予更高的权重，以便子空间学习中重构的样本更加准确，从而学习到更好的变换矩阵或子空间。特别是利用标签释放、线性回归、对角非零约束来学习一个子空间，使得映射空间的同类样本差异减小、异类样本差异增，进而有利于分类准确识别。

Description

一种基于子空间学习的小样本人脸识别方法

技术领域

本发明涉及一种人脸识别方法，具体涉及一种基于子空间学习的小样本人脸识别方法，属于人脸识别技术领域。

背景技术

在网络信息时代，个人信息随时面临着被窃取的威胁，信息泄露、窃取等事件常有发生。如何有效保护个人信息安全尤为重要。

人体生物特征，具备“人人拥有又各不相同”的特点，且不会被遗忘或丢失。因此，利用生物特征能够有效保护个人的信息。常见的用于信息维护的生物特征有虹膜、指纹、静脉、人脸等。其中，虹膜识别技术的优点是可靠、不需要物理接触，但其价格成本高；指纹识别技术的优点是可靠、方便，但有些人体指纹特征少、难成像，其次，指纹痕迹容易被复制；静脉识别技术的优点是安全性高、抗干扰性强，但人的手背静脉随着年龄的变化而变化，采集不便、制造成本高。

人脸特征是一个人区别于他人最主要的特征。人脸图像具有易于采集、获取代价低廉等特点。与虹膜、指纹、静脉等生物特征识别技术相比，人脸识别技术具备下列优势：(1)隐蔽性(2)自然性好(3)非侵犯性(4)代价低廉。

当前，人脸识别技术广泛应用于诸多领域，如在银行办理业务时身份的核实、刷脸支付、打卡签到、视频监控、大型比赛会议活动等，都广泛使用该技术。

目前，人脸识别技术主要包括以下几类：深度学习方法、基于几何特征的方法、基于特征构建与编码的方法、基于稀疏表示的方法、基于字典学习的方法、基于子空间学习的方法。

其中，深度学习方法是一种重要的人脸识别方法。该方法通过模拟生物神经网络，实现对人脸的识别。Taigman等人提出了DeepFace，它利用三维对齐技术对图像进行处理，并将对其的结果送给一个9层的网络进行特征提取，最后利用softmax层进行分类。虽然DeepFace的层数不是太多，但在处理较大的光照变化、姿态变化等人脸识别问题时，效果并不好。针对这类问题，研究人员通过对网络的层次进行加深并改变CNN结构，提出了改进的算法。例如Sun等人提出了DeepID3模型，DeepID3不但引入了inception层，而且还将两个卷积层直接相连。这不仅扩大了感受野，还增加了网络的非线性。

虽然这些方法取得了不错的效果，但是，这些较好效果的产生仍旧依赖于大量的训练样本。例如，DeepFac利用400万张图像学习人脸的表示。基于深度学习的方法存在以下缺点：

(1)深度学习处理小数据集效果不完美

为了获得较好的性能，深度网络需要大量的数据集进行训练。一般来说，标注的数据越多，模型的性能就越好。然而，获得标注良好的数据既昂贵又耗时。在深度学习时代，数据无疑是最有价值的资源。最新研究表明，实现高性能的网络通常需要经过数十万甚至数百万样本的训练。对于许多应用来说，这样大的数据集并不容易获得，即使获得也会花费较高的成本和较多的时间。对于较小的数据集，传统的机器学习算法(如回归、随机森林和支持向量机)通常优于深度网络。

(2)深度学习成本相对较高

目前，深度学习仍是一项非常尖端的技术。如果需要做定制化的事情，一般性的服务是不够的。定制化的事情需要花费大量的人力、物力、财力，例如需要花费大量的财力去搜集数据并给数据标标签、需要花费较多的钱去购买硬件设备、需要花费较多的费用来雇佣研究人员完成特定任务。

(3)深层网络不易解释

深层网络是一个“黑盒子”，到现在为止，研究人员还不能完全理解其“内部”。深层网络虽然具有很高的预测能力，但其可解释性很低。由于缺乏理论基础，超参数和网络的设计也是一个很大的挑战。

对小样本人脸识别问题的研究，始终是人脸识别研究中的热点和难点问题。本领域中，通常指在数据集中人的图片数量相对较少，为小样本数据。比如，数据集中有5人的图像，每人的图像少于20张，可称为小样本数据。

相对于大样本的人脸识别，小样本人脸识别具有其自身特点，具体体现在以下几个方面：(1)更容易获得目标数量的样本；(2)节约存储空间；(3)减小计算花费。但是，在实际应用场合，如刑侦、小区安防等，很难获取到同一个人的大量图像。研究表明，训练样本数目的多少，对于人脸识别的性能有很大影响。许多优秀的人脸识别算法在处理小样本人脸识别问题时，性能急剧下降甚至失效。例如，在追捕犯罪嫌疑人时，有时需要调取监控查看犯罪嫌疑人的照片，而监控拍摄到的照片有可能是在夜晚光照很弱的情况下获得的，或监控拍下的照片相对于正脸照片姿态偏转较大，导致拍摄到的照片与身份证上的比对照片差异非常大。而用于直接进行模型训练的样本或模型微调(这种针对带有预训练的深度学习算法)的样本非常少(这时，预训练样本以及用于微调的样本都与测试样本差异非常大)，这使得算法性能不佳。又例如，当社区晚上发生盗窃案件时，需要通过监控找出小偷，但由于光照的原因，拍摄到的照片与身份证上的照片差异太大，致使算法性能大幅度降低。

发明内容

本发明的目的是针对现有学习方法中缺乏对单个样本的唯一性和贡献度的度量等技术问题，创造性地提出一种基于子空间学习的小样本人脸识别方法。

本方法的创新点在于：针对小样本人脸识别，提出了基于标签释放和贡献度区分的子空间学习方法，利用标签释放、线性回归、对角为零的约束来学习一个子空间，使得映射空间的同类样本差异减小、异类样本差异增大，如图1所示。包括，一是提出了标签释放模型，二是提出了对表示矩阵的加权方法，三是运用了对角为零约束diag(z)＝0，四是提出了新的目标函数优化方法。

有益效果

本方法，对比现有技术，针对光照变化、数据高维性和小样本识别问题，通过正则化的标签松弛线性回归与子空间学习相结合，创造性地提出了一个正则化的标签松弛线性恢复模型，该模型能够拥有更多的自由度拟合标签，同时使不同类样本的之间的距离尽可能地最大化。

附图说明

图1为基于标签释放和贡献度区分的子空间学习方法的技术路线示意图。

图2为本发明方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图2所示，一种基于子空间学习的小样本人脸识别方法，包括以下步骤：

步骤1：将人脸数据图像分为训练样本和测试样本。

步骤2：构建子空间模型。

迁移子空间学习，旨在找到一个变换矩阵，将源数据和目标数据转换成一个公共子空间，其中，源数据和目标数据的分布相同。

目标数据通过公共子空间中的源数据能够很好地重建，表述为：

P^TX_t＝P^TX_sZ (1)

其中，P^T表示变换矩阵，T表示矩阵转置；X_s为源数据，X_t为目标数据，

表示矩阵维度，m表示样本X_s、X_t的维度，n_s和n_t分别表示来自源数据和目标数据的样本个数；Z表示重构矩阵；P为变换矩阵，

d是公共子空间的维数。

将式(1)进一步表示为：

其中，||·||_F表示矩阵的弗罗贝尼乌斯范数；A为Z的等价矩阵，

为保护数据的局部结构信息，在式(2)中加入稀疏表示约束，得到：

s.t.P^TX_t＝P^TX_sZ (4)

其中，||Z||₁是稀疏约束，其作用是保护数据的局部结构，使目标样本能够被源数据的样本重构；α表示稀疏约束的系数；s.t.用于提示后面是约束项。

由于实际中有噪声存在，因此，在模型中加入一个噪声矩阵，使模型更加逼真，则式(3)进一步表示为：

s.t.P^TX_t＝P^TX_sZ+E (6)

其中，||E||₁为噪声项；β表示噪声项的系数；E为噪声矩阵，

d是公共子空间的维数。

然后，引入最小二乘回归，表示为式(7)：

s.t.P^TX_t＝P^TX_sA+E (8)

其中，φ(P,Y,X_s)表示线性回归的目标函数；A为Z的等价矩阵；E为噪声矩阵。

传统的线性回归方法假设稀疏矩阵能够准确转化为二元标签矩阵，即：

其中，||·||_F表示矩阵的弗罗贝尼乌斯范数。

但是，传统的最小二乘回归存在一些问题，例如无法区分类别内的差异、无法扩大类别之间的差异等。由于变换矩阵P的自由度很小，因此，本发明通过设计一个灵活的矩阵，既能够扩大不同类别之间的边界，又能够最小化两个域的分布差异，具体如下：

引入一个非负标签松弛矩阵M，将刚性二元标签矩阵释放到松弛变量矩阵中，标签释放后的标签矩阵如下：

Y^o＝Y+Y⊙M (10)

其中，Y^o表示标签释放后的标签矩阵，Y表示样本二值标签矩阵，⊙表示哈达玛积。该标签释放模型能够增加类间差异，能够区分分类间差异。

当标签释放后，模型表达如下：

s.t.P^TX_t＝P^TX_sZ+E,M≥0 (12)

其中，||·||_F表示矩阵的弗罗贝尼乌斯范数。

在样本重构时，不同类型的样本作用不同。例如，噪声较小的图像在重建过程中的作用较大，而噪声较大的图像在重建过程中的作用较小。因此，在模型中进一步引入一个加权矩阵W，则式(11)转化为：

s.t.P^TX_t＝P^TX_sZ+E,M≥0 (15)

为防止数据样本被自身表示，在模型中引入一个对角为零的约束diag(Z)，diag(Z)＝0，即，数据点矩阵是一个自我表达的字典，其中每个点都能够写成其它点的线性组合。因此，最终模型如下：

但是，由于式(16)是非凸的，不易求解。为更容易的求出式(16)中的问题，每次需要固定其他变量来更新一个变量，因此，将式(16)进一步转化为：

s.t.P^TX_t＝P^TX_sA+E,A＝Z-diag(Z),A^T1＝1,M≥0 (19)

步骤3：优化求解步骤2所得模型，得到变换矩阵P。

具体地，将式(18)通过增广拉格朗日乘子法，确定目标函数的拉格朗日函数Δ进行求解：

其中，G₁、G₂、G₃均为拉格朗日乘子；λ和δ表示对应项的系数；A^T为Z的等价矩阵，T表示矩阵转置。

通过不精确拉格朗日乘子法(Inexact Augmented Lagrange Multiplier，IALM)算法执行，通过优化式(20)更新P：

其中，E^T表示噪声矩阵，

表示源数据，

表示目标数据，

表示拉格朗日乘子，Y^oT表示灵活的变量矩阵，T表示矩阵转置；

进一步地，式(22)简化为以下形式：

P＝Q^T·[Q·Q^T]^-1·F (23)

Q＝X_sX_s ^T+δX_tX_t ^T-δX_sAX_t ^T-δX_tA^TX_s ^T+δX_sAA^TX_s ^T (24)

F＝X_sY^oT+δX_tE^T+X_sAG₁ ^T-δX_sAE^T+X_tG₁ ^T (25)

其中，F、Q、Q^T是为了简化式(22)，分别代表对应的项。

步骤4：将测试样本映射到新的子空间，得到映射后的测试样本。具体如下：

X_s＝P^TX_s (26)

X_t＝P^TX_t (27)

其中，

表示源数据映射后的测试集，

表示目标数据映射后的测试集。

步骤5：利用分类器，对映射后的测试样本进行映射。

具体地，使用最近邻的分类器，对测试样本进行分类。

至此，就完成了基于子空间学习的小样本人脸识别。

本方法中，引入的标签释放模型不仅可以增加类之间的差异，还可以区分不同类之间的不同。例如，设来自X_S前三个样本x₁、x₂和x₃的样本类别y₁、y₂和y₃分别是第一、第二和第三类，则对应的二元标签矩阵为：y₁＝[1 0 0 … 0]^T、y₂＝[0 1 0 … 0]^T、y₃＝[0 0 1 …0]^T，对应的二元标签矩阵为：

由式(28)可知，任意两类样本之间的距离为

非负矩阵M为：

因此，标签矩阵Y^o在标签释放后表示为：

其中，m_ij表示标签释放矩阵中的元素。m_ij≥0作为约束，其作用是将不同类样本之间的距离扩大。

其中，d(i,j)表示样本i与样本j之间的欧几里得距离。

由于元素m_ij是非负的，且并未所有的元素都为0，d(1,2)、d(1,3)和d(2,3)不小于

即，类间距离从原来的

扩大到

从式(31)、式(32)、式(33)看出，在大多数情况下d(1,2)不等于d(1,3)或d(2,3)。也即，可以通过标签释放来区分类间差异。因此，引入标签释放模型，能够扩大类间的差异，并且区分类间差异。

Claims (3)

1.一种基于子空间学习的小样本人脸识别方法，其特征在于，包括以下步骤：

步骤1：将人脸数据图像分为训练样本和测试样本；

步骤2：构建子空间模型，包括以下步骤：

迁移子空间学习旨在找到一个变换矩阵，将源数据和目标数据转换成一个公共子空间，源数据和目标数据的分布相同；构建模型如下：

s.t. P^TX_t＝P^TX_sA+E,A＝Z-diag(Z),A^T1＝1,M≥0 (2)

其中，其中，P^T表示变换矩阵，T表示矩阵转置；X_s为源数据，X_t为目标数据，

表示矩阵维度，m表示样本X_s、X_t的维度，n_s和n_t分别表示来自源数据和目标数据的样本个数；Z表示重构矩阵；P为变换矩阵，

d是公共子空间的维数；||·||_F表示矩阵的弗罗贝尼乌斯范数；A为Z的等价矩阵，

A^T为Z的等价矩阵，T表示矩阵转置；||Z||₁是稀疏约束，其作用是保护数据的局部结构，使目标样本能够被源数据的样本重构；α表示稀疏约束的系数；s.t.用于提示后面是约束项；||E||₁为噪声项；β表示噪声项的系数；E为噪声矩阵，

d是公共子空间的维数；M为非负标签松弛矩阵；Y^o表示标签释放后的标签矩阵，Y表示样本二值标签矩阵，⊙表示哈达玛积，该标签释放模型能够增加类间差异，能够区分分类间差异；W为加权矩阵；diag(Z)表示对角为零的约束；

步骤3：优化求解步骤2所得模型，得到变换矩阵P；

步骤4：将测试样本映射到新的子空间，得到映射后的测试样本；

步骤5：利用分类器，对映射后的测试样本进行映射。

2.如权利要求1所述的一种基于子空间学习的小样本人脸识别方法，其特征在于，步骤3中，将式(1)通过增广拉格朗日乘子法，确定目标函数的拉格朗日函数Δ进行求解：

其中，G₁、G₂、G₃均为拉格朗日乘子；λ和δ表示对应项的系数；A^T为Z的等价矩阵，T表示矩阵转置；

通过不精确拉格朗日乘子法算法执行，通过优化式(3)更新P：

其中，E^T表示噪声矩阵，

表示源数据，

表示目标数据，

表示拉格朗日乘子，Y^oT表示灵活的变量矩阵，T表示矩阵转置；

将式(5)简化为以下形式：

P＝Q^T·[Q·Q^T]^-1·F (6)

Q＝X_sX_s ^T+δX_tX_t ^T-δX_sAX_t ^T-δX_tA^TX_s ^T+δX_sAA^TX_s ^T (7)

F＝X_sY^oT+δX_tE^T+X_sAG₁ ^T-δX_sAE^T+X_tG₁ ^T (8)

其中，F、Q、Q^T是为了简化式(5)，分别代表对应的项。

3.如权利要求1所述的一种基于子空间学习的小样本人脸识别方法，其特征在于，步骤4所述将测试样本映射到新的子空间得到映射后的测试样本，具体为：

X_s＝P^TX_s (8)

X_t＝P^TX_t (10)

其中，

表示源数据映射后的测试集，

表示目标数据映射后的测试集。

Images