CN111325162A - 基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法 - Google Patents

Abstract

本发明提供了一种基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法，包括如下步骤：输入原始训练样本和待测人脸图像，将原始训练样本中的图像和待测人脸图像进行归一化预处理，再将原始训练样本的图像分别进行几何对称变换和添加随机噪声构造虚拟训练样本；分别计算原始训练样本和虚拟训练样本在稀疏表示待测人脸图像时的每一类训练样本的稀疏系数并稀疏重构该类训练样本；分别将原始训练样本和虚拟训练样本在稀疏表示待测人脸图像时的误差通过适当的函数将其投射为对应训练样本的权重；分别计算待测人脸图像与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权；得到加权后的残差值最小的类别即为人脸识别结果。

Description

基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法

技术领域

本发明涉及图像识别技术领域，更具体地，涉及一种基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法。

背景技术

人脸识别技术，是生物识别技术研究领域中重要的构成部分。人脸是人们进行情感表达的重要器官，同时也是对人们进行身份识别的重要载体，通过人们的面部特征可以获取其身份、种族等重要信息，亦可从其复杂的表情变化中获悉其性格和情绪状况。鉴于人脸识别技术拥有很好的便捷性、成本较低、非接触性且容易隐藏等优越性，该方法在用户身份识别、计算机视觉研究、媒体数据检索等多领域有着十分广泛的应用前景，例如：智能门禁、罪犯追踪和反恐、视频监控、智能身份证、信用卡户主的身份验证等。人脸识别技术是国家安防系统的重要技术手段，是法律部门追踪和打击罪犯人员的有效途径，在反恐活动、毒品追踪等领域发挥着重要作用，其作为最容易隐蔽使用以及非接触式的技术手段，同时具有较好的稳定性以及可靠性，受到了越来越多的学者的追捧与支持。

人脸的线条是柔性的，作为典型的非刚性体，人脸识别系统在实际应用场景中容易受到来自表情、光照、遮挡等噪声的不利影响，加上年龄引起的面部特征不断变化，给人脸识别技术带来了接连不断的挑战。在不可控的实际场景中，系统的识别率会急剧下降，因此需要寻求更优的识别算法，来提高人脸识别系统的鲁棒性。压缩感知理论是近年来快速发展的理论，早期时段主要用于从低维的信号中恢复高维的原始信号，随后被广泛应用于信号处理领域，基于压缩感知的算法，最重要的前提条件是数据信号本身具有稀疏性，即可被压缩。随着人们对稀疏表示方法的深度开发及研究，其被广泛用于图像的特征提取、数据降维、信号编码等诸多领域，获得了不错的研究成果。在人脸识别领域中，与传统的人脸识别技术相比，基于稀疏表示的人脸识别方法Sparse Representation Classification(SRC)具有较好的鲁棒性，得到了十分广泛的推广应用，其突出贡献在于人脸识别对于特征提取的要求较低，能够在含有表情变化、光照不均、图片遮挡等非理想条件下进行良好识别。但是，目前经典的SRC方法中，仍然存在许多尚未解决的问题，例如，由于训练样本不足导致识别准确率不高以及由于极端值的存在影响识别的鲁棒性和准确率。

因此，有必要提供一种新的人脸识别方法来解决上述问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法，其包括如下步骤：

步骤S1，输入原始训练样本和待测人脸图像，将原始训练样本中的图像和待测人脸图像进行归一化预处理，再将原始训练样本的图像分别进行几何对称变换和添加随机噪声构造虚拟训练样本；

步骤S2，计算原始训练样本在稀疏表示待测人脸图像时的每一类训练样本的稀疏系数并稀疏重构该类训练样本，相应的，计算虚拟训练样本在稀疏表示待测人脸图像时的每一类训练样本的稀疏系数并稀疏重构该类训练样本；

步骤S3，分别将原始训练样本和虚拟训练样本在稀疏表示待测人脸图像时的误差通过适当的函数将其投射为对应训练样本的权重；

步骤S4，分别计算待测人脸图像与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权；

步骤S5，得到加权后的残差值最小的类别即为人脸识别结果。

优选的，在步骤S1中，设定原始训练样本为第一训练样本y₁，其包括m类训练样本，每类由n张训练人脸图像组成，原始训练样本的图像进行几何对称变换构造出的虚拟训练样本为第二训练样本y₂和第三训练样本y₃，原始训练样本的图像进行添加随机噪声构造出的虚拟训练样本为第四训练样本y₄，其中第二训练样本y₂和第三训练样本y₃的处理过程为：

第二训练样本y₂的左半部分取第一训练样本y₁的左半部分，右半部分是将第一训练样本y₁的左半部分翻转到右半部分而得；

第三训练样本y₃的右半部分取第一训练样本y₁的右半部分，左半部分是将第一训练样本y₁的右半部分翻转到左半部分而得。

优选的，构造出的虚拟训练样本y₂、y₃、y₄与原始训练样本y₁之间满足以下关系：

y₄(i,j)＝y₁(i,j)+a(γ-b)y₁(i,j)

其中i和j分别表示坐标X轴和Y轴，r和c分别表示每张人脸图像的高和宽，在矩阵里分别表示行数和列数，a和b各表示一个常量，γ是在0～1范围内的任意一个随机数。

优选的，在步骤S2中，设定待测人脸图像为x，第k训练样本y_k中的第e类训练样本为y_ke，第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量为α_ke，那么第k训练样本y_k中的第e类训练样本y_ke稀疏重构后为y_keα_ke，其中e＝1,2,3,...,m-1,m，k＝1,2,3,4；

α_ke的计算公式推导过程如下所示：

记y_ke＝[v_ke1,v_ke2,...,v_ken]表示第k训练样本的第e类训练样本中的n张人脸图像，其中v_ken表示第k训练样本的第e类训练样本中的第n张人脸图像经降维处理后得到的列向量，y_k＝[y_k1,y_k2,...,y_km]表示第k训练样本的完备字典矩阵，则根据公式x＝y_kα_k可得出待测人脸图像x在y_k的完备字典矩阵中表示为：

故

由于y_k一般是一个奇异矩阵，不能采用简单的方式对编码系数向量α_k进行求解，即α_k＝y_k ^-1x可以使用最小二乘法得出向量α_k的近似解，如公式：α_k＝(x^Tx+λI)^-1x^Ty_k其中λ是规则化参数，I是与矩阵x^Tx维数相同的单位矩阵，

故

其中e＝1,2,3,...,m-1,m，k＝1,2,3,4，

表示为第k训练样本的第e类训练样本的第n张图像的稀疏系数值。

优选的，在步骤S3中，权重ω_k的计算公式为：

其中

ω_k表示第k训练样本的权重，y_k表示第k训练样本，α_k表示第k训练样本的稀疏系数向量。

优选的，在步骤S4中，待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权的计算公式为：

其中e＝1,2,3,...,m-1,m，y_ke表示第k训练样本y_k中的第e类训练样本，α_ke表示第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量，ω_k表示第k训练样本的权重，残差r_e(x)用来表示待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的偏离程度，即判断其相似程度，残差的总个数为m。

优选的，在步骤S5中，加权后的残差值r_e(x)最小的类别即为人脸识别结果，判断规则为：残差值r_e(x)越大，偏离程度越严重，说明越不相似；残差值r_e(x)越小，偏离程度越小，说明越相似，其对应的待测人脸图像所属的类别为：identify(e)＝argmin r_e(x)。

与相关技术相比，本发明提供的基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法具有以下有益效果：

一、相比于传统的基于几何特征、基于子空间的人脸识别方法，本发明的人脸识别方法在复杂的人脸表情、姿态和光照的变化情况下可以表现出良好性能，能够明显提升人脸识别算法的鲁棒性和识别准确率；

二、当每类样本数量较少或训练样本数量较少的情况下，本发明采用了随机添加噪声、几何对称变换的方法构造虚拟训练样本，解决了因训练样本不足导致低识别率的情况；

三、相比于单一训练样本的情况，采用稀疏表示的方法进行人脸识别，只是用单一的训练样本来表示待测人脸图像进行识别，本发明采用得到的虚拟训练样本与原始训练样本进行加权的方式，最后用加权的结果来作为新的训练样本来表示待测人脸图像进行识别，降低了由于极端值的存在对人脸识别鲁棒性的影响，进一步明显的提升了人脸识别算法的鲁棒性和准确性；

四、当待测人脸图像中含有光照不均、面部遮挡等噪声存在时，采用整张人脸参与人脸识别过程会产生消极影响，本发明在原有的基础上引入了残差融合的方法用以提高识别的鲁棒性和准确率。

附图说明

图1是本发明提供的基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法流程图；

图2是以FERET人脸图像数据库作为原始训练样本与进行几何对称变换构造出的虚拟训练样本的对比图；

图3是以FERET人脸图像数据库作为原始训练样本与进行添加随机噪声构造出的虚拟训练样本的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1，本发明提供了一种基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法，包括以下步骤：

步骤S1，输入原始训练样本和待测人脸图像，将原始训练样本中的图像和待测人脸图像进行归一化预处理，再将原始训练样本的图像分别进行几何对称变换和添加随机噪声构造虚拟训练样本；

具体地，请结合参阅图2和图3，本发明以FERET人脸图像数据库作为原始训练样本，设定原始训练样本为第一训练样本y₁，其包括m类训练样本，每类由n张训练人脸图像组成，每张训练人脸图像其实就是一个二维矩阵，可用r和c分别代表人脸图像数据库中每张人脸图像的高和宽。

根据公式

对人脸图像进行归一化预处理，其中x_i表示人脸图像的像素点值，min(x)和max(x)分别表示像素点值得的最小值和最大值，归一化后的图像效果与原图像一致，只是像素点的取值范围由原来的0～255已经转化为0～1之间了，这个对于后续的人脸识别计算过程有比较大的优势方便处理。

原始训练样本y₁的图像进行几何对称变换构造出的虚拟训练样本为第二训练样本y₂和第三训练样本y₃，原始训练样本y₁的图像进行添加随机噪声构造出的虚拟训练样本为第四训练样本y₄，其中第二训练样本y₂和第三训练样本y₃的处理过程为：

第二训练样本y₂的左半部分取第一训练样本y₁的左半部分，右半部分是将第一训练样本y₁的左半部分翻转到右半部分而得；

第三训练样本y₃的右半部分取第一训练样本y₁的右半部分，左半部分是将第一训练样本y₁的右半部分翻转到左半部分而得。

构造出的虚拟训练样本y₂、y₃、y₄与原始训练样本y₁之间满足以下关系：

y₄(i,j)＝y₁(i,j)+a(γ-b)y₁(i,j)；

其中i和j分别表示坐标X轴和Y轴，r和c分别表示每张人脸图像的高和宽，在矩阵里分别表示行数和列数，a和b各表示一个常量，γ是在0～1范围内的任意一个随机数。

构造出的虚拟训练样本y₂、y₃、y₄与原始训练样本y₁的结构相同，均包括m类训练样本，每类由n张训练人脸图像组成。

步骤S2，计算原始训练样本在稀疏表示待测人脸图像时的每一类稀疏系数并稀疏重构该类训练样本，相应的，计算虚拟训练样本在稀疏表示待测人脸图像时的每一类稀疏系数并稀疏重构该类训练样本；

由于原始训练样本y₁与虚拟构造出的三个训练样本y₂、y₃和y₄的结构一致，则四个训练样本可以采用相同的方法进行稀疏重构。

设定待测人脸图像为x，第k训练样本y_k中的第e类训练样本为y_ke，第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量为α_ke，那么第k训练样本y_k中的第e类训练样本y_ke稀疏重构后为y_keα_ke，其中e＝1,2,3,...,m-1,m，k＝1,2,3,4；

α_ke的计算公式推导过程如下所示：

记y_ke＝[v_ke1,v_ke2,...,v_ken]表示第k训练样本的第e类训练样本中的n张人脸图像，其中v_ken表示第k训练样本的第e类训练样本中的第n张人脸图像经降维处理后得到的列向量，y_k＝[y_k1,y_k2,...,y_km]表示第k训练样本的完备字典矩阵，则根据公式x＝y_kα_k可得出待测人脸图像x在y_k的完备字典矩阵中表示为：

故

由于y_k一般是一个奇异矩阵，不能采用简单的方式对编码系数向量α_k进行求解，即α_k＝y_k ^-1x可以使用最小二乘法得出向量α_k的近似解，如公式：α_k＝(x^Tx+λI)^-1x^Ty_k其中λ是规则化参数，I是与矩阵x^Tx维数相同的单位矩阵，

故

其中e＝1,2,3,...,m-1,m，k＝1,2,3,4，

表示为第k训练样本的第e类训练样本的第n张图像的稀疏稀疏值。

步骤S3，分别将原始训练样本和虚拟训练样本在稀疏表示待测人脸图像时的误差通过适当的函数将其投射为对应训练样本的权重；

在该步骤中，考虑到不同的训练样本(原始训练样本和虚拟训练样本)在进行分类判别时有着不同的贡献，因此应该具有不同的决策权重，权重ω_k的计算公式为：

其中

ω_k表示第k训练样本的权重，y_k表示第k训练样本，α_k表示第k训练样本的稀疏系数向量。

根据上述计算公式，变换k的取值，即可计算出不同训练样本的权重，例如：

当k＝1时，则第一训练样本y₁的权重

当k＝2时，则第二训练样本y₂的权重

依次类推。

步骤S4，分别计算待测人脸图像与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权；

具体地，待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权的计算公式为：

其中e＝1,2,3,...,m-1,m，y_ke表示第k训练样本y_k中的第e类训练样本，α_ke表示第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量，ω_k表示第k训练样本的权重，残差r_e(x)用来表示待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的偏离程度，即判断其相似程度，残差值的总个数即是训练样本库的类别数m。

根据上述计算公式，变换e的取值，即可计算出待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权后的残差值，例如：

当e＝1时，则待测人脸图像x与稀疏重构后的所有训练样本中的第一类训练样本之间的残差并进行加权后的残差值

当e＝2时，则待测人脸图像x与稀疏重构后的所有训练样本中的第二类训练样本之间的残差并进行加权后的残差值

依次类推。

步骤S5，得到加权后的残差值最小的类别即为人脸识别结果。

具体而言，其判断规则为：残差值r_e(x)越大，偏离程度越严重，说明越不相似；残差值r_e(x)越小，偏离程度越小，说明越相似，其对应的待测人脸图像所属的类别为：identify(e)＝argmin r_e(x)。

以FERET人脸图像数据库作为原始训练样本，随机从FERET人脸图像数据库中挑选人脸图像作为待测人脸图像x，将本发明的人脸识别方法与基于其他五种算法的人脸识别方法的平均识别错误率进行对比，结果如表1所示。

表1基于不同算法的人脸识别方法在FERET人脸图像数据库上的平均识别错误率(％)

注：n为每类训练样本中的图像数量。

从表1可看出，采用本发明提供的人脸识别方法的平均识别错误率低于基于其他五种算法的人脸识别方法的平均识别错误率，说明本发明的人脸识别方法具有较高的识别准确率。

与相关技术相比，本发明提供的基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法具有以下有益效果：

一、相比于传统的基于几何特征、基于子空间的人脸识别方法，本发明的人脸识别方法在复杂的人脸表情、姿态和光照的变化情况下可以表现出良好性能，能够明显提升人脸识别算法的鲁棒性和识别准确率；

二、当每类样本数量较少或训练样本数量较少的情况下，本发明采用了随机添加噪声、几何对称变换的方法构造虚拟训练样本，解决了因训练样本不足导致低识别率的情况；

三、相比于单一训练样本的情况，采用稀疏表示的方法进行人脸识别，只是用单一的训练样本来表示待测人脸图像进行识别，本发明采用得到的虚拟训练样本与原始训练样本进行加权的方式，最后用加权的结果来作为新的训练样本来表示待测人脸图像进行识别，降低了由于极端值的存在对人脸识别鲁棒性的影响，进一步明显的提升了人脸识别算法的鲁棒性和准确性；

四、当待测人脸图像含有光照不均、面部遮挡等噪声存在时，采用整张人脸参与人脸识别过程会产生消极影响，本发明在原有的基础上引入了残差融合的方法用以提高识别的鲁棒性和准确率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法，其特征在于，包括如下步骤：

步骤S1，输入原始训练样本和待测人脸图像，将原始训练样本中的图像和待测人脸图像进行归一化预处理，再将原始训练样本的图像分别进行几何对称变换和添加随机噪声构造虚拟训练样本；

步骤S2，计算原始训练样本在稀疏表示待测人脸图像时的每一类训练样本的稀疏系数并稀疏重构该类训练样本，相应的，计算虚拟训练样本在稀疏表示待测人脸图像时的每一类训练样本的稀疏系数并稀疏重构该类训练样本；

步骤S3，分别将原始训练样本和虚拟训练样本在稀疏表示待测人脸图像时的误差通过适当的函数将其投射为对应训练样本的权重；

步骤S4，分别计算待测人脸图像与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权；

步骤S5，得到加权后的残差值最小的类别即为人脸识别结果。

2.根据权利要求1所述的人脸识别方法，其特征在于，在步骤S1中，设定原始训练样本为第一训练样本y₁，其包括m类训练样本，每类由n张训练人脸图像组成，原始训练样本的图像进行几何对称变换构造出的虚拟训练样本为第二训练样本y₂和第三训练样本y₃，原始训练样本的图像进行添加随机噪声构造出的虚拟训练样本为第四训练样本y₄，其中第二训练样本y₂和第三训练样本y₃的处理过程为：

第二训练样本y₂的左半部分取第一训练样本y₁的左半部分，右半部分是将第一训练样本y₁的左半部分翻转到右半部分而得；

第三训练样本y₃的右半部分取第一训练样本y₁的右半部分，左半部分是将第一训练样本y₁的右半部分翻转到左半部分而得。

3.根据权利要求2所述的人脸识别方法，其特征在于，构造出的虚拟训练样本y₂、y₃、y₄与原始训练样本y₁之间满足以下关系：

y₄(i,j)＝y₁(i,j)+a(γ-b)y₁(i,j)

其中i和j分别表示坐标X轴和Y轴，r和c分别表示每张人脸图像的高和宽，在矩阵里分别表示行数和列数，a和b各表示一个常量，γ是在0～1范围内的任意一个随机数。

4.根据权利要求3所述的人脸识别方法，其特征在于，在步骤S2中，设定待测人脸图像为x，第k训练样本y_k中的第e类训练样本为y_ke，第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量为α_ke，那么第k训练样本y_k中的第e类训练样本y_ke稀疏重构后为y_keα_ke，其中e＝1,2,3,...,m-1,m，k＝1,2,3,4；

α_ke的计算公式推导过程如下所示：

记y_ke＝[v_ke1,v_ke2,...,v_ken]表示第k训练样本的第e类训练样本中的n张人脸图像，其中v_ken表示第k训练样本的第e类训练样本中的第n张人脸图像经降维处理后得到的列向量，y_k＝[y_k1,y_k2,...,y_km]表示第k训练样本的完备字典矩阵，则根据公式x＝y_kα_k可得出待测人脸图像x在y_k的完备字典矩阵中表示为：

故

由于y_k一般是一个奇异矩阵，不能采用简单的方式对编码系数向量α_k进行求解，即α_k＝y_k ^-1x可以使用最小二乘法得出向量α_k的近似解，如公式：α_k＝(x^Tx+λI)^-1x^Ty_k其中λ是规则化参数，I是与矩阵x^Tx维数相同的单位矩阵，

故

其中e＝1,2,3,...,m-1,m，k＝1,2,3,4，

表示为第k训练样本的第e类训练样本的第n张图像的稀疏系数值。

5.根据权利要求4所述的人脸识别方法，其特征在于，在步骤S3中，权重ω_k的计算公式为：

其中

ω_k表示第k训练样本的权重，y_k表示第k训练样本，α_k表示第k训练样本的稀疏系数向量。

6.根据权利要求5所述的人脸识别方法，其特征在于，在步骤S4中，待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的残差并进行加权的计算公式为：

其中e＝1,2,3,...,m-1,m，y_ke表示第k训练样本y_k中的第e类训练样本，α_ke表示第k训练样本y_k在稀疏表示待测人脸图像时的第e类训练样本的稀疏系数向量，ω_k表示第k训练样本的权重，残差r_e(x)用来表示待测人脸图像x与稀疏重构后的所有训练样本中的同一类训练样本之间的偏离程度，即判断其相似程度，残差的总个数为m。

7.根据权利要求6所述的人脸识别方法，其特征在于，在步骤S5中，加权后的残差值r_e(x)最小的类别即为人脸识别结果，判断规则为：残差值r_e(x)越大，偏离程度越严重，说明越不相似；残差值r_e(x)越小，偏离程度越小，说明越相似，其对应的待测人脸图像所属的类别为：identify(e)＝argmin r_e(x)。

Images