CN114049668B - 一种人脸识别方法 - Google Patents

Abstract

本发明涉及一种人脸识别方法，属于图像识别领域。本发明首先，使用数据驱动的字典表示测试样本，字典里面的基本元素是训练样本。然后，由于遮挡只涉及图像像素的一部分，因而在标准像素空间基中是稀疏的。当遮挡具有稀疏表示时，就可以用经典的稀疏表示框架统一处理。之后，从稀疏最优化中找到这种表示方式。最后，通过与测试样本的距离找到未知样本的分类。寻找最稀疏的表达方式也就是在训练样本中自动辨析不同的分类，从而得到未知样本的类别。本发明将稀疏表示的方法应用在人脸识别领域可以为该领域增加新的见解。本发明在人脸图像存在遮挡的情况下，采用稀疏表示的方法进行人脸识别，提高识别准确率。

Description

一种人脸识别方法

技术领域

本发明属于图像识别领域，具体涉及一种人脸识别方法。

背景技术

人脸识别，作为基于人的脸部信息进行身份识别的一种生物识别技术，已广泛应用在军队、政府、航天、教育、医疗、司法、金融及众多领域。与指纹识别和掌纹识别等相比，人脸识别具有方便、快捷、易接受等特点。

人脸识别系统的研究于20世纪60年代起步，随着计算机技术和光学成像技术的发展在80年代后得到提高，在90年后期进入初级的应用阶段。从早期的人脸几何特征比对到后面的局部纹理特征比对，再到现在常用的深度学习的方式，人脸识别技术经历了较为漫长的不断优化的发展。

在人脸识别的应用阶段，人脸的遮挡和伪装对人脸识别的鲁棒性构成了巨大的挑战。主要原因在于遮挡部位的不可预测，遮挡部位可能出现在图像中的任意位置，遮挡面积大小也具有任意性。

在图像识别领域，人脸是最广泛的研究对象之一。一方面是由于人类视觉系统的超强的人脸识别能力，另一方面也由于人脸识别技术的广泛应用。此外，人脸识别涉及的技术问题也充分代表了目标识别和一般的数据分类的技术问题。虽然随着人工智能的浪潮以及计算机算力的增长，人脸识别技术取得了很大的进步，但仍有一些问题尚未得到妥善解决。如在新冠肺炎时期，人们通常都在外面佩戴口罩，口罩本身就会阻挡人脸，影响识别，而如果需要人们摘下口罩进行人脸识别，不仅会降低用户体验，而且会带来非常高的安全风险。

目前的人脸识别方案，主要是对目标人脸图像进行特征提取，进而将提取的人脸特征与包含全部人脸特征的特征库作对比，进行识别。然而，在人脸有遮挡的情况下，现有的技术中，通常只会对比遮挡物剩下的人脸部分特征或者模拟、还原不佩戴此遮挡物的人脸再进行对比。

因而，现有的人脸识别技术存在人脸稳定性较差、可靠性和安全性较低、受外界条件影响大等现象，从而容易出现识别率低以及等待时间长等现象，限制了其使用范围以及降低了使用效果。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种人脸识别方法，以解决现有的人脸识别技术存在人脸稳定性较差、可靠性和安全性较低、受外界条件影响大等现象，从而容易出现识别率低以及等待时间长等现象，限制了其使用范围以及降低了使用效果的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种人脸识别方法，该方法包括如下步骤：

步骤一 统一人脸图像的尺寸

令所有图像的大小一样；图像用列向量s表示，由于尺寸相同，因而所有图像的维度是一样的，设为m，即s∈R^m；假设样本共分为k类，第i类样本的样本数量为n_i，所有样本数为n，则n＝n₁+n₂+…+n_k，令矩阵 表示第i类训练样本的集合，测试样本用y表示；

步骤二 训练样本按顺序排列组成训练矩阵M，

若未知样本y的类别是i，当训练样本集合M_i足够大时，y可用M_i内的向量的线性组合近似表示，即：

其中a_i∈R，i＝1,…,n_i；由于现实场景下i不可能提前知晓，因而令 则当样本足够充足时，y会被M内的向量线性表示；

步骤三 归一化训练矩阵M的列向量的L2范数

对训练矩阵M，令M中的所有列向量L2范数归一化；

步骤四 测试样本建模

增加人脸区域的权重，采用开源的openface算法，获取y的人脸定位，以此为基准，对测试样本和训练样本的相应位置权重进行微调，即：

ωy＝ωMx+e (3)

其中，e∈R^m是误差向量，ω∈R^m×m是权重矩阵，x表示y落在每一类别图像的情况,是a_i的未知变量形式；

步骤五 求最稀疏解

理想状况下，y只在所属类别下参数非零；在存在遮挡情况下，非零参数也出现在其它类别下，因而对满足(3)式的解，求最稀疏的解以尽最大可能接近理想状况。即：

其中，x和e满足(3)式，L1范数||·||₁的计算方式为argmin表示求最小值；

步骤六 计算所得解在每个类别下与测试样本的距离

为判断y的类别，对第i类，1＜＜i＜＜k，只取x′落在这一类别的对应参数，然后计算这一类别下与y的距离；

步骤七 取距离最短的类别为测试样本所属类别

令距离数值最小的值对应的类别为y所属类别。

进一步地，所述步骤三中L2范数的计算方式为进行范数归一化则令所有列向量的范数值为1，即||s||₂＝1；为达到归一化，令

其中，1＜＜i＜＜k,1＜＜j＜＜n_i，完成M中列向量的归一化。

进一步地，所述步骤四中，由于遮挡或损坏问题的存在，测试图像被看作训练样本的线性组合与误差的结合。

进一步地，所述步骤四中，由于人脸图片存在人脸区域和非人脸区域，而人脸区域对于人脸识别的作用要远高于非人脸区域，因而增加人脸区域的权重，进而提高识别准确率。

进一步地，所述步骤四中，ω内的值由openface算法决定，人脸区域部分为根据经验确定的值，可选同一个值，也可根据器官不同赋予不同权重，非人脸区域部分值为1。

进一步地，所述步骤四中，由于遮挡或损坏出现的位置任意且程度不同，e不能被忽略或当作小的噪音处理。

进一步地，所述步骤五采用增广拉格朗日乘子法(augmented lagrange multipler)求解。

进一步地，求解步骤如下：

S51、

A＝[ωM,I]∈R^m×(n+m),

S52、随机选择z₀∈R^n+m，λ₀∈R^m，μ₀∈R且μ₀≠0，根据具体问题设定μ_max∈R和迭代次数T；

S53、对t＝0,…,T-1

λ_t+1←λ_t+μ_t(Az_t+1-ωy)

μ_t+1←min{1.25μ_t,μ_max}

S54、返回

进一步地，所述步骤六计算距离的方法具体为：令函数f_i(·):R^m→R^m为特征函数，对应类别i，函数f_i取x′中对应类别i的参数，其它参数为零，即f_i只保留x′对应第i类别的参数；然后计算每一类别下与y的距离：

d_i(y)＝||y-Mf_i(x′)||₂，1＜＜i＜＜k。

进一步地，所述步骤七具体包括：在得到计算结果d_i(y)，1＜＜i＜＜k后，令距离数值最小的值对应的类别为y所属类别。

(三)有益效果

本发明提出一种人脸识别方法，本发明首先，使用数据驱动的字典表示测试样本，字典里面的基本元素是训练样本。当每个分类都有足够的训练样本可用时，测试样本用一些同类的训练样本的线性组合进行表示成为可能。由于人脸图片中涉及到人脸的部分比非人脸的部分对于分类更加重要，因而对于人脸部分增大权重。这个表达天然是稀疏的，只涉及全部训练数据库中很小的一部分，而且实际上是测试样本基于字典的最稀疏的线性表示。然后，由于遮挡只涉及图像像素的一部分，因而在标准像素空间基中是稀疏的。当遮挡具有稀疏表示时，就可以用经典的稀疏表示框架统一处理。之后，从稀疏最优化中找到这种表示方式。最后，通过与测试样本的距离找到未知样本的分类。寻找最稀疏的表达方式也就是在训练样本中自动辨析不同的分类，从而得到未知样本的类别。本发明将稀疏表示的方法应用在人脸识别领域可以为该领域增加新的见解。稀疏表示也可以提供一个简单但有效的拒绝无效测试样本(不属于任何一类训练样本中)的方法，原因在于无效测试样本的最稀疏表示会涉及到多个字典元素，跨越多类训练样本。本发明在人脸图像存在遮挡的情况下，采用稀疏表示的方法进行人脸识别，提高识别准确率。

附图说明

图1为本发明的流程图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

针对上述问题，本专利提出一种人脸识别方法。在人脸图像存在遮挡的情况下，采用稀疏表示的方法进行人脸识别，提高识别准确率。

人脸识别的一个基本问题就是在获得已知类别的多类样本下，判断未知样本的类别。本专利尝试利用稀疏表示的判别性进行分类。首先，使用数据驱动的字典表示测试样本，字典里面的基本元素是训练样本。当每个分类都有足够的训练样本可用时，测试样本用一些同类的训练样本的线性组合进行表示成为可能。由于人脸图片中涉及到人脸的部分比非人脸的部分对于分类更加重要，因而对于人脸部分增大权重。这个表达天然是稀疏的，只涉及全部训练数据库中很小的一部分，而且实际上是测试样本基于字典的最稀疏的线性表示。然后，由于遮挡只涉及图像像素的一部分，因而在标准像素空间基中是稀疏的。当遮挡具有稀疏表示时，就可以用经典的稀疏表示框架统一处理。之后，从稀疏最优化中找到这种表示方式。最后，通过与测试样本的距离找到未知样本的分类。寻找最稀疏的表达方式也就是在训练样本中自动辨析不同的分类，从而得到未知样本的类别。

将稀疏表示的方法应用在人脸识别领域可以为该领域增加新的见解。稀疏表示也可以提供一个简单但有效的拒绝无效测试样本(不属于任何一类训练样本中)的方法，原因在于无效测试样本的最稀疏表示会涉及到多个字典元素，跨越多类训练样本。

稀疏表示已被广泛研究，其初始目标并不是推理或者分类，而是信号的表示和压缩。因而，方法的优劣主要取决于表达的稀疏性和对原始信号的保真。最稀疏的表达天然是判别性的，在所有的基向量的子集中，选择最简洁的输入信号的表示方法，同时拒绝其它不简洁的表示。本专利采用稀疏表示的方法，解决人脸识别问题中人脸图像分类的问题。

步骤一 统一人脸图像的尺寸

为方便后面计算，对图像进行尺寸处理，令所有图像的大小一样。图像用列向量s表示，由于尺寸相同，因而所有图像的维度是一样的，设为m，即s∈R^m。假设样本共分为k类，第i类样本的样本数量为n_i，所有样本数为n，则n＝n₁+n₂+…+n_k，令矩阵表示第i类训练样本的集合，测试样本用y表示。

步骤二 训练样本按顺序排列组成训练矩阵M，

若未知样本y的类别是i，当训练样本集合M_i足够大时，y可用M_i内的向量的线性组合近似表示，即：

其中a_i∈R，i＝1,…,n_i。由于现实场景下i不可能提前知晓，因而令 则当样本足够充足时，y会被M内的向量线性表示。

步骤三 归一化训练矩阵M的列向量的L2范数

对训练矩阵M，令M中的所有列向量L2范数归一化。L2范数的计算方式为进行范数归一化则令所有列向量的范数值为1，即||s||₂＝1。为达到归一化，令

其中，1＜＜i＜＜k,1＜＜j＜＜n_i，完成M中列向量的归一化。

步骤四 测试样本建模

在实践中，测试图像存在遮挡或损坏等问题，但由于图像中的有效信息充足，依然可以保证人脸的识别。之前的方法基本都丢弃一部分信息，本专利直接对原始图像进行处理，最大可能保留图像的原始信息。由于遮挡或损坏等问题的存在，结合步骤二，测试图像可看作训练样本的线性组合与误差的结合。

由于人脸图片存在人脸区域和非人脸区域，而人脸区域对于人脸识别的作用要远高于非人脸区域。因而对于人脸区域的权重需要适当增加，进而提高识别准确率。采用开源的openface算法，获取y的人脸定位，以此为基准，对测试样本和训练样本的相应位置权重进行微调，即：

ωy＝ωMx+e (3)

其中，e∈R^m是误差向量，ω∈R^m×m是权重矩阵，x表示y落在每一类别图像的情况,是a_i的未知变量形式。ω内的值由openface算法决定，人脸区域部分为根据经验确定的值，可选同一个值，也可根据器官不同赋予不同权重，非人脸区域部分值为1。由于遮挡或损坏出现的位置任意且程度不同，e不能像之前的研究一样被忽略或当作小的噪音处理。

步骤五 求最稀疏解

理想状况下，y只在所属类别下参数非零。

在存在遮挡等情况下，非零参数也出现在其它类别下，因而对满足(3)式的解，求最稀疏的解可以尽最大可能接近理想状况。即：

其中，x和e满足(3)式，L1范数||·||₁的计算方式为argmin表示求最小值。为了求解，采用增广拉格朗日乘子法(augmented lagrange multipler)，该方法适用于有等式约束的求解。具体求解步骤如下：

S51、

A＝[ωM,I]∈R^m×(n+m),

S52、随机选择z₀∈R^n+m，λ₀∈R^m，μ₀∈R且μ₀≠0，根据具体问题设定μ_max∈R和迭代次数T

S53、对t＝0,…,T-1

λ_t+1←λ_t+μ_t(Az_t+1-ωy)

μ_t+1←min{1.25μ_t,μ_max}

S54、返回

步骤六 计算所得解在每个类别下与测试样本的距离

理想状态下，解x′中的参数，只在测试样例y对应类别内的参数非零，而其它参数为零，这样可以直接得到y的类别。但由于扰动或模型误差的存在，会出现多个类别对应参数非零的现象。因而，为判断y的类别，对第i类，1＜＜i＜＜k，只取x′落在这一类别的对应参数，然后计算这一类别下与y的距离。

令函数f_i(·):R^m→R^m为特征函数，对应类别i，函数f_i取x′中对应类别i的参数，其它参数为零，即f_i只保留x′对应第i类别的参数。然后计算每一类别下与y的距离：

d_i(y)＝||y-Mf_i(x′)||₂，1＜＜i＜＜k (5)

步骤七 取距离最短的类别为测试样本所属类别

在得到计算结果d_i(y)，1＜＜i＜＜k后，令距离数值最小的值对应的类别为y所属类别。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种人脸识别方法，其特征在于，该方法包括如下步骤：

步骤一 统一人脸图像的尺寸

令所有图像的大小一样；图像用列向量s表示，由于尺寸相同，因而所有图像的维度是一样的，设为m，即s∈R^m；假设样本共分为k类，第i类样本的样本数量为n_i，所有样本数为n，则n＝n₁+n₂+…+n_k，令矩阵 表示第i类训练样本的集合，测试样本用y表示；

步骤二 训练样本按顺序排列组成训练矩阵M，

若未知样本y的类别是i，当训练样本集合M_i足够大时，y可用M_i内的向量的线性组合近似表示，即：

其中a_i∈R，i＝1，…，n_i；由于现实场景下i不可能提前知晓，因而令 则当样本足够充足时，y会被M内的向量线性表示；

步骤三 归一化训练矩阵M的列向量的L2范数

对训练矩阵M，令M中的所有列向量L2范数归一化；

步骤四 测试样本建模

增加人脸区域的权重，采用开源的openface算法，获取y的人脸定位，以此为基准，对测试样本和训练样本的相应位置权重进行微调，即：

ωy＝ωMx+e (3)

其中，e∈R^m是误差向量，ω∈R^m×m是权重矩阵，x表示y落在每一类别图像的情况，是a_i的未知变量形式；

步骤五 求最稀疏解

理想状况下，y只在所属类别下参数非零；在存在遮挡情况下，非零参数也出现在其它类别下，因而对满足(3)式的解，求最稀疏的解以尽最大可能接近理想状况，即：

其中，x和e满足(3)式，L1范数||·||₁的计算方式为argmin表示求最小值；

步骤六 计算所得解在每个类别下与测试样本的距离

为判断y的类别，对第i类，1<<i<<k，只取x′落在这一类别的对应参数，然后计算这一类别下与y的距离；

步骤七 取距离最短的类别为测试样本所属类别

令距离数值最小的值对应的类别为y所属类别；

其中，

求解步骤如下：

S51、

A＝[ωM，I]∈R^m×(n+m)，

S52、随机选择z₀∈R^n+m，λ₀∈R^m，μ₀∈R且μ₀≠0，根据具体问题设定μ_max∈R和迭代次数T；

S53、对t＝0，…，T-1

λ_t+1←λ_t+μ_t(Az_t+1-ωy)

μ_t+1←min{1.25μ_t，μ_max}

S54、返回

2.如权利要求1所述的人脸识别方法，其特征在于，所述步骤三中L2范数的计算方式为进行范数归一化则令所有列向量的范数值为1，即||s||₂＝1；为达到归一化，令

其中，1<<i<<k，1<<j<<n_i，完成M中列向量的归一化。

3.如权利要求2所述的人脸识别方法，其特征在于，所述步骤四中，由于遮挡或损坏问题的存在，测试图像被看作训练样本的线性组合与误差的结合。

4.如权利要求2所述的人脸识别方法，其特征在于，所述步骤四中，由于人脸图片存在人脸区域和非人脸区域，而人脸区域对于人脸识别的作用要远高于非人脸区域，因而增加人脸区域的权重，进而提高识别准确率。

5.如权利要求2所述的人脸识别方法，其特征在于，所述步骤四中，ω内的值由openface算法决定，人脸区域部分为根据经验确定的值，可选同一个值，也可根据器官不同赋予不同权重，非人脸区域部分值为1。

6.如权利要求2所述的人脸识别方法，其特征在于，所述步骤四中，由于遮挡或损坏出现的位置任意且程度不同，e不能被忽略或当作小的噪音处理。

7.如权利要求3-6任一项所述的人脸识别方法，其特征在于，所述步骤五采用增广拉格朗日乘子法(augmented lagrange multipler)求解。

8.如权利要求7所述的人脸识别方法，其特征在于，所述步骤六计算距离的方法具体为：令函数f_i(·)：R^m→R^m为特征函数，对应类别i，函数f_i取x′中对应类别i的参数，其它参数为零，即f_i只保留x′对应第i类别的参数；然后计算每一类别下与y的距离：

d_i(y)＝||y-Mf_i(x′)||₂，1<<i<<k。

9.如权利要求8所述的人脸识别方法，其特征在于，所述步骤七具体包括：在得到计算结果d_i(y)，1<<i<<k后，令距离数值最小的值对应的类别为y所属类别。