CN107463920A

CN107463920A - 一种消除局部遮挡物影响的人脸识别方法

Info

Publication number: CN107463920A
Application number: CN201710715947.4A
Authority: CN
Inventors: 王世刚; 王婷; 李木子; 赵岩; 韦健
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2017-08-21
Filing date: 2017-08-21
Publication date: 2017-12-12

Abstract

一种消除局部遮挡物影响的人脸识别方法属人工智能和模式识别技术领域，本发明基于BP神经网络算法，根据局部特征进行初步人脸识别，然后在RGB空间将初步识别的人脸图像与待识别人脸进行图像融合重构去除遮挡，最后对融合图像使用线性判别分析方法和最邻近分类器进行人脸分类识别。本发明与现有的方法相比能更有效识别有遮挡物的人脸，能更好地重建人脸，更适用于自然环境下的人脸识别，具有较强的鲁棒性。

Description

一种消除局部遮挡物影响的人脸识别方法

技术领域

本发明属人工智能和模式技术领域，具体涉及基于通过消除局部遮挡物影响来重建人脸，进行识别的方法。

背景技术

人脸识别是人工智能最活跃、最具挑战性的问题之一，在网络技术、信息安全、身份识别等领域有着广泛的应用前景。人脸识别是多学科交叉研究的前沿热点，涉及到多个学科的知识与技术，如信号处理、智能控制、模式识别、机器视觉等。因此，人脸识别技术的发展对这些学科的诸多方面提出新的要求，进一步带动它们的发展。

最近几年，基于简单背景的各种人脸检测方法已经相当成熟，人脸识别已经成功有效地在数码相机、门禁系统、身份辨别和网络应用等使用。但是，传统的人脸识别存在明显的缺点，当人脸受到遮挡物的影响，而遮挡对人脸识别的性能影响很大，此时，人脸识别就会下降甚至无法识别。因此，目前急需一种方法能够对人脸遮挡进行消除重建。

近年来，国内外研究者对消除人脸遮挡物进行了广泛研究，并且多数都是通过图像的预处理来消除遮挡物，大致分为以下两类：1)基于图像分块的消除法。该方法将图像分割成不连续的若干局部分块，并对其未遮挡部分提取主要特征，然后采用最近邻分类器来进行识别。但这类方法都在一定程度上取决于区域检测，不能充分利用人脸全局特征。2)基于图像重建的方法。目前大多数是基于PCA重建人脸方法，利用训练图片进行建模，对待测图像进行重建处理；或者是基于稀疏表达的人脸遮挡物去除，通过求解带l₁范数的最小化问题，求出遮挡的人脸图像在无遮挡人脸图像训练集上的稀疏系数，根据稀疏系数进行恢复重建。但是由于遮挡物的非连续性，这类方法对墨镜、围巾极端的遮挡物重建效果很差。所以，如何通过利用局部特征，研究一种通过消除遮挡物来提高重建效果的方法显得尤为重要。

发明内容

本发明的目的在于提供一种能使人脸识别结果更为理想，更适用于实际场景的消除局部遮挡物影响的人脸识别方法。

本发明的一种消除局部遮挡物影响的人脸识别方法，包括下列步骤：

1.选择AR人脸数据库，并由不同目标、包括墨镜和围巾的不同遮挡物组成本实验的人脸数据库；

2.图像的预处理：从AR人脸数据库中选择无遮挡物的人脸图像作为训练样本，其余有墨镜和围巾遮挡物的人脸图像作为测试样本，读取人脸图像训练样本X_i(i＝1,2,…,m),其中m为样本的类别数量；

2.1首先将训练样本图像分割为眼睛和嘴巴两部分；其次，对分割出来的两部分进行图像校正；然后，将两部分局部特征进行PCA数据降维：

计算训练样本X_i总的均值向量为：以及总体散度矩阵：

利用S_t计算其特征值为λ＝λ₁,λ₂,…,λ_m，以及对应的特征向量为将特征值排序λ₁≥λ₂≥…≥λ_m≥0，同时将对应的特征向量也进行排序，并选择前r(r＝m)个特征值所对应的特征向量构成特征子空间，即最优投影矩阵；任何一张人脸局部图像都可以在最优投影矩阵中做投影并获得一组投影系数：投影系数作为人脸局部图像初步识别的依据；

3.建立BP神经网络模型，确定神经网络各项参数，包括网络的隐藏层数为2，节点数分别为60和15；选取为Sigmoid网络激发函数；设定最大迭代次数为5000；网络学习率为0.85；网络目标误差为1×10-4；根据BP神经网络初步识别人脸的范围：将步骤2.1图像预处理得到的最优投影矩阵作为神经网络的输入，输入和输出层的节点个数分别为r和m；

3.1给定训练样本的输入和输出，确定网络的预测输出：

若ω_ji(t)表示第i个输入节点和第j个隐藏节点经过t次权值调整的连接权重，第j个隐藏层的节点输入h_ji和输出u_j为：

其中：θ_j表示为隐藏和输出节点的阈值；

若ω_kj(t)表示第j个隐藏节点和第k个输出节点经过t次权值调整的连接权重，第j个隐藏层的节点输入h_ji和输出u_j为：

其中：θ_k表示为隐藏和输出节点的阈值；

f是激励函数，采用Sigmoid型，即

3.2将网络的总目标函数J作为对网络学习状况的评价：J(t)＝∑E(t)

其中：E为训练样本输入网络的目标函数，对J进行判断，当J小于预先设定的值，训练结束，否则，重新训练；

4.待测图像进行初步识别：从测试样本中随机选取待测图像，将待测图像分割为遮挡部分和未遮挡部分，对未遮挡部分进行PCA数据降维，输入步骤3训练好的BP神经网络中，输出人脸空间图，根据统计学概率选择人脸空间图的前五个概率值对应的人脸图像，得到初步识别的人脸图像；

5.基于RGB空间的三色通道融合，根据步骤4初步识别的人脸图像与待测图像遮挡部分在RGB空间进行融合，对遮挡区域进行重建：

其中：R₁'表示步骤4待测图像R分量的主要特征；G'₂和B'₂分别表示初步识别的人脸图像G分量和B分量的主要特征，P₂＝(p₁,p₂,p₃)表示初步识别的人脸图像的特征向量；

6.对融合图像用线性判别分析法LDA进行特征向量提取，找到一个最大化类间散度S_b与类内散度S_w之比的投影：

6.1根据公式(1)、(2)得到类间散布矩阵S_b和类内散布矩阵S_w：

6.2首先使用PCA方法对融合图像进行降维，根据公式(1)、(2)和(3)进行系数提取，再使用线性判别分析法LDA进行特征提取，进行人脸识别：

ψ＝ψ_ldaψ_pca (3)

其中：S_t是总体散度矩阵；

6.3当S_w是非奇异矩阵,通过解决广义特征值问题得到:

S_wψ_m＝λ_mS_bψ_m,m＝1,2,...,M-1

7.将融合图像投影到最优投影矩阵中，计算融合图像与训练样本在最优投影矩阵的欧氏距离：

根据最邻近分类器(KNN)对人脸图像进行识别，KNN识别函数：

本发明通过对BP神经网络改进后进行建模，根据统计概率进行初步识别，将初步识别的人脸与测试人脸遮挡部分在RGB空间进行融合，对遮挡区域进行重建。最后，将融合后的图像利用LDA和最邻近分类器(KNN)进行分类识别。与现有的方法相比，本发明能够有效地实现遮挡物的人脸识别，能够更好重建人脸，更适用于自然环境下人脸的识别，具有很好的鲁棒性。

附图说明

图1为人脸识别系统的流程图

图2为基于RGB空间融合的流程图

图3为本发明在对应不同特征维数的实验结果示意图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

本发明根据未遮挡部分在改进后的BP神经网络上进行初步识别，将初步识别的人脸与待测人脸进行融合后的识别，如图1所示为本发明的基本框架，本方法的具体实施从四个方面进行描述：

1.选择AR人脸数据库，并由不同目标、墨镜和围巾遮挡物组成本实验的人脸数据库；

2.图像的预处理：从AR人脸数据库中选择无遮挡物的人脸图像作为训练样本，其余有墨镜和围巾遮挡物的人脸图像作为测试样本，读取人脸图像训练样本X_i(i＝1,2,…,m)，其中m为样本的类别数量。由于图像由二维矩阵转换为一维矩阵后的维数非常巨大，直接提取特征输入BP神经网络将会导致训练时间长、网络结构复杂以及网络泛化能力减弱，因此PCA可以有效降维，对数据进行预处理。

2.1首先训练样本图像分割为眼睛和嘴巴两部分；其次，分割出来的两部分进行图像校正；然后，将两部分局部特征进行如下处理：

2.1.1计算训练样本总的均值向量为：

以及总体散度矩阵：

2.1.2将S_t作为产生矩阵，计算S_t的特征值为λ＝λ₁,λ₂,…,λ_m，将特征值排序λ₁≥λ₂≥…≥λ_m≥0，其对应的特征向量为

2.1.3计算最优投影矩阵，也就是计算S_t的最大特征值λ＝λ₁,λ₂,…,λ_r(λ₁≥λ₂≥…≥λ_r)和相应的特征向量

2.1.4最优投影矩阵描述每个特征在表示输入人脸图像中的贡献的最佳投影矩阵是与最大广义特征值相关的特征向量；因此，我们可以通过它提取主要特征：y＝φ^T·(x-u)(4)

3.建立BP神经网络模型，确定神经网络的隐藏层数为2，节点数分别为60和15；最大迭代次数为5000；网络学习率为0.85；网络目标误差为1×10^-4；根据BP神经网络来初步识别人脸的范围,具体步骤如下：

3.1将处理后的数据最优投影矩阵作为神经网络的输入，确定输入和输出层的节点个数分别为r和m。

3.2设置初始连接权重系数w(0)为较小的随机非零值。

3.3根据给定样本的输入和输出，确定网络的预测输出：

其中：θ_j表示为隐藏和输出节点的阈值。

其中：θ_k表示为隐藏和输出节点的阈值。

f是激励函数，采用Sigmoid型，即

3.4将网络的总目标函数J作为对网络学习状况的评价：

样本输入网络在取L2范数时的目标函数为E：

其中：y′是实际输出。

总目标函数J：J(t)＝∑E(t) (8)

对J进行判断，本文预先设定ε＝1×10^-4，当J≤ε，训练结束，否则，跳回步骤(8).

3.5误差反向传播首先从输出层开始，本文选择J按“梯度下降法”反向计算，逐层调整权值：

其中：η步长或称为学习率，本文中η取0.85。

4.待测图像进行初步识别：从测试样本中随机选取待测图像：将待测图像分割为遮挡物和未遮挡两部分，将未遮挡部分进行PCA降维，输入步骤3训练好的BP神经网络中，输出人脸空间图。人脸空间图是由之前训练好的BP神经网络，对待测图像进行匹配度概率的分布。根据统计学概率选择人脸空间图的前五个概率值对应的人脸图像。

5.颜色是基于内容的图像检索与目标识别的最重要的视觉特征之一。基于RGB空间的三色通道融合初步识别的人脸与测试人脸遮挡部分在RGB空间进行融合，对遮挡区域进行重建：

5.1对源图像，也就是初步识别的人脸图像和训练样本，进行RGB三基色分解：

X_in(x,y)＝R_in(x,y)+G_in(x,y)+B_in(x,y) (10)

其中：X_in表示像素值为(x,y)的源图像，R_in,G_in,B_in分别表示为分解后的三信道。

图像单色信道的均值：

图像单色信道的协方差矩阵：Cov(x^j)＝E∑(x^j-m^j)(x^j-m^j)^T (12)

根据单色信道的协方差矩阵计算特征值和特征向量，得到3×3特征向量P＝(p₁,p₂,p₃)。

5.2利用RGB空间中的正交变换将训练样本的每个人脸图像投影到三个分量中，得到相应的主分量：

其中：R₁'(x,y)表示待测图像S₁的R分量的主要特征,G'₂(x,y)和B'₂(x,y)分别表示初步识别的人脸图像的G分量和B分量的主要特征。

5.3融合图像：

6.根据公式(15)、(16)得到类间散布矩阵S_b和类内散布矩阵S_w：

其中：u₀、u_m分别为所有样本的均值向量和第m类的均值向量。

LDA方法目的是找到一个最大化类间散度S_b与类内散度S_w之比的投影：

当S_b是非奇异矩阵,通过解决广义特征值问题得到:

S_wψ_m＝λ_mS_bψ_m,m＝1,2,...,M-1 (18)

然而，在一般的线性判别分析(LDA)方法SSS问题的原因.也就是说，训练样本的数量少于特征空间维数的个数；因此，我们使用两阶段PCA+LDA方法：

ψ＝ψ_ldaψ_pca (19)

式中，S_t是总体散度矩阵。

根据最邻近分类器KNN对人脸图像进行识别，计算训练图像与融合图像在特征脸空间中对应点的欧氏距离：

KNN判别函数：

7.为了更好地说明本发明的有效性，将本发明的方法与近几年其他一些方法在AR人脸数据库中的实验结果比较如下：

实验证明本发明方法的识别率明显优于其他方法。

Claims

1.一种消除局部遮挡物影响的人脸识别方法，其特征在于包括下列步骤：

1.1选择AR人脸数据库，并由不同目标、包括墨镜和围巾的不同遮挡物组成本实验的人脸数据库；

1.2图像的预处理：从AR人脸数据库中选择无遮挡物的人脸图像作为训练样本，其余有墨镜和围巾遮挡物的人脸图像作为测试样本，读取人脸图像训练样本X_i(i＝1,2,…,m),其中m为样本的类别数量；

1.2.1首先将训练样本图像分割为眼睛和嘴巴两部分；其次，对分割出来的两部分进行图像校正；然后，将两部分局部特征进行PCA数据降维：

计算训练样本X_i总的均值向量为：以及总体散度矩阵：

<mrow> <msub> <mi>S</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>u</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>u</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>;</mo> </mrow>

利用S_t计算其特征值为λ＝λ₁,λ₂,…,λ_m，以及对应的特征向量为将特征值排序λ₁≥λ₂≥…≥λ_m≥0，同时将对应的特征向量也进行排序，并选择前r(r＜＜m)个特征值所对应的特征向量构成特征子空间，即最优投影矩阵；任何一张人脸局部图像都可以在最优投影矩阵中做投影并获得一组投影系数：投影系数作为人脸局部图像初步识别的依据；

1.3建立BP神经网络模型，确定神经网络各项参数，包括网络的隐藏层数为2，节点数分别为60和15；选取为Sigmoid网络激发函数；设定最大迭代次数为5000；网络学习率为0.85；网络目标误差为1×10-4；根据BP神经网络初步识别人脸的范围：将步骤1.2.1图像预处理得到的最优投影矩阵作为神经网络的输入，输入和输出层的节点个数分别为r和m；

1.3.1给定训练样本的输入和输出，确定网络的预测输出：

其中：θ_j表示为隐藏和输出节点的阈值；

<mrow> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>f</mi> <mo>&lsqb;</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&omega;</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>u</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> <mo>&rsqb;</mo> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow>

其中：θ_k表示为隐藏和输出节点的阈值；

f是激励函数，采用Sigmoid型，即

1.3.2将网络的总目标函数J作为对网络学习状况的评价：J(t)＝ΣE(t)

1.4待测图像进行初步识别：从测试样本中随机选取待测图像，将待测图像分割为遮挡部分和未遮挡部分，对未遮挡部分进行PCA数据降维，输入步骤1.3训练好的BP神经网络中，输出人脸空间图，根据统计学概率选择人脸空间图的前五个概率值对应的人脸图像，得到初步识别的人脸图像；

1.5基于RGB空间的三色通道融合，根据步骤1.4初步识别的人脸图像与待测图像遮挡部分在RGB空间进行融合，对遮挡区域进行重建：

<mrow> <mover> <mi>X</mi> <mo>^</mo> </mover> <mo>=</mo> <msub> <mi>P</mi> <mn>2</mn> </msub> <msubsup> <mi>R</mi> <mn>1</mn> <mo>&prime;</mo> </msubsup> <mo>+</mo> <msub> <mi>P</mi> <mn>2</mn> </msub> <msubsup> <mi>G</mi> <mn>2</mn> <mo>&prime;</mo> </msubsup> <mo>+</mo> <msub> <mi>P</mi> <mn>2</mn> </msub> <msubsup> <mi>B</mi> <mn>2</mn> <mo>&prime;</mo> </msubsup> </mrow>

其中：R′₁表示步骤1.4待测图像R分量的主要特征；G'₂和B'₂分别表示初步识别的人脸图像G分量和B分量的主要特征，P₂＝(p₁,p₂,p₃)表示初步识别的人脸图像的特征向量；

1.6对融合图像用线性判别分析法LDA进行特征向量提取，找到一个最大化类间散度S_b与类内散度S_w之比的投影：

1.6.1根据公式(1)、(2)得到类间散布矩阵S_b和类内散布矩阵S_w：

<mrow> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

1.6.2首先使用PCA方法对融合图像进行降维，根据公式(1)、(2)和(3)进行系数提取，再使用线性判别分析法LDA进行特征提取，进行人脸识别：

ψ＝ψ_ldaψ_pca (3)

其中：S_t是总体散度矩阵；

1.6.3当S_w是非奇异矩阵,通过解决广义特征值问题得到:

S_wψ_m＝λ_mS_bψ_m,m＝1,2,...,M-1

1.7将融合图像投影到最优投影矩阵中，计算融合图像与训练样本在最优投影矩阵的欧氏距离：

<mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mover> <mo>&Sigma;</mo> <mi>m</mi> </mover> <msup> <mrow> <mo>(</mo> <mover> <mi>X</mi> <mo>^</mo> </mover> <mo>-</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

根据最邻近分类器(KNN)对人脸图像进行识别，KNN识别函数：

<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <mover> <mi>X</mi> <mo>^</mo> </mover> <mo>-</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow> 2