CN107463917A - 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 - Google Patents

Abstract

本发明请求保护一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，该方法包括步骤：S1，建立中心像素与邻域像素权值和的差值函数等式来求得中心像素与邻域像素的统计特征；S2，建立自适应梯度下降迭代函数计算出使差值等式最小的权值系数来定义IALTP算子的阈值；S3，将局部区域像素权重的均值和标准差作为IALTP的三种模式的编码方式；S4，将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后建立联合映射得到人脸图像的全局特征信息；S5，利用融合局部特征和全局特征的方式，提出了将IALTP与二维双向PCA相融合的算法。本发明可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性。

Description

一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法

技术领域

本发明属于图像处理与模式识别领域，特别是一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法。

背景技术

随着人工智能技术的日益发展，生物识别技术已经成为人工智能与模式识别领域中十分热门的学科。其中人脸识别相较于人类固有的生理特征如虹膜、指纹或者后天形成的特征如声音、步态等的识别技术来说，在实用性和应用的广泛程度上是最具有代表性的。通常人脸识别过程是由两个连续的阶段组成：第一阶段是人脸识别算法是用于从一组训练图像中提取特征信息。第二阶段是提取的特征由分类器来识别查询图像的主题。其中人脸特征提取是最为关键的步骤，其直接影响人脸特征分类识别的效果和识别率。人脸特征提取方法分为基于全局特征和基于局部纹理特征的提取方法。全局特征主要考虑了由于人脸面部肌肉运动而产生的面部变化情况。全局特征提取算法主要包括独立主成分分析(ICA)、主成分分析(PCA)、离散余弦变换(DCT)等等。而主成分分析(PCA)广泛被研究人员推崇和使用，但是在实验的过程中发现，由于其在运算时要将2D人脸图像矩阵转换成1D向量，此过程会产生高维图像向量空间，大尺度的矩阵让计算复杂度增加，计算效率变低。为克服此类问题，有学者提出了一种二维双向主成分分析((2D)²PCA)，它主要的优点是其不需要将图像向量化，节约了时间；其次是需要做特征值分解的协方差矩阵相较于传统的PCA尺寸要小很多。2016年Song等人将(2D)²PCA用于图像识别中，提出图像增强处理方法和基于局部均值和标准差创建投影矩阵的方法，进而提高了识别率。然而，如果仅仅通过全局特征提取面部完整信息，这样会导致识别率不高，故研究人员引入了局部特征提取方法。局部特征提取方法包括：局部二值模式(LBP)、局部三值模式(LTP)、局部方向模式(LDP)。其中LBP提取的纹理特征易受随机噪声和非单调照明变化的影响，这不利于后续的分类。而LTP作为LBP的改进，在一定程度上对光照和噪声具有鲁棒性。2013年，Ren等人将其作为0和1的等概率编码且不考虑它的符号和数量，提出一种不确定状态的概念来进行编码小像素差异，提高了识别效率。2016年，Yang等人基于韦伯定律提出了改进的LTP自适应阈值选取法，同时根据双通道模式提取出有区分度的信息，实验结果表明其能够一定程度上提高识别率。但是以上研究仅仅考虑到提高识别率，而对于不同光照和随机噪声的鲁棒性以及计算复杂度问题尚需继续研究。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性的基于改进的LTP与二维双向PCA融合的人脸特征提取方法。本发明的技术方案如下：

一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其包括以下步骤；

S1、将人脸面部图像划分成不重叠的子区域，J₀,J₁,J₂,...,J_t-1，其中t是非重叠区域的数量；

S2、在像素邻域内，统计中心像素与邻域像素值：建立中心像素与邻域像素权值和的差值函数等式，求得中心像素与邻域像素的统计特征；

S3、建立自适应梯度下降迭代函数，计算出使步骤S2差值函数等式最小的权值系数来定义IALTP改进的自适应局部三值模式算子的阈值；

S4、将局部区域像素权重的均值和标准差作为IALTP的三种模式的编码方式；

S5、将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后建立联合映射得到人脸图像的全局特征信息；

S6、利用融合局部特征和全局特征的方式，提出了将IALTP与二维双向PCA相融合的算法，获得融合特征向量，应用SVM对融合信息进行分类并识别人脸。

进一步的，所述步骤S2建立中心像素与邻域像素权值和的差值函数等式为：

其中，P_c(i,j)是中心像素，P_s(i,j)是邻域像素，θ_s是任意一个邻域像素的权值系数，θ_s＝[θ₁,θ₂,...,θ_M]，i表示水平方向的像素值，j表示垂直方向的像素值，M表示邻域像素的个数，该方程最小化了中心像素与邻域像素之间的总体差异。

进一步的，所述步骤S3建立自适应梯度下降迭代函数，计算出使步骤S2差值函数等式最小的权值系数来定义IALTP改进的自适应局部三值模式算子的阈值，具体包括步骤；

首先根据差值等式对θ_s求偏导为：

将上式中的中心像素值写成由邻域像素值与权值系数的乘积和的形式，也可以写成由其中一个邻域像素P_m(i,j)与其权值系数θ_m的乘积加上其余像素与权值系数的乘积和：

通过上式可得到其中一个邻域像素的权值θ_m为：

采用梯度下降法使得J(θ_m)达到最小的θ_m，即自适应梯度下降迭代函数：

进一步的，选取λ的值为1.

进一步的，所述步骤S4中定义IALTP的三种模式的编码方法为：

其中，θ_mP_m(i,j)≥ε+ωδ，ε为局部区域像素的权重的均值，δ为局部区域像素的权重值的标准差，ω为0.6。

进一步的，步骤S5中，将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后得到人脸图像的全局特征信息的计算方法具体包括：

采用(2D)²PCA算法提取人们面部的全局特征，由图像在行和列方向上的最优投影矩阵得到联合映射形式W，将联合映射组合成为人脸的全局特征矩阵，通过对图像A在行和列方向协方差矩阵G和G′进行特征值分解等一系列的操作，可以分别得到行和列映射矩阵P和Q，其映射形式可分别表示为：

V＝AP

U＝Q^TA

其目标函数分别为：

J(P)＝trace{P^T[E(A-EA)^Τ(A-EA)]P}

J(Q)＝trace{Q^TE[(A-EA)(A-EA)^T]Q}

由行、列方向上的投影矩阵P和Q,得到其联合映射的形式如下：

W＝Q^TAP

当取得的P和Q使得J(P)与J(Q)最大归一化时，即可将P和Q作为最优投影轴，在此方向上投影后的图像获得的特征向量总体分散程度最大，将训练样本向得到的最优向量投影，对已知的人脸图像样本，令W＝Q^TAP，将投影得到的d个主分量用H表示为H＝[W₁,W₂,...,W_d]，则H即是要提取的人脸图像的特征信息。

进一步的，步骤S6中，融合局部特征和全局特征的方式的计算方法为：将IALTP得到的特征信息与二维双向PCA得到的特征向量相融合，获得融合特征向量，应用SVM对融合信息进行分类并识别人脸。

本发明的优点及有益效果如下：

本发明提供了一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，在不同的光照和随机噪声条件下，针对于局部三值模式(LTP)不能自适应选取阈值造成的不能完整描述人脸图像局部的纹理特征的缺陷，提出了一种改进的局部三值模式IALTP(Improve Adaptive Local Ternary Pattern)。具体步骤是：首先，建立中心像素与邻域像素权值和的差值函数等式来求得中心像素与邻域像素的统计特征。其次，建立自适应梯度下降函数计算出使差值等式最小的权值系数来定义IALTP算子的阈值，最后将局部区域像素权重的均值和标准差作为IALTP的三种模式的编码方式。为了反映人脸的整体属性并降低运算复杂度，利用融合局部特征和全局特征的方式，本文提出了将IALTP与二维双向PCA相融合的算法。将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后建立联合映射得到人脸图像的全局特征信息。在Extended Yale B和AR标准人脸数据库上的实验结果表明，在非均匀光照和随机噪声的条件下，本文的算法不仅更具有鲁棒性，而且特征维度更小，运算时间最短达到了0.3296s，最高的识别率达到97.39％。

附图说明

图1是本发明提供优选实施例基于改进的LTP与二维双向PCA融合的人脸特征提取方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明提供了一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，包括以下步骤：

S1，将人脸面部图像划分成不重叠的子区域，J₀,J₁,J₂,...,J_t-1，其中t是非重叠区域的数量。

S2，建立中心像素与邻域像素权值和的差值函数等式来求得中心像素与邻域像素的统计特征；

求统计特征的方法的步骤为：

首先建立中心像素与邻域像素权值和的差值等式：

其中，P_c(i,j)是中心像素，P_s(i,j)是邻域像素，θ_s是任意一个邻域像素的权值系数，θ_s＝[θ₁,θ₂,...,θ_M]，

该方程最小化了中心像素与邻域像素之间的总体差异。

S3，建立自适应梯度下降迭代函数计算出使差值等式最小的权值系数来定义IALTP算子的阈值，在本实施方式中，具体计算方法为：

首先根据差值等式对θ_s求偏导为：

将上式中的中心像素值写成由邻域像素值与权值系数的乘积和的形式，也可以写成由其中一个邻域像素P_m(i,j)与其权值系数θ_m的乘积加上其余像素与权值系数的乘积和：

通过上式可得到其中一个邻域像素的权值θ_m为：

梯度下降法是最小化样本的误差准则函数，通过预先给出参数值再进行迭代更新学习，使得每次更新后的结构都能够让损失函数变小，最终达到最小即可。即通过θ_m可以求出一个梯度的方向，这样就可以找到一个整体的方向，在变化的时候就能够朝着下降最多的方向进行变化，最终得到使得J(θ_m)达到最小的θ_m，即：

在实验的过程中发现，选取λ的值为1，可以达到理想的效果。

S4，将局部区域像素权重的均值和标准差作为IALTP的三种模式的编码方式，在本实施方式中，具体计算方法为：

其中，θ_mP_m(i,j)≥ε+ωδ，ε为局部区域像素的权重的均值，δ为局部区域像素的权重值的标准差，ω为0.6。

S5，将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后建立联合映射得到人脸图像的全局特征信息，在本实施方式中，具体计算方法为：

采用(2D)²PCA算法提取人们面部的全局特征。由图像在行和列方向上的最优投影矩阵得到联合映射形式W，将联合映射组合成为人脸的全局特征矩阵，这样可以有效降低特征维度的同时减少计算的时间。通过对图像A在行和列方向协方差矩阵G和G′进行特征值分解等一系列的操作，可以分别得到行和列映射矩阵P和Q，其映射形式可分别表示为：

V＝AP

U＝Q^TA

其目标函数分别为：

J(P)＝trace{P^T[E(A-EA)^Τ(A-EA)]P}

J(Q)＝trace{Q^TE[(A-EA)(A-EA)^T]Q}

由行、列方向上的投影矩阵P和Q,得到其联合映射的形式如下：

W＝Q^TAP

当取得的P和Q使得J(P)与J(Q)最大归一化时，即可将P和Q作为最优投影轴，在此方向上投影后的图像获得的特征向量总体分散程度最大。将训练样本向得到的最优向量投影，对已知的人脸图像样本，令W＝Q^TAP，将投影得到的d个主分量用H表示为H＝[W₁,W₂,...,W_d]，则H即是要提取的人脸图像的特征信息。

S6，为了反映人脸的整体属性并降低运算复杂度，利用融合局部特征和全局特征的方式，提出了将IALTP与二维双向PCA相融合的算法,得出识别率，在本实施方式中，具体计算方法为：

将IALTP得到的特征信息与二维双向PCA得到的特征向量相融合，获得融合特征向量，应用SVM对融合信息进行分类并识别人脸。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，包括以下步骤；

S1、将人脸面部图像划分成不重叠的子区域，J₀,J₁,J₂,...,J_t-1，其中t是非重叠区域的数量；

S2、在像素邻域内，统计中心像素与邻域像素值：建立中心像素与邻域像素权值和的差值函数等式，求得中心像素与邻域像素的统计特征；

S3、建立自适应梯度下降迭代函数，计算出使步骤S2差值函数等式最小的权值系数来定义IALTP改进的自适应局部三值模式算子的阈值；

S4、将局部区域像素权重的均值和标准差作为IALTP的三种模式的编码方式；

S5、将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后建立联合映射得到人脸图像的全局特征信息；

S6、利用融合局部特征和全局特征的方式，提出了将IALTP与二维双向PCA相融合的算法，获得融合特征向量，应用SVM对融合信息进行分类并识别人脸。

2.根据权利要求1所述的基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，所述步骤S2建立中心像素与邻域像素权值和的差值函数等式为：

其中，P_c(i,j)是中心像素，P_s(i,j)是邻域像素，θ_s是任意一个邻域像素的权值系数，θ_s＝[θ₁,θ₂,...,θ_M]，i表示水平方向的像素值，j表示垂直方 向的像素值，M表示邻域像素的个数，该方程最小化了中心像素与邻域像素之间的总体差异。

3.根据权利要求2所述的基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，所述步骤S3建立自适应梯度下降函数，计算出使步骤S2差值函数等式最小的权值系数来定义IALTP改进的自适应局部三值模式算子的阈值，具体包括步骤；

首先根据差值等式对θ_s求偏导为：

将上式中的中心像素值写成由邻域像素值与权值系数的乘积和的形式，也可以写成由其中一个邻域像素P_m(i,j)与其权值系数θ_m的乘积加上其余像素与权值系数的乘积和：

通过上式可得到其中一个邻域像素的权值θ_m为：

采用梯度下降法使得J(θ_m)达到最小的θ_m，即自适应梯度下降函数：

4.根据权利要求3所述的基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，选取λ的值为1。

5.根据权利要求3所述的基于改进的LTP与二维双向PCA融合的人脸特征 提取方法，其特征在于，所述步骤S4中定义IALTP的三种模式的编码方法为：

其中，θ_mP_m(i,j)≥ε+ωδ，ε为局部区域像素的权重的均值，δ为局部区域像素的权重值的标准差，ω为0.6。

6.根据权利要求3所述的基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，步骤S5中，将人脸图像经过二维双向PCA在行、列方向上求出投影矩阵，然后得到人脸图像的全局特征信息的计算方法具体包括：

采用(2D)²PCA算法提取人们面部的全局特征，由图像在行和列方向上的最优投影矩阵得到联合映射形式W，将联合映射组合成为人脸的全局特征矩阵，通过对图像A在行和列方向协方差矩阵G和G′进行特征值分解等一系列的操作，可以分别得到行和列映射矩阵P和Q，其映射形式可分别表示为：

V＝AP

U＝Q^TA

其目标函数分别为：

J(P)＝trace{P^T[E(A-EA)^Τ(A-EA)]P}

J(Q)＝trace{Q^TE[(A-EA)(A-EA)^T]Q}

由行、列方向上的投影矩阵P和Q,得到其联合映射的形式如下：

W＝Q^TAP

当取得的P和Q使得J(P)与J(Q)最大归一化时，即可将P和Q作为最优 投影轴，在此方向上投影后的图像获得的特征向量总体分散程度最大，将训练样本向得到的最优向量投影，对已知的人脸图像样本，令W＝Q^TAP，将投影得到的d个主分量用H表示为H＝[W₁,W₂,...,W_d]，则H即是要提取的人脸图像的特征信息。

7.根据权利要求6所述的基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，步骤S6中，融合局部特征和全局特征的方式的计算方法为：将IALTP得到的特征信息与二维双向PCA得到的特征向量相融合，获得融合特征向量，应用SVM对融合信息进行分类并识别人脸。