CN105069406A - 基于优化的核Fukunaga-Koontz变换的人脸识别方法 - Google Patents

Abstract

本发明公开了基于优化的核Fukunaga-Koontz变换的人脸识别方法，包括从训练样本中提取图像特征、选择高斯核函数并优化参数、对样本数据降维、计算各类样本的自相关矩阵和白化矩阵、确定人脸类别等步骤。本发明对KFKT方法进行核优化，从而改善其识别性能。

Description

基于优化的核Fukunaga-Koontz变换的人脸识别方法

技术领域

本发明属于图像处理的技术领域，特别涉及了基于优化的核Fukunaga-Koontz变换的人脸识别方法。

背景技术

人脸识别研究是当前模式识别和人工智能领域的研究热点，具有广阔的应用前景。在进行人脸识别时，为提高识别准确性通常要降低输入人脸特征向量的维数。常用的数据降维方法包括主成分分析(PCA)和线性判别分析方法(LDA)等。其中，PCA方法是一种无监督的数据降维方法，旨在寻找样本数据的一最佳表示子空间，使得在该子空间中样本数据被最大限度地保留。而LDA方法则是一种有监督的数据降维方法，它旨在寻找最佳子空间使得各类样本数据在该子空间中尽可能地被分开。两种方法的共同之处在于均要求所处理的样本数据呈线性分布。对于非线性分布的情况，可采用核映射方式对PCA和LDA进行非线性推广。

Fukunaga-Koontz变换(FKT)子空间方法是另一种常用的特征提取方法，最早用于解决两类的模式识别问题。与PCA方法的目标相同，FKT旨在建立对某类具有最佳表示，而对其他类别最差表示的子空间。早先FKT方法主要目前在与构造线性子空间，并关注于两类的问题，但这并不能满足实际应用的需要。为解决这一不足，Li等提出了基于核的FKT(KFKT)方法，该方法旨在构造非线性的子空间，并通过采用一对多的策略将两类问题推广到了多类问题。Zheng和Lin提出了另一种KFKT方法，该方法基于类协方差矩阵的联合对角化。虽然通过核技巧的使用为非线性子空间的构造提供了一种有效的解决方法，但是KFKT的性能在很大程序上依赖于核映射的选择。要使得KFKT获得更好的性能，必须对其进行核优化。

在本发明之前，如何对KFKT方法进行核优化，从而改善其识别性能的研究涉及较少。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供基于优化的核Fukunaga-Koontz变换的人脸识别方法，对KFKT方法进行核优化，从而改善其识别性能。

为了实现上述技术目的，本发明的技术方案为：

基于优化的核Fukunaga-Koontz变换的人脸识别方法，包括以下步骤：

(1)从c类训练人脸表情图像样本集中提取图像特征矢量集X_i，i＝1,2,…,c；

(2)选择高斯函数作为核函数，求解最优的高斯核函数的参数σ；

(3)根据求得的最优的高斯核函数，采用核主成分分析法求解样本数据的变换矩阵W_KPCA，并对每类样本数据进行变换，得到降维后的样本数据矩阵其中，为X_i的非线性映射；

(4)根据降维后的样本数据矩阵，计算c类样本的自相关矩阵R_i，并求解c个自相关矩阵的白化矩阵P；

(5)利用白化矩阵对自相关矩阵进行白化变换，得求解能同时对角化c个的正交变换矩阵U_i，即，其中，Λ_i是近似对角矩阵，再求出U_i对应于Λ_i最大对角元的优化列向量

(6)对于给定的测试人脸图像向量x_t，利用W_KPCA和P对x_t，得其中，Φ(*)表示非线性映射，则x_t所属人脸类别由下式确定：

$i^{*}=\arg \underset{i}{\max }\left\{{\mathrm{\Δ}}_i\right\}---\left(1\right)$

式(1)中， ${\mathrm{\Δ}}_i={\hat{x}}_t-{\tilde{U}}_i{\tilde{U}}_i^T{\hat{x}}_t.$

进一步地，步骤(2)中选择的高斯函数的具体形式：

$k(x,y)=\exp \{-\mathrm{\σ}||x-y|{|}^2\}---\left(2\right)$

进一步地，步骤(2)的具体过程如下：

(a)定义高斯核函数参数σ的优化问题：

$\arg \max J\left(\mathrm{\&sigma;}\right)=\frac{\underset{i<j}{\&Sigma;}(n_i^T{K}_{ii}{n}_i+n_j^T{K}_{jj}{n}_j-2n_i^T{K}_{ij}{n}_j)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{a_i}\&lsqb;Tr\left(K_{ii}\right)-Tr\left(K_{ii}{N}_i\right)\&rsqb;}---\left(3\right)$

式(3)中，Tr(*)表示矩阵的迹，n_i是一a_i×1的向量，该向量的元素为1/a_i，N_i是一n_i×n_i阶的矩阵，K_ij＝Φ(X_i)^TΦ(X_j)的第r行第l列元素(K_ij)_rl＝Φ(x_ir)^TΦ(x_jl)＝k(x_ir,x_jl)，x_ir和x_jl分别表示X_i和X_j的第r列和第l列；

(b)对J(σ)进行关于参数σ的求导运算，得到最优的参数σ：

$\frac{\&part;J\left(\mathrm{\&sigma;}\right)}{\&part;\mathrm{\&sigma;}}=\frac{\underset{i<j}{\&Sigma;}Tr\left(N_i{\&dtri;}_{\mathrm{\&sigma;}}{K}_{ij}{N}_j\right)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{a_i}\&lsqb;Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}\right)-Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}{N}_i\right)\&rsqb;}---\left(4\right)$

式(4)中，▽_σK_ij＝-K_ijοA_ij，ο表示Hadamard点乘，A_ij是一n_i×n_j阶矩阵，其第r行第l列元素(A_ij)_rl＝||x_ir-x_jl||²。

进一步地，在步骤(b)中，采用投影梯度算法求解式(4)。

进一步地，在步骤(4)中，采用奇异值分解法求解c个自相关矩阵的白化矩阵P。

采用上述技术方案带来的有益效果：

本发明提出核映射优化方法找到KFKT方法的最优核函数，从而能有效改善识别方法的性能，提高识别准确性。本发明在国际著名的两个人脸数据库(FERET和Yale人脸数据库)上进行了实验验证，实验结果证实了有效性，也显示出对不同核函数参数初始值均具有较好的鲁棒性的优点。

附图说明

图1是本发明的基本流程图；

图2是FERET数据库中人脸图像示例图；

图3是Yale数据库中人脸图像示例图；

图4是FERET数据库上不同高斯核参数下人脸识别平均错误率的对比图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示本发明的基本流程图，基于优化的核Fukunaga-Koontz变换的人脸识别方法，包括以下步骤：

(1)从c类训练人脸表情图像样本集中提取图像特征矢量集X_i，i＝1,2,…,c；

(2)选择高斯函数作为核函数，求解最优的高斯核函数的参数σ；

(3)根据求得的最优的高斯核函数，采用核主成分分析法求解样本数据的变换矩阵W_KPCA，并对每类样本数据进行变换，得到降维后的样本数据矩阵其中，为X_i的非线性映射；

(4)根据降维后的样本数据矩阵，计算c类样本的自相关矩阵R_i，并采用奇异值分解法求解c个自相关矩阵的白化矩阵P；

(5)利用白化矩阵对自相关矩阵进行白化变换，得求解能同时对角化c个的正交变换矩阵U_i，即，其中，Λ_i是近似对角矩阵，再求出U_i对应于Λ_i最大对角元的优化列向量

(6)对于给定的测试人脸图像向量x_t，利用W_KPCA和P对x_t，得其中，Φ(*)表示非线性映射，则x_t所属人脸类别由下式确定：

$i^{*}=\arg \underset{i}{\max }\left\{{\mathrm{\&Delta;}}_i\right\}---\left(1\right)$

上式中， ${\mathrm{\&Delta;}}_i={\hat{x}}_t-{\tilde{U}}_i{\tilde{U}}_i^T{\hat{x}}_t.$

在本实施例中，步骤(2)的具体过程如下：

定义如下的目标函数：

$\begin{array}{cc}\arg \underset{\mathrm{\&Phi;}}{\max }J\left(\mathrm{\&Phi;}\right)=\frac{Tr\left(\underset{i<j}{\&Sigma;}(m_i^{\mathrm{\&Phi;}}-m_j^{\mathrm{\&Phi;}}){(m_i^{\mathrm{\&Phi;}}-m_j^{\mathrm{\&Phi;}})}^T\right)}{Tr\left(\underset{i=1}{\overset{c}{\&Sigma;}}{\mathrm{\&Sigma;}}_i^{\mathrm{\&Phi;}}\right)},s.t.& {\mathrm{\&epsiv;}}_L\&le;Tr\left(\underset{i=1}{\overset{c}{\&Sigma;}}{\mathrm{\&Sigma;}}_i^{\mathrm{\&Phi;}}\right)\end{array}\&le;{\mathrm{\&epsiv;}}_U---\left(2\right)$

其中，参数ε_L和ε_U(ε_L＜ε_U)是两个门限阈值，并且以避免算法的过拟合，Tr(*)表示求矩阵的迹，上表Φ表示非线性映射，和分别表示第i类样本数据的均值和协方差矩阵，并且可分别表示：

${\mathrm{\&Sigma;}}_i^{\mathrm{\&Phi;}}=\frac{1}{a_i}\mathrm{\&Phi;}\left(X_i\right)(I_i-N_i)\mathrm{\&Phi;}{\left(X_i\right)}^T,m_i^{\mathrm{\&Phi;}}=\mathrm{\&Phi;}\left(X_i\right)n_i---\left(3\right)$

其中，n_i是一a_i×1的向量，其元素为1/a_i，N_i是一n_i×n_i阶的矩阵，Φ(*)表示非线性映射。由上式可进一步得到：

$Tr\left({\mathrm{\&Sigma;}}_i^{\mathrm{\&Phi;}}\right)=\frac{1}{a_i}Tr\left(\mathrm{\&Phi;}\right(X_i\left)\right(I_i-N_i\left)\mathrm{\&Phi;}{\left(X_i\right)}^T\right)=\frac{1}{a_i}Tr\left(K_{ii}\right)-\frac{1}{a_i}Tr\left(K_{ii}{N}_i\right)---\left(4\right)$

$Tr\left(m_i^{\mathrm{\&Phi;}T}{m}_j^{\mathrm{\&Phi;}}\right)=Tr\left(n_i^T\mathrm{\&Phi;}{\left(X_i\right)}^T\mathrm{\&Phi;}\right(X_j\left)n_j\right)=n_i^T{K}_{ij}{n}_j---\left(5\right)$

其中，K_ij＝Φ(X_i)^TΦ(X_j)，其第r行第l列元素(K_ij)_rl＝Φ(x_ir)^TΦ(x_jl)＝k(x_ir,x_jl)，x_ir和x_jl分别表示X_i和X_j的第r列和第l列。在此情况下，可得核映射的优化问题等价于核函数的优化问题。

利用高斯核函数k(x,y)＝exp{-σ||x-y||²}来进行优化，其中σ是高斯核函数的参数。根据上文，可得如下关于高斯核函数参数的优化问题：

$\arg \underset{\mathrm{\&sigma;}}{\max }J\left(\mathrm{\&sigma;}\right)=\frac{\underset{i<j}{\&Sigma;}(n_i^T{K}_{ii}{n}_i+n_j^T{K}_{jj}{n}_j-2n_i^T{K}_{ij}{n}_j)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{a_i}\&lsqb;Tr\left(K_{ii}\right)-Tr\left(K_{ii}{N}_i\right)\&rsqb;}---\left(6\right)$

对J(σ)进行关于σ参数的求导运算，求导的值为0时，即为σ参数最优值：

$\frac{\&part;J\left(\mathrm{\&sigma;}\right)}{\&part;\mathrm{\&sigma;}}=\frac{\underset{i<j}{\&Sigma;}Tr\left(N_i{\&dtri;}_{\mathrm{\&sigma;}}{K}_{ij}{N}_j\right)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{n_i}\&lsqb;Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}\right)-Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}{N}_i\right)\&rsqb;}---\left(7\right)$

其中，▽_σK_ij＝-K_ijοA_ij，ο表示Hadamard点乘，A_ij是一n_i×n_j阶矩阵，其第r行第l列元素(A_ij)_rl＝||x_ir-x_jl||²。式(7)的优化问题可以采用梯度投影算法求解。

在FERET人脸数据库和Yale人脸数据库的测试中，体现了本发明的有效性。对于FERET数据库，选取了100个人的400图片，其中每个人包含4张人脸图片。图像被剪切并被下采样为72×46像素大小。Yale人脸库包含15个人，每个人11幅图片，总共165幅图片。图像被剪切并被下采样为64×64像素大小。图2为FERET数据库中人脸图像示例图，图3为Yale数据库中人脸图像示例图。

为了说明本发明的有效性，在实验中，采用了交叉验证的方式的进行实验设计。其中，对于FERET数据库，实验中采用四折交叉验证策略：将整个数据集划分为大小相同的四个子集，选取其中的一个子集作为测试数据集，而采用其他三个子集作为训练数据集，循环4次实验直到每个子集均被作为测试集。对于Yale人脸数据库，由于该数据库的图像数目相对较少，因此采用了留一法(leave-one-out)交叉验证策略来进行实验：在整个数据集中选取一个样本作为测试数据，将其余的样本作为训练数据，循环此过程直至样本集中的每个样本均被用作一次测试数据。为进行实验对比，也采用了KPCA,KDA,KFKT方法进行了同样的实验。对于KPCA和KDA方法也分别采用了最近邻分类器和线性分类器。而对于KFKT，则采用类最小重构错误率来进行分类。

图4显示了FERET数据库上不同高斯核参数下的平均测试错误率(％)，而表1则显示了Yale库的实验结果。

表1

识别方法	σ＝10-9	σ＝5×10-9	σ＝10-8	σ＝5×10-8	σ＝10-7
						KPCA	29.09	26.67	27.88	28.48	29.09
KDA	9.09	10.30	11.52	15.76	18.18
						KFKT	20.61	17.58	17.58	21.21	23.64
KFKT_OPT	12.12	12.12	12.12	12.12	12.12

在图4和表1中，输入高斯核参数作为KFKT_OPT核优化算法的初始值。从图4和表1中可以看出，采用KFKT方法可获得比KPCA和KDA更低的错误率。另外，相比于KFKT方法，经核函数优化后的KFKT方法(KFKT_OPT)取得了更好的识别效果。其次，相对于其他识别方法，优化后的KFKT_OPT方法对于不同的高斯核参数也具有很好的鲁棒性。

综上所述，本发明的优点和效果是通过对KFKT方法的核映射进行优化，获得最佳的核函数参数，从而提高识别的准确性。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于优化的核Fukunaga-Koontz变换的人脸识别方法，其特征在于，包括以下步骤：

(1)从c类训练人脸表情图像样本集中提取图像特征矢量集X_i，i＝1,2,…,c；

(2)选择高斯函数作为核函数，求解最优的高斯核函数的参数σ；

(3)根据求得的最优的高斯核函数，采用核主成分分析法求解样本数据的变换矩阵W_KPCA，并对每类样本数据进行变换，得到降维后的样本数据矩阵其中，为X_i的非线性映射；

(4)根据降维后的样本数据矩阵，计算c类样本的自相关矩阵R_i，并求解c个自相关矩阵的白化矩阵P；

(5)利用白化矩阵对自相关矩阵进行白化变换，得求解能同时对角化c个的正交变换矩阵U_i，即，其中，Λ_i是近似对角矩阵，再求出U_i对应于Λ_i最大对角元的优化列向量

(6)对于给定的测试人脸图像向量x_t，利用W_KPCA和P对x_t，得其中，Φ(*)表示非线性映射，则x_t所属人脸类别由下式确定：

$i^{*}=\arg \underset{i}{\min }\left\{{\mathrm{\&Delta;}}_i\right\}---\left(1\right)$

式(1)中，

2.根据权利要求1所述基于优化的核Fukunaga-Koontz变换的人脸识别方法，其特征在于，步骤(2)中选择的高斯函数的具体形式：

k(x,y)＝exp{-σ||x-y||²}(2)

3.根据权利要求2所述基于优化的核Fukunaga-Koontz变换的人脸识别方法，其特征在于，步骤(2)的具体过程如下：

(a)定义高斯核函数参数σ的优化问题：

$\arg \max J\left(\mathrm{\&sigma;}\right)=\frac{\underset{i<j}{\&Sigma;}(n_i^T{K}_{ii}{n}_i+n_j^T{K}_{jj}{n}_j-2n_i^T{K}_{ij}{n}_j)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{a_i}\&lsqb;Tr\left(K_{ii}\right)-Tr\left(K_{ii}{N}_i\right)\&rsqb;}---\left(3\right)$

式(3)中，Tr(*)表示矩阵的迹，n_i是一a_i×1的向量，该向量的元素为1/a_i，N_i是一n_i×n_i阶的矩阵，K_ij＝Φ(X_i)^TΦ(X_j)的第r行第l列元素(K_ij)_rl＝Φ(x_ir)^TΦ(x_jl)＝k(x_ir,x_jl)，x_ir和x_jl分别表示X_i和X_j的第r列和第l列；

(b)对J(σ)进行关于参数σ的求导运算，得到最优的参数σ：

$\frac{\&part;J\left(\mathrm{\&sigma;}\right)}{\&part;\mathrm{\&sigma;}}=\frac{\underset{i<j}{\&Sigma;}Tr\left(N_i{\&dtri;}_{\mathrm{\&sigma;}}{K}_{ij}{N}_j\right)}{\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{a_i}\&lsqb;Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}\right)-Tr\left({\&dtri;}_{\mathrm{\&sigma;}}{K}_{ii}{N}_i\right)\&rsqb;}---\left(4\right)$

式(4)中，о表示Hadamard点乘，A_ij是一n_i×n_j阶矩阵，其第r行第l列元素(A_ij)_rl＝||x_ir-x_jl||²。

4.根据权利要求3所述基于优化的核Fukunaga-Koontz变换的人脸识别方法，其特征在于，在步骤(b)中，采用投影梯度算法求解式(4)。

5.根据权利要求1所述基于优化的核Fukunaga-Koontz变换的人脸识别方法，其特征在于：在步骤(4)中，采用奇异值分解法求解c个自相关矩阵的白化矩阵P。